CN115546743A - 基于附着系数的车路协同控制方法、装置、设备及介质 - Google Patents

基于附着系数的车路协同控制方法、装置、设备及介质 Download PDF

Info

Publication number
CN115546743A
CN115546743A CN202211483384.8A CN202211483384A CN115546743A CN 115546743 A CN115546743 A CN 115546743A CN 202211483384 A CN202211483384 A CN 202211483384A CN 115546743 A CN115546743 A CN 115546743A
Authority
CN
China
Prior art keywords
data
road surface
road
target
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211483384.8A
Other languages
English (en)
Other versions
CN115546743B (zh
Inventor
席华炜
董洪泉
卢兵
王博
宋士佳
孙超
王文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Automotive Research Institute of Beijing University of Technology
Original Assignee
Shenzhen Automotive Research Institute of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Automotive Research Institute of Beijing University of Technology filed Critical Shenzhen Automotive Research Institute of Beijing University of Technology
Priority to CN202211483384.8A priority Critical patent/CN115546743B/zh
Publication of CN115546743A publication Critical patent/CN115546743A/zh
Application granted granted Critical
Publication of CN115546743B publication Critical patent/CN115546743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/064—Degree of grip
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于附着系数的车路协同控制方法、装置、设备及介质，能够利用路侧设备采集的图像数据及激光雷达数据等多模态感知信息进行路面附着系数的计算，并且，在计算过程中采用边缘大算力对路面附着系数进行全气候、全天侯的状态实时估计，将估计的实时路面附着系数同步至车端，与车端控制进行信息深度融合，不仅能够释放车端的一大部分算力用于优化自动驾驶相关的其他性能，实现路面状态信息的路车深度协同，还能更加有效的辅助进行车辆控制。

Description

基于附着系数的车路协同控制方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于附着系数的车路协同控制方法、装置、设备及介质。
背景技术
不同路面类型对应于不同的路面附着系数，并直接影响车辆驾驶的安全边界与稳定边界。无论是有人驾驶还是无人驾驶，路面附着系数作为车辆动力学的关键参数，其参数辨识精确度将直接影响驱动力和制动力的动力矩分配、稳定性控制以及车辆状态估计等。
现有技术中，根据路面识别所依据的原理，路面研究主要可以分为两类：基于原因的识别方法（Cause－Based）和基于效应的识别方法（Effect－Based）。
其中，基于原因的路面识别研究主要集中在路面类型和路面状况的识别上，多用于识别路面附着系数与路面粗糙度。此类识别方法需要建立一个反映各个因素与路面参数相关的模型，通过测量相关因素，利用该模型获得附着系数等路面参数。影响路面附着系数的因素主要包括路面类型、路面状况、轮胎类型和车辆参数。与车辆相关的参数可以直接获得，但路面类型和路面状况需要依靠一定的传感器进行测量。
其中，基于效应的路面识别方法是通过测量分析由于路面变化引起的整车响应来估算路面附着系数的大小。该类方法一般无需增加额外的传感器，对工作环境要求不高。根据响应的类型，基于效应的路面识别方法可以分为两类：基于车辆动力学响应识别路面方法和基于轮胎响应识别路面方法。其中，基于车辆动力学响应识别路面方法可以分为纵向动力学响应和侧向动力学响应。通过纵向动力学响应识别路面，根据轮胎力获得附着率（又称利用附着系数），再根据车轮转速、车速信息得到车轮的滑移率。其中，基于轮胎响应识别路面方法可根据响应形式的不同分为测量轮胎噪声响应和测量胎面变形响应。由于车辆在行驶过程中轮胎与地面之间会产生噪声，不同道路状况下轮胎噪声有所不同，因此通过声学传感器采集车轮与路面之间的噪声可作为识别路面的依据。
但是，上述路面研究方法也存在一定问题，具体如下：
基于原因的识别方法对路面的识别具有预测性，可以在轮胎与路面接触前识别路面，但光学传感器对工作环境要求苛刻，容易受外界因素影响，鲁棒性较差。另外，该类方法需要通过大量的测试试验采集数据，识别精度依赖于数据的准确性，对未经测试的路面难以准确估算。并且，该类方法主要测量的是影响路面附着系数的路面类型参数及路面状态参数两个因素，并未考虑到轮胎参数及整车参数的变化，其准确度必然随着车辆的使用及轮胎的磨损而降低。
基于效应的识别方法是通过测量分析由于路面变化引起的整车响应来估算路面附着系数的大小。此类方法不具备预测性，车轮接触过的区域才能识别到附着系数，无法识别车辆前方的道路情况，无法适应智能车对环境感知越来越高的要求。并且，该方法在曲线斜率估算过程中需要较多的数据点，因此实时性较差，不适用时变路况。该方法对数据点的精度也有较高的要求，很难适用于实车行驶过程。
综上所述，无论是基于原因的识别方法还是基于效应的识别方法，都是部署于车端的路面附着系数估计方法。由于路面附着系数的估计方法中通常涉及大量复杂算法，部署在车端的路面附着系数估计方法对车端的算力配置要求极高。车辆在道路上持续移动意味着部署在车端的路面附着系数估计方法需要持续不断地计算，这不仅对车辆的算力是极大的考验，且车端传统的嵌入式系统架构无法满足参数辨识的实时性需求，也就无法基于路面附着系数辅助进行车辆的有效控制。
发明内容
鉴于以上内容，有必要提供一种基于附着系数的车路协同控制方法、装置、设备及介质，旨在解决对车辆的有效控制问题。
一种基于附着系数的车路协同控制方法，所述基于附着系数的车路协同控制方法包括：
获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据；
对所述第一数据进行预处理，得到第三数据；
获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征；
对所述第二数据进行滤波处理，得到第四数据；
对所述第四数据进行路面拟合，得到第五数据；
对所述第五数据进行聚类处理，得到目标路面平整度信息；
融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据；
利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型；
获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数；
根据所述目标路面附着系数生成候选车辆控制方式；
通过路侧单元发送所述候选车辆控制方式及所述目标路面附着系数至车载单元。
根据本发明优选实施例，所述对所述第一数据进行预处理，得到第三数据包括：
对所述第一数据进行去噪处理，得到第一中间数据；
对所述第一中间数据进行平滑处理，得到第二中间数据；
对所述第二中间数据进行锐化处理，得到第三中间数据；
对所述第三中间数据进行边缘提取处理，得到第四中间数据；
对所述第四中间数据进行分割处理，得到所述第三数据。
根据本发明优选实施例，在获取预先训练的路面特征提取模型前，所述方法还包括：
获取所述路侧图像采集设备采集的历史图像数据；
根据所述历史图像数据对应的路面特征为所述历史图像数据建立标签，得到训练样本；
获取预设神经网络模型；
将所述历史图像数据的标签确定为训练目标，并利用所述训练样本训练所述预设神经网络模型，得到所述路面特征提取模型。
根据本发明优选实施例，所述对所述第二数据进行滤波处理，得到第四数据包括：
基于kd-tree算法，利用所述第二数据建立高斯分布图；
将所述第二数据中不满足所述高斯分布图的点确定为噪点，并从所述第二数据中删除所述噪点，得到去噪数据；
在所述去噪数据对应的点云三维坐标上增加反射率信息及局部法线信息，得到扩展数据；
去除所述扩展数据中的地面点数据，得到待融合数据；
利用ICP融合算法对所述待融合数据中的每两帧数据进行融合，得到融合数据；
基于预设范围对所述融合数据进行直通滤波，得到所述第四数据。
根据本发明优选实施例，所述对所述第四数据进行路面拟合，得到第五数据包括：
利用RANSAC拟合算法对所述第四数据进行迭代的随机抽样及一致性回归处理，得到拟合平面及平面外点；
将所述拟合平面及所述平面外点确定为所述第五数据；
其中，将与所述拟合平面的距离小于或者等于预设距离的点确定为平面内点，将所述平面内点对应的平面参数确定为路面在雷达坐标系下的三维描述；
其中，将与所述拟合平面的距离大于所述预设距离的点确定为所述平面外点。
根据本发明优选实施例，所述对所述第五数据进行聚类处理，得到目标路面平整度信息包括：
从所述第五数据中获取所述平面外点；
遍历计算每两个平面外点间的距离；
获取距离阈值；
当任意两个平面外点间的距离小于或者等于所述距离阈值时，将所述任意两个平面外点确定为一类，得到至少一个点类；
将所述至少一个点类中的每个点类确定为一个障碍物类型；
对于每个障碍物类型，获取所述障碍物类型内所包括的每个点在雷达坐标系下的距离信息；
计算每个点在所述雷达坐标系下的距离信息的平均值，得到所述障碍物类型在所述雷达坐标系下的距离信息；
将所述障碍物类型在所述雷达坐标系下的距离信息转换至路面坐标系，得到所述障碍物类型相对于路面的距离信息；
计算每个点到所述拟合平面的距离；
从每个点到所述拟合平面的距离中选择最大距离作为所述障碍物类型对应的高度信息；
获取每个点在所述路面坐标系下的横坐标；
计算每个点在所述路面坐标系下的横坐标中最大横坐标值与最小横坐标值的差，得到所述障碍物类型对应的宽度信息；
计算每个点在所述路面坐标系下的中心点坐标，并作为所述障碍物类型在所述路面坐标系下的坐标表示；
将所述障碍物类型相对于路面的距离信息、所述障碍物类型对应的高度信息、所述障碍物类型对应的宽度信息、所述障碍物类型在所述路面坐标系下的坐标表示确定为所述障碍物类型对应的障碍物信息；
组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
根据本发明优选实施例，所述利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型包括：
对所述待识别数据进行划分，得到多个单元格；
利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分；
获取预先配置的置信度阈值；
从所述多个单元格中过滤所述置信度得分小于所述置信度阈值的边界框，及对所述多个单元格中所述置信度得分大于所述置信度阈值的边界框进行非极大值抑制，得到所述目标路面类型。
一种基于附着系数的车路协同控制装置，所述基于附着系数的车路协同控制装置包括：
获取单元，用于获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据；
预处理单元，用于对所述第一数据进行预处理，得到第三数据；
提取单元，用于获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征；
滤波单元，用于对所述第二数据进行滤波处理，得到第四数据；
拟合单元，用于对所述第四数据进行路面拟合，得到第五数据；
聚类单元，用于对所述第五数据进行聚类处理，得到目标路面平整度信息；
融合单元，用于融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据；
识别单元，用于利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型；
匹配单元，用于获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数；
生成单元，用于根据所述目标路面附着系数生成候选车辆控制方式；
发送单元，用于通过路侧单元发送所述候选车辆控制方式及所述目标路面附着系数至车载单元。
一种计算机设备，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述基于附着系数的车路协同控制方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现所述基于附着系数的车路协同控制方法。
由以上技术方案可以看出，本发明能够利用路侧设备采集的图像数据及激光雷达数据等多模态感知信息进行路面附着系数的计算，并且，在计算过程中采用边缘大算力对路面附着系数进行全气候、全天侯的状态实时估计，将估计的实时路面附着系数同步至车端，与车端控制进行信息深度融合，不仅能够释放车端的一大部分算力用于优化自动驾驶相关的其他性能，实现路面状态信息的路车深度协同，还能更加有效的辅助进行车辆控制。
附图说明
图1是本发明基于附着系数的车路协同控制方法的较佳实施例的流程图。
图2是本发明基于附着系数的车路协同控制装置的较佳实施例的功能模块图。
图3是本发明实现基于附着系数的车路协同控制方法的较佳实施例的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明基于附着系数的车路协同控制方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述基于附着系数的车路协同控制方法应用于一个或者多个计算机设备中，所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述计算机设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
S10，获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据。
在本实施例中，所述路侧图像采集设备可以为路侧的高清摄像头等，所述路侧激光雷达设备可以为激光雷达测速仪等，本发明不限制。
相应地，所述第一数据可以为高清图像数据，所述第二数据可以为激光雷达点云数据。
S11，对所述第一数据进行预处理，得到第三数据。
可以理解的是，路侧采集到的数据可能会受到各种因素干扰，因此，为了便于后续的数据处理，还需要对所述第一数据进行预处理。
具体地，所述对所述第一数据进行预处理，得到第三数据包括：
对所述第一数据进行去噪处理，得到第一中间数据；
对所述第一中间数据进行平滑处理，得到第二中间数据；
对所述第二中间数据进行锐化处理，得到第三中间数据；
对所述第三中间数据进行边缘提取处理，得到第四中间数据；
对所述第四中间数据进行分割处理，得到所述第三数据。
在上述预处理过程中，首先对采集的图像数据进行去噪处理，在保持图像原始信息完整性（即主要特征）的同时，去除信号中无用的信息，然后通过平滑处理、锐化处理、边缘提取处理、分割处理等，使图像更加易于提取特征点和特征线。
S12，获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征。
其中，所述目标路面特征可以包括，但不限于：干燥、结冰、积水、积雪等路面特征。
在本实施例中，在获取预先训练的路面特征提取模型前，所述方法还包括：
获取所述路侧图像采集设备采集的历史图像数据；
根据所述历史图像数据对应的路面特征为所述历史图像数据建立标签，得到训练样本；
获取预设神经网络模型；
将所述历史图像数据的标签确定为训练目标，并利用所述训练样本训练所述预设神经网络模型，得到所述路面特征提取模型。
其中，所述预设神经网络模型可以为卷积神经网络模型。
例如：所述卷积神经网络模型可以包括13个卷积层、5个池化层、3个全连接层以及最后的Soft-max输出层。
通过上述实施例，能够基于采集的历史数据训练得到路面特征提取模型，以辅助进行路面特征的提取。
进一步地，利用所述路面特征提取模型对所述第三数据进行特征提取，得到所述目标路面特征。
例如：当所述路面特征提取模型包括13个卷积层、5个池化层、3个全连接层以及最后的Soft-max输出层时，首先将所述第三数据输入至所述路面特征提取模型的卷积层中，并通过以下运算进行特征提取：
Figure 264846DEST_PATH_IMAGE001
其中，
Figure 215484DEST_PATH_IMAGE002
、
Figure 566831DEST_PATH_IMAGE003
分别表示（l+1）层卷积的输入和输出，也称作特征图；
Figure 653736DEST_PATH_IMAGE004
为卷积核； b为偏置量；
Figure 65126DEST_PATH_IMAGE005
表示特征图中
Figure 237481DEST_PATH_IMAGE006
点的像素值；
Figure 140321DEST_PATH_IMAGE007
为特征图的通道数，若输入为 灰度图，则
Figure 81733DEST_PATH_IMAGE008
，若输入为彩色图，则
Figure 929603DEST_PATH_IMAGE009
；
Figure 589254DEST_PATH_IMAGE010
为进行卷积运算的通道，若
Figure 282404DEST_PATH_IMAGE011
，表示通 道进行卷积运算；
Figure 343901DEST_PATH_IMAGE012
、
Figure 362672DEST_PATH_IMAGE013
分别为卷积核权重点的横坐标、纵坐标；
Figure 493308DEST_PATH_IMAGE014
为
Figure 990149DEST_PATH_IMAGE015
通道特征图；
Figure 906152DEST_PATH_IMAGE016
、
Figure 95825DEST_PATH_IMAGE017
、
Figure 464490DEST_PATH_IMAGE018
分别为卷积的步长、填充层数和卷积核的大小；
Figure 765021DEST_PATH_IMAGE019
为卷积核在
Figure 286263DEST_PATH_IMAGE015
通道 中
Figure 646837DEST_PATH_IMAGE020
点的权重值；
Figure 237219DEST_PATH_IMAGE021
为
Figure 341441DEST_PATH_IMAGE022
的尺寸；
Figure 232037DEST_PATH_IMAGE023
为
Figure 497933DEST_PATH_IMAGE024
的尺寸。并且，可以假设特征图长宽相等。
然后将在卷积层进行特征提取后输出的特征图传递至池化层进行特征选择。具体地，将特征图中单个点的像素值替换为其相邻区域像素值的统计量，以达到降维的目的。池化层选取最大池化，即选取相邻区域内像素值的极大值。
进一步地，将池化层选择出的特征输入到全连接层进行分类。具体地，当卷积核为 大小
Figure 90457DEST_PATH_IMAGE025
、步长
Figure 732791DEST_PATH_IMAGE026
的单位卷积核，且不包含填充时，在全连接层内的矩阵乘法运算为：
Figure 212314DEST_PATH_IMAGE027
其中，
Figure 914691DEST_PATH_IMAGE028
为全连接层输入特征图在
Figure 745243DEST_PATH_IMAGE029
通道中
Figure 191268DEST_PATH_IMAGE030
点的像素值；
Figure 56456DEST_PATH_IMAGE031
为 卷积核在
Figure 445298DEST_PATH_IMAGE032
通道的权重值。
更进一步地，将在全连接层分好类的特征输入到Soft-max输出层，利用Softmax函 数进一步验证该特征属于某一类别的概率。具体地，Softmax函数能将一个含任意实数的N 维向量
Figure 497568DEST_PATH_IMAGE033
压缩到另一个N维实向量
Figure 747283DEST_PATH_IMAGE034
中，使得每一个元素的取值范围都在(0，1)之间，并 且所有元素之和为1，即将最后一个全连接层的输出转化为输入图像属于每一类别的概率：
Figure 450666DEST_PATH_IMAGE035
其中，
Figure 494846DEST_PATH_IMAGE036
为N维向量p中的第i个元素。
在利用所述路面特征提取模型对所述第三数据进行上述处理后，即可得到所述目标路面特征。
通过上述实施例，能够基于人工智能方式在路侧自动执行图像的路面特征提取。
S13，对所述第二数据进行滤波处理，得到第四数据。
在本实施例中，所述对所述第二数据进行滤波处理，得到第四数据包括：
基于kd-tree（k-dimensional树）算法，利用所述第二数据建立高斯分布图；
将所述第二数据中不满足所述高斯分布图的点确定为噪点，并从所述第二数据中删除所述噪点，得到去噪数据；
在所述去噪数据对应的点云三维坐标上增加反射率信息及局部法线信息，得到扩展数据；
去除所述扩展数据中的地面点数据，得到待融合数据；
利用ICP（Iterative Closest Point，迭代最近点）融合算法对所述待融合数据中的每两帧数据进行融合，得到融合数据；
基于预设范围对所述融合数据进行直通滤波，得到所述第四数据。
其中，所述预设范围可以根据实际需求进行自定义配置。
在上述实施例中，首先去除点云中无法准确反映周围环境信息的点，或者与后续的路面识别明显无关的点。具体地，利用 KD-tree算法查找与每个点距离最近的激光点，计算每一点与其周围邻近激光点之间的平均距离。所有点的邻近点平均距离应近似满足高斯分布。通过筛选高斯分布中与距离均值相差较多的点，完成对于测量信息中噪点的去除。
进一步地，对每两帧特征进行融合，以解决激光雷达测量远距离路面信息量不足的问题。在点云三维坐标的基础上，增加反射率信息以及局部法线信息，以便增加匹配特征的丰富度。并且，在匹配之前，首先将地面点去除，仅仅使用平面以外的数据点对激光雷达的两帧数据进行融合。经过融合算法 ICP后，点云的信息量会得到极大提高，路面上投射的线数倍增，同时远处的信息密度会得到提高，便于下一步进行路面的拟合与识别。
最后，采用固定范围的直通滤波方法进行直通滤波。例如：在得到的全景点云中，只保留路侧设备下方长度为10米的带状范围内的部分点云用于路面拟合。
S14，对所述第四数据进行路面拟合，得到第五数据。
在本实施例中，所述对所述第四数据进行路面拟合，得到第五数据包括：
利用RANSAC（RANdom SAmple Consensus，随机抽样一致算法）拟合算法对所述第四数据进行迭代的随机抽样及一致性回归处理，得到拟合平面及平面外点；
将所述拟合平面及所述平面外点确定为所述第五数据；
其中，将与所述拟合平面的距离小于或者等于预设距离的点确定为平面内点，将所述平面内点对应的平面参数确定为路面在雷达坐标系下的三维描述；
其中，将与所述拟合平面的距离大于所述预设距离的点确定为所述平面外点。
其中，所述预设距离可以进行自定义配置，如2cm。
例如：利用RANSAC拟合算法，将与拟合平面距离小于或者等于2cm的激光点归类为平面内点，同时将与拟合平面距离大于2cm的激光点归类为平面外点。平面内点可以着色为绿色，以便用于后续的显示区分。同时，所述平面内点所确定的平面参数会被记录，并作为路面在雷达坐标系下的三维描述。而平面外点则会进一步通过聚类区分成不同的障碍物点。
S15，对所述第五数据进行聚类处理，得到目标路面平整度信息。
在本实施例中，所述对所述第五数据进行聚类处理，得到目标路面平整度信息包括：
从所述第五数据中获取所述平面外点；
遍历计算每两个平面外点间的距离；
获取距离阈值；
当任意两个平面外点间的距离小于或者等于所述距离阈值时，将所述任意两个平面外点确定为一类，得到至少一个点类；
将所述至少一个点类中的每个点类确定为一个障碍物类型；
对于每个障碍物类型，获取所述障碍物类型内所包括的每个点在雷达坐标系下的距离信息；
计算每个点在所述雷达坐标系下的距离信息的平均值，得到所述障碍物类型在所述雷达坐标系下的距离信息；
将所述障碍物类型在所述雷达坐标系下的距离信息转换至路面坐标系，得到所述障碍物类型相对于路面的距离信息；
计算每个点到所述拟合平面的距离；
从每个点到所述拟合平面的距离中选择最大距离作为所述障碍物类型对应的高度信息；
获取每个点在所述路面坐标系下的横坐标；
计算每个点在所述路面坐标系下的横坐标中最大横坐标值与最小横坐标值的差，得到所述障碍物类型对应的宽度信息；
计算每个点在所述路面坐标系下的中心点坐标，并作为所述障碍物类型在所述路面坐标系下的坐标表示；
将所述障碍物类型相对于路面的距离信息、所述障碍物类型对应的高度信息、所述障碍物类型对应的宽度信息、所述障碍物类型在所述路面坐标系下的坐标表示确定为所述障碍物类型对应的障碍物信息；
组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
其中，所述距离阈值可以进行自定义配置。
在上述聚类处理过程中，对于通过路面拟合后获取到的平面外点，寻找计算其与相邻激光点的空间距离，若该距离小于预先确定的距离阈值，则确定该临近激光点与目标点为同属于一类障碍物的点。按照这种方式，对新加入该类的邻近激光点做同样的处理，判断其邻近激光点是否同属于一类，依次循环，直到该类障碍物点中没有新的点加入，则聚类结束。
将平面外点中属于不同障碍物的激光点区分成为不同的类。这样，在激光雷达的测量结果中，即可得到地面上不同障碍物对应的激光点表示。
进一步地，根据照射到障碍物上的激光点的信息，求取障碍物的几何尺寸与距离等信息。具体地：
首先，计算障碍物的距离信息。
在路面坐标系
Figure 34411DEST_PATH_IMAGE037
下，描述坑、包或小障碍物最重要的信息即为距离信息，因此，首 先计算障碍物类上每一点在雷达坐标系
Figure 556659DEST_PATH_IMAGE038
下的距离信息，该类中全部激光点距离信息的均 值作为该类的距离信息
Figure 130860DEST_PATH_IMAGE039
：
Figure 345941DEST_PATH_IMAGE040
其中，a、b、c、d为路面识别得到的用于描述路面的平面参数，n为障碍物类中的激 光测量点的个数，
Figure 638382DEST_PATH_IMAGE041
,
Figure 449474DEST_PATH_IMAGE042
,
Figure 143761DEST_PATH_IMAGE043
分别为每一激光测量点在雷达坐标系
Figure 529743DEST_PATH_IMAGE044
下的三维坐标。
进一步地，根据路面在雷达坐标系下的位置，将距离信息
Figure 43901DEST_PATH_IMAGE045
转换到路面坐标系
Figure 907952DEST_PATH_IMAGE046
下，计算得到障碍物在
Figure 456745DEST_PATH_IMAGE047
下的距离信息
Figure 262895DEST_PATH_IMAGE048
：
Figure 998770DEST_PATH_IMAGE049
其次，计算障碍物的几何尺寸。
在得到障碍物距离信息之后，进一步需要对障碍物的几何参数进行计算，即计算高度（或深度）以及大小范围两个指标。
其中，高度的计算主要通过在雷达坐标系
Figure 932091DEST_PATH_IMAGE050
下获得的路面参数，具体采用如下公 式：
Figure 335391DEST_PATH_IMAGE051
在上述公式中，计算
Figure 797596DEST_PATH_IMAGE052
下每一类中各激光点到平面的距离
Figure 286346DEST_PATH_IMAGE053
，并选取距离
Figure 771161DEST_PATH_IMAGE053
中的 最大值
Figure 763388DEST_PATH_IMAGE054
作为路面上障碍物的最大高度信息。
其中，大小范围的计算主要依据路面坐标系
Figure 662073DEST_PATH_IMAGE055
下障碍物在X方向上的坐标分布。具 体采用如下公式：
Figure 638120DEST_PATH_IMAGE056
Figure 913243DEST_PATH_IMAGE057
在上述公式中，根据路面在雷达坐标系下的位置关系推导出各个激光测量点在
Figure 759977DEST_PATH_IMAGE058
下的横坐标
Figure 344411DEST_PATH_IMAGE059
。并进一步求得障碍物的宽度
Figure 542174DEST_PATH_IMAGE060
。
针对每一类障碍物，其中心坐标为其内雷达监测点的几何平均值，按照如下公式 计算得到障碍物中心在路面坐标系下
Figure 620988DEST_PATH_IMAGE061
的坐标表示：
Figure 322228DEST_PATH_IMAGE062
经过上述处理，即可得到障碍物的高度
Figure 828296DEST_PATH_IMAGE063
、宽度
Figure 513355DEST_PATH_IMAGE064
以及障碍物中心在路面坐标系 下
Figure 130281DEST_PATH_IMAGE065
的坐标表示，并作为障碍物类型对应的障碍物信息。
最后，组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
S16，融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据。
通过特征融合，得到的待识别数据中同时包含路面特征及路面平整度信息，进而能够从多个维度更加准确地进行路面附着系数的估计。
S17，利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型。
本实施例基于图神经网络的深度学习模型进行视觉与激光雷达的特征级融合，实现图像与点云的目标识别，提升目标识别的准确率。
具体地，所述利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型包括：
对所述待识别数据进行划分，得到多个单元格；例如，可以划分出N*N个单元格（N=7），其中，位于目标中心的单元格负责检测相应路面类型；
利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分；
获取预先配置的置信度阈值；例如，所述置信度阈值可以配置为90%；
从所述多个单元格中过滤所述置信度得分小于所述置信度阈值的边界框，及对所述多个单元格中所述置信度得分大于所述置信度阈值的边界框进行非极大值抑制，得到所述目标路面类型。
具体地，在利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分时，采用的公式如下：
Figure 702339DEST_PATH_IMAGE066
其中，IOU表示预测框
Figure 379308DEST_PATH_IMAGE067
和目标框
Figure 551663DEST_PATH_IMAGE068
之间的性能度量指标；confidence表 示置信度信息；
Figure 972280DEST_PATH_IMAGE069
表示当前单元格内的路面类型是否符合对应路面特征的概率，如果 符合，则
Figure 648112DEST_PATH_IMAGE070
，否则
Figure 479671DEST_PATH_IMAGE071
。
进一步地，计算每个单元格预测的路面类型，并将其与边界框的confidence相乘，即可得到每个边界框的置信度得分。将置信度阈值与置信度得分进行对比，过滤掉置信度得分低于置信度阈值的框，然后对置信度得分高于置信度阈值的框进行非极大值抑制，最终得到目标路面类型。
S18，获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数。
其中，所述映射表用于存储路面类型与路面附着系数的对应关系。
例如：所述路面类型可以包括干、湿、冰、雪等。对于干燥的路面，所述路面附着系数可以为0.70-0.85。
本实施例在提高路面附着系数估计精确度及保证对路面状态具备预测性的同时，能够基于路侧设备实时、全面地获取当前路面附着系数，为车路协同自动驾驶技术的优化与迭代提供依据。
并且，在计算路面附着系数时，由于采用路侧设备，不需要因为车辆移动持续计算，可以解决车端算力不足的问题；也不需要考虑车的姿态等对估计结果的影响，提高了估计的准确度。
并且，由于本实施例可以估计出路段级路面附着系数，而同一路段的路面状态变化相对缓慢，因此，还可以按照实际情况周期性计算路面附着系数，以进一步节约计算成本。
S19，根据所述目标路面附着系数生成候选车辆控制方式。
在本实施例中，可以根据历史数据构建路面附着系数与车辆控制方式的映射关系。
进一步地，在得到所述目标路面附着系数后，即可根据所述目标路面附着系数在所述映射关系中进行查询，得到所述候选车辆控制方式。
S20，通过路侧单元（Road Side Unit，RSU）发送所述候选车辆控制方式及所述目标路面附着系数至车载单元（On board Unit，OBU）。
具体地，可以通过路侧RSU将目标路面附着系数及候选车辆控制方式实时推送给车端OBU。
本实施例在路侧进行路面附着系数的估计，以及车辆控制方式的生成，解决了车端算力不足的问题。
由以上技术方案可以看出，本发明能够利用路侧设备采集的图像数据及激光雷达数据等多模态感知信息进行路面附着系数的计算，并且，在计算过程中采用边缘大算力对路面附着系数进行全气候、全天侯的状态实时估计，将估计的实时路面附着系数同步至车端，与车端控制进行信息深度融合，不仅能够释放车端的一大部分算力用于优化自动驾驶相关的其他性能，实现路面状态信息的路车深度协同，还能更加有效的辅助进行车辆控制。
如图2所示，是本发明基于附着系数的车路协同控制装置的较佳实施例的功能模块图。所述基于附着系数的车路协同控制装置11包括获取单元110、预处理单元111、提取单元112、滤波单元113、拟合单元114、聚类单元115、融合单元116、识别单元117、匹配单元118、生成单元119及发送单元120。本发明所称的模块/单元是指一种能够被处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
所述获取单元110，用于获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据。
在本实施例中，所述路侧图像采集设备可以为路侧的高清摄像头等，所述路侧激光雷达设备可以为激光雷达测速仪等，本发明不限制。
相应地，所述第一数据可以为高清图像数据，所述第二数据可以为激光雷达点云数据。
所述预处理单元111，用于对所述第一数据进行预处理，得到第三数据。
可以理解的是，路侧采集到的数据可能会受到各种因素干扰，因此，为了便于后续的数据处理，还需要对所述第一数据进行预处理。
具体地，所述预处理单元111对所述第一数据进行预处理，得到第三数据包括：
对所述第一数据进行去噪处理，得到第一中间数据；
对所述第一中间数据进行平滑处理，得到第二中间数据；
对所述第二中间数据进行锐化处理，得到第三中间数据；
对所述第三中间数据进行边缘提取处理，得到第四中间数据；
对所述第四中间数据进行分割处理，得到所述第三数据。
在上述预处理过程中，首先对采集的图像数据进行去噪处理，在保持图像原始信息完整性（即主要特征）的同时，去除信号中无用的信息，然后通过平滑处理、锐化处理、边缘提取处理、分割处理等，使图像更加易于提取特征点和特征线。
所述提取单元112，用于获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征。
其中，所述目标路面特征可以包括，但不限于：干燥、结冰、积水、积雪等路面特征。
在本实施例中，在获取预先训练的路面特征提取模型前，获取所述路侧图像采集设备采集的历史图像数据；
根据所述历史图像数据对应的路面特征为所述历史图像数据建立标签，得到训练样本；
获取预设神经网络模型；
将所述历史图像数据的标签确定为训练目标，并利用所述训练样本训练所述预设神经网络模型，得到所述路面特征提取模型。
其中，所述预设神经网络模型可以为卷积神经网络模型。
例如：所述卷积神经网络模型可以包括13个卷积层、5个池化层、3个全连接层以及最后的Soft-max输出层。
通过上述实施例，能够基于采集的历史数据训练得到路面特征提取模型，以辅助进行路面特征的提取。
进一步地，利用所述路面特征提取模型对所述第三数据进行特征提取，得到所述目标路面特征。
例如：当所述路面特征提取模型包括13个卷积层、5个池化层、3个全连接层以及最后的Soft-max输出层时，首先将所述第三数据输入至所述路面特征提取模型的卷积层中，并通过以下运算进行特征提取：
Figure 139322DEST_PATH_IMAGE072
其中，
Figure 98051DEST_PATH_IMAGE073
、
Figure 159548DEST_PATH_IMAGE074
分别表示（l+1）层卷积的输入和输出，也称作特征图；
Figure 912740DEST_PATH_IMAGE075
为卷积 核；b为偏置量；
Figure 794109DEST_PATH_IMAGE076
表示特征图中
Figure 556528DEST_PATH_IMAGE077
点的像素值；
Figure 226194DEST_PATH_IMAGE078
为特征图的通道数，若输 入为灰度图，则
Figure 150288DEST_PATH_IMAGE079
，若输入为彩色图，则
Figure 253373DEST_PATH_IMAGE080
；
Figure 553904DEST_PATH_IMAGE081
为进行卷积运算的通道，若
Figure 589993DEST_PATH_IMAGE082
，表 示通道进行卷积运算；
Figure 950567DEST_PATH_IMAGE083
、
Figure 55795DEST_PATH_IMAGE084
分别为卷积核权重点的横坐标、纵坐标；
Figure 894439DEST_PATH_IMAGE085
为
Figure 785034DEST_PATH_IMAGE086
通 道特征图；
Figure 316510DEST_PATH_IMAGE087
、
Figure 394187DEST_PATH_IMAGE088
、
Figure 36521DEST_PATH_IMAGE089
分别为卷积的步长、填充层数和卷积核的大小；
Figure 266776DEST_PATH_IMAGE090
为卷积核在
Figure 969153DEST_PATH_IMAGE091
通道中
Figure 799706DEST_PATH_IMAGE092
点的权重值；
Figure 245731DEST_PATH_IMAGE021
为
Figure 579760DEST_PATH_IMAGE093
的尺寸；
Figure 453038DEST_PATH_IMAGE094
为
Figure 20155DEST_PATH_IMAGE095
的尺寸。并且，可以假设特征图 长宽相等。
然后将在卷积层进行特征提取后输出的特征图传递至池化层进行特征选择。具体地，将特征图中单个点的像素值替换为其相邻区域像素值的统计量，以达到降维的目的。池化层选取最大池化，即选取相邻区域内像素值的极大值。
进一步地，将池化层选择出的特征输入到全连接层进行分类。具体地，当卷积核为 大小
Figure 4291DEST_PATH_IMAGE096
、步长
Figure 458406DEST_PATH_IMAGE097
的单位卷积核，且不包含填充时，在全连接层内的矩阵乘法运算为：
Figure 502586DEST_PATH_IMAGE098
其中，
Figure 307730DEST_PATH_IMAGE099
为全连接层输入特征图在
Figure 829979DEST_PATH_IMAGE100
通道中
Figure 151982DEST_PATH_IMAGE101
点的像素值；
Figure 367063DEST_PATH_IMAGE102
为卷积核 在
Figure 393925DEST_PATH_IMAGE100
通道的权重值。
更进一步地，将在全连接层分好类的特征输入到Soft-max输出层，利用Softmax函 数进一步验证该特征属于某一类别的概率。具体地，Softmax函数能将一个含任意实数的N 维向量p压缩到另一个N维实向量
Figure 719864DEST_PATH_IMAGE103
中，使得每一个元素的取值范围都在(0，1)之间，并且 所有元素之和为1，即将最后一个全连接层的输出转化为输入图像属于每一类别的概率：
Figure 148571DEST_PATH_IMAGE104
其中，
Figure 800132DEST_PATH_IMAGE105
为N维向量p中的第i个元素。
在利用所述路面特征提取模型对所述第三数据进行上述处理后，即可得到所述目标路面特征。
通过上述实施例，能够基于人工智能方式在路侧自动执行图像的路面特征提取。
所述滤波单元113，用于对所述第二数据进行滤波处理，得到第四数据。
在本实施例中，所述滤波单元113对所述第二数据进行滤波处理，得到第四数据包括：
基于kd-tree（k-dimensional树）算法，利用所述第二数据建立高斯分布图；
将所述第二数据中不满足所述高斯分布图的点确定为噪点，并从所述第二数据中删除所述噪点，得到去噪数据；
在所述去噪数据对应的点云三维坐标上增加反射率信息及局部法线信息，得到扩展数据；
去除所述扩展数据中的地面点数据，得到待融合数据；
利用ICP（Iterative Closest Point，迭代最近点）融合算法对所述待融合数据中的每两帧数据进行融合，得到融合数据；
基于预设范围对所述融合数据进行直通滤波，得到所述第四数据。
其中，所述预设范围可以根据实际需求进行自定义配置。
在上述实施例中，首先去除点云中无法准确反映周围环境信息的点，或者与后续的路面识别明显无关的点。具体地，利用 KD-tree算法查找与每个点距离最近的激光点，计算每一点与其周围邻近激光点之间的平均距离。所有点的邻近点平均距离应近似满足高斯分布。通过筛选高斯分布中与距离均值相差较多的点，完成对于测量信息中噪点的去除。
进一步地，对每两帧特征进行融合，以解决激光雷达测量远距离路面信息量不足的问题。在点云三维坐标的基础上，增加反射率信息以及局部法线信息，以便增加匹配特征的丰富度。并且，在匹配之前，首先将地面点去除，仅仅使用平面以外的数据点对激光雷达的两帧数据进行融合。经过融合算法 ICP后，点云的信息量会得到极大提高，路面上投射的线数倍增，同时远处的信息密度会得到提高，便于下一步进行路面的拟合与识别。
最后，采用固定范围的直通滤波方法进行直通滤波。例如：在得到的全景点云中，只保留路侧设备下方长度为10米的带状范围内的部分点云用于路面拟合。
所述拟合单元114，用于对所述第四数据进行路面拟合，得到第五数据。
在本实施例中，所述拟合单元114对所述第四数据进行路面拟合，得到第五数据包括：
利用RANSAC（RANdom SAmple Consensus，随机抽样一致算法）拟合算法对所述第四数据进行迭代的随机抽样及一致性回归处理，得到拟合平面及平面外点；
将所述拟合平面及所述平面外点确定为所述第五数据；
其中，将与所述拟合平面的距离小于或者等于预设距离的点确定为平面内点，将所述平面内点对应的平面参数确定为路面在雷达坐标系下的三维描述；
其中，将与所述拟合平面的距离大于所述预设距离的点确定为所述平面外点。
其中，所述预设距离可以进行自定义配置，如2cm。
例如：利用RANSAC拟合算法，将与拟合平面距离小于或者等于2cm的激光点归类为平面内点，同时将与拟合平面距离大于2cm的激光点归类为平面外点。平面内点可以着色为绿色，以便用于后续的显示区分。同时，所述平面内点所确定的平面参数会被记录，并作为路面在雷达坐标系下的三维描述。而平面外点则会进一步通过聚类区分成不同的障碍物点。
所述聚类单元115，用于对所述第五数据进行聚类处理，得到目标路面平整度信息。
在本实施例中，所述聚类单元115对所述第五数据进行聚类处理，得到目标路面平整度信息包括：
从所述第五数据中获取所述平面外点；
遍历计算每两个平面外点间的距离；
获取距离阈值；
当任意两个平面外点间的距离小于或者等于所述距离阈值时，将所述任意两个平面外点确定为一类，得到至少一个点类；
将所述至少一个点类中的每个点类确定为一个障碍物类型；
对于每个障碍物类型，获取所述障碍物类型内所包括的每个点在雷达坐标系下的距离信息；
计算每个点在所述雷达坐标系下的距离信息的平均值，得到所述障碍物类型在所述雷达坐标系下的距离信息；
将所述障碍物类型在所述雷达坐标系下的距离信息转换至路面坐标系，得到所述障碍物类型相对于路面的距离信息；
计算每个点到所述拟合平面的距离；
从每个点到所述拟合平面的距离中选择最大距离作为所述障碍物类型对应的高度信息；
获取每个点在所述路面坐标系下的横坐标；
计算每个点在所述路面坐标系下的横坐标中最大横坐标值与最小横坐标值的差，得到所述障碍物类型对应的宽度信息；
计算每个点在所述路面坐标系下的中心点坐标，并作为所述障碍物类型在所述路面坐标系下的坐标表示；
将所述障碍物类型相对于路面的距离信息、所述障碍物类型对应的高度信息、所述障碍物类型对应的宽度信息、所述障碍物类型在所述路面坐标系下的坐标表示确定为所述障碍物类型对应的障碍物信息；
组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
其中，所述距离阈值可以进行自定义配置。
在上述聚类处理过程中，对于通过路面拟合后获取到的平面外点，寻找计算其与相邻激光点的空间距离，若该距离小于预先确定的距离阈值，则确定该临近激光点与目标点为同属于一类障碍物的点。按照这种方式，对新加入该类的邻近激光点做同样的处理，判断其邻近激光点是否同属于一类，依次循环，直到该类障碍物点中没有新的点加入，则聚类结束。
将平面外点中属于不同障碍物的激光点区分成为不同的类。这样，在激光雷达的测量结果中，即可得到地面上不同障碍物对应的激光点表示。
进一步地，根据照射到障碍物上的激光点的信息，求取障碍物的几何尺寸与距离等信息。具体地：
首先，计算障碍物的距离信息。
在路面坐标系
Figure 297979DEST_PATH_IMAGE106
下，描述坑、包或小障碍物最重要的信息即为距离信息，因此，首 先计算障碍物类上每一点在雷达坐标系
Figure 427609DEST_PATH_IMAGE107
下的距离信息，该类中全部激光点距离信息的 均值作为该类的距离信息
Figure 976402DEST_PATH_IMAGE108
：
Figure 267706DEST_PATH_IMAGE109
其中，a、b、c、d为路面识别得到的用于描述路面的平面参数，n为障碍物类中的激 光测量点的个数，
Figure 269160DEST_PATH_IMAGE110
,
Figure 202481DEST_PATH_IMAGE111
,
Figure 605780DEST_PATH_IMAGE112
分别为每一激光测量点在雷达坐标系
Figure 84297DEST_PATH_IMAGE113
下的三维坐标。
进一步地，根据路面在雷达坐标系下的位置，将距离信息
Figure 307468DEST_PATH_IMAGE114
转换到路面坐标系
Figure 778901DEST_PATH_IMAGE115
下，计算得到障碍物在
Figure 36707DEST_PATH_IMAGE116
下的距离信息
Figure 935393DEST_PATH_IMAGE117
：
Figure 911439DEST_PATH_IMAGE118
其次，计算障碍物的几何尺寸。
在得到障碍物距离信息之后，进一步需要对障碍物的几何参数进行计算，即计算高度（或深度）以及大小范围两个指标。
其中，高度的计算主要通过在雷达坐标系
Figure 170251DEST_PATH_IMAGE119
下获得的路面参数，具体采用如下公 式：
Figure 282563DEST_PATH_IMAGE120
在上述公式中，计算
Figure 352151DEST_PATH_IMAGE121
下每一类中各激光点到平面的距离
Figure 815493DEST_PATH_IMAGE122
，并选取距离
Figure 628728DEST_PATH_IMAGE122
中 的最大值
Figure 861126DEST_PATH_IMAGE123
作为路面上障碍物的最大高度信息。
其中，大小范围的计算主要依据路面坐标系
Figure 46821DEST_PATH_IMAGE124
下障碍物在X方向上的坐标分布。 具体采用如下公式：
Figure 731880DEST_PATH_IMAGE125
Figure 348806DEST_PATH_IMAGE126
在上述公式中，根据路面在雷达坐标系下的位置关系推导出各个激光测量点在
Figure 170131DEST_PATH_IMAGE127
下的横坐标
Figure 96368DEST_PATH_IMAGE128
。并进一步求得障碍物的宽度
Figure 268723DEST_PATH_IMAGE129
。
针对每一类障碍物，其中心坐标为其内雷达监测点的几何平均值，按照如下公式 计算得到障碍物中心在路面坐标系下
Figure 423761DEST_PATH_IMAGE130
的坐标表示：
Figure 365172DEST_PATH_IMAGE131
经过上述处理，即可得到障碍物的高度
Figure 213043DEST_PATH_IMAGE132
、宽度
Figure 872694DEST_PATH_IMAGE133
以及障碍物中心在路面坐标系 下
Figure 316576DEST_PATH_IMAGE134
的坐标表示，并作为障碍物类型对应的障碍物信息。
最后，组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
所述融合单元116，用于融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据。
通过特征融合，得到的待识别数据中同时包含路面特征及路面平整度信息，进而能够从多个维度更加准确地进行路面附着系数的估计。
所述识别单元117，用于利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型。
本实施例基于图神经网络的深度学习模型进行视觉与激光雷达的特征级融合，实现图像与点云的目标识别，提升目标识别的准确率。
具体地，所述识别单元117利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型包括：
对所述待识别数据进行划分，得到多个单元格；例如，可以划分出N*N个单元格（N=7），其中，位于目标中心的单元格负责检测相应路面类型；
利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分；
获取预先配置的置信度阈值；例如，所述置信度阈值可以配置为90%；
从所述多个单元格中过滤所述置信度得分小于所述置信度阈值的边界框，及对所述多个单元格中所述置信度得分大于所述置信度阈值的边界框进行非极大值抑制，得到所述目标路面类型。
具体地，在利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分时，采用的公式如下：
Figure 112494DEST_PATH_IMAGE135
其中，IOU表示预测框
Figure 131265DEST_PATH_IMAGE136
和目标框
Figure 278213DEST_PATH_IMAGE137
之间的性能度量指标；confidence 表示置信度信息；
Figure 40632DEST_PATH_IMAGE138
表示当前单元格内的路面类型是否符合对应路面特征的概率， 如果符合，则
Figure 691057DEST_PATH_IMAGE139
，否则
Figure 615150DEST_PATH_IMAGE140
。
进一步地，计算每个单元格预测的路面类型，并将其与边界框的confidence相乘，即可得到每个边界框的置信度得分。将置信度阈值与置信度得分进行对比，过滤掉置信度得分低于置信度阈值的框，然后对置信度得分高于置信度阈值的框进行非极大值抑制，最终得到目标路面类型。
所述匹配单元118，用于获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数。
其中，所述映射表用于存储路面类型与路面附着系数的对应关系。
例如：所述路面类型可以包括干、湿、冰、雪等。对于干燥的路面，所述路面附着系数可以为0.70-0.85。
本实施例在提高路面附着系数估计精确度及保证对路面状态具备预测性的同时，能够基于路侧设备实时、全面地获取当前路面附着系数，为车路协同自动驾驶技术的优化与迭代提供依据。
并且，在计算路面附着系数时，由于采用路侧设备，不需要因为车辆移动持续计算，可以解决车端算力不足的问题；也不需要考虑车的姿态等对估计结果的影响，提高了估计的准确度。
并且，由于本实施例可以估计出路段级路面附着系数，而同一路段的路面状态变化相对缓慢，因此，还可以按照实际情况周期性计算路面附着系数，以进一步节约计算成本。
所述生成单元119，用于根据所述目标路面附着系数生成候选车辆控制方式。
在本实施例中，可以根据历史数据构建路面附着系数与车辆控制方式的映射关系。
进一步地，在得到所述目标路面附着系数后，即可根据所述目标路面附着系数在所述映射关系中进行查询，得到所述候选车辆控制方式。
所述发送单元120，用于通过路侧单元（Road Side Unit，RSU）发送所述候选车辆控制方式及所述目标路面附着系数至车载单元（On board Unit，OBU）。
具体地，可以通过路侧RSU将目标路面附着系数及候选车辆控制方式实时推送给车端OBU。
本实施例在路侧进行路面附着系数的估计，以及车辆控制方式的生成，解决了车端算力不足的问题。
由以上技术方案可以看出，本发明能够利用路侧设备采集的图像数据及激光雷达数据等多模态感知信息进行路面附着系数的计算，并且，在计算过程中采用边缘大算力对路面附着系数进行全气候、全天侯的状态实时估计，将估计的实时路面附着系数同步至车端，与车端控制进行信息深度融合，不仅能够释放车端的一大部分算力用于优化自动驾驶相关的其他性能，实现路面状态信息的路车深度协同，还能更加有效的辅助进行车辆控制。
如图3所示，是本发明实现基于附着系数的车路协同控制方法的较佳实施例的计算机设备的结构示意图。
所述计算机设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于附着系数的车路协同控制程序。
本领域技术人员可以理解，所述示意图仅仅是计算机设备1的示例，并不构成对计算机设备1的限定，所述计算机设备1既可以是总线型结构，也可以是星形结构，所述计算机设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述计算机设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述计算机设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是计算机设备1的内部存储单元，例如该计算机设备1的移动硬盘。存储器12在另一些实施例中也可以是计算机设备1的外部存储设备，例如计算机设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括计算机设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于计算机设备1的应用软件及各类数据，例如基于附着系数的车路协同控制程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述计算机设备1的控制核心（Control Unit），利用各种接口和线路连接整个计算机设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行基于附着系数的车路协同控制程序等），以及调用存储在所述存储器12内的数据，以执行计算机设备1的各种功能和处理数据。
所述处理器13执行所述计算机设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于附着系数的车路协同控制方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在所述计算机设备1中的执行过程。例如，所述计算机程序可以被分割成获取单元110、预处理单元111、提取单元112、滤波单元113、拟合单元114、聚类单元115、融合单元116、识别单元117、匹配单元118、生成单元119及发送单元120。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述基于附着系数的车路协同控制方法的部分。
所述计算机设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根直线表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
尽管未示出，所述计算机设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述计算机设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该计算机设备1与其他计算机设备之间建立通信连接。
可选地，该计算机设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
图3仅示出了具有组件12-13的计算机设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述计算机设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，所述计算机设备1中的所述存储器12存储多个指令以实现一种基于附着系数的车路协同控制方法，所述处理器13可执行所述多个指令从而实现：
获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据；
对所述第一数据进行预处理，得到第三数据；
获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征；
对所述第二数据进行滤波处理，得到第四数据；
对所述第四数据进行路面拟合，得到第五数据；
对所述第五数据进行聚类处理，得到目标路面平整度信息；
融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据；
利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型；
获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数；
根据所述目标路面附着系数生成候选车辆控制方式；
通过路侧单元发送所述候选车辆控制方式及所述目标路面附着系数至车载单元。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，本案中所涉及到的数据均为合法取得。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于附着系数的车路协同控制方法，其特征在于，所述基于附着系数的车路协同控制方法包括：
获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据；
对所述第一数据进行预处理，得到第三数据；
获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征；
对所述第二数据进行滤波处理，得到第四数据；
对所述第四数据进行路面拟合，得到第五数据；
对所述第五数据进行聚类处理，得到目标路面平整度信息；
融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据；
利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型；
获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数；
根据所述目标路面附着系数生成候选车辆控制方式；
通过路侧单元发送所述候选车辆控制方式及所述目标路面附着系数至车载单元。
2.如权利要求1所述的基于附着系数的车路协同控制方法，其特征在于，所述对所述第一数据进行预处理，得到第三数据包括：
对所述第一数据进行去噪处理，得到第一中间数据；
对所述第一中间数据进行平滑处理，得到第二中间数据；
对所述第二中间数据进行锐化处理，得到第三中间数据；
对所述第三中间数据进行边缘提取处理，得到第四中间数据；
对所述第四中间数据进行分割处理，得到所述第三数据。
3.如权利要求1所述的基于附着系数的车路协同控制方法，其特征在于，在获取预先训练的路面特征提取模型前，所述方法还包括：
获取所述路侧图像采集设备采集的历史图像数据；
根据所述历史图像数据对应的路面特征为所述历史图像数据建立标签，得到训练样本；
获取预设神经网络模型；
将所述历史图像数据的标签确定为训练目标，并利用所述训练样本训练所述预设神经网络模型，得到所述路面特征提取模型。
4.如权利要求1所述的基于附着系数的车路协同控制方法，其特征在于，所述对所述第二数据进行滤波处理，得到第四数据包括：
基于kd-tree算法，利用所述第二数据建立高斯分布图；
将所述第二数据中不满足所述高斯分布图的点确定为噪点，并从所述第二数据中删除所述噪点，得到去噪数据；
在所述去噪数据对应的点云三维坐标上增加反射率信息及局部法线信息，得到扩展数据；
去除所述扩展数据中的地面点数据，得到待融合数据；
利用ICP融合算法对所述待融合数据中的每两帧数据进行融合，得到融合数据；
基于预设范围对所述融合数据进行直通滤波，得到所述第四数据。
5.如权利要求1所述的基于附着系数的车路协同控制方法，其特征在于，所述对所述第四数据进行路面拟合，得到第五数据包括：
利用RANSAC拟合算法对所述第四数据进行迭代的随机抽样及一致性回归处理，得到拟合平面及平面外点；
将所述拟合平面及所述平面外点确定为所述第五数据；
其中，将与所述拟合平面的距离小于或者等于预设距离的点确定为平面内点，将所述平面内点对应的平面参数确定为路面在雷达坐标系下的三维描述；
其中，将与所述拟合平面的距离大于所述预设距离的点确定为所述平面外点。
6.如权利要求5所述的基于附着系数的车路协同控制方法，其特征在于，所述对所述第五数据进行聚类处理，得到目标路面平整度信息包括：
从所述第五数据中获取所述平面外点；
遍历计算每两个平面外点间的距离；
获取距离阈值；
当任意两个平面外点间的距离小于或者等于所述距离阈值时，将所述任意两个平面外点确定为一类，得到至少一个点类；
将所述至少一个点类中的每个点类确定为一个障碍物类型；
对于每个障碍物类型，获取所述障碍物类型内所包括的每个点在雷达坐标系下的距离信息；
计算每个点在所述雷达坐标系下的距离信息的平均值，得到所述障碍物类型在所述雷达坐标系下的距离信息；
将所述障碍物类型在所述雷达坐标系下的距离信息转换至路面坐标系，得到所述障碍物类型相对于路面的距离信息；
计算每个点到所述拟合平面的距离；
从每个点到所述拟合平面的距离中选择最大距离作为所述障碍物类型对应的高度信息；
获取每个点在所述路面坐标系下的横坐标；
计算每个点在所述路面坐标系下的横坐标中最大横坐标值与最小横坐标值的差，得到所述障碍物类型对应的宽度信息；
计算每个点在所述路面坐标系下的中心点坐标，并作为所述障碍物类型在所述路面坐标系下的坐标表示；
将所述障碍物类型相对于路面的距离信息、所述障碍物类型对应的高度信息、所述障碍物类型对应的宽度信息、所述障碍物类型在所述路面坐标系下的坐标表示确定为所述障碍物类型对应的障碍物信息；
组合每个障碍物类型对应的障碍物信息，得到所述目标路面平整度信息。
7.如权利要求1所述的基于附着系数的车路协同控制方法，其特征在于，所述利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型包括：
对所述待识别数据进行划分，得到多个单元格；
利用所述Yolo-V4模型预测每个单元格的路面类型概率及边界框的置信度得分；
获取预先配置的置信度阈值；
从所述多个单元格中过滤所述置信度得分小于所述置信度阈值的边界框，及对所述多个单元格中所述置信度得分大于所述置信度阈值的边界框进行非极大值抑制，得到所述目标路面类型。
8.一种基于附着系数的车路协同控制装置，其特征在于，所述基于附着系数的车路协同控制装置包括：
获取单元，用于获取基于路侧图像采集设备采集的第一数据，及获取基于路侧激光雷达设备采集的第二数据；
预处理单元，用于对所述第一数据进行预处理，得到第三数据；
提取单元，用于获取预先训练的路面特征提取模型，并利用所述路面特征提取模型对所述第三数据进行特征提取，得到目标路面特征；
滤波单元，用于对所述第二数据进行滤波处理，得到第四数据；
拟合单元，用于对所述第四数据进行路面拟合，得到第五数据；
聚类单元，用于对所述第五数据进行聚类处理，得到目标路面平整度信息；
融合单元，用于融合所述目标路面特征与所述目标路面平整度信息，得到待识别数据；
识别单元，用于利用Yolo-V4模型对所述待识别数据进行目标识别，得到目标路面类型；
匹配单元，用于获取预先构建的映射表，并利用所述目标路面类型在所述映射表中进行匹配，得到目标路面附着系数；
生成单元，用于根据所述目标路面附着系数生成候选车辆控制方式；
发送单元，用于通过路侧单元发送所述候选车辆控制方式及所述目标路面附着系数至车载单元。
9.一种计算机设备，其特征在于，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的基于附着系数的车路协同控制方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至7中任意一项所述的基于附着系数的车路协同控制方法。
CN202211483384.8A 2022-11-24 2022-11-24 基于附着系数的车路协同控制方法、装置、设备及介质 Active CN115546743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211483384.8A CN115546743B (zh) 2022-11-24 2022-11-24 基于附着系数的车路协同控制方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211483384.8A CN115546743B (zh) 2022-11-24 2022-11-24 基于附着系数的车路协同控制方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115546743A true CN115546743A (zh) 2022-12-30
CN115546743B CN115546743B (zh) 2023-03-24

Family

ID=84720796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211483384.8A Active CN115546743B (zh) 2022-11-24 2022-11-24 基于附着系数的车路协同控制方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115546743B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879060A (zh) * 2023-02-14 2023-03-31 北京百度网讯科技有限公司 基于多模态的自动驾驶感知方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103434511A (zh) * 2013-09-17 2013-12-11 东南大学 一种车速与道路附着系数的联合估计方法
US20190322273A1 (en) * 2018-03-19 2019-10-24 TuSimple Emergency braking system, emergency braking method and semitrailer
CN111845709A (zh) * 2020-07-17 2020-10-30 燕山大学 一种基于多信息融合的路面附着系数估计方法及系统
CN113060143A (zh) * 2021-04-25 2021-07-02 北京理工大学 一种路面附着系数确定系统和方法
CN114235679A (zh) * 2021-11-15 2022-03-25 同济大学 一种基于激光雷达的路面附着系数估计方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103434511A (zh) * 2013-09-17 2013-12-11 东南大学 一种车速与道路附着系数的联合估计方法
US20190322273A1 (en) * 2018-03-19 2019-10-24 TuSimple Emergency braking system, emergency braking method and semitrailer
CN111845709A (zh) * 2020-07-17 2020-10-30 燕山大学 一种基于多信息融合的路面附着系数估计方法及系统
CN113060143A (zh) * 2021-04-25 2021-07-02 北京理工大学 一种路面附着系数确定系统和方法
CN114235679A (zh) * 2021-11-15 2022-03-25 同济大学 一种基于激光雷达的路面附着系数估计方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王博 等: "路面附着系数识别方法发展现状综述", 《汽车技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879060A (zh) * 2023-02-14 2023-03-31 北京百度网讯科技有限公司 基于多模态的自动驾驶感知方法、装置、设备和介质

Also Published As

Publication number Publication date
CN115546743B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US11798281B2 (en) Systems and methods for utilizing machine learning models to reconstruct a vehicle accident scene from video
WO2016170333A1 (en) A method of detecting objects within a 3d environment
CN102708385B (zh) 用于视频监控场景的三维车型比对识别的方法和系统
CN105513354A (zh) 基于视频的城市道路交通拥堵检测系统
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN106845341A (zh) 一种基于虚拟号牌的无牌车辆识别方法
Singh et al. Deep learning in the automotive industry: Recent advances and application examples
CN115546743B (zh) 基于附着系数的车路协同控制方法、装置、设备及介质
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN109522831A (zh) 一种基于微卷积神经网络的车辆实时检测方法
Yuan et al. Image feature based GPS trace filtering for road network generation and road segmentation
CN114970705A (zh) 基于多传感数据的行驶状态分析方法、装置、设备及介质
CN117197227A (zh) 计算目标车辆偏航角方法、装置、设备以及介质
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
CN114169247A (zh) 仿真交通流的生成方法、装置、设备和计算机可读存储介质
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
Ai et al. Geometry preserving active polygon-incorporated sign detection algorithm
CN113963238A (zh) 多任务感知识别模型的构建方法以及多任务感知识别方法
CN112614156A (zh) 一种多目标跟踪网络模型的训练方法、装置及相关设备
CN103514434B (zh) 一种图像识别方法及装置
Pagale et al. Design and Implementation of Pothole Detection & Instance Detection Based on A Unified Approach For Globally Roads
Parvathavarthini et al. Road Damage Detection using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 301, 302, Floor 3, Building A, Subzone 3, Leibai Zhongcheng Life Science Park, No. 22, Jinxiu East Road, Jinsha Community, Kengzi Street, Pingshan District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen Automotive Research Institute Beijing University of Technology

Address before: Floor 19, block a, innovation Plaza, 2007 Pingshan street, Pingshan District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen Automotive Research Institute Beijing University of Technology

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant