CN117111085A - 一种自动驾驶汽车车路云融合感知方法 - Google Patents

一种自动驾驶汽车车路云融合感知方法 Download PDF

Info

Publication number
CN117111085A
CN117111085A CN202311080809.5A CN202311080809A CN117111085A CN 117111085 A CN117111085 A CN 117111085A CN 202311080809 A CN202311080809 A CN 202311080809A CN 117111085 A CN117111085 A CN 117111085A
Authority
CN
China
Prior art keywords
vehicle
road
fusion
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311080809.5A
Other languages
English (en)
Inventor
高建平
袁帅
李哲
郭志伟
李震尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202311080809.5A priority Critical patent/CN117111085A/zh
Publication of CN117111085A publication Critical patent/CN117111085A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Abstract

本发明提出一种自动驾驶汽车车路云融合感知方法，适用于车路云一体化场景下的多源感知信息的融合。解决了单车感知决策性能不足、存在盲区、容错性差等问题。方案通过车端和路端的相机及雷达获取车辆周边的图像信息和点云信息；通过对相机和激光雷达的联合标定，获得两者坐标系的转换参数矩阵，将点云投影到图像，得到车端和路端的感知结果；最后将两端得到的感知结果进行时空对齐，得到车路融合特征。云端提供全局交通信息、高精地图及天气信息，与车路融合特征进行后融合。本发明能够进一步提高自动驾驶车辆的感知能力，使得自动驾驶汽车在路端和云端的智能辅助下，进一步提高检测精度和范围，具有更快速、更全面和更安全的目标感知性能。

Description

一种自动驾驶汽车车路云融合感知方法
技术领域
本发明涉及一种自动驾驶汽车车路云融合感知方法，属于汽车自动驾驶及辅助驾驶技术领域。
背景技术
准确而快速地获取驾驶环境信息是自动驾驶系统能够安全、高效运行的前提。基于视觉传感器的感知可以提供颜色、纹理等信息，但因对天气变化、光照等影响比较敏感，无法在低光照、高动态的环境下对目标准确识别；激光雷达传感器可以提供环境的实时三维点云数据，具有很好的鲁棒性，但无法获取动静态目标的外观细节。这种依靠单模态信息的感知技术很难满足自动驾驶可靠感知的需求。
车路云协同感知的目的是为自动驾驶汽车提供全局感知信息，使得自动驾驶汽车感知范围摆脱自身传感器范围的限制，获取更加全面、准确的感知环境，为后续全局路径规划及避障提供重要的依据。
在车端感知单元，目前主要采用多种传感器相结合的环境感知方案；在路端感知单元，使用固定位置的多种传感器获取环境信息，可以消除车端感知盲区；利用云端信息指导车路多源传感器特征加权融合可以有效的克服天气变化、光照等影响，进一步的提升感知融合结果准确性和可靠性。因此，面对复杂的交通环境，车路云多源融合感知是进一步提高自动驾驶汽车感知精度和抗干扰能力的关键。
发明内容
本发明的目的是提供一种自动驾驶汽车车路云融合感知方法，用以解决如何进一步提高自动驾驶汽车感知精度和抗干扰能力的问题。
为实现上述目的，本发明的方案包括：
本发明的一种自动驾驶汽车车路云融合感知方法的技术方案，包括如下步骤：
1)车辆通过相机和激光雷达获取车辆前方的图像和点云信息，所述车辆所在路段的路端设备通过相机和激光雷达获取路端图像和点云信息；并分别完成对应的基于图像的目标检测和基于点云的目标检测；
2)基于多传感器融合分别实现车辆前方和路端各自的图像目标和点云目标的融合，得到车端融合特征和路端融合特征；
3)将路端融合特征发送到车辆，车辆将车端融合特征和路端融合特征进行时间和空间上的对齐实现同步；
4)对于车端和路端都能感知到的物体，融合车路两端的感知结果；对于车端视野盲区，以路端检测结果作为补充；
5)进一步还可以在步骤5)中根据云端提供的全局交通信息、高精地图及天气信息，与车路融合特征进行后融合，利用云端信息指导车路多源传感器特征加权融合，克服天气变化、光照等影响，提升感知融合结果准确性和可靠性。
本发明采用单目相机和LIDAR作为车端传感器，分别采集RGB图像和激光点云，将二者的感知信息融合后得到车端感知结果，路端同样采用相机和LIDAR作为路端传感器，分别采集RGB图像和激光点云，将二者的感知信息融合后得到路端感知结果，路侧感知单元将获取的感知结果通过无线网络传输到车端，与车端自身获取的环境信息进行融合，得到当前所在区域内全面的感知信息。
进一步地，所述步骤1)中，基于图像的目标检测：采用深度学习的方法，选择SSD目标检测算法对障碍物目标进行检测与识别，得到识别出障碍物目标的图像。
本发明基于相机的目标检测采用深度学习的方法，选择SSD目标检测算法对障碍物进行检测与识别，检测目标的类别并输出二维bounding_box目标检测框。
进一步地，所述步骤1)中，基于点云的目标检测：首先基于改进的DBSCAN聚类算法，得到可自适应确定聚类参数的KANN-DBSCAN算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物目标点云。
本发明基于激光雷达的目标检测，首先基于改进的DBSCAN聚类算法，得到一种可自适应确定聚类参数的KANN-DBSCAN算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物点云，输出三维bounding_box检测框，同时输出检测框中心至激光雷达的距离信息。
进一步地，所述步骤2)中，所述多传感器融合包括对相机和激光雷达进行传感器的联合标定，利用标定结果将激光雷达检测到的障碍物目标点云投影到识别出障碍物目标的图像上。
本发明的车端和路端多传感器融合感知，主要涉及的传感器有单目摄像头和LIDAR。由于激光点云的稀疏性，其所能提供的物体类别信息比较有限，但可以提供较为准确的坐标信息。而单目摄像头可以较好地完成目标检测的功能。
综上所述，本发明将单目相机采集的RGB图像和LIDAR采集的激光点云进行关联，从而互相弥补两种传感器各自的短处，完成目标检测的同时，获得目标的坐标信息。在激光雷达和相机进行传感器融合前，需要对这两个传感器进行时间和空间上的联合标定，获得两者坐标系的转换参数矩阵，并基于该矩阵将聚类得到的障碍物点云投影到二维图像中，实现三维激光点云与二维图像的融合。
进一步地，所述步骤3)中，对于时间上的对齐：以车辆车载单元信息采集时间戳为基准，接收所述路端融合特征，同时设置定时器，对车端融合特征和路端融合特征中对应障碍物目标的感知结果进行时效性检查；当满足时效性时，将对应的感知结果进行融合。
由于感知数据信息的感知单元来源不同，因此其感知的频率不同、感知到的数据信息在融合前其位置信息表示所处的坐标系也是不同的，因此在对车载感知单元与路侧感知单元的感知数据信息进行融合前，需要将来自各感知单元的信息进行时间同步与空间同步。
进一步地，所述时效性检查包括：由车载单元与路侧单元发送感知结果的频率决定定时器tf的取值，将经过定时器调用的来自车载单元发送的消息集ssmt的时间戳tv、路侧单元发送的消息集rsmt的时间戳tr分别与当前时间戳tn做相差，若对应消息集的时间戳与当前时间戳的差值大于时效阈值τs，则丢弃该消息集；若时间戳tv、时间戳tr和当前时间戳tn的差值均小于时效阈值τs，则认为此时需要融合的消息集满足感知协同所要求的时效性。
由于车载单元和路侧单元的感知频率不同，以及在通信传输过程中存在时延的情况，因此将车载感知信息和路侧感知信息进行时间同步。以车载单元信息采集时间戳为基准，接收路端数据处理模块发送的感知结果，同时设置定时器，对感知结果的时效性进行检查，当满足时效性时，方可对车端和路端的感知结果进行融合。
进一步地，所述步骤3)中，对于空间上的对齐：选择参照WGS-84世界大地坐标系以正北方向为正方向统一坐标，经过投影，将大地经纬度坐标转换为平面直角坐标；并将通用墨卡托投影平面坐标系作为全局坐标系，通过坐标转换，对车端与路端感知结果的位置进行空间信息同步，将路端检测到的障碍物目标的位置信息转化为以所述车辆为坐标原点的坐标信息，完成车路两端融合特征的空间对齐。
车端和路端获得了障碍物在车端坐标系和路端坐标系下的位置信息，但是如果不进行空间融合，路端的感知信息并不能为车端所用。车端与路端空间融合，指的是通过一定的转换关系，把路端的坐标系转换到车端的坐标系下，这样才能让自动驾驶车辆利用到路端的感知信息。
进一步地，所述步骤4)中，在融合的过程中出现感知的同一个障碍物目标中多个目标候选框重叠在一起时，通过非极大值抑制算法去除冗余的候选框，从而得到同一感知目标中预测效果较好的目标结果。
由于融合的数据来源于车端和路端设备，对车端和路端都能感知到的物体，通过融合车路两端的感知结果，对同一目标做最后的结果融合，提高感知精度；对于车端视野盲区的检测，以路端检测结果为补充。
进一步地，所述步骤5)中，所述车辆还接收云端提供的全局交通信息及天气信息，通过自然语言处理中基于图神经网络的TextRank方法分析文本特征计算词向量，并基于Deeply-Fused Net方法与车端、路端融合的特征结果进行后融合。
本发明还进一步可以结合云端提供的全局交通信息及天气信息，与车端、路端融合的路况特征结果进行后融合，利用云端信息指导车路多源传感器特征加权融合可以有效的克服天气变化、光照等影响，提升感知融合结果准确性和可靠性，云端提供的高精地图信息与车端车载定位系统融合，实时进行闭环地图更新，实现对自动驾驶环境的全面感知。
进一步地，所述车辆还根据所述后融合得到的对周边3D目标的感知结果，输出检测环境的语义信息和检测框；所述语义信息包括目标类别、绝对坐标位置以及目标尺寸。
附图说明
图1是本发明的自动驾驶汽车车路云融合感知方法的流程示意图；
图2是本发明的车路云多源融合感知的整体技术方案结构图；
图3是本发明中所采用的SSD算法流程图；
图4是本发明中激光雷达坐标系到相机坐标系再到图像坐标系坐标转换示意图；
图5是本发明中相机和激光雷达融合感知过程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明了，下面结合附图及实施例，对本发明作进一步的详细说明。
本发明提出的一种自动驾驶汽车车路云融合感知方法，其主要构思和实现框架如下。
为实现对自动驾驶汽车周边交通环境的全面、精确感知，自动驾驶汽车不仅需要依靠自身传感器捕获的环境信息进行三维目标检测，还需要路侧提供的环境感知信息。同时，针对传感器的局限性，利用云端信息指导车路多源传感器融合特征可以有效的克服天气变化、光照等影响，提升感知融合结果准确性和可靠性。基于车路云多源信息分别完成图像、点云及文本等多种模态数据的对齐，然后按照车路融合、车路云融合的思路分段完成。
车路云一体化环境下，多源融合感知的整体技术方案结构如图2所示。如图2所示，需要融合的感知数据(即图2中信息获取)包括：车端传感器模态(包括摄像头、雷达和定位系统获得的车端信息)、路端传感器模态(包括摄像头和雷达获得的路端信息)、云端模态(高精地图、全局交通信息和天气信息等云端信息)。
具体融合方法为：车端和路端均使用激光雷达和相机作为传感器，分别用于采集障碍物点云信息和图像信息，利用多传感器融合对点云信息和图像信息进行融合，得到车端和路端的融合特征，完成车、路端点云图像融合。再通过无线通信技术将路端的融合特征发送到车端处理模块进行车、路融合特征的融合得到车路融合特征；云端提供全局交通信息及天气信息，通过自然语言处理(NLP)中基于图神经网络的TextRan方法分析文本特征计算词向量，并基于Deeply-Fused Net方法与车端、路端融合的路况特征结果进行后融合。最后，根据多源融合的结果，对车辆周边环境信息进行感知，输出感知目标的语义信息，同时进行地图和定位的更新。
本发明提出的一种自动驾驶汽车车路云融合感知方法，如图1所示主要包括如下四个步骤。
第一步，车路云感知信息的获取。
自动驾驶汽车为具有无线信息接收装置、自身传感器及计算单元的智能体，为主要的交通参与者，通过车载传感器(例如相机和激光雷达)获取车辆前方的图像和点云信息，完成初步的环境认知；路侧设备中设置有计算单元和多种传感器，通过多种传感器捕获不同环境信息，激光雷达用来获取路端三维点云信息，相机用来获取路端图像信息，并通过计算单元对感知的环境信息提取特征，通过无线通讯设备发送给车端计算单元；通过云端获取高精地图、全局交通信息、天气信息等，经过处理后传输到车辆。
第二步，分别通过相机和激光雷达实现对环境单模态的感知，得到相机和激光雷达的检测结果，然后再基于多传感器融合实现车端和路端点云信息及图像信息的融合，分别得到车端融合特征和路端融合特征。
相机用来采集图像信息，基于相机的目标检测采用深度学习的方法，如图3所示，选择SSD目标检测算法对障碍物进行检测与识别。在预设不同比例的检测框时，计算尺寸相对于原图的缩放比例。假设检测框的四个坐标值分别为{dcx,dcy,dw,dh}，分别表示检测框的中心点横坐标、纵坐标、宽度和高度，真实框的坐标值是{gcx,gcy,gw,gh}，那么检测框和真实框的偏移值计算公式是：
通过卷积神经网络对不同特征层进行检测输出，在需要检测的特征层，直接使用一个3*3卷积，进行通道的变换后提取预测框。在匹配先验框时，选择所有先验框中IOU最大作为当前真实框的匹配框，也就是正样本；对于剩余的未匹配先验框，若与真实框的IOU大于某个阈值(一般是0.5)，那么该先验框也与这个真实框进行匹配，如果有多个大于阈值，先验框只与IOU最大的那个真实框匹配；若一个先验框依然没有与任何真实框进行匹配，那么该先验框只能与背景匹配，就是负样本。当先验框数量过于庞大时，使用置信度损失的方法对负样本排序。损失函数为位置损失函数和置信度损失函数两部分的加权，通过计算损失函数以完成训练策略，选择匹配的检测框。
为了验证网络的性能，需对SSD模型进行训练，常规的方法为采集数据集或用公开数据集(如KITTI数据集)，数据集中需包含大量的目标类型，如汽车、行人、二轮车等。受限于硬件平台的性能，本实施例采用载入预训练集对目标识别，识别效果稳定且速度快，该预训练模型可对汽车、行人、二轮车等进行目标分类并输出二维bounding_box目标检测框。
激光雷达用来检测点云信息，由于激光雷达的测量数据中包含了目标信息，地面点和噪声信息，首先使用点云滤波方法对原始点云进行预处理。在经过点云滤波后的原始点云数据中含有大量的地面点云，这些地面点云将会影响到障碍物点云的提取，选择基于区域块的地面平面拟合(Region-wise Ground Plane Fitting,R-GPF)算法进行地面点云滤除。通过去地面点操作后获得了凸地面点云，需要通过点云聚类的方式获得目标点云。本专利将K—平均最近邻算法与DBSCAN算法相结合，得到一种自适应确定Eps和Minpts参数的KANN-DBSCAN算法，该算法通过生成候选Eps和Minpts参数集合，基于参数寻优策略，找到最优的聚类参数进行点云聚类。
最后，为了将相机获得的RGB图像与LIDAR获得的激光点云进行关联，需要得到这两个传感器之间的坐标转换关系，这涉及到对两种传感器的联合标定。通过联合标定，获得了两个传感器的内部参数和外部参数。
图4为建立传感器坐标系，其中相机坐标系Oc－XcYcZc，激光雷达坐标系OL－XLYLZL，图像坐标系O－XY以及像素坐标系O－UV。为了得到两传感器坐标系位置关系，取空间中一点P，其在激光雷达坐标系为(XLYLZL)，在相机坐标系为(XCYCZC)，在像素坐标系为(u，v)。
(1)从激光雷达坐标系转换为相机坐标系，可以用旋转矩阵R和平移矩阵T表示。
(2)从相机坐标系到像素坐标系转换为：
(3)联立(1)、(2)两式，激光雷达和相机的坐标转换关系可以表示为：
式中，
因此，求解出矩阵A，即可将激光雷达三维点云坐标转化为像素坐标。其中K为相机内参，可采用张正友标定法得到相机内参矩阵；[R/T]为激光雷达坐标系到相机坐标系的旋转、平移矩阵，通过提取平面标定板角点对应的3D与2D坐标，在软件OpenCV3.4中，用solvePNP迭代法即可求解旋转、平移矩阵，从而实现激光雷达点云到二维图像上的投影，并以投影的边缘生成二维激光雷达检测框表示障碍物。由此可以得到LIDAR点云到相机RGB图像的映射关系，不仅可以得到障碍物的类别信息，而且得到了障碍物的坐标信息，从而得到对自动驾驶决策规划有意义的感知信息。相机和激光雷达的融合感知过程如图5所示。
第三步，路端数据处理模块通过无线通信网络将路端融合特征发送到车端数据处理模块，车端数据处理模块对车、路端感知结果进行时间和空间上的对齐。
(1)对于时间的同步，以车载单元信息采集时间戳为基准，接收路端数据处理模块发送的感知结果，同时设置定时器，对感知结果的时效性进行检查，当满足时效性时，方可对车端和路端的感知结果进行融合。定时器tf的取值取决于车载单元与路侧单元发送感知数据的频率，将经过定时器调用来自车载感知单元发送的消息集ssmt的时间戳tv、路侧感知单元发送的消息集rsmt的时间戳tr与当前时间戳tn做相差，若消息集的时间戳与当前时间戳的差值大于时效阈值τs，则认为该消息集属于滞后消息，对感知融合去提供预警等应用功能的帮助较小，因此丢弃此消息集；若两者时间戳差值均小于时效阈值τs，则认为此时需要融合的消息集满足感知协同所要求的时效性。时效阈值τs的取值取决于车载单元与路侧单元的感知频率。
(2)对于空间的同步，选择参照WGS-84世界大地坐标系以正北方向为正方向统一坐标，经过投影，将大地经纬度坐标转换为平面直角坐标，本实施例选用一种等角横轴割圆柱投影方法—通用墨卡托投影(Universal Transverse Mercator projection，UTM)，并将UTM平面坐标系作为全局坐标系。已知障碍物在路端坐标系下的坐标，再结合路端坐标系原点在UTM坐标系下的坐标，获得障碍物在UTM坐标系下的坐标；最后根据车端坐标系原点在UTM坐标系下的坐标，获得障碍物在车端坐标系下的坐标。经过上述流程，路端检测到的障碍物位置信息就转化为以自动驾驶车辆为坐标原点的坐标信息，即完成了车路两端感知信息的空间融合。
第四步，车路云多源信息分段融合。
车端和路端感知结果经时空对齐后，采取非极大值抑制(NMS)算法进行后融合。由于融合的数据来源于车端和路端设备，对车端和路端都能感知到的物体，通过融合车路两端的感知结果，对同一目标做最后的结果融合，提高感知精度；对于车端视野盲区的检测，以路端检测结果为补充。因此，在融合的过程中会出现感知的同一个目标中多个目标候选框重叠在一起，通过非极大值抑制(NMS)算法去除冗余的候选框，从而得到同一感知目标中预测效果较好的目标结果。
非极大值抑制算法的算法流程如下：
(1)将获取到的所有目标候选框，根据置信度大小以降序序列进行排序，将置信度最高的设为box_bes。
(2)将box_best与其余目标候选框分别计算IOU，若IOU值大于阈值，则认定这两个候选框表示同一目标，此时选择预测效果较好的候选框，将置信度较小的目标候选框删除。
(3)从最后剩余的候选框中，再根据置信度排序找出未融合的候选框按照步骤(2)继续执行，直到重复至融合完所有结果。
云端提供全局交通信息及天气信息，通过自然语言处理(NLP)中基于图神经网络TextRank方法构建无向词图，分析文本特征计算词向量。
利用TextRank进行关键词抽取的方法为：首先根据词共现关系构建无向带权图，然后利用PageRank循环迭代计算节点权值，排序权值即可得到最终关键词。最后基于Deeply-Fused Net方法与车端、路端融合的路况特征结果进行后融合。云端提供的高精地图信息与车端车载定位系统融合，实时进行闭环地图更新，实现对自动驾驶环境的全面感知。
本实施例中提供了自动驾驶汽车基于多源融合信息进行融合感知的技术方案。该方案对于车端和路端，基于摄像头和激光雷达获取的数据进行目标检测，将结果进行融合，发挥了摄像头和激光雷达的优势，使检测到的目标及特征信息更加准确全面，然后将车端和路端得到的目标特征信息进行融合，既提高了检测目标的准确性，也扩大了检测范围。最后，根据车路融合特征以及云端信息的指导，获取感知环境的语义信息，包括目标类别、绝对坐标位置以及目标尺寸，同时获取车辆的定位信息，以及进行地图的更新。

Claims (10)

1.一种自动驾驶汽车车路云融合感知方法，其特征在于，包括如下步骤：
1)车辆通过相机和激光雷达获取车辆前方的图像和点云信息，所述车辆所在路段的路端设备通过相机和激光雷达获取路端图像和点云信息；并分别完成对应的基于图像的目标检测和基于点云的目标检测；
2)基于多传感器融合分别实现车辆前方和路端各自的图像目标和点云目标的融合，得到车端融合特征和路端融合特征；
3)将路端融合特征发送到车辆，车辆将车端融合特征和路端融合特征进行时间和空间上的对齐，实现同步；
4)对于车端和路端都能感知到的物体，融合车路两端的感知结果；对于车端视野盲区，
以路端检测结果作为补充；
5)云端提供全局交通信息、高精地图及天气信息，与车路融合特征进行后融合。
2.根据权利要求1所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤1)中，基于图像的目标检测：采用深度学习的方法，选择SSD目标检测算法对障碍物目标进行检测与识别，得到识别出障碍物目标的图像。
3.根据权利要求2所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤1)中，基于点云的目标检测：首先基于改进的DBSCAN聚类算法，得到可自适应确定聚类参数的KANN-DBSCAN算法，利用该算法对激光雷达采集到的三维点云聚类分析，得到障碍物目标点云。
4.根据权利要求3所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤2)中，所述多传感器融合包括对相机和激光雷达进行传感器的联合标定，利用标定结果将激光雷达检测到的障碍物目标点云投影到识别出障碍物目标的图像上。
5.根据权利要求4所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤3)中，对于时间上的对齐：以车辆车载单元信息采集时间戳为基准，接收所述路端融合特征，同时设置定时器，对车端融合特征和路端融合特征中对应障碍物目标的感知结果进行时效性检查；当满足时效性时，将对应的感知结果进行融合。
6.根据权利要求5所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述时效性检查包括：由车载单元与路侧单元发送感知结果的频率决定定时器tf的取值，将经过定时器调用的来自车载单元发送的消息集ssmt的时间戳tv、路侧单元发送的消息集rsmt的时间戳tr分别与当前时间戳tn做相差，若对应消息集的时间戳与当前时间戳的差值大于时效阈值τs，则丢弃该消息集；若时间戳tv、时间戳tr和当前时间戳tn的差值均小于时效阈值τs，则认为此时需要融合的消息集满足感知协同所要求的时效性。
7.根据权利要求6所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤3)中，对于空间上的对齐：选择参照WGS-84世界大地坐标系以正北方向为正方向统一坐标，经过投影，将大地经纬度坐标转换为平面直角坐标；并将通用墨卡托投影平面坐标系作为全局坐标系，通过坐标转换，对车端与路端感知结果的位置进行空间信息同步，将路端检测到的障碍物目标的位置信息转化为以所述车辆为坐标原点的坐标信息，完成车路两端融合特征的空间对齐。
8.根据权利要求7所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤4)中，在融合的过程中出现感知的同一个障碍物目标中多个目标候选框重叠在一起时，通过非极大值抑制算法去除冗余的候选框，从而得到同一感知目标中预测效果较好的目标结果。
9.根据权利要求8所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述步骤5)中，所述车辆还接收云端提供的全局交通信息及天气信息，通过自然语言处理中基于图神经网络的TextRank方法分析文本特征计算词向量，并基于Deeply-Fused Net方法与车端、路端融合的特征结果进行后融合。
10.根据权利要求9所述的自动驾驶汽车车路云融合感知方法，其特征在于，所述车辆还根据所述后融合得到的对周边3D目标的感知结果，输出检测环境的语义信息和检测框；所述语义信息包括目标类别、绝对坐标位置以及目标尺寸。
CN202311080809.5A 2023-08-25 2023-08-25 一种自动驾驶汽车车路云融合感知方法 Pending CN117111085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311080809.5A CN117111085A (zh) 2023-08-25 2023-08-25 一种自动驾驶汽车车路云融合感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311080809.5A CN117111085A (zh) 2023-08-25 2023-08-25 一种自动驾驶汽车车路云融合感知方法

Publications (1)

Publication Number Publication Date
CN117111085A true CN117111085A (zh) 2023-11-24

Family

ID=88812367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311080809.5A Pending CN117111085A (zh) 2023-08-25 2023-08-25 一种自动驾驶汽车车路云融合感知方法

Country Status (1)

Country Link
CN (1) CN117111085A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315432A (zh) * 2023-11-30 2023-12-29 北京航空航天大学 一种动态多目标识别的车路多模态传感器数据融合方法
CN117452392A (zh) * 2023-12-26 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315432A (zh) * 2023-11-30 2023-12-29 北京航空航天大学 一种动态多目标识别的车路多模态传感器数据融合方法
CN117315432B (zh) * 2023-11-30 2024-02-13 北京航空航天大学 一种动态多目标识别的车路多模态传感器数据融合方法
CN117452392A (zh) * 2023-12-26 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法
CN117452392B (zh) * 2023-12-26 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法

Similar Documents

Publication Publication Date Title
CN109920246B (zh) 一种基于v2x通信与双目视觉的协同局部路径规划方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN108596081B (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
CN105654732A (zh) 一种基于深度图像的道路监控系统及方法
US10909395B2 (en) Object detection apparatus
CN111830953B (zh) 车辆自定位方法、装置及系统
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN103424112A (zh) 一种基于激光平面辅助的运动载体视觉导航方法
US10872246B2 (en) Vehicle lane detection system
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN114295139A (zh) 一种协同感知定位方法及系统
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN114332494A (zh) 车路协同场景下基于多源融合的三维目标检测与识别方法
CN110210384B (zh) 一种道路全局信息实时提取与表示系统
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination