CN115953765A - 一种车辆自动驾驶的障碍物识别方法 - Google Patents
一种车辆自动驾驶的障碍物识别方法 Download PDFInfo
- Publication number
- CN115953765A CN115953765A CN202310237912.XA CN202310237912A CN115953765A CN 115953765 A CN115953765 A CN 115953765A CN 202310237912 A CN202310237912 A CN 202310237912A CN 115953765 A CN115953765 A CN 115953765A
- Authority
- CN
- China
- Prior art keywords
- fusion
- point cloud
- feature
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提出一种车辆自动驾驶的障碍物识别方法，通过包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头的双分支融合检测网络进行障碍物识别，通过第一融合模块，将点云特征与图像特征进行融合，有效提升了障碍物识别的效率以及准确性，通过第二融合模块，再一次将点云特征与图像特征进行融合，有效提升了障碍物检测的三维信息精确性。
Description
技术领域
本发明属于自动驾驶领域，尤其涉及一种车辆自动驾驶的障碍物识别方法。
背景技术
自动驾驶系统需要在无人指挥的情况下感知周围环境，判断障碍物并作出反应策略，环境感知作为自动驾驶最关键的一环，是确保自动驾驶车辆对交通环境充分理解的关键步骤。
目前在汽车感知领域，主要有两大方向，一个是图像，一个是三维空间。摄像头的优点很多，比如擅长对车辆、行人、速度标志等物体进行分类，是唯一能够解释二维信息的传感器，例如速度标志、车道标记或交通灯。但是缺陷也非常明显，首先摄像头呈现的图片是二维的，摄像头无法可靠的测量距离和位置数据，而汽车行驶的空间是三维的。另外，最为关键的问题是摄像头严重依赖于光线，限制了使用场景以及天气。
因此，传感器融合技术应用而生，传感器融合技术就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述周围环境，因此，本发明使用雷达和相机两种传感器采集的信息进行融合，高速场景使用激光雷达和相机两种传感器采集信息进行融合，能够提高检测精度，将高速环境下的自动驾驶车辆前方障碍物检测方法研究速环境下精准、即时的前方车辆数据信息提供给车辆的自动驾驶系统，对于自动驾驶系统能否做出正确决策与控制以保证车辆的安全驾驶有重要意义。然而，目前的融合技术计算量较大，且检测目标的结果不准确，无法在自动驾驶过程中，实时、准确的进行障碍物的识别。
发明内容
本发明的目的在于解决上述现有技术中无法实时、准确的进行障碍物的识别的难题，提供一种车辆自动驾驶的障碍物识别方法，以达到实时、准确的进行障碍物的识别的效果。
本发明提供一种车辆自动驾驶的障碍物识别方法，所述方法包括：
S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；
S2，对所述图像数据以及激光雷达点云数据进行预处理；
S3，将图像数据与激光雷达点云数据进行时间对准；
S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；
所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物的检测结果。
进一步的，所述点云分支包括输入层、四个串行连接的Set Abstraction模块、四个串行连接的Feature Propogation模块，所述Set Abstraction模块生成的特征表示为SAi，所述Feature Propogation模块生成的特征表示为FPi，i=1,2,3,4。
进一步的，所述图像分支包括输入层、四个串行连接的图像特征提取块，所述图像特征提取块生成的特征表示为Fi，所述图像特征提取块包括卷积块、逐元素相加操作，四个卷积块生成的特征表示为Fi ’ ，i=1,2,3,4,将所述SAi与Fi’输入所述第一融合模块，将所述Fi’与所述第一融合模块的输出通过逐元素相加操作得到Fi，将所述F1、F2、F3、F4进行融合，得到融合之后的特征F。
进一步的，所述卷积块包括第一卷积层、BN层、Relu、第二卷积层、BN层、Relu。
进一步的，所述第一融合模块包括：将SAi与映射矩阵M输入点云特征转换模块，生成经过转换之后的特征SAi’，将SAi’与Fi’输入融合特征生成模块，将所述融合特征生成模块的输出作为第一融合模块的输出，表示为：
其中，S()表示sigmoid激活函数，Gap()表示全局平均池化；
所述映射矩阵M为通过将激光雷达点云数据映射到图像数据而生成的。
进一步的，所述将所述Fi’与所述第一融合模块的输出通过逐元素相加操作得到Fi表示为：
。
进一步的，所述双分支融合检测网络还包括将所述融合之后的特征F以及FP4输入到第二融合模块进行特征融合，并将融合之后的特征输入到检测头得到障碍物检测结果。
本发明与现有技术相比存在的有益效果是：本发明提供了一种车辆自动驾驶的障碍物识别方法，通过包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头的双分支融合检测网络进行障碍物识别，通过第一融合模块，将点云特征与图像特征进行融合，有效提升了障碍物识别的效率以及准确性，通过第二融合模块，再一次将点云特征与图像特征进行融合，有效提升了障碍物检测的三维信息精确性。
附图说明
为了更清楚的说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术中描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种车辆自动驾驶的障碍物识别方法的流程图；
图2为一种双分支融合检测网络的结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明具体实施方式中的技术方案进行清楚、完整的描述，以进一步阐述本发明，显然，所描述的具体实施方式仅仅是本发明的一部分实施方式，而不是全部的样式。
下面结合附图对本发明作进一步详细描述：
如附图1所示，为了解决现有技术中无法实时、准确的进行障碍物的识别的难题，本发明提供一种车辆自动驾驶的障碍物识别方法，以达到实时、准确的进行障碍物的识别的效果。
所述方法包括：
S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；
S2，对所述图像数据以及激光雷达点云数据进行预处理；
S3，将图像数据与激光雷达点云数据进行时间对准；
S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；
所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物的检测结果。
如附图2所示，进一步的，所述点云分支包括输入层、四个串行连接的SetAbstraction模块、四个串行连接的Feature Propogation模块，所述Set Abstraction模块生成的特征表示为SAi，所述Feature Propogation模块生成的特征表示为FPi，i=1,2,3,4。
其中，Set Abstraction模块以及Feature Propogation模块为PointNet++中的模块。
进一步的，所述图像分支包括输入层、四个串行连接的图像特征提取块，所述图像特征提取块生成的特征表示为Fi，所述图像特征提取块包括卷积块、逐元素相加操作，四个卷积块生成的特征表示为Fi ’ ，i=1,2,3,4,将所述SAi与Fi’输入所述第一融合模块，将所述Fi’与所述第一融合模块的输出通过逐元素相加操作得到Fi，将所述F1、F2、F3、F4进行融合，得到融合之后的特征F。
进一步的，所述卷积块包括第一卷积层、BN层、Relu、第二卷积层、BN层、Relu。
进一步的，所述第一融合模块包括：将SAi与映射矩阵M输入点云特征转换模块，生成经过转换之后的特征SAi’，将SAi’与Fi’输入融合特征生成模块，将所述融合特征生成模块的输出作为第一融合模块的输出，表示为：
其中，S()表示sigmoid激活函数，Gap()表示全局平均池化；
所述映射矩阵M为通过将激光雷达点云数据映射到图像数据而生成的。
进一步的，所述将所述Fi’与所述第一融合模块的输出通过逐元素相加操作得到Fi表示为：
。
进一步的，所述双分支融合检测网络还包括将所述融合之后的特征F以及FP4输入到第二融合模块进行特征融合，并将融合之后的特征输入到检测头得到障碍物检测结果。
第二融合模块可以通过现有技术中的任意融合模块实现。
本发明与现有技术相比存在的有益效果是：本发明提供了一种车辆自动驾驶的障碍物识别方法，通过包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头的双分支融合检测网络进行障碍物识别，通过第一融合模块，将点云特征与图像特征进行融合，有效提升了障碍物识别的效率以及准确性，通过第二融合模块，再一次将点云特征与图像特征进行融合，有效提升了障碍物检测的三维信息精确性。
以上描述了本发明的主要技术特征和基本原理及相关优点,对于本领域技术人员而言，显然本发明不限于上述示范性具体实施方式的细节，而且在不背离本发明的构思或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将上述具体实施方式看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照各实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种车辆自动驾驶的障碍物识别方法，其特征在于，所述方法包括：
S1，通过工业相机以及激光雷达采集图像数据以及激光雷达点云数据；
S2，对所述图像数据以及激光雷达点云数据进行预处理；
S3，将图像数据与激光雷达点云数据进行时间对准；
S4，将对准后的图像数据与激光雷达点云数据输入双分支融合检测网络进行障碍物检测，得到障碍物的检测结果；
所述双分支融合检测网络包括点云分支、图像分支、第一融合模块、第二融合模块以及检测头，所述点云分支用于提取点云特征，所述图像分支用于提取图像特征，所述第一融合模块以及所述第二融合模块用于特征融合，所述检测头用于生成障碍物检测结果。
2.根据权利要求1所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述点云分支包括输入层、四个串行连接的Set Abstraction模块、四个串行连接的FeaturePropogation模块，所述Set Abstraction模块生成的特征表示为SAi，所述FeaturePropogation模块生成的特征表示为FPi，i=1,2,3,4。
3.根据权利要求2所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述图像分支包括输入层、四个串行连接的图像特征提取块，所述图像特征提取块生成的特征表示为Fi，所述图像特征提取块包括卷积块、逐元素相加操作，四个卷积块生成的特征表示为Fi ’ ，将所述SAi与Fi’输入所述第一融合模块，将所述Fi’与所述第一融合模块的输出通过所述逐元素相加操作得到Fi，i=1,2,3,4,将所述F1、F2、F3、F4进行融合，得到融合之后的特征F。
4.根据权利要求3所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述卷积块包括第一卷积层、BN层、Relu、第二卷积层、BN层、Relu。
5.根据权利要求4所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述第一融合模块包括：将SAi与映射矩阵M输入点云特征转换模块，生成经过转换之后的特征SAi’，将SAi’与Fi’输入融合特征生成模块，将所述融合特征生成模块的输出作为第一融合模块的输出，表示为：
其中，S()表示sigmoid激活函数，Gap()表示全局平均池化；
所述映射矩阵M为通过将激光雷达点云数据映射到图像数据而生成的。
6.根据权利要求5所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述将所述Fi’与所述第一融合模块的输出通过逐元素相加操作得到Fi表示为：
。
7.根据权利要求6所述的一种车辆自动驾驶的障碍物识别方法，其特征在于，所述双分支融合检测网络还包括将所述融合之后的特征F以及FP4输入到第二融合模块进行特征融合，并将融合之后的特征输入到检测头得到障碍物检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310237912.XA CN115953765B (zh) | 2023-03-14 | 2023-03-14 | 一种车辆自动驾驶的障碍物识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310237912.XA CN115953765B (zh) | 2023-03-14 | 2023-03-14 | 一种车辆自动驾驶的障碍物识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953765A true CN115953765A (zh) | 2023-04-11 |
| CN115953765B CN115953765B (zh) | 2023-06-20 |
Family
ID=85892353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310237912.XA Active CN115953765B (zh) | 2023-03-14 | 2023-03-14 | 一种车辆自动驾驶的障碍物识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953765B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103576154A (zh) * | 2012-08-01 | 2014-02-12 | 通用汽车环球科技运作有限责任公司 | 使用雷达和摄像机的障碍物探测的融合 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN115457539A (zh) * | 2022-08-30 | 2022-12-09 | 联通(上海)产业互联网有限公司 | 一种基于多传感器的3d目标检测算法 |
| CN115685185A (zh) * | 2022-12-30 | 2023-02-03 | 苏州尚同墨方智能科技有限公司 | 一种4d毫米波雷达与视觉融合感知方法 |
-
2023
- 2023-03-14 CN CN202310237912.XA patent/CN115953765B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103576154A (zh) * | 2012-08-01 | 2014-02-12 | 通用汽车环球科技运作有限责任公司 | 使用雷达和摄像机的障碍物探测的融合 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN115457539A (zh) * | 2022-08-30 | 2022-12-09 | 联通(上海)产业互联网有限公司 | 一种基于多传感器的3d目标检测算法 |
| CN115685185A (zh) * | 2022-12-30 | 2023-02-03 | 苏州尚同墨方智能科技有限公司 | 一种4d毫米波雷达与视觉融合感知方法 |
Non-Patent Citations (3)
| Title |
|---|
| TENGTENG HUANG, ZHE LIU, XIWU CHEN, AND XIANG BAI: "EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection", COMPUTER VISION – ECCV 2020 * |
| 张婉怡: "激光三维成像系统及目标识别算法研究", 中国博士学位论文全文数据库信息科技辑 * |
| 王泽杰: "基于多模态和多模型融合的三维目标检测", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953765B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nobis et al. | A deep learning-based radar and camera sensor fusion architecture for object detection | |
| Zhou et al. | Bridging the view disparity between radar and camera features for multi-modal fusion 3d object detection | |
| US11532151B2 (en) | Vision-LiDAR fusion method and system based on deep canonical correlation analysis | |
| CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN112560774B (zh) | 一种障碍物位置检测方法、装置、设备和存储介质 | |
| Zhe et al. | Inter-vehicle distance estimation method based on monocular vision using 3D detection | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN109444912B (zh) | 一种基于协同控制与深度学习的驾驶环境感知系统及方法 | |
| Li et al. | A feature pyramid fusion detection algorithm based on radar and camera sensor | |
| CN115187964A (zh) | 基于多传感器数据融合的自动驾驶决策方法及SoC芯片 | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| CN114639115B (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN113688738B (zh) | 一种基于激光雷达点云数据的目标识别系统及方法 | |
| CN113643431A (zh) | 一种用于视觉算法迭代优化的系统及方法 | |
| CN114494248A (zh) | 基于点云和不同视角下的图像的三维目标检测系统及方法 | |
| CN113988197B (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| CN113378647B (zh) | 基于三维点云的实时轨道障碍物检测方法 | |
| Ennajar et al. | Deep multi-modal object detection for autonomous driving | |
| Chen et al. | Exploring the effect of 3D object removal using deep learning for LiDAR-based mapping and long-term vehicular localization | |
| Kotur et al. | Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system | |
| CN116994225A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN116386003A (zh) | 基于知识蒸馏的三维目标检测方法 | |
| KR20230167694A (ko) | Lidar 스캔들로부터 자동 차선 마킹 추출 및 분류 | |
| CN115953765A (zh) | 一种车辆自动驾驶的障碍物识别方法 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230411 Assignee: Jiangsu Tianyi Airport Equipment Maintenance Service Co.,Ltd. Assignor: Jiangsu Tianyi Aviation Industry Co.,Ltd. Contract record no.: X2023980044219 Denomination of invention: An obstacle recognition method for autonomous vehicle driving Granted publication date: 20230620 License type: Common License Record date: 20231024 |