CN113963335B - 基于图像和点云数据的路面障碍物检测方法 - Google Patents
基于图像和点云数据的路面障碍物检测方法 Download PDFInfo
- Publication number
- CN113963335B CN113963335B CN202111564672.1A CN202111564672A CN113963335B CN 113963335 B CN113963335 B CN 113963335B CN 202111564672 A CN202111564672 A CN 202111564672A CN 113963335 B CN113963335 B CN 113963335B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- cloud data
- road surface
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明涉及路面障碍物检测技术领域，特别公开了一种基于图像和点云数据的路面障碍物检测方法。本发明通过重建物体三维结构，来弥补二维图像不具备三维空间坐标信息的缺点，然后对具有三维结构信息的特征表示进行学习，预测该物体是否属于障碍物。本发明基于图像和点云数据进行路面障碍物检测，可以尽可能的还原物体在实际场景下的大小、结构、外观等信息，弥补了二维图像只有平面信息的缺点，可以更加真实的表示物体的信息，从而提升模型预测的性能。
Description
技术领域
本发明涉及路面障碍物检测技术领域，特别涉及一种基于图像和点云数据的路面障碍物检测方法。
背景技术
近年来，随着人工智能技术的发展，出现了智慧城市，智慧交通等方面的应用。尤其在智慧交通方面，产生了大量的工业应用，目前已投入使用的包括智慧公交，智慧停车，高速无感收费，智能红绿灯等。除此之外，在智慧交通方面的研究热点还包括无人驾驶，机器人驾驶等方向。然而由于实际中，路况非常复杂，阻碍智慧驾驶研究投入生产应用的因素较多，使得研究进程受到了牵制，其中路面障碍物就是因素之一。因此，实现智能检测路面障碍物技术是推动无人驾驶研究发展的关键。
现存的路面障碍物检测研究中，研究数据大多基于摄像机拍摄的图像，而基于摄像机拍摄的图像存在的主要问题是拍摄的图像为二维数据，而路障检测中更关心目标的三维空间信息。因此基于二维图像的研究方法中，对障碍物的识别能力较差，性能鲁棒性低；除此之外，也有利用结构光视觉传感器检测障碍物的研究，但该方法受设备的局限性较大，难以推广使用。因此现有路面障碍物检测研究存在性能差以及难以推广的问题。
发明内容
本发明为了弥补现有技术的不足，提供了一种数据获取便利、人工及设备成本低的基于图像和点云数据的路面障碍物检测方法。
本发明是通过如下技术方案实现的：
一种基于图像和点云数据的路面障碍物检测方法，包括如下步骤：
（1）获取路面物体图像数据；
（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后对不同图像的特征点进行匹配；通过对极几何的原理，计算得到本质矩阵，对本质矩阵做分解，得到旋转矩阵R和平移矩阵T，通过三角测量，BA光束法平差优化处理后得到稀疏点云数据；
（3）在稀疏点云数据的基础上增量式增加点云数据，使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递推关系推导出第i张相对于第1张的位置关系，从而获得第i+1张和第1张的位置关系，然后将其加入到稀疏点云数据中，重复操作多次即可获得物体的稠密点云数据；
（4）利用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示；
（5）将得到的物体特征表示经过非线性函数变化，将其投影到目标空间中，获得相应类别的概率，识别是否为障碍物。
本发明通过重建物体三维结构，来弥补二维图像不具备三维空间坐标信息的缺点，然后对具有三维结构信息的特征表示进行学习，预测该物体是否属于障碍物。
首先介绍点云数据，点云数据可以分为两大类，一类是稀疏点云，另一类是稠密点云，两类数据的相同点是都具备物体的三维坐标信息，不同点在于稀疏点云数据中点与点之间的距离较大，稠密点云中点与点之间的距离较小。这样稀疏点云数据就会出现无法准确描述物体三维信息的问题，尤其在小物体上，而稠密点云数据直接获取的成本较高，不利于获取大规模数据。为此，本发明的第一项工作即为基于多视角图像重建稀疏点云数据；第二项工作即基于稀疏点云重建获得稠密点云数据。在获取稠密点云数据之后，建模三维语义信息，最后本发明采用三维卷积神经网络对三维语义信息进行表示学习，并对获得的特征表示进行分类，判别该物体是否为障碍物。
进一步优选的，步骤（1）中，使用摄像设备多视角拍摄图像，包括正常使用的路面，即路上无障碍物、无破损，以及非正常路面，根据图像内容进行类别标注，分为障碍物和非障碍物两类，其中非正常路面包括路面有坑洼、石头、井盖破损等常见路障。
进一步优选的，步骤（2）中，利用struct from motion（SFM）方法重建三维数据。其原理是通过相机的移动来确定目标物体的空间和几何关系。其优点是，由于其输入数据只需要是普通的RGB图像即可，因此该方法具有成本低廉的优点，此外该方法受约束少，可以适应于不同光线下的数据。其具体过程分为以下几步：
特征点的提取与匹配，使用SIFT特征点提取算法获得特征点，然后对不同图像获得的特征点进行匹配，先将特征点转成一个n维向量的描述子，利用距离度量公示进行匹配；
通过对极几何的原理，计算得到本质矩阵。对极几何通过相机光心和被摄点三点共面的几何意义给出了由像素坐标推算出两个相机间旋转和平移矩阵的方法，从而获得本质矩阵（Essential Matrix），本质矩阵包含了平移向量和旋转矩阵；
对本质矩阵做分解，使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平移矩阵T；
通过三角测量，计算出相应的投影矩阵P，在调用triangulatePoints函数计算出空间点，获取匹配点的信息，获得稀疏点云数据。
重建稠密点云数据：通过上一步骤重建了物体的稀疏点云数据，但正如之前所述，稀疏点云数据的特点是点与点之间的距离较大，因此很难清楚地构建出完整的物体结构，为此必须进一步重建稠密点云数据。而要想重建稠密点云数据，应当具有一张目标物体准确的深度图，即每个像素点表示的是深度信息而不是颜色信息。获取深度图的方法很多，但它们以来专门的传感器设备，普通的收集、摄像机等无法获得深度图。
而本发明基于的原始数据是普通的RGB图像，为此本发明采用多视角多图重建点云的方式来获得相对稠密的点云信息。即在第一次获得稀疏点云数据的基础上增量式添加新的点云数据，最后完成稠密点云数据的重建工作。
增量式添加有两种方式，其一是以第一次获得点云的初始图像为基点，后续图像都以初始图像为基准进行添加。但由于构建稠密点云用到的视角较多，不可避免会发生某视角下无法以初始图像作为参照的情况。为此，本发明采用第二种方式，即以相邻相机图像匹配，如上所述获得第i+1张和第1张的位置关系，将其加入到点云数据中，重复上述操作多次即可获得物体的稠密点云数据。
物体特征表示学习：经过上述步骤，本发明获得了物体的三维信息数据，接下来采用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示。
分类：本发明将目标物体分为两类，即知区分物体是否为障碍物，而不进行具体物体识别。
进一步优选的，步骤（5）中，经过卷积神经网络，模型获得物体高层次表示，对该高层次表示进行非线性处理，并将其投影到目标空间中，目标空间为2，第一维表示非障碍物，第二维表示障碍物，经过softmax函数，获得在目标空间上的相应类别的概率，实现最终区分障碍物和非障碍物的分类任务。
与现有技术相比，本发明的有益效果是：
本发明基于图像和点云数据进行路面障碍物检测，对比之前方法，该方法通过对图像进行三维重建，获得了目标物体的三维信息数据，这样可以尽可能的还原物体在实际场景下的大小、结构、外观等信息，弥补了二维图像只有平面信息的缺点，可以更加真实的表示物体的信息，从而提升模型预测的性能。
此外，本发明基于普通RGB图像进行三维重建，这样的好处包括：获取原始数据方便，由于只需要普通RGB图像，不需要利用专用设备进行拍摄，这就极大地便利了数据的获取，从而降低了研究所需的人工和设备成本；同时使得数据受局限性降低，减轻了环境拍摄对研究的限制。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明方法的流程示意图；
图2为本发明提供的模型框架示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
如图1所示，本发明实施例中的基于图像和点云数据进行路面障碍物检测方法，包括如下步骤：
S1：获取数据
使用手机，摄像机等设备多视角拍摄图像，包括正常使用的路面，即路上无障碍物，无破损，以及非正常路面，包括路面有坑洼，石头，井盖破损等常见路障。根据图像内容进行类别标注，分为障碍物和非障碍物两类。
S2：重建稀疏点云
本发明基于SFM方法重建三维数据，第一步对数据进行特征点提取和匹配，本发明采用SIFT特征提取算法获得图像特征点，利用openCV库，可以为实验提供方便的接口，获得图像特征点；然后对不同图像的特征点进行匹配。先将特征点转成一个n维向量的描述子，利用距离度量公式，如求解欧式距离等方法进行匹配。 然后利用findEssentialMat函数计算获得本质矩阵，紧接着使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平移矩阵T。根据旋转矩阵R和平移矩阵T计算出相应的投影矩阵P（P=K[R T]），再调用triangulatePoints函数计算出空间点，然后就可以获取匹配点的坐标等信息。从而获得稀疏点云数据。
S3：重建稠密点云
该步骤是在S2的基础上增量式添加点云数据，其方法使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递推关系可以推导出第i张相对于第1张的位置关系，从而也就获得了第i+1和第1张的位置关系，然后将其加入到原始点云数据中。
S4：特征表示学习
经过上一步，可以得到物体的稠密三维信息:
其中，l，w，h分别为物体的长，宽，高的维度。
利用三维卷积神经网络对该数据进行表示学习，得到新的表示：
区别于基于图片的研究任务，本发明数据包含了三维结构信息，其主要目的是尽可能还原物体的三维结构信息，因为不同体积的障碍物造成的影响是不同的，所以若能为用户提供障碍物的三维信息，则更有利于辅助用户进行判断。其三维信息由S2-S3构建获得，但经过S2-S3，无法判断物体是否属于障碍物，为此在本模块需要对获得的特征信息进行表示学习，获取其高层表示，从而用于下一步的预测任务。其具体过程为将物体的长宽高作为三维卷积神经网络的输入，然后获得对应的特征图。
S5：预测分类
经过卷积神经网络，模型获得了物体高层次表示，对该表示进行非线性处理，并将其投影到目标空间中，然后经过softmax激活函数获得相应类别的概率值，概率值大的对应的类别即为模型预测结果。
本发明为简化问题，只存在两个类别，即非障碍物和障碍物，所以目标空间大小为2。经过该模块，模型可以获得物体对应的类别，若属于障碍物类，则可以将其反馈给用户，供用户参考使用。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于图像和点云数据的路面障碍物检测方法，其特征为，包括如下步骤：（1）获取路面物体图像数据；（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后对不同图像的特征点进行匹配；对本质矩阵做分解，得到旋转矩阵R和平移矩阵T，通过三角测量，BA光束法平差优化处理后得到稀疏点云数据；（3）在稀疏点云数据的基础上增量式增加点云数据，使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递推关系推导出第i张相对于第1张的位置关系，从而获得第i+1张和第1张的位置关系，然后将其加入到稀疏点云数据中，重复操作多次即可获得物体的稠密点云数据；（4）利用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示；（5）将得到的物体特征表示经过非线性函数变化，将其投影到目标空间中，获得相应类别的概率，识别是否为障碍物。
2.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤（1）中，使用摄像设备多视角拍摄图像，包括正常使用的路面以及非正常路面，根据图像内容进行类别标注，分为障碍物和非障碍物两类，其中非正常路面包括路面有坑洼、石头及井盖破损。
3.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤（2）中，使用SIFT特征点提取算法获得特征点，然后对不同图像获得的特征点进行匹配，先将特征点转成一个n维向量的描述子，利用距离度量公示进行匹配；之后利用findEssentialMat函数计算获得本质矩阵，接着使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平移矩阵T，从而计算出相应的投影矩阵P，在调用triangulatePoints函数计算出空间点，获取匹配点的信息，获得稀疏点云数据。
4.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤（5）中，经过卷积神经网络，模型获得物体高层次表示，对该高层次表示进行非线性处理，并将其投影到目标空间中，获得相应类别的概率，实现最终区分障碍物和非障碍物的分类任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111564672.1A CN113963335B (zh) | 2021-12-21 | 2021-12-21 | 基于图像和点云数据的路面障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111564672.1A CN113963335B (zh) | 2021-12-21 | 2021-12-21 | 基于图像和点云数据的路面障碍物检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963335A CN113963335A (zh) | 2022-01-21 |
| CN113963335B true CN113963335B (zh) | 2022-03-22 |
Family
ID=79473411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111564672.1A Active CN113963335B (zh) | 2021-12-21 | 2021-12-21 | 基于图像和点云数据的路面障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963335B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2552648B (en) * | 2016-07-22 | 2020-09-16 | Imperial College Sci Tech & Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
| CN106951847B (zh) * | 2017-03-13 | 2020-09-29 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| EP3767521A1 (en) * | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| CN110675307B (zh) * | 2019-08-19 | 2023-06-06 | 杭州电子科技大学 | 基于vslam的3d稀疏点云到2d栅格图的实现方法 |
| CN111583337B (zh) * | 2020-04-25 | 2023-03-21 | 华南理工大学 | 一种基于多传感器融合的全方位障碍物检测方法 |
| CN111709343B (zh) * | 2020-06-09 | 2023-11-10 | 广州文远知行科技有限公司 | 一种点云检测方法、装置、计算机设备和存储介质 |
| CN112762957B (zh) * | 2020-12-29 | 2022-12-30 | 西北工业大学 | 一种基于多传感器融合的环境建模及路径规划方法 |
-
2021
- 2021-12-21 CN CN202111564672.1A patent/CN113963335B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113963335A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| Alcantarilla et al. | Street-view change detection with deconvolutional networks | |
| Vaudrey et al. | Differences between stereo and motion behaviour on synthetic and real-world stereo sequences | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及系统 | |
| CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
| CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
| CN103512579A (zh) | 一种基于热红外摄像机和激光测距仪的地图构建方法 | |
| CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
| CN111860651A (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
| CN112766136A (zh) | 一种基于深度学习的空间车位检测方法 | |
| Petrovai et al. | Semantic cameras for 360-degree environment perception in automated urban driving | |
| Liu et al. | D-lc-nets: Robust denoising and loop closing networks for lidar slam in complicated circumstances with noisy point clouds | |
| Liu | An integrated lidar-slam system for complex environment with noisy point clouds | |
| CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN114298151A (zh) | 一种基于点云数据与图像数据融合的3d目标检测方法 | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| Fang et al. | CFVL: A coarse-to-fine vehicle localizer with omnidirectional perception across severe appearance variations | |
| Huang et al. | Overview of LiDAR point cloud target detection methods based on deep learning | |
| CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
| CN113963335B (zh) | 基于图像和点云数据的路面障碍物检测方法 | |
| CN116524382A (zh) | 一种桥梁转体合拢准确性检验方法系统、设备 | |
| Guo et al. | A feasible region detection method for vehicles in unstructured environments based on PSMNet and improved RANSAC | |
| CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |