CN114529884A - 基于双目相机的障碍物探测处理方法、装置、设备及系统 - Google Patents
基于双目相机的障碍物探测处理方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN114529884A CN114529884A CN202210170630.8A CN202210170630A CN114529884A CN 114529884 A CN114529884 A CN 114529884A CN 202210170630 A CN202210170630 A CN 202210170630A CN 114529884 A CN114529884 A CN 114529884A
- Authority
- CN
- China
- Prior art keywords
- information
- point cloud
- obstacle
- image information
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 46
- 238000005457 optimization Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 230000004888 barrier function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000002085 persistent effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种基于双目相机的障碍物探测处理方法、装置及系统。该方法包括：获取雷达探测的点云数据和双目相机探测的图像数据；分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；根据所述完整障碍物点云信息确定障碍物轮廓。本申请提供的方案，能够更准确探测出大型障碍物的轮廓，提高路径规划的有效性。
Description
技术领域
本申请涉及传感器处理技术领域，尤其涉及一种基于双目相机的障碍物探测处理方法、装置、设备及系统。
背景技术
为了提高行驶安全性，便于规划路线，在飞行器或汽车等领域会采用传感器探测障碍物。目前，可以利用双目相机与激光雷达进行路障探测。
相关技术中，双目相机和激光雷达都能够获得障碍物的三维信息，但双目相机的深度信息精度较差，而激光雷达在探测中远距离的大型障碍物时会出现点云不够密集或部分点丢失等情况，导致检测距离有限。
因此，相关技术中激光雷达以及双目相机各自探测障碍物获得的数据都有不足，特别是遇到大型障碍物时，难以探测障碍物的轮廓，无法获取准确的大型障碍物信息，进而降低了路径规划的有效性。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种基于双目相机的障碍物探测处理方法、装置、设备及系统，能够更准确探测出大型障碍物的轮廓，提高路径规划的有效性。
本申请第一方面提供一种基于双目相机的障碍物探测处理方法，包括：
获取雷达探测的点云数据和双目相机探测的图像数据；
分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；
根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；
根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；
根据所述完整障碍物点云信息确定障碍物轮廓。
在一实施方式中，所述根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息，包括：
根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，将所述待补全障碍物点云信息与所述待调整图像信息进行匹配，获得点云匹配信息；
根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息；
参考所述第一图像信息调整所述待调整图像信息中的未匹配部分，得到第二图像信息；
根据所述第一图像信息和所述第二图像信息获得优化后的优化图像信息。
在一实施方式中，所述根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息，包括：
根据所述点云匹配信息，确定所述待调整图像信息与实际图像信息的偏离值；
根据所述偏离值调整所述待调整图像信息中的匹配部分，得到第一图像信息。
在一实施方式中，所述待补全障碍物点云信息与所述待调整图像信息的对应关系根据所述雷达与所述双目相机的外参转换关系得到。
在一实施方式中，所述雷达与所述双目相机的外参转换关系根据所述雷达与所述双目相机的联合标定得到。
本申请第二方面提供一种基于双目相机的障碍物探测处理装置，包括：
数据获取模块，用于获取雷达探测的点云数据和双目相机探测的图像数据；
聚类处理模块，用于分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；
数据优化模块，用于根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；
点云信息模块，根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；
轮廓确定模块，用于根据所述完整障碍物点云信息确定障碍物轮廓。
在一实施方式中，所述数据优化模块包括：
匹配子模块，用于根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，将所述待补全障碍物点云信息与所述待调整图像信息进行匹配，获得点云匹配信息；
第一优化子模块，用于根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息；
第二优化子模块，用于参考所述第一图像信息调整所述待调整图像信息中的未匹配部分，得到第二图像信息；
优化融合子模块，用于根据所述第一图像信息和所述第二图像信息获得优化后的优化图像信息。
本申请第三方面提供一种基于双目相机的障碍物探测处理系统，包括：
雷达，用于向障碍物探测处理装置发送探测的点云数据；
双目相机，用于向障碍物探测处理装置发送探测的图像数据；
障碍物探测处理装置，用于获取雷达探测的点云数据和双目相机探测的图像数据；分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；根据所述完整障碍物点云信息确定障碍物轮廓。
本申请第四方面提供一种电子设备，包括：处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的方案，在分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息后，根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；然后再根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息。通过上述处理，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了双目相机的高分辨率、感知距离远的特性和雷达的高精度特性，两者优势可以互补，可以获取准确的大型障碍物的完整点云信息，确定大型障碍物的障碍物轮廓，使得大型障碍物信息的完整性得到保证，从而有利于根据大型障碍物的轮廓设计避障路线，提高路径规划的有效性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的基于双目相机的障碍物探测处理方法的流程示意图；
图2是本申请实施例示出的基于双目相机的障碍物探测处理方法的另一流程示意图；
图3是本申请实施例示出的基于双目相机的障碍物探测处理方法的应用流程示意图；
图4是本申请实施例示出的基于双目相机的障碍物探测处理装置的结构示意图；
图5是本申请实施例示出的基于双目相机的障碍物探测处理装置的另一结构示意图；
图6是本申请实施例示出的基于双目相机的障碍物探测处理系统的结构示意图；
图7是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，遇到大型障碍物时，难以探测障碍物的轮廓，无法获取准确的障碍物信息，进而降低了路径规划的有效性。针对上述问题，本申请提供一种基于双目相机的障碍物探测处理方法，能够更准确探测出大型障碍物的轮廓，提高路径规划的有效性。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的基于双目相机的障碍物探测处理方法的流程示意图。
参见图1，该方法包括：
在S101中，获取雷达探测的点云数据和双目相机探测的图像数据。
本申请的雷达可以是激光雷达。激光雷达可以获取三维点云信息，双目相机可以获取三维图像信息。双目相机分辨率高、感知距离远、且能计算出深度信息，但远距离的深度信息精度较差。激光雷达能获得高质量的障碍物三维信息，且精度远比双目相机高。
在S102中，分别对点云数据和图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息。
对于激光雷达的点云数据，可以采用传统点云聚类算法进行聚类处理找出障碍物。该步骤对点云数据进行聚类处理，获得待补全障碍物点云信息。对于双目相机的图像数据，可以利用传统的图像聚类算法例如Kmeans聚类算法对图像数据进行聚类处理找出障碍物。该步骤对图像数据进行聚类处理，获得待调整图像信息。
在S103中，根据待补全障碍物点云信息与待调整图像信息的对应关系，对待调整图像信息进行优化，获得优化图像信息。
该步骤S103可以根据待补全障碍物点云信息与待调整图像信息的对应关系，将待补全障碍物点云信息与待调整图像信息进行匹配，获得点云匹配信息；根据点云匹配信息调整待调整图像信息中的匹配部分，得到第一图像信息；参考第一图像信息调整待调整图像信息中的未匹配部分，得到第二图像信息；根据第一图像信息和第二图像信息获得优化后的优化图像信息。
其中，根据点云匹配信息调整待调整图像信息中的匹配部分，得到第一图像信息，可以包括：根据点云匹配信息，确定待调整图像信息与实际图像信息的偏离值；根据偏离值调整待调整图像信息中的匹配部分，得到第一图像信息。
其中，待补全障碍物点云信息与待调整图像信息的对应关系根据雷达与双目相机的外参转换关系得到，而雷达与双目相机的外参转换关系根据雷达与双目相机的联合标定得到。
在S104中，根据优化图像信息和待补全障碍物点云信息，获得完整障碍物点云信息。
该步骤中，可以根据双目相机与激光雷达的外参转换关系，将优化图像信息转换为对应的点云信息，结合这些转换的点云信息和原来的待补全障碍物点云信息，就可以得到完整障碍物点云信息。
在S105中，根据完整障碍物点云信息确定障碍物轮廓。
对于远距离的障碍物，虽然初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过优化处理得到完整障碍物点云信息后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，可以根据完整障碍物点云信息确定障碍物轮廓，以供进行路径规划避障。
从该实施例可以看出，本申请的方案可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了双目相机的高分辨率、感知距离远的特性和雷达的高精度特性，两者优势可以互补，可以获取准确的大型障碍物的完整点云信息，确定大型障碍物的障碍物轮廓，使得大型障碍物信息的完整性得到保证，从而有利于根据大型障碍物的障碍物轮廓设计避障路线，提高路径规划的有效性。
图2是本申请实施例示出的基于双目相机的障碍物探测处理方法的另一流程示意图，图3是本申请实施例示出的基于双目相机的障碍物探测处理方法的应用流程示意图。
相关技术中双目相机与激光雷达融合算法主要是用于探测小型障碍物，进行路径规划时只需要知道障碍物与车辆车体的相对位姿，并不需要获取障碍物的轮廓信息。本申请对于大型障碍物的应用场景，在进行路径规划时需要得到障碍物的轮廓信息。本申请可以先联合标定好激光雷达和双目相机，然后让激光雷达和双目相机同时获取障碍物信息。其中，双目相机分辨率高、感知距离远、且能计算出深度信息，但其远距离的深度信息精度较差；激光雷达也能获得障碍物三维信息，且精度远比双目相机高，但检测距离有限。本申请方案，同时融合两者的优点，即利用双目相机的远距离感知范围+激光雷达的高精度三维信息，从而可以互补互利，获取准确的障碍物信息。
参见图2和图3，该方法包括：
在S201中，在激光雷达和双目相机进行联合标定后，分别获取激光雷达探测的点云数据和双目相机探测的图像数据。
为了提高系统的稳健性，本申请采取多传感器融合的方案。一般而言，融合包含不同传感器的时间同步和空间同步，本申请中的激光雷达和双目相机的联合标定属于空间同步。
该步骤对激光雷达和双目相机进行联合标定，可以得到激光雷达与双目相机之间的外参关系，从而使得互相可以进行换算，例如能够用激光点云信息换算出其对应的视觉信息。需说明的是，可以采用相关技术方法对激光雷达和双目目相机进行联合标定，本申请不加以限定。
该步骤先对激光雷达和双目相机进行联合标定，使得两者同步执行，分别采集得到大型障碍物的点云数据和图像数据(RGB-D图像)。
其中，激光雷达与双目相机之间的外参关系通过激光雷达与双目相机的联合标定过程可以得到，外参转换关系可以如下：
其中，xc、yc为视觉数据中角点的坐标，xl、yl、zl为点云中角点的坐标。zc为视觉数据(图像数据)归一化的参数，fx、fy为双目相机焦距，cx、cy为双目相机主点偏移。R为多传感器标定过程中确定的旋转矩阵，t为多传感器标定过程中确定的平移矩阵。R和t都是多传感器标定过程中确定的外参。
在S202中，将激光雷达探测的点云数据和双目相机探测的图像数据进行融合，得到多传感器融合信息。
当通过联合标定确定外参关系后，对于激光雷达探测的点云数据和双目相机探测的图像数据，可以进行信息融合，得到多传感器融合信息。信息融合可以包括点云到图像的融合和图像到点云的融合。
在S203中，对点云数据进行聚类处理，获得待补全障碍物点云信息。
对于激光雷达的点云数据，可以采用传统点云聚类算法进行聚类处理找出障碍物。该步骤对点云数据进行聚类处理，获得待补全障碍物点云信息。例如，可以利用点云聚类算法遍历点云当中每一个点，并搜索其相邻的点；若它们之间的距离在一定阈值以内，可以认为这些点属于同一类障碍物。对于近距离的障碍物，激光点云能较为密集的打在上面，因此作聚类处理后的点云信息能准确的还原障碍物轮廓；但对于远距离的障碍物，因为激光雷达分辨率有限，打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓。此时，可以标识这些聚类后的障碍物信息为“待补全障碍物点云信息”。
在S204中，对图像数据进行聚类处理，获得待调整图像信息。
虽然双目相机分辨率高、感知距离远、且能计算出深度信息，但其远距离的深度信息精度较差。
对于双目相机的图像数据，可以利用传统的图像聚类算法例如Kmeans聚类算法对图像数据进行聚类处理找出障碍物。该步骤对图像数据进行聚类处理，获得待调整图像信息。Kmeans聚类算法是十分常用的聚类算法，给定聚类的数目N，Kmeans会自动在样本数据中寻找N个质心，从而将样本数据分为N个类别。由于远距离的图像的深度信息精度较差，不能准确还原障碍物，因此可以标记这些聚类处理后的图像信息为待调整图像信息。
在S205中，根据激光雷达与双目相机的外参转换关系，得到待补全障碍物点云信息与待调整图像信息的对应关系。
其中，激光雷达与双目相机的外参转换关系可以根据前述的激光雷达与双目相机的联合标定得到。
在S206中，根据待补全障碍物点云信息与待调整图像信息的对应关系，对待调整图像信息进行优化，获得优化图像信息。
该步骤S206可以根据待补全障碍物点云信息与待调整图像信息的对应关系，将待补全障碍物点云信息与待调整图像信息进行匹配，获得点云匹配信息；根据点云匹配信息调整待调整图像信息中的匹配部分，得到第一图像信息；参考第一图像信息调整待调整图像信息中的未匹配部分，得到第二图像信息；根据第一图像信息和第二图像信息获得优化后的优化图像信息。
其中，根据点云匹配信息调整待调整图像信息中的匹配部分，得到第一图像信息，可以包括：根据点云匹配信息，确定待调整图像信息与实际图像信息的偏离值；根据偏离值调整待调整图像信息中的匹配部分，得到第一图像信息。
对于双目相机的图像信息(RGB-D信息)，它与点云信息一样都是三维，且范围更广，能够感知到更多障碍物信息，只是它的深度信息有待提高。本申请技术方案中，通过激光雷达与双目相机之间的外参转换关系，可以找到点云信息与图像信息(RGB-D信息)的对应关系，也就是待补全障碍物点云信息与待调整图像信息的对应关系，然后将待补全障碍物点云信息与待调整图像信息进行匹配。因为双目相机的感知范围更远，所以可能只有部分的RGB-D信息能找到对应的点云信息，而点云信息的精度更为准确，因此本申请可以用匹配查找的更为精准的点云信息去优化这部分RGB-D信息，例如可以确定这部分RGB-D信息与实际RGB-D信息的偏离值；根据偏离值调整这部分RGB-D信息；对于无法找到与点云信息的对应关系的另外一部分RGB-D信息，本申请可以通过已优化过的RGB-D信息，来推算出该另外一部分RGB-D信息的优化值，也即对另外一部分RGB-D信息也进行优化。因为另外一部分待优化的RGB-D信息与已优化过的RGB-D信息存在一定的几何关系，例如两者彼此相近、两者的深度信息相近等，因此可以利用几何关系对另外一部分RGB-D信息也进行优化。如果还有语义信息辅助，则可以进一步更准确建立该两者的联系用于优化参考。
举例说明，对于一个平面，利用激光雷达只探测感知到一半，而利用双目相机能感知到全部，但是双目相机输出的图像数据比实际的图像偏离一段距离。根据激光雷达和双目相机的外参转换关系，通过更为精准的点云信息，可以确定RGB-D信息与实际RGB-D信息之间的偏离值，然后根据偏离值调整这部分RGB-D信息。即使点云信息和RGB-D信息不是严格上的一一对应，但依然可以去获得更为精准且完整的平面三维数据。
在S207中，根据优化图像信息和待补全障碍物点云信息，获得完整障碍物点云信息。
该步骤中，可以根据双目相机与激光雷达的外参转换关系，将优化图像信息转换为对应的点云信息，结合这些转换的点云信息和原来的待补全障碍物点云信息，就可以得到完整障碍物点云信息。
因为双目相机探测的范围更广，能够感知到更多障碍物信息，所以对于激光雷达探测不到的障碍物信息，通过双目相机能够探测到。当根据双目相机与激光雷达的外参转换关系，将优化图像信息转换为对应的点云信息之后，所转换的点云信息中就包括了之前激光雷达未探测到的障碍物的点云信息。因此，结合这些转换的点云信息和原来的待补全障碍物点云信息，就可以得到完整障碍物点云信息。
在S208中，根据完整障碍物点云信息确定障碍物轮廓。
完整障碍物点云信息中，既包括了激光雷达自身探测到的障碍物的点云信息，又包括激光雷达自身未探测到但利用双目相机探测的图像信息转换得到的点云信息，因此就可以比较完整地确定大型障碍物的轮廓。
此时，对于远距离的障碍物，虽然激光雷达初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过处理得到完整障碍物点云信息后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，可以根据完整障碍物点云信息确定障碍物轮廓。
需说明的是，在步骤S208之后，还可以根据障碍物轮廓进行避障的路径规划。
载人飞行器的路径规划模块一般可以根据障碍物轮廓设计避障路线。本申请根据确定的大型障碍物的障碍物轮廓，就可以进行避障的路径规划，使得载人飞行器在飞行过程中能准确识别出大型障碍物并成功避障。
综上所描述，本申请方案是传统多传感器融合算法的优化，它有效地弥补了大障碍物的点云信息不完整所带来的影响。双目相机分辨率高能提供更多细节、感知距离远、且能计算出深度信息；而激光雷达也能获得高质量的障碍物三维信息，且精度远比双目相机高；因此本申请可以充分利用双目相机与激光雷达的优势进行互补，获取准确的障碍物信息，使得障碍物信息的完整性得到保证，可以准确探测出障碍物例如大型障碍物的轮廓，根据障碍物轮廓设计避障路线，提高路径规划的有效性。
与前述应用功能实现方法实施例相对应，本申请还提供了一种基于双目相机的障碍物探测处理装置、系统、电子设备及相应的实施例。
图4是本申请实施例示出的基于双目相机的障碍物探测处理装置的结构示意图。
参见图4，本申请提供一种基于双目相机的障碍物探测处理装置400，包括：数据获取模块41、聚类处理模块42、数据优化模块43、点云信息模块44、轮廓确定模块45。
数据获取模块41，用于获取雷达探测的点云数据和双目相机探测的图像数据。本申请的雷达可以是激光雷达。激光雷达可以获取三维点云信息，双目相机可以获取三维图像信息。
聚类处理模块42，用于分别对点云数据和图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息。对于激光雷达的点云数据，聚类处理模块42可以采用传统点云聚类算法进行聚类处理找出障碍物。对于双目相机的图像数据，聚类处理模块42可以利用传统的图像聚类算法例如Kmeans聚类算法对图像数据进行聚类处理找出障碍物。
数据优化模块43，用于根据待补全障碍物点云信息与待调整图像信息的对应关系，对待调整图像信息进行优化，获得优化图像信息。
点云信息模块44，根据优化图像信息和待补全障碍物点云信息，获得完整障碍物点云信息。点云信息模块44可以根据双目相机与激光雷达的外参转换关系，将优化图像信息转换为对应的点云信息，结合这些转换的点云信息和原来的待补全障碍物点云信息，就可以得到完整障碍物点云信息。
轮廓确定模块45，用于根据完整障碍物点云信息确定障碍物轮廓。对于远距离的障碍物，虽然初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过优化处理得到完整障碍物点云信息后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，轮廓确定模块45可以根据完整障碍物点云信息确定障碍物轮廓，以供进行路径规划避障。
图5是本申请实施例示出的基于双目相机的障碍物探测处理装置的另一结构示意图。
参见图5，本申请提供一种基于双目相机的障碍物探测处理装置400，包括：数据获取模块41、聚类处理模块42、数据优化模块43、点云信息模块44、轮廓确定模块45。
数据获取模块41、聚类处理模块42、数据优化模块43、点云信息模块44、轮廓确定模块45的功能可以参见图4中的描述。
其中，数据优化模块43可以包括：匹配子模块431、第一优化子模块432、第二优化子模块433、优化融合子模块434。
匹配子模块431，用于根据待补全障碍物点云信息与待调整图像信息的对应关系，将待补全障碍物点云信息与待调整图像信息进行匹配，获得点云匹配信息；
第一优化子模块432，用于根据点云匹配信息调整待调整图像信息中的匹配部分，得到第一图像信息；
第二优化子模块433，用于参考第一图像信息调整待调整图像信息中的未匹配部分，得到第二图像信息；
优化融合子模块434，用于根据第一图像信息和第二图像信息获得优化后的优化图像信息。
其中，第一优化子模块432可以根据点云匹配信息，确定待调整图像信息与实际图像信息的偏离值；根据偏离值调整待调整图像信息中的匹配部分，得到第一图像信息。
其中，待补全障碍物点云信息与待调整图像信息的对应关系根据雷达与双目相机的外参转换关系得到。雷达与双目相机的外参转换关系根据雷达与双目相机的联合标定得到。
从该实施例可以看出，本申请提供的基于双目相机的障碍物探测处理装置，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了双目相机的高分辨率、感知距离远的特性和雷达的高精度特性，两者优势可以互补，可以获取准确的大型障碍物的完整点云信息，确定大型障碍物的障碍物轮廓，使得大型障碍物信息的完整性得到保证，从而有利于根据大型障碍物的轮廓设计避障路线，提高路径规划的有效性。
图6是本申请实施例示出的基于双目相机的障碍物探测处理系统的结构示意图。
参见图6，本申请提供的基于双目相机的障碍物探测处理系统600包括：障碍物探测处理装置400、雷达61、双目相机62。
雷达61，用于向障碍物探测处理装置400发送探测的点云数据；
双目相机62，用于向障碍物探测处理装置400发送探测的图像数据；
障碍物探测处理装置400，用于获取雷达61探测的点云数据和双目相机62探测的图像数据；分别对点云数据和图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；根据待补全障碍物点云信息与待调整图像信息的对应关系，对待调整图像信息进行优化，获得优化图像信息；根据优化图像信息和待补全障碍物点云信息，获得完整障碍物点云信息；根据完整障碍物点云信息确定障碍物轮廓。
障碍物探测处理装置400的功能和结构可以参见图4和图5中的描述，此处不再赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图7是本申请实施例示出的电子设备的结构示意图。
参见图7，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于双目相机的障碍物探测处理方法，其特征在于，包括：
获取雷达探测的点云数据和双目相机探测的图像数据；
分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；
根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；
根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；
根据所述完整障碍物点云信息确定障碍物轮廓。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息，包括：
根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，将所述待补全障碍物点云信息与所述待调整图像信息进行匹配，获得点云匹配信息；
根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息；
参考所述第一图像信息调整所述待调整图像信息中的未匹配部分，得到第二图像信息；
根据所述第一图像信息和所述第二图像信息获得优化后的优化图像信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息，包括：
根据所述点云匹配信息，确定所述待调整图像信息与实际图像信息的偏离值；
根据所述偏离值调整所述待调整图像信息中的匹配部分，得到第一图像信息。
4.根据权利要求2所述的方法，其特征在于：
所述待补全障碍物点云信息与所述待调整图像信息的对应关系根据所述雷达与所述双目相机的外参转换关系得到。
5.根据权利要求4所述的方法，其特征在于：
所述雷达与所述双目相机的外参转换关系根据所述雷达与所述双目相机的联合标定得到。
6.一种基于双目相机的障碍物探测处理装置，其特征在于，包括：
数据获取模块，用于获取雷达探测的点云数据和双目相机探测的图像数据；
聚类处理模块，用于分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；
数据优化模块，用于根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；
点云信息模块，根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；
轮廓确定模块，用于根据所述完整障碍物点云信息确定障碍物轮廓。
7.根据权利要求6所述的装置，其特征在于，所述数据优化模块包括：
匹配子模块，用于根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，将所述待补全障碍物点云信息与所述待调整图像信息进行匹配，获得点云匹配信息；
第一优化子模块，用于根据所述点云匹配信息调整所述待调整图像信息中的匹配部分，得到第一图像信息；
第二优化子模块，用于参考所述第一图像信息调整所述待调整图像信息中的未匹配部分，得到第二图像信息；
优化融合子模块，用于根据所述第一图像信息和所述第二图像信息获得优化后的优化图像信息。
8.一种基于双目相机的障碍物探测处理系统，其特征在于，包括：
雷达，用于向障碍物探测处理装置发送探测的点云数据；
双目相机，用于向障碍物探测处理装置发送探测的图像数据；
障碍物探测处理装置，用于获取雷达探测的点云数据和双目相机探测的图像数据；分别对所述点云数据和所述图像数据进行聚类处理，获得与障碍物对应的待补全障碍物点云信息和待调整图像信息；根据所述待补全障碍物点云信息与所述待调整图像信息的对应关系，对所述待调整图像信息进行优化，获得优化图像信息；根据所述优化图像信息和所述待补全障碍物点云信息，获得完整障碍物点云信息；根据所述完整障碍物点云信息确定障碍物轮廓。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170630.8A CN114529884A (zh) | 2022-02-23 | 2022-02-23 | 基于双目相机的障碍物探测处理方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210170630.8A CN114529884A (zh) | 2022-02-23 | 2022-02-23 | 基于双目相机的障碍物探测处理方法、装置、设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114529884A true CN114529884A (zh) | 2022-05-24 |
Family
ID=81623920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210170630.8A Pending CN114529884A (zh) | 2022-02-23 | 2022-02-23 | 基于双目相机的障碍物探测处理方法、装置、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529884A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842455A (zh) * | 2022-06-27 | 2022-08-02 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
| CN116977430A (zh) * | 2023-08-08 | 2023-10-31 | 江阴极动智能科技有限公司 | 避障方法及避障装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| WO2021016854A1 (zh) * | 2019-07-30 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 一种标定方法、设备、可移动平台及存储介质 |
| CN113920487A (zh) * | 2021-10-09 | 2022-01-11 | 广东汇天航空航天科技有限公司 | 障碍物探测处理方法、装置及系统 |
-
2022
- 2022-02-23 CN CN202210170630.8A patent/CN114529884A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| WO2021016854A1 (zh) * | 2019-07-30 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 一种标定方法、设备、可移动平台及存储介质 |
| CN113920487A (zh) * | 2021-10-09 | 2022-01-11 | 广东汇天航空航天科技有限公司 | 障碍物探测处理方法、装置及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842455A (zh) * | 2022-06-27 | 2022-08-02 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
| CN114842455B (zh) * | 2022-06-27 | 2022-09-09 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
| CN116977430A (zh) * | 2023-08-08 | 2023-10-31 | 江阴极动智能科技有限公司 | 避障方法及避障装置、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| US11113959B2 (en) | Crowdsourced detection, identification and sharing of hazardous road objects in HD maps | |
| WO2022022694A1 (zh) | 自动驾驶环境感知方法及系统 | |
| US10866101B2 (en) | Sensor calibration and time system for ground truth static scene sparse flow generation | |
| US10671862B2 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
| US8521418B2 (en) | Generic surface feature extraction from a set of range data | |
| WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| CN109961468B (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
| US20180356526A1 (en) | Sensor calibration and time method for ground truth static scene sparse flow generation | |
| CN113920487A (zh) | 障碍物探测处理方法、装置及系统 | |
| US9361696B2 (en) | Method of determining a ground plane on the basis of a depth image | |
| Wei et al. | GPS and Stereovision‐Based Visual Odometry: Application to Urban Scene Mapping and Intelligent Vehicle Localization | |
| CN114529884A (zh) | 基于双目相机的障碍物探测处理方法、装置、设备及系统 | |
| AU2018282302A1 (en) | Integrated sensor calibration in natural scenes | |
| US10481267B2 (en) | Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation | |
| CN114140527B (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| US20180357315A1 (en) | UNDISTORTED RAW LiDAR SCANS AND STATIC POINT EXTRACTIONS SYSTEM FOR GROUND TRUTH STATIC SCENE SPARSE FLOW GENERATION | |
| US20180357314A1 (en) | Time synchronization and data acquisition system for ground truth static scene sparse flow generation | |
| EP3703008A1 (en) | Object detection and 3d box fitting | |
| CN114187579A (zh) | 自动驾驶的目标检测方法、装置和计算机可读存储介质 | |
| CN117218350A (zh) | 一种基于固态雷达的slam实现方法及系统 | |
| US20220075068A1 (en) | Decision-based sensor fusion with global optimization for indoor mapping | |
| US20200158887A1 (en) | Device for estimating vehicle location and method for the same | |
| CN114820809A (zh) | 一种参数确定方法、设备以及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |