CN115359083A - 障碍物的轮廓获取方法、系统、介质及电子设备 - Google Patents
障碍物的轮廓获取方法、系统、介质及电子设备 Download PDFInfo
- Publication number
- CN115359083A CN115359083A CN202210994914.9A CN202210994914A CN115359083A CN 115359083 A CN115359083 A CN 115359083A CN 202210994914 A CN202210994914 A CN 202210994914A CN 115359083 A CN115359083 A CN 115359083A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obstacle
- ultrasonic
- contour
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000000007 visual effect Effects 0.000 claims abstract description 93
- 230000004888 barrier function Effects 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供一种障碍物的轮廓获取方法、系统、介质及电子设备，所述障碍物的轮廓获取方法包括：获取感知障碍物得到的超声波点云和视觉特征点云；基于所述超声波点云提取所述障碍物的超声波轮廓线；利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。本发明获取稀疏点云聚类轮廓时有效降低了点云中噪音点的干扰，提高了轮廓的拟合精度，进而提高了目标检测的精度。
Description
技术领域
本发明属于智能驾驶技术领域，涉及一种障碍物探测方法，特别是涉及一种障碍物的轮廓获取方法、系统、介质及电子设备。
背景技术
全自动泊车辅助系统(Auto Parking Assist，APA)和自主代客泊车系统(Automated Valet Parking，AVP)使用AVM(环视)和USS(超声波雷达)感知泊车环境。由环视相机感知到的视觉特征点云和由超声波雷达感知到的超声波点云均为稀疏点云，从稀疏点云中获取障碍物外轮廓的方法主要包括以下步骤：1)稀疏点云聚类；2)计算聚类边界，作为障碍物外轮廓。之后控制和规划模块依据障碍物外轮廓做相应的响应。
其中，步骤1)中，点云聚类多采用基于空间距离的聚类方法，稀疏点云中某些点与点之间的距离会超过聚类距离阈值，导致同一目标的点云被分割成多个子聚类，最终生成多条互不相关的外轮廓线，无法表达真实障碍物的外轮廓。步骤2)中，由于环境因素和传感器自身精度影响，点云中会包含一些噪音点，位于边界位置的噪音点往往对障碍物外轮廓的计算产生干扰。
综上所述，现有的障碍物外轮廓获取方法得到的轮廓存在误差，导致目标检测的精度较低。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种障碍物的轮廓获取方法、系统、介质及电子设备，用于解决现有障碍物轮廓获取方法检测精度较低的问题。
为实现上述目的及其他相关目的，本发明提供一种障碍物的轮廓获取方法，所述障碍物的轮廓获取方法包括：获取感知障碍物得到的超声波点云和视觉特征点云；基于所述超声波点云提取所述障碍物的超声波轮廓线；利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，所述基于所述超声波点云提取所述障碍物的超声波轮廓线的一种实现过程包括：计算获得所述超声波点云的外接凸多边形；删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段；以所述凸多边线段的各端点作为拐点，依据所述拐点将所述超声波点云分割为若干点云块；计算各所述点云块的拟合线段；将各所述拟合线段拼接获得所述障碍物的超声波轮廓线。
于本发明的一实施例中，计算获得所述超声波点云的外接凸多边形的一种实现过程包括：于所述超声波点云中选择Y方向上坐标值最小的点作为起点，加入凸包点集中；将所述超声波点云中其余点与起点分别连线，计算各连线在极坐标系下的角度；将每个点根据角度从小到大的顺序进行逆时针方向排序；从角度最小值对应的点开始，依次选取符合预设条件的点加入所述凸包点集；所述预设条件包括：根据所述逆时针方向排序，选取该点和下一个点组成一个向量，选取该点和所述凸包点集中最后一个点组成一个向量；若两个向量的方向为逆时针方向，则将该点加入所述凸包点集，否则不加入；依次连接所述凸包点集中的点，形成所述外接凸多边形。
于本发明的一实施例中，删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段的一种实现过程包括：依次选取所述外接凸多边形的每一条边，以该边的长度作为长度，以预设聚类阈值作为宽度，形成一个矩形，选取位于该矩形内部的点云；将各所述矩形内部的点云按照对应边的法线方向投影至对应边的线段上，得到投影点，计算投影点在线段上的分布密度；根据所述外接凸多边形的每一条边的点云投影结果获得位于障碍物背侧的边线段；从所述外接凸多边形中删除所述位于障碍物背侧的边线段。
于本发明的一实施例中，计算各所述点云块的拟合线段的一种实现过程包括：对点云块中的所有点采用最小二乘法公式拟合，获得该点云块的拟合线段。
于本发明的一实施例中，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线的一种实现过程包括：根据所述超声波轮廓线的端点和所述保留的视觉特征点，利用凸包算法计算所述障碍物的外接凸多边形，形成一阶轮廓线。
于本发明的一实施例中，所述障碍物的轮廓获取方法还包括：基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，所述障碍物的轮廓获取方法还包括：将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓；所述障碍物的视觉目标通过图像采集和图像处理获得。
于本发明的一实施例中，将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓的一种实现过程包括：通过空间几何关系将视觉目标与所述一阶轮廓线进行一对多关联；被关联上的轮廓线通过延长端点或增加虚拟线段的方式合并成完整的轮廓线；删除障碍物背侧的轮廓线；基于所述轮廓线修正所述障碍物(视觉目标)的位姿。
本发明还公开一种障碍物的轮廓获取系统，所述障碍物的轮廓获取系统包括：点云获取模块，获取感知障碍物得到的超声波点云或/和视觉特征点云；轮廓线提取模块，与所述点云获取模块通信相连，基于所述超声波点云提取所述障碍物的超声波轮廓线；点云筛选模块，与所述点云获取模块和所述轮廓线提取模块分别通信相连，利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；一阶轮廓线生成模块，与所述点云筛选模块通信相连，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，所述障碍物的轮廓获取系统还包括轮廓线获取模块，与所述点云获取模块通信相连，基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的障碍物的轮廓获取方法的步骤。
本发明还提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，在调用所述计算机程序时实现所述的障碍物的轮廓获取方法的步骤。
如上所述，本发明所述的障碍物的轮廓获取方法、系统、介质及电子设备，具有以下有益效果：
本发明获取稀疏点云聚类轮廓时有效降低了点云中噪音点的干扰，提高了轮廓的拟合精度。
本发明基于稀疏点云聚类和视觉目标对属于同一障碍物的若干部分轮廓线进行合并，获取障碍物完整的外轮廓信息，同时基于完整的外轮廓信息修正障碍物的位姿，提高了目标检测的精度。
附图说明
图1A显示为本发明实施例所述的障碍物的轮廓获取方法的一种实现流程示意图。
图1B显示为本发明实施例所述的障碍物的轮廓获取方法的另一种实现流程示意图。
图2A显示为本发明实施例所述的超声波点云的外接凸多边形和对应的背侧边示意图。
图2B显示为本发明实施例所述的超声波点云在外接凸多边形上的投影点示意图。
图2C显示为本发明实施例所述的点云块的分割示意图。
图2D显示为本发明实施例所述的局部轮廓拟合结果示意图。
图2E显示为本发明实施例所述的超声波轮廓线和视觉特征点联合计算获得的一阶段轮廓线的示意图。
图2F显示为本发明实施例所述的视觉目标的位姿示意图。
图2G显示为本发明实施例所述的障碍物完整外轮廓和目标修正后的位姿示意图。
图3A显示为本发明实施例所述的障碍物的轮廓获取系统的一种实现结构示意图。
图3B显示为本发明实施例所述的障碍物的轮廓获取系统的另一种实现结构示意图。
图4显示为本发明实施例所述的电子设备的一种实现结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1A，本发明提供一种障碍物的轮廓获取方法，所述障碍物的轮廓获取方法包括：
S110，获取感知障碍物得到的超声波点云或/和视觉特征点云。
S120，基于所述超声波点云提取所述障碍物的超声波轮廓线；
S130，利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；
S140，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，所述步骤S120所述基于所述超声波点云提取所述障碍物的超声波轮廓线的一种实现过程包括：
S121，计算获得所述超声波点云的外接凸多边形；
S122，删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段；
S123，以所述凸多边线段的各端点作为拐点，依据所述拐点将所述超声波点云分割为若干点云块；
S124，计算各所述点云块的拟合线段；
S125，将各所述拟合线段拼接获得所述障碍物的超声波轮廓线。
进一步，所述步骤S121中，计算获得所述超声波点云的外接凸多边形的一种实现过程包括：
S1211，于所述超声波点云中选择Y方向上坐标值最小的点作为起点，加入凸包点集中；
S1212，将所述超声波点云中其余点与起点分别连线，计算各连线在极坐标系下的角度；
S1213，将每个点根据角度从小到大的顺序进行逆时针方向排序；
S1214，从角度最小值对应的点开始，依次选取符合预设条件的点加入所述凸包点集；所述预设条件包括：根据所述逆时针方向排序，选取该点和下一个点组成一个向量，选取该点和所述凸包点集中最后一个点组成一个向量；若两个向量的方向为逆时针方向，则将该点加入所述凸包点集，否则不加入；
S1215，依次连接所述凸包点集中的点，形成所述外接凸多边形。
本申请中，由于通过超声波传感器获取的点云的位置精度相比于视觉特征点更高，因此本发明首先提取超声波点云作为先验信息，通过Graham扫描法(即凸包算法)计算点云的外接凸多边形。
于一具体实施例中，以逆时针方向计算超声波点云的外接凸多边形为例，计算方式如下：
1)首先选择Y方向上坐标值最小的点作为起点，加入凸包点集中；
2)其余点与起点分别连线，计算连线在极坐标系下的角度；
3)每个点按照角度从小到大的顺序进行逆时针方向排序；
4)从角度最小值对应的点开始，选取该点和下一个点组成一个向量，选取该点和凸包点集中最后一个点组成一个向量，若两个向量的方向为逆时针方向，则将该点加入凸包点集，否则不加入；
5)依次连接凸包点集中的点，形成凸多边形，如图2A中灰色点和灰色多边形。
于本发明的一实施例中，所述步骤S122删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段的一种实现过程包括：
S1221，依次选取所述外接凸多边形的每一条边，以该边的长度作为长度，以预设聚类阈值作为宽度，形成一个矩形，选取位于该矩形内部的点云；
S1222，将各所述矩形内部的点云按照对应边的法线方向投影至对应边的线段上，得到投影点，计算投影点在线段上的分布密度；
S1223，根据所述外接凸多边形的每一条边的点云投影结果获得位于障碍物背侧的边线段；
S1224，从所述外接凸多边形中删除所述位于障碍物背侧的边线段。
本申请中，由于超声波传感器只扫描正对障碍物的那一侧，无法对障碍物的背侧进行扫描，因为障碍物背侧属于未知区域，无法确定此区域的具体轮廓，不能采用多边形的形状作为轮廓，故而需要删除外接凸多边形中位于障碍物背侧的一条边(或称边线、或边线段)，让轮廓线处于不封闭状态。
于一具体实施例中，位于障碍物背侧的边线的一种示例性的删除方式为：
1)依次选取凸多边形的每一条边，以该边的长度作为长度，以2.5倍聚类阈值作为宽度，形成一个矩形，选取位于矩形内部的点云；
2)将矩形内部的点云按照边线段的法线方向投影至边线段上，得到投影点，计算投影点在边线段上的分布密度；其中，障碍物被传感器扫描到的那一侧，点云数量较多，边线段上的投影点的分布密度较为均匀；障碍物背侧由于无法被传感器扫描到，点云数量很少，边线段上的投影点分布比较离散和稀疏，且在边线段的中心部位没有投影点存在；如图2B中，黑色点为传感器获取的点云，灰色点为投影点，可以看到背侧的线段上投影点很少，与其他线段相比具有明显的差别；
3)根据点云的投影结果确定障碍物的背侧边线段，删除外接凸多边形中位于障碍物背侧的边线段。
于本发明的一实施例中，所述步骤S123以所述凸多边线段的各端点作为拐点，依据所述拐点将所述超声波点云分割为若干点云块的一种具体实现过程包括：传感器扫描到障碍物表面形成点云，点云在轮廓线的法线方向上分布较为集中，采用基于密度的聚类算法对点云进行聚类后，点云块的宽度可以设置为2.5倍的聚类阈值，此宽度能够在轮廓法线方向上包络绝大多数点云，如图2C所示。
于本发明的一实施例中，所述步骤S124计算各所述点云块的拟合线段的一种实现过程包括：对点云块中的所有点采用最小二乘直线拟合方法进行拟合，获得该点云块的拟合线段。其主要原理为寻找一条直线，使得所有点到这条直线的欧氏距离的和最小，即点到直线的误差平方和最小。
本申请中，点云块分割后，内部点云的线性分布质量较好，因此对各个点云块中的所有点分别采用最小二乘直线拟合方法代替边界提取方法，计算获得各点云块的拟合线段。
于一具体实施例中，点云块的拟合线段的计算过程包括：
1)假设直线方程为截距式方程；
2)计算点到直线的误差平方和公式；
3)误差平方和公式在其一阶导数为0处取得极值，因此该公式分别对斜率和截距求偏导数，偏导数为0时可以计算出斜率和截距，从而得到直线方程。
此方法可以有效降低噪音点的干扰，提高局部轮廓线的拟合精度，如图2D所示，局部轮廓线拟合精度较好。
于本发明的一实施例中，所述步骤S125将各所述拟合线段拼接获得所述障碍物的超声波轮廓线的一种实现过程包括：将拟合后获得的局部轮廓线进行拼接，保证相邻线段端点重合。
于本发明的一实施例中，所述步骤S140将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线的一种实现过程包括：根据所述超声波轮廓线的端点和所述保留的视觉特征点，利用凸包算法计算所述障碍物的外接凸多边形，形成一阶轮廓线(或称一阶段轮廓线)。
本申请中，由于视觉特征点的扫描精度低于超声波点，但视觉特征点的扫描范围大于超声波点，因此利用超声波轮廓线将位于障碍物外侧的视觉特征点删除，剩余视觉特征点则在宽度和深度方向上补充超声波轮廓线。依据超声波轮廓线的端点和保留的视觉特征点采用Graham扫描法(即凸包算法)计算外接凸多边形，形成障碍物的一阶段轮廓线。如图2E所示，此时单独聚类的轮廓线具有较高的拟合精度。
于本发明的一实施例中，参见图1B所示，所述障碍物的轮廓获取方法还包括：S160，若在当前聚类中只存在视觉特征点云，即步骤S110只获取了感知障碍物得到的视觉特征点云，则基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线，即采用凹多边形算法直接获取轮廓线(即所述障碍物的一阶轮廓线)，不参与一阶段的后续处理(即不参与步骤S120～S140)。因为一阶段后续处理是通过超声波点云获取的凸多边形过滤位于障碍物外侧的视觉特征点，当此时没有超声波点云时，就没有凸多边形的存在，也就不参与一阶段的后续处理。
不论是通过步骤S120～S140获得的一阶轮廓线，还是通过步骤S160获得的一阶轮廓线，均需要进行第二阶段轮廓的组合和视觉目标的位姿校正。
于本发明的一实施例中，参见图1B所示，所述障碍物的轮廓获取方法还包括：
S150，将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓(即二阶轮廓线或二阶段轮廓线)。所述障碍物的视觉目标可通过图像采集和图像处理获得。视觉目标是通过环视相机采集图像，使用深度学习框架获取的目标语义信息和坐标信息，属于目标级检测。视觉特征点是通过追踪环视相机图像中的纹理点或者角点获得的带有高度属性的特征点，属于特征级检测。
于本发明的一实施例中，所述步骤S150将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓的一种实现过程包括：
S151，通过空间几何关系将视觉目标与所述一阶轮廓线进行一对多关联；
S152，被关联上的轮廓线通过延长端点或增加虚拟线段的方式合并成完整的轮廓线；
S153，删除障碍物背侧的轮廓线；
S154，基于所述轮廓线修正所述障碍物的视觉目标的位姿。
本申请中，二阶段轮廓线的合并主要依据了视觉目标的输入，由于视觉目标的位姿精度较低，无法满足下游模块使用，如图2F所示，但视觉目标可以作为先验信息对一阶段轮廓线进行合并，获取完整的障碍物外轮廓。
具体地，通过空间几何关系让视觉目标与障碍物轮廓线(即一阶段轮廓线)进行一对多关联，被关联上的轮廓线通过延长端点或者增加虚拟线段的方式合并成完整轮廓线，将障碍物背侧的轮廓线删除，并修正障碍物的位姿，如图2G所示。
本发明具有2个轮廓获取阶段，第一阶段根据聚类结果获取单独聚类的轮廓，第二阶段根据视觉目标的输入，将属于同一障碍物的轮廓进行合并，并修正障碍物位姿。
于本发明的一实施例中，以车障碍物为例，获取车障碍物的外轮廓的实施过程简述如下：
步骤一，从聚类中获取超声波点(即超声波点云)，采用Graham扫描法计算超声波点的外接凸多边形；
步骤二，利用点云在多边形上的投影结果将凸多边形中位于车背侧的边删除，如图2A和图2B所示；
步骤三，选取凸多边形的端点作为拐点，将聚类分割成若干个聚类块，如图2C的阴影部分所示，每一个阴影内的点云都是一个聚类块(即点云块)；
步骤四，对每个聚类块使用线段拟合方法拟合线段，线段拟合方法可以有效降低噪音点的干扰，提高边界拟合精度，拟合结果如图2D所示；
步骤五，将所有聚类块的拟合线段拼接起来，组成超声波轮廓线；
步骤六，以超声波轮廓线作为初步轮廓边界，过滤位于车外侧的视觉特征点；车障碍物的视觉特征点可通过图像传感器采集获得。
步骤七，过滤后剩余的视觉特征点作为超声波轮廓线在宽度和深度方向上的补充，剩余的视觉特征点和超声波轮廓线的端点共同使用Graham扫描法计算外接凸多边形，获取一阶段轮廓线。由于视觉特征点的补充，此步骤获取的凸多边形精度更高，如图2E所示，可以看出车头部分的轮廓线拟合较好，但车身处的轮廓线由于点云稀疏，各自生成独立的轮廓线。与步骤一中计算的外接凸多边形相比，该凸多边形的精度更高，主要有以下几点优化：1)在步骤四中采用线段拟合方法去除了超声波离散点的干扰；2)在步骤六中过滤了位于车外侧的视觉特征点。
步骤八、视觉识别的车目标在位置和角度上均有较大的偏差，引入视觉检测的车目标作为先验信息，此先验信息包含视觉车目标的位置、角度、尺寸信息，计算先验信息和若干轮廓线的空间距离关系，寻找位于视觉车目标内部或者附近的轮廓线，将此部分轮廓线和视觉车目标组合成一个整体，即此部分轮廓线均属于此视觉车目标，如图2F所示。关联的方法是将视觉车目标内部及附近的轮廓线与视觉车目标进行组合，认为此部分轮廓线均来自于同一目标。如果不进行组合，则会认为每一个轮廓线都来自于互相不同的目标，无法起到对轮廓线进行合并以及修正目标位姿的作用。
步骤九，对关联上的轮廓线采用延长端点或者增加虚拟线段的方式进行连接，组成车的完整轮廓线，将位于车背侧的轮廓线删除，并基于轮廓线修正车目标的位姿，如图2G所示。
本发明能够基于稀疏点云聚类和视觉目标对属于同一障碍物的若干部分轮廓线进行合并，获取障碍物完整的外轮廓信息，同时基于完整的外轮廓信息修正障碍物的位姿，提高了目标检测的精度；此外，获取稀疏点云聚类轮廓时有效降低了点云中噪音点的干扰，提高了轮廓的拟合精度。
本发明首先利用稀疏点云中精度较高的超声波点云作为先验信息，获取初步轮廓线，使用线段拟合方法替代边界提取方法，降低了噪音点的干扰。然后用超声波轮廓线过滤扫描范围较大的视觉特征点云，剩余视觉特征点在宽度和深度方向上对超声波轮廓线进行补充，二者联合处理即可获得该聚类的轮廓线。最后基于视觉输入的先验信息对属于同一障碍物的若干轮廓线进行合并，获取障碍物完整的轮廓信息，并基于完整的轮廓信息修正目标位姿，从而提高了目标检测精度。
本发明所述的障碍物的轮廓获取方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种障碍物的轮廓获取系统，所述障碍物的轮廓获取系统可以实现本发明所述的障碍物的轮廓获取方法，但本发明所述的障碍物的轮廓获取方法的实现装置包括但不限于本实施例列举的障碍物的轮廓获取系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
参见图3A所示，本发明实施例提供一种障碍物的轮廓获取系统，所述障碍物的轮廓获取系统300包括：点云获取模块310，轮廓线提取模块320，点云筛选模块330，一阶轮廓线生成模块340。
所述点云获取模块310获取感知障碍物得到的超声波点云和视觉特征点云。
所述轮廓线提取模块320与所述点云获取模块310通信相连，基于所述超声波点云提取所述障碍物的超声波轮廓线。
所述点云筛选模块330与所述点云获取模块310和所述轮廓线提取模块320分别通信相连，利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点。
所述一阶轮廓线生成模块340与所述点云筛选模块330通信相连，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，参见图3B所示，所述障碍物的轮廓获取系统300还包括轮廓线获取模块360，所述轮廓线获取模块360与所述点云获取模块310通信相连，基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线。
于本发明的一实施例中，参见图3B所示，所述障碍物的轮廓获取系统300还包括二阶轮廓线生成模块350，所述二阶轮廓线生成模块350与一阶轮廓线生成模块340或/和所述轮廓线获取模块360通信相连；所述二阶轮廓线生成模块350将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓(即二阶轮廓线或二阶段轮廓线)。
本申请中，所述障碍物的轮廓获取系统可以实现本发明所述的障碍物的轮廓获取方法，故而所述障碍物的轮廓获取系统的各模块的具体实现功能参见所述障碍物的轮廓获取方法的细节描述，在此不再重述。但本发明所述的障碍物的轮廓获取方法的实现装置包括但不限于本实施例列举的障碍物的轮廓获取系统，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统/装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
参见图4所示，本发明实施例提供一种电子设备，所述电子设备400包括：存储器410和处理器420。所述存储器410存储有一计算机程序；所述处理器420与所述存储器410通信相连，在调用所述计算机程序时实现本发明所述的障碍物的轮廓获取方法的步骤。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的障碍物的轮廓获取方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (13)
1.一种障碍物的轮廓获取方法，其特征在于，所述障碍物的轮廓获取方法包括：
获取感知障碍物得到的超声波点云和视觉特征点云；
基于所述超声波点云提取所述障碍物的超声波轮廓线；
利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；
将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
2.根据权利要求1所述的障碍物的轮廓获取方法，其特征在于，所述基于所述超声波点云提取所述障碍物的超声波轮廓线的一种实现过程包括：
计算获得所述超声波点云的外接凸多边形；
删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段；
以所述凸多边线段的各端点作为拐点，依据所述拐点将所述超声波点云分割为若干点云块；
计算各所述点云块的拟合线段；
将各所述拟合线段拼接获得所述障碍物的超声波轮廓线。
3.根据权利要求2所述的障碍物的轮廓获取方法，其特征在于，计算获得所述超声波点云的外接凸多边形的一种实现过程包括：
于所述超声波点云中选择Y方向上坐标值最小的点作为起点，加入凸包点集中；
将所述超声波点云中其余点与起点分别连线，计算各连线在极坐标系下的角度；
将每个点根据角度从小到大的顺序进行逆时针方向排序；
从角度最小值对应的点开始，依次选取符合预设条件的点加入所述凸包点集；所述预设条件包括：根据所述逆时针方向排序，选取该点和下一个点组成一个向量，选取该点和所述凸包点集中最后一个点组成一个向量；若两个向量的方向为逆时针方向，则将该点加入所述凸包点集，否则不加入；
依次连接所述凸包点集中的点，形成所述外接凸多边形。
4.根据权利要求2所述的障碍物的轮廓获取方法，其特征在于，删除所述外接凸多边形中位于障碍物背侧的边线，获得凸多边线段的一种实现过程包括：
依次选取所述外接凸多边形的每一条边，以该边的长度作为长度，以预设聚类阈值作为宽度，形成一个矩形，选取位于该矩形内部的点云；
将各所述矩形内部的点云按照对应边的法线方向投影至对应边的线段上，得到投影点，计算投影点在线段上的分布密度；
根据所述外接凸多边形的每一条边的点云投影结果获得位于障碍物背侧的边线段；
从所述外接凸多边形中删除所述位于障碍物背侧的边线段。
5.根据权利要求2所述的障碍物的轮廓获取方法，其特征在于，计算各所述点云块的拟合线段的一种实现过程包括：
对点云块中的所有点采用最小二乘法公式拟合，获得该点云块的拟合线段。
6.根据权利要求1所述的障碍物的轮廓获取方法，其特征在于，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线的一种实现过程包括：
根据所述超声波轮廓线的端点和所述保留的视觉特征点，利用凸包算法计算所述障碍物的外接凸多边形，形成一阶轮廓线。
7.根据权利要求1所述的障碍物的轮廓获取方法，其特征在于，所述障碍物的轮廓获取方法还包括：基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线。
8.根据权利要求1或7所述的障碍物的轮廓获取方法，其特征在于，所述障碍物的轮廓获取方法还包括：
将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓；所述障碍物的视觉目标通过图像采集和图像处理获得。
9.根据权利要求8所述的障碍物的轮廓获取方法，其特征在于，将所述障碍物的视觉目标与所述一阶轮廓线进行合并，获得所述障碍物的外轮廓的一种实现过程包括：
通过空间几何关系将视觉目标与所述一阶轮廓线进行一对多关联；
被关联上的轮廓线通过延长端点或增加虚拟线段的方式合并成完整的轮廓线；
删除障碍物背侧的轮廓线；
基于所述完整的轮廓线修正所述障碍物的视觉目标的位姿。
10.一种障碍物的轮廓获取系统，其特征在于，所述障碍物的轮廓获取系统包括：
点云获取模块，获取感知障碍物得到的超声波点云或/和视觉特征点云；
轮廓线提取模块，与所述点云获取模块通信相连，基于所述超声波点云提取所述障碍物的超声波轮廓线；
点云筛选模块，与所述点云获取模块和所述轮廓线提取模块分别通信相连，利用所述超声波轮廓线将位于障碍物外侧的视觉特征点删除，获得保留的视觉特征点；
一阶轮廓线生成模块，与所述点云筛选模块通信相连，将所述超声波轮廓线与所述保留的视觉特征点拟合，获得所述障碍物的一阶轮廓线。
11.根据权利要求10所述的障碍物的轮廓获取系统，其特征在于，所述障碍物的轮廓获取系统还包括：
轮廓线获取模块，与所述点云获取模块通信相连，基于凹多边形算法对所述视觉特征点云进行处理，获得所述障碍物的一阶轮廓线。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9任一项所述的障碍物的轮廓获取方法的步骤。
13.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，在调用所述计算机程序时实现权利要求1至9任一项所述的障碍物的轮廓获取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210994914.9A CN115359083A (zh) | 2022-08-18 | 2022-08-18 | 障碍物的轮廓获取方法、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210994914.9A CN115359083A (zh) | 2022-08-18 | 2022-08-18 | 障碍物的轮廓获取方法、系统、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115359083A true CN115359083A (zh) | 2022-11-18 |
Family
ID=84003261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210994914.9A Pending CN115359083A (zh) | 2022-08-18 | 2022-08-18 | 障碍物的轮廓获取方法、系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359083A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116380082A (zh) * | 2023-06-07 | 2023-07-04 | 北京理工大学 | 一种无人车在未知环境的快速路径规划方法及系统 |
| CN117152672A (zh) * | 2023-09-06 | 2023-12-01 | 理工雷科智途(北京)科技有限公司 | 一种基于点云多边形拟合的船舱行驶区域划分方法及系统 |
| CN117523525A (zh) * | 2023-10-27 | 2024-02-06 | 北京易航远智科技有限公司 | 障碍物边界轮廓处理方法、装置、电子设备及存储介质 |
| CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
-
2022
- 2022-08-18 CN CN202210994914.9A patent/CN115359083A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116380082A (zh) * | 2023-06-07 | 2023-07-04 | 北京理工大学 | 一种无人车在未知环境的快速路径规划方法及系统 |
| CN116380082B (zh) * | 2023-06-07 | 2023-08-08 | 北京理工大学 | 一种无人车在未知环境的快速路径规划方法及系统 |
| CN117152672A (zh) * | 2023-09-06 | 2023-12-01 | 理工雷科智途(北京)科技有限公司 | 一种基于点云多边形拟合的船舱行驶区域划分方法及系统 |
| CN117523525A (zh) * | 2023-10-27 | 2024-02-06 | 北京易航远智科技有限公司 | 障碍物边界轮廓处理方法、装置、电子设备及存储介质 |
| CN118068338A (zh) * | 2024-04-22 | 2024-05-24 | 知行汽车科技(苏州)股份有限公司 | 一种障碍物的检测方法、装置、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111337941B (zh) | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 | |
| CN115359083A (zh) | 障碍物的轮廓获取方法、系统、介质及电子设备 | |
| CN110443836B (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
| US6256036B1 (en) | Three-dimensional modeling apparatus for producing three-dimensional model of object of interest and method therefor | |
| CN110992356A (zh) | 目标对象检测方法、装置和计算机设备 | |
| WO2015096508A1 (zh) | 一种模型约束下的在轨三维空间目标姿态估计方法及系统 | |
| CN107844750A (zh) | 一种水面全景图像目标检测识别方法 | |
| CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计系统及方法 | |
| CN114972377B (zh) | 基于移动最小二乘法与超体素的3d点云分割方法和装置 | |
| WO2020237516A1 (zh) | 点云的处理方法、设备和计算机可读存储介质 | |
| CN110807781A (zh) | 一种保留细节与边界特征的点云精简方法 | |
| KR102472004B1 (ko) | 복수의 센서간 캘리브레이션 방법 및 장치 | |
| CN110908374B (zh) | 一种基于ros平台的山地果园避障系统及方法 | |
| Shen et al. | A hierarchical horizon detection algorithm | |
| CN111783722B (zh) | 一种激光点云的车道线提取方法和电子设备 | |
| CN106096497A (zh) | 一种针对多元遥感数据的房屋矢量化方法 | |
| Wang | Automatic extraction of building outline from high resolution aerial imagery | |
| Yoon et al. | Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation | |
| CN115965712A (zh) | 一种建筑物二维矢量图构建方法、系统、设备及存储介质 | |
| CN114463396A (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
| CN111198563B (zh) | 一种用于足式机器人动态运动的地形识别方法及系统 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| Mian et al. | Matching tensors for automatic correspondence and registration | |
| CN113781315B (zh) | 一种基于多视角的同源传感器数据融合滤波方法 | |
| CN113592947B (zh) | 一种半直接法的视觉里程计实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240913 Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road Applicant after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region after: China Address before: 102300 room a-4653, building 20, Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing Applicant before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD. Country or region before: China Applicant before: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TA01 | Transfer of patent application right |