CN110879991A - 一种障碍物识别方法及系统 - Google Patents
一种障碍物识别方法及系统 Download PDFInfo
- Publication number
- CN110879991A CN110879991A CN201911171020.4A CN201911171020A CN110879991A CN 110879991 A CN110879991 A CN 110879991A CN 201911171020 A CN201911171020 A CN 201911171020A CN 110879991 A CN110879991 A CN 110879991A
- Authority
- CN
- China
- Prior art keywords
- ground
- depth image
- obstacle
- straight line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007621 cluster analysis Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种障碍物识别方法，所述方法包括：获取行驶路线中周围环境的第一深度图像；对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。相应的，本发明还公开了障碍物识别系统。通过本发明，实时监测障碍物，能够更好地避开障碍物。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种障碍物识别方法及系统。
背景技术
随着科学技术的发展，机器人或者快递无人车得到越来越多的广泛应用。障碍物识别和避让成为机器人智能化的重要体现。随着各种机器人的不断研发，对其避障的要求也日益提高，现实环境往往都很复杂，并且实时变化，需要能够准确地识别出障碍物，并能够获取障碍物与机器人的距离。专利申请号为201510891318的基于Kinect传感器深度图机器人工作环境不确定性地图构建法的专利，其采用预存地面的方式进行地面检测的技术方案，该技术方案无法抗实时抖动，如果机器人在行驶过程中遇到斜坡等，也无法正常检测到地面。
因此，在机器人行驶过程中，如何实时监测地面和障碍物，成为急需解决的技术问题。
发明内容
基于此，本发明的目的在于提供一种障碍物识别方法及系统，实现了机器人运动过程中，对障碍物实时进行监测，从而能够更好地避开障碍物。
为实现上述目的，本发明提供了一种障碍物识别方法，所述方法包括：
S1、获取行驶路线中周围环境的第一深度图像；
S2、对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
S3、基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
S4、对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
优选的，所述步骤S1还包括对所述第一深度图像的预处理步骤，所述预处理步骤包括：
根据双边滤波算法，对所述第一深度图像进行滤波处理，得到滤波后的第一深度图像；
从所述滤波后的第一深度图像的左上角的像素点开始逐行向右下角开始遍历，以每一个遍历的像素点为中心像素点；
将所述中心像素点的预设领域区域的各个像素点的深度值与该中心像素点的深度值做差值比较，若所述差值大于一预设差值阈值，则记录该像素点；
统计所述领域区域中所有的差值大于所述预设差值阈值的像素点的数量，并标记为所述中心像素点对应的像素点的数量；
若所述中心像素点对应的像素点的数量大于一预设数量时，所述中心像素点为飞行像素点，并将所述飞行像素点剔除。
优选的，所述步骤S2包括：
基于深度图转点云的计算方法，将所述第一深度图像转换为点云图；
对所述点云图分别进行x轴向行驶车道范围的切割、y轴向行驶高度范围的切割和z轴向检测范围的切割，得到切割后的点云图；
根据所述切割后的点云图，获取行驶车道对应的第二深度图像。
优选的，所述步骤S3包括：
S301、将所述第二深度图像转换为伪灰度图；
S302、将所述伪灰度图在图像的x轴方向进行灰度投影，生成对应的V伪灰度图；
S303、利用M-估计直线拟合方法，在将所述V伪灰度图上进行直线拟合，得到地面直线；
S304、以所述地面直线为地面点，将所述地面直线附近区域以及直线以下部分作为地面部分；
S305、在所述第二深度图像中，将所述地面部分去除，得到没有地面部分的第三深度图像。
优选的，所述步骤S301具体包括：
将所述第二深度图像转换为伪灰度图，所述伪灰度图中每个像素点的伪灰度值disparity为；
其中，55为一经验值，depth为该像素点的深度值。
优选的，所述步骤S303包括：
设置一初始阈值，根据自适应阈值算法，将所述V伪灰度图中超过所述初始阈值的像素点作为检测地面点；
将所述检测地面点输入所述M-估计直线拟合算法中，得到地面直线公式为y＝kx+b，其中，k为直线斜率，b为截距。
优选的，所述步骤S304包括判断所述地面直线公式中的k参数和b参数的正确性步骤，所述判断步骤包括：
预设一k参数和b参数；
对所述地面直线公式中的k参数和b参数分别与一k参数范围和b参数范围进行比较，若所述k参数和b参数的其中一个不在所述参数范围内，则使用所述预设的k参数和b参数进行后续计算；
根据一预设的地面剔除阈值以及所述k参数和b参数，将所述V伪灰度图中处于所述地面直线下方的所有点作为地面部分。
优选的，所述步骤S4包括：
S401、根据区域生长算法，对所述第三深度图像进行聚类，得到多个障碍物聚类点集；
S402、分别对每一个障碍物聚类点集进行计算，获取每一个障碍物在所述第三深度图像中的深度最小值，得到每一个障碍物的最近距离。
优选的，所述步骤S402包括：
剔除与障碍物的边缘部分间隔0～1个像素的像素点，对所述障碍物的剔除后剩余的所有像素点中进行遍历，获取该障碍物在所述第三深度图像中的深度最小值，得到所述障碍物的最近距离。
为实现上述目的，本发明提供了一种障碍物识别系统，所述系统包括：
获取模块，用于获取行驶路线中周围环境的第一深度图像；
切割模块，用于对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
拟和模块，用于基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
分析模块，用于对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
与现有技术相比，本发明一种障碍物识别方法及系统，所带来的有益效果为：在机器人或者无人车辆行驶过程中，对障碍物实时进行监测，及时获取行驶路线中的障碍物信息，从而能为机器人和无人车辆提供更好的环境感知能力，有利于其制定更正确的避障决策；不采用预设的地面信息，实时分析地面信息，解决了因地面倾斜或者颠簸等原因导机器人或者无人车辆抖动的技术问题，能够在抖动过程中正确的检测地面信息，提高有效的避障策略，增强了机器人避障的智能化程度；能够准确计算出障碍物的方位、距离、大小等，使机器人或者无人车辆能够有效避障。
附图说明
图1是根据本发明的一个实施例的障碍物识别方法的流程示意图。
图2是根据本发明的一个实施例的障碍物识别系统的系统示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示的本发明的一实施例，本发明提供一种障碍物识别方法，所述方法包括：
S1、获取行驶路线中周围环境的第一深度图像；
S2、对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
S3、基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
S4、对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
在所述步骤S1中，获取获取行驶路线中周围环境的第一深度图像。在3D计算机图形中，Depth Map(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。在本发明中的具体实施例中，电子设备可以获取机器人或者无人车辆行驶路线中周围环境的第一深度图像。电子设备可以利用深度相机获取行驶路线中周围环境的第一深度图像，通过对深度相机进行参数标定，所述参数标定包括深度相机的焦距和光心等。
根据本发明的一具体实施例，所述步骤S1还包括对所述第一深度图像的预处理步骤，所述预处理步骤包括：根据双边滤波算法，对所述第一深度图像进行滤波处理，得到滤波后的第一深度图像，通过滤波处理，能够保证所述第一深度图像中的障碍物边缘的完整性；从所述滤波后的第一深度图像的左上角的像素点开始逐行向右下角开始遍历，以每一个遍历的像素点为中心像素点；将所述中心像素点的一预设领域区域的各个像素点的深度值与该中心像素点的深度值做差值比较，若所述差值大于一预设差值阈值，则记录该像素点；统计所述领域区域中所有的差值大于所述预设差值阈值的像素点的数量，并标记为所述中心像素点对应的像素点的数量；若所述中心像素点对应的像素点的数量大于一预设数量时，所述中心像素点为飞行像素点，并将所述飞行像素点剔除。比如，所述预设领域区域设置为3*3领域区域。通过对飞行像素点的滤除，可以甄别所述第一深度图像中的各个离群像素点，并将其剔除。对剔除飞行像素点后的第一深度图像进行先膨胀后腐蚀的处理方式，填补深度图像中的空洞。
根据本发明的一具体实施例，所述预处理步骤还包括：对所述第一深度图像进行图像插值法处理，增大所述第一深度图像中y轴向的分辨率。当深度相机中的y轴向的分辨率较小的情况下，对所述第一深度图像进行图像插值法处理，增大y轴向的分辨率，方便后续的深度图像中障碍物的检测。如果深度相机给与的y轴向分辨率充足，该步骤可以不进行处理。
在所述步骤S2中，对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像。具体地，基于深度图转点云的计算方法，将所述第一深度图像转换为点云图；对所述点云图分别进行x轴向行驶车道范围的切割、y轴向行驶高度范围的切割和z轴向检测范围的切割，得到切割后的点云图；根据所述切割后的点云图，获取行驶车道对应的第二深度图像。所述x轴向行驶车道范围的切割具体包括：设置一行驶车道的盈余宽度；所述x轴向行驶车道范围为车辆宽度的一半与所述盈余宽度的和。所述盈余宽度用于保证不会突然有障碍物出现该行驶车道内。比如，所述车辆宽度为1.2米，所述行驶车道的盈余宽度是指车辆两侧的障碍物检测所需要的距离盈余，设置盈余宽度为1米，以深度相机为中心，所述x轴向行驶车道范围为(1.2/2+1)*2＝3.2米。基于点云图，深度相机在点云图中的x坐标为0，根据上述计算，则x的坐标在-1.6到+1.6的范围。对所述点云图进行x轴向行驶车道范围的切割。所述y轴向行驶高度范围的切割主要根据车辆通行所需要高度设置。所述z轴向检测范围的切割主要根据车辆行驶速度和深度相机的检测距离参数进行设置。所述x轴向行驶车道范围、y轴向行驶高度范围和z轴向检测范围均可根据需要进行改变。根据所述切割后的点云图，在所述第二深度图像进行相应的范围切割，将不满足所述范围要求的像素点设置为0，得到行驶车道对应的第二深度图像。
在所述步骤S3中，基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像。根据本发明的一具体实施例，所述步骤S3包括：
S301、将所述第二深度图像转换为伪灰度图；
S302、将所述伪灰度图在图像的x轴方向进行灰度投影，生成对应的V伪灰度图；
S303、利用M-估计直线拟合方法，在将所述V伪灰度图上进行直线拟合，得到地面直线；
S304、以所述地面直线为地面点，将所述地面直线附近区域以及直线以下部分作为地面部分；
S305、在所述第二深度图像中，将所述地面部分去除，得到没有地面部分的第三深度图像。
所述步骤S301具体包括：将所述第二深度图像转换为伪灰度图，所述伪灰度图中每个像素点的伪灰度值disparity为：
其中，55为一经验值，depth为该像素点的深度值。
在所述步骤S302中，将所述伪灰度图在图像的x轴方向进行灰度投影，第i行某个点的像素值为m，那么在伪灰度图上的像素点坐标为(i,m)的像素值加一，所以V伪灰度图的尺寸为高度*256，因此地面在所述V伪灰度图中是一条直线。
在所述步骤S303中，利用M-估计直线拟合算法，在将所述V伪灰度图上进行直线拟合，得到地面直线。设置一初始阈值，根据自适应阈值算法，将所述V伪灰度图中超过所述初始阈值的像素点作为检测地面点，将所述检测地面点输入所述M-估计直线拟合算法中，得到地面直线公式为y＝kx+b，其中，k为直线斜率，b为截距。根据本发明的一具体实施例，因为地面部分一般仅存于深度相机的下半部分，所以使用所述V伪灰度图下半部分的数据进行M-估计直线拟合。选择V伪灰度图中的下部分多少数据可以根据具体情况而定，比如，选择V伪灰度图中下方0.6-1的部分数据作为地面检测部分。根据本发明的一具体实施例，采用自适应阈值算法进行阈值提取，所述自适应阈值算法包括：设置一个较高的初始阈值，遍历所述V伪灰度图中的地面部分中超过所述较高的初始阈值的检测地面点，若所述检测地面点少于一预设数量，则将所述较高的初始阈值降低一固定数值后，再查找检测地面点，直至满足条件。
在所述S304步骤中，以所述地面直线为地面点，将所述地面直线附近区域以及直线以下部分作为地面部分。具体地，所述步骤S304包括一判断所述地面直线公式中的k参数和b参数的正确性步骤，所述判断步骤包括：预设一k参数和b参数，通过预设这两个参数，以防止深度相机完全看不到地面时，地面数据出错；对所述地面直线公式中的k参数和b参数分别与一k参数范围和b参数范围进行比较，若所述k参数和b参数的其中一个不在所述参数范围内，则使用所述预设的k参数和b参数进行后续计算。根据一预设的地面剔除阈值以及所述k参数和b参数，将所述V伪灰度图中处于所述地面直线下方的所有点作为地面部分。该预先设置的地面剔除阈值用于缓解因为深度相机噪点以及飞行像素点造成的地面凸起，防止地面部分剔除不干净。
在所述步骤S305中，在所述第二深度图像中，将所述地面部分去除，得到没有地面部分的第三深度图像。将在所述地面直线之上，但是与该地面直线距离不超过预设的地面剔除阈值的像素点也剔除，即得到没有地面部分的第三深度图像。
在所述步骤S4中，对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。具体地，所述步骤S4包括：
S401、根据区域生长算法，对所述第三深度图像进行聚类，得到多个障碍物聚类点集；
区域生长算法种子点的提取通过对所述第三深度图像左上至右下进行遍历的方式获取，即从所述第三深度图像的原点开始遍历，逐个点作为种子点开始区域生长，被生长过的区域在随后被遍历的时候不再作为种子点。
S402、分别对每一个障碍物聚类点集进行计算，获取每一个障碍物在所述第三深度图像中的深度最小值，得到每一个障碍物的最近距离。
根据本发明的一具体实施例，因为深度相机的深度图像中，障碍物的边缘部分距离不会十分稳定，因此在获取障碍物最近距离时，剔除与障碍物的边缘部分间隔0～1个像素的像素点，对所述障碍物的剔除后剩余的所有像素点中进行遍历，获取该障碍物在所述第三深度图像中的深度最小值，得到所述障碍物的最近距离。
根据本发明的一具体实施例，对所述障碍物的剔除后剩余的所有像素点中进行遍历，获取所述障碍物在所述第三深度图像中最靠上的像素点，以及获取所述障碍物在所述第三深度图像中最靠左的像素点；将所述最靠上的像素点的y坐标与最靠左的像素点的x坐标整合，得到所述障碍物的最左上点坐标；同样的，获取所述障碍物在所述第三深度图像中最靠下的像素点，以及获取所述障碍物在所述第三深度图像中最靠右的像素点；将所述最靠下的像素点的y坐标与最靠左的像素点的x坐标整合，得到所述障碍物的最右下点坐标。根据所述障碍物的最左上点坐标与最右下点坐标，确定所述障碍物的大小。
根据本发明的一具体实施例，对每一个障碍物聚类点集的点数进行统计，若所述统计的总点数小于预设的障碍物点数阈值时，则剔除所述障碍物。比如，在距离范围0～0.5米内，障碍物点数阈值为525，若所述统计的总点数小于小于525，则剔除该障碍物。在距离范围0.5～1米内，障碍物点数阈值为420，若所述统计的总点数小于420，则剔除该障碍物。通过该技术方案，对过小的聚类点集进行剔除，将不合理的障碍物剔除。
根据本发明的一具体实施例，从形态学上对一些不合理聚类点集进行剔除，剔除完成后剩余聚类点集即为障碍物。具体根据实际应用场景中的障碍物在深度图像或者点云上表现的形态学特性，进行模式识别，并剔除不合理的聚类点集。
根据每一个障碍物的最近距离，对所有的障碍物按照距离由近及远的顺序进行排列。
根据该技术方案，不采用预设的地面信息，实时分析地面信息，因地面倾斜或者颠簸等原因导机器人或者无人车辆的抖动，本技术方案能够抗抖动，即在抖动过程中能够正确的检测地面信息，提高避障的有效度，增强了机器人的避障智能化程度；能够准确计算出障碍物的方位、距离、大小等，使机器人或者无人车辆能够有效避障。
如图2所示的本发明一实施例中，本发明提供了一种障碍物识别系统，所述系统包括：
获取模块20，用于获取行驶路线中周围环境的第一深度图像；
切割模块21，用于对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
拟和模块22，用于基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
分析模块23，用于对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
所述获取模块获取行驶路线中周围环境的第一深度图像。根据本发明的一具体实施例，所述获取模块包括滤波单元和像素滤除单元。所述滤波单元根据双边滤波算法，对所述第一深度图像进行滤波处理，得到滤波后的第一深度图像，通过滤波处理，能够保证所述第一深度图像中的障碍物边缘的完整性。在所述像素滤除单元中，从所述滤波后的第一深度图像的左上角的像素点开始逐行向右下角开始遍历，以每一个遍历的像素点为中心像素点；将所述中心像素点的预设领域区域的各个像素点的深度值与该中心像素点的深度值做差值比较，若所述差值大于一预设差值阈值，则记录该像素点；统计所述所述领域区域中所有的差值大于所述预设差值阈值的像素点的数量，并标记为所述中心像素点对应的像素点的数量；若所述中心像素点对应的像素点的数量大于一预设数量时，所述中心像素点为飞行像素点，并将所述飞行像素点剔除。通过对飞行像素点的滤除，可以甄别所述第一深度图像中的各个离群像素点，并将其剔除。对剔除飞行像素点后的第一深度图像进行先膨胀后腐蚀的处理方式，填补深度图像中的空洞。
所述切割模块对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像。所述切割模块包括点云单元和切割单元。所述点云单元基于深度图转点云的计算方法，将所述第一深度图像转换为点云图。所述切割单元对所述点云图分别进行x轴向行驶车道范围的切割、y轴向行驶高度范围的切割和z轴向检测范围的切割，得到切割后的点云图；根据所述切割后的点云图，获取行驶车道对应的第二深度图像。根据所述切割后的点云图，在所述第二深度图像进行相应的范围切割，将不满足所述范围要求的像素点设置为0，得到行驶车道对应的第二深度图像。
所述拟和模块基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像。根据本发明的一具体实施例，所述拟和模块包括伪灰度图单元、V伪灰度图单元、直线拟和单元和剔除单元。所述伪灰度图单元将所述第二深度图像转换为伪灰度图。所述V伪灰度图单元将所述伪灰度图在图像的x轴方向进行灰度投影，生成对应的V伪灰度图。所述直线拟和单元利用M-估计直线拟合方法，在将所述V伪灰度图上进行直线拟合，得到地面直线。所述剔除单元以所述地面直线为地面点，将所述地面直线附近区域以及直线以下部分作为地面部分，在所述第二深度图像中，将所述地面部分去除，得到没有地面部分的第三深度图像。将在所述地面直线之上，但是与该地面直线距离不超过预设的地面剔除阈值的像素点也剔除，即得到没有地面部分的第三深度图像。
所述分析模块对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。所述分析模块包括聚类单元和计算单元。所述聚类单元根据区域生长算法，对所述第三深度图像进行聚类，得到多个障碍物聚类点集。所述计算单元分别对每一个障碍物聚类点集进行计算，获取每一个障碍物在所述第三深度图像中的深度最小值，得到每一个障碍物的最近距离。
根据本发明的一具体实施例，所述分析模块还包括最近点单元，用于剔除与障碍物的边缘部分间隔0～1个像素的像素点，对所述障碍物的剔除后剩余的所有像素点中进行遍历，获取该障碍物在所述第三深度图像中的深度最小值，得到所述障碍物的最近距离。根据每一个障碍物的最近距离，对所有的障碍物按照距离由近及远的顺序进行排列。
根据该技术方案，不采用预设的地面信息，实时分析地面信息，因地面倾斜或者颠簸等原因导机器人或者无人车辆的抖动，能够抗抖动；提高避障的有效度，增强了机器人的避障智能化程度；能够准确计算出障碍物的方位、距离、大小等，使机器人或者无人车辆能够有效避障。
尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可能的。
Claims (10)
1.一种障碍物识别方法，其特征在于，所述方法包括：
S1、获取行驶路线中周围环境的第一深度图像；
S2、对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
S3、基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
S4、对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
2.如权利要求1所述的障碍物识别方法，其特征在于，所述步骤S1还包括对所述第一深度图像的预处理步骤，所述预处理步骤包括：
根据双边滤波算法，对所述第一深度图像进行滤波处理，得到滤波后的第一深度图像；
从所述滤波后的第一深度图像的左上角的像素点开始逐行向右下角开始遍历，以每一个遍历的像素点为中心像素点；
将所述中心像素点的一预设领域区域的各个像素点的深度值与该中心像素点的深度值做差值比较，若所述差值大于一预设差值阈值，则记录该像素点；
统计所述领域区域中所有的差值大于所述预设差值阈值的像素点的数量，并标记为所述中心像素点对应的像素点的数量；
若所述中心像素点对应的像素点的数量大于一预设数量时，所述中心像素点为飞行像素点，并将所述飞行像素点剔除。
3.如权利要求2所述的障碍物识别方法，其特征在于，所述步骤S2包括：
基于深度图转点云的计算方法，将所述第一深度图像转换为点云图；
对所述点云图分别进行x轴向行驶车道范围的切割、y轴向行驶高度范围的切割和z轴向检测范围的切割，得到切割后的点云图；
根据所述切割后的点云图，获取行驶车道对应的第二深度图像。
4.如权利要求1所述的障碍物识别方法，其特征在于，所述步骤S3包括：
S301、将所述第二深度图像转换为伪灰度图；
S302、将所述伪灰度图在图像的x轴方向进行灰度投影，生成对应的V伪灰度图；
S303、利用M-估计直线拟合方法，在将所述V伪灰度图上进行直线拟合，得到地面直线；
S304、以所述地面直线为地面点，将所述地面直线附近区域以及直线以下部分作为地面部分；
S305、在所述第二深度图像中，将所述地面部分去除，得到没有地面部分的第三深度图像。
5.如权利要求4所述的障碍物识别方法，其特征在于，所述步骤S301具体包括：
将所述第二深度图像转换为伪灰度图，所述伪灰度图中每个像素点的伪灰度值disparity为；
其中，55为一经验值，depth为该像素点的深度值。
6.如权利要求5所述的障碍物识别方法，其特征在于，所述步骤S303包括：设置一初始阈值，根据自适应阈值算法，将所述V伪灰度图中超过所述初始阈值的像素点作为检测地面点；
将所述检测地面点输入所述M-估计直线拟合算法中，得到地面直线公式为y＝kx+b，其中，k为直线斜率，b为截距。
7.如权利要求6所述的障碍物识别方法，其特征在于，所述步骤S304包括判断所述地面直线公式中的k参数和b参数的正确性步骤，所述判断步骤包括：
预设一k参数和b参数；
对所述地面直线公式中的k参数和b参数分别与一k参数范围和b参数范围进行比较，若所述k参数和b参数的其中一个不在所述参数范围内，则使用所述预设的k参数和b参数进行后续计算；
根据一预设的地面剔除阈值以及所述k参数和b参数，将所述V伪灰度图中处于所述地面直线下方的所有点作为地面部分。
8.如权利要求1所述的障碍物识别方法，其特征在于，所述步骤S4包括：
S401、根据区域生长算法，对所述第三深度图像进行聚类，得到多个障碍物聚类点集；
S402、分别对每一个障碍物聚类点集进行计算，获取每一个障碍物在所述第三深度图像中的深度最小值，得到每一个障碍物的最近距离。
9.如权利要求8所述的障碍物识别方法，其特征在于，所述步骤S402包括：
剔除与障碍物的边缘部分间隔0～1个像素的像素点，对所述障碍物的剔除后剩余的所有像素点中进行遍历，获取该障碍物在所述第三深度图像中的深度最小值，得到所述障碍物的最近距离。
10.一种障碍物识别系统，其特征在于，所述系统包括：
获取模块，用于获取行驶路线中周围环境的第一深度图像；
切割模块，用于对所述第一深度图像进行切割处理，得到行驶车道对应的第二深度图像；
拟和模块，用于基于所述第二深度图像进行地面拟和，确定地面直线，并根据所述地面直线去除地面部分，获取没有地面部分的第三深度图像；
分析模块，用于对所述第三深度图像进行聚类分析，获取多个障碍物聚类点集，并确定每一个障碍物的位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911171020.4A CN110879991B (zh) | 2019-11-26 | 2019-11-26 | 一种障碍物识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911171020.4A CN110879991B (zh) | 2019-11-26 | 2019-11-26 | 一种障碍物识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110879991A true CN110879991A (zh) | 2020-03-13 |
| CN110879991B CN110879991B (zh) | 2022-05-17 |
Family
ID=69730410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911171020.4A Active CN110879991B (zh) | 2019-11-26 | 2019-11-26 | 一种障碍物识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879991B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210429A (zh) * | 2020-04-17 | 2020-05-29 | 中联重科股份有限公司 | 点云数据划分方法及装置、障碍物检测方法及装置 |
| CN111582054A (zh) * | 2020-04-17 | 2020-08-25 | 中联重科股份有限公司 | 点云数据处理方法及装置、障碍物检测方法及装置 |
| CN111783557A (zh) * | 2020-06-11 | 2020-10-16 | 北京科技大学 | 一种基于深度视觉的可穿戴导盲设备及服务器 |
| CN111833370A (zh) * | 2020-07-22 | 2020-10-27 | 浙江光珀智能科技有限公司 | 一种飞行像素滤除方法及系统 |
| CN111860321A (zh) * | 2020-07-20 | 2020-10-30 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN112116643A (zh) * | 2020-09-14 | 2020-12-22 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机深度图和点云图的避障处理方法及系统 |
| CN112618863A (zh) * | 2020-12-16 | 2021-04-09 | 济南浪潮高新科技投资发展有限公司 | 基于医疗机器人的机器人智能输液系统及实现方法 |
| CN113536958A (zh) * | 2021-06-23 | 2021-10-22 | 华南农业大学 | 导航路径提取方法、装置、农业机器人和存储介质 |
| WO2022099620A1 (zh) * | 2020-11-13 | 2022-05-19 | 深圳市大疆创新科技有限公司 | 三维点云分割方法和装置、可移动平台 |
| CN115291240A (zh) * | 2022-10-08 | 2022-11-04 | 江苏徐工工程机械研究院有限公司 | 矿区场景内卸载点后方挡墙感知识别的检测方法及系统 |
| CN115880674A (zh) * | 2023-03-01 | 2023-03-31 | 上海伯镭智能科技有限公司 | 一种基于无人驾驶矿车的避障转向矫正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
| CN108245385A (zh) * | 2018-01-16 | 2018-07-06 | 曹醒龙 | 一种帮助视障人士出行的装置 |
| CN109271944A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、电子设备、车辆及存储介质 |
| CN109961440A (zh) * | 2019-03-11 | 2019-07-02 | 重庆邮电大学 | 一种基于深度图的三维激光雷达点云目标分割方法 |
| CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
-
2019
- 2019-11-26 CN CN201911171020.4A patent/CN110879991B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
| CN108245385A (zh) * | 2018-01-16 | 2018-07-06 | 曹醒龙 | 一种帮助视障人士出行的装置 |
| CN109271944A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、电子设备、车辆及存储介质 |
| CN109961440A (zh) * | 2019-03-11 | 2019-07-02 | 重庆邮电大学 | 一种基于深度图的三维激光雷达点云目标分割方法 |
| CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| ARSHAD JAMAL 等: "Real-time Ground Plane Segmentation and Obstacle Detection for Mobile Robot Navigation", 《INTERACT-2010》 * |
| 陈代斌 等: "基于Kinect深度信息的室内分散障碍物检测", 《兵工自动化》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582054A (zh) * | 2020-04-17 | 2020-08-25 | 中联重科股份有限公司 | 点云数据处理方法及装置、障碍物检测方法及装置 |
| CN111582054B (zh) * | 2020-04-17 | 2023-08-22 | 中联重科股份有限公司 | 点云数据处理方法及装置、障碍物检测方法及装置 |
| CN111210429A (zh) * | 2020-04-17 | 2020-05-29 | 中联重科股份有限公司 | 点云数据划分方法及装置、障碍物检测方法及装置 |
| CN111783557B (zh) * | 2020-06-11 | 2023-08-15 | 北京科技大学 | 一种基于深度视觉的可穿戴导盲设备及服务器 |
| CN111783557A (zh) * | 2020-06-11 | 2020-10-16 | 北京科技大学 | 一种基于深度视觉的可穿戴导盲设备及服务器 |
| CN111860321A (zh) * | 2020-07-20 | 2020-10-30 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN111860321B (zh) * | 2020-07-20 | 2023-12-22 | 浙江光珀智能科技有限公司 | 一种障碍物识别方法及系统 |
| CN111833370A (zh) * | 2020-07-22 | 2020-10-27 | 浙江光珀智能科技有限公司 | 一种飞行像素滤除方法及系统 |
| CN112116643A (zh) * | 2020-09-14 | 2020-12-22 | 哈工大机器人（合肥）国际创新研究院 | 一种基于tof相机深度图和点云图的避障处理方法及系统 |
| WO2022099620A1 (zh) * | 2020-11-13 | 2022-05-19 | 深圳市大疆创新科技有限公司 | 三维点云分割方法和装置、可移动平台 |
| CN112618863A (zh) * | 2020-12-16 | 2021-04-09 | 济南浪潮高新科技投资发展有限公司 | 基于医疗机器人的机器人智能输液系统及实现方法 |
| CN113536958A (zh) * | 2021-06-23 | 2021-10-22 | 华南农业大学 | 导航路径提取方法、装置、农业机器人和存储介质 |
| CN113536958B (zh) * | 2021-06-23 | 2023-08-25 | 华南农业大学 | 导航路径提取方法、装置、农业机器人和存储介质 |
| CN115291240A (zh) * | 2022-10-08 | 2022-11-04 | 江苏徐工工程机械研究院有限公司 | 矿区场景内卸载点后方挡墙感知识别的检测方法及系统 |
| CN115291240B (zh) * | 2022-10-08 | 2023-01-17 | 江苏徐工工程机械研究院有限公司 | 矿区场景内卸载点后方挡墙感知识别的检测方法及系统 |
| CN115880674A (zh) * | 2023-03-01 | 2023-03-31 | 上海伯镭智能科技有限公司 | 一种基于无人驾驶矿车的避障转向矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110879991B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110879991B (zh) | 一种障碍物识别方法及系统 | |
| CN106919915B (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
| US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
| EP2757524B1 (en) | Depth sensing method and system for autonomous vehicles | |
| JP3729095B2 (ja) | 走行路検出装置 | |
| EP2256690B1 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
| WO2022099530A1 (zh) | 点云数据运动分割方法、装置、计算机设备和存储介质 | |
| EP2372642B1 (en) | Method and system for detecting moving objects | |
| CN110543807B (zh) | 验证障碍物候选的方法 | |
| CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
| JP7091686B2 (ja) | 立体物認識装置、撮像装置および車両 | |
| WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN112149458A (zh) | 障碍物检测方法、智能驾驶控制方法、装置、介质及设备 | |
| EP2960858A1 (en) | Sensor system for determining distance information based on stereoscopic images | |
| CN111860321B (zh) | 一种障碍物识别方法及系统 | |
| CN111829484A (zh) | 基于视觉的目标距离测算方法 | |
| US6956959B2 (en) | Apparatus for recognizing environment | |
| CN112200828A (zh) | 一种逃票行为的检测方法、装置及可读存储介质 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| JP7062904B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
| CN116524454A (zh) | 物体追踪装置、物体追踪方法及存储介质 | |
| JP5891802B2 (ja) | 車両位置算出装置 | |
| CN112598705B (zh) | 一种基于双目视觉的车身姿态检测方法 | |
| Borgmann et al. | Pedestrian detection and tracking in sparse MLS point clouds using a neural network and voting-based approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 323000 room 303-5, block B, building 1, No. 268, Shiniu Road, nanmingshan street, Liandu District, Lishui City, Zhejiang Province Applicant after: Zhejiang Guangpo Intelligent Technology Co.,Ltd. Address before: Hangzhou City, Zhejiang province 310030 Xihu District three Town Shi Xiang Road No. 859 Zijin and building 3 building 1301-1 room Applicant before: HANGZHOU GENIUS PROS TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method and System for Identifying Obstacles Effective date of registration: 20230529 Granted publication date: 20220517 Pledgee: Lishui Economic Development Zone Sub branch of Bank of China Ltd. Pledgor: Zhejiang Guangpo Intelligent Technology Co.,Ltd. Registration number: Y2023330000990 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |