CN111260715A - 深度图的处理方法、小障碍物检测方法及系统 - Google Patents

深度图的处理方法、小障碍物检测方法及系统 Download PDF

Info

Publication number
CN111260715A
CN111260715A CN202010062330.9A CN202010062330A CN111260715A CN 111260715 A CN111260715 A CN 111260715A CN 202010062330 A CN202010062330 A CN 202010062330A CN 111260715 A CN111260715 A CN 111260715A
Authority
CN
China
Prior art keywords
depth map
image
camera
structured light
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010062330.9A
Other languages
English (en)
Other versions
CN111260715B (zh
Inventor
刘勇
朱俊安
黄寅
郭璁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202010062330.9A priority Critical patent/CN111260715B/zh
Publication of CN111260715A publication Critical patent/CN111260715A/zh
Priority to EP20916169.4A priority patent/EP4083917A4/en
Priority to PCT/CN2020/135024 priority patent/WO2021147545A1/zh
Priority to US17/794,045 priority patent/US20230063535A1/en
Application granted granted Critical
Publication of CN111260715B publication Critical patent/CN111260715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度图的处理方法、小障碍物检测方法及系统，包括：传感器标定、畸变与极线矫正、数据对齐、稀疏立体匹配。根据本发明提供的深度图的处理方法、小障碍物检测方法及系统，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。

Description

深度图的处理方法、小障碍物检测方法及系统
技术领域
本发明涉及机器人技术领域，特别涉及一种深度图的处理方法、小障碍物检测方法及系统。
背景技术
障碍物检测是机器人自主导航的重要组成部分且在机器人学和视觉领域得到了广泛研究且在一些消费级产品上得到了应用。小障碍物如果不能得到准确的检测，会导致机器人移动安全性受到影响。但在实际环境中，由于小障碍物种类繁杂，体积较小，对小障碍物检测仍然是一个挑战。
发明内容
机器人场景的障碍物检测一般通过距离获取传感器或算法获取目标的三维信息(如三维位置，轮廓)。一方面，小障碍物由于其体积小，检测时需要获取更准确的三维信息，这对传感器和算法的测量精度及分辨率要求更高。主动传感器中如雷达或者声呐有很高测量精度，但分辨率较低；基于红外结构光的深度相机能达到较高分辨率，但其易受阳光干扰，当干扰影响大时成像存在空洞且成像目标较小时存在鲁棒性不足。被动传感器如双目立体匹配或序列图像立体匹配，若采用无差别稠密重建，存在计算量大，对小目标重建困难存尤其是背景噪声较多时。另一方面，小障碍物种类繁杂，需要检测方案及算法能适用各种类型的小障碍物。如果直接检测障碍物，那么需要对检测对象有预先的定义，鲁棒性存在一定限制。
鉴于此，本发明的目的在于提供一种深度图的处理方法、小障碍物检测方法及系统，提升了方案和算法的鲁棒性和精度，从而提升对各种小障碍物检测的准确性。
为了实现上述目的，本发明实施方式提供如下技术方案：
一种深度图的处理方法，包括：
传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
由此，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
其中，所述稀疏立体匹配的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
其中，所述畸变与极线矫正的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
在这种情况下，显著减少了后续执行立体匹配的时间并大幅提升了准确度。
本发明还提供一种小障碍物检测方法，所述检测方法包括如上所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：
通过所述双目相机和结构光深度相机分别获取地面图像，
对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
采用融合方案对所述目标图像进行三维重构获取完整密集点云。
在这种情况下，通过对所述地面图像的占主体的背景执行稠密重建，以及采用“减背景”检测方法对所述小障碍物的点云进行分离检测，整体提升了方法的鲁棒性，并且通过将小障碍物映射到图像，并执行图像分割，可以将小障碍物完整地分割，以便实现准确的三维重构，因此该方法为小障碍物检测的准确性提供了保障。
其中，所述稀疏立体匹配的操作，进一步包括：
对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
在这种情况下，通过二次校验可排除符合平面模型但不是地面的块内的深度图，进而总体提升小障碍物的检测的准确性。
其中，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
本发明还提供一种小障碍物检测系统，所述检测系统包括如上所述的小障碍物检测方法。
其中，还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
在这种情况下，提升了双目相机和结构光深度相机采集的到图像对地面的覆盖区域，显著提升了对小障碍物识别的完整性。
根据本发明所提供的深度图的处理方法、小障碍物检测方法及系统，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
附图说明
图1示出了本发明的实施方式所涉及的深度图的处理方法的流程示意图；
图2示出了本发明的实施方式所涉及的小障碍物检测方法的流程示意图；
图3示出了本发明的实施方式所涉及的小障碍物检测方法的稀疏立体匹配的流程示意图。
具体实施方式
以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
本发明实施方式涉及深度图的处理方法、小障碍物检测方法及系统。
如图1所示，本实施方式所涉及的深度图的处理方法100，包括：
101、传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
102、畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
103、数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
104、稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
由此，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。
在本实施方式中，所述稀疏立体匹配(104)的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
在本实施方式中，所述畸变与极线矫正(102)的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
在这种情况下，显著减少了后续执行立体匹配的时间并大幅提升了准确度。
本发明实施方式还涉及一种小障碍物检测方法200，所述检测方法包括如上所述的深度图的处理方法。关于深度图的处理方法，在此不做赘述。
如图2所示，在本实施方式中，所述检测方法用于检测地面的小障碍物，所述方法还包括：
201、通过所述双目相机和结构光深度相机分别获取地面图像；
202、对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
203、通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
204、将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
205、采用融合方案对所述目标图像进行三维重构获取完整密集点云。
在这种情况下，通过对所述地面图像的占主体的背景执行稠密重建，以及采用“减背景”检测方法对所述小障碍物的点云进行分离检测，整体提升了方法的鲁棒性，并且通过将小障碍物映射到图像，并执行图像分割，可以将小障碍物完整地分割，以便实现准确的三维重构，因此该方法为小障碍物检测的准确性提供了保障。
如图3所示，在本实施方式中，所述稀疏立体匹配的操作，进一步包括：
2041、对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
2042、通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
2043、获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
2044、将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
2045、将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
在这种情况下，通过二次校验可排除符合平面模型但不是地面的块内的深度图，进而总体提升小障碍物的检测的准确性。
在本实施方式中，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
本发明实施方式还涉及一种小障碍物检测系统。所述检测系统包括如上所述的小障碍物检测方法。关于小障碍物检测系统，在此不做赘述。
在本实施方式中，小障碍物检测系统还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
在这种情况下，提升了双目相机和结构光深度相机采集的到图像对地面的覆盖区域，显著提升了对小障碍物识别的完整性。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等，均应包含在该技术方案的保护范围之内。

Claims (8)

1.一种深度图的处理方法，其特征在于，所述方法包括：
传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；
畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；
数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；
稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。
2.如权利要求1所述的深度图的处理方法，其特征在于，所述稀疏立体匹配的操作，具体包括：
提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。
3.如权利要求1所述的深度图的处理方法，其特征在于，所述畸变与极线矫正的操作，具体包括：
将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。
4.一种小障碍物检测方法，其特征在于，所述检测方法包括如权利要求1-3任一项所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：
通过所述双目相机和结构光深度相机分别获取地面图像；
对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；
通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；
将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；
采用融合方案对所述目标图像进行三维重构获取完整密集点云。
5.如权利要求4所述的小障碍物检测方法，其特征在于，所述稀疏立体匹配的操作，进一步包括：
对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；
通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；
获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；
将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；
将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。
6.如权利要求4所述的小障碍物检测方法，其特征在于，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。
7.一种小障碍物检测系统，其特征在于，所述检测系统包括如权利要求4-6任一项所述的小障碍物检测方法。
8.如权利要求7所述的小障碍物检测系统，其特征在于，还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。
CN202010062330.9A 2020-01-20 2020-01-20 深度图的处理方法、小障碍物检测方法及系统 Active CN111260715B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010062330.9A CN111260715B (zh) 2020-01-20 2020-01-20 深度图的处理方法、小障碍物检测方法及系统
EP20916169.4A EP4083917A4 (en) 2020-01-20 2020-12-09 DEPTH IMAGE PROCESSING METHOD, SMALL OBSTACLE DETECTION METHOD AND SYSTEM, ROBOT AND MEDIUM
PCT/CN2020/135024 WO2021147545A1 (zh) 2020-01-20 2020-12-09 深度图的处理方法、小障碍物检测方法及系统、机器人及介质
US17/794,045 US20230063535A1 (en) 2020-01-20 2020-12-09 Depth image processing method, small obstacle detection method and system, robot, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062330.9A CN111260715B (zh) 2020-01-20 2020-01-20 深度图的处理方法、小障碍物检测方法及系统

Publications (2)

Publication Number Publication Date
CN111260715A true CN111260715A (zh) 2020-06-09
CN111260715B CN111260715B (zh) 2023-09-08

Family

ID=70949024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062330.9A Active CN111260715B (zh) 2020-01-20 2020-01-20 深度图的处理方法、小障碍物检测方法及系统

Country Status (4)

Country Link
US (1) US20230063535A1 (zh)
EP (1) EP4083917A4 (zh)
CN (1) CN111260715B (zh)
WO (1) WO2021147545A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147545A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及系统、机器人及介质
CN113208882A (zh) * 2021-03-16 2021-08-06 宁波职业技术学院 一种基于深度学习的盲人智能避障方法及系统
CN113436269A (zh) * 2021-06-15 2021-09-24 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
CN113554713A (zh) * 2021-07-14 2021-10-26 大连四达高技术发展有限公司 飞机蒙皮移动机器人制孔视觉定位及检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880448B (zh) * 2022-12-06 2024-05-14 西安工大天成科技有限公司 基于双目成像的三维测量方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
US20150138346A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays
CN106796728A (zh) * 2016-11-16 2017-05-31 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN108230403A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于空间分割的障碍物检测方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110264510A (zh) * 2019-05-28 2019-09-20 北京邮电大学 一种基于双目采集图像提取景深信息的方法
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504284B (zh) * 2016-10-24 2019-04-12 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN107995962B (zh) * 2017-11-02 2021-06-22 深圳市道通智能航空技术股份有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置
CN110580724B (zh) * 2019-08-28 2022-02-25 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
CN111260715B (zh) * 2020-01-20 2023-09-08 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138346A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Systems and Methods for Estimating Depth from Projected Texture using Camera Arrays
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN106796728A (zh) * 2016-11-16 2017-05-31 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN108230403A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于空间分割的障碍物检测方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110264510A (zh) * 2019-05-28 2019-09-20 北京邮电大学 一种基于双目采集图像提取景深信息的方法
CN110686599A (zh) * 2019-10-31 2020-01-14 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147545A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 深度图的处理方法、小障碍物检测方法及系统、机器人及介质
CN113208882A (zh) * 2021-03-16 2021-08-06 宁波职业技术学院 一种基于深度学习的盲人智能避障方法及系统
CN113436269A (zh) * 2021-06-15 2021-09-24 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
CN113554713A (zh) * 2021-07-14 2021-10-26 大连四达高技术发展有限公司 飞机蒙皮移动机器人制孔视觉定位及检测方法
CN113554713B (zh) * 2021-07-14 2024-07-23 大连四达高技术发展有限公司 飞机蒙皮移动机器人制孔视觉定位及检测方法

Also Published As

Publication number Publication date
CN111260715B (zh) 2023-09-08
US20230063535A1 (en) 2023-03-02
EP4083917A1 (en) 2022-11-02
EP4083917A4 (en) 2024-02-14
WO2021147545A1 (zh) 2021-07-29

Similar Documents

Publication Publication Date Title
CN111260773B (zh) 小障碍物的三维重建方法、检测方法及检测系统
CN111260715B (zh) 深度图的处理方法、小障碍物检测方法及系统
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN109035309B (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US10909395B2 (en) Object detection apparatus
JP5109294B2 (ja) ３次元位置補正装置
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN106681353A (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN111028285A (zh) 基于双目视觉和激光雷达融合的深度估计方法
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
CN103093459B (zh) 利用机载LiDAR点云数据辅助影像匹配的方法
CN111915678B (zh) 一种基于深度学习的水下单目视觉目标深度定位融合估计方法
CN108279677B (zh) 基于双目视觉传感器的轨道机器人检测方法
CN109292099B (zh) 一种无人机着陆判断方法、装置、设备及存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN107885224A (zh) 基于三目立体视觉的无人机避障方法
KR101709317B1 (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
CN110209184A (zh) 一种基于双目视觉系统的无人机避障方法
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN114140527B (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant