CN110070570A - 一种基于深度信息的障碍物检测系统及方法 - Google Patents

一种基于深度信息的障碍物检测系统及方法 Download PDF

Info

Publication number
CN110070570A
CN110070570A CN201910212341.8A CN201910212341A CN110070570A CN 110070570 A CN110070570 A CN 110070570A CN 201910212341 A CN201910212341 A CN 201910212341A CN 110070570 A CN110070570 A CN 110070570A
Authority
CN
China
Prior art keywords
point
module
plane
scene
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910212341.8A
Other languages
English (en)
Other versions
CN110070570B (zh
Inventor
李红波
周雄才
吴渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910212341.8A priority Critical patent/CN110070570B/zh
Publication of CN110070570A publication Critical patent/CN110070570A/zh
Application granted granted Critical
Publication of CN110070570B publication Critical patent/CN110070570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种基于深度信息的障碍物检测系统及方法,主要涉及计算机视觉领域。所述方法包括以下步骤:首先通过深度摄像头采集环境的图像信息,并通过该设备获取环境及其中物体的点云信息;然后对采集到的深度点云信息进行滤波,去除图像中的噪声点和无用点,对采集到的深度图进行平面拟合;依据深度图和平面拟合结果,确定障碍物的初步点云集合;提取点云信息的特征点,并计算特征点的描述符;对场景和目标物体的描述符进行特征匹配,得到场景中障碍物检测结果。该方法不受环境变化的影响,并依据传感器特性加入色彩元素进行检测,提高了障碍物检测的准确率。

Description

一种基于深度信息的障碍物检测系统及方法
技术领域
本发明属于数字图像处理领域,具体是一种采用能够获得深度图像的实感摄 像头为数据采集设备的深度信息障碍物检测系统和方法。
背景技术
近年来,随着计算机、人工智能及模式识别等各方面技术的飞速发展,机器人 已经逐渐在各行各业开始普及。从国家的航天工作到百姓的家居生活,机器人 正在慢慢的渗透到我们的生活中,机器人的研究也逐渐从固定的工作模式向人 工智能自主作业的方向发展,而基于视觉传感器的自主移动机器人也越来越成 为研究的热点。障碍物检测是移动机器人导航中分析环境信息的重要环节之一。 在以往,研究人员通过给自主移动机器人安装格式各样的传感器,来实现移动 机器人的自护导航,如声纳、红外、激光测距等。随着各种视觉传感器的产生, 自主移动机器人的导航方式也发生了变化。视觉传感器使得机器人获取周围环 境信息更加的直观和高效。
公开号为CN109271944A的中国发明专利公开了一种基于深度图的障碍物检 测方法,它是通过双目摄像头来采集前方环境中的深度图信息,通过平面拟合 和聚类分割的方式对深度图信息进行处理,获得障碍物信息,并安装激光雷达 传感器扫描障碍物,将其扫描结果与检测结果交叉检测,实现障碍物的识别。 该方法存在深度图信息获取较为复杂且检测时间较长的问题,不适用于应用在 便捷性和实用性要求较高的场景。
综上所述,可以通过采用深度摄像头摄像头,准确实时的获取场景的深度图 信息和彩色图信息,并将所采集到的各种信息最大程度的应用在障碍物检测过 程中,开发出检测更准确、检测速率更高的障碍物检测系统。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种检测更准确、检测速率更 高的基于深度信息的障碍物检测系统及方法。本发明的技术方案如下:
一种基于深度信息的障碍物检测系统,其包括:数据接口模块、图像信息预 处理模块、特征提取模块、描述符计算模块以及描述符匹配模块,其中,所述 数据接口模块和图像信息预处理模块相连接,所述图像信息预处理模块和特征 提取模块相连接,所述特征提取模块和描述符计算模块相连接,所述描述符计 算模块和描述符匹配模块相连接;所述数据接口模块包含了彩色信息接口组件 和深度信息接口组件,所述彩色信息接口组件用于从数据采集设备获取环境的 彩色图像信息,所述深度信息接口组件用于从数据采集设备获取环境的深度图 像信息;所述图像信息预处理模块用于获取采集的图像信息并进行滤波处理, 用于去除数据采集设备采集图像时产生的噪声点与无用点,并将滤波后的精简点云信息作为平面去除的输入,对于滤波后的图像信息进行平面去除操作;所 述特征提取模块用于对平面去除后的障碍物图像信息进行特征提取;所述描述 符计算模块用于计算场景与场景中目标物体的描述符;所述描述符匹配模块用 于计算描述符计算模块计算的描述符之间的相似度,并通过描述符匹配算法确 定场景中的目标物体的位置。
进一步的,所述数据采集设备是RealSense摄像头,具有同时采集场景彩 色图像信息和深度图像信息功能,并且数据采集设备具有可编程的应用程序接 口,能够稳定且准确的进行数据采集工作。
进一步的,所述数据接口模块即是数据采集设备所采集到的原始数据流, 采集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息, 其中,彩色图像信息包括了场景及目标物体轮廓和色彩信息;深度图像信息包 括了场景及目标物体的距离信息。
进一步的,所述图像预处理模块包括直通滤波模块、统计滤波模块和平面去 除组件;所述直通滤波模块用于通过设置坐标轴方向的参数,指定某坐标轴上 的特定范围,对范围以内或者以外的点云进行删除,用于滤除捕获范围以外的 点云,统计滤波模块用于识别并去除场景中的离散点;所述平面去除组件用于 去除场景中的主平面元素。
进一步的,所述直通滤波模块通过设置坐标轴方向的参数,指定某坐标轴上 的特定范围,对范围以内或者以外的点云进行删除,用于滤除捕获范围以外的 点云,具体包括:B1、数据采集设备采集得到场景图像点云数据;B2、判断点 云数据的Z轴坐标是否满足阈值范围;B3、满足阈值范围的点云被保留为有效 点云;B4、不满足阈值范围的点云被认定为无效点云并剔除。
进一步的,所述统计滤波模块识别并去除场景中的离散点,具体包括:
通过直通滤波后的点云已经删除了捕获范围以外的无用点,但是在采集过程 中,仍存在孤立于目标点云的离散点,通过对每个点邻域进行一个统计分析, 从而修剪掉一些不符合标准的离散点,点邻域平均距离的概率密度函数表示为:
其中:xi为任一点的领域平均距离,设置每个点最大临近点阈值为K,标准差倍 数为n,超过平均距离nσ的点被定义为离群点。
进一步的,所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提 取并去除滤波后的目标物体的支撑平面。
一种基于系统的障碍物检测方法,其包括以下步骤:
首先通过深度摄像头采集环境的图像信息,并通过该深度摄像头获取环境及 其中物体的点云信息;然后对采集到的深度点云信息进行综合滤波,包括直通 滤波和统计滤波,用直通滤波器,去除位于设备采集器之外的无用点,再通过 统计滤波器,识别并去除场景中的离散点;使用随机一致采样的方法对采集到 的深度图进行平面拟合后,去除场景中的背景平面和目标物体的支撑面;依据 深度图和平面拟合结果,确定障碍物的初步点云集合;最后提取点云信息的特 征点,并计算特征点的描述符,对场景和目标物体的描述符进行特征匹配,得 到场景中障碍物检测结果,并将检测的障碍物轮廓用方框标记出。
进一步的,所述使用随机一致采样的方法对采集到的深度图进行平面拟合 的具体步骤包括:
步骤(1):在经过滤波后的点云中选取任意3个点,判断其是否共线,若共 线,则重新另取点;若不共线则解算出该三点所确定的对应初始平面 ax+by+cz=d,(a,b,c,d)均为拟合出来平面模型的相关系数,其中a,b, c代表该该平面模型的法向量,d为常量值。
步骤(2):计算点到该初始平面的距离,di=|axi+byi+czi-d|;
步骤(3):选取阈值t=2σ00是点云到初始平面模型距离的标准偏差,当 di>t时该点被当作平面外的点剔除,反之则被当作平面内的点保留,最后统计 平面内点的数量;
重复以上步骤(1),(2),(3)步骤,迭代一定次数,比较并选择含有平面 内点数量最大的平面作为拟合平面。
进一步的,所述特征提取是基于Harris角点检测算法的特征提取法,具体如 下:
步骤(1):利用水平、竖直差分算子对图像每个像素进行滤波以求得IX、Iy, 其中IX、Iy分别为图像点像素值I(x,y)在x和y方向上的梯度。进而求得m中四 个元素的值:
步骤(2):对m的四个元素进行高斯平滑滤波,得到新的m,离散二维零均 值高斯函数为:
步骤(3):利用m计算对应于每个像素的角点量cim:
步骤(4):在矩阵cim中,同时满足“cim大于阈值thresh和cim是某领域 内的局部最大值”这两个条件的点被认为是角点。
本发明的优点及有益效果如下:
本发明使用RealSense摄像头作为数据采集设备,能提高数据采集的有效性 和实时性,而且RealSense设备体积小,更适合作为自主移动机器人的导航传感 器。对采集到的彩色图像信息和深度图像信息进行综合滤波,先通过直通滤波 去除摄像头采集范围之外的无用点,再适用统计滤波将图像中的离散点进行去 除,一方面能排除由设备本身采集所带来的干扰,另一方面能清除图像中的离 散点,为后续检测工作提供更好的图像信息;滤波过后,运用随机抽样一致算 法RANSAC对图像信息中的平面进行拟合并去除,这样能减少在检测过程中背 景平面及物体支撑面对于识别效果的影响;在提取物体特征的过程中,使用 Harris角点检测的方法对目标物体的轮廓特征进行提取,该方法能有效的保留物 体边缘信息,更好的对物体的轮廓进行描述;使用视点特征直方图(VFH)的 方法能够快速有效地对目标的特征描述符进行计算,并且基于RealSense摄像头 特性的考虑,在计算特征描述符时添加同时采集的图像色彩信息作为补充,能 够更加有效地对障碍物进行检测。
附图说明
图1是本发明提供优选实施例障碍物检测系统结构框图;
图2是直通滤波流程图;
图3是统计滤波流程图;
图4是平面拟合方法流程图;
图5是描述符匹配方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
一种基于深度信息的障碍物检测系统,其特征在于,包括:数据接口模块、 图像信息预处理模块、障碍物信息特征提取模块、描述符计算模块以及描述符 匹配模块。其中,所述数据接口模块包含了彩色信息接口组件和深度信息接口 组件,所述彩色信息接口组建用于从数据采集设备获取环境的彩色图像信息, 所述深度信息接口组件用于从数据采集设备获取环境的深度图像信息;所述图 像预处理模块用于获取采集的图像信息并进行滤波处理,用以去除数据采集设 备采集图像时产生的噪声点与无用点,并将滤波后的精简点云信息作为平面去 除的输入;对于滤波后的图像信息进行平面去除操作。所述障碍物信息特征提 取模块用于对平面去除后的图像信息进行特征提取,通过特征提取的操作,能 够减少图像点的数目,从而降低后续模块的计算量;所述描述符计算模块用于 计算场景与场景中目标物体的描述符;所述描述符匹配模块用于计算上一步输 入的描述符之间的相似度,并通过描述符匹配算法确定场景中的目标物体的位 置。
进一步的,所述数据采集设备是具有同时采集场景彩色图像信息和深度图像 信息功能的摄像机,并且该设备具有可编程的应用程序接口,能够稳定且准确 的进行数据采集工作。
进一步的,所述数据接口模块即是数据采集设备所采集到的原始数据流,采 集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息。其 中,彩色图像信息包括了场景及目标物体轮廓和色彩信息;深度图像信息包括 了场景及目标物体的距离信息。
进一步的,所述图像预处理模块包括了点云滤波组件和平面去除组件;所述 图像去噪组件用于对采集到的彩色图像信息和深度图像信息进行噪声去除处理, 去除由于数据采集器视距限制所产生的噪声点和无用点;所述平面去除组件用 于去除场景中的主平面元素。
进一步的,所述点云滤波组件进行点云滤波的方法是直通滤波和统计滤波。 通过直通滤波器设置Z轴方向上的范围参数,将距离视点1.5米以外的点云数据 进行去除,有效减少数据采集设备视距限制产生的数据失真部分;统计滤波通 过计算每个点到其最近的k个点的平均距离得到平均距离的高斯分布,设置均 值和方差后,在标准范围之外的点,可以被认定为离群点并从数据中去除。点 云滤波组件能有效的去除数据采集时由于设备视距限制和操作所产生的噪声点 和离群点
进一步的,所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提 取并去除滤波后的目标物体的支撑平面。
进一步的,所述目标检测结果能够通过直观显示场景中位于数据采集设备视 距范围内的障碍物轮廓及其深度图像信息,并通过框图标记出障碍物轮廓以显 示清楚。
一种基于深度信息的障碍物检测方法,其特征在于,包括以下步骤:首先通 过深度摄像头采集环境的彩色图像信息和深度图像信息,并通过该设备获取环 境及其中物体的点云信息;然后对采集到的深度点云信息进行综合滤波,包括 直通滤波和统计滤波,用过直通滤波器,去除位于设备采集器之外的无用点, 再通过统计滤波器,识别并去除场景中的离散点;使用随机一致采样的方法对 采集到的深度图进行平面拟合后,去除场景中的背景平面和目标物体的支撑面; 依据深度图和平面拟合结果,确定障碍物的初步点云集合;最后提取点云信息 的特征点,并计算特征点的描述符,对场景和目标物体的描述符进行特征匹配, 得到场景中障碍物检测结果,并将检测的障碍物轮廓用方框标记出。
进一步的,所述描述符计算的方法是基于视点特征直方图(VFH)的方式进 行计算,并在计算时对方法进行了改进:依据RealSense作为数据采集器的特性, 将场景及目标检测物体对应的彩色图像信息通过色调值的方式加入到视点特征 直方图(VFH)的计算当中,使得采集到的图像信息得到最大的应用,提高障 碍物检测的准确率。
如图1所示一种采用RealSense摄像头为采集数据设备的障碍物检测系统和方法,该系统主要包括:
A1~A10:A1是与数据采集设备相适应的数据接口模块、A2是对图像信息 预处理模块、A3是特征提取模块、A4是描述符计算模块、A5是描述符匹配模 块,其中数据接口模块包含了数据采集设备采集彩色图像信息接口组件A6和深 度图像信息接口组件A7,图像信息预处理模块包含了直通滤波A8,统计滤波 A9和平面去除组件A10。
如图2所示为直通滤波方法的流程图:
B1~B4:在本实例中,采用的数据采集设备是RealSense摄像头,其作为数 据采集设备能够快速并准确的获取环境的彩色图像信息和深度图像信息,但是 RealSense摄像头也具有捕获范围的限制。RealSense SR300设备的深度捕获范围 为0.2~0.5米,故需要对采集到的相关深度点云进行捕获范围以外的滤波。直通 滤波可以通过设置坐标轴方向的参数,指定某坐标轴上的特定范围,对范围以 内或者以外的点云进行删除,用于滤除捕获范围以外的点云非常合适。B1是数 据采集设备所采集的场景图像点云数据;B2是判断点云数据的Z轴坐标是否满 足阈值范围;B3是满足阈值范围的点云被保留为有效点云;B4是不满足阈值范 围的点云被认定为无效点云并剔除。
如图3所示为统计滤波方法的流程图:
C1~C4:通过直通滤波后的点云已经删除了捕获范围以外的无用点,但是在 采集过程中,仍存在孤立于目标点云的离散点,这些点依然会对后续的检测过 程产生干扰,故需对上一步实例中的点云进行进一步的离散点滤波。统计滤波 通过对每个点邻域进行一个统计分析,从而修剪掉一些不符合标准的离散点。 点邻域平均距离的概率密度函数可以表示为:
其中:xi为任一点的领域平均距离。设置每个点最大临近点阈值为K,标准差倍 数为n,超过平均距离nσ的点被定义为离群点。C1是经过直通滤波后的有效点 云;C2判断单个点到其最近K个点的平均距离是否满足阈值范围;C3是满足 阈值范围的点云被保留为有效点云;C4是不满足阈值范围的点被认定为离散点 并剔除。
如图4所示为平面拟合方法流程图:
D1~D6:
步骤(1):在经过滤波后的点云中选取任意3个点,判断其是否共线,若共 线,则重新另取点;若不共线则解算出该三点所确定的对应初始平面 ax+by+cz=d,(a,b,c,d)均为拟合出来平面模型的相关系数,其中a,b, c代表该该平面模型的法向量,d为常量值;
步骤(2):计算点到该初始平面的距离,di=|axi+byi+czi-d|;
步骤(3):选取阈值t=2σ00是点云到初始平面模型距离的标准偏差,当 di>t时该点被当做平面外的点剔除,反之则被当做平面内的点保留。最后统计 平面内点的数量;
重复以上步骤(1),(2),(3)步骤,迭代一定次数,比较并选择含有平面 内点数量最大的平面作为拟合平面。
如图5所示为描述符匹配方法流程图:
E1~E6:E1是经过滤波和平面去除之后的物体点云;E2是对所述点云进行 特征提取,本实例采取的方法是基于Harris角点检测算法的特征提取法,具体 如下:
步骤(1):利用水平、竖直差分算子对图像每个像素进行滤波以求得IX、Iy, 其中IX、Iy分别为图像点像素值I(x,y)在x和y方向上的梯度。进而求得m中四 个元素的值:
步骤(2):对m的四个元素进行高斯平滑滤波,得到新的m。离散二维零均 值高斯函数为:
步骤(3):利用m计算对应于每个像素的角点量cim:
步骤(4):在矩阵cim中,同时满足“cim大于阈值thresh和cim是某领域 内的局部最大值”这两个条件的点被认为是角点。
E3、E4是将场景的色彩图像信息加入到描述符的计算,其中处理色彩信息的方 法是利用目标物体中每个点在HSV模型中的色调之H来区分特征点是待检测物 体中的点还是场景中非目标物体的点。具体步骤如下:
步骤(1):计算目标物体中每个点在HSV模型中的色调值H,公式如下:
max=max(R,G,B)
min=min(R,G,B)
V=max(R,G,R)
S=(max-min)/max
H=H+360,if H<0
步骤(2):依据公式可以知道色调值H的范围是0<H<360,为了方便后续计 算,将H的值依照公式:0<H<360,这样Ha的值就在0<Ha<72的范 围中,这样能使用2个字节空间来表示。
描述符计算的方法采用基于视点特征直方图(VFH)的描述符计算方法。得到 描述符(α,θ),其中α,θ为特征点云与其邻域点法线在三个方向的夹 角。然后将计算好的色调值作为描述符的第四维度加入到其中,即得到(α,θ,Ha)。对于场景中的点,先计算其色调值,利用上述公式得到Ha, 然后通过查询目标物体的色调值位图,来确定该点是否为目标物体中的点,若 是,则计算其描述符,如不是,则舍弃该点。E5是描述符匹配算法;E6是物体 的特征描述符。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或 修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于深度信息的障碍物检测系统,其特征在于,包括:数据接口模块、图像信息预处理模块、特征提取模块、描述符计算模块以及描述符匹配模块,其中,所述数据接口模块和图像信息预处理模块相连接,所述图像信息预处理模块和特征提取模块相连接,所述特征提取模块和描述符计算模块相连接,所述描述符计算模块和描述符匹配模块相连接;所述数据接口模块包含了彩色信息接口组件和深度信息接口组件,所述彩色信息接口组件用于从数据采集设备获取环境的彩色图像信息,所述深度信息接口组件用于从数据采集设备获取环境的深度图像信息;所述图像信息预处理模块用于获取采集的图像信息并进行滤波处理,用于去除数据采集设备采集图像时产生的噪声点与无用点,并将滤波后的精简点云信息作为平面去除的输入,对于滤波后的图像信息进行平面去除操作;所述特征提取模块用于对平面去除后的障碍物图像信息进行特征提取;所述描述符计算模块用于计算场景与场景中目标物体的描述符;所述描述符匹配模块用于计算描述符计算模块计算的描述符之间的相似度,并通过描述符匹配算法确定场景中的目标物体的位置。
2.根据权利要求1所述的一种基于深度信息的障碍物检测系统,其特征在于,所述数据采集设备是RealSense摄像头,具有同时采集场景彩色图像信息和深度图像信息功能,并且数据采集设备具有可编程的应用程序接口,能够稳定且准确的进行数据采集工作。
3.根据权利要求1所述的一种基于深度信息的障碍物检测系统,其特征在于,所述数据接口模块即是数据采集设备所采集到的原始数据流,采集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息,其中,彩色图像信息包括了场景及目标物体轮廓和色彩信息;深度图像信息包括了场景及目标物体的距离信息。
4.根据权利要求1所述的一种基于深度信息的障碍物检测系统,其特征在于,所述图像预处理模块包括直通滤波模块、统计滤波模块和平面去除组件,所述直通滤波模块用于通过设置坐标轴方向的参数,指定某坐标轴上的特定范围,对范围以内或者以外的点云进行删除,用于滤除捕获范围以外的点云,所述统计滤波模块用于识别并去除场景中的离散点,所述平面去除组件用于去除场景中的主平面元素。
5.根据权利要求4所述的一种基于深度信息的障碍物检测系统,其特征在于,所述直通滤波模块通过设置坐标轴方向的参数,指定某坐标轴上的特定范围,对范围以内或者以外的点云进行删除,用于滤除捕获范围以外的点云,具体包括:B1、数据采集设备采集得到场景图像点云数据;B2、判断点云数据的Z轴坐标是否满足阈值范围;B3、满足阈值范围的点云被保留为有效点云;B4、不满足阈值范围的点云被认定为无效点云并剔除。
6.根据权利要求5所述的一种基于深度信息的障碍物检测系统,其特征在于,所述统计滤波模块识别并去除场景中的离散点,具体包括:
通过直通滤波后的点云已经删除了捕获范围以外的无用点,但是在采集过程中,仍存在孤立于目标点云的离散点,通过对每个点邻域进行一个统计分析,从而修剪掉一些不符合标准的离散点,点邻域平均距离的概率密度函数表示为:
其中:xi为任一点的领域平均距离,设置每个点最大临近点阈值为K,标准差倍数为n,超过平均距离nσ的点被定义为离群点。
7.根据权利要求6所述的一种基于深度信息的障碍物检测系统,其特征在于,所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提取并去除滤波后的目标物体的支撑平面。
8.一种基于权利要求1-7之一系统的障碍物检测方法,其特征在于,包括以下步骤:
首先通过深度摄像头采集环境的图像信息,并通过该深度摄像头获取环境及其中物体的点云信息;然后对采集到的深度点云信息进行综合滤波,包括直通滤波和统计滤波,用直通滤波器,去除位于设备采集器之外的无用点,再通过统计滤波器,识别并去除场景中的离散点;使用随机一致采样的方法对采集到的深度图进行平面拟合后,去除场景中的背景平面和目标物体的支撑面;依据深度图和平面拟合结果,确定障碍物的初步点云集合;最后提取点云信息的特征点,并计算特征点的描述符,对场景和目标物体的描述符进行特征匹配,得到场景中障碍物检测结果,并将检测的障碍物轮廓用方框标记出。
9.根据权利要求8所述的障碍物检测方法,其特征在于,所述使用随机一致采样的方法对采集到的深度图进行平面拟合的具体步骤包括:
步骤(1):在经过滤波后的点云中选取任意3个点,判断其是否共线,若共线,则重新另取点;若不共线则解算出该三点所确定的对应初始平面ax+by+cz=d,a,b,c,d均为拟合出来平面模型的相关系数,其中a,b,c代表该该平面模型的法向量,d为常量值;
步骤(2):计算点到该初始平面的距离,di=|axi+byi+czi-d|;
步骤(3):选取阈值t=2σ00是点云到初始平面模型距离的标准偏差,当di>t时该点被当作平面外的点剔除,反之则被当作平面内的点保留,最后统计平面内点的数量;
重复以上步骤(1),(2),(3)步骤,迭代一定次数,比较并选择含有平面内点数量最大的平面作为拟合平面。
10.根据权利要求9所述的障碍物检测方法,其特征在于,所述特征提取是基于Harris角点检测算法的特征提取法,具体如下:
步骤(1):利用水平、竖直差分算子对图像每个像素进行滤波以求得IX、Iy,其中IX、Iy分别为图像点像素值I(x,y)在x和y方向上的梯度,进而求得m中四个元素的值:
步骤(2):对m的四个元素进行高斯平滑滤波,得到新的m,离散二维零均值高斯函数为:
步骤(3):利用m计算对应于每个像素的角点量cim:
步骤(4):在矩阵cim中,同时满足“cim大于阈值thresh和cim是某领域内的局部最大值”这两个条件的点被认为是角点。
CN201910212341.8A 2019-03-20 2019-03-20 一种基于深度信息的障碍物检测系统及方法 Active CN110070570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910212341.8A CN110070570B (zh) 2019-03-20 2019-03-20 一种基于深度信息的障碍物检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910212341.8A CN110070570B (zh) 2019-03-20 2019-03-20 一种基于深度信息的障碍物检测系统及方法

Publications (2)

Publication Number Publication Date
CN110070570A true CN110070570A (zh) 2019-07-30
CN110070570B CN110070570B (zh) 2023-05-26

Family

ID=67366410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910212341.8A Active CN110070570B (zh) 2019-03-20 2019-03-20 一种基于深度信息的障碍物检测系统及方法

Country Status (1)

Country Link
CN (1) CN110070570B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503646A (zh) * 2019-08-29 2019-11-26 联想(北京)有限公司 一种图像处理方法及装置
CN110675360A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种基于深度图像的实时平面检测及提取的方法
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN110889350A (zh) * 2019-11-18 2020-03-17 四川西南交大铁路发展股份有限公司 一种基于三维成像的线路障碍物监测报警系统及方法
CN111012254A (zh) * 2019-12-30 2020-04-17 北京太坦科技有限公司 智能扫地机器人
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111090283A (zh) * 2019-12-20 2020-05-01 上海航天控制技术研究所 一种无人艇组合定位定向方法和系统
CN111123274A (zh) * 2019-12-27 2020-05-08 苏州联视泰电子信息技术有限公司 一种水下声呐成像系统目标检测方法
CN111488812A (zh) * 2020-04-01 2020-08-04 腾讯科技(深圳)有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN112070700A (zh) * 2020-09-07 2020-12-11 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN112085773A (zh) * 2020-09-07 2020-12-15 深圳市凌云视迅科技有限责任公司 一种去除局外点的平面拟合方法和装置
CN112330808A (zh) * 2020-10-30 2021-02-05 珠海市一微半导体有限公司 一种基于局部地图的优化方法及视觉机器人
CN112561836A (zh) * 2019-09-25 2021-03-26 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置
CN113109835A (zh) * 2021-03-16 2021-07-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
CN114521836A (zh) * 2020-08-26 2022-05-24 北京石头创新科技有限公司 一种自动清洁设备
WO2022252036A1 (zh) * 2021-05-31 2022-12-08 深圳市大疆创新科技有限公司 障碍物信息获取方法、装置、可移动平台及存储介质
CN116634638A (zh) * 2023-05-16 2023-08-22 珠海光通智装科技有限公司 灯光控制策略的生成方法、灯光控制方法以及相关装置
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN118014883A (zh) * 2024-04-08 2024-05-10 中国空气动力研究与发展中心低速空气动力研究所 点云数据去噪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN106940185A (zh) * 2016-01-05 2017-07-11 北京雷动云合智能技术有限公司 一种基于深度摄像机的移动机器人定位和导航方法
CN109141364A (zh) * 2018-08-01 2019-01-04 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
US20170193830A1 (en) * 2016-01-05 2017-07-06 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN106940185A (zh) * 2016-01-05 2017-07-11 北京雷动云合智能技术有限公司 一种基于深度摄像机的移动机器人定位和导航方法
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN109141364A (zh) * 2018-08-01 2019-01-04 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
O.KHATIB等: ""Real-time obstacle avoidance for manipulators and mobile robots"", 《PROCEEDINGS. 1985 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
薛彦涛等: ""基于Kinect深度数据的移动机器人障碍检测方法研究"", 《计算机测量与控制》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675360A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种基于深度图像的实时平面检测及提取的方法
CN110503646A (zh) * 2019-08-29 2019-11-26 联想(北京)有限公司 一种图像处理方法及装置
CN110503646B (zh) * 2019-08-29 2022-03-25 联想(北京)有限公司 一种图像处理方法及装置
CN112561836A (zh) * 2019-09-25 2021-03-26 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置
CN112561836B (zh) * 2019-09-25 2024-04-16 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置
CN110889350A (zh) * 2019-11-18 2020-03-17 四川西南交大铁路发展股份有限公司 一种基于三维成像的线路障碍物监测报警系统及方法
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN110879991B (zh) * 2019-11-26 2022-05-17 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111046776B (zh) * 2019-12-06 2023-06-09 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111090283A (zh) * 2019-12-20 2020-05-01 上海航天控制技术研究所 一种无人艇组合定位定向方法和系统
CN111090283B (zh) * 2019-12-20 2023-08-29 上海航天控制技术研究所 一种无人艇组合定位定向方法和系统
CN111123274A (zh) * 2019-12-27 2020-05-08 苏州联视泰电子信息技术有限公司 一种水下声呐成像系统目标检测方法
CN111123274B (zh) * 2019-12-27 2021-12-28 苏州联视泰电子信息技术有限公司 一种水下声呐成像系统目标检测方法
CN111012254A (zh) * 2019-12-30 2020-04-17 北京太坦科技有限公司 智能扫地机器人
CN111488812B (zh) * 2020-04-01 2022-02-22 腾讯科技(深圳)有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN111488812A (zh) * 2020-04-01 2020-08-04 腾讯科技(深圳)有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN114521836A (zh) * 2020-08-26 2022-05-24 北京石头创新科技有限公司 一种自动清洁设备
CN114521836B (zh) * 2020-08-26 2023-11-28 北京石头创新科技有限公司 一种自动清洁设备
CN112070700A (zh) * 2020-09-07 2020-12-11 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN112085773A (zh) * 2020-09-07 2020-12-15 深圳市凌云视迅科技有限责任公司 一种去除局外点的平面拟合方法和装置
CN112070700B (zh) * 2020-09-07 2024-03-29 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN112330808A (zh) * 2020-10-30 2021-02-05 珠海市一微半导体有限公司 一种基于局部地图的优化方法及视觉机器人
CN112330808B (zh) * 2020-10-30 2024-04-02 珠海一微半导体股份有限公司 一种基于局部地图的优化方法及视觉机器人
CN113109835A (zh) * 2021-03-16 2021-07-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN113109835B (zh) * 2021-03-16 2023-08-18 联想(北京)有限公司 一种信息处理方法及电子设备
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
WO2022252036A1 (zh) * 2021-05-31 2022-12-08 深圳市大疆创新科技有限公司 障碍物信息获取方法、装置、可移动平台及存储介质
CN116634638A (zh) * 2023-05-16 2023-08-22 珠海光通智装科技有限公司 灯光控制策略的生成方法、灯光控制方法以及相关装置
CN118014883A (zh) * 2024-04-08 2024-05-10 中国空气动力研究与发展中心低速空气动力研究所 点云数据去噪方法及装置

Also Published As

Publication number Publication date
CN110070570B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110070570A (zh) 一种基于深度信息的障碍物检测系统及方法
JP6681729B2 (ja) オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
JP6091560B2 (ja) 画像解析方法
CN106909873A (zh) 人脸识别的方法和装置
CN110736747B (zh) 一种细胞液基涂片镜下定位的方法及系统
Wang et al. An overview of 3d object detection
CN110689573A (zh) 一种基于边缘模型的增强现实无标识跟踪注册方法及装置
CN110895683B (zh) 一种基于Kinect的单视点手势姿势识别方法
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN114463425B (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN113281782A (zh) 一种基于无人驾驶车的激光雷达雪点滤除方法
CN110110618A (zh) 一种基于pca和全局对比度的sar目标检测方法
CN118302798A (zh) 用于三维重建的方法、系统和存储介质
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法
CN116863357A (zh) 一种无人机遥感堤坝影像定标与智能分割变化检测方法
CN117036653A (zh) 基于超体素聚类的点云分割方法及系统
CN117953059B (zh) 一种基于rgb-d图像的方形吊装物姿态估计方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
WO2024174511A1 (zh) 一种低照度下红外-可见光图像的特征互补图像处理方法
CN105678779A (zh) 基于椭圆匹配的人体朝向角度实时检测方法
CN113628251B (zh) 一种智慧酒店终端监测方法
CN115661894A (zh) 一种人脸图像质量过滤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant