CN109633661A - 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法 - Google Patents

一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法 Download PDF

Info

Publication number
CN109633661A
CN109633661A CN201811436184.0A CN201811436184A CN109633661A CN 109633661 A CN109633661 A CN 109633661A CN 201811436184 A CN201811436184 A CN 201811436184A CN 109633661 A CN109633661 A CN 109633661A
Authority
CN
China
Prior art keywords
sensor
rgb
image
depth
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811436184.0A
Other languages
English (en)
Inventor
黄志明
汪凯巍
李华兵
杨恺伦
许志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxiang Technology Co Ltd
Original Assignee
Hangzhou Lingxiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxiang Technology Co Ltd filed Critical Hangzhou Lingxiang Technology Co Ltd
Priority to CN201811436184.0A priority Critical patent/CN109633661A/zh
Publication of CN109633661A publication Critical patent/CN109633661A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only

Abstract

本发明公开了一种基于RGB‑D传感器与超声波传感器融合方案的玻璃检测系统和方法。针对RGB‑D传感器对于玻璃物体的深度信息无法正确获取的问题，该方法利用一个RGB‑D传感器和两个超声波传感器获取数据，通过设计的检测算法，就可以准确地检测出玻璃的位置和正确的深度信息。该方法基于传感器数据融合方案，设备价格低廉、检出率高、实时性好，并能实时输出正确的稠密深度图，解决了RGB‑D传感器无法探测透明玻璃深度的问题，可以很好地满足应用需求，一定程度上填补了这一块的技术空缺。

Description

一种基于RGB-D传感器与超声波传感器融合的玻璃检测系统 和方法
技术领域
本发明属于传感器融合技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域，涉及一种基于RGB-D传感器与超声波传感器融合的玻璃检测及深度图恢复的系统和方法。
背景技术
随着计算机视觉技术的发展，各种基于RGB-D传感器的视觉方案被开发出来。RGB-D传感器不仅可以获取彩色图像，而且可以同时提供深度信息。然而，由于玻璃材料透明和无纹理的特点，RGB-D传感器无法获得正确的玻璃深度数据。玻璃材料在日常生活中又是无处不在的，这就意味着基于RGB-D传感器的视觉技术在实际应用中可能由于无法检测玻璃而存在着一定危险。因此，一个能够实时辅助RGB-D传感器检测透明玻璃物体并输出正确深度信息的方法是迫切需要的。
发明内容
本发明的目的在于针对现有RGB-D传感器的不足，提供一种基于传感器融合的玻璃检测方法。
本发明的目的是通过以下技术方案实现的：一种基于传感器融合的玻璃检测系统，所述系统包含一个RGB-D传感器，两个超声波传感器，一个小型处理器。RGB-D传感器，两个超声波传感器分别与处理器相连，且两个超声波传感器分别固定于RGB-D传感器的左右两侧。RGB-D传感器实时地采集场景信息，并输出彩色和深度图像，超声波传感器通过声波实时探测前方是否存在障碍物，并获得障碍物的距离，小型处理器对获取的彩色、深度图像和超声波传感器的数据进行处理，输出检测结果。
一种基于传感器融合的玻璃检测方法，包括以下步骤：
(1)将超声波传感器的传播路径近似为直线，根据RGB-D传感器和两个超声波传感器位置关系，标记出RGB-D传感器采集的图像中的左右两个检测区域，所述检测区域为所述超声波传感器的探测区域。
(2)对于每一帧深度图像，分别计算出左右检测区域的平均深度Dc1和Dc2；以及，分别获取左右两个超声波传感器在该帧图像采集过程中，获得的距离值Du1和Du2。
(3)利用连续帧图像，根据左侧检测区域的平均深度Dc1和左侧距离值Du1，计算当前帧的左侧置信度，根据右侧检测区域的平均深度Dc2和右侧距离值Du2，计算当前帧的右侧置信度，每一帧的左侧置信度、右侧置信度均通过以下方法计算得到：
(3.1)设置置信度初始值为0；
(3.2)若某一帧的任一检测区域同时满足下述a、b、c三个条件，则该帧的置信度Gt为
否则
d)Dc是否大于阈值δ1；
e)Dc减Du是否大于阈值δ2；
f)Du是否在工作范围内(100mm-4500mm)；
(3.3)若当前帧的某一侧置信度大于3，则表明当前帧在该侧存在玻璃物体。然后以该侧的检测区域中的一个像素点为种子点，利用种子点生长算法在该检测区域所在的半侧图像中进行生长，确定图像中的玻璃物体所在区域，将图像中的玻璃物体所在区域的深度值替换为Du，得到玻璃物体的深度图。所述的种子点的深度值在(Dc-5mm，Dc+5mm)区间内，所述的半侧图像为深度图像的左半侧图像或右半侧图像。
进一步地，所述步骤2中，平均深度值的计算不采用检测区域中的无效、异常深度值。
进一步地，所述步骤3中，超声波传感器的数据采集速度为RGB-D传感器的帧率的N倍，所述的距离值Du为采集一帧图像过程中获得的N个超声波传感器数据的平均值。
进一步地，该方法还包括根据检测结果，利用矩形框在彩色图像上对玻璃物体所在区域进行标记，分别用红、黄和绿三种颜色表示玻璃物体所在区域的距离，其中，红色表示1000m以内，黄色表示1000-2500mm，绿色表示大于2500mm。本发明相较之前的玻璃检测方法的优势主要在于：
1、价格低廉。在实时检测玻璃和恢复其深度图时，本发明只需要一个RGB-D传感器和两个超声波传感器的组合，这些器件的市场价格都比较廉价。
2、实时性好。本发明融合RGB-D传感器和超声波传感器的优点，通过对不同传感器数据根据预定的条件进行判断，就可以判断是否存在玻璃物体，因此可以实时性较好的输出检测结果。
3、能够输出正确的玻璃位置和稠密深度图。本发明在确定检测到玻璃物体后，根据在原错误深度图上进行种子点生长算法的结果，就可以输出玻璃物体的位置信息，然后结合超声波传感器的数据，还可以实时地恢复出正确的稠密深度图。这是之前的方法无法做到的。
4、较高的检出率。本发明在实际测试过程中，对于透明物体的实时检出率大于90％，这也比之前的方法都要高。
附图说明
图1为用于玻璃检测的传感器融合系统的模块连接示意图；
图2为RGB-D传感器和超声波传感器固定示意图；
图3为左右超声波探测区域示意图；
图4为RGB-D传感器获取的原始彩色图像(已转灰度)；
图5为RGB-D传感器获取的原始深度图；
图6为输出的检测结果图，包括位置和距离信息；
图7为输出的恢复后的正确深度图。
具体实施方式
本发明涉及一种基于传感器融合的玻璃检测系统，包含一个RGB-D传感器(如Intel Realsense系列深度相机)，两个超声波传感器(如HC-SR04超声模块)，一个小型处理器。RGB-D传感器，两个超声波传感器分别采用USB接口与处理器相连，且两个超声波传感器分别固定于RGB-D传感器的左右两侧(如图2)。RGB-D传感器实时地采集场景信息，并输出彩色(如图4灰度图)和深度图像(如图5)，超声波传感器通过声波实时探测前方是否存在障碍物，并获得障碍物的距离，小型处理器对获取的彩色、深度图像和超声波传感器的数据进行处理，输出检测结果。整个系统如图1所示。
一种基于传感器融合的玻璃检测方法，包括以下步骤：
(1)由于HC-SR04超声波传感模块发出的声波发散角度小，方向性好，因此在其工作范围内(100mm-4500mm)可以近似地将其传播路径近似为直线。然后根据RGB-D传感器和两个超声波传感器位置关系，标记出RGB-D传感器采集的图像中的左右两个检测区域，所述检测区域为所述超声波传感器的探测区域(原理如图3所示)。
(2)对于每一帧深度图像，分别计算出左右检测区域的平均深度Dc1和Dc2；以及，分别获取左右两个超声波传感器在该帧图像采集过程中，获得的距离值Du1和Du2。平均深度值的计算为本领域的公知常识，通常不采用检测区域中的无效、异常深度值。
(3)利用连续帧图像，根据左侧检测区域的平均深度Dc1和左侧距离值Du1，计算当前帧的左侧置信度，根据右侧检测区域的平均深度Dc2和右侧距离值Du2，计算当前帧的右侧置信度，每一帧的左侧置信度和右侧置信度均通过以下方法计算得到：
(3.1)设置置信度初始值为0；
(3.2)若某一帧的任一检测区域同时满足下述a、b、c三个条件，则该帧的置信度Gt
否则，
a)Dc是否大于阈值δ1；
b)Dc减Du是否大于阈值δ2；
c)Du是否在工作范围内(100mm-4500mm)；
(3.3)若当前帧的某一侧置信度大于3，则表明当前帧在该侧存在玻璃物体。然后以该侧的检测区域中的一个像素点为种子点，利用种子点生长算法在该检测区域所在的半侧图像中进行生长，确定图像中的玻璃物体所在区域(如图6矩形框标出)，将图像中的玻璃物体所在区域的深度值替换为Du，得到玻璃物体的深度图(如图7)。所述的种子点的深度值在(Dc-5mm，Dc+5mm)区间内，所述的半侧图像为深度图像的左半侧图像或右半侧图像。
通常情况下，超声波传感器的数据采集速度大于RGB-D传感器的帧率，假设前者为后者的N倍，则距离值Du可以为采集一帧图像过程中获得的N个超声波传感器数据的平均值。
作为优选的方案，该方法还包括根据检测结果，利用矩形框在彩色图像上对玻璃物体所在区域进行标记，分别用红、黄和绿三种颜色表示玻璃物体所在区域的距离，其中，红色表示1000m以内，黄色表示1000-2500mm绿色表示大于2500mm(如图6矩形框)。

Claims (5)

1.一种基于传感器融合的玻璃检测系统，所述系统包含一个RGB-D传感器，两个超声波传感器，一个小型处理器。RGB-D传感器，两个超声波传感器分别与处理器相连，且两个超声波传感器分别固定于RGB-D传感器的左右两侧。RGB-D传感器实时地采集场景信息，并输出彩色和深度图像，超声波传感器通过声波实时探测前方是否存在障碍物，并获得障碍物的距离，小型处理器对获取的彩色、深度图像和超声波传感器的数据进行处理，输出检测结果。
2.一种权利要求1中所述系统的基于传感器融合的玻璃检测方法，其特征在于，包括以下步骤：
(1)将超声波传感器的传播路径近似为直线，根据RGB-D传感器和两个超声波传感器位置关系，标记出RGB-D传感器采集的图像中的左右两个检测区域，所述检测区域为所述超声波传感器的探测区域。
(2)对于每一帧深度图像，分别计算出左右检测区域的平均深度Dc1和Dc2；以及，分别获取左右两个超声波传感器在该帧图像采集过程中，获得的距离值Du1和Du2。
(3)利用连续帧图像，根据左侧检测区域的平均深度Dc1和左侧距离值Du1，计算当前帧的左侧置信度，根据右侧检测区域的平均深度Dc2和右侧距离值Du2，计算当前帧的右侧置信度，每一帧的左侧置信度、右侧置信度均通过以下方法计算得到：
(3.1)设置置信度初始值为0；
(3.2)若某一帧的任一检测区域同时满足下述a、b、c三个条件，则该帧的置信度Gt为
否则
a)Dc大于阈值δ1；
b)Dc减Du大于阈值δ2；
c)Du在工作范围内(100mm-4500mm)；
(3.3)若当前帧的某一侧置信度大于3，则表明当前帧在该侧存在玻璃物体。然后以该侧的检测区域中的一个像素点为种子点，利用种子点生长算法在该检测区域所在的半侧图像中进行生长，确定图像中的玻璃物体所在区域，将图像中的玻璃物体所在区域的深度值替换为Du，得到玻璃物体的深度图。所述的种子点的深度值在(Dc-5mm，Dc+5mm)区间内，所述的半侧图像为深度图像的左半侧图像或右半侧图像。
3.根据权利要求2所述的检测方法，其特征在于，所述步骤2中，平均深度值的计算不采用检测区域中的无效、异常深度值。
4.根据权利要求2所述的检测方法，其特征在于，所述步骤3中，超声波传感器的数据采集速度为RGB-D传感器的帧率的N倍，所述的距离值Du为采集一帧图像过程中获得的N个超声波传感器数据的平均值。
5.根据权利要求2所述的检测方法，其特征在于，该方法还包括根据检测结果，利用矩形框在彩色图像上对玻璃物体所在区域进行标记，分别用红、黄和绿三种颜色表示玻璃物体所在区域的距离，其中，红色表示1000m以内，黄色表示1000-2500mm绿色表示大于2500mm。
CN201811436184.0A 2018-11-28 2018-11-28 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法 Pending CN109633661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811436184.0A CN109633661A (zh) 2018-11-28 2018-11-28 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811436184.0A CN109633661A (zh) 2018-11-28 2018-11-28 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法

Publications (1)

Publication Number Publication Date
CN109633661A true CN109633661A (zh) 2019-04-16

Family

ID=66069414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811436184.0A Pending CN109633661A (zh) 2018-11-28 2018-11-28 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法

Country Status (1)

Country Link
CN (1) CN109633661A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051588A (zh) * 2020-09-03 2020-12-08 重庆大学 一种多传感器融合的玻璃识别系统
CN114265399A (zh) * 2021-11-25 2022-04-01 北京顺造科技有限公司 障碍物识别方法及自动清洁设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
CN105261019A (zh) * 2015-10-16 2016-01-20 深圳市浦洛电子科技有限公司 一种玻璃ic的检测方法和系统
CN105425803A (zh) * 2015-12-16 2016-03-23 纳恩博（北京）科技有限公司 自主避障方法、装置和系统
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
US20160253580A1 (en) * 2012-10-24 2016-09-01 Samsung Electronics Co., Ltd. Image processing apparatus and method for detecting transparent object in image
CN105980928A (zh) * 2014-10-28 2016-09-28 深圳市大疆创新科技有限公司 使用超声波深度感测的rgb-d成像系统和方法
CN105989614A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博（北京）科技有限公司 一种避障跟随方法和电子设备
CN107111598A (zh) * 2014-12-19 2017-08-29 深圳市大疆创新科技有限公司 使用超声深度感测的光流成像系统以及方法
CN107402578A (zh) * 2017-06-21 2017-11-28 中国科学院深圳先进技术研究院 无人机全景障碍感知方法、装置、设备及存储介质
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN108432244A (zh) * 2015-12-21 2018-08-21 皇家飞利浦有限公司 处理图像的深度图
CN108475058A (zh) * 2016-02-10 2018-08-31 赫尔实验室有限公司 用于使用视觉和距离传感器数据来实现快速且可靠的接触时间估计以便进行自主导航的系统和方法
CN108564536A (zh) * 2017-12-22 2018-09-21 洛阳中科众创空间科技有限公司 一种深度图的全局优化方法
CN108696737A (zh) * 2017-02-28 2018-10-23 深圳市掌网科技股份有限公司 一种获取三维图像的方法和装置
CN208091372U (zh) * 2018-01-22 2018-11-13 广东理工学院 一种基于rgb-d相机的瓷砖检测装置
CN108876836A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 一种深度估计方法、装置、系统及计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20160253580A1 (en) * 2012-10-24 2016-09-01 Samsung Electronics Co., Ltd. Image processing apparatus and method for detecting transparent object in image
CN105980928A (zh) * 2014-10-28 2016-09-28 深圳市大疆创新科技有限公司 使用超声波深度感测的rgb-d成像系统和方法
CN107111598A (zh) * 2014-12-19 2017-08-29 深圳市大疆创新科技有限公司 使用超声深度感测的光流成像系统以及方法
CN105989614A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN105261019A (zh) * 2015-10-16 2016-01-20 深圳市浦洛电子科技有限公司 一种玻璃ic的检测方法和系统
CN105425803A (zh) * 2015-12-16 2016-03-23 纳恩博（北京）科技有限公司 自主避障方法、装置和系统
CN108432244A (zh) * 2015-12-21 2018-08-21 皇家飞利浦有限公司 处理图像的深度图
CN108475058A (zh) * 2016-02-10 2018-08-31 赫尔实验室有限公司 用于使用视觉和距离传感器数据来实现快速且可靠的接触时间估计以便进行自主导航的系统和方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博（北京）科技有限公司 一种避障跟随方法和电子设备
CN108696737A (zh) * 2017-02-28 2018-10-23 深圳市掌网科技股份有限公司 一种获取三维图像的方法和装置
CN107402578A (zh) * 2017-06-21 2017-11-28 中国科学院深圳先进技术研究院 无人机全景障碍感知方法、装置、设备及存储介质
CN108564536A (zh) * 2017-12-22 2018-09-21 洛阳中科众创空间科技有限公司 一种深度图的全局优化方法
CN208091372U (zh) * 2018-01-22 2018-11-13 广东理工学院 一种基于rgb-d相机的瓷砖检测装置
CN108876836A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 一种深度估计方法、装置、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG ZHIMING,ET AL: "Glass detection and recognition based on the fusion of ultrasonic sensor and RGB-D sensor for the visually impaired", 《PROCEEDINGS OF SPIE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051588A (zh) * 2020-09-03 2020-12-08 重庆大学 一种多传感器融合的玻璃识别系统
CN114265399A (zh) * 2021-11-25 2022-04-01 北京顺造科技有限公司 障碍物识别方法及自动清洁设备

Similar Documents

Publication Publication Date Title
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
JP4604190B2 (ja) 距離イメージセンサを用いた視線検出装置
US9432593B2 (en) Target object information acquisition method and electronic device
CN110503040B (zh) 障碍物检测方法及装置
CN104808210B (zh) 一种声纳和双目视觉成像系统的融合成像装置及方法
CN106679567A (zh) 基于双目立体视觉的接触网及支柱几何参数检测测量系统
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN110850723A (zh) 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN106646474A (zh) 一种非结构化道路凹凸障碍物检测装置
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用
CN109974582A (zh) 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法
CN109613559B (zh) 基于视觉和激光雷达的水陆边界漂浮物判别装置与方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN104013424B (zh) 一种基于深度信息的超声宽景成像方法
CN108693532A (zh) 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN109633661A (zh) 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
CN106570899A (zh) 一种目标物体检测方法及装置
CN104535006B (zh) 一种利用透射式照明成像系统的瓶盖缝隙宽度估算方法
CN105354822A (zh) 自动识别读写场景中读写元素位置的智能装置及应用
CN109359537A (zh) 基于神经网络的人脸姿态角度检测方法及系统
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN106840111A (zh) 物体间位置姿态关系实时统一系统及方法
CN105354828A (zh) 读写场景中读物三维坐标的智能认定方法及其应用
CN112258398B (zh) 基于tof与双目图像融合的输送带纵向撕裂检测装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication