CN114089330A - 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 - Google Patents

一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 Download PDF

Info

Publication number
CN114089330A
CN114089330A CN202210052001.5A CN202210052001A CN114089330A CN 114089330 A CN114089330 A CN 114089330A CN 202210052001 A CN202210052001 A CN 202210052001A CN 114089330 A CN114089330 A CN 114089330A
Authority
CN
China
Prior art keywords
glass
distance
depth
defect
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210052001.5A
Other languages
English (en)
Other versions
CN114089330B (zh
Inventor
陶永
温宇方
高赫
段练
韩栋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210052001.5A priority Critical patent/CN114089330B/zh
Publication of CN114089330A publication Critical patent/CN114089330A/zh
Application granted granted Critical
Publication of CN114089330B publication Critical patent/CN114089330B/zh
Priority to PCT/CN2022/129900 priority patent/WO2023138163A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法。首先基于激光雷达强度数据筛选疑似玻璃存在区域；然后根据疑似区域RGB图像，使用卷积神经网络确定玻璃是否真实存在；若存在，提取玻璃区域边界，判断深度图像缺陷点，根据玻璃区域边界进行缺陷点深度信息修补；最后平面采样深度图像，补充更新原始地图中缺失的玻璃障碍，输出规划用栅格地图；解决了现有建图算法及设备由于玻璃透射、折射、偏振等特性存在，易导致玻璃感知失效，影响地图完整性和导航安全性的问题，具备系统感知成本低、导航功能安全稳定的优点。

Description

一种基于深度图像修复的室内移动机器人玻璃检测与地图更 新方法
技术领域
本发明属于室内移动机器人领域，具体涉及一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法。
背景技术
在服务机器人领域，室内移动机器人相关技术是目前研究和应用的热点。研究主要围绕地图构建、定位、导航等方面展开，即解决移动机器人的 “我在哪儿”及“我要去哪儿”的问题。目前机器人在未知环境中利用激光雷达和里程计信息进行同步定位建图技术已相对成熟。但是，相较于结构化的实验室环境，现实运行环境往往更为复杂且多变。
面对室内玻璃幕墙、隔板、玻璃门等物体时，由于玻璃存在透射、折射、偏振等特性，移动机器人系统常存在玻璃感知失效的问题，建立的地图包含大量空洞，无法有效表示出玻璃障碍物，给后续导航规划工作带来安全隐患。
发明内容
为解决现有技术存在的，机器人建立的地图中无法表示出玻璃障碍物，严重影响对后续的定位导航规划工作的问题，本发明提供一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法，包括：
S1：处理激光雷达信息，获得强度数据，基于所述强度数据筛选疑似玻璃存在区域；
S2：根据玻璃疑似存在区域的信息选取RGBD相机图像，利用深度学习网络对RGBD相机图像进行识别，判断区域中是否存在玻璃，将不存在玻璃定义为第一类情况，将存在玻璃定义为第二类情况；
S3：当结果为第一类情况时，地图更新正常进行，不做修补处理；
S4：当结果为第二类情况时，判断RGBD相机获取的深度数据中的缺陷点类型，以缺陷点为中心，若邻域内同类缺陷点个数小于等于第一阈值，则判断缺陷点点为第一类缺陷点，否则为第二类缺陷点；
S5：当缺陷点为第一类缺陷点时，用中值滤波进行补充，当缺陷点为第二类缺陷点时，先对缺陷边缘进行检测，再根据线性滤波思想像素点周围的距离值进行计算后补充；
S6：将修补完的信息进行平面采样，得到可靠的距离数据，输入给地图更新步骤，得到修补后的新导航地图。
优选的，所述玻璃存在疑似区域筛选方法，包括：
S1.1：定义距离变化量阈值和方差阈值；
S1.2：不断计算返回的距离数据中前后两个数据的差值，搜寻距离差值的时间戳，当距离差值大于距离变化阈值时记录激光雷达数据；
S1.3：计算激光雷达数据的方差，记录超过方差阈值的数据；
S1.4：设置段最大长度并依据时间连续性将这些数据点分为若干段，即为玻璃疑似存在段。
优选的，所述玻璃存在疑似区域筛选方法，引入RGBD图像检测，使用RGB图像确认玻璃是否存在。
优选的，所述玻璃存在疑似区域筛选方法，利用深度图像修复算法获取玻璃的距离信息。
优选的，所述缺陷点类型判断步骤包括：
S4.1：获取深度矩阵后，首先对小范围缺陷进行筛选，并记录缺陷点坐标；
S4.2：深度为0的噪点：在邻域中分别统计非0值的个数，如果非零的个数大于某个阈值，便认为该点是缺陷；
S4.3：深度数据不确定的空洞：在邻域中分别统计距离数据缺失的个数，如果缺失的个数大于某个阈值，便认为该点是缺陷；
S4.4：针对空洞和噪点的缺陷，根据缺陷点周围的同类缺陷点个数，判断缺陷点为第一类缺陷点或第二类缺陷点。
优选的，所述第一类缺陷点邻域内同类缺陷点个数小于等于第一阈值，采用中值滤波进行距离补充。
优选的，所述第二类缺陷点，所述缺陷点修补方案包括：
S5.1：按照中值滤波的思想，为保证修补效果，取缺陷点周围领域的24个点距离值，若周围存在空洞，则将其距离值略过，计算距离值的中位数，用中位数给对应的距离值中的点赋值，获得深度矩阵；
S5.2：对深度矩阵进行边缘锐化；
S5.3：对锐化后的距离矩阵边界提取边界点；
S5.4：取深度矩阵中所有距离数据缺失的点，对深度进行修补，按距离和最近边界点的距离求取平均值；
S5.5：将平均值数据补充进深度矩阵中，获得最终的修补距离矩阵。
优选的，所述地图信息更新方案，包括：
S6.1：选取深度数据每一列内的最小值，构成行向量，对修补距离矩阵进行降维处理；
S6.2：获取修补矩阵的最大值，计算当前相机视野范围，视场长度为修补矩阵的最大值，视场宽度和视场长度成与横向视场角度相关的三角函数关系；
S6.3：获取移动机器人当前在世界坐标系下的位姿信息；
S6.4：计算障碍物的位置，最终完成该处地图的更新。
优选的，所述激光雷达信息通过深度相机获得。
一种计算机可读存储介质，存储有计算机程序，当所述计算机程序被计算的处理器执行时，使得计算设备执行上述任一项所述的方法。
本发明仅使用激光雷达和RGBD相机两种设备对玻璃检测，首先基于激光雷达强度数据方差筛选疑似玻璃存在区域；然后根据疑似区域RGB图像，使用卷积神经网络确定玻璃是否真实存在；若存在，提取玻璃区域边界，判断深度图像中的缺陷点，根据玻璃区域边界进行缺陷点深度信息修补；最后平面采样深度图像，补充更新原始地图中缺失的玻璃障碍，输出规划用栅格地图；解决了现有建图算法及设备由于玻璃透射、折射、偏振等特性，导致玻璃感知失效，影响地图完整性和导航安全性的问题，具备系统感知成本低，导航功能安全稳定的优点。
附图说明
为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的算法流程图。
图2是本发明提供的算法原理图。
图3是本发明提供的相机获取的原始图片。
图4是本发明提供的RGB图像玻璃识别示例结果。
图5是本发明提供的修补实验中相机获取的原始图片。
图6是本发明提供的相机获取的原始深度图。
图7是本发明提供的玻璃场景深度图滤波结果。
图8是本发明提供的玻璃场景深度图边界提取结果。
图9是本发明提供的玻璃场景修复后深度图。
图10是本发明提供的移动平台结构框架示意图。
图11是本发明提供的试验环境示意图。
图12是本发明提供的试验环境地图初步建立结果。
图13是本发明提供的试验环境地图更新修复结果。
图14是本发明提供的原始地图路径规划结果。
图15是本发明提供的修复更新后地图路径规划结果。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一：本发明提供一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法，其流程如图1所示。具体步骤为：
S1：处理激光雷达信息，获得强度数据，基于所述强度数据筛选疑似玻璃存在区域；
S2：根据玻璃疑似存在区域的信息选取RGBD相机图像，利用卷积神经网络对RGBD相机图像进行识别，判断区域中是否存在玻璃，将不存在玻璃定义为第一类情况，将存在玻璃定义为第二类情况；
S3：当结果为第一类情况时，地图更新正常进行，不做修补处理；
S4：当结果为第二类情况时，判断RGBD相机获取的深度数据中的缺陷点类型，以缺陷点为中心，若邻域内同类缺陷点个数小于等于第一阈值，则判断缺陷点点为第一类缺陷点，否则为第二类缺陷点；
S5：当缺陷点为第一类缺陷点时，用中值滤波进行补充，当缺陷点为第二类缺陷点时，先对缺陷边缘进行检测，再根据线性滤波思想像素点周围的距离值进行计算后补充；
S6：将修补完的深度图像进行平面采样，得到可靠的距离数据，输出给地图更新步骤，得到修补后的新规划用地图。
所述筛选疑似玻璃存在区域，包括：
S1.1：定义距离变化量阈值和方差阈值；
S1.2：不断计算返回的距离数据中前后两个数据的差值，搜寻距离差值的时间戳，当距离差值大于距离变化阈值时记录激光雷达数据；
S1.3：计算激光雷达数据的方差，记录超过方差阈值的数据；
S1.4：设置段最大长度并依据时间连续性将这些数据点分为若干段，即为玻璃疑似存在段。
引入RGBD图像检测，使用RGB图像确认玻璃是否存在。
利用深度图像修复算法获取可靠的玻璃距离信息。
所述缺陷点类型判断步骤包括：
S4.1：获取深度矩阵后，首先对小范围缺陷进行筛选，并记录缺陷点坐标；
S4.2：深度为0的噪点：在邻域中分别统计非0值的个数，如果非零的个数大于某个阈值，便认为该点是缺陷；
S4.3：深度数据不确定的空洞：在邻域中分别统计距离数据缺失的个数，如果缺失的个数大于某个阈值，便认为该点是缺陷；
S4.4：针对空洞和噪点的缺陷，根据缺陷点周围的同类缺陷点个数，判断缺陷点为第一类缺陷点或第二类缺陷点。
所述第一类缺陷点，像素点个数少，采用中值滤波进行距离补充。
所述第二类缺陷点，修补方案包括：
S5.1：按照中值滤波的思想，为保证修补效果，取缺陷点周围领域的24个点距离值，若周围存在空洞，则将其距离值略过，计算距离值的中位数，用中位数给对应的距离值中的点赋值，获得深度矩阵；
S5.2：对深度矩阵进行边缘锐化；
S5.3：对锐化后的距离矩阵边界提取边界点；
S5.4：取深度矩阵中所有距离数据缺失的点，对深度进行修补，按距离求取平均值；
S5.5：将平均值数据补充进深度矩阵中，获得最终的修补距离矩阵。
所述地图信息更新方案，包括：
S6.1：选取深度数据每一列内的最小值，构成行向量，对修补距离矩阵进行降维处理；
S6.2：获取修补矩阵的最大值，计算当前相机视野范围，视场长度为修补矩阵的最大值，视场宽度和视场长度成与横向视场角度相关的三角函数关系；
S6.3：获取移动机器人当前在世界坐标系下的位姿信息；
S6.4：计算障碍物的位置，最终完成该处地图的更新。
所述激光雷达信息通过深度相机获得。
一种计算机可读存储介质，其存储有计算机程序，当所述计算机程序被计算设备中的处理器执行时，使得计算设备执行如上所述的方法。
实施例二：本发明提供一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法，进一步的，具体步骤为：
S1：处理激光雷达信息，获得强度数据，基于所述强度数据筛选疑似玻璃存在区域；
进一步的，所述玻璃存在疑似区域筛选，首先对接收到的激光雷达距离信
息进行分析，根据激光雷达扫描玻璃时返回数据的特点，根据时间戳查找距离信息中单次距离变化量足够大的，以此为条件触发玻璃疑似区域检测程序，触发程序后，记录此时的时间戳，而后连续采集N个时间戳下的距离信息，对这N个数据进行方差分析，方差足够大说明该区域为疑似玻璃存在区域，记录下他们的时间戳。距离变化量阈值为
Figure DEST_PATH_IMAGE001
；方差阈值为Dmax；具体步骤如下：
1.不断计算返回的距离数据种前后两个数据的差值
Figure DEST_PATH_IMAGE002
，搜寻距离差值
Figure DEST_PATH_IMAGE003
时的激光雷达数据话题的时间戳Ti，集合记为T，并记录这些点的激光雷达数据Gi，集合记为G；
2.记录T中各点后N个时间戳的激光雷达距离信息Si，集合记为S；
3.对S中个数据集合按如下公式计算平均值Ei，并将集合记为E；
Figure DEST_PATH_IMAGE004
（1）
4.计算S中数据集合的方差Di，计算公式如下，方差集合记为D；
Figure DEST_PATH_IMAGE005
（2）
5.在D中筛选出
Figure DEST_PATH_IMAGE006
的值，记录索引号i，集合记为I；
6.依据集合I ，在G中挑选出索引号对应的激光雷达数据，设置段最大长度并依据时间连续性将这些数据点分为若干段，记为Gsuspect，即为玻璃疑似存在段。
S2：根据玻璃疑似存在区域的信息选取RGBD相机图像，利用卷积神经网络对RGBD相机图像进行识别，判断区域中是否存在玻璃，将不存在玻璃定义为第一类情况，将存在玻璃定义为第二类情况；
例如，检测采用的是基于深度学习的玻璃检测网络，网络核心为LCFI模块，该模块用于在给定输入特征的情况下，高效、有效地提取和集成多尺度大范围上下文特征，以检测不同大小的玻璃。将环境RGB信息（如图3）作为输入的图像信息Fin；Flcfi为输出的检测结果（如图4）；
Figure DEST_PATH_IMAGE007
表示指卷积核大小为
Figure DEST_PATH_IMAGE008
的垂直卷积；
Figure DEST_PATH_IMAGE009
表示卷积核大小为
Figure DEST_PATH_IMAGE010
的水平卷积，
Figure DEST_PATH_IMAGE011
表示批量归一化和线性整流网络处理；F1为中间特征提取结果；为了提取互补的大区域上下文特征，同时使用
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
两种空间可分离卷积；
Figure DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE015
则表示使用卷积核大小为3*3的局部卷积。输入输出关系可用以下公式表示：
Figure DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE017
（3）
Flcfi表示卷积获得的图像特征，本步骤无法直接判断玻璃是否存在，再使用四个由4个LCFI模块提取不同层次的特征后汇总后卷积，然后采用sigmoid函数进行激活，输出一个0到1之间的值，即判定为玻璃的概率。并且可以获得玻璃的边界信息，边界信息用于下一步对玻璃区域进行深度修复。S3：当结果为第一类情况时，地图更新正常进行，不做修补处理；
S4：当结果为第二类情况时，判断RGBD相机获取的深度数据中的缺陷点类型，以像素点为中心，若5*5范围内同类缺陷点个数小于等于12个，则判断该像素点为第一类缺陷点，否则为第二类缺陷点；上述范围为一优选实施例，其他范围内相近比例的缺陷点个数也可解决缺陷点的划分及后续识别问题，如邻域面积取10*10时，第一阈值为是50个，不影响本发明技术效果的实现。
进一步的，造成空洞的原因有两种，一是由于相机打出去的红外光直接穿透玻璃，无法返回相机，玻璃障碍物距离不可知，这种空洞面积较大，且该区域一般为平面；另一类是由于物体像素点深度值不准确造成的空洞，这种面积小，通常为单个像素点。除了空洞，在获取深度图数据时，由于在物理表面存在反光，以及在物体边缘测量时，深度图会存在一些深度值为 0 的噪点，判断步骤包括：
1.获取深度矩阵P后，首先对小范围缺陷进行筛选，并记录缺陷点坐标，记为Sbad；
2.深度为0的噪点：在所有值为0点的3*3 和 5*5 的邻域中分别统计非 0 值的个数，如果非零的个数大于某个阈值，便认为该点是缺陷；
3.深度数据不确定的空洞：在所有距离值为缺失点的3*3 和 5*5 的邻域中分别统计距离数据缺失的个数，如果缺失的个数大于某个阈值，便认为该点是缺陷。
S5：当缺陷点为第一类缺陷点时，用中值滤波进行补充，当缺陷点为第二类缺陷点时，先对缺陷边缘进行检测，再根据线性滤波思想像素点周围的距离值进行计算后补充；
针对空洞和噪点等缺陷，根据缺陷面积，对于通常为低于阈值的缺陷，采用中值滤波进行距离补充。对于高于阈值的缺陷，先对缺陷边缘进行检测然后，再根据线性滤波思想像素点周围的距离值进行计算后补充。具体步骤如下：所述缺陷点修补方案如下：
1.对于Sbad中的点进行距离补充，按照中值滤波的思想，为保证修补效果，取缺陷点周围5*5领域的24个点距离值存为Dbad，若周围存在空洞，则将其距离值略过，计算Dbad的中位数Dmid，用Dmid给对应的Sbad中的点赋值，获得的深度矩阵记为P1；
2.对P1进行边缘锐化，以保证后续边界提取的效果，锐化后的距离矩阵记为P2；
3.对P2进行边界提取，边界点集合记为E；
4.取P1中所有距离数据缺失的点，记为B，对深度进行修补，方式为在E中搜寻缺陷点上下左右四个方向距离最近的边界点，记为EW、ES、EA、ED ，计算待修补点与对应的四个边界点之间的距离，记为dW、dS、dA、dD，取P1中对应点的距离数据
Figure DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE020
、
Figure DEST_PATH_IMAGE021
，按距离求取平均值，公式如下：
Figure DEST_PATH_IMAGE022
（4）
5.将
Figure DEST_PATH_IMAGE023
数据补充进P1中，获得最终的修补距离矩阵Pf。
例如，通过Flcfi确认该处玻璃存在后，调取深度信息进行玻璃图像修复，根据以下步骤，深度图像效果不佳，实验以深度图像修复处理过程图的灰度图形式展示：
修补实验中相机获取的原始RGB图片如图5所示，获取深度图像矩阵P （如图6），首先对小范围缺陷进行筛选，并记录缺陷点坐标。
深度为0的噪点：在所有值为0点的3*3 和 5*5 的邻域中分别统计非 0 值的个数，如果非零的个数大于某个阈值，便认为该点是缺陷；
深度数据不确定的空洞：在所有距离值为缺失点的3*3 和 5*5 的邻域中分别统计距离数据缺失的个数，如果缺失的个数大于某个阈值，便认为该点是缺陷；
对于小范围缺陷点进行距离补充，按照中值滤波的思想，为保证修补效果，取缺陷点周围5*5领域的24各点距离值并计算中位数，若周围存在空洞，则将其距离值略过，用中位数给对应的小范围缺陷点赋值，获得的深度矩阵P1（灰度结果如图7）：
对P1进行锐化操作，以保证后续边界提取的效果，提取后的距离矩阵记为P2。
对P2进行边界提取，边界点集合记为E，深度提取过程如图8；
取P1中所有距离数据缺失的点，记为B，对深度进行修补，方式为在E中搜寻缺陷点上下左右四个方向距离最近的边界点，记为EW、ES、EA、ED ，计算待修补点与对应的四个边界点之间的距离，记为dW、dS、dA、dD，取P1中对应点的距离数据
Figure DEST_PATH_IMAGE024
、
Figure 818295DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE025
、
Figure DEST_PATH_IMAGE026
，按距离求取平均值，公式如下：
Figure DEST_PATH_IMAGE027
将
Figure DEST_PATH_IMAGE028
数据补充进P1中，获得最终的修补距离矩阵Pf（如图9）。
S6：将修补完的深度图像进行平面采样，得到可靠的距离数据，输出给地图更新步骤，得到修补后的新规划用地图。
进一步的，修补距离矩阵为二维矩阵，对应的是与地图垂直的一个面上各点的距离信息，所以为了实现距离数据补充的功能，首先需要对距离信息进行降维处理，而后结合降维后的深度数据，在RGBD相机深度测量范围内，对原始栅格地图数据补充，对于原方向上障碍物的位置，直接用深度数据补充，原方向上有障碍物的，设置一个距离差阈值
Figure DEST_PATH_IMAGE029
，原地图障碍物距离与深度数据差值一旦超过阈值，为保证规划路径的安全性，选择小的数值显示为障碍物；否则综合两者的距离数据，采用高斯滤波的思想求取一个新距离值
Figure DEST_PATH_IMAGE030
补充到地图中，选择具体步骤如下：
1.首先对修补距离矩阵
Figure DEST_PATH_IMAGE031
进行降维处理，处理方式为选取深度数据每一列内的最小值，构成行向量
Figure DEST_PATH_IMAGE032
，以保证安全性；
2.获取
Figure DEST_PATH_IMAGE033
矩阵的最大值
Figure DEST_PATH_IMAGE034
，计算当前相机视野范围，取相机横向视场角度为γ，则视场长度为a和视场宽度b计算方式如下：
Figure DEST_PATH_IMAGE035
（5）
3.取所选相机与移动机器人前向夹角为β，β与移动机器人放置的RGBD相机数量n有关系，n依据γ的值确定，应尽量覆盖360°的范围，β计算方法如下：
Figure DEST_PATH_IMAGE036
；（6）
4.获取移动机器人当前在世界坐标系下的位姿信息
Figure DEST_PATH_IMAGE037
，计算相机平面投影所在直线
Figure DEST_PATH_IMAGE038
：
Figure DEST_PATH_IMAGE039
；（7）
5.框取所选深度相机正前方大小为a*b范围内的所有栅格，并记录范围内显示为占据的栅格坐标为
Figure DEST_PATH_IMAGE040
，计算这些栅格到直线l的距离，记为
Figure DEST_PATH_IMAGE041
；
6.使用
Figure DEST_PATH_IMAGE042
求取相机中障碍的坐标，记
Figure DEST_PATH_IMAGE043
长度为M，从左至右遍历
Figure DEST_PATH_IMAGE044
，则障碍物坐标计算公式如下：
Figure DEST_PATH_IMAGE045
；（8）
7.在中
Figure DEST_PATH_IMAGE046
搜寻与
Figure DEST_PATH_IMAGE047
连线垂直于直线
Figure DEST_PATH_IMAGE048
且对应的最小的点
Figure DEST_PATH_IMAGE049
，记该距离数据
Figure DEST_PATH_IMAGE050
，比对
Figure 355674DEST_PATH_IMAGE050
与
Figure DEST_PATH_IMAGE051
，计算障碍物的位置：
若
Figure DEST_PATH_IMAGE052
，即相机修复距离数据与激光雷达数据有较大差距，使用（8）计算获得的距离数据：
取二者中到直线距离值小的作为障碍物信息，若选择了
Figure DEST_PATH_IMAGE053
，则在栅格地图中将
Figure DEST_PATH_IMAGE054
设为占据；否则栅格地图不变；
若
Figure DEST_PATH_IMAGE055
即相机修复距离数据与激光雷达数据有较小差距，使用（9）计算获得的距离数据：
按下列规则计算障碍物信息：
Figure DEST_PATH_IMAGE056
（9）
其中ρ与
Figure DEST_PATH_IMAGE057
值可根据对激光雷达数据和相机数据的置信度进行修改，将栅格地图中
Figure DEST_PATH_IMAGE058
点的改为未占据后，将
Figure DEST_PATH_IMAGE059
设为占据，遍历
Figure DEST_PATH_IMAGE060
后，最终完成该处地图的更新。
本方法同时采用激光雷达和相机数据对玻璃的进行准确探测，其中激光雷达的稳定性较高，能获取一个较大范围的视野信息，相机对在其视野内的数据接收较全面，但视野较窄。无论在何种距离下，激光雷达扫到玻璃时，距离数据都不可靠，式（9）是一种激光雷达数据某个点可靠的特殊情况，在该点激光雷达数据与修补距离数据十分接近，此时距离取二者的加权平均值，权重分配与激光雷达在原始地图中该位置周围的建图效果建立联系，效果差时应降低激光雷达的权重。公式（9）通过调整不同情况下激光雷达数据和相机数据的权重，使其符合一个相对能够充分利用激光雷达数据和相机数据信息的置信区间，提升了数据的利用率，进而提高了玻璃识别障碍物位置的准确性。
为了验证方案可行性，进行机器人导航地图自主更新试验。本实验是利用带有一个里程计和一个单线激光雷达以及5个RGBD 相机的移动平台（平台组成如图10所示）在教学楼办公环境（如图11所示）下进行的。
平台硬件型号如下：
激光雷达 镭神N301
RGBD相机 Intel RealSense Depth Camera D435i
里程计 带编码器的轮毂电机
微主机 Intel NUC7i5BNK
该环境主要由走廊和玻璃构成，其中一圈走廊由于靠近教学楼外墙，故一侧为墙壁，另一侧为玻璃围栏，实验过程中没有任何如照明、标记等限制或控制。先利用移动平台在环境中运行 Gmapping 程序进行 SLAM ，同时相机开启获取环境信息，将所有信息集合存储为成rosbag，利用rosbags进行地图更新。
初步建立环境地图如图12，对地图进行分析可以发现，在玻璃区域仅探测到玻璃边框，说明基于激光雷达的Gmapping算法存在明显的玻璃感知失效问题，使用这种地图进行路径规划是不可行的，下面对导航地图进行更新，在地图上补充玻璃障碍物信息。
首先确定玻璃疑似存在区域，对接收到的激光雷达距离信息进行分析，根据激光雷达扫描玻璃时返回数据的特点，根据时间戳查找距离信息中单次距离变化量足够大的，以此为条件触发玻璃疑似区域检测程序，触发程序后，记录此时的时间戳，而后连续采集30个时间戳下的距离信息，对这30个数据进行方差分析，方差足够大说明该区域为疑似玻璃存在区域，记录下时间戳。
依据时间戳找到这些区域对应的角度信息，利用角度信息找到对应时间下对应RGBD相机的数据，具体方法是用角度信息对360°求余数，5个RGBD相机，每个相机对应的是72°，每个相机都有其负责的角度范围，找到角度余数所在范围即可找到该区域的RGBD数据。
而后依据实例1确认玻璃区域是否存在并提取玻璃区域的边界，并完成玻璃区域深度修复，修补距离矩阵为二维矩阵，修复过程中，对于噪点或深度不确定空洞的筛选选取的阈值为60％，既5*5范围内有18个且3*3的范围内有6个时，认定为小范围内的缺陷。
修补后的深度信息对应的是与地图垂直的一个面上各点的距离信息，为了实现距离数据补充的功能，对距离信息进行降维处理，而后结合降维后的深度数据，在RGBD相机深度测量范围内，对原始栅格地图数据补充，对于原方向上障碍物的位置，直接用深度数据补充，原方向上有障碍物的，设置一个距离差阈值为50mm ，原地图障碍物距离与深度数据差值一旦超过阈值，为保证规划路径的安全性，选择小的数值显示为障碍物；否则综合两者的距离数据，采用改进高斯滤波方法求取一个新距离值补充到地图中。如图13所示，环境中玻璃边框间的区域栅格已经被标定为占据，使用该地图进行规划和路径优化（实施例三）所获得的结果是可靠可用的，证明了方法的可行性。
为了验证方案效果优越性，进行路径优化与避障对比实验。使用如图10所示的移动机器人平台在如图11所示的教学楼办公环境中进行路径规划试验，分别使用初始建立的地图（图12）和修复更新后的地图（图13）进行路径规划试验，试验将建立的地图导出到MATLAB 2020B，使用A*算法进行的，电脑详细配置如下：
CPU： AMD Ryzen 7 5800H
内存：16GB
硬盘：512G高速固态硬盘
首先在原始地图中进行点到点路径规划，设置起点坐标为（125，125），三角形路标点，终点坐标设置为（180，440），多边形路标点。结果如图14所示：规划路径直接穿过玻璃区域，此路径会导致机器人运行过程中与玻璃幕墙发生严重碰撞，造成实验设备损坏乃至对实验人员造成伤害。
然后基于玻璃信息修复更新后的地图中进行点到点路径规划，同样设置起点坐标为（125，125），设置终点坐标为（180，440），规划结果如图15所示，规划路径完全绕开了玻璃区域。试验结果证明使用经过玻璃修复更新的地图进行路径规划试验，相对使用原始地图来说，路径质量大大提高，并且能够很好地避开玻璃障碍物，保证机器人运行的安全性。同时也说明本发明在实际环境的路径优化和避障中具有很好的效果。
本方法通过处理激光雷达信息，筛选疑似玻璃存在区域，选取RGBD相机图像，利用卷积神经网络对RGBD相机图像进行识别，高效、有效地提取和集成多尺度大范围上下文特征，提高玻璃识别的准确性；判断RGBD相机获取的深度数据中的缺陷点类型，针对缺陷点类型采用中值滤波或线性滤波分别进行修补，提升修补效果，进一步提高玻璃识别的准确性；计算障碍物坐标时，通过调整原始地图中该位置周围的建图不同效果情况下激光雷达数据和相机数据的权重，使其符合一个相对能够充分利用激光雷达数据和相机数据信息的置信区间，提升了数据的利用率，进而提高了玻璃识别障碍物位置的准确性；综合提高了障碍物信息的有效识别。
本发明提供一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法。首先基于激光雷达强度数据方差筛选疑似玻璃存在区域；然后根据疑似区域RGB图像，使用卷积神经网络确定玻璃是否真实存在；若存在，提取玻璃区域边界，判断深度图像中的缺陷点，根据玻璃区域边界进行缺陷点深度信息修补；最后平面采样深度图像，补充更新原始地图中缺失的玻璃障碍，输出规划用栅格地图；解决了现有建图算法及设备由于玻璃透射、折射、偏振等特性，导致玻璃感知失效，影响地图完整性和导航安全性的问题，具备系统感知成本低，导航功能安全稳定的优点。
以上实施方式仅仅是为了说明本发明的原理而采用的示例性介绍，然而本发明并不局限于此。此次公开的系统和方法可封装为单个算法或功能组，嵌入现有移动机器人客户端中，方便客户和设备运维人员使用。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，包括：
S1：处理激光雷达信息，获得激光雷达强度数据，基于所述强度数据筛选疑似玻璃存在区域；
S2：根据玻璃疑似存在区域的信息选取RGBD相机图像，利用卷积神经网络对RGBD相机图像进行识别，判断区域中是否存在玻璃，将不存在玻璃定义为第一类情况，将存在玻璃定义为第二类情况；
S3：当结果为第一类情况时，地图更新正常进行，不做修补处理；
S4：当结果为第二类情况时，判断RGBD相机获取的深度数据中的缺陷点类型，以缺陷点为中心，若邻域内同类缺陷点个数小于等于第一阈值，则判断缺陷点为第一类缺陷点，否则为第二类缺陷点；
S5：当缺陷点为第一类缺陷点时，用中值滤波进行补充，当缺陷点为第二类缺陷点时，先对缺陷边缘进行检测，再根据线性滤波思想像素点周围的距离值进行计算后补充；
S6：将修补完的深度图像进行平面采样，得到距离数据，输出给地图更新步骤，得到修补后的新规划用地图。
2.根据权利要求1所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，筛选疑似玻璃存在区域，包括：
S1.1：定义距离变化量阈值和方差阈值；
S1.2：不断计算返回的距离数据中前后两个数据的差值，搜寻距离差值大于距离变化阈值的时间戳，并记录这些点的激光雷达数据；
S1.3：计算激光雷达返回距离数据的方差，记录超过方差阈值时间戳对应的数据；
S1.4：设置段最大长度并依据时间连续性将这些数据点分为若干段，即为玻璃疑似存在段。
3.根据权利要求2所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法,其特征在于，引入RGBD图像检测，使用RGB图像确认玻璃是否存在。
4.根据权利要求2所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，利用深度图像修复算法获取可靠的玻璃距离信息。
5.根据权利要求1所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，缺陷点类型判断步骤包括：
S4.1：获取深度矩阵后，首先对小范围缺陷进行筛选，并记录缺陷点坐标；
S4.2：深度为0的噪点：在邻域中分别统计非0值的个数，如果非零的个数大于阈值，便认为该点是缺陷；
S4.3：深度数据不确定的空洞：在邻域中分别统计距离数据缺失的个数，如果缺失的个数大于阈值，便认为该点是缺陷；
S4.4：针对空洞和噪点的缺陷，根据缺陷点周围的同类缺陷点个数，判断缺陷点为第一类缺陷点或第二类缺陷点。
6.根据权利要求5所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，所述第一类缺陷点邻域内同类缺陷点个数小于等于第一阈值，采用中值滤波进行距离补充。
7.根据权利要求5所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，所述第二类缺陷点修补方案包括：
S5.1：按照中值滤波的思想，为保证修补效果，取缺陷点周围领域的24个点距离值，若周围存在空洞，则将其距离值略过，计算距离值的中位数，用中位数给对应的距离值中的点赋值，获得深度矩阵；
S5.2：对深度矩阵进行边缘锐化；
S5.3：对锐化后的距离矩阵边界提取边界点；
S5.4：取深度矩阵中所有距离数据缺失的点，对深度进行修补，按距离求取最近边界点的距离平均值；
S5.5：将平均值数据补充进深度矩阵中，获得最终的修补距离矩阵。
8.根据权利要求1所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，地图信息更新方案，包括;
S6.1：选取深度数据每一列内的最小值，构成行向量，对修补距离矩阵进行降维处理；
S6.2：获取修补矩阵的最大值，计算当前相机视野范围，视场长度为修补矩阵的最大值，视场宽度和视场长度成与横向视场角度相关的三角函数关系；
S6.3：获取移动机器人当前在世界坐标系下的位姿信息；
S6.4：计算障碍物的位置，最终完成该处地图的更新。
9.根据权利要求1所述的深度图像修复的室内移动机器人玻璃检测与地图更新方法，其特征在于，所述激光雷达信息通过深度相机获得。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，当所述计算机程序被计算设备中的处理器执行时，使得计算设备执行如权利要求1-8任一项所述的方法。
CN202210052001.5A 2022-01-18 2022-01-18 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 Active CN114089330B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210052001.5A CN114089330B (zh) 2022-01-18 2022-01-18 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
PCT/CN2022/129900 WO2023138163A1 (zh) 2022-01-18 2022-11-04 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210052001.5A CN114089330B (zh) 2022-01-18 2022-01-18 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法

Publications (2)

Publication Number Publication Date
CN114089330A true CN114089330A (zh) 2022-02-25
CN114089330B CN114089330B (zh) 2022-05-20

Family

ID=80308717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210052001.5A Active CN114089330B (zh) 2022-01-18 2022-01-18 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法

Country Status (2)

Country Link
CN (1) CN114089330B (zh)
WO (1) WO2023138163A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564661A (zh) * 2022-07-18 2023-01-03 武汉大势智慧科技有限公司 建筑物玻璃区域立面自动修复方法及系统
WO2023138163A1 (zh) * 2022-01-18 2023-07-27 北京航空航天大学 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777921A (zh) * 2023-08-25 2023-09-19 南通睿智超临界科技发展有限公司 一种用于仪器表盘的玻璃质量检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326845A1 (en) * 2014-05-09 2015-11-12 Ricoh Company, Ltd. Depth value restoration method and system
CN107465911A (zh) * 2016-06-01 2017-12-12 东南大学 一种深度信息提取方法及装置
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法
CN111982124A (zh) * 2020-08-27 2020-11-24 华中科技大学 基于深度学习的玻璃场景下三维激光雷达导航方法及设备
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340768B (zh) * 2016-12-29 2020-08-28 珠海市一微半导体有限公司 一种智能机器人的路径规划方法
CN111595328B (zh) * 2020-06-01 2023-04-25 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
AU2021303477A1 (en) * 2020-07-07 2024-02-01 Biel Glasses, S.L. Method and system of detecting obstacle elements with a visual aid device
CN114089330B (zh) * 2022-01-18 2022-05-20 北京航空航天大学 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326845A1 (en) * 2014-05-09 2015-11-12 Ricoh Company, Ltd. Depth value restoration method and system
CN107465911A (zh) * 2016-06-01 2017-12-12 东南大学 一种深度信息提取方法及装置
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法
CN111982124A (zh) * 2020-08-27 2020-11-24 华中科技大学 基于深度学习的玻璃场景下三维激光雷达导航方法及设备
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138163A1 (zh) * 2022-01-18 2023-07-27 北京航空航天大学 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN115564661A (zh) * 2022-07-18 2023-01-03 武汉大势智慧科技有限公司 建筑物玻璃区域立面自动修复方法及系统
CN115564661B (zh) * 2022-07-18 2023-10-10 武汉大势智慧科技有限公司 建筑物玻璃区域立面自动修复方法及系统

Also Published As

Publication number Publication date
CN114089330B (zh) 2022-05-20
WO2023138163A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN114089330B (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
CN111126399B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN109598794B (zh) 三维gis动态模型的构建方法
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN114217641B (zh) 一种非结构环境下无人机送变电设备巡检方法及系统
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN113901903A (zh) 道路识别方法和装置
Yang et al. Multi-sensor fusion of sparse point clouds based on neuralnet works
CN111597893B (zh) 一种行人图像的匹配方法、装置、存储介质及终端
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN117589220A (zh) 一种传感器攻击的检测定位方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant