CN117745828A - 基于rgb-d相机的楼梯类危险区域识别方法以及系统 - Google Patents

基于rgb-d相机的楼梯类危险区域识别方法以及系统 Download PDF

Info

Publication number
CN117745828A
CN117745828A CN202311807347.2A CN202311807347A CN117745828A CN 117745828 A CN117745828 A CN 117745828A CN 202311807347 A CN202311807347 A CN 202311807347A CN 117745828 A CN117745828 A CN 117745828A
Authority
CN
China
Prior art keywords
rgb
camera
stair
image
dangerous area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311807347.2A
Other languages
English (en)
Other versions
CN117745828B (zh
Inventor
郑灵杰
杨洋
马佩服
朱月
王继锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Blue Core Robotics Technology Co., Ltd.
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202311807347.2A priority Critical patent/CN117745828B/zh
Publication of CN117745828A publication Critical patent/CN117745828A/zh
Priority to PCT/CN2024/103930 priority patent/WO2025138699A1/zh
Application granted granted Critical
Publication of CN117745828B publication Critical patent/CN117745828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于RGB‑D相机的楼梯类危险区域识别方法以及系统，该方法应用于移动机器人，方法包括：通过RGB‑D相机获取RGB图和深度图；将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；依据RGB‑D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；通过经对齐的RGB图、深度图以及基于内外参数转化得到三维空间信息构建彩色点云模型；遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。本发明提高了移动机器人对楼梯类危险区域的感知能力。

Description

基于RGB-D相机的楼梯类危险区域识别方法以及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于RGB-D相机的楼梯类危险区域识别方法以及系统。
背景技术
随着科技快速发展，移动机器人的发展也在与时俱进，已经成为创新和产业的一个重要风口，机器人技术也以成为一个国家综合科技发展实力的重要指标之一。如今机器人已经从我们的生产向生活延伸和渗透，应用场景不断下沉，智能化、网联化、数字化的发展日趋显著，智能认知程度也不断加深。应用于特定场景的移动机器人给人们带来极大的便利，解放了劳动力。不同于工业机器人较为固定的工作空间，移动机器人往往面对更为复杂且活动区域更大的非结构化环境。
目前，移动机器人多数基于SLAM技术控制位姿，在采用视觉传感器获取外界信息的SLAM系统的研究经常假设外界环境有静态特征，商场中的移动机器人周围有人经过，视觉传感器采集的图像因包含了移动的物体产生图像模糊，与静态环境假设有差异，运动的物体会破坏静态环境假设，随着图像帧之间的误差累计，导致移动机器人的位姿估计不准确，因此会产生较大的位姿估计误差，导致定位和建图效果不佳，这些信息误差会引发机器人做出不准确的运动决策，从而会让移动机器人进入到一些对于自身有危险的区域。
因此，为了増强移动机器人对复杂应用场景的危险感知和理解能力，需要对一些楼梯类的特定危险区域进行识别并反馈给机器人路径决策过程，及时调整路径规划。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于RGB-D相机的楼梯类危险区域识别方法以及系统，其解决了移动机器人对楼梯类危险区域的感知能力差的技术问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于RGB-D相机的楼梯类危险区域识别方法，该方法应用于移动机器人，方法包括：
通过RGB-D相机获取移动机器人所在运行环境的RGB图和深度图；
将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；
依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；
通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；
遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
可选地，在将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图之前，还包括：
通过RGB-D相机获取若干包含楼梯类危险区域的RGB图；
将每一RGB图中的楼梯类危险区域进行多边形多段线形式的标注，生成对应的包含标注信息的数据交换格式的图像数据集；
在图像数据集按照设定比例分配为训练数据集和验证数据集后，将训练数据集和验证数据集的数据集格式转为COCO格式的数据集；
通过COCO格式的训练数据集和验证数据集对预先建立的基于全卷积神经网络的初始实例分割模型进行训练，生成实例分割模型。
可选地，将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图包括：
对获取到的RGB图中楼梯类危险区域进行标注；
将进行标注后的RGB图输入到已训练完成的实例分割模型中；
通过实例分割模型中的第一分支生成RGB图中每个像素点的类别置信度、位置回归参数以及掩膜的掩码系数；
通过实例分割模型中的第二分支生成与RGB图一致的原型掩膜，并基于原型掩膜与掩码系数求取楼梯类危险区域的进行掩膜后RGB图。
可选地，依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图包括：
建立以深度相机为原点深度相机坐标系和以RGB相机为原点的RGB相机坐标系；
获取RGB-D相机的内参矩阵、旋转矩阵以及平移向量；
将滤波后的深度图的像素坐标通过深度相机内参矩阵和深度值进行转化，得到深度相机坐标系下的三维坐标点；
根据RGB-D相机的旋转矩阵和平移向量，求取与深度相机坐标系下的三维坐标点匹配对应在RGB相机坐标系下的三维坐标点；
将RGB相机坐标系下的三维坐标点通过RGB相机的内参矩阵进行投影，得到经掩膜处理的RGB图的像素坐标；
遍历深度图中所有像素点与经掩膜处理的RGB图的像素点进行对齐工作，生成与深度图像素点一一对应的RGB图。
可选地，通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型包括：
建立以移动机器人运动中心为原点的世界坐标系；
将世界坐标系下的三维坐标通过映射公式映射到深度相机坐标系下的坐标，得到点云模型；
将第二RGB图的RGB信息和掩膜颜色信息赋值到点云模型上，得到彩色点云模型；
其中，
世界坐标系的原点与深度相机坐标系的原点重合；
映射公式为：
式中，Zc为深度相机坐标的z轴值，(u，v)为深度相机坐标系下的任意坐标点，(u0，v0)为深度图的中心坐标；[R T]为RGB-D相机的外参矩阵，R为3*3的旋转矩阵，T为3*1的平移向量；(xw，yw，zw)为世界坐标系下的三维坐标点。
可选地，遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息包括：
遍历彩色点云模型中所有三维坐标点，获取的符合设定条件的三维坐标点的数量和坐标；
判断符合设定条件的三维坐标点的数量是否超过设定数量阈值；
若符合设定条件的三维坐标点的数量没有超过设定数量阈值时，则经对齐的RGB图中不存在楼梯类危险区域；
若符合设定条件的三维坐标点的数量超过设定数量阈值时，则经对齐的RGB图中存在楼梯类危险区域，并通过三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。。
第二方面，本发明实施例提供一种基于RGB-D相机的楼梯类危险区域识别系统，其包括：移动机器人以及配置在移动机器人上的RGB-D相机和控制器；
RGB-D相机用于采集移动机器人运行环境的RGB图和深度图；
控制器与RGB-D相机连接，用于执行以上所述的基于RGB-D相机的楼梯类危险区域识别方法。
可选地，控制器包括：
图像信息获取模块，用于获取移动机器人所在运行环境的RGB图和深度图；
掩膜处理模块，用于将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；
图像对齐模块，用于依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；
彩色点云模型构建模块，用于通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；
楼梯类危险区域位置确定模块，用于遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
(三)有益效果
本发明提供的基于RGB-D相机的楼梯类危险区域识别方法，采用了通过实例分割模型对具有楼梯类危险区域的RGB图进行掩膜处理，并将掩膜后到的RGB图与对应的深度图进行对齐，再结合RGB-D相机的内外参数建立彩色点云模型，最后通过将彩色点云模型的进行特定筛选后获得楼梯类危险区域的位置信息的技术方案。与现有技术相比较，具有以下有益效果：
首先，楼梯类危险区域进行掩膜处理所采用的实例分割模型，仅需要较少数据便可训练成所需模型，减少神经网络模型的训练工作量。
其次，彩色点云模型在进行构建时，采用了掩膜后RGB图的掩膜颜色信息进行赋值，提高了楼梯类危险区域识别的准确性。
最后，在对彩色点云模型进行特定筛选后得到移动机器人与楼梯类危险区域的位置信息，极大的提高在一定范围内移动机器人对楼梯类危险区域的检测和预警能力。
附图说明
图1为本发明一实施例提供的一种基于RGB-D相机的楼梯类危险区域识别方法的示意图；
图2为本发明一实施例提供的实例分割模型对RGB图中楼梯类危险区域识别的流程示意图；
图3为本发明一实施例提供的楼梯类危险区域可视化流程图；
图4为本发明一实施例提供的世界坐标点与深度图像素点的映射图。
具体实施方式
为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
参考图1-4所示，本发明实施例提出的一种基于RGB-D相机的楼梯类危险区域识别方法以及系统，其方法应用于移动机器人，包括：首先，通过RGB-D相机获取移动机器人所在运行环境的RGB图和深度图；其次，将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；接着，依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；然后，通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；最后，遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
本发明采用了通过实例分割模型对具有楼梯类危险区域的RGB图进行掩膜处理，并将掩膜后到的RGB图与对应的深度图进行对齐，再结合RGB-D相机的内外参数建立彩色点云模型，最后通过将彩色点云模型的进行特定筛选后获得楼梯类危险区域的位置信息的技术方案。与现有技术相比较，具有以下有益效果：首先，楼梯类危险区域进行掩膜处理所采用的实例分割模型，仅需要较少数据便可训练成所需模型，减少神经网络模型的训练工作量。其次，彩色点云模型在进行构建时，采用了掩膜后RGB图的掩膜颜色信息进行赋值，提高了楼梯类危险区域识别的准确性。最后，在对彩色点云模型进行特定筛选后得到移动机器人与楼梯类危险区域的位置信息，极大的提高在一定范围内移动机器人对楼梯类危险区域的检测和预警能力。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
具体地，本发明提供的一种基于RGB-D相机的楼梯类危险区域识别方法，该方法应用于移动机器人，其方法包括：
S1、通过RGB-D相机获取移动机器人所在运行环境的RGB图和深度图。RGB-D相机具有RGB相机和深度相机两种相机功能，RGB-D相机能够获取RGB图、深度图以及红外射线图等数据集，通过RGB图和红外射线图对RGB-D相机进行标定，获得RGB相机和深度相机的内外参数。
S2、将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图。
进一步地，在步骤S1之前，还包括：
F1、通过RGB-D相机获取若干包含楼梯类危险区域的RGB图。
F2、将每一RGB图中的楼梯类危险区域进行多边形多段线形式的标注，生成对应的包含标注信息的数据交换格式的图像数据集。
F3、在图像数据集按照设定比例分配为训练数据集和验证数据集后，将训练数据集和验证数据集的数据集格式转为COCO格式的数据集。
F4、通过COCO格式的训练数据集和验证数据集对预先建立的基于全卷积神经网络的初始实例分割模型进行训练，生成实例分割模型。
在一个具体实施例中，首先，通过RGB-D相机采集实际楼梯类场景数据10350张RGB图；其次，每一张RGB图通过图像标注软件Labelme对楼梯类危险区域进行多边形多段线形式的标注，每个点中存储是标注边界框的离散点的坐标，生成对应RGB图标注的目标和名称保存在数据交换格式的图像数据集，其中下楼梯区域绿色边框区域表示，上楼梯区域用红色边框区域表示；接着，利用GitHub(面向开源及私有软件项目的托管平台)将数据交换格式的图像数据集随机划分训练集图片9100张和验证集图片1250张，以及将数据集格式转换为适合实例分割模型训练的COCO数据集格式；最后，使用训练生成的权重文件，对测试图片进行评估检测，得到楼梯类危险区域识别的结果图，在结果图中红色区域掩膜为识别出的上楼梯区域，蓝色区域掩膜为识别出的下楼梯区域。
进一步地，步骤S2包括：
S21、对获取到的RGB图中楼梯类危险区域进行标注。
S22、将进行标注后的RGB图输入到已训练完成的实例分割模型中。
S23、通过实例分割模型中的第一分支生成RGB图中每个像素点的类别置信度、位置回归参数以及掩膜的掩码系数。
S24、通过实例分割模型中的第二分支生成与RGB图一致的原型掩膜，并基于原型掩膜与掩码系数求取楼梯类危险区域的进行掩膜后RGB图。
实例分割模型通过两个并行的子网络实现实时实例分割任务分解：一个分支使用全卷积神经网络生成一组与RGB图大小一致的prototype masks(原型掩膜)，然后将prototype masks和mask(掩膜)的掩码系数相乘，从而得到RGB图中每一个目标物体的mask；另一个分支生成RGB图中每个像素点的类别置信度、位置回归参数以及掩膜的掩码系数。
S3、依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图。
进一步地，步骤S3包括：
S31、建立以深度相机为原点深度相机坐标系和以RGB相机为原点的RGB相机坐标系。
S32、获取RGB-D相机的内参矩阵、旋转矩阵以及平移向量。
S33、将滤波后的深度图的像素坐标通过深度相机内参矩阵和深度值进行转化，得到深度相机坐标系下的三维坐标点。
S34、根据RGB-D相机的旋转矩阵和平移向量，求取与深度相机坐标系下的三维坐标点匹配对应在RGB相机坐标系下的三维坐标点。
S35、将RGB相机坐标系下的三维坐标点通过RGB相机的内参矩阵进行投影，得到经掩膜处理的RGB图的像素坐标。
S36、遍历深度图中所有像素点与经掩膜处理的RGB图的像素点进行对齐工作，生成与深度图像素点一一对应的RGB图。
进一步解释说明，深度图与RGB图对齐过程为：
第一步，通过用RGB-D相机获取深度图和RGB图。
第二步，用matlab软件获取深度相机的内参矩阵Hd、RGB相机的内参矩阵Hr以及他们之间的外参矩阵[R T]，其中，R为旋转矩阵，T为平移向量。
第三步，取深度图像素点构造一个三维向量pd＝[xd yd z]，其中xd,yd是该像素点的在深度图像坐标下的像素坐标，z是该像素点的深度值。
第四步，通过深度相机的内参矩阵Hd的逆乘以该像素点的三维向量pd，得到深度相机坐标系下的空间坐标Pd。
第五步，将深度相机坐标系下的空间坐标Pd乘以一个旋转矩阵R，再加上一个平移向量T，得到RGB相机坐标系的空间坐标Pr。
Pr＝RPd+T (2)
第六步，用RGB相机的内参矩阵Hr乘以RGB相机坐标系的空间坐标Pr求出RGB图像坐标系下的RGB像素坐标pr＝(xr，yr)，取RGB图像坐标下的的像素坐标pr的像素值c。
pr＝HrPr (3)
第七步，遍历深度图像中的像素点进行第三步到第六步的过程，生成与深度图像素点一一对应的第二RGB图。
其中，深度相机的旋转矩阵Rd、RGB相机的旋转矩阵Rr、深度相机的平移向量Tr以及RGB相机的平移向量Tr共同构成RGB相机的外参矩阵[R T]，外参矩阵[R T]可以将一个空间坐标系下的点P变换到另一个空间坐标系下表示，深度相机与RGB相机的外参矩阵[R T]求取过程如下：
第一步，如公式(4)所示对RGB相机进行空间坐标系变换。
Pr＝RrP+Tr (4)
第二步，如公式(5)所示对深度相机进行空间坐标系变换
Pd＝RdP+Td (5)
第三步，对公式(4)和公式(5)进行合并计算，得到公式(6)。
第四步，从公式(6)可以获知这是在将Pd变换为Pr，对比之前的公式(4)可得深度相机与RGB相机的外参矩阵[R T]求取公式(7)和公式(8)。
S4、通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型。
进一步地，步骤S4包括：
S41、建立以移动机器人运动中心为原点的世界坐标系。
S42、将世界坐标系下的三维坐标通过映射公式(9)映射到深度相机坐标系下的坐标，得到点云模型。世界坐标系下的三维坐标点M(xw，yw，zw)映射到深度图像坐标系下坐标点m(u，v)的过程如图4所示。
式中，Zc为深度相机坐标的z轴值，(u，v)为深度相机坐标系下的任意坐标点，(u0，v0)为深度图的中心坐标；[R T]为RGB-D相机的外参矩阵，R为3*3的旋转矩阵，T为3*1的平移向量；(xw，yw，zw)为世界坐标系下的三维坐标点。
其中，世界坐标系的原点与深度相机坐标系的原点重合，可以对[R T]的设置如公式(10)所示。
依据公式(10)对公式(9)进一步简化得到公式(11)。
通过以上的矩阵变换公式，可以得到深度相机坐标系下的任意坐标点m(u，v)到世界坐标系下的三维坐标点M(xw，yw，zw)的变换公式，如公式(12)所示：
S43、将第二RGB图的RGB信息和掩膜颜色信息赋值到点云模型上，得到彩色点云模型。
单独通过深度图进行点云重建后得到的模型缺少了彩色纹理信息，与RGB-D相机采集的实际场景的视觉效果存在一定的差异。经掩膜和对对齐后RGB图像数据中有楼梯类危险区域的蓝色掩膜和红色掩膜，将掩膜和对对齐后RGB图张红某个像素点的RGB信息映射到对应的深度图像素点生成的点云可以重建出具有彩色纹理的点云模型。经过彩色纹理贴图后的三维重建结果能够反映出实际场景，蓝色点云代表着下楼梯区域，红色区域代表着上楼梯区域。
S5、根据设定筛选条件对彩色点云模型的每一三维坐标点进行筛选，并通过求取筛选结果的平均值得到楼梯类危险区域的位置信息。
进一步地，步骤S5包括：
S51、遍历彩色点云模型中所有三维坐标点，获取的符合设定条件的三维坐标点的数量和坐标。
S52、判断符合设定条件的三维坐标点的数量是否超过设定数量阈值。
S53a、若符合设定条件的三维坐标点的数量没有超过设定数量阈值时，则经对齐的RGB图中不存在楼梯类危险区域。
S53b、若符合设定条件的三维坐标点的数量超过设定数量阈值时，则经对齐的RGB图中存在楼梯类危险区域，并通过三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
在一个具体实施例中，遍历彩色点云模型中所有三维坐标点，记录三维坐标点的RGB满足设定条件(33≤R≤85，127≤G≤150，167≤B≤255)的数量以及坐标，通过取平均值可获得移动机器人行进方向上楼梯类危险区域的位置信息，并且在三维坐标点的数量超过设定下限数量100个时，则判定移动机器人运行前方存在楼梯类危险区域，进而辅助移动机器人采取制动决策。
另一方面，本发明还提供一种基于RGB-D相机的楼梯类危险区域识别系统，其包括：移动机器人以及配置在移动机器人上的RGB-D相机和控制器。
RGB-D相机用于采集移动机器人运行环境的RGB图和深度图；
控制器与RGB-D相机连接，用于执行以上所述的基于RGB-D相机的楼梯类危险区域识别方法。
进一步说明，控制器包括：
图像信息获取模块，用于获取移动机器人所在运行环境的RGB图和深度图。
掩膜处理模块，用于将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图。
图像对齐模块，用于依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图。
彩色点云模型构建模块，用于通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型。
楼梯类危险区域位置确定模块，用于遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
综上所述，本发明提供一种基于RGB-D相机的楼梯类危险区域识别方法以及系统，首先，本发明采用RGB-D相机采集移动机器人在运行环境中的RGB图和深度图，并通过matlab软件对RGB-D相机进行标定。其次，对RGB图中楼梯类危险区域进行标注并通过已训练完成实例分割模型模型进行掩膜处理，得到经掩膜处理的RGB图。接着，通过RGB-D相机的内外参数进行经掩膜处理的RGB图与深度图对齐操作得到对齐后的经对齐的RGB图。然后，通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型。最后，遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。本发明为移动机器人在移动过程中检测楼梯类危险区域提供了一种技术方案，增强了移动机器人对外界楼梯类危险区域的感知能力。
上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (8)

1.一种基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，该方法应用于移动机器人，方法包括：
通过RGB-D相机获取移动机器人所在运行环境的RGB图和深度图；
将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；
依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；
通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；
遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
2.如权利要求1所述的基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，在将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图之前，还包括：
通过RGB-D相机获取若干包含楼梯类危险区域的RGB图；
将每一RGB图中的楼梯类危险区域进行多边形多段线形式的标注，生成对应的包含标注信息的数据交换格式的图像数据集；
在图像数据集按照设定比例分配为训练数据集和验证数据集后，将训练数据集和验证数据集的数据集格式转为COCO格式的数据集；
通过COCO格式的训练数据集和验证数据集对预先建立的基于全卷积神经网络的初始实例分割模型进行训练，生成实例分割模型。
3.如权利要求2所述的基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图包括：
对获取到的RGB图中楼梯类危险区域进行标注；
将进行标注后的RGB图输入到已训练完成的实例分割模型中；
通过实例分割模型中的第一分支生成RGB图中每个像素点的类别置信度、位置回归参数以及掩膜的掩码系数；
通过实例分割模型中的第二分支生成与RGB图一致的原型掩膜，并基于原型掩膜与掩码系数求取楼梯类危险区域的进行掩膜后RGB图。
4.如权利要求1所述的基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图包括：
建立以深度相机为原点深度相机坐标系和以RGB相机为原点的RGB相机坐标系；
获取RGB-D相机的内参矩阵、旋转矩阵以及平移向量；
将滤波后的深度图的像素坐标通过深度相机内参矩阵和深度值进行转化，得到深度相机坐标系下的三维坐标点；
根据RGB-D相机的旋转矩阵和平移向量，求取与深度相机坐标系下的三维坐标点匹配对应在RGB相机坐标系下的三维坐标点；
将RGB相机坐标系下的三维坐标点通过RGB相机的内参矩阵进行投影，得到经掩膜处理的RGB图的像素坐标；
遍历深度图中所有像素点与经掩膜处理的RGB图的像素点进行对齐工作，生成与深度图像素点一一对应的RGB图。
5.如权利要求4所述的基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型包括：
建立以移动机器人运动中心为原点的世界坐标系；
将世界坐标系下的三维坐标通过映射公式映射到深度相机坐标系下的坐标，得到点云模型；
将第二RGB图的RGB信息和掩膜颜色信息赋值到点云模型上，得到彩色点云模型；
其中，
世界坐标系的原点与深度相机坐标系的原点重合；
映射公式为：
式中，Zc为深度相机坐标的z轴值，(u，v)为深度相机坐标系下的任意坐标点，(u0，v0)为深度图的中心坐标；[RT]为RGB-D相机的外参矩阵，R为3*3的旋转矩阵，T为3*1的平移向量；(xw，yw，zw)为世界坐标系下的三维坐标点。
6.如权利要求5所述的基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息包括：
遍历彩色点云模型中所有三维坐标点，获取的符合设定条件的三维坐标点的数量和坐标；
判断符合设定条件的三维坐标点的数量是否超过设定数量阈值；
若符合设定条件的三维坐标点的数量没有超过设定数量阈值时，则经对齐的RGB图中不存在楼梯类危险区域；
若符合设定条件的三维坐标点的数量超过设定数量阈值时，则经对齐的RGB图中存在楼梯类危险区域，并通过三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
7.一种基于RGB-D相机的楼梯类危险区域识别系统，其特征在于，包括：移动机器人以及配置在移动机器人上的RGB-D相机和控制器；
RGB-D相机用于采集移动机器人运行环境的RGB图和深度图；
控制器与RGB-D相机连接，用于执行如权利要求1-6所述的基于RGB-D相机的楼梯类危险区域识别方法。
8.如权利要求7所述的基于RGB-D相机的楼梯类危险区域识别系统，其特征在于，控制器包括：
图像信息获取模块，用于获取移动机器人所在运行环境的RGB图和深度图；
掩膜处理模块，用于将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；
图像对齐模块，用于依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；
彩色点云模型构建模块，用于通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；
楼梯类危险区域位置确定模块，用于遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。
CN202311807347.2A 2023-12-26 2023-12-26 基于rgb-d相机的楼梯类危险区域识别方法以及系统 Active CN117745828B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311807347.2A CN117745828B (zh) 2023-12-26 2023-12-26 基于rgb-d相机的楼梯类危险区域识别方法以及系统
PCT/CN2024/103930 WO2025138699A1 (zh) 2023-12-26 2024-07-05 基于rgb-d相机的楼梯类危险区域识别方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311807347.2A CN117745828B (zh) 2023-12-26 2023-12-26 基于rgb-d相机的楼梯类危险区域识别方法以及系统

Publications (2)

Publication Number Publication Date
CN117745828A true CN117745828A (zh) 2024-03-22
CN117745828B CN117745828B (zh) 2024-10-22

Family

ID=90254527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311807347.2A Active CN117745828B (zh) 2023-12-26 2023-12-26 基于rgb-d相机的楼梯类危险区域识别方法以及系统

Country Status (2)

Country Link
CN (1) CN117745828B (zh)
WO (1) WO2025138699A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119399277A (zh) * 2024-10-31 2025-02-07 福建汉特云智能科技有限公司 基于深度学习的rgbd移动设备楼梯检测方法、存储介质和电子设备
WO2025138699A1 (zh) * 2023-12-26 2025-07-03 杭州蓝芯科技有限公司 基于rgb-d相机的楼梯类危险区域识别方法以及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120823398B (zh) * 2025-09-18 2025-11-11 安徽大学 基于rgbd伪装实例分割的鞋底涂胶区域点云生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
WO2021147548A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及系统、机器人及介质
WO2022227678A1 (zh) * 2021-04-29 2022-11-03 达闼机器人股份有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN115439741A (zh) * 2022-08-08 2022-12-06 广西大学 基于人工智能与单目视觉的电力设备检测、测距及预警方法
CN116758136A (zh) * 2023-08-21 2023-09-15 杭州蓝芯科技有限公司 一种货物体积实时在线识别方法、系统、设备以及介质
CN117274349A (zh) * 2023-09-22 2023-12-22 南开大学 基于rgb-d相机一致性深度预测的透明物体重建方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785643B (zh) * 2021-02-02 2025-06-13 武汉科技大学 一种基于机器人平台的室内墙角二维语义地图构建方法
CN113345020A (zh) * 2021-06-22 2021-09-03 西南科技大学 一种动态场景下的即时定位方法、装置、设备和存储介质
CN116758112B (zh) * 2023-04-26 2025-11-25 北京工业大学 一种应用于室内动态环境的rgb-d视觉slam方法
CN117745828B (zh) * 2023-12-26 2024-10-22 杭州蓝芯科技有限公司 基于rgb-d相机的楼梯类危险区域识别方法以及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147548A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及系统、机器人及介质
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
WO2022227678A1 (zh) * 2021-04-29 2022-11-03 达闼机器人股份有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN115439741A (zh) * 2022-08-08 2022-12-06 广西大学 基于人工智能与单目视觉的电力设备检测、测距及预警方法
CN116758136A (zh) * 2023-08-21 2023-09-15 杭州蓝芯科技有限公司 一种货物体积实时在线识别方法、系统、设备以及介质
CN117274349A (zh) * 2023-09-22 2023-12-22 南开大学 基于rgb-d相机一致性深度预测的透明物体重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHAO DU等: ""Improved 3D Semantic Segmentation Model Based on RGB Image and LiDAR Point Cloud Fusion for Automantic Driving"", 《INTERNATIONAL JOURNAL OF AUTOMOTIVE TECHNOLOGY》, vol. 24, no. 3, 12 May 2023 (2023-05-12), pages 787 - 797 *
孙士杰;宋焕生;张朝阳;张文涛;王璇;: "点云下地平面检测的RGB-D相机外参自动标定", 中国图象图形学报, no. 06, 16 June 2018 (2018-06-16) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025138699A1 (zh) * 2023-12-26 2025-07-03 杭州蓝芯科技有限公司 基于rgb-d相机的楼梯类危险区域识别方法以及系统
CN119399277A (zh) * 2024-10-31 2025-02-07 福建汉特云智能科技有限公司 基于深度学习的rgbd移动设备楼梯检测方法、存储介质和电子设备

Also Published As

Publication number Publication date
WO2025138699A1 (zh) 2025-07-03
CN117745828B (zh) 2024-10-22

Similar Documents

Publication Publication Date Title
CN117745828B (zh) 基于rgb-d相机的楼梯类危险区域识别方法以及系统
CN109598794B (zh) 三维gis动态模型的构建方法
CN108053449A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
GB2612029A (en) Lifted semantic graph embedding for omnidirectional place recognition
CN110298330B (zh) 一种输电线路巡检机器人单目检测与定位方法
CN113370217B (zh) 基于深度学习的物体姿态识别和抓取的智能机器人的方法
CN109829476B (zh) 基于yolo的端到端三维物体检测方法
CN115147488B (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN108564065A (zh) 一种基于ssd的电缆隧道明火识别方法
CN115439436B (zh) 一种建筑结构多类型质量缺陷移动感知系统
CN114359726B (zh) 一种障碍物检测方法、装置、设备、存储介质及程序产品
CN112785724A (zh) 一种基于LiDAR点云和二维图像的古建筑可视化配色方法
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
Park et al. Toward intelligent agents to detect work pieces and processes in modular construction: An approach to generate synthetic training data
CN110866939A (zh) 基于相机位姿估计和深度学习的机器人运动状态识别方法
JP2022180238A (ja) 監視システムおよび監視方法
CN119672330B (zh) 基于实例分割的道路巡检机器人避障方法及系统
JP7482758B2 (ja) 画像学習装置及び画像学習方法
CN113516322A (zh) 基于人工智能的工厂障碍物风险评估方法及系统
CN119600510A (zh) 视频数据驱动的隧道火灾检测与模拟方法及系统
Fang et al. Self-teaching strategy for learning to recognize novel objects in collaborative robots
CN115683109A (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
Anjanappa et al. Needle in a haystack: feasibility of identifying small safety assets from point clouds using deep learning
Konieczka et al. Smart real-time multi-camera people locating system
Zhang et al. Research on Target Recognition Algorithm Based on OpenCV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 311121 Zhejiang Province, Hangzhou City, Yuhang District, Yuhang Street, Wen Yi West Road No. 1818-2, Building 7, Room 902

Patentee after: Hangzhou Blue Core Robotics Technology Co., Ltd.

Country or region after: China

Address before: 311121 Zhejiang Province, Hangzhou City, Yuhang District, Yuhang Street, Wen Yi West Road No. 1818-2, Building 7, Room 902

Patentee before: HANGZHOU LANXIN TECHNOLOGY CO.,LTD.

Country or region before: China

CP03 Change of name, title or address