CN113359692B - 一种障碍物的避让方法、可移动机器人 - Google Patents

一种障碍物的避让方法、可移动机器人 Download PDF

Info

Publication number
CN113359692B
CN113359692B CN202010103877.9A CN202010103877A CN113359692B CN 113359692 B CN113359692 B CN 113359692B CN 202010103877 A CN202010103877 A CN 202010103877A CN 113359692 B CN113359692 B CN 113359692B
Authority
CN
China
Prior art keywords
image
depth
camera
coordinate system
winding object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010103877.9A
Other languages
English (en)
Other versions
CN113359692A (zh
Inventor
蒋腻聪
吴珺
朱建华
沈冰伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202010103877.9A priority Critical patent/CN113359692B/zh
Publication of CN113359692A publication Critical patent/CN113359692A/zh
Application granted granted Critical
Publication of CN113359692B publication Critical patent/CN113359692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本申请公开了一种障碍物避让方法，该方法包括，在可移动机器人侧，获取灰度图像以及深度图像，基于灰度图像提取待检测目标的轮廓，对提取的目标轮廓进行识别，当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息；将位置信息标注于可移动机器当前行进的全局地图中，基于标注的地图进行局部避让和/或路径规划。本申请提高了可移动机器人对缠绕物的避让的智能性，该方法应用与扫地机器人中时，提高了路径规划的覆盖率，有效避免了对缠绕物的碾压、推行和缠绕。

Description

一种障碍物的避让方法、可移动机器人
技术领域
本发明涉及可移动机器人领域，特别地，涉及一种障碍物的避让方法。
背景技术
目前，可移动机器人行进过程中面临缠绕物的问题。较为典型的是扫地机器人。例如，扫地机器人在家居环境中工作时非常容易被各种掉落在地面上的电线、袜子、手套等柔性物体缠绕，导致工作停止，这时扫地机器人往往是通过语音通知用户受困状态，需要人为干预以帮助扫地机器人脱离受困环境。
为了解决这个问题，利用不同的传感器对缠绕物进行检测，根据检测到的缠绕物位置智能地避让。例如，在扫地机器人防缠绕的方案中，利用人工智能卷积神经网络技术基于RGB相机对行进过程中电线、袜子等缠绕物进行实时检测，这种方式只能实时识别出缠绕物，并不能获取缠绕物相对于可移动机器人的具体位置，导致避让不尽理想，主要体现在，一方面，在离缠绕物较远的位置进行避让，导致扫地机器人覆盖率不足；另一方面，在某一时刻检测到缠绕物，当缠绕物进入RGB传感器盲区的时候依旧会发生缠绕问题。
发明内容
本发明提供了一种障碍物的避让方法，以提高缠绕物避让能力。
本发明提供的一种障碍物避让方法，该方法包括，在可移动机器人侧，
获取灰度图像以及深度图像，
基于灰度图像提取待检测目标的轮廓，对提取的目标轮廓进行识别，
当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息；
将位置信息标注于可移动机器当前行进的全局地图中，
基于标注的地图进行局部避让和/或路径规划。
较佳地，当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息之后，进一步包括，
当识别出待检测目标为缠绕物时，控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像，得到新观测到的图像，
基于灰度图像提取缠绕物轮廓，基于深度图像获取缠绕物在世界坐标系下的当前位置信息；
所述将位置信息标注于可移动机器当前行进的全局地图中，进一步包括，
判断基于新观测到的图像所获取的缠绕物位置信息是否在全局地图中已有标注，如果有，则该位置信息不进行标注，否则，将该位置信息标注于全局地图中。
较佳地，所述当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物当前在世界坐标系下的位置信息进一步包括，
当识别出待检测目标为缠绕物时，控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像；
基于灰度图像提取的缠绕物轮廓，根据深度图像获取缠绕物在世界坐标系下的当前位置信息。
较佳地，所述当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息进一步包括，
控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像的同时，触发采集当前RGB图像；
基于深度图像所获得的缠绕物在该深度图像相机坐标系下的位置信息，获得缠绕物在RGB图像的像素坐标系下的像素点集合，
基于所述像素点集合，确定关注区域ROI区域，
截取ROI区域内的图像内容发送至终端。
较佳地，所述控制可移动机器人在当前位置偏转预定的角度包括，控制可移动机器人在可移动机器人的承载面内顺时针和/或逆时针偏转，偏转角度不大于180度；
所述基于深度图像所获得的缠绕物在该深度图像相机坐标系下的位置信息，获得缠绕物在RGB图像的像素坐标系下的像素点集合，包括，
对于缠绕物在深度图像相机坐标系下的任一三维空间坐标，
根据深度图像相机坐标系与RGB图像相机坐标系之间的相对位置参数、和RGB图像的相机内参，按照刚体空间变换和相机投影模型，计算该三维空间坐标在RGB图像的像素坐标系下的像素点的坐标；
所述基于所述像素点集合，确定关注区域ROI区域包括，
搜索像素点集合中位于RGB图像最边缘的像素点，将最边缘像素点的轮廓所形成的封闭曲线限定的区域作为ROI区域。
较佳地，所述搜索像素点集合中位于RGB图像最边缘的像素点，将最边缘像素点的轮廓所形成的封闭曲线限定的区域作为ROI区域，包括，
搜索位于RGB图像最左上、右上、左下、右下4个像素点，并以该4个像素点所形成的矩形限定的区域作为ROI区域；
所述截取ROI区域内的图像内容发送至终端进一步包括，
如果截取的ROI区域图像大于设定的第一区域闻值，则通过下采样将ROI区域图像缩小至显示窗口尺寸；
如果ROI区域图像小于设定的第二区域闻值，则通过插值获得显示窗口尺寸的图像。
较佳地，所述获取可移动机器人行进方向的图像包括，采集一帧灰度图像的同时，采集该帧的深度图像，获得该帧灰度图像对应的深度图像帧；
该方法进一步包括，
基于灰度图像，去除地面噪声；
根据灰度图像对应的深度图图像，对去除地面噪声的该帧灰度图像，进行二值化处理。
较佳地，所述二值化处理包括，
对于同时满足以下条件的像素点，将该像素点的像素值置1，不满足以下任一条件的像素点，将该像素点的像素值置0：
(1)像素点的光强值大于0；
(2)像素点的深度值在0～500毫米之间；
(3)像素点在垂直地面方向上的高度值高于地面、且低于1米；
所述基于灰度图像提取待检测目标的轮廓，对提取的目标轮廓进行识别，包括，
对二值化处理之后的灰度图像中不同区域的待检测目标确定ROI区域，提取目标轮廓，
基于目标轮廓计算每个目标轮廓的面积，去除目标轮廓面积小于设定的轮廓面积闻值的轮廓，得到当前目标轮廓，
结合深度图像中的深度信息，统计如下特征之一或其任意组合：轮廓面积、轮廓最小外接矩形长宽比、轮廓周长面积比、轮廓的像素点在不同高度范围内的直方图；
基于统计的特征，通过已训练的神经网络模型对当前目标轮廓进行分类，识别出缠绕物。
本发明提供的一种可移动机器人，包括存储器和处理器，所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行上述任一所述的缠绕物避让方法的步骤。
较佳地，，所述可移动机器人为扫地机器人，所述扫地机器人还包括，
安装于扫地机器人前迎面上部、且位于前迎面竖直对称轴上的飞行时间TOF深度相机，或者，
安装于扫地机器人前迎面的飞行时间TOF深度相机和RGB相机，所述两相机位于前迎面的上部，与扫地机器人承载面具有相同的高度，两相机光心连线的中点在承载面的投影位于扫地机器人本体在承载面投影的中心线上，或者，飞行时间TOF深度相机和RGB相机在前迎面竖直对称轴上下排列，其中，TOF深度相机距离扫地机器人承载面的高度大于RGB相机距离扫地机器人承载面的高度。
本发明通过获取可移动机器人行进方向的灰度图像和深度图像，识别出缠绕物，获取缠绕物在世界坐标系下的位置信息，并标注于全局地图中，为可移动机器人提供了准确、全面的障碍物分布的地图信息，既可以进行实时的局部避让，又可以进行路径的规划，从而提高了可移动机器人对缠绕物的避让的智能性，该方法应用与扫地机器人中时，有利于提高清洁能力和清洁效率，使得清扫路径的规划更为合理和全面，提高了路径规划的覆盖率，有效避免了对缠绕物的碾压、推行和缠绕。
附图说明
图1为安装有视觉机器的扫地机器人的侧视图和俯视图的一种示意图。
图2为本申请实施例一的缠绕物避让方法的一种流程示意图。
图3a为图像预处理的一种示意图。
图3b为来自TOF深度相机的一种灰度图的示意图，包括有地面信息；
图3c为去除地面信息所提取障碍物的像素图像。
图4为存在盲区时所观测到缠绕物的一种示意图。
图5为TOF深度相机和RGB相机水平安装的一种示意图。
图6为TOF深度相机和RGB相机垂直安装的一种示意图。
图7为RGB相机、TOF深度相机两相机水平安装时两相机坐标系的一种示意图。
图8为本申请实施例二的缠绕物避让方法的一种流程示意图。
图9为扫地机器人进行语音提示的一种示意图。
图10为通过终端的应用程序进行提醒的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本发明获取行进方向至少包括灰度图像数据和深度图像数据，基于灰度图像数据进行缠绕物的识别检测，基于深度图像数据获取缠绕物的空间位置信息，将获取的缠绕物的空间位置信息标注于地图中，基于标注有缠绕物的空间信息的地图，进行局部避让。进一步地，获取不同视角下缠绕物的位置信息，将缠绕物的位置信息标注于地图中，还获取RGB图像数据，提取RGB图像中的缠绕物图像发送给用户以提示。
以下将以扫地机器人为实施例来进行说明，所应理解的是，本发明不限于扫地机器人，任何可移动机器人可参考本实施例来进行避障。
实施例一
参见图1所示，图1为安装有视觉机器的扫地机器人的侧视图和俯视图的一种示意图。视觉机器包括且不限于TOF(飞行时间)深度相机、RGBD相机等可获取灰度图像和深度图像的图像获取装置。在扫地机器人前迎面安装有用于获取三维空间内图像信息的视觉机器；为了获得较多的空间信息，该视觉机器位于前迎面的上部；为了行进时获得左右对称的视角，该视觉机器在扫地机器人本体承载面投影位于扫地机器人本体在承载面投影的中心线上，具体地，对于TOF深度相机，其镜头光轴在承载面的投影与所述中心线重合。
参见图2所示，图2为本申请实施例一的缠绕物避让方法的一种流程示意图。
该避让方法包括，
步骤201，通过视觉机器获取当前行进前方的图像数据，该图像数据包括有灰度图、以及深度图，
以视觉机器为TOF深度相机为例。TOF深度相机是一种能够产生灰度图和较精确深度图的空间三维信息感知的视觉设备，利用自带的红外光源对周围环境进行照射，当光源照射到物体上会有部分光源返回镜头，在阵列传感器上产生红外图像，形成灰度图，同时根据光的飞行时间获取镜头阵列每个像素到物体之间的距离信息，产生深度图。这样，采用TOF深度相机，获得一帧灰度图像的同时，也获得该灰度图像帧的深度图像帧。
步骤202，对图像进行预处理，
参见图3a所示，图3a为图像预处理的一种示意图。由于扫地机器人本体上的TOF相机安装得离地较近，所采的图片中存在大量地面数据，而且这些数据亮度较大，会对后续识别产生干扰。因此，对灰度图像进行前后景分离，去除地面噪声。如图3b所示，图3b为来自TOF深度相机的一种灰度图的示意图，包括有地面信息；图3c为去除地面信息所提取障碍物的像素图像。
根据采集当前灰度图像帧时所采集的深度图像帧，对去除地面噪声的灰度图像进行二值化处理，具体为，
对于同时满足下述条件的像素点，将该像素点的像素值置1；不满足下述任一条件的像素点，将该像素点的像素值置0：
(1)像素点的光强值＞0；
(2)像素点的深度值在0～500mm之间；
(3)像素点在垂直地面方向上的高度值高于地面、且低于1m。即，像素点坐标vn满足：
Figure BDA0002387822950000061
米，其中，dn为像素点(un，vn)的深度信息，cy、fy为相机内参矩阵KTOF中的参数。
步骤203，利用图像算法对预处理之后的灰度图像中不同区域的待检测目标确定ROI区域，提取目标轮廓；
进一步地，可以基于目标轮廓计算每个目标轮廓的面积，去除目标轮廓面积小于设定的轮廓面积闻值的目标轮廓，以提高对目标的识别的准确性和效率。
所述图像算法包括且不限于连通区域分析(CCL，connected componentanalysis)，深度优先聚类，边界跟踪算法(Border Following algorithm)。
步骤204，基于当前目标轮廓，识别目标的类型。
在该步骤中，基于当前目标轮廓，结合深度信息，统计如下特征之一或其任意组合：轮廓面积、轮廓最小外接矩形长宽比、轮廓周长面积比、轮廓的像素点在不同高度范围内的直方图；基于统计的特征，通过已训练的神经网络模型对当前目标轮廓进行分类，以确定待检测目标是否为缠绕物。在该步骤中，采用上述统计特征之一或其任意组合来识别目标，提高了分类的准确性和快速性。
步骤205，当待检测目标为缠绕物时，根据深度图像数据，获取当前缠绕物在世界坐标系下的位置信息。
在该步骤中，基于提取缠绕物轮廓的灰度图，提取像素坐标系中缠绕物的像素坐标，得到缠绕物像素坐标集合，记为Sobs((u1，v1)...(un，vn))，其中，(u，v)表示像素坐标。
基于深度图像数据和相机内参，由相机射影几何模型，得到缠绕物在相机坐标系中的三维空间坐标，具体为，缠绕物像素集合中的任一像素点，其在相机坐标系中的三维空间坐标为：
Figure BDA0002387822950000071
其中，dn为像素点(un，vn)的深度信息，cx、cy、fx、fy为相机内参矩阵KTOF中的参数，所述内参矩阵KTOF为：
Figure BDA0002387822950000072
根据TOF深度相机与扫地机器人的里程计数据标定，可以获取相机坐标系相对于扫地机器人坐标系的相对位置关系为：
Figure BDA0002387822950000073
其中，rRc为相机坐标系相对扫地机器人坐标系的旋转矩阵，rtc为相机坐标系相对扫地机器人坐标系的平移矩阵。
根据扫地机器人的里程计数据，可获得扫地机器人当前在世界坐标系下的位置为：
Figure BDA0002387822950000074
其中，gRr为扫地机器人坐标系相对于世界坐标系的旋转矩阵，gtr为扫地机器人相对世界坐标系的平移矩阵。
根据相机坐标系相对于扫地机器人坐标系的相对位置关系、扫地机器人当前在世界坐标系下的位置，将相机坐标系中的三维空间坐标转换为世界坐标系中，数学表达为：
Figure BDA0002387822950000075
其中，(GXn，GYn，GZn)为像素点(un，vn)在世界坐标系中的三维空间，这样，得到缠绕物像素坐标集合Sobs((u1，v1)...(un，vn))映射的世界坐标系中的三维空间集合PG((GX1，GY1，GZ1)，....(GXn，GYn，GZn))。
步骤206，将缠绕物在世界坐标系中的三维空间集合对应地标注在全局地图中。其中，全局地图为世界坐标系下的地图。
步骤207，受限于相机的视野盲区，所获取的图像有可能只包含部分缠绕物，参见图4所示，图4为存在盲区时所观测到缠绕物的一种示意图。如其中左图所示，当扫地机器人在虚线内的航道行进时，只能观测到可视区域内的一部分缠绕物的信息，如果仅仅是加入可视区域内的缠绕物信息进入全局地图，那么在扫地机器人进行导航的时候会有很大的概率观测不到右边的缠绕物从而导致运行时碾压缠绕物并导致缠绕，因此，一旦扫地机器人在某一时刻检测到缠绕物，则如图4中的右图所示，控制扫地机器人在当前位置水平偏转预定的角度(相机光轴的角度发生预定角度的偏移)，达到更大范围的检测，以检测到当前不可视区域内的缠绕物，得到新观测到的图像数据。例如，控制扫地机器人在其承载面内顺时针和/或逆时针水平偏转预定的角度，偏转角度不大于180°。
基于新观测到的图像数据，按照步骤202～205，获得新观测到缠绕物在世界坐标系下的三维空间坐标，其中，扫地机器人本体在世界坐标系下的位置根据扫地机器人里程计数据获得。
步骤208，鉴于不同视角下可能存在视角重复，地图中标注缠绕物的空间信息难免发生重合，故判断新观测到缠绕物在世界坐标系下的三维空间坐标在地图中是否已有标注，如果有，则不进行标注，如果没有，则进行标注，从而遵从只要地图中某一分辨率位置下已进行缠绕物标注，则不再进行重复标注。这样，将不同视角下的缠绕物信息在地图上予以融合标注。
步骤209，扫地机器人基于标注有缠绕物位置的地图，可以在进行路径规划时设定避让的清扫路径，也可以实时进行局部避让。
本实施例通过采集的灰度图像数据，识别检测出缠绕物；基于深度图像数据，获取缠绕物在世界坐标系下的三维空间坐标，并标注于地图中，使得扫地机器人能够智能地避让缠绕物，避免了行进过程中对缠绕物的碾压、或被缠绕物缠绕，采用TOF相机，能够同时获得灰度图像和深度图像，既减少了图像获取装置的数量，又提高了缠绕物三维空间信息的准确性和快速性。
实施例二
本实施例中采用的视觉机器包括TOF深度相机和RGB相机，通过该视觉机器来获取图像数据，并且，在光线较暗的区域，通过给RGB相机进行补光，采集色彩内容更为丰富的图像信息，以呈现给用户。
RGB相机、TOF深度相机两相机可以采用水平或垂直安装。具体地，参见图5所示，图5为TOF深度相机和RGB相机水平安装的一种示意图(扫地机器人主视图)。两相机位于前迎面的上部，与扫地机器人承载面具有相同的高度，两相机光心连线的中点在承载面的投影位于扫地机器人本体在承载面投影的中心线上。参见图6所示，图6为TOF深度相机和RGB相机垂直安装的一种示意图(扫地机器人主视图)，两相机在前迎面的竖直对称轴上上下排列。较佳地，TOF深度相机距离扫地机器人承载面的高度大于RGB相机距离扫地机器人承载面的高度，以使得深度相机获得更远的视野。
参见图7所示，图7为RGB相机、TOF深度相机两相机水平安装时两相机坐标系的一种示意图。通过双目标定，可确定两相机光心之间相对位置关系，该相对位置关系作为双目相机的外参。数学表达为：
Figure BDA0002387822950000091
其中，
Figure BDA0002387822950000092
为的旋转矩阵，
Figure BDA0002387822950000093
为RGB相机坐标系相对于TOF深度相机的相机坐标系的平移矩阵。
参见图8所示，图8为本申请实施例二的缠绕物避让方法的一种流程示意图。
该避让方法包括，
步骤801，通过TOF深度相机获取当前行进前方的图像数据，该图像数据包括有灰度图像、以及深度图像，
步骤802，对灰度图像进行预处理，具体与步骤202相同。
步骤803，基于预处理之后的灰度图像，提取目标轮廓。具体与步骤203相同。
步骤804，基于提取的目标轮廓，进行分类检测，以识别目标是否是缠绕物。该步骤与步骤204相同。
步骤805，判断目标是否是缠绕物，如果是，则控制扫地机器人在当前位置水平偏转预定的角度，通过TOF深度相机采集当前图像，并触发RGB相机采集当前RGB图像，
步骤806，基于来自TOF深度相机的图像，获取缠绕物在世界坐标系下的三维空间坐标；基于RGB相机的图像，获取缠绕物在RGB图像中的ROI区域。
在该步骤中，基于来自TOF深度相机的当前灰度图像，按照步骤202相同的方式进行预处理，基于预处理之后的灰度图像，提取缠绕物轮廓，基于缠绕物轮廓的灰度图，提取像素坐标系中缠绕物的像素坐标，得到缠绕物像素坐标集合。
对于缠绕物像素坐标集合中的任意像素点，基于深度图像数据和相机内参，由相机射影几何模型，按照公式1得到缠绕物在相机坐标系中的三维空间坐标，
按照公式2，获取缠绕物像素坐标集合中各像素点在世界坐标系下的三维空间坐标，并标注于地图中；同时根据地图上标注的缠绕物位置，通过局部避免避障算法进行避让。
将根据深度图像数据所得到缠绕物在TOF深度相机的相机坐标系下的三维空间坐标，作为RGB相机坐标系下的三维空间坐标，根据刚体空间运动变化和相机投影模型，获得缠绕物在RGB像素坐标系下的像素点集合。用数学式表达为：对于RGB相机坐标系下的任一三维空间坐标，有：
Figure BDA0002387822950000101
其中，(Xn，Yn，Zn)为缠绕物在TOF深度相机的相机坐标系下的三维空间坐标，(RGBXn，RGBYn，RGBZn)为缠绕物在RGB相机的相机坐标系下的三维空间坐标，
缠绕物在RGB相机的相机坐标系下的三维空间坐标投影在RGB像素坐标系下的像素点坐标为：
Figure BDA0002387822950000102
其中，(RGBun，RGBvn)为RGB像素坐标系中的像素点坐标，KRGB为RGB相机的内参，
Figure BDA0002387822950000103
为RGB相机与TOF深度相机之间的相对位置。
步骤807，基于缠绕物在RGB像素坐标系下的像素点集合，确定ROI区域，截取ROI区域内的图像内容呈现于终端。
基于所获得的缠绕物在RGB像素坐标系下的像素点集合，通过暴力搜索，获取集合中位于RGB图像最边缘的像素点，将最边缘像素点的轮廓所形成的封闭曲线限定的区域作为ROI区域，截取ROI区域内的RBG图像内容通过呈现终端应用程序于终端。
较佳地，为了提高RGB图像呈现的实时性，并匹配于终端显示，可获取集合中位于RGB图像最左上、右上、左下、右下4个像素点，并以该4个像素点所形成的矩形限定的区域作为ROI区域，截取ROI区域内的RBG图像内容通过呈现终端应用程序于终端。
如果截取的ROI区域图像大于设定的第一区域闻值，则通过下采样将ROI区域图像缩小至显示窗口尺寸，以使得ROI区域内的图像内容适于显示；如果ROI区域图像小于设定的第二区域闻值，则通过插值获得显示窗口尺寸的图像。
参见图9所示，图9为扫地机器人进行语音提示的一种示意图。当检测到缠绕物时，扫地机器人输出语音提示。参见图10所示，图10为通过终端的应用程序进行提醒的一种示意图。当扫地机器人检测到缠绕物时，发送推送消息，其中，推送消息至少包括截取ROI区域内的RBG图像内容，终端侧的应用程序接收推送消息，可以获取扫地机拍摄的照片与视频，通过照片或视频，用户可以知道缠绕物的信息。
本实施例一旦检测到缠绕物之后，则控制扫地机器人水平偏转，从而获得了更大的检测范围，使得缠绕物的位置信息标注更为全面和准确，提高了避让的实时性，路径的规划设计更为合理；将缠绕物在RGB的图像信息提取出来，呈现给用户，提高了用户体验，便于实现扫地机器人的远程控制。
本发明提供的一种可移动机器人，包括存储器和处理器，所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行如上述的缠绕物避让方法的步骤。所述可移动机器人为扫地机器人。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述缠绕物避让的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句″包括一个......″限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种障碍物避让方法，其特征在于，该方法包括，在可移动机器人侧，
获取灰度图像以及深度图像，
根据灰度图像对应的深度图图像，对该灰度图像，进行二值化处理；
基于灰度图像提取待检测目标的轮廓，对提取的目标轮廓进行识别，
当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息；
将位置信息标注于可移动机器当前行进的全局地图中；
基于标注的地图进行局部避让和/或路径规划；
其中，二值化处理包括：
对于同时满足以下条件的像素点，将该像素点的像素值置为1，不满足以下任一条件的像素点，将该像素点的像素值置为0：
(1)像素点的光强值大于0；
(2)像素点的深度值在0～500毫米之间；
(3)像素点在垂直地面方向上的高度值高于地面、且低于1米。
2.如权利要求1所述的避让方法，其特征在于，当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息之后，进一步包括，
当识别出待检测目标为缠绕物时，控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像，得到新观测到的图像，
基于灰度图像提取缠绕物轮廓，基于深度图像获取缠绕物在世界坐标系下的当前位置信息。
3.如权利要求2所述的避让方法，其特征在于，所述将位置信息标注于可移动机器当前行进的全局地图中，进一步包括，
判断基于新观测到的图像所获取的缠绕物位置信息是否在全局地图中已有标注，如果有，则该位置信息不进行标注，否则，将该位置信息标注于全局地图中。
4.如权利要求1所述的避让方法，其特征在于，所述当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物当前在世界坐标系下的位置信息进一步包括，
当识别出待检测目标为缠绕物时，控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像；
基于灰度图像提取的缠绕物轮廓，根据深度图像获取缠绕物在世界坐标系下的当前位置信息。
5.如权利要求4所述的避让方法，其特征在于，所述当识别出待检测目标为缠绕物时，基于深度图像获取缠绕物在世界坐标系下的当前位置信息进一步包括，
控制可移动机器人在当前位置偏转预定的角度获取灰度图像以及深度图像的同时，触发采集当前RGB图像；
基于深度图像所获得的缠绕物在该深度图像相机坐标系下的位置信息，获得缠绕物在RGB图像的像素坐标系下的像素点集合，
基于所述像素点集合，确定关注区域ROI区域，
截取ROI区域内的图像内容发送至终端。
6.如权利要求5所述的避让方法，其特征在于，所述控制可移动机器人在当前位置偏转预定的角度包括，控制可移动机器人在可移动机器人的承载面内顺时针和/或逆时针偏转，偏转角度不大于180度。
7.如权利要求5所述的避让方法，其特征在于，所述基于深度图像所获得的缠绕物在该深度图像相机坐标系下的位置信息，获得缠绕物在RGB图像的像素坐标系下的像素点集合，包括，
对于缠绕物在深度图像相机坐标系下的任一三维空间坐标，
根据深度图像相机坐标系与RGB图像相机坐标系之间的相对位置参数、和RGB图像的相机内参，按照刚体空间变换和相机投影模型，计算该三维空间坐标在RGB图像的像素坐标系下的像素点的坐标。
8.如权利要求5所述的避让方法，其特征在于，所述基于所述像素点集合，确定关注区域ROI区域，包括，
搜索像素点集合中位于RGB图像最边缘的像素点，将最边缘像素点的轮廓所形成的封闭曲线限定的区域作为ROI区域。
9.如权利要求8所述的避让方法，其特征在于，所述搜索像素点集合中位于RGB图像最边缘的像素点，将最边缘像素点的轮廓所形成的封闭曲线限定的区域作为ROI区域，包括，
搜索位于RGB图像最左上、右上、左下、右下4个像素点，并以该4个像素点所形成的矩形限定的区域作为ROI区域；
所述截取ROI区域内的图像内容发送至终端进一步包括，
如果截取的ROI区域图像大于设定的第一区域阈值，则通过下采样将ROI区域图像缩小至显示窗口尺寸；
如果ROI区域图像小于设定的第二区域阈值，则通过插值获得显示窗口尺寸的图像。
10.如权利要求1至9任一所述的避让方法，其特征在于，所述获取灰度图像以及深度图像包括，采集一帧灰度图像的同时，采集该帧的深度图像，获得该帧灰度图像对应的深度图像帧。
11.如权利要求10所述的避让方法，其特征在于，所述根据灰度图像对应的深度图图像，对该帧灰度图像，进行二值化处理，进一步包括，
基于灰度图像，去除地面噪声；
根据灰度图像对应的深度图图像，对去除地面噪声的该帧灰度图像，进行二值化处理。
12.如权利要求11所述的避让方法，其特征在于，所述像素点在垂直地面方向上的高度值高于地面、且低于1米，包括：
像素点的纵坐标vn满足：
Figure FDA0003890845610000031
其中，dn为像素点(un，vn)的深度信息，cy、fy为相机内参矩阵中的参数。
13.如权利要求11所述的避让方法，其特征在于，所述基于灰度图像提取待检测目标的轮廓，包括，
对二值化处理之后的灰度图像中不同区域的待检测目标确定ROI区域，提取目标轮廓。
14.如权利要求11所述的避让方法，其特征在于，所述对提取的目标轮廓进行识别，包括：
基于所提取的目标轮廓，计算每个目标轮廓的面积，去除面积小于设定的轮廓面积阈值的目标轮廓，得到当前目标轮廓，
结合深度图像中的深度信息，统计如下特征之一或其任意组合：轮廓面积、轮廓最小外接矩形长宽比、轮廓周长面积比、轮廓的像素点在不同高度范围内的直方图，
基于统计的特征，通过已训练的神经网络模型对目标轮廓进行分类，识别出缠绕物。
15.一种可移动机器人，其特征在于，包括存储器和处理器，所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行如权利要求1至14任一所述的障碍物避让方法的步骤。
16.如权利要求15所述的可移动机器人，其特征在于，所述可移动机器人为扫地机器人，所述扫地机器人还包括，
安装于扫地机器人前迎面上部、且位于前迎面竖直对称轴上的飞行时间TOF深度相机，或者，
安装于扫地机器人前迎面的飞行时间TOF深度相机和RGB相机，所述两相机位于前迎面的上部，与扫地机器人承载面具有相同的高度，两相机光心连线的中点在承载面的投影位于扫地机器人本体在承载面投影的中心线上，或者，飞行时间TOF深度相机和RGB相机在前迎面竖直对称轴上下排列，其中，TOF深度相机距离扫地机器人承载面的高度大于RGB相机距离扫地机器人承载面的高度。
CN202010103877.9A 2020-02-20 2020-02-20 一种障碍物的避让方法、可移动机器人 Active CN113359692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103877.9A CN113359692B (zh) 2020-02-20 2020-02-20 一种障碍物的避让方法、可移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103877.9A CN113359692B (zh) 2020-02-20 2020-02-20 一种障碍物的避让方法、可移动机器人

Publications (2)

Publication Number Publication Date
CN113359692A CN113359692A (zh) 2021-09-07
CN113359692B true CN113359692B (zh) 2022-11-25

Family

ID=77523056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103877.9A Active CN113359692B (zh) 2020-02-20 2020-02-20 一种障碍物的避让方法、可移动机器人

Country Status (1)

Country Link
CN (1) CN113359692B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114047753B (zh) * 2021-11-03 2023-02-03 哈尔滨鹏路智能科技有限公司 一种基于深度视觉的扫地机器人障碍物识别和避障方法
CN114821109A (zh) * 2022-05-10 2022-07-29 广东鉴面智能科技有限公司 一种基于微光视觉算法的图像识别系统
CN114663316B (zh) * 2022-05-17 2022-11-04 深圳市普渡科技有限公司 确定沿边路径的方法、移动设备及计算机存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273967A1 (en) * 2004-03-11 2005-12-15 Taylor Charles E Robot vacuum with boundary cones
KR100902343B1 (ko) * 2007-11-08 2009-06-12 한국전자통신연구원 로봇 영상 시스템 및 검출 방법
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
CN104407612A (zh) * 2014-10-16 2015-03-11 重庆市合川区何茗机械加工厂 缩微智能车以及应用缩微智能车进行测试的方法
CN104463880B (zh) * 2014-12-12 2017-06-30 中国科学院自动化研究所 一种rgb‑d图像获取方法
CN104613922B (zh) * 2015-02-26 2017-08-29 中国科学技术大学 一种物体轮廓的测量系统及方法
CN104865965B (zh) * 2015-05-20 2017-12-26 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制方法及系统
CN104932502B (zh) * 2015-06-04 2018-08-10 福建天晴数码有限公司 基于三维深度摄像机的近距离避障方法及近距离避障系统
CN105467994B (zh) * 2015-11-27 2019-01-18 长春瑶光科技有限公司 视觉与测距融合的送餐机器人室内定位方法
CN106054900B (zh) * 2016-08-08 2018-11-09 电子科技大学 基于深度摄像头的机器人临时避障方法
US10524627B1 (en) * 2016-10-05 2020-01-07 Al Incorporated Method for automatically removing obstructions from robotic floor-cleaning devices
CN106774301B (zh) * 2016-10-25 2020-04-24 纳恩博（北京）科技有限公司 一种避障跟随方法和电子设备
CN108873876A (zh) * 2017-05-09 2018-11-23 恒大法拉第未来智能汽车（广东）有限公司 无人车行车轨迹规划方法及装置
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
US10638906B2 (en) * 2017-12-15 2020-05-05 Neato Robotics, Inc. Conversion of cleaning robot camera images to floorplan for user interaction
CN108241373B (zh) * 2017-12-29 2022-12-30 日照市越疆智能科技有限公司 避障方法和智能机器人
US20190286145A1 (en) * 2018-03-14 2019-09-19 Omron Adept Technologies, Inc. Method and Apparatus for Dynamic Obstacle Avoidance by Mobile Robots
WO2019232806A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 导航方法、导航系统、移动控制系统及移动机器人
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统
CN110794831B (zh) * 2019-10-16 2023-07-28 深圳乐动机器人股份有限公司 一种控制机器人工作的方法及机器人

Also Published As

Publication number Publication date
CN113359692A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113359692B (zh) 一种障碍物的避让方法、可移动机器人
US11455565B2 (en) Augmenting real sensor recordings with simulated sensor data
US11487988B2 (en) Augmenting real sensor recordings with simulated sensor data
Gu et al. 3-d lidar+ monocular camera: An inverse-depth-induced fusion framework for urban road detection
US9117281B2 (en) Surface segmentation from RGB and depth images
JP5822255B2 (ja) 対象物識別装置及びプログラム
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
CN111753609B (zh) 一种目标识别的方法、装置及摄像机
US20160026898A1 (en) Method and system for object detection with multi-scale single pass sliding window hog linear svm classifiers
US20230366738A1 (en) Systems and methods for temperature measurement
US11195064B2 (en) Cross-modal sensor data alignment
KR101667835B1 (ko) 수직 대칭을 이용한 대상물 위치 지정
Lyu et al. An interactive lidar to camera calibration
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN109886064A (zh) 确定可驾驶空间的边界的方法
TW202117598A (zh) 用於產生物件之物件分類的方法和裝置
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
CN109143167B (zh) 一种障碍信息获取装置及方法
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
JPH08110807A (ja) 自動キャリブレーション方法およびその装置
US11496674B2 (en) Camera placement guidance
Budzan Fusion of visual and range images for object extraction
CN112598738B (zh) 一种基于深度学习的人物定位方法
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
GB2605621A (en) Monocular depth estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant