CN111421553A - 基于轮廓识别的机器人控制方法、存储介质及移动机器人 - Google Patents
基于轮廓识别的机器人控制方法、存储介质及移动机器人 Download PDFInfo
- Publication number
- CN111421553A CN111421553A CN202010407456.5A CN202010407456A CN111421553A CN 111421553 A CN111421553 A CN 111421553A CN 202010407456 A CN202010407456 A CN 202010407456A CN 111421553 A CN111421553 A CN 111421553A
- Authority
- CN
- China
- Prior art keywords
- target object
- mobile robot
- dimensional
- type
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Abstract
本发明公开了一种基于轮廓识别的机器人控制方法、存储介质及移动机器人,方法包括:获取结构光模组采集的图像数据,对图像数据进行处理,得到图像数据中目标物体的三维轮廓信息,用训练的神经网络模型对目标物体的三维轮廓信息进行识别,以得到与目标物体的三维轮廓信息对应的识别结果,根据目标物体的三维轮廓信息、与目标物体的三维轮廓信息对应的识别结果控制移动机器人的移动路径和/或行为,通过上述方法可以有效确保在机器人工作过程中避障的可靠性,进而避免因磕碰到障碍物而毁坏家居和自身,从而影响移动机器人的正常工作的问题。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于轮廓识别的机器人控制方法、存储介质及移动机器人。
背景技术
移动机器人是用于自动执行特定工作的机器装置。移动机器人,既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动,且移动机器人可用在室内或室外,可用于工业、商业或家庭,例如,可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面,还可用于家庭陪伴、辅助办公等。
诸如自主清洁机器人、陪护机器人、迎宾机器人等移动机器人在工作模式下移动时,由于工作场景环境的复杂性,现有的移动机器人在工作过程中由于避障性能不佳,经常磕碰障碍物,损坏家具和自身,进而影响移动机器人正常工作的问题。
发明内容
本发明克服了现有技术的不足之一提供了一种基于轮廓识别的机器人控制方法、存储介质及移动机器人,可以有效缓解现有技术中由于避障性能不佳,影响其正常工作的问题。
第一方面,本发明提供一种基于轮廓识别的机器人控制方法,应用于移动机器人中的控制器,所述移动机器人还包括结构光模组,所述方法包括:
获取所述结构光模组采集的图像数据;
对所述图像数据进行处理,得到所述图像数据中目标物体的三维轮廓信息;
利用训练的神经网络模型对所述目标物体的三维轮廓信息进行识别,以得到与所述目标物体的三维轮廓信息对应的识别结果;
根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人的移动路径和/或行为。
可选的,在上述基于轮廓识别的机器人控制方法中,所述结构光模组采集的图像数据包括二维条纹图,对所述图像数据进行处理得到所述图像数据中的目标物体的三维轮廓信息,包括:
对所述二维条纹图进行预处理,所述预处理包括滤除噪声和增强边缘信息;
采用彩色图像分割及四元数边缘检测算法,对预处理后的图像进行边缘检测,得到结构光形变的特征拐点及目标物体的轮廓信息;
利用所述特征拐点及所述目标物体的轮廓信息计算得到目标物体的三维高度,根据所述目标物体的三维高度得到目标物体的三维轮廓信息。
可选的,在上述基于轮廓识别的机器人控制方法中,所述神经网络模型通过以下方式建立:
获取多个三维轮廓样本信息,其中,每个所述三维轮廓样本信息分别标注有识别结果;
采用卷积神经网络对所述多个三维轮廓样本信息进行训练,以得到神经网络模型。
可选的,在上述基于轮廓识别的机器人控制方法中,根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人的移动路径和/或行为,包括:
根据所述结构光模组中的摄像头的参数和所述目标物体的三维轮廓信息得到目标物体与所述摄像头之间的位置关系;
获取与所述识别结果对应的目标物体的物体类型,根据所述物体类型、所述位置关系以及所述目标物体的三维轮廓信息控制所述移动机器人的移动路径和/或行为。
可选的,在上述基于轮廓识别的机器人控制方法中,当所述移动机器人为扫地机器人,且所述物体类型包括待清扫类型和障碍物类型时,根据所述物体类型、所述位置关系以及所述目标物体的三维轮廓信息控制所述移动机器人的移动路径和/或行为,包括:
在所述物体类型为待清扫类型时,控制所述移动机器人执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人移动至所述目标物体,以扫除所述目标物体;
在所述物体类型为障碍物类型时,控制所述移动机器人执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人绕过所述目标物体。
可选的,在上述基于轮廓识别的机器人控制方法中,,所述障碍物类型包括孤岛类型和空间分隔类型,且属于所述空间分隔类型的物体具有多个支撑件,根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人绕过所述目标物体,包括:
在所述物体类型为孤岛类型时,根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人在接近至所述目标物体时改变移动方向以绕过所述目标物体;
在所述物体类型为空间分隔类型时,根据所述位置关系和所述目标物体的三维轮廓信息,控制所述移动机器人减速移动接近至所述目标物体,并绕过该目标物体的每个支撑件。
可选的,在上述基于轮廓识别的机器人控制方法中,获取与所述识别结果对应的目标物体的物体类型,包括:
从预设对应关系表中查找与所述识别结果对应的目标物体的物体类型,其中,所述预设对应关系表中存储有多种识别结果和与每种识别结果对应的物体类型。
第二方面,本发明还提供一种存储介质,其上存储有计算机程序,该计算机程序被一个或多个处理器运行时,执行上述的基于轮廓识别的机器人控制方法。
第三方面,本发明还提供一种移动机器人,包括:
结构光模组,所述结构光模组中的光栅投影仪用于向移动机器人的当前运行位置的正前方投射光栅,所述结构光模组中的摄像头用于采集所述光栅投影仪投射的光栅信息以得到图像数据;
控制器,该控制器与所述结构光模组电连接,并用于执行所述基于轮廓识别的机器人控制方法的方法步骤。
可选的,在上述移动机器人中,所述移动机器人为扫地机器人。
本发明提供的一种基于轮廓识别的机器人控制方法、存储介质及移动机器人,方法包括:获取机器人的结构光模组采集的图像数据,对所述图像数据进行处理,得到所述图像数据中目标物体的三维轮廓信息,利用训练的神经网络模型对所述目标物体的三维轮廓信息进行识别,以得到与所述目标物体的三维轮廓信息对应的识别结果,根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人的移动路径和/或行为。可以有效确保在机器人工作过程中避障的可靠性,进而避免因磕碰到障碍物而毁坏家居和自身,从而影响移动机器人的正常工作的问题。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解,并且构成说明书的一部分。其中,表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案,但并不构成对本申请技术方案的限制。
图1为本发明实施例提供的一种基于轮廓识别的机器人控制方法的流程示意图。
图2为本发明实施例提供的一种移动机器人的连接框图。
图3为图1中步骤S120的流程示意图。
图4为图1中步骤S140的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征,在不相冲突前提下可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
第一实施例
请结合参阅图1和图2,本实施例提供了一种基于轮廓识别的机器人控制方法的,应用于移动机器人10的控制器11,在本实施例中,所述移动机器人10还包括结构光模组12。
所述方法应用于所述移动机器人10的控制器11时,执行步骤S110-步骤S140。
步骤S110:获取所述结构光模组12采集的图像数据。
步骤S120:对所述图像数据进行处理,得到所述图像数据中目标物体的三维轮廓信息。
步骤S130:利用训练的神经网络模型对所述目标物体的三维轮廓信息进行识别,以得到与所述目标物体的三维轮廓信息对应的识别结果。
步骤S140:根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人10的移动路径和/或行为。
通过执行上述步骤S110-步骤S140,以在移动机器人10移动过程中,可以根据结构光模组12采集的图像数据进行分析得到其前进方向上的物体的三维轮廓信息,并根据物体的三维轮廓信息对应的识别结果控制移动机器人10的移动路径和/或行为,从而有效缓解现有技术中由于避障性能不佳,影响其正常工作的问题。
其中,所述结构光模组12可以包括光栅投影仪和摄像头,也可以包括激光光源、微扫描镜以及摄像头,在此不做具体限定,根据实际需求进行设置即可。
可以理解,当所述结构光模组12包括光栅投影仪和摄像头时,所述结构光模组12采集图像数据的过程可以是:光栅投影仪向所述移动机器人10移动方向的正前方投射光栅,所述摄像头采集该移动机器人10移动方向正前方的图像数据,其中该图像数据包括二维条纹数据。
当所述结构光模组12包括激光光源、微扫描镜以及摄像头时,所述结构光模组12采集图像数据的过程可以是:所述激光光源用于发出稳定的线激光;所述微扫描镜用于将线激光转化为可编码的条纹结构光,并将可编码的条纹结构光投射于移动机器人10的移动方向的正前方;所述摄像单元用于采集场景二维图像信息及采集带有编码条纹结构光的图像数据,并传输给所述移动机器人10的控制器11。
所述图像数据可以包括四帧条纹图,该四帧条纹图是在投影光栅的垂直方向上在相位周期2π内做等距的平移,每次平移π/2,每平移一次拍摄一幅图像,最后得到相应的四帧条纹图,对所述图像数据进行处理,以得到图像数据中目标物体的三维轮廓信息可以是:
根据四帧条纹图计算得到检测点的相位值,并求得两套条纹投影后相邻两幅图像同一点的解包相位差,将所有的解包相位差值累加即可得到最后的相位测量结果,并利用解包位相差值得到高度信息,以在所有条纹测量点测量完毕并得到目标物体的三维轮廓信息。
对所述图像数据进行处理以得到图像数据中目标物体的三维轮廓信息还可以是:对图像数据进行滤波和边缘增强处理,并对处理后的图像进行边缘检测,以得到图像数据中目标物体的轮廓信息和结构光形变的特征拐点,并利用特征拐点及待测物体的轮廓信息计算得到的三维高度,以根据三维高度得到图像数据中目标物体的三维轮廓信息。
请结合参阅图3,在本实施例中,所述结构光模组12采集的图像数据包括二维条纹图,对所述图像数据进行处理得到所述图像数据中的目标物体的三维轮廓信息,包括步骤S122-步骤S126。
步骤S122:对所述二维条纹图进行预处理,所述预处理包括滤除噪声和增强边缘信息。
其中,上述预处理的过程具体可以是:先建立图像的彩色四元数矢量模型,对于二维条纹图像的每个像素用实部为0的纯四元数Ri+Gj+Bk表示,并在之后的处理过程中,把二维条纹图像的RGB三分量作为一个整体进行统一处理。对所获得的二维条纹图像在四元数意义内进行滤波。利用四元数的卷积原理对每对像素求点积的结果取相反数再求均值作为卷积结果像素的实部;每对像素求叉积后的均值分别作为结果像素的三个虚部i、j、k中。所以,可以定义特定颜色的四元数模板,利用四元数卷积,对二维条纹图像进行色彩敏感和双边滤波,既保留相关颜色的垂直分量,又使边缘更加清晰。
步骤S124:采用彩色图像分割及四元数边缘检测算法,对预处理后的图像进行边缘检测,得到结构光形变的特征拐点及目标物体的轮廓信息。
其中,所述彩色图像分割,具体为根据0等高线参考平面的条纹参考图像模板与放入目标物体后采集到的条纹图的差别将目标物体的图像与背景基本分离,然后对分离后的图像进行阈值二值化处理,再通过开运算、闭运算、膨胀、腐蚀、图像差值等组合运算得到目标物体的基本轮廓线,并用角点求解算法求出基本轮廓线的所有角点,并根据所获得角点对图像进行相应的区域分割,得到基本轮廓线的所有角点,再把这些角点,根据实际需要,尽量的将区域细分,避开不包含待检测点的区域,以减少运算量,提高运算速度。
所述四元数边缘检测算法,具体为:通过相邻像素四元数旋转匹配算法得到二维条纹图特征拐点附近的边缘,并与基本轮廓线的角点进行比较确定结构光形变的特征拐点坐标,并通过特征拐点左右两边的高度特征条纹的中心坐标的比较,得到相应特征拐点高度条纹偏移的像素个数。当两像素点的颜色相同或大致相同时,求其中一个像素点的颜色矢量绕固定轴旋转180度之后与另一像素点的颜色矢量的和,求得的和将与灰度线重合或近似重合。因此,利用颜色矢量的四元数旋转算法,就可以计算出不同方向的边缘信息,对彩色图像进行边缘检测确定出条纹边缘后,求出条纹的拐点,并与图像的轮廓线角点进行比较,得到高度计算的特征拐点坐标,计算得出高度条纹偏移的像素个数。此外,边缘检测算法主要是要获得要求检测的、包含目标物体高度特征参数的特征点的精确坐标定位,以及关于这个特征点的高度特征条纹的坐标信息(包括水平左右两边,即参考平面的高度条纹和放入物体后的高度条纹),从而获得放入待测物体后,高度条纹偏移的像素个数,为高度计算提供数据支持。
步骤S126:利用所述特征拐点及所述目标物体的轮廓信息计算得到目标物体的三维高度,根据所述目标物体的三维高度得到目标物体的三维轮廓信息。
其中,三维高度可以是根据摄像头到参考平面的垂直距离除以摄像机镜头中心点到结构光中心点的距离得到一比值后,并将该比值与高度条纹偏移的距离相乘计算得到。且上述的各个距离参数可以全部转换成像素个数进行计算,具体的,由于系统的硬件参数是预先设置好的,所以一毫米在图像中0等高线处占多少个像素是可以预先测量出来的,由此计算得到目标物体的三维高度值。
在计算得到目标物体的三维高度值后,由特征点求出待测物体高度对应的条纹形变系数,再由对应的角点坐标信息,准确还原出三维物体的原来尺寸。进而通过由计算得到的高度信息、尺寸信息和基本轮廓的所有角点信息,采用三维绘图程序,即可准确重构待测物体的三维图像。
因此,通过上述方法步骤,可以有效保障获得的三维图像的准确性和可靠性。
在步骤S130中,所述训练的神经网络模型可以通过以下方式建立得到:
获取多个三维轮廓样本信息,其中,每个所述三维轮廓样本信息分别标注有识别结果。
采用卷积神经网络对所述多个三维轮廓样本信息进行训练,以得到神经网络模型。
其中,采用卷积神经网络对所述多个三维轮廓样本信息进行训练可以是,将多个三维轮廓样本信息划分为训练样本集和测试样本集中,将所述训练数据集输入至所述卷积神经网络中进行训练得到初始识别模型,将所述测试数据集输入至所述初始识别模型中进行测试以得到训练的神经网络模型。
通过上述方法步骤,可以有效保障获得的识别结果的可靠性。
对所述目标物体的三维轮廓信息进行识别得到的识别结果可以是但不限于桌子、椅子、空调、电视、茶几、沙发等障碍物,也可以是果皮、纸屑、瓜子壳等待清扫垃圾。
在步骤S140中,移动机器人10可以根据不同的识别结果调整移动路径或行为,因此,上述步骤S140包括:
步骤S142:根据所述结构光模组12中的摄像头的参数和所述目标物体的三维轮廓信息得到目标物体与所述摄像头之间的位置关系。
其中,上述的位置关系具体可以为所述目标物体与所述摄像头之间的相对位置关系,可以用向量表示。
步骤S144:获取与所述识别结果对应的目标物体的物体类型,根据所述物体类型、所述位置关系以及所述目标物体的三维轮廓信息控制所述移动机器人10的移动路径和/或行为。
其中,获取与识别结果对应的目标物体的物体类型的方式具体可以是,从预设对应关系表中查找与所述识别结果对应的目标物体的物体类型,其中,所述预设对应关系表中存储有多种识别结果和与每种识别结果对应的物体类型。
具体的,当所述移动机器人10为扫地机器人时,当识别结果为纸屑、果皮、坚果壳时,对应的物体类型为待清扫类型;当识别结果为沙发、凳子、鞋子、花盆时,对应的物体类型为障碍物类型。
当移动机器人10为巡视或辅助机器人时,当识别结果为纸屑、果皮、坚果壳时,对应的物体类型为可跨越物体类型,当识别结果为沙发、凳子、鞋子、花盆时,对应的物体类型为障碍物类型。
可以理解,不同的物体类型可以对应有不同的移动路径和/或行为。例如,当所述移动机器人10为扫地机器人,且所述物体类型为障碍物类型时,扫地机器人应当会在根据所述位置关系移动过程中执行清扫操作,并在移动至靠近所述障碍物时绕过所述障碍物;当所述物体类型为待清扫类型时,移动机器人10会在根据所述位置关系移动过程中执行清扫操作,以完成对所述目标物体的清扫。
当所述移动机器人10为巡视或辅助机器人时,可以在根据目标物体的三维轮廓信息确定该目标物体的高度小于第一设定阈值和/或宽度小于第二设定阈值时(目标物体为可跨越物体时),根据所述位置关系移动至靠近该目标物体时,执行跨越操作,以越过该目标物体;在确定该目标物体的高度大于第一设定阈值和/或宽度大于第二设定阈值时(目标物体为障碍物时),可以根据所述位置关系在移动至靠近所述目标物体时改变移动方向并绕过该目标物体,或者可以根据所述目标物体的三维轮廓信息及所述位置关系重新规划路径,以按照重新规划后的路径移动。
可选的,在本实施例中,当所述移动机器人10为扫地机器人时,所述物体类型包括待清扫类型或障碍物类型,所述步骤S144包括;
在所述物体类型为待清扫类型时,控制所述移动机器人10执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人10移动至所述目标物体,以扫除所述目标物体。
在所述物体类型为障碍物类型时,控制所述移动机器人10执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人10绕过所述目标物体。
其中,所述障碍物类型可以是孤岛类型、空间分隔类型以及缠绕型,其中,孤岛类型的形状特征包括以下一种或多种组合:圆形、球形、弧线、方形、立方形、π形等。例如,鞋的形状特征包含首尾相连的多个弧线形状;凳子的形状特征包括π形、八爪型等,在本实施例中,孤岛类型包括移动机器人10易于绕行不碰触的一类障碍物,如前面所述凳子、鞋、皮球等。空间分隔类型的形状特征包括具有多个支撑件的物体,且多个支撑件间隔设置,如桌子、沙发、床等。缠绕物类型的形状特征包括以下至少一种或多种组合:曲线形状、蛇形、盘结形等。缠绕物类型包括易缠绕移动机器人10的移动装置(如滚轮),易缠绕自主清洁机器人的边刷、滚刷等清洁装置的一类障碍物。例如,所述缠绕物类型的目标障碍物包括但不限于以下几类:线缆、绳索、丝带、鞋带、布头、植物藤蔓等。
在本实施例中,所述障碍物类型包括孤岛类型和空间分隔类型,且属于所述空间分隔类型的物体具有多个支撑件(至少两个支撑件),根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人10绕过所述目标物体,包括:
在所述物体类型为孤岛类型时,根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人10在接近至所述目标物体时改变移动方向以绕过所述目标物体。
在所述物体类型为空间分隔类型时,根据所述位置关系和所述目标物体的三维轮廓信息,控制所述移动机器人10减速移动接近至所述目标物体,并绕过该目标物体的每个支撑件。
通过上述设置,可以有效保障扫地机器人清扫的区域完整,并能达到良好的清扫效果,此外,还可以有进一步避免扫地机器人与障碍物发生碰撞,进而避免损坏家具和自身,进而影响移动机器人10正常工作的问题。
实施例二
本实施例还提供一种存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,所述计算机程序被一个或多个处理器执行时可以实现实施例一中的基于轮廓识别的机器人控制方法。
上述方法步骤的具体实施例过程可参见实施例一,本实施例在此不再重复赘述。
实施例三
本申请实施例提供了一种移动机器人10,例如,扫地机器人、导航机器人、辅助机器人、巡视机器人或护理机器人等,在此不做具体限定。
在本实施例中,所述移动机器人10包括控制器11、结构光模组12以及存储器13,所述存储器13上存储有计算器程序,所述结构光模组12中的光栅投影仪用于向移动机器人10的当前运行位置的正前方投射光栅,所述结构光模组12中的摄像头用于采集所述光栅投影仪投射的光栅信息以得到图像数据,所述控制器11与所述存储器13和结构光模组12分别电连接,且所述控制器11执行所述计算机程序时实现如实施例一中所述的基于轮廓识别的机器人控制方法。
可以理解,移动机器人10还可以包括,多媒体组件,输入/输出(I/O)接口,以及通信组件。
其中,控制器11用于执行如实施例一中的基于轮廓识别的机器人控制方法中的全部或部分步骤。存储器13用于存储各种类型的数据,这些数据例如可以包括移动机器人10中的任何应用程序或方法的指令,以及应用程序相关的数据。
所述控制器11可以是专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、数字信号处理器(Digital Signal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(ProgrammableLogic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、微控制器、微处理器或其他电子元件实现,用于执行上述实施例一中的基于轮廓识别的机器人控制方法。
所述存储器13可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
多媒体组件可以包括屏幕和音频组件,所述屏幕可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器13或通过通信组件发送。音频组件还包括至少一个扬声器,用于输出音频信号。
I/O接口为处理器和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件用于该电子设备与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种基于轮廓识别的机器人控制方法,其特征在于,应用于移动机器人中的控制器,所述移动机器人还包括结构光模组,所述方法包括:
获取所述结构光模组采集的图像数据;
对所述图像数据进行处理,得到所述图像数据中目标物体的三维轮廓信息;
利用训练的神经网络模型对所述目标物体的三维轮廓信息进行识别,以得到与所述目标物体的三维轮廓信息对应的识别结果;
根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人的移动路径和/或行为。
2.根据权利要求1所述的基于轮廓识别的机器人控制方法,其特征在于,所述结构光模组采集的图像数据包括二维条纹图,对所述图像数据进行处理得到所述图像数据中的目标物体的三维轮廓信息,包括:
对所述二维条纹图进行预处理,所述预处理包括滤除噪声和增强边缘信息;
采用彩色图像分割及四元数边缘检测算法,对预处理后的图像进行边缘检测,得到结构光形变的特征拐点及目标物体的轮廓信息;
利用所述特征拐点及所述目标物体的轮廓信息计算得到目标物体的三维高度,根据所述目标物体的三维高度得到目标物体的三维轮廓信息。
3.根据权利要求1所述的基于轮廓识别的机器人控制方法,其特征在于,所述神经网络模型通过以下方式建立:
获取多个三维轮廓样本信息,其中,每个所述三维轮廓样本信息分别标注有识别结果;
采用卷积神经网络对所述多个三维轮廓样本信息进行训练,以得到神经网络模型。
4.根据权利要求1所述的基于轮廓识别的机器人控制方法,其特征在于,根据所述目标物体的三维轮廓信息、与所述目标物体的三维轮廓信息对应的识别结果控制所述移动机器人的移动路径和/或行为,包括:
根据所述结构光模组中的摄像头的参数和所述目标物体的三维轮廓信息得到目标物体与所述摄像头之间的位置关系;
获取与所述识别结果对应的目标物体的物体类型,根据所述物体类型、所述位置关系以及所述目标物体的三维轮廓信息控制所述移动机器人的移动路径和/或行为。
5.根据权利要求4所述的基于轮廓识别的机器人控制方法,其特征在于,当所述移动机器人为扫地机器人,且所述物体类型包括待清扫类型和障碍物类型时,根据所述物体类型、所述位置关系以及所述目标物体的三维轮廓信息控制所述移动机器人的移动路径和/或行为,包括:
在所述物体类型为待清扫类型时,控制所述移动机器人执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人移动至所述目标物体,以扫除所述目标物体;
在所述物体类型为障碍物类型时,控制所述移动机器人执行清扫操作,并根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人绕过所述目标物体。
6.根据权利要求5所述的基于轮廓识别的机器人控制方法,其特征在于,所述障碍物类型包括孤岛类型和空间分隔类型,且属于所述空间分隔类型的物体具有多个支撑件,根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人绕过所述目标物体,包括:
在所述物体类型为孤岛类型时,根据所述位置关系和所述目标物体的三维轮廓信息控制所述移动机器人在接近至所述目标物体时改变移动方向以绕过所述目标物体;
在所述物体类型为空间分隔类型时,根据所述位置关系和所述目标物体的三维轮廓信息,控制所述移动机器人减速移动接近至所述目标物体,并绕过该目标物体的每个支撑件。
7.根据权利要求4所述的基于轮廓识别的机器人控制方法,其特征在于,获取与所述识别结果对应的目标物体的物体类型,包括:
从预设对应关系表中查找与所述识别结果对应的目标物体的物体类型,其中,所述预设对应关系表中存储有多种识别结果和与每种识别结果对应的物体类型。
8.一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被一个或多个处理器运行时,执行如权利要求1-7中任意一项所述的基于轮廓识别的机器人控制方法。
9.一种移动机器人,其特征在于,包括:
结构光模组,所述结构光模组中的光栅投影仪用于向移动机器人的当前运行位置的正前方投射光栅,所述结构光模组中的摄像头用于采集所述光栅投影仪投射的光栅信息以得到图像数据;
控制器,该控制器与所述结构光模组电连接,并用于执行权利要求1-7中任意一项所述的方法步骤。
10.根据权利要求9所述的移动机器人,其特征在于,所述移动机器人为扫地机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010407456.5A CN111421553A (zh) | 2020-05-14 | 2020-05-14 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010407456.5A CN111421553A (zh) | 2020-05-14 | 2020-05-14 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111421553A true CN111421553A (zh) | 2020-07-17 |
Family
ID=71557275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010407456.5A Pending CN111421553A (zh) | 2020-05-14 | 2020-05-14 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111421553A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417944A (zh) * | 2020-08-31 | 2021-02-26 | 深圳市银星智能科技股份有限公司 | 一种机器人控制方法及电子设备 |
CN112597910A (zh) * | 2020-12-25 | 2021-04-02 | 北京小狗吸尘器集团股份有限公司 | 利用扫地机器人对人物活动进行监控的方法和装置 |
CN113786125A (zh) * | 2021-08-17 | 2021-12-14 | 科沃斯机器人股份有限公司 | 作业方法、自移动设备及存储介质 |
CN114296447A (zh) * | 2021-12-07 | 2022-04-08 | 北京石头世纪科技股份有限公司 | 自行走设备的控制方法、装置、自行走设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104075659A (zh) * | 2014-06-24 | 2014-10-01 | 华南理工大学 | 一种基于rgb结构光源的三维成像识别方法 |
CN105335723A (zh) * | 2015-11-02 | 2016-02-17 | 招商局重庆交通科研设计院有限公司 | 一种基于红外结构光的车型识别方法 |
CN105511478A (zh) * | 2016-02-23 | 2016-04-20 | 百度在线网络技术(北京)有限公司 | 应用于扫地机器人的控制方法、扫地机器人及终端 |
CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
CN108052933A (zh) * | 2018-01-16 | 2018-05-18 | 杭州国辰机器人科技有限公司 | 基于卷积神经网络的道路识别系统及方法 |
CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
CN109272026A (zh) * | 2018-08-30 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的脉冲星识别方法 |
CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
-
2020
- 2020-05-14 CN CN202010407456.5A patent/CN111421553A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104075659A (zh) * | 2014-06-24 | 2014-10-01 | 华南理工大学 | 一种基于rgb结构光源的三维成像识别方法 |
CN105335723A (zh) * | 2015-11-02 | 2016-02-17 | 招商局重庆交通科研设计院有限公司 | 一种基于红外结构光的车型识别方法 |
CN105511478A (zh) * | 2016-02-23 | 2016-04-20 | 百度在线网络技术(北京)有限公司 | 应用于扫地机器人的控制方法、扫地机器人及终端 |
CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
CN108052933A (zh) * | 2018-01-16 | 2018-05-18 | 杭州国辰机器人科技有限公司 | 基于卷积神经网络的道路识别系统及方法 |
CN109272026A (zh) * | 2018-08-30 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的脉冲星识别方法 |
CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口(深圳)智能科技有限公司 | 移动机器人及其控制方法和控制系统 |
CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417944A (zh) * | 2020-08-31 | 2021-02-26 | 深圳市银星智能科技股份有限公司 | 一种机器人控制方法及电子设备 |
CN112417944B (zh) * | 2020-08-31 | 2024-04-16 | 深圳银星智能集团股份有限公司 | 一种机器人控制方法及电子设备 |
CN112597910A (zh) * | 2020-12-25 | 2021-04-02 | 北京小狗吸尘器集团股份有限公司 | 利用扫地机器人对人物活动进行监控的方法和装置 |
CN113786125A (zh) * | 2021-08-17 | 2021-12-14 | 科沃斯机器人股份有限公司 | 作业方法、自移动设备及存储介质 |
CN113786125B (zh) * | 2021-08-17 | 2023-07-28 | 科沃斯机器人股份有限公司 | 作业方法、自移动设备及存储介质 |
CN114296447A (zh) * | 2021-12-07 | 2022-04-08 | 北京石头世纪科技股份有限公司 | 自行走设备的控制方法、装置、自行走设备和存储介质 |
CN114296447B (zh) * | 2021-12-07 | 2023-06-30 | 北京石头世纪科技股份有限公司 | 自行走设备的控制方法、装置、自行走设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111421553A (zh) | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 | |
KR102447461B1 (ko) | 다방향 카메라를 이용한 밀폐 공간에 대한 치수 추정 | |
Chen et al. | Three-dimensional perception of orchard banana central stock enhanced by adaptive multi-vision technology | |
CN111328396B (zh) | 用于图像中的对象的姿态估计和模型检索 | |
Botterill et al. | A robot system for pruning grape vines | |
Bac et al. | Stem localization of sweet-pepper plants using the support wire as a visual cue | |
CN108053476B (zh) | 一种基于分段三维重建的人体参数测量系统及方法 | |
WO2015017941A1 (en) | Systems and methods for generating data indicative of a three-dimensional representation of a scene | |
Santos et al. | 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera | |
Son et al. | Rapid 3D object detection and modeling using range data from 3D range imaging camera for heavy equipment operation | |
CN112051853A (zh) | 基于机器视觉的智能避障系统及方法 | |
Masuda | Leaf area estimation by semantic segmentation of point cloud of tomato plants | |
Chaudhury et al. | Computer vision based autonomous robotic system for 3D plant growth measurement | |
Bormann et al. | Autonomous dirt detection for cleaning in office environments | |
CN112034837A (zh) | 确定移动机器人工作环境的方法、控制系统及存储介质 | |
JP2000194859A (ja) | 被写体形状抽出方法、被写体形状抽出装置及び記録媒体 | |
Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
Badeka et al. | Harvest crate detection for grapes harvesting robot based on YOLOv3 model | |
He et al. | A continuously adaptive template matching algorithm for human tracking | |
Botterill et al. | Reconstructing partially visible models using stereo vision, structured light, and the g2o framework | |
Michel et al. | Shape from interaction | |
WO2023115658A1 (zh) | 智能避开障碍的方法及装置 | |
Ghosh et al. | Computer vision based obstacle identification using real-time illumination sensor data | |
Ambrus et al. | Autonomous meshing, texturing and recognition of object models with a mobile robot | |
Ozkan et al. | Surface profile-guided scan method for autonomous 3D reconstruction of unknown objects using an industrial robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
RJ01 | Rejection of invention patent application after publication |