CN112571409B - 基于视觉slam的机器人控制方法、机器人及介质 - Google Patents

Abstract

本发明公开了一种基于视觉SLAM的机器人控制方法，包括以下步骤：获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；获取所述路标区域中路标图形的轮廓特征；获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。本发明还公开了一种机器人及计算机可读存储介质，以提高机器人利用可视化路标进行智能控制的水平。

Description

基于视觉SLAM的机器人控制方法、机器人及介质

技术领域

本发明涉及机器人技术领域，尤其涉及基于视觉SLAM的机器人控制方法、机器人及计算机可读存储介质。

背景技术

作为移动机器人自主导航的一个重要发展方向，以视觉为基础的SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)系统近年来逐渐受到重视。SLAM技术是移动机器人智能化的关键技术。

目前许多视觉SLAM依托于人工路标对机器人进行控制，传统的基于视觉SLAM的机器人只能识别二维码形式的人工路标，这样导致存在机器人的路标识别局限性较大的缺点。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于视觉SLAM的机器人控制方法、机器人、空调器及计算机可读存储介质，提高机器人利用可视化路标进行智能控制的水平。

为实现上述目的，本发明提供一种基于视觉SLAM的机器人控制方法，所述基于视觉SLAM的机器人控制方法包括以下步骤：获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；获取所述路标区域中路标图形的轮廓特征；获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。

进一步地，所述预处理包括灰度化处理、降噪处理、图像增强处理、图像边缘处理及二值化处理中的至少一个。

进一步地，所述获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧的步骤之后，还包括：获取所述路标区域对应背景颜色；所述获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动的步骤包括：当存在多个与所述获取所述轮廓特征相匹配的预设路标时，根据所述背景颜色在多个相匹配的所述预设路标中选定目标路标；获取所述目标路标关联的控制参数，并控制机器人根据所述控制参数移动。

进一步地，所述获取所述路标区域中路标图形的轮廓特征的步骤包括：获取所述画面帧的行像素序列或者列像素序列；基于所述行像素序列对所述路标区域进行水平扫描，或者根据所述列像素序列对所述路标区域进行垂直扫描；记录扫描过程中发生像素改变的位置，并根据所述发生像素改变的位置确定所述轮廓特征。

进一步地，所述获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动步骤之后，还包括：获取所述画面帧中所述路标区域之外的其它区域的特征信息；将所述特征信息作为地图路标与所述控制参数关联保存，以构建地图。

进一步地，所述将所述特征信息作为地图路标与所述控制参数关联保存，构建地图路标的步骤之后，还包括：在所述拍摄数据中识别到所述地图路标时，获取所述地图路标关联的控制参数，以根据所述控制参数控制机器人移动。

进一步地，所述控制参数包括机器人转动角度和/或机器人的移动距离。

进一步地，所述控制机器人根据所述控制参数移动的步骤包括：根据所述转动角度及所述移动距离生成所述机器人的移动路线；控制所述机器人根据所述移动路线移动。

本发明还提供一种机器人，所述机器人包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器人的控制程序，所述机器人的控制程序被所述处理器执行时实现如上所述的基于视觉SLAM的机器人控制方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有机器人的控制程序，所述机器人的控制程序被处理器执行时实现如上所述的基于视觉SLAM的机器人控制方法的步骤。

本发明提出的一种基于视觉SLAM的机器人控制方法、机器人及计算机可读存储介质，获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧，然后对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域，进而获取所述路标区域中路标图形的轮廓特征，并获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。由于所述机器人可以识别简单的人工路标，达成人工路标的可视化，提高机器人利用可视化路标进行智能控制的水平。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明基于视觉SLAM的机器人控制方法一实施例的流程示意图；

图3为本发明人路标的示意图；

图4为本发明另一实施例的流程示意图；

图5为本发明又一实施例的流程示意图；

图6为本发明机器人移动路线示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；获取所述路标区域中路标图形的轮廓特征；获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。

由于可以获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧，然后对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域，进而获取所述路标区域中路标图形的轮廓特征，并获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。由于所述机器人可以识别简单的人工路标，达成提升机器人对人工路标的可视化的效果，提高机器人利用可视化路标进行智能控制的水平。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是智能手机等终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及机器人的控制程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的机器人的控制程序，并执行以下操作：获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；获取所述路标区域中路标图形的轮廓特征；获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。

优选的，处理器1001可以调用存储器1005中存储的机器人的控制程序，还执行以下操作：获取所述路标区域对应背景颜色；所述获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动的步骤包括：当存在多个与所述获取所述轮廓特征相匹配的预设路标时，根据所述背景颜色在多个相匹配的所述预设路标中选定目标路标；获取所述目标路标关联的控制参数，并控制机器人根据所述控制参数移动。

优选的，处理器1001可以调用存储器1005中存储的机器人的控制程序，还执行以下操作：获取所述画面帧的行像素序列或者列像素序列；基于所述行像素序列对所述路标区域进行水平扫描，或者根据所述列像素序列对所述路标区域进行垂直扫描；记录扫描过程中发生像素改变的位置，并根据所述发生像素改变的位置确定所述轮廓特征。

优选的，处理器1001可以调用存储器1005中存储的机器人的控制程序，还执行以下操作：获取所述画面帧中所述路标区域之外的其它区域的特征信息；将所述特征信息作为地图路标与所述控制参数关联保存，以构建地图。

优选的，处理器1001可以调用存储器1005中存储的机器人的控制程序，还执行以下操作：在所述拍摄数据中识别到所述地图路标时，获取所述地图路标关联的控制参数，以根据所述控制参数控制机器人移动。

优选的，处理器1001可以调用存储器1005中存储的机器人的控制程序，还执行以下操作：根据所述转动角度及所述移动距离生成所述机器人的移动路线；控制所述机器人根据所述移动路线移动。

参照图2，在本发明基于视觉SLAM的机器人控制方法的一实施例中，所述基于视觉SLAM的机器人控制方法包括以下步骤：

步骤S10、获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；

在本实施例中，所述人工路标可以是如图3所示的指示牌。所述人工路标可以设置为不同的形状，进而通过所述人工路标的形状可以确定行进方式，例如，当所述路标形状为图3所示的三角形是，可以将三角形定义为直线移动。当所述路标形状设置为圆形时，可以将圆形定义为曲线移动。

所述机器人可以包括摄像单元，其中，所述摄像单元可以是摄像头。所述摄像单元与所述机器人一体设置，可以拍摄机器人前方空间。从而使得机器人可以通过所述摄像单元获取拍摄数据。进一步地，所述机器人获取到摄像数据时，可以先对所述摄像数据进行图像分析，以确定所述摄像数据中是否包含所述人工路标。当所述摄像数据中未包括所述人工路标时，机器人通过视觉SLAM系统获取关键帧，并根据所述关键帧识别所述当前位置视屏图像数据与所述目标位置视屏图像数据的点云数据，并获取各所述所述当前视屏图像数据的点云与所述目标视屏图像数据的点云之间的距离，根据各所述点云之间的距离构建点云地图。

当所述视频数据中包含所述人工路标时，截取所述拍摄数据中包换所述人工路标的画面帧。

步骤S20、对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；

在本实施例中，当机器人获取到所述包含人工路标的画面帧后，可以对所述画面帧进行预处理，其中，所述预处理包括灰度化处理、降噪处理、图像增强处理、图像边缘处理及二值化处理中的至少一个。

所述灰度化处理包括：将所述包含人工路标的画面帧转换为灰度图像，灰度值通常可以通过如下公式计算：

Gray(x,y)＝0.14*Blue+0.55*Green+0.30*Red

其中，Blue，Green，Red，分别为像素点的蓝、绿、红色的强度值，Gray(x,y)为像素点经灰度化后的灰度值。

所述降噪处理为滤除所述包含人工路标的画面帧中的噪声，机器人在拍摄所述拍摄数据时可能在移动，因此摄像单元在进行拍摄时，可能会出现抖动。故可以对所述包含人工路标的画面帧进行降噪处理，针对包含人工路标的画面帧的噪声形成机制，可以采用中值滤波的方式进行降噪处理。

所述图像增强处理为提升图像对比度的处理过程，在获取拍摄数据的过程中，由于光线的不平衡，获取的所述包含人工路标的画面帧的各个区域清晰度可能不同，故可以对所述包含人工路标的画面帧进行图像增强处理，在本实施例中，可以采用自适应直方图均衡化(AHE)算法对所述包含人工路标的画面帧进行图像增强处理，当然，也可以采用其他算法，比如，限制对比度直方图均衡(CLAHE)算法对所述包含人工路标的画面帧进行图像增强处理，在本实施例中，不做限制。

所述图像边缘处理为将路标图形与背景图像进行区分的处理过程，可以通过Sobel边缘检测算法对所述包含人工路标的画面帧进行处理，当然，也可以采用其他边缘算法进行处理，在本实施例中，不做限制。

所述二值化处理为将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像，可以采用全局阈值法进行二值化处理，比如大津法、最大熵方法等，或者采用局部阈值法进行二值化处理，比如，多阈值的梯度强度法、基于纹理图像的方法、最大方差法等，具体采用的方法在本实施例中不做限定，可以根据具体情况进行选择。

进一步地，在对所述路标图形进行二值化处理后，由于二值化处理过程中因为噪声还会存在一些明显不属于路标图形的区域，可以采用标记连通区域，然后去掉其中明显不属于路标图形的区域，比如连通区域像素少于某个阀值，确定为不属于路标图形区域。进一步地，由于摄像设备角度的问题，在获取到的所述路标图形可能是倾斜的，因此还可以对所述包含人工路标的画面帧进行校正。通过上述各个处理过程，即可获取到所述包含人工路标的画面帧的路标区域。

步骤S30、获取所述路标区域中路标图形的轮廓特征；

在本实施例中，可以获取所述画面帧的行像素序列或者列像素序列，然后基于所述行像素序列对所述路标区域进行水平扫描，或者根据所述列像素序列对所述路标区域进行垂直扫描，记录扫描过程中发生像素改变的位置，并根据所述发生像素改变的位置确定所述轮廓特征。

具体地，可以先将所述路标区域中的任一像素作为原点，将n(n为正整数)个像素的大小作为单位长度，在所述路标区域内建立平面直角坐标系。从而可以根据坐标位置描述所述路标区域中的任一点的位置。

进一步地，先获取所述路标区域中的列箱数序列，然后根据所述列像素序列，逐列对所述路标区域进行扫描。当扫描到像素变换时，可以记录所述像素变换的位置。当根据所述列像素序列对每一列像素均进行扫描后，可以获取到多个位置，连接所述多个位置，并将所述多个位置之间的连线作为所述路标图形的轮廓特征。

步骤S40、获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。

在本实施例中，机器人的存储介质中保存有多个预设的轮廓特征，因此当获取到画面帧中的轮廓特征后，可以根据所述画面帧中的轮廓特征，对数据库中的预存轮廓特征进行匹配查询。

当查询到匹配的预存轮廓特征时，获取所述预存轮廓特征关联的控制参数。其中，所述控制参数可以包括转向角度及移动距离。然后控制所述机器人在移动至所述人工路标所在位置后，转动所述转向角度，并向前移动所述移动距离。当未查询到所述预存轮廓特征时，控制所述机器人自由移动，并跟根据关键帧匹配结果确定移动距离。

示例性地，如图3所示的人工路标，可以是向右转动90°后，移动50厘米。其中所述距离可以根据所述路标图形的场地确定。

可选地，还可以获取所述画面帧中所述路标区域之外的其它区域的特征信息，将所述特征信息作为地图路标与所述控制参数关联保存，以构建地图。由于可以直接确定机器人的移动数据，因此可以省略跟关键帧匹配结果确定机器人的移动量的步骤。可以达到提升地图准确性的效果。

在本实施例公开的技术方案中，获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧，然后对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域，进而获取所述路标区域中路标图形的轮廓特征，并获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动。由于所述机器人可以识别简单的人工路标，达成提升人工路标的可视化的效果。

参照图4，基于上述实施例，在另一实施例中，所述步骤S10之后，还包括：

步骤S50、获取所述路标区域对应背景颜色。

在本实施例中，当获取到所述画面帧后，可以对所述画面帧进行图像分析，进而根据图像分析结果获取所述画面帧每一位置的颜色数据。当确定所述路标区域后，画面帧每一位置的颜色数据及所述标路标区域在所述画面帧中对应的位置，确定所述路标区域对应背景颜色。

具体的，所述步骤S40还包括：

步骤S41、当存在多个与所述获取所述轮廓特征相匹配的预设路标时，根据所述背景颜色在多个相匹配的所述预设路标中选定目标路标；

步骤S42、获取所述目标路标关联的控制参数，并控制机器人根据所述控制参数移动。

在本实施例中，可以预存轮廓特征可以关联多个控制参数，进而可以根据所述背景颜色选定目标控制参数。这样达成了控制参数多元化设置的效果。

可选地，参照图5，基于上述任一实施例，在又一实施例中，所述步骤S40包括：

步骤S43、根据所述转动角度及所述移动距离生成所述机器人的移动路线，并控制所述机器人根据所述移动路线移动。

在本实施例中，当机器人确定所述控制参数后，需要先移动至所述人工路标所在位置，再根据所述控制参数进行移动。因此，机器人可以根据所述控制参数及所述人工路标所在位置确定自身的最终位置。进而可以根据当前位置及最终位置归化行进路线。

如图6所示，A点为机器人的当前位置，B点为人工路标所在位置，C点为机器人的最终位置。机器人默认设置为根据路线1移动。

当机器人根据控制参数确定所述最终位置后，可以将路线重新归化为路线2或者路线3，进而根据所述路线2或路线3控制机器人移动。

此外，本发明实施例还提出一种机器人，所述机器人包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器人的控制程序，所述机器人的控制程序被所述处理器执行时实现如上各个实施例所述的基于视觉SLAM的机器人控制方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有机器人的控制程序，所述机器人的控制程序被处理器执行时实现如上各个实施例所述的基于视觉SLAM的机器人控制方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能手机等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于视觉SLAM的机器人控制方法，其特征在于，所述基于视觉SLAM的机器人控制方法包括以下步骤：

获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧；

对所述画面帧进行预处理，以从所述画面帧中获取所述人工路标对应的路标区域；

获取所述路标区域中路标图形的轮廓特征；

获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动；

获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动步骤之后，还包括：

获取所述画面帧中所述路标区域之外的其它区域的特征信息；

将所述特征信息作为地图路标与所述控制参数关联保存，以构建地图。

2.如权利要求1所述的基于视觉SLAM的机器人控制方法，其特征在于，所述预处理包括灰度化处理、降噪处理、图像增强处理、图像边缘处理及二值化处理中的至少一个。

3.如权利要求1所述的基于视觉SLAM的机器人控制方法，其特征在于，所述获取摄像单元的拍摄数据，并截取所述拍摄数据中包含人工路标的画面帧的步骤之后，还包括：

获取所述路标区域对应背景颜色；

所述获取所述轮廓特征相匹配的预设路标关联的控制参数，并控制机器人根据所述控制参数移动的步骤包括：

当存在多个与所述获取所述轮廓特征相匹配的预设路标时，根据所述背景颜色在多个相匹配的所述预设路标中选定目标路标；

获取所述目标路标关联的控制参数，并控制机器人根据所述控制参数移动。

4.如权利要求1所述的基于视觉SLAM的机器人控制方法，其特征在于，所述获取所述路标区域中路标图形的轮廓特征的步骤包括：

获取所述画面帧的行像素序列或者列像素序列；

基于所述行像素序列对所述路标区域进行水平扫描，或者根据所述列像素序列对所述路标区域进行垂直扫描；

记录扫描过程中发生像素改变的位置，并根据所述发生像素改变的位置确定所述轮廓特征。

5.如权利要求1所述的基于视觉SLAM的机器人控制方法，其特征在于，所述将所述特征信息作为地图路标与所述控制参数关联保存，构建地图路标的步骤之后，还包括：

在所述拍摄数据中识别到所述地图路标时，获取所述地图路标关联的控制参数，以根据所述控制参数控制机器人移动。

6.如权利要求1所述的基于视觉SLAM的机器人控制方法，其特征在于，所述控制参数包括机器人转动角度和/或机器人的移动距离。

7.如权利要求6所述的基于视觉SLAM的机器人控制方法，其特征在于，所述控制机器人根据所述控制参数移动的步骤包括：

根据所述转动角度及所述移动距离生成所述机器人的移动路线；

控制所述机器人根据所述移动路线移动。

8.一种机器人，其特征在于，所述机器人包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器人的控制程序，所述机器人的控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于视觉SLAM的机器人控制方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有机器人的控制程序，所述机器人的控制程序被处理器执行时实现如权利要求1至7中任一项所述的基于视觉SLAM的机器人控制方法的步骤。

Images