CN106863332B - 一种机器人视觉定位方法及系统 - Google Patents

Abstract

本发明公开了一种机器人视觉定位方法及系统，通过采集包含特征球体的机器人的图像信息；对图像信息进行图像处理，识别出特征球体；对特征球体进行跟踪定位，确定机器人的实时坐标位置；获取目的地坐标位置；根据实时坐标位置以及目的地坐标位置，驱动机器人向目的地移动。本发明所提供的机器人视觉定位方法及系统，采用视觉定位的方法，定位方法简单易行、处理速度极快，成本较低，对机器人的体积、负担和成本都有很好的改善。并且能够根据当前位置以及目标位置，实时进行路线的调整，更加灵活，具有更好的实用性。

Description

一种机器人视觉定位方法及系统

技术领域

本发明涉及视觉图像处理技术领域，特别是涉及一种机器人视觉定位方法及系统。

背景技术

机器人(Robot)是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作。

现有的室内定位方法装置大多过于复杂，机器人搭载起来过于笨重而庞大，成本和造价也颇高。而采用磁条进行定位的方法，不仅体形笨重、处理速度较慢、成本较高，而且无法更改行走路线。

随着视觉图像处理的兴起，用视觉方式来实现室内定位具有其特殊的优势。鉴于此，提供一种机器人视觉定位方法对本领域技术来说是非常有必要的。

发明内容

本发明的目的是提供一种机器人视觉定位方法及系统，以解决现有依靠磁条来定位的技术体型笨重、处理速度较慢、成本较高、且无法更改行走路线的问题。

为解决上述技术问题，本发明提供一种一种机器人视觉定位方法，包括：

采集包含特征球体的机器人的图像信息；

对所述图像信息进行图像处理，识别出所述特征球体；

对所述特征球体进行跟踪定位，确定所述机器人的实时坐标位置；

获取目的地坐标位置；

根据所述实时坐标位置以及所述目的地坐标位置，驱动所述机器人向目的地移动。

可选地，所述对所述图像信息进行图像处理，识别出所述特征球体包括：

将所述图像信息从RGB颜色空间转换至HSV颜色空间；

通过阈值分割的方法对转换后的图像进行分割，得到分割后球体的二值化图像；

将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作，判断二者的匹配相似度；

当所述匹配相似度超过预设阈值时，将所述识别备选区域作为所述特征球体。

可选地，在所述将所述图像信息从RGB颜色空间转换至HSV颜色空间之前还包括：

对所述图像信息进行插值处理。

可选地，在所述将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作之前还包括：

对所述二值化图像进行形态学滤波操作。

可选地，所述对所述特征球体进行跟踪定位，确定所述机器人的实时坐标位置包括：

计算所述特征球体的圆心、半径参数信息；

确定跟踪识别领域，所述跟踪识别领域的中心为所述特征球体的圆心，半径为所述特征球体的半径的预设倍数；

通过金字塔变换放缩所述跟踪识别领域，确定所述机器人的实时坐标位置。

本发明还提供了一种机器人视觉定位系统，包括：

摄像头、控制器、机器人以及特征球体；

其中，所述特征球体搭载于机器人上，所述摄像头用于采集包含特征球体的机器人的图像信息；

所述控制器用于对所述图像信息进行图像处理，识别出所述特征球体；对所述特征球体进行跟踪，确定所述机器人的实时坐标位置；根据所述实时坐标位置以及目的地坐标位置，生成驱动所述机器人向目的地移动的驱动指令，将所述驱动指令发送至所述机器人；

所述机器人接收到所述驱动指令，驱动马达向目的地移动。

可选地，所述摄像头设置在预设区域内的立柱支架上，可多角度进行旋转。

可选地，所述控制器为嵌入式STM32芯片。

可选地，所述控制器安装在所述立柱支架上。

可选地，所述控制器通过蓝牙模块与所述机器人进行数据通信。

本发明所提供的机器人视觉定位方法及系统，通过采集包含特征球体的机器人的图像信息；对图像信息进行图像处理，识别出特征球体；对特征球体进行跟踪定位，确定机器人的实时坐标位置；获取目的地坐标位置；根据实时坐标位置以及目的地坐标位置，驱动机器人向目的地移动。本发明所提供的机器人视觉定位方法及系统，采用视觉定位的方法，定位方法简单易行、处理速度极快，成本较低，对机器人的体积、负担和成本都有很好的改善。并且能够根据当前位置以及目标位置，实时进行路线的调整，更加灵活，具有更好的实用性。

本发明通过将图像信息从RGB颜色空间转换至HSV颜色空间，通过阈值分割的方法对转换后的图像进行分割，得到分割后球体的二值化图像；将二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作，判断二者的匹配相似度；当匹配相似度超过预设阈值时，将识别备选区域作为所述特征球体。通过这样的设置，能够提高识别的速度以及准确率。并且，通过将图像转换至HSV颜色空间，能够减少光照不均匀对识别的影响，降低误识别率。

本发明将图像信息从RGB颜色空间转换至HSV颜色空间之前，对图像信息进行插值处理，这样设置的好处是能够提高处理速度。

本发明在将二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作之前，对二值化图像进行形态学滤波操作。通过这样的设置，能够剔除噪声对球体识别的影响。

本发明通过在颜色相近的背景区域中采用领域识别算法，通过金字塔变换对领域进行放缩，在放缩后的领域范围中对球体进行识别，由于在领域范围内球体较为突出，识别率极高，因此能够保证对球体的实时追踪，并且识别速度较快，追踪球体非常稳定，抗干扰能力也很强。

附图说明

图1为本发明所提供的机器人视觉定位方法的一种具体实施方式的流程图；

图2为本发明实施例中对特征球体进行识别的过程示意图；

图3为本发明实施例中对特征球体进行跟踪定位的过程示意图；

图4为本发明实施例提供的机器人视觉定位系统的装置示意图；

图5为本发明所提供的机器人视觉定位系统的具体工作过程示意图。

图4中：

摄像头—1、控制器—2、机器人—3、特征球体—4。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的机器人视觉定位方法的一种具体实施方式的流程图如图1所示，该方法适用于机器人中，用以对机器人进行定位，具体可以由硬件和/或软件来实现，该方法具体包括：

步骤S101：采集包含特征球体的机器人的图像信息；

具体地，可以在机器人上搭载特征球体，该特征球体用于进行定位与跟踪。球体为一种高度对称的物体，能够很好的减少由于摄像头在各个角度拍摄下所带来的失真效果，其显著的集合特征通常被用来定位位置。在机器视觉中小球的识别问题可以简化为二维图像中圆形的识别。因此，本发明实施例通过对该特征球体进行识别跟踪，以便对机器人的位置进行定位跟踪。

作为一种具体实施方式，在对室内进行视觉定位时，可以通过立柱上设置的摄像头对图像信息进行采集。

步骤S102：对所述图像信息进行图像处理，识别出所述特征球体；

现有的球体识别方法大多运算量偏大，或者误识别率较高，鲁棒性较差，对环境的抗干扰能力也较差，同时光照的照度不均也对小球的识别率产生较大影响。而且由于Camship本身在算法上的缺陷导致在对小球在颜色相近背景下，容易使得追踪框扩展到整个平面上，产生较大的追踪误差。基于此，本发明实施例提出了一种新的识别方法。

参照图2，以识别球体为红色球体为例，本发明实施例中对特征球体进行识别的过程可以具体包括：

步骤S1021：将所述图像信息从RGB颜色空间转换至HSV颜色空间；

从摄像头中来获取RGB彩色图像。球体此时处于RGB颜色空间中，RGB颜色空间中对亮度的反应对于敏感，容易受到光照的影响，而HSV颜色空间中对光照度不敏感，所以在HSV颜色空间中分割红色区域可以很好的减少光照的影响。

步骤S1022：通过阈值分割的方法对转换后的图像进行分割，得到分割后球体的二值化图像；

转化为HSV彩色空间之后，在HSV彩色空间中色调(H)，饱和度(S)，以及明度(V)，在HSV颜色空间中分割红色，即是H∈[0,10]∪[156,180]，S∈[43,255]，V∈[46,255]。由于在边界处会因光照等等因素造成色差，所以在色调H的分割处采用模糊集合的方法处理，通过上述的方法即可以来分割出红色的颜色空间。通过阈值的方法即可以得到分割后球体的二值化图像，即将球体从整幅复杂图像中分割出来。

步骤S1023：将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作，判断二者的匹配相似度；

本实施例中预先制作圆形的标准模板，其区域范围可以用外接矩形来表示。

在上述处理所得到的球体的识别备选区域中，接着用矩形来拟合二值图像中白色区域，并将拟合出来的矩形大小放缩到标准模板的外接矩形的大小区域。

步骤S1024：当所述匹配相似度超过预设阈值时，将所述识别备选区域作为所述特征球体。

将圆形标准模板和待匹配区域的图像重叠在一起，标准模板的矩形区域的像素点数为s，重叠区域像素点数记为a，重叠区域在整个矩形区域的补集的像素点数为b，匹配程度为γ，则：

若是γ的值越大，则表明匹配程度越高，反之γ的值越小，则表明匹配程度越低。通过对γ的阈值设定即可排除那些类圆物体，也可以筛选出与标准圆匹配程度最高的球体。相比于霍夫圆和圆心度来说识别更加准确，同时速度也得到了提升。

本发明实施例在将所述图像信息从RGB颜色空间转换至HSV颜色空间之前还可以包括：对所述图像信息进行插值处理。

依据球体的大小，适当对整幅图像进行插值，在保证识别率的情况下，对整幅图像进行插值。通过对图像进行适当的插值处理，使得球体识别的速度更快，并且在后续追踪时更加稳定。

此外，本发明实施例在将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作之前还可以进一步包括：对所述二值化图像进行形态学滤波操作。

由于分割后的二值化球体图像中显现出过多的噪声干扰，所以为了剔除噪声对球体识别的影响，本实施例采用了形态学滤波操作，具体为先进行一次开运算，再进行两次闭运算，剔除球体中凹陷的噪点。

本实施例步骤所提供的球体识别算法，提高了球体识别对干扰物体的排除能力，排除了相近颜色下其他类圆形的物体的干扰。同时改进了光照度不均匀下对球体识别造成颜色提取不均的影响，使得球体识别在光照不均条件下也能够稳定识别。

步骤S103：对所述特征球体进行跟踪定位，确定所述机器人的实时坐标位置；

参照图3，本发明实施例中对特征球体进行跟踪定位的过程可以具体包括：

步骤S1031：计算所述特征球体的圆心、半径参数信息；

步骤S1032：确定跟踪识别领域，所述跟踪识别领域的中心为所述特征球体的圆心，半径为所述特征球体的半径的预设倍数；

步骤S1033：通过金字塔变换放缩所述跟踪识别领域，确定所述机器人的实时坐标位置。

由于Camshift存在颜色相近区域追踪框进行扩展的情况，所以在颜色相近的背景区域中采用领域识别算法，算法原理为在识别出红色球体之后，得到了球体的圆心和半径等信息，以此球体的圆心为中心，为(x₀,y₀)，半径为r₀,则领域的边长范围为4r₀，通过金字塔变换将领域放缩位原来的λ倍，则在这个大的领域范围中对球体进行上述识别，在领域范围内球体非常突出，识别效率极高，所以能保证对球体的实时追踪，而且识别速度极快，追踪球体非常稳定，抗干扰能力也很强。

本发明实施例通过领域识别的方法改进了Camshift算法对复杂环境下自动扩展的缺陷。

步骤S104：获取目的地坐标位置；

需要指出的是，步骤S104可以置于上述任一步骤之前，并不限于这一种实施方式。

步骤S105：根据所述实时坐标位置以及所述目的地坐标位置，驱动所述机器人向目的地移动。

本发明所提供的机器人视觉定位方法，通过采集包含特征球体的机器人的图像信息；对图像信息进行图像处理，识别出特征球体；对特征球体进行跟踪定位，确定机器人的实时坐标位置；获取目的地坐标位置；根据实时坐标位置以及目的地坐标位置，驱动机器人向目的地移动。本发明所提供的机器人视觉定位方法，采用视觉定位的方法，定位方法简单易行、处理速度极快，成本较低，对机器人的体积、负担和成本都有很好的改善。并且能够根据当前位置以及目标位置，实时进行路线的调整，更加灵活，具有更好的实用性。

下面对本发明实施例提供的机器人视觉定位系统进行介绍，下文描述的机器人视觉定位系统与上文描述的机器人视觉定位方法可相互对应参照。

图4为本发明实施例提供的机器人视觉定位系统的装置示意图，参照图4机器人视觉定位系统可以包括：

摄像头1、控制器2、机器人3以及特征球体4；

其中，所述特征球体4搭载于机器人3上，所述摄像头1用于采集包含特征球体4的机器人3的图像信息；

所述控制器2用于对所述图像信息进行图像处理，识别出所述特征球体4；对所述特征球体4进行跟踪，确定所述机器人3的实时坐标位置；根据所述实时坐标位置以及目的地坐标位置，生成驱动所述机器人3向目的地移动的驱动指令，将所述驱动指令发送至所述机器人3；

所述机器人3接收到所述驱动指令，驱动马达向目的地移动。

作为一种具体实施方式，本申请中摄像头设置在预设区域内的立柱支架上，可多角度进行旋转。摄像头可以具体为高清摄像头。

本申请中控制器可以具体为嵌入式STM32芯片，以A8芯片为核心的嵌入式处理系统。控制器也可以安装在所述立柱支架上，通过蓝牙模块与所述机器人进行数据通信。

如图5所示，以机器人小车为例，下面对本发明所提供的机器人视觉定位系统实现室内定位进行自动运输的具体工作过程进行进一步详细阐述，该过程包括：

步骤S201：对立柱上的摄像头标定，矫正存在的场曲等畸变；

由于的摄像头在存在较为严重的场曲等畸变，对室内定位造成比较大的误差，所以首先应该进行摄像头的标定，获取摄像头的内参数，利用黑白棋盘来矫正摄像头。

步骤S202：通过坐标的映射关系，还原真实的室内平面的坐标系；

通过图像坐标的映射和真实的坐标的映射关系来建立现实室内的平面坐标系。以图像中心点为坐标原点，设置x轴和y轴建构真实的坐标系，即完成了室内建模的步骤。

步骤S203：室内固定好立柱式摄像头，并在摄像头中读取定位区域图像序列；

步骤S204：嵌入式系统识别并追踪小车上红色特征球体和目的地红色圆圈的坐标位置；

步骤S205：小车中STM32控制系统驱动马达使智能小车前往目的地位置。

在上述完成了球体识别和球体追踪定位之后，机器人上面搭载着特殊的红色球体作为追踪定位的标示，立柱上的摄像头直接来识别出机器人上的红色球体，并且实时追踪红色球体的位置，从而获得了机器人以及目的地在真实室内的坐标系坐标位置。在立柱上摄像头上配有嵌入式处理系统来处理球体识别和球体的追踪定位，并且将两者的位置坐标信息通过蓝牙模块来发送到机器人的接收模块，从而驱动机器人前往目的地。

通过STM32来驱动机器人小车马达的转动，始终保持小车的车头向着X轴的正方向，下车的底部采用万向轮，可以前后行进，当目标点相对于小车的位置在X轴的负方向时，即目标点(x₁,y₁)，小车位置点(x₀,y₀)，满足x₁＜x₀，则小车行进标志位置0，嵌入式控制系统控制小车向后运动。反之，若是目标点相对于机器人小车在X轴的前方位置时，行进标志位置，则驱动小车向前行进。通过这种方使得小车始终能够在正确的方向内前往指定目的地位置，从而实现了小车在头顶摄像头图像处理的定位帮助下自动向目的地移动，从而实现自动搬运货物等等智能小车的功能。

本实施例的机器人视觉定位系统用于实现前述的机器人视觉定位方法，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明基于球体匹配，实现了室内定位和领域追踪，相对大多数现有的机器人室内定位方法，简单易行，而且成本也很低，不需要复杂的室内定位设备和装置，大大减少机器人小车的质量和成本，提高了灵活性。同时，基于球体圆匹配的方法相对于现在的霍夫圆和椭圆检测来说，算法的复杂度大大降低，识别速度极快，而且对光照有一定的鲁棒性，能够排除一些类圆物体的干扰，利用球体在空间的高度对称性可以大大减少其他图形和物体在摄像头不同角度下的失真和变形。

在球体追踪定位的识别算法，本申请采用外接领域识别特征物体的追踪定位算法，克服了传统Camshift算法对特征物体在相近的区域识别中造成追踪框扩展的缺陷，能够保证特征物体在快速的平移和振动下稳定的追踪和定位。算法的鲁棒性和实时性效果能够同时兼顾，并且可靠性优于已有方法。

此外，本申请在小车的模型机械架构上选取万向轮结构以及垂直的路径的坐标规划，有效的解决了智能小车方向判定的难题。

现有依靠磁条来定位的小车体型笨重，不方便，而且无法更改行走路线，但是本申请用视觉定位的小车装置轻便，简单，可以任意来调整位置。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的机器人视觉定位方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种机器人视觉定位方法，其特征在于，包括：

采集包含特征球体的机器人的图像信息；

对所述图像信息进行图像处理，识别出所述特征球体；

对所述特征球体进行跟踪定位，确定所述机器人的实时坐标位置；

获取目的地坐标位置；

根据所述实时坐标位置以及所述目的地坐标位置，驱动所述机器人向目的地移动；

所述对所述图像信息进行图像处理，识别出所述特征球体包括：

将所述图像信息从RGB颜色空间转换至HSV颜色空间；

通过阈值分割的方法对转换后的图像进行分割，得到分割后球体的二值化图像；

将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作，判断二者的匹配相似度；

当所述匹配相似度超过预设阈值时，将所述识别备选区域作为所述特征球体；

所述对所述特征球体进行跟踪定位，确定所述机器人的实时坐标位置包括：

计算所述特征球体的圆心、半径参数信息；

确定跟踪识别领域，所述跟踪识别领域的中心为所述特征球体的圆心，半径为所述特征球体的半径的预设倍数；

通过金字塔变换放缩所述跟踪识别领域，确定所述机器人的实时坐标位置。

2.如权利要求1所述的机器人视觉定位方法，其特征在于，在所述将所述图像信息从RGB颜色空间转换至HSV颜色空间之前还包括：

对所述图像信息进行插值处理。

3.如权利要求1所述的机器人视觉定位方法，其特征在于，在所述将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作之前还包括：

对所述二值化图像进行形态学滤波操作。

4.一种机器人视觉定位系统，其特征在于，包括：

摄像头、控制器、机器人以及特征球体；

其中，所述特征球体搭载于机器人上，所述摄像头用于采集包含特征球体的机器人的图像信息；

所述控制器用于将所述图像信息从RGB颜色空间转换至HSV颜色空间；通过阈值分割的方法对转换后的图像进行分割，得到分割后球体的二值化图像；将所述二值化图像中球体的识别备选区域与预先建立的标准模板进行掩膜操作，判断二者的匹配相似度；当所述匹配相似度超过预设阈值时，将所述识别备选区域作为所述特征球体；计算所述特征球体的圆心、半径参数信息；确定跟踪识别领域，所述跟踪识别领域的中心为所述特征球体的圆心，半径为所述特征球体的半径的预设倍数；通过金字塔变换放缩所述跟踪识别领域，确定所述机器人的实时坐标位置；根据所述实时坐标位置以及目的地坐标位置，生成驱动所述机器人向目的地移动的驱动指令，将所述驱动指令发送至所述机器人；

所述机器人接收到所述驱动指令，驱动马达向目的地移动。

5.如权利要求4所述的机器人视觉定位系统，其特征在于，所述摄像头设置在预设区域内的立柱支架上，可多角度进行旋转。

6.如权利要求5所述的机器人视觉定位系统，其特征在于，所述控制器为嵌入式STM32芯片。

7.如权利要求6所述的机器人视觉定位系统，其特征在于，所述控制器安装在所述立柱支架上。

8.如权利要求7所述的机器人视觉定位系统，其特征在于，所述控制器通过蓝牙模块与所述机器人进行数据通信。