CN208314563U - 一种用于机器人跟踪的视觉识别系统 - Google Patents

Abstract

本实用新型公开一种用于机器人跟踪的视觉识别系统，涉及机器人视觉控制技术领域，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元；本实用新型使用具有红外透光片滤波的摄像头，检测环境中预先设置的红外发光机构，通过形状滤波，实现了对环境中红外光干扰的抵抗；由于所采用的红外透光片、红外发光二极管、USB摄像头价格极低，本实用新型所述软件算法采用的形状滤波处理速度快，实现简单，提高计算效率。

Description

一种用于机器人跟踪的视觉识别系统

技术领域

本实用新型涉及机器人视觉控制技术领域，尤其涉及一种用于机器人跟踪的视觉识别系统。

背景技术

视觉伺服技术(visualservo)通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，使系统对机器做进一步控制或相应的自适应调整的行为；

目前，视觉伺服多采用单目或多目摄像头实时捕捉目标物体图像，实时计算摄像头与目标物体的相对位置、姿态关系，计算机器人自身运动轨迹，使得机器人动态跟随或静态保持与目标物体的期望相对位置；

因此，视觉伺服技术可以应用于多机器人编队、工业机器人物体定位等领域；如多无人机编队飞行，多移动机器人编队行驶，以及空-地机器人定位协同等具体应用；在工业机器人领域，手眼型(eyeinhand)视觉伺服可以应用于具有复杂姿态的三维工件空间六自由度定位拾取；

视觉伺服是基于摄像头对物体的识别，计算相对位置姿态关系，因此摄像头识别的准确性对整个视觉伺服的效果有巨大影响，尤其是在具有非结构光影响的位置环境，如室外环境、光线明暗变化强烈的环境等，摄像头极容易识别失败。例如，在安装摄像头的机器人所在环境如果忽然光强变大，则摄像头采集的图像会忽然变成全白，则物体识别立刻失败。又如，机器人在室外环境中，忽然进入有阴影的环境中，则图像会整体忽然变暗，也会导致识别的失败。而这些识别失败有可能导致所跟随物体(或机器人)在识别失败时走出机器人的视场范围，导致视觉伺服失败。

目前，对于光线干扰问题，主要思路是避免将机器人摄像头处于光线变化剧烈的环境。如果不可避免，则目前主要有以下两种解决办法：

(1)使用宽动态摄像头；

宽动态摄像机技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术；在一些明暗反差过大的场合，一般的摄像机由于CCD的感光特性所限制，摄取的图像往往出现背景过亮或前景太暗的情况；针对这种情况，宽动态技术应运而生，较好地解决了这一问题；

不过，宽动态摄像头对环境光线条件也有一定的要求，而且需要动态补偿背景光，因此工作过程中能耗很大，不适用于移动机器人场合；

(2)背光补偿；

背光补偿也称为逆光补偿，是把画面分成几个不同的区域，每个区域分别曝光。在某些应用场合，视场中可能包含一个很亮的区域，而被包含的主体则处于亮场的包围之中，画面一片昏暗，无层次；此时由于AGC检测到的信号电平并不低，因此放大器的增益很低，不能改进画面主体的明暗度，当引入逆光补偿时，摄像机仅对整个视场的一个子区域进行检测，通过求此区域的平均信号电平来确定AGC电路的工作点。

背光补偿法有一个非常大的缺陷，即当主要目标从中间移动到画面的上下左右位置，目标会变得非常黑，因为现在它不被区别开来已经不被加权；

(3)强光抑制；

强光抑制指的是在图像中把强光部分的视频信息通过DSP处理，将视频的信号亮度调整为正常范围，避免同一图像中前后反差太大。传统的CCD有动态范围的限制，在采集一幅图像的过程中只对整个图像采样一次，必然会出现对整个图像中明亮的区域过度曝光，或较暗的区域欠曝光的现象，强光抑制的功能就是采用DSP技术，简单意思就是把强光部分弱化，把暗光部分亮化，达到光线平衡；

具有强光抑制功能的摄像机本身价格较贵，如自行开发，需要复杂的算法实现和很大的计算量；增加整个机器人系统资源开销。

实用新型内容

本实用新型提供一种用于机器人跟踪的视觉识别系统，旨在提高视觉识别对光线明暗变化的抗干扰性，简化硬件，无需补充背景光源，具有识别速度快、准确率高和成本极低的特点。

为了实现上述目的，本实用新型提出一种用于机器人跟踪的视觉识别系统，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元。

优选地，所述的红外发光管电路板，在该电路板上设置有由多个红外二极管构成的非线性非对称构型。

优选地，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。

优选地，所述的控制单元，包括光源形状提取模块；

所述的光源形状提取模块：用于沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值，根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；沿图像坐标系y正方向扫描图像，记录白色区域轮廓，判断红外二极管拓扑位置是否有白色连通区域，若是，则继续向下行扫描图像记录白色区域轮廓，并再次进行粗判；否则为反射光源的小面积噪点；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。

优选地，所述的控制单元，还包括跟随轨迹生成模块；

所述的跟随轨迹生成模块：用于获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标，进而获取摄像头图像期望目标位置误差，根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数，根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而确定摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向，沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节。

优选地，所述的控制单元，还包括参数标定模块，用于标定摄像头内外参数及红外二极管电路板与摄像头之间的参数。

本实用新型提出的一种用于机器人跟踪的视觉识别系统，具有以下有益效果：

(1)本实用新型所述识别系统原理是检测环境中具有固定结构的红外光，因此对可见光的干扰有非常强的抵抗效果；通过使用具有红外透光片滤波的摄像头，检测环境中预先设置的红外发光机构，通过形状滤波，又实现了对环境中红外光干扰的抵抗；

(2)从原理上具有可行性、实际使用中具有可实现性；由于所采用的红外透光片和红外发光二极管具有非常低的价格，而且所采用的摄像头只是普通的USB摄像头，价格极低，因此对于本系统具有低成本性；

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本实用新型一种实施例中用于机器人跟踪的视觉识别系统示意图；

图2为本实用新型一种实施例中装有特殊构型红外二极管的电路板示意图；

图3为本实用新型一种实施例中摄像头经过红外滤波后获得图像的二值化图像；

图4为本实用新型一种实施例中红外管电路板在单目摄像头坐标系下的标定图；

图5为本实用新型一种实施例单独旋转时成像原理图，其中，图(a)表示无旋转示意图；图(b)表示绕光轴OZ旋转ψ＞0示意图；图(c)表示绕光轴OY旋转θ＞0示意图；图(d)表示绕光轴OY旋转正角度φ＞0示意图；

图6为本实用新型一种实施例实验结果图像示意图；

附图标记说明：

1-光源移动机器人；2-图像采集移动机器人；3-摄像头成像平面；4-红外发光二极管区域；5-大面积红外光干扰；6-红外噪点；101-红外发光管电路板；201-摄像头；202-红外透光片；203-控制单元；

本实用新型目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

需要说明，若本实用新型实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本实用新型实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本实用新型要求的保护范围之内。

本实用新型提出一种用于机器人跟踪的视觉识别系统；

本实用新型一种优选实施例中，参考图1，系统包括光源移动机器人1和图像采集移动机器人2，其中，所述的光源移动机器人1设置有红外发光管电路板101，所述的图像采集移动机器人2设置有摄像头201，所述摄像头201前端设置有红外透光片202，所述图像采集移动机器人2还设置有用于提取光源形状和跟随光源移动机器人的控制单元203。

本实用新型一种优选实施例中，参考图2，在所述红外发光管电路板101上设置有由5个红外二极管(LED1、LED2、LED3、LED4、LED5)构成的非线性非对称构型。

本实施例中，红外发光二极管被布置在一块平板上面，具有一定的布置形式(红外二极管应该组成若干相互垂直的线段，如图2所示)；所呈现的整体形状应该具有非线性非对称构型。如果在多移动机器人应用场合，可以对不同移动机器人设置不同形状的红外发光二极管布局，实现对不同移动机器人的识别与跟踪。首先，图像采集移动机器人2摄像头应对光源移动机器人1安装的红外管布置构型进行校正，然后，图像采集移动机器人2可以通过自身安装的摄像头检测光源移动机器人1上安装的红外二极管电路板的典型构型，通过分析构型的畸变推测该机器人与自身的相对位置和姿态关系；典型布置形式如图2所示。

本实用新型一种优选实施例中，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。

本实用新型一种优选实施例中，所述的控制单元包括光源形状提取模块；光源形状提取模块：用于沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值，根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；沿图像坐标系y正方向扫描图像，记录白色区域轮廓，根据对应红外二极管拓扑位置是否有白色连通区域，确定是反射光源的小面积噪点或再次粗判；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数；

本实用新型实施例中，由于摄像头表面被红外透光片所覆盖，因此进入摄像头的可见光部分被完全滤掉，因此环境中可见光的变化将对摄像头的识别无任何影响。但是，在一般环境的可见光中，通常也掺杂着红外光的成分，因此，要对摄像头检测的图像要进行滤波处理。由于所采用的红外光透光片滤波的方法，因此不需要使用复杂且速度慢的高斯滤波、腐蚀膨胀算法等。由于红外管相对于环境中的红外光线强度较高，因此非常容易在图像中将红外管与其他干扰红外光线区别开，因此可以根据对红外管拓扑结构的先验知识，对图像进行粗滤波。

当把摄像头获取到的一幅图像转换为二值图像后，图像中内容变为若干个互补连同的区域，参考图3，图中4表示红外发光二极管区域；5表示大面积红外光干扰；6表示红外噪点，中间方框中的四个圆面连通区域为检测到的具有菱形拓扑结构的红外发光二极管区域4，是有用信息；图像中其他连通的白色区域为不同种类的噪声，其中，大面积的白色区域(大面积红外光干扰5)表示环境中光源(如太阳光，电灯)中夹杂的红外光线；小面积的白色连通区域(红外噪点6)大多是由于环境中不发光物体对于光源的反射。

本实用新型一种优选实施例中，所述的控制单元包括跟随轨迹生成模块；跟随轨迹生成模块：用于获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标，进而获取摄像头图像期望目标位置误差，根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数，根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向，沿俯仰方向、滚转方向和偏航方向调节摄像头的角度，并实时计算俯仰角度、滚转角度和偏航角度，当俯仰角度、滚转角度和偏航角度均为0时，停止摄像头的角度调节。

本实用新型一种优选实施例中，所述的控制单元，还包括参数标定模块，用于标定摄像头内外参数及红外二极管电路板与摄像头之间的参数。

本实施例中，所述的标定摄像头内外参数，该标定算法为现有的公知技术(具体可参考Medioni，G.；Kang，S.B.，Medioni，G.，Emerging Topics in Computer Vision，Prentice Hall Professional Technical Reference，2004；这里不再赘述)；

本实用新型一种优选实施例中，所述的红外二极管电路板与摄像头之间的参数，具体为：

使装有红外二极管的电路板101所在平面垂直于摄像头成像平面3光轴(OZ)，即通过透视中心O的直线，参考图4；

标定时，第一，尽量保证红外二极管分布的几何中心处于光轴上；第二，要保持红外管组成的若干相互垂直的线段与图像坐标系坐标轴平行或正交。将红外二极管电路板所在平面固定在距离摄像头图像平面两个已知的距离和测量图像中红外管在图像中对应的像素个数，计算距离参数σ；

根据实际情况(如摄像头像素、红外二极管功率等具体应用场合)，确定摄像头最大识别范围，即摄像头图像平面距离红外二极管平面的最大距离l_sup，记录在最大距离l_sup下，红外二极管在摄像头捕捉图像中的灰度值p_min；定义摄像头图像平面距离红外二极管平面的最小距离为l_inf，记录红外二极管在图像中显示的像素跨度

再获得相对变形参数γ_rel和绝对变形参数γ_abs，记γ_origin为摄像头相对于红外管平面无旋转时的相对变形参数；可见，当γ_rel＝γ_origin时，摄像头相对于红外管平面无旋转或只有偏航旋转；当水平线段绝对变形参数时，摄像头相对于红外管平面无旋转或只有俯仰旋转；当竖直线段绝对变形参数摄像头相对于红外管平面无旋转或只有滚转旋转；

标定红外二极管平面相对于摄像头图像平面最大姿态角，包括：俯仰、滚转、偏航三个角度φ，θ，手动标定分别当|φ|＝φ_max，|θ|＝θ_max，时，变形系数的值和

本实用新型的用于机器人跟踪的视觉识别过程如下；

本实用新型一种优选实施例中，首先对摄像头内、外参数进行标定，对红外二极管电路板与摄像头之间的参数进行标定；再图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像；将图像转换为灰度图像；然后获取灰度图像中光源移动机器人的红外二极管形状轮廓；最终根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度。

本实用新型一种优选实施例中，形状识别算法负责把有用的红外二极管图像从各种噪声中提取出来，具体过程如下：

本实施例中，输入：摄像头获得的RGB图像灰度图；灰度值g_min；最大像素跨度内部变量：Pixel_led＝0；查找到的LED个数n_led＝0；输出：红外二极管在图像中的坐标与尺寸；

本实施例中，设定二值化灰度阈值为g_min，将获得的灰度图像二值化；寻找图像中所有白色区域轮廓；在图像坐标系(如图3所示)中x正方向行扫描图像记录白色区域轮廓计算轮廓在x方向像素跨度值Pixel_led。判断是否成立，若是，则为待检测的红外二极管，否则，为环境光源的大面积噪声；沿图像坐标系y正方向扫描图像，记录白色区域轮廓；根据对应红外二极管拓扑位置是否有白色连通区域，确定是反射光源的小面积噪点或再次粗判，具体判断过程为：若对应红外二极管拓扑位置有白色连通区域，则继续向下行扫描图像记录白色区域轮廓，并再次粗判；若对应红外二极管拓扑位置没有白色连通区域，则为反射光源的小面积噪点；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。

本实用新型一种优选实施例中，获取了所有红外二极管在图像中的位置与白色区域像素个数后，就可以以此获得机器人的期望运行轨迹，核心是将机器人的平动和转动解耦。平动保持图像中红外二极管构型几何中心与图像平面中心坐标重合；转动的目的是使得图像中二极管几何构型各部分比例相等。

6DPR跟随轨迹生成法，具体过程如下：

获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标；获取摄像头图像期望目标误差；根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数；根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向；沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节；

本实用新型一种优选实施例中，单独旋转时成像原理图如图5所示；具体过程如下：

根据投影像素数，获得相对变形参数γ_rel；若γ_rel不等于γ_origin，获取偏航旋转角度，将摄像头以光轴为中心以负方向旋转，直至偏航旋转角度为0停止旋转；若并且则摄像头相对于红外管平面无旋转；若则摄像头相对于红外管平面仅有偏航旋转，获取偏航旋转角度，将摄像头以光轴为中心以负方向旋转，直至偏航旋转角度为0停止旋转；若且则计算俯仰角度和滚转角度，并确定俯仰方向和滚转方向，摄像头绕图像坐标系X轴和Y轴分别确定的方向进行旋转，并实时计算俯仰角度和滚转角度，直至俯仰角度和滚转角度均为0，摄像头停止旋转；

本实施例中，沿俯仰方向、滚转方向和或偏航方向调节摄像头的角度，并实时计算俯仰角度、滚转角度和偏航角度，当俯仰角度、滚转角度和偏航角度为0时，停止摄像头的角度调节；角度调节后，判断红外管拓扑中心是否始终处于图像中心，若是，则结束，否则重新调节；

根据上述步骤，渐进获得摄像头相对于红外管电路板的平移和旋转信息，将此信息传递给机器人底层运动控制器，则可以实现机器人对装有红外电路板的机器人的实时跟随。

本实用新型已经过试验测试，结果显示本实用新型对于环境可见光强烈干扰具有很强的抗扰性。实验结果如图6所示。实验是在摄像头逆光的情况下完成的，如果按照普通视觉检测处理方法，摄像头无法捕捉所跟随物体的特征，视觉跟踪就会失败，然而采用本实用新型所述硬件系统及软件算法，可以在强烈的可见光干扰的情况下依然能够准确可靠的检测出红外发光管。

以上所述仅为本实用新型的优选实施例，并非因此限制本实用新型的专利范围，凡是在本实用新型的实用新型构思下，利用本实用新型说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本实用新型的专利保护范围内。

Claims (3)

1.一种用于机器人跟踪的视觉识别系统，其特征在于，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元。

2.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的红外发光管电路板，在该电路板上设置有由多个红外二极管构成的非线性非对称构型。

3.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。