CN107797560A - 一种用于机器人跟踪的视觉识别系统及方法 - Google Patents
一种用于机器人跟踪的视觉识别系统及方法 Download PDFInfo
- Publication number
- CN107797560A CN107797560A CN201711219285.8A CN201711219285A CN107797560A CN 107797560 A CN107797560 A CN 107797560A CN 201711219285 A CN201711219285 A CN 201711219285A CN 107797560 A CN107797560 A CN 107797560A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- mobile robot
- infrared
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000005096 rolling process Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种用于机器人跟踪的视觉识别系统及方法，涉及机器人视觉控制技术领域，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元；本发明使用具有红外透光片滤波的摄像头，检测环境中预先设置的红外发光机构，通过形状滤波，实现了对环境中红外光干扰的抵抗；由于所采用的红外透光片、红外发光二极管、USB摄像头价格极低，本发明所述软件算法采用的形状滤波处理速度快，实现简单，提高计算效率。
Description
技术领域
本发明涉及机器人视觉控制技术领域，尤其涉及一种用于机器人跟踪的视觉识别系统及方法。
背景技术
视觉伺服技术(visual servo)通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，使系统对机器做进一步控制或相应的自适应调整的行为；
目前，视觉伺服多采用单目或多目摄像头实时捕捉目标物体图像，实时计算摄像头与目标物体的相对位置、姿态关系，计算机器人自身运动轨迹，使得机器人动态跟随或静态保持与目标物体的期望相对位置；
因此，视觉伺服技术可以应用于多机器人编队、工业机器人物体定位等领域；如多无人机编队飞行，多移动机器人编队行驶，以及空-地机器人定位协同等具体应用；在工业机器人领域，手眼型(eyeinhand)视觉伺服可以应用于具有复杂姿态的三维工件空间六自由度定位拾取；
视觉伺服是基于摄像头对物体的识别，计算相对位置姿态关系，因此摄像头识别的准确性对整个视觉伺服的效果有巨大影响，尤其是在具有非结构光影响的位置环境，如室外环境、光线明暗变化强烈的环境等，摄像头极容易识别失败。例如，在安装摄像头的机器人所在环境如果忽然光强变大，则摄像头采集的图像会忽然变成全白，则物体识别立刻失败。又如，机器人在室外环境中，忽然进入有阴影的环境中，则图像会整体忽然变暗，也会导致识别的失败。而这些识别失败有可能导致所跟随物体(或机器人)在识别失败时走出机器人的视场范围，导致视觉伺服失败。
目前，对于光线干扰问题，主要思路是避免将机器人摄像头处于光线变化剧烈的环境。如果不可避免，则目前主要有以下两种解决办法：
(1)使用宽动态摄像头；
宽动态摄像机技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术；在一些明暗反差过大的场合，一般的摄像机由于CCD的感光特性所限制，摄取的图像往往出现背景过亮或前景太暗的情况；针对这种情况，宽动态技术应运而生，较好地解决了这一问题；
不过，宽动态摄像头对环境光线条件也有一定的要求，而且需要动态补偿背景光，因此工作过程中能耗很大，不适用于移动机器人场合；
(2)背光补偿法；
背光补偿法也称为逆光补偿，是把画面分成几个不同的区域，每个区域分别曝光。在某些应用场合，视场中可能包含一个很亮的区域，而被包含的主体则处于亮场的包围之中，画面一片昏暗，无层次；此时由于AGC检测到的信号电平并不低，因此放大器的增益很低，不能改进画面主体的明暗度，当引入逆光补偿时，摄像机仅对整个视场的一个子区域进行检测，通过求此区域的平均信号电平来确定AGC电路的工作点。
背光补偿法有一个非常大的缺陷，即当主要目标从中间移动到画面的上下左右位置，目标会变得非常黑，因为现在它不被区别开来已经不被加权；
(3)强光抑制法；
强光抑制法指的是在图像中把强光部分的视频信息通过DSP处理，将视频的信号亮度调整为正常范围，避免同一图像中前后反差太大。传统的CCD有动态范围的限制，在采集一幅图像的过程中只对整个图像采样一次，必然会出现对整个图像中明亮的区域过度曝光，或较暗的区域欠曝光的现象，强光抑制的功能就是采用DSP技术，简单意思就是把强光部分弱化，把暗光部分亮化，达到光线平衡；
具有强光抑制功能的摄像机本身价格较贵，如自行开发，需要复杂的算法实现和很大的计算量；增加整个机器人系统资源开销。
发明内容
本发明提供一种用于机器人跟踪的视觉识别系统及方法，旨在提高视觉识别对光线明暗变化的抗干扰性，简化硬件和图像处理算法，无需补充背景光源，具有识别速度快、准确率高和成本极低的特点。
为了实现上述目的，本发明提出一种用于机器人跟踪的视觉识别系统，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元。
优选地，所述的红外发光管电路板，在该电路板上设置有由多个红外二极管构成的非线性非对称构型。
优选地，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。
优选地，所述的控制单元，包括光源形状提取模块；
所述的光源形状提取模块：用于沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值，根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；沿图像坐标系y正方向扫描图像，记录白色区域轮廓，判断红外二极管拓扑位置是否有白色连通区域，若是，则继续向下行扫描图像记录白色区域轮廓，并再次进行粗判；否则为反射光源的小面积噪点；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。
优选地，所述的控制单元，还包括跟随轨迹生成模块；
所述的跟随轨迹生成模块：用于获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标，进而获取摄像头图像期望目标位置误差，根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数，根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而确定摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向，沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节。
优选地，所述的控制单元，还包括参数标定模块，用于标定摄像头内外参数及红外二极管电路板与摄像头之间的参数。
本发明还提出一种用于机器人跟踪的视觉识别方法，包括：
图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像；
将图像转换为灰度图像；
获取灰度图像中光源移动机器人的红外二极管形状轮廓；
根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度。
优选地，在所述的图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像步骤之前，还包括：
对摄像头内、外参数进行标定；
对红外二极管电路板与摄像头之间的参数进行标定。
优选地，在所述的获取灰度图像中光源移动机器人的红外二极管形状轮廓，具体包括：
沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值；
根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；
沿图像坐标系y正方向扫描图像，记录白色区域轮廓；
判断红外二极管拓扑位置是否有白色连通区域，若是，则继续向下行扫描图像记录白色区域轮廓，并再次进行粗判；否则为反射光源的小面积噪点；
完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。
优选地，在所述的根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度，具体包括：
获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标；
获取摄像头图像期望目标位置误差；
根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；
获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数；
根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向；
沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节。
本发明提出的一种用于机器人跟踪的视觉识别系统及方法，具有以下有益效果：
(1)本发明所述识别系统原理是检测环境中具有固定结构的红外光，因此对可见光的干扰有非常强的抵抗效果；通过使用具有红外透光片滤波的摄像头，检测环境中预先设置的红外发光机构，通过形状滤波，又实现了对环境中红外光干扰的抵抗；
(2)从原理上具有可行性、实际使用中具有可实现性；由于所采用的红外透光片和红外发光二极管具有非常低的价格，而且所采用的摄像头只是普通的USB摄像头，价格极低，因此对于本系统具有低成本性；
(3)本发明所述软件算法无需采用常用的高斯滤波、腐蚀膨胀函数等计算量大、速度慢的函数，所采用的形状滤波处理速度快，实现简单，提高计算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明一种实施例中用于机器人跟踪的视觉识别系统示意图；
图2为本发明一种实施例中装有特殊构型红外二极管的电路板示意图；
图3为本发明一种实施例中摄像头经过红外滤波后获得图像的二值化图像；
图4为本发明一种实施例中红外管电路板在单目摄像头坐标系下的标定图；
图5为本发明一种实施例中用于机器人跟踪的视觉识别方法流程图；
图6为本发明一种实施例步骤S10之前步骤流程图；
图7为本发明一种实施例步骤S30具体步骤流程图；
图8为本发明一种实施例步骤S302具体步骤流程图；
图9为本发明一种实施例步骤S40具体步骤流程图；
图10为本发明一种实施例单独旋转时成像原理图，其中，图(a)表示无旋转示意图；图(b)表示绕光轴OZ旋转ψ＞0示意图；图(c)表示绕光轴OY旋转θ＞0示意图；图(d)表示绕光轴OY旋转正角度φ＞0示意图；
图11为本发明一种实施例步骤S405具体步骤流程图；
图12为本发明一种实施例实验结果图像示意图；
附图标记说明：
1-光源移动机器人；2-图像采集移动机器人；3-摄像头成像平面；4-红外发光二极管区域；5-大面积红外光干扰；6-红外噪点；101-红外发光管电路板；201-摄像头；202-红外透光片；203-控制单元；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种用于机器人跟踪的视觉识别系统；
本发明一种优选实施例中，参考图1，系统包括光源移动机器人1和图像采集移动机器人2，其中，所述的光源移动机器人1设置有红外发光管电路板101，所述的图像采集移动机器人2设置有摄像头201，所述摄像头201前端设置有红外透光片202，所述图像采集移动机器人2还设置有用于提取光源形状和跟随光源移动机器人的控制单元203。
本发明一种优选实施例中，参考图2，在所述红外发光管电路板101上设置有由5个红外二极管(LED1、LED2、LED3、LED4、LED5)构成的非线性非对称构型。
本实施例中，红外发光二极管被布置在一块平板上面，具有一定的布置形式(红外二极管应该组成若干相互垂直的线段，如图2所示)；所呈现的整体形状应该具有非线性非对称构型。如果在多移动机器人应用场合，可以对不同移动机器人设置不同形状的红外发光二极管布局，实现对不同移动机器人的识别与跟踪。首先，图像采集移动机器人2摄像头应对光源移动机器人1安装的红外管布置构型进行校正，然后，图像采集移动机器人2可以通过自身安装的摄像头检测光源移动机器人1上安装的红外二极管电路板的典型构型，通过分析构型的畸变推测该机器人与自身的相对位置和姿态关系；典型布置形式如图2所示。
本发明一种优选实施例中，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。
本发明一种优选实施例中，所述的控制单元包括光源形状提取模块；光源形状提取模块：用于沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值，根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；沿图像坐标系y正方向扫描图像，记录白色区域轮廓，根据对应红外二极管拓扑位置是否有白色连通区域，确定是反射光源的小面积噪点或再次粗判；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数；
本发明实施例中，由于摄像头表面被红外透光片所覆盖，因此进入摄像头的可见光部分被完全滤掉，因此环境中可见光的变化将对摄像头的识别无任何影响。但是，在一般环境的可见光中，通常也掺杂着红外光的成分，因此，要对摄像头检测的图像要进行滤波处理。由于所采用的红外光透光片滤波的方法，因此不需要使用复杂且速度慢的高斯滤波、腐蚀膨胀算法等。由于红外管相对于环境中的红外光线强度较高，因此非常容易在图像中将红外管与其他干扰红外光线区别开，因此可以根据对红外管拓扑结构的先验知识，对图像进行粗滤波。
当把摄像头获取到的一幅图像转换为二值图像后，图像中内容变为若干个互补连同的区域，参考图3，图中4表示红外发光二极管区域；5表示大面积红外光干扰；6表示红外噪点，中间方框中的四个圆面连通区域为检测到的具有菱形拓扑结构的红外发光二极管区域4，是有用信息；图像中其他连通的白色区域为不同种类的噪声，其中，大面积的白色区域(大面积红外光干扰5)表示环境中光源(如太阳光，电灯)中夹杂的红外光线；小面积的白色连通区域(红外噪点6)大多是由于环境中不发光物体对于光源的反射。
本发明一种优选实施例中，所述的控制单元包括跟随轨迹生成模块；跟随轨迹生成模块：用于获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标，进而获取摄像头图像期望目标位置误差，根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数，根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向，沿俯仰方向、滚转方向和偏航方向调节摄像头的角度，并实时计算俯仰角度、滚转角度和偏航角度，当俯仰角度、滚转角度和偏航角度均为0时，停止摄像头的角度调节。
本发明一种优选实施例中，所述的控制单元，还包括参数标定模块，用于标定摄像头内外参数及红外二极管电路板与摄像头之间的参数。
本实施例中，所述的标定摄像头内外参数，该标定算法为现有的公知技术(具体可参考Medioni，G.；Kang，S.B.，Medioni，G.，Emerging Topics in Computer Vision，PrenticeHall Professional Technical Reference，2004；这里不再赘述)；
本发明一种优选实施例中，所述的红外二极管电路板与摄像头之间的参数，具体为：
使装有红外二极管的电路板101所在平面垂直于摄像头成像平面3光轴(OZ)，即通过透视中心O的直线，参考图4；
标定时，第一，尽量保证红外二极管分布的几何中心处于光轴上；第二，要保持红外管组成的若干相互垂直的线段与图像坐标系坐标轴平行或正交。将红外二极管电路板所在平面固定在距离摄像头图像平面两个已知的距离和测量图像中红外管在图像中对应的像素个数，计算距离参数σ；
具体计算规则如下：
其中，代表在摄像头图像平面下第i和第j个红外二极管之间在图像中的像素距离；n代表红外二极管的总数；
由公式(1)推算红外二极管所在平面与摄像头图像平面的距离l，如下公式(2)所示：
其中，
根据实际情况(如摄像头像素、红外二极管功率等具体应用场合)，确定摄像头最大识别范围，即摄像头图像平面距离红外二极管平面的最大距离lsup，记录在最大距离lsup下，红外二极管在摄像头捕捉图像中的灰度值pmin；定义摄像头图像平面距离红外二极管平面的最小距离为linf，记录红外二极管在图像中显示的像素跨度
再计算相对变形参数γrel和绝对变形参数γabs，具体如下：
同样，使装有红外二极管的电路板101所在平面垂直于摄像头成像平面3光轴(OZ)即通过透视中心的直线(但不要求电路板与摄像头图像平面在固定距离下)；
两个变形参数用于计算摄像头坐标系相对于红外管电路板的旋转信息，具体计算方法如下：
其中，代表第j个红外管在当前距离下无旋转时应该所处的图像中的圆形中心；代表无旋转时中心和中心之间的距离；代表第j个红外管在图像中的所显示的白色圆形的中心；代表中心和中心的像素距离；符号(·)h代表无旋转时水平线段(即与图像坐标系Y轴正交)旋转后在水平轴上的投影，(·)v代表无旋转时竖直线段(即与图像坐标系X轴正交)旋转后在竖直轴上的投影。
记γorigin为摄像头相对于红外管平面无旋转时的相对变形参数；可见，当γrel＝γorigin时，摄像头相对于红外管平面无旋转或只有偏航旋转；当时，摄像头相对于红外管平面无旋转或只有俯仰旋转；当摄像头相对于红外管平面无旋转或只有滚转旋转；
标定红外二极管平面相对于摄像头图像平面最大姿态角，包括：俯仰、滚转、偏航三个角度φ，θ，手动标定分别当|φ|＝φmax，|θ|＝θmax，时，变形系数的值和
本发明还提出一种用于机器人跟踪的视觉识别方法；
本发明一种优选实施例中，参考图5，包括：
S10、图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像；
S20、将图像转换为灰度图像；
S30、获取灰度图像中光源移动机器人的红外二极管形状轮廓；
S40、根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度。
本发明一种优选实施例中，参考图6，在所述的步骤S10之前，还包括：
S50、对摄像头内、外参数进行标定；
S60、对红外二极管电路板与摄像头之间的参数进行标定。
此部分内容上文已经阐述，此处不再复述；
本发明一种优选实施例中，形状识别算法负责把有用的红外二极管图像从各种噪声中提取出来，参考图7，在所述步骤S30，具体包括：
S301、沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值；
本实施例中，输入：摄像头获得的RGB图像灰度图；灰度值gmin；最大像素跨度内部变量：Pixelled＝0；查找到的LED个数nled＝0；输出：红外二极管在图像中的坐标与尺寸；
本实施例中，设定二值化灰度阈值为gmin，将获得的灰度图像二值化；寻找图像中所有白色区域轮廓；在图像坐标系(如图3所示)中x正方向行扫描图像记录白色区域轮廓计算轮廓在x方向像素跨度值Pixelled。
S302、根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；
本发明一种优选实施例中，参考图8，所述的粗判具体步骤如下：
S3021、判断是否成立，若是，则执行S3022，否则，执行3023；
S3022、为待检测的红外二极管，记录nled+1；
S3023、为环境光源的大面积噪声，nled＝0；
S303、沿图像坐标系y正方向扫描图像，记录白色区域轮廓；
S304、根据对应红外二极管拓扑位置是否有白色连通区域，确定是反射光源的小面积噪点或再次粗判；
本发明一种优选实施例中，具体判断过程为：若对应红外二极管拓扑位置有白色连通区域，则继续向下行扫描图像记录白色区域轮廓，并返回执行步骤S301；若对应红外二极管拓扑位置没有白色连通区域，则为反射光源的小面积噪点；
S305、完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。
本实施例中，若检测的nled＝红外二极管的总数，则识别成功，否则识别失败；
本发明一种优选实施例中，获取了所有红外二极管在图像中的位置与白色区域像素个数后，就可以以此计算机器人的期望运行轨迹，其算法如下文所示；算法的核心是将机器人的平动和转动解耦。平动保持图像中红外二极管构型几何中心与图像平面中心坐标重合；转动的目的是使得图像中二极管几何构型各部分比例相等。即满足如下关系
其中，代表第j-1和第j个红外二极管之间的图像距离；lj-1lj代表第j-1和第j个红外二极管之间的实际距离。
本发明一种优选实施例中，6DPR跟随轨迹生成算法，输入：所有红外二极管白色区域位置及像素个数；内部变量：nled＝0；输出：机器人6自由度期望平动误差、转动角度；参考图9，在所述步骤S40，具体包括：
S401、获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标(x，y)；
S402、获取摄像头图像期望目标误差(xmax/2-x，ymax/2-y)；
S403、根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；
S404、获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数和
S405、根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向；
本发明一种优选实施例中，单独旋转时成像原理图如图10所示；流程图参考图11，包括：
S4051、根据投影像素数，获得相对变形参数γrel；
S4052、判断γrel是否等于γorigin，若是，则执行步骤S4053；否则，获取偏航旋转角度，将摄像头以光轴为中心以负方向旋转，直至偏航旋转角度为0停止旋转，并执行步骤S4055；
S4053、判断是否并且若是，则摄像头相对于红外管平面无旋转；否则，执行S4054；
S4054、判断是否若是，则摄像头相对于红外管平面仅有偏航旋转，获取偏航旋转角度，将摄像头以光轴为中心以负方向旋转，直至偏航旋转角度为0停止旋转；
S4055、；判断是否且若是，则计算俯仰角度和滚转角度，并确定俯仰方向和滚转方向；
S4056、摄像头绕图像坐标系X轴和Y轴分别确定的方向进行旋转，并实时计算俯仰角度和滚转角度，直至俯仰角度和滚转角度均为0，摄像头停止旋转；
S406、沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节；
本实施例中，沿俯仰方向、滚转方向和或偏航方向调节摄像头的角度，并实时计算俯仰角度、滚转角度和偏航角度，当俯仰角度、滚转角度和偏航角度为0时，停止摄像头的角度调节；角度调节后，判断红外管拓扑中心是否始终处于图像中心，若是，则结束，否则返回执行步骤S402；
根据上述步骤，渐进获得摄像头相对于红外管电路板的平移和旋转信息，将此信息传递给机器人底层运动控制器，则可以实现机器人对装有红外电路板的机器人的实时跟随。
本发明已经过试验测试，结果显示本发明对于环境可见光强烈干扰具有很强的抗扰性。实验结果如图12所示。实验是在摄像头逆光的情况下完成的，如果按照普通视觉检测处理方法，摄像头无法捕捉所跟随物体的特征，视觉跟踪就会失败，然而采用本发明所述硬件系统及软件算法，可以在强烈的可见光干扰的情况下依然能够准确可靠的检测出红外发光管。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种用于机器人跟踪的视觉识别系统，其特征在于，包括光源移动机器人和图像采集移动机器人，其中，所述的光源移动机器人设置有红外发光管电路板，所述的图像采集移动机器人设置有摄像头，所述摄像头前端设置有红外透光片，所述图像采集移动机器人还设置有用于提取光源形状和跟随光源移动机器人的控制单元。
2.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的红外发光管电路板，在该电路板上设置有由多个红外二极管构成的非线性非对称构型。
3.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的红外透光片，对于波长在800nm～1200nm范围内的红外光，透光率大于90％；对于波长小于760nm的可见光波，穿透率小于0.001％。
4.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的控制单元，包括光源形状提取模块；
所述的光源形状提取模块：用于沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值，根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；沿图像坐标系y正方向扫描图像，记录白色区域轮廓，判断红外二极管拓扑位置是否有白色连通区域，若是，则继续向下行扫描图像记录白色区域轮廓，并再次进行粗判；否则为反射光源的小面积噪点；完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。
5.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的控制单元，还包括跟随轨迹生成模块；
所述的跟随轨迹生成模块：用于获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标，进而获取摄像头图像期望目标位置误差，根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数，根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而确定摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向，沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节。
6.如权利要求1所述的用于机器人跟踪的视觉识别系统，其特征在于，所述的控制单元，还包括参数标定模块，用于标定摄像头内外参数及红外二极管电路板与摄像头之间的参数。
7.一种用于机器人跟踪的视觉识别方法，其特征在于，包括：
图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像；
将图像转换为灰度图像；
获取灰度图像中光源移动机器人的红外二极管形状轮廓；
根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度。
8.如权利要求7所述的用于机器人跟踪的视觉识别方法，其特征在于，在所述的图像采集移动机器人通过带有红外透光片的摄像头拍摄包含光源移动机器人在内的图像步骤之前，还包括：
对摄像头内、外参数进行标定；
对红外二极管电路板与摄像头之间的参数进行标定。
9.如权利要求7所述的用于机器人跟踪的视觉识别方法，其特征在于，在所述的获取灰度图像中光源移动机器人的红外二极管形状轮廓，具体包括：
沿图像坐标系x正方向行扫描图像，记录白色区域轮廓并获得轮廓横向像素跨度值；
根据轮廓横向像素跨度值进行粗判，确定是环境光源的大面积噪声或红外二极管；
沿图像坐标系y正方向扫描图像，记录白色区域轮廓；
判断红外二极管拓扑位置是否有白色连通区域，若是，则继续向下行扫描图像记录白色区域轮廓，并再次进行粗判；否则为反射光源的小面积噪点；
完成所有红外二极管的检测，获取红外二极管光源所在图像的位置及像素个数。
10.如权利要求7所述的用于机器人跟踪的视觉识别方法，其特征在于，在所述的根据红外二极管形状轮廓获取图像采集移动机器人相对于光源移动机器人的跟随轨迹，根据所获跟随轨迹控制图像采集移动机器人运动及调整摄像头角度，具体包括：
获取红外二极管拓扑分布中心在摄像头图像坐标系下的坐标；
获取摄像头图像期望目标位置误差；
根据摄像头图像坐标系和图像采集移动机器人运动坐标系的转换关系，将摄像头图像期望目标误差转化为机器人运动相对误差，并根据该误差控制图像采集移动机器人运动；
获取各个红外二极管间线段在摄像头图像坐标系X、Y轴上的投影像素数；
根据投影像素数，获得相对变形参数、水平线段绝对变形参数和竖直线段绝对变形参数，进而获得摄像头相对于红外管平面的俯仰角度、滚转角度、偏航角度、俯仰方向、滚转方向和偏航方向；
沿所确定方向调节摄像头的角度，当对应角度为0时，停止摄像头的角度调节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711219285.8A CN107797560B (zh) | 2017-11-28 | 2017-11-28 | 一种用于机器人跟踪的视觉识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711219285.8A CN107797560B (zh) | 2017-11-28 | 2017-11-28 | 一种用于机器人跟踪的视觉识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107797560A true CN107797560A (zh) | 2018-03-13 |
| CN107797560B CN107797560B (zh) | 2023-06-20 |
Family
ID=61537044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711219285.8A Active CN107797560B (zh) | 2017-11-28 | 2017-11-28 | 一种用于机器人跟踪的视觉识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107797560B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230869A (zh) * | 2018-03-19 | 2018-06-29 | 重庆鲁班机器人技术研究院有限公司 | 教学机器人及教学机器系统 |
| CN108574804A (zh) * | 2018-07-04 | 2018-09-25 | 珠海市微半导体有限公司 | 一种用于视觉机器人的光源补偿系统及方法 |
| CN109115773A (zh) * | 2018-07-20 | 2019-01-01 | 苏州光图智能科技有限公司 | 轮胎信息验证方法、装置及存储介质 |
| CN110480292A (zh) * | 2018-08-29 | 2019-11-22 | 中山大学 | 一种自动化工艺线的金属料盘视觉定位系统 |
| CN111157003A (zh) * | 2019-12-30 | 2020-05-15 | 苏州绿创检测技术服务有限公司 | 一种室内移动机器人位置跟踪检测方法 |
| CN111445521A (zh) * | 2020-02-24 | 2020-07-24 | 季华实验室 | 目标工件位置确定方法、装置、终端及可读存储介质 |
| CN112099505A (zh) * | 2020-09-17 | 2020-12-18 | 湖南大学 | 一种低复杂度的移动机器人视觉伺服编队控制方法 |
| CN113008079A (zh) * | 2021-03-02 | 2021-06-22 | 江苏科技大学 | 一种基于视觉定位跟踪的捕捉网发射装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521843A (en) * | 1992-01-30 | 1996-05-28 | Fujitsu Limited | System for and method of recognizing and tracking target mark |
| JPH1013729A (ja) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | 追尾装置 |
| JP2000050145A (ja) * | 1998-05-26 | 2000-02-18 | Matsushita Electric Works Ltd | 自動追尾装置 |
| CN1794010A (zh) * | 2005-12-19 | 2006-06-28 | 北京威亚视讯科技有限公司 | 位置姿态跟踪系统 |
| DE102013201650A1 (de) * | 2013-01-31 | 2014-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und system zur erkennung einer position oder form eines leuchtelements |
| CN105307115A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于行动机器人的分布式视觉定位系统及方法 |
| CN106441238A (zh) * | 2016-06-01 | 2017-02-22 | 昆山塔米机器人有限公司 | 一种基于红外视觉技术的机器人的定位装置及其定位导航算法 |
| CN106607907A (zh) * | 2016-12-23 | 2017-05-03 | 西安交通大学 | 一种移动视觉机器人及其测控方法 |
-
2017
- 2017-11-28 CN CN201711219285.8A patent/CN107797560B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521843A (en) * | 1992-01-30 | 1996-05-28 | Fujitsu Limited | System for and method of recognizing and tracking target mark |
| JPH1013729A (ja) * | 1996-06-19 | 1998-01-16 | Matsushita Electric Works Ltd | 追尾装置 |
| JP2000050145A (ja) * | 1998-05-26 | 2000-02-18 | Matsushita Electric Works Ltd | 自動追尾装置 |
| CN1794010A (zh) * | 2005-12-19 | 2006-06-28 | 北京威亚视讯科技有限公司 | 位置姿态跟踪系统 |
| DE102013201650A1 (de) * | 2013-01-31 | 2014-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und system zur erkennung einer position oder form eines leuchtelements |
| CN105307115A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于行动机器人的分布式视觉定位系统及方法 |
| CN106441238A (zh) * | 2016-06-01 | 2017-02-22 | 昆山塔米机器人有限公司 | 一种基于红外视觉技术的机器人的定位装置及其定位导航算法 |
| CN106607907A (zh) * | 2016-12-23 | 2017-05-03 | 西安交通大学 | 一种移动视觉机器人及其测控方法 |
Non-Patent Citations (1)
| Title |
|---|
| 虞旦;韦巍;张远辉;: "基于单目视觉的移动机器人跟随" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230869A (zh) * | 2018-03-19 | 2018-06-29 | 重庆鲁班机器人技术研究院有限公司 | 教学机器人及教学机器系统 |
| CN108574804A (zh) * | 2018-07-04 | 2018-09-25 | 珠海市微半导体有限公司 | 一种用于视觉机器人的光源补偿系统及方法 |
| CN109115773A (zh) * | 2018-07-20 | 2019-01-01 | 苏州光图智能科技有限公司 | 轮胎信息验证方法、装置及存储介质 |
| CN110480292A (zh) * | 2018-08-29 | 2019-11-22 | 中山大学 | 一种自动化工艺线的金属料盘视觉定位系统 |
| CN111157003A (zh) * | 2019-12-30 | 2020-05-15 | 苏州绿创检测技术服务有限公司 | 一种室内移动机器人位置跟踪检测方法 |
| CN111445521A (zh) * | 2020-02-24 | 2020-07-24 | 季华实验室 | 目标工件位置确定方法、装置、终端及可读存储介质 |
| CN112099505A (zh) * | 2020-09-17 | 2020-12-18 | 湖南大学 | 一种低复杂度的移动机器人视觉伺服编队控制方法 |
| CN113008079A (zh) * | 2021-03-02 | 2021-06-22 | 江苏科技大学 | 一种基于视觉定位跟踪的捕捉网发射装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107797560B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107797560B (zh) | 一种用于机器人跟踪的视觉识别系统及方法 | |
| US11948462B2 (en) | Image generating apparatus, image generating method, and recording medium | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN108027248A (zh) | 具有基于特征的定位和导航的工业车辆 | |
| US9049397B2 (en) | Image processing device and image processing method | |
| CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| Zuo et al. | Devo: Depth-event camera visual odometry in challenging conditions | |
| CN113269762B (zh) | 屏幕不良检测方法、系统及计算机存储介质 | |
| CN106908064B (zh) | 一种基于Kinect2传感器的室内夜间视觉导航方法 | |
| JP2014229303A (ja) | シーン内の物体を検出する方法 | |
| CN112184765B (zh) | 一种用于水下航行器的自主跟踪方法 | |
| CN111784655A (zh) | 一种水下机器人回收定位方法 | |
| TW202029134A (zh) | 行車偵測方法、車輛及行車處理裝置 | |
| CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
| Choi et al. | A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles: Its calibration and application | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
| CN111435429B (zh) | 一种基于双目立体数据动态认知的手势识别方法及系统 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN208314563U (zh) | 一种用于机器人跟踪的视觉识别系统 | |
| CN115406414B (zh) | 一种面向空间站机械臂的动态目标测量在轨光照评估方法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| CN115909075A (zh) | 基于深度视觉的输电线识别与定位方法 | |
| CN113255455B (zh) | 基于矢量去光照影响算法的单目相机物体识别与定位方法 | |
| TWI736960B (zh) | 同步定位與建圖優化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210818 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: SHENZHEN CAS DERUI INTELLIGENT TECH Co.,Ltd. Address before: 511458 building a, 1121 Haibin Road, Nansha District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU INSTITUTE OF ADVANCED TECHNOLOGY, CHINESE ACADEMY OF SCIENCES Applicant before: SHENZHEN CAS DERUI INTELLIGENT TECH Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |