CN103522304A - 一种基于母机器人视觉的子机器人入舱方法 - Google Patents

Abstract

本发明公开了一种基于母机器人视觉的子机器人入舱方法。子机器人在其前行方向的左侧、右侧和后侧各贴有一个识别标识，每个识别标识由两个能视觉区分的矩形块上下排布构成，母机器人根据一图像撷取装置采集周围环境的图像，并根据识别标识的矩形块的像素特性和排布关系，提取出图像撷取装置所采集周围环境的图像中的识别标识的矩形块交界线段，进而计算出视景方位系数以及矩形块交界线段长度比例系数，据此进行决策并将运动指令传递给子机器人以指导子机器人的入舱运动。本发明实时性好，为机器人自动回收等方面的应用提供技术支撑。

Description

一种基于母机器人视觉的子机器人入舱方法

技术领域

本发明涉及多机器人系统技术领域，特别是一种基于母机器人视觉的子机器人入舱方法。

背景技术

随着机器人技术的发展和应用领域的不断拓展，多机器人系统被广泛研究，考虑到环境的复杂性使得单纯一类机器人可能无法完成任务，子母式机器人系统受到了重视，子母式机器人系统旨在整合运输型机器人(母机器人)的航运能力及小型机器人(子机器人)对特定工作空间或特定工种的适应力。鉴于子母式机器人系统对环境优良的适应能力，国内外研究机构从地-空、海-空、地-地等多角度开展了深入的研究研究工作，并研发出相应的实验样机，代表性的包括MACS-RACS系统、用于城镇搜索和救援的Silver Bullet与Bujold系统、Pioneer2-AT／Scouts系统等。其中，子机器人的回收是一个非常关键的难点。采用远程遥控完成子机器人入舱的方式在实际应用中具有较大的局限性；子机器人将自身图像通过有线方式回传给母机器人用于入舱口引导标识的提取，这限制了子机器人的活动范围，若采用无线方式回传图像，又会占用大量的通讯带宽，易受干扰。当子机器人受体积与运算能力等限制时，可能单纯依靠自身感知无法完成入舱，因此，有必要借助母机器人所携带的图像撷取装置感知子机器人进而实现对子机器人入舱的有效指引。

发明内容

(一)要解决的技术问题

本发明的目的是面向采用母机器人所携带图像撷取装置感知子机器人姿态进而指导子机器人入舱的问题，提供了一种基于母机器人视觉的子机器人入舱方法，使得子机器人在母机器人的视觉协助下，达到令人满意的入舱效果。

(二)技术方案

为解决上述技术问题，本发明提出一种基于母机器人视觉的子机器人入舱方法，所述母机器人具有一个用于容纳子机器人的回收舱，回收舱具有一个入口供子机器人出入，所述母机器人还具有一个图像撷取装置，其能够撷取该母机器人周围环境的图像；所述子机器人在其前行方向的左侧、右侧和后侧各贴有一个识别标识，每个识别标识具有一个标识图案，该图案由两个矩形块上下排布构成，且两个矩形块能够被视觉区分，其中左侧识别标识和右侧识别标识相同，且所述左侧的识别标识和右侧的识别标识的设置位置能够使得其不会同时出现于母机器人图像撷取装置所采集的周围环境的图像中；所述子机器人入舱方法包括：

步骤S1、所述母机器人通过所述图像撷取装置采集周围环境的图像；步骤S2、所述母机器人提取所述周围环境的图像中的识别标识的矩形块交界线段，并判断其是A类矩形块交界线段还是B类矩形块交界线段，所述A类矩形块交界线段是所述左侧或右侧的识别标识的矩形块交界线段，所述B类矩形块交界线段是所述后侧的识别标识的矩形块交界线段；步骤S3、所述母机器人计算视景方位系数U_m以及矩形块交界线段长度比例系数R_m，所述视景方位系数反映的是所述子机器人相对回收入口的方位；所述矩形块交界线段长度比例系数是指所述A类矩形块交界线段的长度u_a占A类矩形块交界线段的长度u_a与B类矩形块交界线段的长度u_b之和的比例；步骤S4、所述母机器人根据所述视景方位系数U_m以及矩形块交界线段长度比例系数R_m进行决策并将运动指令传递给所述子机器人以指导子机器人的入舱运动。

根据本发明的具体实施方式，所述步骤S2包括：步骤S21、提取所述周围环境的图像中的识别标识的矩形块交界点；步骤S22、根据提取出的所述周围环境的图像中的识别标识的矩形块交界点，以连通生长方式得到所述周围环境的图像中的识别标识的矩形块交界线段。

根据本发明的具体实施方式，所述步骤S22为：对图像撷取装置采集的图像由左到右逐列扫描；在提取到首个A类矩形块交界点后将其记录为一条长度为1的A类候选矩形块交界线段，在后续扫描中每提取到一个新的A类矩形块交界点，如果该点和所记录的某条A类候选矩形块交界线段足够邻近，则将该点生长到相应的A类候选矩形块交界线段中，否则，将该点记录为一条新的长度为1的A类候选矩形块交界线段；B类候选矩形块交界线段的连通生长方式采用A类候选矩形块交界线段的连通生长方式相同的方式进行；扫描结束后，将最长的B类候选矩形块交界线段作为B类矩形块交界线段，对于最长的A类候选矩形块交界线段，若其长度不小于给定阈值L_a，则将其作为A类矩形块交界线段。

根据本发明的具体实施方式，在步骤S3中，当未提取到A类矩形块交界线段时，R_m＝0；当u_a＜u_b时，R_m为正；当u_a＞u_b时，R_m为负；并且，

所述视景方位系数U_m以及矩形块交界线段长度比例系数R_m计算如下：当母机器人提取到A类矩形块交界线段时， $\left\{\begin{array}{c}{U}_m=\frac{(u_a+u_b)-w}{w}\\ R_m=\mathrm{sgn}(u_b-u_a)\frac{l_a}{l_a+l_b}\end{array}\right.,$ 否则， $\left\{\begin{array}{c}{U}_m=\frac{2u_b-w}{w}\\ R_m=0\end{array}\right.,$ 其中，w为图像撷取装置所采集图像的宽度。

根据本发明的具体实施方式，在所述步骤S4中，首先根据U_m计算出期望的矩形块交界线段长度比例系数

若R_m减去

的值超出给定阈值T_R，将顺时针原地旋转运动指令传递给子机器人直到R_m减去的值在[-T_R，T_R]范围内；若R_m减去

的值低于-T_R，将逆时针原地旋转运动指令传递给子机器人直到R_m减去

的值在[-T_R，T_R]范围内；当R_m减去

的值在[-T_R，T_R]范围内时，将向后退行运动指令传递给子机器人；最终，U_m、R_m均基本为零，子机器人向后退行运动可使得其进入回收舱中。

根据本发明的具体实施方式，所述期望的矩形块交界线段长度比例系数

计算如下：

$\stackrel{\&OverBar;}{R_m}=\left\{\begin{array}{cc}0.8& (-1\&le;U_m<-0.6)\\ 0.5& (-0.6\&le;U_m<-0.4)\\ 0.3& (-0.4\&le;U_m<-0.05)\\ 0& (-0.05\&le;U_m\&le;0.05)\\ -0.3& (0.05<U_m\&le;0.4)\\ -0.5& (0.4<U_m\&le;0.6)\\ -0.8& (0.6<U_m\&le;1)\end{array}\right..$

(三)有益效果

本发明一种基于母机器人视觉的子机器人入舱方法，通过母机器人所携带图像撷取装置感知子机器人的姿态，实时性好，为机器人自动回收等方面的应用提供技术支撑。

附图说明

图1是本发明的基于母机器人视觉的子机器人入舱示意图；

图2是本发明的基于母机器人视觉的子机器人入舱方法框图；

图3A和图3B为本发明的一个实施例的子机器人入舱的轨迹以及视景方位系数U_m和矩形块交界线段长度比例系数R_m的变化曲线。

具体实施方式

为使本发明的目的、技术方案更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于所述值。

本发明提供了一种基于母机器人视觉的子机器人入舱方法，所述母机器人具有一个用于容纳子机器人的回收舱，所述子机器人能够原地旋转和向后退行运动。本发明的母机器人基于视觉感知子机器人的位姿，指导子机器人进行航向调整，最终使得子机器人以向后退行的方式进入位于母机器人后部的回收舱中。

图1是本发明的基于母机器人视觉的子机器人入舱示意图，如图1所示，母机器人的回收舱具有一个入口供子机器人出入。此外，母机器人还具有一个图像撷取装置，其能够撷取该母机器人周围环境的图像。在图1中，母机器人的回收舱位于母机器人的后部，图像撷取装置为安装在回收舱上方的摄像头，并对准回收舱入口的正前方。

子机器人在其前行方向的左侧、右侧和后侧各贴有一个识别标识，每个识别标识具有一个标识图案，该图案由两个矩形块上下排布构成，且两个矩形块能够被视觉区分，即其具有不同的颜色或亮度。其中，左侧识别标识和右侧识别标识是相同的，并且左侧的识别标识和右侧的识别标识的设置位置能够使得其不会同时出现于母机器人图像撷取装置所采集的周围环境的图像中。当识别标识被母机器人图像撷取装置采集到时，存在下面三种情况：只有子机器人的后侧识别标识被母机器人图像撷取装置采集到；子机器人的左侧识别标识和后侧识别标识同时被母机器人图像撷取装置采集到；子机器人的右侧识别标识和后侧识别标识同时被母机器人图像撷取装置采集到。

本发明的入舱方法主要包括如下步骤：首先，母机器人依靠图像撷取装置采集周围环境的图像；接着，母机器人根据识别标识的矩形块的像素特性和排布关系，提取出所述周围环境的图像中的识别标识的矩形块交界点，进而以连通生长方式得到所述周围环境的图像中的识别标识的矩形块交界线段；然后，母机器人根据得到的识别标识的矩形块交界线段在图像中的位置和长度，计算视景方位系数U_m以及矩形块交界线段长度比例系数R_m；最后，母机器人根据视景方位系数U_m以及矩形块交界线段长度比例系数R_m进行决策并将运动指令传递给子机器人以指导子机器人的入舱运动。

图2显示了本发明的基于母机器人视觉的子机器人入舱方法框图，如图2所示，该方法包括如下步骤：

步骤S1、母机器人通过所述图像撷取装置采集周围环境的图像。

步骤S2、母机器人提取所述周围环境的图像中的识别标识的矩形块交界线段，并判断其是A类矩形块交界线段还是B类矩形块交界线段，所述A类矩形块交界线段是所述左侧或右侧的识别标识的矩形块交界线段，所述B类矩形块交界线段是所述后侧的识别标识的矩形块交界线段。

该步骤S2包括：

步骤S21、提取所述周围环境的图像中的识别标识的矩形块交界点。

在此，选取左侧的识别标识和右侧的识别标识为上绿下红式、选取后侧的识别标识为上红下绿式进行介绍。本领域技术人员应当理解，识别标识的矩形块的颜色或亮度均可以合理选择，此处不再赘述。

例如，当两个矩形块分别为红、绿矩形块时，在判断各像素点或红或绿时，按照如下方式确定像素点颜色特性：当某像素点的RGB分量同时满足R＞1.5B和R＞1.5G，则将该像素点认为是红色像素点；若某像素点的RGB分量同时满足G＞1.5B和G＞1.5R，则将该像素点认为是绿色像素点。

当某像素点同时满足往上连续的5个像素点中存在不少于3个绿色像素点且往下连续的5个像素点中存在不少于3个红色像素点，则将该像素点认为是上绿下红式识别标识的一个矩形块交界点，并将其标记为一个A类矩形块交界点；当某像素点同时满足往上连续的5个像素点中存在不少于3个红色像素点且往下连续的5个像素点中存在不少于3个绿色像素点，则将该像素点认为是上红下绿式识别标识的一个矩形块交界点，并将其标记为一个B类矩形块交界点。

步骤S22、根据提取出的所述周围环境的图像中的识别标识的矩形块交界点，以连通生长方式得到所述周围环境的图像中的识别标识的矩形块交界线段。

对图像撷取装置采集的周围环境的图像由左到右逐列扫描；在提取到首个A类矩形块交界点后将其记录为一条长度为1的A类候选矩形块交界线段，在后续扫描中每提取到一个新的A类矩形块交界点，如果该点和所记录的某条A类候选矩形块交界线段足够邻近，则将该点生长到相应的A类候选矩形块交界线段中，否则，将该点记录为一条新的长度为1的A类候选矩形块交界线段；B类候选矩形块交界线段的连通生长方式采用A类候选矩形块交界线段的连通生长方式相同的方式进行；扫描结束后，将最长的B类候选矩形块交界线段作为B类矩形块交界线段，记该线段的长度和其中心点在图像中的横坐标分别为l_b和u_b；对于最长的A类候选矩形块交界线段，若其长度不小于给定阈值L_a，则将其作为A类矩形块交界线段，记该线段的长度和其中心点在图像中的横坐标分别为l_a和u_a。需要说明的是，A类矩形块交界线段和B类矩形块交界线段不可能重叠。

S3、母机器人计算视景方位系数U_m以及矩形块交界线段长度比例系数R_m，所述视景方位系数反映了子机器人相对回收入口的方位。矩形块交界线段长度比例系数是指A类矩形块交界线段的长度u_a占A类矩形块交界线段的长度u_a与B类矩形块交界线段的长度u_b之和的比例。

当未提取到A类矩形块交界线段时，R_m＝0。当u_a＜u_b时，R_m为正；当U_a＞u_b时，R_m为负。

视景方位系数U_m以及矩形块交界线段长度比例系数R_m计算如下：当母机器人提取到A类矩形块交界线段时， $\left\{\begin{array}{c}{U}_m=\frac{(u_a+u_b)-w}{w}\\ R_m=\mathrm{sgn}(u_b-u_a)\frac{l_a}{l_a+l_b}\end{array}\right.,$ 否则， $\left\{\begin{array}{c}{U}_m=\frac{2u_b-w}{w}\\ R_m=0\end{array}\right.,$ 其中，w为图像撷取装置所采集图像的宽度。

由上可知，所述视景方位系数U_m等于0表示子机器人处于母机器人的回收舱入口的正前方；U_m小于0表示子机器人处于母机器人的回收舱入口的左前方；U_m大于0表示子机器人处于母机器人的回收舱入口的右前方；所述矩形块交界线段长度比例系数R_m等于0表示子机器人的尾部正对母机器人的回收舱的入口；R_m小于0表示子机器人的尾部指向母机器人的回收舱入口的左侧；R_m大于0表示子机器人的尾部指向母机器人的回收舱入口的右侧。

步骤S4、母机器人根据视景方位系数U_m以及矩形块交界线段长度比例系数R_m进行决策并将运动指令传递给子机器人以指导子机器人的入舱运动。

母机器人首先根据视景方位系数U_m计算出期望的矩形块交界线段长度比例系数

计算如下：

$\stackrel{\&OverBar;}{R_m}=\left\{\begin{array}{cc}0.8& (-1\&le;U_m<-0.6)\\ 0.5& (-0.6\&le;U_m<-0.4)\\ 0.3& (-0.4\&le;U_m<-0.05)\\ 0& (-0.05\&le;U_m\&le;0.05)\\ -0.3& (0.05<U_m\&le;0.4)\\ -0.5& (0.4<U_m\&le;0.6)\\ -0.8& (0.6<U_m\&le;1)\end{array}\right..$

进而，母机器人判断矩形块交界线段长度比例系数R_m与的大小关系，若R_m减去

的值超出给定阈值T_R，将顺时针原地旋转运动指令传递给子机器人直到R_m减去

的值在[-T_R，T_R]范围内；若R_m减去

的值低于-T_R，将逆时针原地旋转运动指令传递给子机器人直到R_m减去

的值在[-T_R，T_R]范围内；当R_m减去

的值在[-T_R，T_R]范围内时，将向后退行运动指令传递给子机器人；最终，U_m、R_m均基本为零，子机器人向后退行运动可使得其进入回收舱中。

实施例

在一个具体实施例中，子机器人采用小型履带机器人，母机器人的图像撷取装置采用Logitech Webcam C160摄像头，母机器人的回收舱由亚克力板料粘连而成，子机器人左侧的识别标识和右侧的识别标识为上绿下红式，子机器人后侧的识别标识为上红下绿式。取w为720像素，取L_a为15像素，T_R＝0.05。

采用本发明所提供的方法，能够满足实际的需求，图3A和图3B分别给出了子机器人入舱的轨迹，以及视景方位系数U_m和矩形块交界线段长度比例系数R_m的变化曲线，其中，S_c为子机器人的初始位置，E_c为回收舱所在的位置。可以看出，子机器人在母机器人视觉的协助下，顺利完成了入舱任务。

Claims (6)

1.一种基于母机器人视觉的子机器人入舱方法，所述母机器人具有一个用于容纳子机器人的回收舱，回收舱具有一个入口供子机器人出入，其特征在于，

所述母机器人还具有一个图像撷取装置，其能够撷取该母机器人周围环境的图像；

所述子机器人在其前行方向的左侧、右侧和后侧各贴有一个识别标识，每个识别标识具有一个标识图案，该图案由两个矩形块上下排布构成，且两个矩形块能够被视觉区分，其中左侧识别标识和右侧识别标识相同，且所述左侧的识别标识和右侧的识别标识的设置位置能够使得其不会同时出现于母机器人图像撷取装置所采集的周围环境的图像中；

所述子机器人入舱方法包括：

步骤S1、所述母机器人通过所述图像撷取装置采集周围环境的图像；

步骤S2、所述母机器人提取所述周围环境的图像中的识别标识的矩形块交界线段，并判断其是A类矩形块交界线段还是B类矩形块交界线段，所述A类矩形块交界线段是所述左侧或右侧的识别标识的矩形块交界线段，所述B类矩形块交界线段是所述后侧的识别标识的矩形块交界线段；

步骤S3、所述母机器人计算视景方位系数U_m以及矩形块交界线段长度比例系数R_m，所述视景方位系数反映的是所述子机器人相对回收入口的方位；所述矩形块交界线段长度比例系数是指所述A类矩形块交界线段的长度u_a占A类矩形块交界线段的长度u_a与B类矩形块交界线段的长度u_b之和的比例；

步骤S4、所述母机器人根据所述视景方位系数U_m以及矩形块交界线段长度比例系数R_m进行决策并将运动指令传递给所述子机器人以指导子机器人的入舱运动。

2.如权利要求1所述的子机器人入舱方法，其特征在于，所述步骤S2包括：

步骤S21、提取所述周围环境的图像中的识别标识的矩形块交界点；

步骤S22、根据提取出的所述周围环境的图像中的识别标识的矩形块交界点，以连通生长方式得到所述周围环境的图像中的识别标识的矩形块交界线段。

3.如权利要求2所述的子机器人入舱方法，其特征在于，所述步骤S22为：对图像撷取装置采集的图像由左到右逐列扫描；在提取到首个A类矩形块交界点后将其记录为一条长度为1的A类候选矩形块交界线段，在后续扫描中每提取到一个新的A类矩形块交界点，如果该点和所记录的某条A类候选矩形块交界线段足够邻近，则将该点生长到相应的A类候选矩形块交界线段中，否则，将该点记录为一条新的长度为1的A类候选矩形块交界线段；B类候选矩形块交界线段的连通生长方式采用A类候选矩形块交界线段的连通生长方式相同的方式进行；扫描结束后，将最长的B类候选矩形块交界线段作为B类矩形块交界线段，对于最长的A类候选矩形块交界线段，若其长度不小于给定阈值L_a，则将其作为A类矩形块交界线段。

4.如权利要求1所述的子机器人入舱方法，其特征在于，在步骤S3中，当未提取到A类矩形块交界线段时，R_m＝0；当u_a＜u_b时，R_m为正；当u_a＞u_b时，R_m为负；并且，

所述视景方位系数U_m以及矩形块交界线段长度比例系数R_m计算如下：当母机器人提取到A类矩形块交界线段时， $\left\{\begin{array}{c}{U}_m=\frac{(u_a+u_b)-w}{w}\\ R_m=\mathrm{sgn}(u_b-u_a)\frac{l_a}{l_a+l_b}\end{array}\right.,$ 否则， $\left\{\begin{array}{c}{U}_m=\frac{2u_b-w}{w}\\ R_m=0\end{array}\right.,$ 其中，w为图像撷取装置所采集图像的宽度。

5.如权利要求1所述的子机器人入舱方法，其特征在于，在所述步骤S4中，首先根据U_m计算出期望的矩形块交界线段长度比例系数

若R_m减去

的值超出给定阈值T_R，将顺时针原地旋转运动指令传递给子机器人直到R_m减去

的值在[-T_R，T_R]范围内；若R_m减去

的值低于-T_R，将逆时针原地旋转运动指令传递给子机器人直到R_m减去

的值在[-T_R，T_R]范围内；当R_m减去

的值在[-T_R，T_R]范围内时，将向后退行运动指令传递给子机器人；最终，U_m、R_m均基本为零，子机器人向后退行运动可使得其进入回收舱中。

6.如权利要求5所述的子机器人入舱方法，其特征在于，所述期望的矩形块交界线段长度比例系数

计算如下：

$\stackrel{\&OverBar;}{R_m}=\left\{\begin{array}{cc}0.8& (-1\&le;U_m<-0.6)\\ 0.5& (-0.6\&le;U_m<-0.4)\\ 0.3& (-0.4\&le;U_m<-0.05)\\ 0& (-0.05\&le;U_m\&le;0.05)\\ -0.3& (0.05<U_m\&le;0.4)\\ -0.5& (0.4<U_m\&le;0.6)\\ -0.8& (0.6<U_m\&le;1)\end{array}\right..$

Images