CN102141398B

CN102141398B - 基于单目视觉的多机器人位置与姿态测量方法

Info

Publication number: CN102141398B
Application number: CN 201010609611
Authority: CN
Inventors: 贾英民; 陈霄汉; 刘建辉
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2013-01-30
Anticipated expiration: 2030-12-28
Also published as: CN102141398A

Abstract

本发明提出了一种基于单目视觉实现任意多个机器人位置与姿态测量的方法。通过标志点的设计，使得每个机器人的图像特征具有唯一性。设计的多目标识别算法既能有效抑制环境中光线变化的干扰，又能快速准确的识别图像中的标志点。通过对世界坐标系中平面上的点采样及插值，建立了像素坐标与实际空间坐标的映射关系表。只需通过查询映射表格，就能由目标的像素坐标得到其空间位置与姿态信息。

Description

基于单目视觉的多机器人位置与姿态测量方法

技术领域

本发明属于计算机视觉技术领域，实现对多机器人的位置与姿态的确定。

背景技术

随着机器人技术的发展，单个机器人的能力得到很大的提升，但是面对一些复杂任务时，单个机器人则难以胜任。考虑到任务的复杂性，与单个机器人相比，多个简单的机器人配合完成复杂的工作不仅能降低成本，而且能提高效率。多机器人协作的应用领域越来越广，如编队控制，物体搬运等。

为实现多机器人的控制，要解决的首要问题就是机器人位置与姿态的确定。现有技术中，GPS定位系统和惯性测量单元等能确定机器人位置和姿态的信息。但这些设备造价昂贵，如果每个机器人都配置相应设备不切实际。双目视觉也能实现物体空间坐标的测量，但同样设备昂贵，且摄像机标定程序复杂，测量精度有限。为了确定多机器人位置与姿态，本发明提出了一种简单有效、可靠性高、造价低廉的测量方法，通过单目视觉就能实现对任意多个机器人位置和姿态的测量。

发明内容

本发明的目的是为多机器人提供实时的位置与姿态信息支持。基于位置与姿态信息实现多机器人的定位、通信、复杂任务的分配与合作、编队等功能。本发明的主要内容包括多目标识别与图像像素坐标到空间坐标的映射。

通过颜色标志点的设计，使得每个机器人在图像中具有区别其它机器人的唯一图像特征。标志点的选取适合图像分割，能有效排除环境中光线变化的干扰。设计的多目标识别算法能快速准确的识别图像中的标志点，每帧图像中的所有标志点的识别在一次图像处理过程中完成。通过对世界坐标系中平面上的点采样及插值，建立了像素坐标与实际空间坐标的映射关系表。只需通过查询映射表格，就能由目标的像素坐标得到所对应的空间坐标。

本发明有如下特点：

(1)单目视觉即可实现多机器人位置与姿态的测量。一个普通的摄像头是本发明对硬件设备的唯一要求，不需要对摄像机标定，或者使用双目视觉摄像机或其他昂贵的测量设备。

(2)测量方法稳定可靠，抗干扰能力强。环境中不均匀的光线分布并不影响机器人位置与姿态的准确测量。

(3)对机器人的数量没有限制。只要场地允许，摄像机视场足够大，机器人的数量可以任意增加。

(4)适用性广泛。对于其它空间多目标定位问题，本发明同样使用。

附图说明

图1世界坐标建立与采样点拾取

图2采样点分布与插值

图3多机器人标志点设计示意图

具体实施方式

1、图像像素坐标与世界坐标的映射关系

通过图像识别只能获得机器人的像素坐标，怎么将像素坐标映射到世界坐标是需要解决的关键问题之一。通过双目视觉技术确定目标的空间坐标会带来一系列的问题，如繁琐的摄像机标定过程、昂贵的双目视觉设备。本发明采用一种简单有效的方法，只需使用一个普通的摄像头，就能实现像素坐标与空间坐标的映射。通常机器人的运动被限制在平面中，因此确定机器人位姿的问题可以被转化为求解图像平面到世界坐标系中平面的映射关系。在本发明中，建立了一个图像像素坐标到世界平面坐标的映射表格。当目标的像素坐标确定之后，通过查询表格，即可知道对应的空间坐标。映射表格的建立过程如下：

(1)将摄像头置于场地的上方，使其视场能覆盖整个场地；

(2)在场地上建立世界坐标系，确定采样点，拍摄采样图像，如图1所示；

(3)图像处理，提取采样点的像素坐标；

(4)根据采样点值插值其它像素点对应的空间坐标。

以上四步中，最后一个步骤中的插值算法是整个像素坐标到世界平面坐标映射表格建立的关键。由于摄像机存在畸变，因此不管怎样取采样点，采样点在图像上的分布都是不均匀的。现有的二维插值方法中，双线性插值更合适采样点分布不均匀的情况。双线性插值方法如下。

假设p(x，y)是一个需要插值的像素点，它位于采样点A(x₁，y₁)、B(x₂，y₂)、C(x₃，y₃)、D(x₄，y₄)所包围的四边形中，四个采样点对应的实际平面坐标分别为(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)。双线性插值构成的插值曲面公式为

f(x，y)＝a₀+a₁x+a₂y+a₃xy (1)

对p(x，y)插值需要求解插值曲面的四个系数(a₀，a₁，a₂，a₃)。首先插值p点的X坐标，通过求解

[\begin{matrix} 1 & x_{1} & y_{1} & x_{1} y_{1} \\ 1 & x_{2} & y_{2} & x_{2} y_{2} \\ 1 & x_{3} & y_{3} & x_{3} y_{3} \\ 1 & x_{4} & y_{4} & x_{4} y_{4} \end{matrix}] [\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ a_{3} \end{matrix}] = [\begin{matrix} X_{1} \\ X_{2} \\ X_{3} \\ X_{4} \end{matrix}] - - - (2)

可得到X对应的插值曲面的系数，将p(x，y)代入(1)式，即可求解p点的X坐标。同理求解

[\begin{matrix} 1 & x_{1} & y_{1} & x_{1} y_{1} \\ 1 & x_{2} & y_{2} & x_{2} y_{2} \\ 1 & x_{3} & y_{3} & x_{3} y_{3} \\ 1 & x_{4} & y_{4} & x_{4} y_{4} \end{matrix}] [\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ a_{3} \end{matrix}] = [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] - - - (3)

可得到p点的Y坐标，如图2所示。如果p点不在任何采样点所构成的四边形中，则利用与p点最近的三个采样点插值。插值函数为

f(x，y)＝a₀+a₁x+a₂y (4)

2、多机器人位置与姿态的确定

环境中单个目标的识别容易实现，但是多目标的识别则比较复杂。本项目提出的多目标识别方法能快速有效的获得多个机器人的位置与姿态信息，同时对环境照明变化具有鲁棒性。

摄像机拍摄到的图像为RGB格式，此格式的图像并不适合图像分割，因此需要将图像从RGB颜色空间转换到其它的适合分割的颜色空间。尽管HSI颜色空间最适合做计算机图像处理，但是基于HSI颜色空间的图像分割方法同样对光照条件敏感。I值越小，基于HSI的图像分割精度越低。本发明采用YUV颜色模型，从RGB到YUV的转化公式为

[\begin{matrix} Y \\ U \\ V \end{matrix}] = [\begin{matrix} 0.299 & 0.587 & 0.114 \\ - 0.147 & - 0.289 & 0.436 \\ 0.615 & - 0.515 & - 0.1 \end{matrix}] [\begin{matrix} R \\ G \\ B \end{matrix}] - - - (5)

Y表示明亮度。由公式(5)可以得到U＝0.49*(B-Y)，V＝0.877*(R-Y)，U、V分别表示B、R与亮度Y的差异。当环境的亮度增加或降低时，B、R、Y的值是同时增加或降低的。由U、V的求值公式可知，当环境中光线强度变化时，U、V的值变化不大。因此基于YUV颜色模型，若选取红色、蓝色作为目标颜色，能有效的提取目标并抑制环境光线变化带来的干扰。

阈值的选取是实现目标分割的前提。通过设置U、V的下限值，就能实现对红色和蓝色的分割。与其它颜色空间相比，基于YUV颜色空间对红色或蓝色分割只需要一个阈值，而其它颜色空间对一种颜色的分割需要四个或更多的阈值。于此可以看出YUV颜色模型降低了阈值选取的难度。本发明提供了一个直观的阈值选取方法。颜色分割画面随阈值滑动条值的变化实时改变，用户通过直观判断确定满足条件的颜色阈值。

如何确定机器人的位置与姿态信息以及不同机器人的识别是需要解决的另一个关键问题。由于机器人的运动被限制在平面，因此只具有三个自由度：两个平动自由度与一个转动自由度。本发明提出了一个简单可靠的方法实现三个自由度分量的测量。在每个机器人的速度中心位置设置一个红色标志点，在尾部设置一个蓝色标志点。红色标志点质心确定了机器人位置(两个平动自由度)。红色标志点质心与蓝色标志点质心的连线与机器人机身轴线重合，它与世界坐标系的X轴的夹角确定了机器人的方位(转动自由度)。在红色标志点和蓝色标志点连线的中间位置分别设置不同颜色的色标作为机器人的身份标识点，以此来区分不同的机器人，如图3所示。

多机器人的位置与姿态确定的具体步骤如下：

(1)将单目视觉采集得到的RGB格式的图像转换为YUV格式。

(2)对于图像中的每一像素点的YUV值，提取其中的U、V分量，分别与设定的阈值比较。如果，U＞T_R则认为此点为红色点，若V＞T_B，则认为此点位蓝色点。

(3)识别出来的红色点和蓝色点像素数目在像素坐标轴上投影，并统计各行、各列所包含的红点像素和蓝色像素数目。

(4)根据各行、各列所含色点像素的数目，寻找包含红色标志点和蓝色标志点的可能矩形区域。

(5)对上一步的确定的可能矩形区域进一步筛选，得到包含红色标志点和蓝色标志点的矩形区域。

(6)计算各矩形区域中标志点的质心。

(7)红色标志点与蓝色标志点的配对。在像素平面内，每个红色标志点选取与之距离最近的蓝色标志点配成一对。

(8)判断红色和蓝色标志点连线中心像素点的RGB成分，区分各机器人。

(9)通过查询像素坐标与世界平面坐标的映射表格，得到各机器人的位置与姿态。

上述步骤8的作用是识别机器人的ID。该步骤是直接对机器人身份标志点像素的RGB成分进行分析。由于通过红色标志点和蓝色标志的识别，已经确定了身份标识点的像素位置，因此有效的排除了环境中的干扰色。除红色和蓝色之外，尽量选取RGB颜色空间中距离较远的颜色作为机器人身份标识色，由于各身份标志点的RGB成分差异性很大，即使环境中光线变化也不会出现识别错误的情况。

通过步骤9，能直接获得机器人的位置与姿态信息。假设与第i个机器人关联的红色标志点与蓝色标志点的像素坐标分别为和

由坐标映射表格知其对应的实际平面坐标为

和

由此得到第i个机器人的位置为方位为向量

Claims

1.基于单目视觉的多机器人位置与姿态测量方法,该方法通过建立像素坐标与世界坐标的映射表格，对机器人设置标志点，对单目视觉采集的图像颜色分割并提取标志点像素坐标，查询像素坐标与世界坐标映射表格得到机器人的位置与姿态，从而实现单个摄像头对任意多个机器人位置与姿态的测量，该方法的特征是：基于相邻四个采样点的双线性插值方法建立像素坐标系与世界坐标系映射表格；设计机器人标志点，在每个机器人上设置三个标志点，蓝色标志点与红色标志点的连线确定姿态，红色标志点确定位置，第三个标志点确定机器人身份；选取颜色阈值，通过拖动阈值滑动条，用户能实时的观察到环境中红色或蓝色的分割结果，从而选择最合适的阈值。

2.根据权利要求1所述的基于单目视觉的多机器人位置与姿态测量方法，建立像素坐标系到世界坐标系映射表格的特征是：在实际平面上建立世界坐标系，确定采样点，拍摄采样图像；通过基于相邻四个采样点的双线性插值方法求取非采样像素点对应的世界坐标。

3.根据权利要求1所述的基于单目视觉的多机器人位置与姿态测量方法，身份标志点选取的特征是：选取RGB颜色空间中距离较远的颜色作为身份标志点。