CN101537618B - 体育场捡球机器人视觉系统 - Google Patents

Abstract

本发明涉及体育场捡球机器人视觉系统，包括全局摄像机、机器人载体摄像机、无线视频传输模块、图像采集卡以及图像处理器。图像采集卡将全局摄像机、机器人载体摄像机采集到的视频信号传输到图像处理器，图像处理器根据视觉信号进行处理，并向机器人发送相应的控制指令。图像处理器利用颜色和形状对球和机器人进行识别，并实时判断机器人和球的相对位置，然后根据识别算法提供的位置信息，对机器人进行路径规划，使机器人以最优的路径完成捡球任务。本发明可以控制机器人在多球环境下完成捡球任务，处理速度快，适应多种体育场环境。

Description

体育场捡球机器人视觉系统

技术领域

本发明涉及一种体育场捡球机器人的视觉系统。

背景技术

随着生活水平的提高，人们的健身需求也越来越强烈。去体育场馆进行各种球类运动，成为人们的首选。在进行各种球类运动的时候，如乒乓球、网球，捡球成为一项极其耗费时间的工作。目前来看，体育场球类清理设备仍需人来操作，这些简单而重复的劳动耗费了大量的人力资源。因此，需要一种能够为体育场捡球机器人提供环境定位、感知和路径规划的视觉系统来解决上述问题。

机器人视觉系统可采用集中式全局摄像机，该系统可以获得机器人运动场景中的全局信息，便于对机器人进行全局定位。现有的机器人视觉识别方法，多为颜色识别：先对图像进行数字滤波，再利用由色调、饱和度、亮度组成的HSV颜色模型，对采集的图像进行识别。该识别方法简单且速度快，已经在很多领域，如机器人足球中得到了广泛应用，如专利200510027280.6，200420103434.6。

进行体育场球类清理工作时，利用现有的机器人视觉系统及机器视觉识别技术无法满足机器人捡球时的需要，其主要是由以下原因造成的：

1、在完成捡球工作时，机器人需要同时识别很多球，识别过程中存在诸多干扰，如光线变化、其他非球类物体、场地内进行运动的人，只依靠单一的颜色识别则无法完成识别任务。

2、由于直接采用集中式全局摄像机采集到的图像进行全局运算，该方法计算量大，实时性差。

3、在机器人进行球类拾取的过程中，由于球数量多，分布无规律，因此还应该对机器人拾取球时的运动路径进行合理规划，而现有的视觉系统，如机器人足球的视觉系统，则无法完成多球环境下的路径规划。

4、当多机器人在多球环境下完成捡球工作时，利用现有的系统和技术，则无法完成识别和规划任务。

发明内容

本发明提出了一种体育场捡球机器人的视觉系统。该系统可以为体育场捡球机器人提供环境和定位信息，对单个或多个机器人活动路径进行规划，使机器人能够自主完成体育场捡球工作。

本发明的技术方案是：体育场捡球机器人的视觉系统包括全局摄像机，机器人载体摄像机，无线视频传输模块，图像采集卡和图像处理器。所述的全局摄像机为模拟接口CCD摄像机或USB接口的CMOS摄像机，将全局摄像机安装在体育场上方，全局摄像机的视频输出接口与无线视频传输模块的发送端连接；无线视频传输模块包括发送和接收两部分，可以无线传输模拟视频信号或数字视频信号，无线视频传输模块的接收端与图像采集卡的输入端连接；机器人载体摄像机安装在机器人上，与图像采集卡连接；图像采集卡安装在图像处理器上，为图像处理器提供数字化的视频信号；图像处理器对图像采集卡采集的图像信号实时进行处理，对采集到的图像进行目标识别和机器人定位，并对机器人进行捡球路径规划，控制机器人移动。

图像处理器对图像信号实时进行处理并控制机器人移动的方法为：

(1)对全局图像裁剪，只保留体育场地内的图像，去除周边的复杂图像；

(2)对裁剪的全局图像进行分块，依次对每块图像进行以下操作：

(3)在第i块全局图像内，将RGB模型变换为HSV模型；

(4)在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有球的夹角和距离即相对位置；

(5)设定机器人的优先搜索范围的阈值，在机器人的优先搜索范围内，选取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取离机器人最近的球为目标球；

(6)根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时引导机器人向目标球移动；

(7)当机器人载体摄像机检测到目标球时，在机器人载体摄像机图像内进行目标识别和机器人定位，得到目标球与机器人的相对位置后，对机器人进行捡球路径规划，引导机器人驶向目标球，完成捡球动作；

(8)当第i块全局图像内还有球时，重复步骤(5)；

(9)当第i块全局图像内没有球时，开始处理第i+1块全局图像，重复步骤(3)。

本发明可以控制机器人在多球环境下完成捡球任务，处理速度快，适应多种体育场环境。

本发明的优点和具体实施过程将在具体实施方式部分进一步阐明。

附图说明

图1是本发明的应用示意图；

图2是本发明的各部件的连接方法；

图3是本发明的全局图像分割示意图；

图4是RGB色彩模型；

图5是HSV色彩模型；

图6是图像处理器程序流程图；

图7是计算目标球与机器人相对位置的示意图；

图8是最小运动代价近距离优先原则下的路径规划的示意图；

其中1-全局摄像机、2-机器人载体摄摄像机、3-无线视频传输模块发射端、4-无线视频传输接收器、5-图像采集卡、6-图像处理器。

具体实施方式

本发明的体育场捡球机器人视觉系统包括全局摄像机(1)，机器人载体摄像机(2)，无线视频传输模块(3)、(4)，图像采集卡(5)和图像处理器(6)。全局摄像机(1)使用模拟接口摄像机(1)。全局摄像机(1)安装在场地上方，且保证能够完全拍摄到体育场地。无线视频传输模块(3)、(4)采用模拟信号无线视频传输模块(3)、(4)。全局摄像机(1)的模拟输出端通过AV视频线与无线视频传输模块的发射端(3)连接。无线视频传输接收器(4)的输出端与图像采集卡(5)输入端相连接，图像采集卡(5)安装在图像处理器上(6)，图像处理器(6)安装在机器人内部，同时图像采集卡(5)与机器人载体摄像机(2)连接。图像处理器(6)可采用嵌入式PC或数字信号处理器(DSP)，根据对采集到的图像进行目标识别和机器人定位，并对机器人进行捡球路径规划。

图像处理器(6)采用基于颜色和形状的方法进行目标识别和机器人定位。该识别方法特别适用于体育场捡球机器人捡球时目标识别和定位。其特征在于该方法先对图像进行颜色分割，再对分割后的二值图像进行基于形态学的处理，根据形状进行目标识别。该方法可以在PC平台利用OpenCV进行开发，也可以在嵌入式PC，如DSP上利用EMCV进行开发。该方法先对全局图像进行裁剪，去除场地外无用的复杂景物；然后对图像进行分块，按区域进行目标提取，控制捡球机器人依次在某个小区域内完成捡球工作，极大地提高了处理速度；在每块彩色图像中，先利用HSV色彩模型进行目标分割，然后在利用基于形态学的形状判别法对目标进行识别，去掉非球类物体的干扰，极大地提高了识别方法对环境的适应性。

本发明使用的路径规划方法采用基于“最小运动代价近距离球优先”的路径规划方法。其特征在于机器人在捡完一个球后，机器人以最小运动代价继续拾取离机器人最近的球。该方法特别适用于体育场单个或多个捡球器人捡球时的路径规划。

图像处理器(6)对图像信号实时进行处理并控制机器人移动的具体执行过程如下：

(1)对全局图像裁剪，只保留体育场地内的图像，去除周边的复杂图像；

(2)对裁剪的全局图像进行分块，依次对每块图像进行目标识别，以六块为例(i＝6)，如图3；

(3)在每块图像内，将RGB模型变换为HSV模型。RGB与HSV模型的转换关系为：

V＝max(R，G，B)；

delta＝max(R，G，B)-min(R，G，B)

S＝delta/V

$\mathrm{\λ}={\cos }^{-1}\left(\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right)$

$H=\left\{\begin{array}{cc}\mathrm{\λ}& B\≤G\\ 360-\mathrm{\λ}& B\≥G\end{array}\right.$

(4)在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有球的夹角和距离即相对位置；具体步骤为：

i)在第i块全局图像内提取球的位置，具体按如下做法进行：(a)根据球的颜色，在H域设置分割的阈值[T_L，T_H]，对全局图像进行二值分割；(b)对二值图像开运算，去除因二值化产生的噪点，只保留小球产生的连通域；(c)对连通域进行标记；(d)根据实际环境，设定有效连通域的面积大小，去掉非球类物体造成的干扰；(e)求解每一个有效连通域的形心，作为每个球的坐标；

ii)在第i块全局图像提取机器人中心坐标，具体按如下做法进行：(a)根据机器人颜色，在H域设置分割的阈值[T_L，T_H]，对全局图像进行二值分割；(b)对二值图像闭运算，使机器人所在连通域为一整体；(c)对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人的形心坐标；

iii)为了判别机器人的运动方向，在机器人前端放置一个带颜色的标志物，在第i块全局图像提取机器人前端标志物的坐标，具体按如下做法进行：(a)根据机器人前端标志物的颜色，在H域设置分割的阈值[T_L，T_H]，对图像进行二值分割；(b)对二值图像闭运算，使机器人前端标志物所在的连通域为一整体；(c)对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人前端标志物的形心坐标；

iv)判别机器人和每个球的相对位置关系。在机器人上建立载体坐标系，以机器人中心为坐标系原点，机器人中心指向前端标志物的方向为y轴，与y轴垂直的方向为x轴；设球的坐标为(ballX，ballY)，机器人前端标志物的坐标为(headX，headY)，机器人中心坐标为(midX，midY)；在载体坐标系下计算向量：X1＝headX-midX，Y1＝headY-midY，X2＝ballX-midX，Y2＝ballY-midY。

利用向量 $\left[\begin{array}{c}X1\\ Y1\end{array}\right]$ 与向量 $\left[\begin{array}{c}X2\\ Y2\end{array}\right]$ 的叉乘 $\left[\begin{array}{c}X1\\ Y1\end{array}\right]\⊗\left[\begin{array}{c}X2\\ Y2\end{array}\right],$ 求解向量 $\left[\begin{array}{c}X1\\ Y1\end{array}\right]$ 与 $\left[\begin{array}{c}X2\\ Y2\end{array}\right]$ 的夹角，即目标球与机器人当前航向的夹角。若叉乘结果为正数，则目标球位于机器人左侧；若叉乘结果为负数，则目标球位于机器人右侧。根据余弦定理求解目标与机器人航向的夹角jiaodu，计算过程如下式：

$a=\sqrt{{(\mathrm{ballX}-\mathrm{headX})}^2+{(\mathrm{ballY}-\mathrm{headY})}^2}$

$b=\sqrt{{(\mathrm{midX}-\mathrm{headX})}^2+{(\mathrm{midY}-\mathrm{headY})}^2}$

$c=\sqrt{{(\mathrm{midX}-\mathrm{ballX})}^2+{(\mathrm{midY}-\mathrm{ballY})}^2}$

$\mathrm{jiaodu}=\arccos \frac{b^2+c^2-a^2}{2\mathrm{bc}}$

最后在全局图像中，球与机器人的相对距离按下式计算：

$\mathrm{dis}\tan \mathrm{cel}=\sqrt{{(\mathrm{ballX}-\mathrm{midX})}^2+{(\mathrm{ballY}-\mathrm{midY})}^2};$

(5)得到所有球和机器人的相对位置后，确定目标球；设定机器人的优先搜索范围的阈值，例如以机器人前端标志物为圆心(headX，headY)，500像素为半径，30°的扇形区域为优先搜索区域，如图8。在机器人的优先搜索范围内，选取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取离机器人最近的球为目标球。

(6)根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时引导机器人向目标球移动。当图像处理器以全局摄像机采集到的图像计算目标球和机器人的相对位置时，则根据求得的相对位置关系，确定机器人的转向与机器人的运动速度；机器人运动速度的大小由目标球与机器人的距离决定，距离越大，机器人运动速度越快，距离越小，机器人运动速度越慢；该速度变化可以通过建立速度与距离的线性关系得到，也可以根据实际情况通过查表实现。

(7)机器人接近目标球时(即球进入机器人载体摄像机(2)的可视范围)，机器人的引导主要由机器人载体摄像机(2)来完成，全局摄像机(1)主要起全局监控作用。此时在机器人载体摄像机图像内进行目标识别和机器人定位。若机器人载体摄像机图像只有一个球，则利用步骤(4)中的方法进行球的识别，并以其作为目标球；若机器人载体摄像机图像有多个球，则利用步骤(4)中的方法进行球的识别，并以机器人载体摄像机图像最下方的球为目标球。在确定目标球后，计算目标球和机器人载体摄像机图像垂直中心线的像素距离：distance2＝ballX-imgMidX，其中imgMidX为机器人载体摄像机图像垂直中心线的水平像素值。根据distance2大小与正负，判断目标球与机器人的相对位置。若distance2＞0，则球在机器人的右侧，若distance2＜0，则球在机器人的左侧。

得到目标球与机器人的相对位置后，对机器人进行路径规划，引导机器人驶向目标球，完成捡球动作。当图像处理器以机器人载体摄像机采集到的图像计算目标球和机器人的相对位置时，则可以根据求得的相对位置关系确定机器人的转向；为保证机器人的能够顺利捡球，机器人以恒定的低速运动。

(8)根据全局摄像机(1)监测的图像，当目标球消失时，则认为完成拾取目标球的任务，继续下一个捡球任务，重复步骤(5)；

(9)当第i块全局图像内没有球时，开始处理第i+1块全局图像，继续拾取第i+1块全局图像内的球，重复步骤(3)。

当多个机器人共同进行捡球工作时，可以使用多机器人协同工作的相关方法控制机器人共同捡球；也可以将全局摄像机采集到的图像分块，令每个机器人分别单独工作在不同的图像块区域中，在每个图像块中分别利用上述图像识别方法和路径规划方法，对每个机器人在不同图像块区域中进行单独控制。

本发明不限于此实例，凡是利用本设计的设计思路，做一些简单变化的设计均应列在本发明的保护范围之内。

Claims (8)

1.一种体育场捡球机器人视觉系统，其特征在于：包括全局摄像机(1)，机器人载体摄像机(2)，无线视频传输模块，图像采集卡(5)和图像处理器(6)；其中全局摄像机(1)安装在体育场上方，全局摄像机(1)的视频输出接口与无线视频传输模块的发射端(3)连接，无线视频传输模块的接收端(4)与图像采集卡(5)连接，接收全局摄像机(1)采集到的体育场全局信号，机器人载体摄像机(2)安装在机器人上，与图像采集卡(5)连接，图像采集卡(5)与图像处理器(6)连接，为图像处理器(6)提供数字化的视频信号，图像处理器(6)对图像采集卡采集的图像信号实时进行处理，对采集到的图像进行目标识别和机器人定位，并对机器人进行捡球路径规划，控制机器人移动。

2.根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于全局摄像机(1)、机器人载体摄像机(2)为带模拟接口的CCD摄像机，或为带数字USB接口的CMOS摄像机。

3.根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于无线视频传输模块传输模拟视频信号或数字视频信号。

4.根据权利要求1所述的体育场捡球机器人视觉系统，其特征在于图像处理器(6)为嵌入式PC，或者数字信号处理器。

5.根据权利要求1-4中任一项所述的体育场捡球机器人视觉系统，其特征在于：图像处理器(6)对图像信号实时进行处理并控制机器人移动的方法为：

(1)对全局图像裁剪，只保留体育场地内的图像，去除周边的复杂图像；

(2)对裁剪的全局图像进行分块，依次对每块图像进行以下操作：

(3)在第i块全局图像内，将RGB模型变换为HSV模型；

(4)在第i块全局图像内进行目标识别和机器人定位，得到机器人和所有球的夹角和距离，即机器人和所有球的相对位置；

(5)设定机器人的优先搜索范围的阈值，在机器人的优先搜索范围内，选取离机器人最近的球为目标球；若机器人优先搜索范围内没有球，则直接选取离机器人最近的球为目标球；

(6)根据目标球和机器人的相对位置，对机器人进行捡球路径规划，实时引导机器人向目标球移动；

(7)当机器人载体摄像机检测到目标球时，在机器人载体摄像机图像内进行目标识别和机器人定位，得到目标球与机器人的相对位置后，对机器人进行捡球路径规划，引导机器人驶向目标球，完成捡球动作；

(8)当第i块全局图像内还有球时，重复步骤(5)；

(9)当第i块全局图像内没有球时，开始处理第i+1块全局图像，重复步骤(3)。

6.根据权利要求5所述的体育场捡球机器人视觉系统，其特征在于：所述目标识别和机器人定位的方位为：

1)当机器人载体摄像机没有检测到目标球时，机器人与球的相对位置由全局摄像机采集的图像计算，具体步骤为：

(1)提取球的位置，具体按如下做法进行：(a)根据球的颜色，在H域设置分割的阈值[T_L，T_H]，对全局图像进行二值分割；(b)对二值图像开运算，去除因二值化产生的噪点，只保留小球产生的连通域；(c)对连通域进行标记；(d)根据实际环境，设定有效连通域的连通域面积大小，去掉非球类物体造成的干扰；(e)求解每一个有效连通域的形心，作为每个球的坐标；

(2)提取机器人中心坐标，具体按如下做法进行：(a)根据机器人颜色，在H域设置分割的阈值[T_L，T_H]，对全局图像进行二值分割；(b)对二值图像闭运算，使机器人所在连通域为一整体；(c)对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人的形心坐标；

(3)为了判别机器人的运动方向，在机器人前端放置一个带颜色的标志物，提取机器人前端标志物的坐标，具体按如下做法进行：(a)根据机器人前端标志物的颜色，在H域设置分割的阈值[T_L，T_H]，对图像进行二值分割；(b)对二值图像闭运算，使机器人前端标志物所在的连通域为一整体；(c)对闭运算的二值图像进行连通域标记；(d)寻找面积最大的连通域，并求其形心，作为机器人前端标志物的形心坐标；

(4)判别机器人和球的相对位置关系：在机器人上建立载体坐标系，以机器人中心为坐标系原点，机器人中心指向前端标志物的方向为y轴，与y轴垂直的方向为x轴；设球的坐标为(ballX，ballY)，机器人前端标志物的坐标为(headX，headY)，机器人中心坐标为(midX，midY)；在载体坐标系下计算向量：X1＝headX-midX，Y1＝headY-midY，X2＝ballX-midX，Y2＝ballY-midY；

利用向量

与向量

的叉乘

求解向量

与

的夹角，即目标球与机器人当前航向的夹角；若叉乘结果为正数，则目标球位于机器人左侧；若叉乘结果为负数，则目标球位于机器人右侧；根据余弦定理求解目标与机器人航向的夹角jiaodu，计算过程如下式：

$a=\sqrt{{(\mathrm{ballX}-\mathrm{headX})}^2+{(\mathrm{ballY}-\mathrm{headY})}^2}$

$b=\sqrt{{(\mathrm{midX}-\mathrm{headX})}^2+{(\mathrm{midY}-\mathrm{headY})}^2}$

$c=\sqrt{{(\mathrm{midX}-\mathrm{ballX})}^2+{(\mathrm{midY}-\mathrm{ballY})}^2}$

$\mathrm{jiaodu}=\arccos \frac{b^2+c^2-a^2}{2\mathrm{bc}}$

最后在全局图像中，球与机器人的相对距离按下式计算：

$\mathrm{dis}\tan \mathrm{ce}1=\sqrt{{(\mathrm{ballX}-\mathrm{midX})}^2+{(\mathrm{ballY}-\mathrm{midY})}^2};$

2)当机器人载体摄像机检测到目标球时，机器人与球的相对位置由机器人载体摄像机采集的图像计算；若机器人载体摄像机图像只有一个球，则利用步骤(1)方法进行球的识别，并以其作为目标球；若机器人载体摄像机图像有多个球，则利用步骤(1)方法进行球的识别，并以机器人载体摄像机图像最下方的球为目标球；在确定目标球后，计算目标球和机器人载体摄像机图像垂直中心线的像素距离：distance2＝ballX-imgMidX，其中imgMidX为机器人载体摄像机图像垂直中心线的水平像素值；根据distance2大小与正负，判断目标球与机器人的相对位置，若distance2＞0，则球在机器人的右侧，若distance2＜0，则球在机器人的左侧。

7.根据权利要求6所述的体育场捡球机器人视觉系统，其特征在于：所述图像处理器对机器人进行路径规划的方法为：

1)当图像处理器以全局摄像机采集到的图像计算目标球和机器人的相对位置时，则根据求得的相对位置关系，确定机器人的转向与机器人的运动速度；机器人运动速度的大小由目标球与机器人的距离决定，距离越大，机器人运动速度越快，距离越小，机器人运动速度越慢；

2)当图像处理器以机器人载体摄像机采集到的图像计算目标球和机器人的相对位置时，则可以根据求得的相对位置关系确定机器人的转向；为保证机器人的能够顺利捡球，机器人以恒定的低速运动。

8.根据权利要求7所述的体育场捡球机器人视觉系统，其特征在于：当多个机器人共同进行捡球工作时，使用多机器人协同工作的方法控制机器人共同捡球；或者将全局摄像机采集到的图像分块，令每个机器人分别单独工作在不同的图像块区域中，在每个图像块中分别利用所述目标识别和机器人定位方法以及路径规划方法，对每个机器人在不同图像块区域中进行单独控制。

Images