CN100345154C - 足球机器人视觉快速识别方法 - Google Patents

Abstract

本发明涉及一种足球机器人视觉快速识别方法。它包括将摄像机安装在场地上方使其拍摄范围完全覆盖球场；将视频采集卡安装在工作站上，其输入连接摄像机的输出，视频采集卡输出数字化的图像数据，由计算机对数字化图像处理，达到确定球门和边线位置，实时提供场上队员的位置、方向、速度和加速度，以及球的位置数据，程序通过VC++MFC实现；步骤为：(1)目标的特征提取和校正参数的整定；(2)图像预处理；(3)目标识别；(4)校正处理。本发明的识别方法具有搜索速度快、识别精度高和对环境适应性强等特点。

Description

足球机器人视觉快速识别方法

技术领域

本发明是针对机器人进行足球比赛时的数字化图像处理和识别。涉及到实时软件编程，数字信号处理，计算机科学和工程光学等多个领域。

背景技术

机器人足球是由加拿大不列颠哥伦比亚大学的Alan Mackworth教授于1992年正式提出。这一科技及娱乐项目于二十世纪九十年代兴起，并在欧美及日本等发达地区风行。

机器人足球赛最重要的目的是检验人工智能的前沿研究、特别是多主体系统研究的最新成果，这些成果可以转化并应用在其他的工业或民用机器人上。可以说足球机器人能作为研究一切机器人和人工智能的标准平台。另外，足球本身就是一项娱乐性很强的运动，因此机器人足球是集科技和娱乐于一体的智能机器人，是以体育竞赛为载体的前沿科研竞争和高科技对抗，是展示高科技进展的生动窗口和促进科技成果实用化和产业化的新途径。

机器人足球赛的比赛规则与人类正规的足球赛类似。机器人在比赛中不受人类控制，完全自主地进行比赛。为了实现这一目标，机器人必须由以下五部分组成，即视觉子系统、决策子系统、无线通讯子系统、运动控制子系统和机械子系统。视觉和决策子系统是机器人的眼睛和大脑，无线通讯子系统是机器人的耳朵和嘴巴，运动控制子系统相当于人类的神经系统，而机械子系统就是机器人的手脚。

其中，视觉子系统必须向决策系统提供足够多的场上信息以使机器人能对场上形势做出准确判断并采用适当的策略。由于足球机器人是一个高度动态的系统，故视觉系统处理的快速性和精确性对整个系统有着至关重要的影响。过去的图像识别方法存在着种种弊端。主要体现在搜索速度慢，识别精度低，对不同环境的适应性差，光源一旦改变，就会出现目标丢失和误识别。这直接导致机器人的跑位出现偏差，甚至出现混乱场面。这主要是由以下几点原因造成：

1.目前大多数图像识别技术采用的色彩模型都是红绿蓝RGB颜色空间，随着光强不同，相同的颜色经摄像机和图像卡的捕捉后也会发生变化，RGB模型很容易受到光源的影响，系统无法自适应环境所引起的变化情况。

2.摄像头因采用广角镜会产生桶形失真，并且由于机器人与球存在的高度差会产生机器人位置偏差，使得辨识出的机器人位置不精确，影响了图像识别的精确性。

3.若对摄像机摄下的所有区域进行识别(即全局识别)会耗用大量的时间。为了解决这一问题，目前的图像搜索方法是以前一帧识别出的目标位置为中心，以一定的顺序向外搜索。但是如果上一帧未识别出或发生了误识别，那么目标将在很长时间内以错误的路径搜寻目标，反而影响了识别速度。

发明内容

本发明的目的在于提供一种足球机器人视觉快速识别方法，具有搜索速度快，识别精度高，对环境的适应性强的特点，为足球机器人的决策系统提供足够多的场上信息。

为达到上述目的，本发明采用下述技术方案：

一种足球机器人视觉快速识别方法，包括将摄像机安装在场地上方使其拍摄范围完全覆盖球场；将视频采集卡安装在工作站上，其输入连接摄像机的输出，视频采集卡输出数字化的图像数据，由计算机对数字化图像处理，达到确定球门和边线位置，实时提场上队员的位置、方向、速度和加速度，以及球的位置数据；其特征在于程序通过VC++MFC实现，其步骤如下：

(1)目标的特征提取和校正参数的整定：

提取的特征是颜色特征，每个机器人的顶盖上均贴有代表球队和个人的色标，这些颜色都与球的颜色相区别；

采用由色调·饱和度·亮度组成的HSV模型为进行目标颜色特征提取的色彩模型；

校正是对原图像进行像素坐标的空间几何变换，使像素落在正确的位置，以非线性方程的形式实现，在现场据实际场地和摄像机摆放位置，现场整定校正参数；

上述的目标的特征提取和校正参数的整定按如下具体步骤进行：

(1)通过图像处理卡将图像采集到内存中，并显示在屏幕上；

(2)通过图像处理卡的库函数调整画面的对比度、亮度、色调和色饱和度，以改变图像采集效果，直到图像中机器人的色标和球与场地颜色区分最大；

(3)依次采集小球和色标色彩信息：首先，点击被采集目标的中心，程序就将该像素点及其周围7*7的像素点颜色分开显示出来；使用者将符合实际颜色的点全选中后，程序就能得到该目标HSV的阈值信息；如果用户不满意该值，可直接改变HSV阈值范围；

(4)用鼠标在计算机屏幕上选取所显示的场地边线上的八个点，程序以将此八点围成的图形校正成矩形为标准，采用以下各种校正方法整定出校正系数：

(a)桶形失真校正：

X’＝K₁₁×(1+K₁₂(X²+Y²))X

Y’＝K₂₁×(1+K₂₂(X²+Y²))Y

式中K₁₁、K₂₁为图像比例系数，K₁₂K₂₂为失真校正系数；

(b)摄像机倾斜校正：

X’＝K₁×X/320×Y+X

Y’＝K₂×Y/240×X+Y

式中K₁、K₂为X和Y方向倾斜校正系数；

(c)摄像机旋转角度校正：

X’＝(X²+Y²)^1/2×cos(arctan(X/Y)+λ)

Y’＝(X²+Y²)^1/2×sin(arctan(X/Y)+λ)

式中λ为旋转角度。

以上X、Y为摄像机摄下的图像上的坐标，X’、Y’为几何校正后的坐标；不断改变校正系数，直到校正成功，以此确定所有的校正系数；其中桶形失真校正成功标准为校正后场地四边均为直线，摄像机倾斜参数判断整定成功标准为校正后场地为矩形，摄像机旋转角度参数整定判断成功标准为校正后场地四边与图像边框平行；

(2)图像预处理

对数字化图像均值滤波，去除突变干扰点。

(3)目标识别

上述的目标识别按下述具体步骤进行：

(1)首先依次以球和机器人球队色标为目标，以该目标上一帧被识别的位置为起点，以矩形螺旋方式向外搜寻与目的具有相同颜色的像素点；矩形螺旋搜索算法即环绕搜索中心点一层一层地作矩形的螺旋状搜索，使用循环方式搜索四条边上的点来完成一次搜索；

(2)搜索到机器人的队标后，再以队标为中心的一定范围内搜索表示机器人号码和方向的队员色标，根据识别出的队员色标的组合方式判断具体队员号和方向；

(3)若发现识别出的目标位置和方向与正常逻辑不符，就认为该目标被误识别，需要进行误识别处理；

误识别分如下三种情况：

(a)当发现有超过实际色标大小并符合阈值的像素点群，则判定为误识别；

(b)如果搜到的色标排列方式同实际的色标排列方式不一致，即没有一个队员色标排列与之一致，则可认为搜索到的队员号码不正确，确定为误识别；

(c)搜索到的机器人号码并非当前搜索号码，则认为是误识别。

一旦在一定范围内未能找到球或队标，那么将在下一帧中对该目标采用全局搜索算法，该算法将全场划块并分优先级搜索，以丢失前一帧的识别位置为最高优先级由近至远搜索。

设每个机器人上都有4个颜色不同的色标，通过它们的相互关系，以确定机器人的位置和方向。

(4)校正处理

将识别到的目标位置进行几何畸变校正和高度误差校正。

本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明的视觉识别方法是以软件的方式实现的，程序通过VC++MFC实现，达到确定球门和边线位置，实时提供场上队员的位置、方向、速度和加速度以及球的位置等数据给足球机器人的决策系统，具有搜索速度快、识别精度高和对环境适应性强等特点。

附图说明

图1是视觉识别的工作流程框图。

图2是机器人色标和球的照像图。

图3是目标颜色阈值采样画面图。

图4是校正参数整定流程框图。

图5是目标识别总流程框图。

图6是以上一帧获得的中心点为种子点矩形螺旋形搜索路径示意图。

图7是误识别处理流程框图。

图8是几何校正过程框图。

图9是校正前后对比的示图。

具体实施方式

本发明的一个优选实例结合附图详述如下：

本足球机器人视觉快速识别方法是以软件的方式实现的，它必须是基于一系列的硬件基础。其基本的硬件设备是摄像机和视频采集卡，摄像机安装在场地上方，拍摄范围必须完全覆盖球场。视频采集卡安装在工作站上(可以是PC机)，它的输入连接到摄像机的输出，视频采集卡输出的是数字化的图像数据。本发明就是对这些数据进行处理和识别。

程序通过VC++MFC实现，达到确定球门和边线位置，实时提供场上队员的位置、方向、速度和加速度以及球的位置等数据的目的。

本视觉识别方法的工作流程如附图1所示。

1.目标的特征提取和校正参数的整定

要跟踪目标就先要得到使目标从背景中提取出来所需的区别目标与非目标的特征。本发明提取的特征是颜色特征。每个机器人的顶盖上均贴有代表球队和个人的色标，这些颜色都与球的颜色相区别。(如附图2所示)

进行目标颜色特征提取所采用的色彩模型为色调·饱和度·亮度(HSV)模型。色彩模型的选取对于正确识别颜色有非常大的影响，HSV是相对较好的色彩模型。HSV模型由色调h，饱和度s和亮度v组成，接近人眼对色彩的感知。其中的色调属性能比较准确地反映颜色种类，对外界光照条件的变化敏感程度低。对同一颜色属性物体，h具有比较稳定和较窄的数值变化范围，作为主要判断条件。饱和度s作为辅助判断条件。RGB到HSV的转换公式如下：

v＝max(r，g，b)；

s＝1-min(r，g，b)/v；

$\mathrm{\θ}={\cos }^{-1}\left(\frac{(r-g)+(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}\right)$

$h=\left\{\begin{array}{cc}\mathrm{\θ}& ,b\≤g\\ 360-\mathrm{\θ}& ,b\≥g\end{array}\right.$

此外，因为成像系统本身具有的非线性和摄像的视角不同造成了图像和实际的偏差，这些就需要校正。校正就是对原图像进行象素坐标的空间几何变换，使象素落在正确的位置。经过反复实践，本发明将这一映射以非线性方程的形式实现。而校正方程系数必须与实际场地和摄像机摆放位置有关，所以，校正参数须现场整定。

以上两部分都是在赛前完成，需要人机互动。就是告诉机器人，什么颜色是球，什么颜色是机器人的色标，以及摄下的图像和实际情况如何对应。这一过程相当于对机器人的训练。

目标的特征提取和校正参数整定的具体步骤如下：

(a)通过图像处理卡将图像采集到内存中，并显示在屏幕上。

(b)通过图像处理卡的库函数调整画面的对比度，亮度，色调和色饱和度，以改变图像采集的效果，直到图像中机器人上的色标和球与场地区分最大。

(c)依次采集小球和色标色彩信息。首先，点击被采集目标的中心，程序就将该象素点及其周围7*7的象素点颜色分开显示出来(见附图3)。使用者将符合实际颜色的点全选中后，程序就能得到该目标HSV的阈值信息。如果用户不满意该值可直接改变HSV阈值范围。

(d)用鼠标在计算机屏幕上选取所显示的场地边线上的八个点。程序以将此八点围成的图形校正成矩形为标准，采用以下各种校正方法整定出校正系数：

桶形失真校正(由广角镜引起)：

x’＝k₁₁×(1+k₁₂(x²+y²))x

y’＝k₂₁×(1+k₂₂(x²+y²))x

(k11，k21为图像比例系数。K12，k22为失真校正系数)

摄像机倾斜校正：

x’＝k₁×x/320×y+x

y’＝k₂×y/240×x+y

(k1，k2为x和y方向倾斜校正系数)

摄像机旋转角度校正：

$x^{,}=\sqrt{x^2+y^2}\×\cos (\arctan (x/y)+\mathrm{\α})$

$y^{,}=\sqrt{x^2+y^2}\×\sin (\arctan (x/y)+\mathrm{\α})$

(α为旋转角度)

以上x，y为摄像机摄下的图像上的坐标，x’，y’为实际情况的坐标。所有校正系数都必须确定，不断改变校正系数，直到校正成功为止。其中桶形失真校正成功标准为校正后场地四边均为直线。摄像机倾斜参数判断整定成功标准为校正后场地为矩形。摄像机旋转角度参数整定判断成功标准为校正后场地四边与图像边框平行。(整定流程图见附图4)

2.图像预处理

由视频采集卡数字化后的图像，于实际情况相比总是存在许多噪音。这些是摄像机和本身精度以及外界干扰决定的。因此，本发明在进行目标识别前要对数字化图像均值滤波。滤波窗口为3×3，即每个象素点的HSV值由其周围3×3范围的象素点的均值共同决定，这样就将突变干扰点去除了。

3.目标识别

本发明识别的目标是规则的几何图形，球和队标均是圆形的。每台小车上都有3个颜色不同的色标，通过它们的相互关系以确定小车的位置和方向。目标识别总流程见附图5。

目标识别的具体步骤如下：

(a)首先依次以球和机器人球队色标为目标。以该目标上一帧被识别的位置为起点，以矩形螺旋方式向往搜寻与目标具有相同颜色的象素点。

矩形螺旋搜索算法即环绕搜索中心点一层一层地作矩形的螺旋状搜索，使用循环方式搜索四条边上的点来完成一次搜索。此算法从中心向外搜索，并且能够符合像素点的矩形排列方式。如图所示P为上一帧获得的中心点为种子点，搜索顺序如附图6中箭头所示。

(b)搜索到机器人的队标后，再以队标为中心的一定范围内搜索表示机器人号码和方向的队员标。根据识别出的队员标的组合方式判断具体队员号和方向。

(c)若发现识别出的目标位置和方向与正常逻辑不符，就认为该目标被误识别，需要进行误识别处理。

误识别分为三种情况。

其一，当发现有超过实际色标大小并符合阈值的象素点群，则判定为误识别。

其二，由于我方队员识别色标的排列有唯一性，所以如果搜到的色标排列方式同实际的色标排列方式不一致，即没有一个队员色标排列与之一致，则可以认为搜索到的队员号码不正确，确定为误识别。

其三，搜到的机器人号码并非当前搜索号码，则认为是误识别。

对第一种情况只要不将该象素点群判定为目标即可。

对后二种情况进行误识别处理。流程图见附图7。

搜索中记录识别出的物体位置信息以及当前搜索的队员号码，并且记录这些搜索框并跳过，之后继续进行矩形螺旋搜索，如果搜索到新的队员号码和位置信息，则记录位置信息，直到本轮搜索结束。如果搜索结束之后还没搜索到所要搜索的队员，则进行其他队员的搜索。如果之前认为搜索到的队员在其自己的搜索轮中被搜到了，则可以确定之前误搜索的队员不在记录的疑似位置，则可对之前的误搜索信息进行排除；反之，之前队员确实在疑似的位置处，则对搜到的队员进行位置信息的赋值操作，并且清空之前的疑似信息。所有队员全部搜索完毕之后，查看有没有疑似误搜索的位置信息，如有，查找这一帧没有被赋予位置信息的队员，对其进行位置赋值操作。如果有多个队员有疑似误搜索的现象，则可以参照上一帧的位置信息以及方向和运动指令信息，判断每名队员这一帧的位置，并进行赋值操作。

因为一旦发生误识别，就无法通过队员识别色标来精确计算队员的实际位置和方向角，只能把搜索到的队标中心作为此队员的位置，而此队员的方向则需要通过对上一帧的方向，与上一帧所发出的行动指令，并且参照队员识别色标的排列方式，来计算一个大概角度作为这一帧时这名队员的方向。虽然这样的定位不够精确，但至少给出了位置信息，并且为下一帧的搜索提供了搜索的起始位置信息，方便下一帧的搜索。

(d)一旦在一定范围内未能找到球或队标，那么将在下一帧中对该目标采用全局搜索算法，该算法将全场划块并分优先级搜索，以丢失前一帧的识别位置为最高优先级最高向外搜索。

4.校正处理

校正流程图见图8。将识别到的目标位置进行几何校正，校正方程前所述。

此外，由于机器人存在的高度不可忽略，使得识别出的机器人位置为其投影位置，与实际位置有偏差。因此必须对其进行高度校正，方程如下：

$r=\sqrt{x^2+y^2}$

r’＝r-r/3×h

x’＝r’×cos(arctan(y/x))

y’＝r’×sin(arctan(y/x))

(h为机器人的高度)

进行了以上校正后，图像的场地几何形状达到标准矩形，机器人高度影响消除，使定位更加准确。校正前后效果见附图9。

Claims (1)

1.一种足球机器人视觉快速识别方法，包括将摄像机安装在场地上方使其拍摄范围完全覆盖球场；将视频采集卡安装在工作站上，其输入连接摄像机的输出，视频采集卡输出数字化的图像数据，由计算机对数字化图像处理，达到确定球门和边线位置，实时提供场上队员的位置、方向、速度和加速度，以及球的位置数据；其特征在于程序通过VC++MFC实现，其步骤如下：

(1)目标的特征提取和校正参数的整定：

提取的特征是颜色特征，每个机器人的顶盖上均贴有代表球队和个人的色标，这些颜色都与球的颜色相区别；

采用由色调·饱和度·亮度组成的HSV模型为进行目标颜色特征提取的色彩模型；

校正是对原图像进行像素坐标的空间几何变换，使像素落在正确的位置，以非线性方程的形式实现，在现场根据实际场地和摄像机摆放位置，现场整定校正参数；

所述的目标特征提取和校正参数的整定按如下具体步骤进行：

(1)通过图像处理卡将图像采集到内存中，并显示在屏幕上；

(2)通过图像处理卡的库函数调整画面的对比度、亮度、色调和色饱和度，以改变图像采集效果，直到图像中机器人的色标和球及场地颜色区分最大；

(3)依次采集小球和色标色彩信息：首先，点击被采集目标的中心，程序就将该像素点及其周围7*7的像素点颜色分开显示出来；使用者将符合实际颜色的点全选中后，程序就能得到该目标HSV的阈值信息；如果用户不满意该值，可直接改变HSV阈值范围；

(4)用鼠标在计算机屏幕上选取所显示的场地边线上的八个点，程序以将此八点围成的图形校正成矩形为标准，采用以下各种校正方法整定出校正系数：

(a)桶形失真校正：

X’＝K₁₁×(1+K₁₂(X²+Y²))X

Y’＝K₂₁×(1+K₂₂(X²+Y²))Y

式中K₁₁、K₂₁为图像比例系数，K₁₂K₂₂为失真校正系数；

(b)摄像机倾斜校正：

X’＝K₁×X/320×Y+X

Y’＝K₂×Y/240×X+Y

式中K₁、K₂为X和Y方向倾斜校正系数；

(c)摄像机旋转角度校正：

X’＝(X²+Y²)^1/2×cos(arctan(X/Y)+λ)

Y’＝(X²+Y²)^1/2×sin(arctan(X/Y)+λ)

式中λ为旋转角度；

以上X、Y为摄像机摄下的图像上的坐标，X’、Y’为几何校正后的坐标；不断改变校正系数，直到校正成功，以此确定所有的校正系数；其中桶形失真校正成功标准为校正后场地四边均为直线，摄像机倾斜参数判断整定成功标准为校正后场地为矩形，摄像机旋转角度参数整定判断成功标准为校正后场地四边与图像边框平行；

(2)图像预处理

对数字化图像均值滤波，去除突变干扰点；

(3)目标识别

所述的目标识别按下述具体步骤进行：

(1)首先依次以球和机器人球队色标为目标，以该目标上一帧被识别的位置为起点，以矩形螺旋方式向外搜寻与目标具有相同颜色的像素点；矩形螺旋搜索算法即环绕搜索中心点一层一层地作矩形的螺旋状搜索，使用循环方式搜索四条边上的点来完成一次搜索；

(2)搜索到机器人的队标后，再以队标为中心的一定范围内搜索表示机器人号码和方向的队员色标，根据识别出的队员色标的组合方式判断具体队员号和方向；

(3)若发现识别出的目标位置和方向与正常逻辑不符，就认为该目标被误识别，需要进行误识别处理；

误识别分如下三种情况：

(a)当发现有超过实际色标大小并符合阈值的像素点群，则判定为误识别；

(b)如果搜到的色标排列方式同实际的色标排列方式不一致，即没有一个队员色标排列与之一致，则可认为搜索到的队员号码不正确，确定为误识别；

(c)搜索到的机器人号码并非当前搜索号码，则认为是误识别；

(4)一旦在一定范围内未能找到球或队标，那么将在下一帧中对该目标采用全局搜索算法，该算法将全场划块并分优先级搜索，以丢失前一帧的识别位置为最高优先级由近至远搜索；

设每个机器人顶盖上都有4个颜色不同的色标，通过它们的相互关系，以确定机器人的位置和方向；

(4)校正处理

将识别到的目标位置进行几何畸变校正和高度误差校正。

Images