CN102542294A - 双视觉信息融合的集控式足球机器人识别系统及识别方法 - Google Patents

Abstract

本发明公开了一种双视觉信息融合的集控式足球机器人识别系统及识别方法，属于机器视觉技术领域，包括用于拍摄左半场目标体的左视觉传感器、用于拍摄右半场目标体的右视觉传感器、两台PC机、以太网接口线、用于表征机器人位姿和ID信息的色标以及图像处理系统。两台PC机分别连接左右视觉传感器，通过图像采集、图像标定及特征提取后，根据色标识别算法，进行左右半场目标体的识别，两台PC机通过以太网接口进行信息传输、信息判断和信息融合，获取完整场地上所有目标体的信息，能够对识别信息的有效性和信息丢失情况进行合理判断和处理，提高了系统的识别精度和实时性，可作为科研和创新实践教育平台。

Description

双视觉信息融合的集控式足球机器人识别系统及识别方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种双视觉信息融合的集控式足球机器人识别系统及识别方法。

背景技术

机器人足球是由加拿大大不列颠哥伦比亚大学教授AlanMackworth在1992年的一次国际人工智能会议上首次提出的，他在论文“On Seeing Robots”中提出具有视觉和决策能力的机器人追逐足球的概念，目的是通过机器人足球比赛，为人工智能和智能机器人学科的发展提供一个具有标志性和挑战性的课题。此想法一经提出，便得到了各国科学家的普遍赞同和积极响应，国际上许多著名的研究机构和组织开始开展研究，将其付诸实现并不断推动其发展。

其后，在东京的关于“人工智能领域的严重挑战”学术研讨会上，学者们认真讨论了开展机器人足球比赛对于发展科学技术的意义，认为在众多挑战性课题中让机器人踢足球是机器人与人工智能领域最具挑战性的研究课题。

目前，足球机器人系统已成为一个研究热点，究其原因，主要是由于足球机器人系统涉及图像处理与目标跟踪，多智能体协调控制，无线通信，机械结构设计以及机电控制等诸多技术于一体，机器人足球同时又提供了一个标准平台，使得研究人员能够利用各种技术，获得更好的解决方案，从而又反过来促进各个领域的发展，这也就是开展机器人足球研究的深远意义，也是机器人足球研究的魅力所在。

集控式足球机器人系统主要由视觉子系统、决策子系统、通信子系统和机器人本体子系统四部分组成，其工作原理是视觉子系统获取场上目标体的位姿信息，提供给决策子系统进行判断、决策，规划每个机器人的运动轨迹，形成每个机器人的动作指令，并通过无线通信子系统将动作指令发送给每个机器人，机器人接受、执行指令，实现各种动作，上述四个子系统不断循环往复执行，便构成了实时运行的集控式足球机器人系统。集控式足球机器人视觉系统采用集中视觉方式，即通过固定在场地上方的视觉传感器获取整个场地图像，并进行图像处理和目标识别，获取目标在图像中的位置信息，为决策提供依据。

对于集控式足球机器人系统，根据场上机器人的数量和场地的尺寸大小，可以分为3对3、5对5和11对11项目，即场上每方机器人的个数分别为3个、5个和11个。其中3对3和5对5项目的场地尺寸大小为170×130cm和240×180cm，由于场地尺寸较小，因此采用单视觉传感器完全能够满足图像采集要求，视觉传感器固定于场地正中上方约3米处，选用1/2英寸CCD的摄像机，则拍摄整个完整场地需要的镜头焦距在8-10mm，因此可选用焦距范围在4.5-10或6-13mm的手动调焦镜头，且拍摄的场地原始图像畸变不是很大，便于进行校正处理。若图像采集分辨率设为640×480像素，根据系统放大率，机器人在图像中的面积大于20×20像素，有利于图像处理时对机器人的色标进行有效识别，由于场上目标体个数较少，目标识别耗时短，系统可以保持较高的图像采集速度和处理速度，具有较高的实时性。

对于11对11集控式足球机器人系统，场地尺寸增大为440×280cm，每方机器人个数增加为11个。考虑到人类足球比赛时，每方的队员个数也为11个，因此，11对11将是集控式足球机器人系统的发展趋势，且比赛规则也和人类足球竞赛规则有很多相似之处。由于场地尺寸变大，场上机器人个数变多，因此，比赛的激烈程序、观赏性和趣味性也大大提升，同时，系统的设计难度相对3对3和5对5系统来说也明显增大。对于11对11视觉系统而言，若采用单视觉传感器，则会产生如下问题：

1、若选用1/2英寸CCD的摄像机，固定于场地正中上方3米处，则拍摄完整场地需要的镜头焦距为4mm，显然，镜头焦距过小，很难选配合适焦距的镜头；

2、若想增加镜头的焦距，可通过选用大尺寸CCD的摄像机和增加摄像机和场地间的距离，但增加摄像机和场地间的距离受限于环境，一般不会大于3米；选用2/3英寸CCD，所需镜头理论焦距在6mm，选用1英寸CCD，所需镜头理论焦距在8.7mm，由于摄像机与场地距离可能小于3m，所以理论焦距还会略小，最终需要选用超广角成像镜头，拍摄的图像畸变过大，给校正带来很大难度，大大降低目标识别的精度；

3、若采用单视觉传感器，由于场地尺寸较大，需要较大的图像分辨率才能保证系统的放大率，即保证目标在图像中的面积便于进行分割识别，若根据5对5系统的放大率，则11对11系统的图像分辨率在1144×728像素，且11对11系统中目标个数较多，因此，每帧图像扫描和目标识别的时间较长，系统的图像采集速度和处理速度都会降低，使得系统的实时性大大减弱。

综上，对于大场地11对11集控式足球机器人视觉系统，若采用单视觉传感器，需要选用大尺寸CCD，图像分辨率和采集速度较高的摄像机，这给摄像机的选型和成本控制都带来了很大问题，即使选型成功，获取的图像由于超广角大视场成像也会导致图像畸变很大，影响校正和识别精度，且考虑到大分辨率图像扫描和多目标体识别耗时巨大，势必影响图像的采集、处理速率和整个系统的实时性。因此，在11对11视觉系统中，仅采用单个视觉传感器用于整个场地拍摄和所有目标识别，存在诸多不合理性，应采取其他改进措施。

发明内容

为了克服大场地集控式足球机器人视觉系统使用单视觉传感器，获取的图像由于超广角大视场成像也会导致图像畸变很大，影响校正和识别精度，且考虑到大分辨率图像扫描和多目标体识别耗时巨大，势必影响图像的采集、处理速率和整个系统的实时性的问题，本发明提供一种双视觉信息融合的集控式足球机器人识别系统及识别方法，旨在提高系统的识别精度和实时性。

为了解决上述问题，本发明所采取的技术方案是：

一种双视觉信息融合的集控式足球机器人识别系统，包括两台PC机，所述两台PC机之间采用以太网接口线互相连接，其特征在于：还包括两个用于拍摄球场不同位置目标体的视觉传感器、若干设置在球场上用于表征机器人位姿和ID信息的色标，所述两个数据传感器位于色标的上方，所述每台PC机对应连接一个视觉传感器，所述PC机内设置有图像处理系统。

前述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述两个视觉传感器为用于拍摄左半场目标体的左视觉传感器和用于拍摄右半场目标体的右视觉传感器，所述一台PC机作为服务器端，另一台PC机作为客户端。

前述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述色标分为N个矩形区域，N大于等于4且为整数，由队标、若干队员标志和黑色标志三部分组成，且队标、各队员标志和黑色标志颜色各不相同，所述队标位于色标其中一个区域，且队标的长边和机器人正方向平行，所述色标其它N-1个区域通过若干队员标志和黑色标志相互组合表示不同机器人的ID号，且队员标志的长边也和机器人正方向平行。

前述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述色标分为五个区域，能够由队标、队员标志1、队员标志2和黑色标志组成，所述队标位于色标正中，且队标的长边和机器人正方向平行，所述色标的左上、左下、右上和右下四个区域通过队员标志1、队员标志2和黑色标志相互组合表示不同机器人的ID号，且队员标志的长边也和机器人正方向平行。

前述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述的图像处理系统包括：

图像采集模块，用于服务器端和客户端PC机分别获取左右半场图像；

图像显示模块，用于服务器端和客户端PC机分别显示获取的原始图像；

特征提取模块，用于服务器端和客户端PC机将本方、对方所用色标颜色信息和球的颜色信息进行提取，以颜色阈值的形式进行保存，作为图像扫描时的判断依据；

图像标定模块，用于对服务器端和客户端PC机获取的原始图像畸变进行校正，并建立原始图像像素坐标和场地世界坐标的映射关系；

目标识别模块，用于对服务器端和客户端PC机获取的原始图像进行处理，得到本方机器人的位姿信息、对方机器人的位置信息和球的位置信息；

双机互联模块，用于在系统运行前，设定服务器端和客户端PC机的IP地址及端口号，实现服务器端和客户端PC机的数据传输；

识别信息判断处理模块，用于判断服务器端和客户端是否能够识别本方我机器人ID信息以及识别出ID的机器人位姿信息是否有效；

视觉信息融合模块，用于将左右半场的图像处理结果进行数据融合和冗余处理，获取完整场地上所有目标体的信息；

球丢失处理模块，用于视觉信息融合时球丢失的情况处理。

前述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述图像处理系统还包括仿真显示模块，用于将视觉系统处理得到的结果进行仿真显示，以便可以直观判断目标识别的效果。

一种双视觉信息融合的集控式足球机器人识别方法，其特征在于：包括以下步骤：

(1)、对原始图像按一定的步长扫描队标种子点，采用四连通区域生长算法，将所有队标从原始图像中分割出来，每个队标的中心点即为机器人的中心位置；

(2)、对每个队标，采用最小二乘法拟合过队标中心点且与队标长边平行的轴方向角，此长轴方方向角与机器人正方向角相同或相差180度；

(3)、通过判断机器人正方向左上区域和左下区域颜色的方位，确定机器人的正方向角，机器人正方向左侧始终为黑色标志或队员标志1颜色，若图像中队标长轴的左侧为黑色标志或队员标志1颜色，则机器人正方向角与长轴方方向角相等，若图像中队标长轴的右侧为黑色标志或队员标志1颜色，则机器人正方向角等于长轴方方向角加180度；

(4)、通过判断机器人正方向右上区域和右下区域颜色组合，确定机器人的ID号。若机器人正方向左侧为黑色标志，则机器人ID号范围为1至8号，进一步判断其右侧颜色组合，确定其具体ID号，若机器人正方向左侧为队员标志1颜色，则机器人ID号范围为9至11号，进一步判断其右侧颜色组合，确定其具体ID号。

本发明的有益效果是：由于采用双视觉传感器，每个传感器负责半场图像的获取，因此，图像的畸变得到有效降低，不需要设置较高的图像分辨率，从而可以减少图像的扫描量，进而减少图像处理与目标识别的耗时，且每个半场的图像处理与目标识别均由单独一台PC机负责，两台PC机之间通过以太网连接进行信息融合，因此可以极大地提高图像的采集速度和处理速度，从而大大提高系统的实时性；本系统的色标设计与现有色标相比，颜色使用种类少，识别算法简单有效，从而可以提高系统的识别效率；本系统中的识别信息判断模块和球丢失处理模块，能够对识别信息的有效性和信息丢失情况进行合理判断和处理，从而提高了系统的鲁棒性。

附图说明

图1是本发明系统组成框图。

图2a是常见色标(a)设计方案示意图。

图2b是常见色标(b)设计方案示意图。

图2c是常见色标(c)设计方案示意图。

图2d是常见色标(d)设计方案示意图。

图2e是常见色标(e)设计方案示意图

图3是本发明色标设计方案示意图。

图4是本发明色标和ID号的具体对应关系示意图。

图5是色标识别原理图。

图6是左半场原始图像示意图。

图7是右半场原始图像示意图。

图8是左半场标定后的示意图。

图9是右半场标定后的示意图。

图10是特征颜色像素点在H-S色环和I轴上分布的示意图。

图11本方机器人信息有效性判断示意图。

图12球被单机器人遮挡时的情况判断示意图。

图13球被双机器人遮挡时的情况判断示意图。

图14是识别结果仿真显示图。

具体实施方式

下面结合附图对本发明做进一步的描述。

为提高大场地11对11集控式足球机器人视觉系统的识别精度和实时性，本发明实施例提供了一种双视觉传感器信息融合的集控式足球机器人视觉系统。下面结合附图对本发明实施例做详细说明。

如图1所示，一种双视觉传感器信息融合的集控式足球机器人视觉系统，包括用于拍摄左半场目标体的左视觉传感器1、用于拍摄右半场目标体的右视觉传感器2、用作服务器端的PC机3，用作客户端的PC机4，连接两台PC机的以太网接口线5、用于表征本方机器人位姿和ID信息的色标6以及图像处理系统。其中左视觉传感器1和右视觉传感器2完全相同，为高速高精度工业级数字摄像头，服务器端的PC机3和客户端的PC机4以相同的速率同时进行图像获取和图像处理，每处理完一幅图像后，客户端将处理结果通过以太网发送给服务器端，服务器端接收来自客户端的信息，并和本机的图像处理结果进行信息融合，获取完整场地上所有目标体的信息，并传递给决策系统。

双视觉传感器采用BASLR A311fc 1394数字摄像头，该款摄像头主要用于工业生产监控、机器视觉、显微图像分析、生物及医学等领域，具有以下主要特点：

(1)、优越的图像质量可以改善图像处理结果；

(2)、外形紧凑，易于安装；

(3)、支持AOI(Area of Interest)扫描，允许更高的采集帧速；

(4)、多种分辨率选择，更加适应不同系统的需要；

(5)、电子控制曝光时间具有极大的适应性；

(6)、图像传输采用1394传输总线，图像信号传输无损耗。

性能参数如表1：

表1

由上述参数可知，该款摄像头完全能够满足系统要求，图像分辨率设为656×492像素，每个摄像头拍摄视场约为280×230cm，系统放大率约为2.14，色标在图像中的大小约为16×16像素，便于视觉系统进行图像分割和目标识别，且所需镜头焦距在6.5mm左右，因此可选用焦距范围在4-12mm的TAMRON 12VM412ASI或焦距范围在6-13mm的Kowa LMVZ613镜头，由于每个摄像头拍摄半场图像，拍摄视场减小，从而图像畸变降低，便于进行图像畸变校正和场地标定。

视觉系统中色标设计的原则是颜色使用种类越少越好，以免出现相近颜色间的互相干扰，色标识别算法简单高效，从而减少图像处理耗时，增加系统的实时性。常见的色标设计方案如图2a、2b、2c、2d、2e所示，(a)、(b)、(d)、(e)四个方案识别算法都比较简单，对于机器人的中心位置和方位角很容易得到，但对于机器人ID信息，由于只采用了一个队标标志，所以表示11个不同ID号的机器人，就需使用11种不同颜色的队员标志，显然，很容易造成颜色间的相互干扰，造成错误识别结果。方案(c)虽然只使用一个队标表示所有机器人，但其方位角识别算法过于复杂，且无法得到机器人ID号，给决策系统设计增加难度，因此，本发明设计一种只需2种队员标志颜色即可表示11个机器人，且辨识算法简单高效，色标具体设计方案如图3所示，A区域是队标，根据规则，队标只能是黄色或蓝色，箭头表示色标的正方向，应该和机器人的正方向保持一致，B、C、D、E表示色标的左上、左下、右上、右下四个区域，每个区域可以为黑色标志、队员标志1和队员标志2，其中队员标志1和队员标志2的颜色为红色和绿色，不同于双方队标颜色(黄色、蓝色)和球的颜色(橙色)。通过在色标B、C、D、E四个区域进行不同的队员标志和黑色标志组合，可表示11个不同ID号的机器人，其具体表示如下表：

表2

ID号	B区域	C区域	D区域	E区域
					1	0	0	0	1
2	0	0	1	0
					3	0	0	1	1
4	0	0	0	2
					5	0	0	2	0
6	0	0	2	2
					7	0	0	1	2
8	0	0	2	1
					9	1	1	0	1
10	1	1	1	0
					11	1	1	0	2

其中，0表示黑色标志，1表示队标标志1颜色(红色)，2表示队员标志2颜色(绿色)。

视觉系统通过识别色标获取机器人的位姿信息以及ID号。根据色标设计，队标的中心位置即是机器人的位置，队标长轴的方向以及色块B、C、D、E组合决定机器人的正方向和ID号。具体识别算法如下：

步骤1、对获取的原始图像进行分割，获取队标区域，队标的中心坐标可根据重心法求取，机器人的位置坐标即是队标的中心坐标。

$\left\{\begin{array}{c}{x}_T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i/N\\ y_T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i/N\end{array}\right.---\left(1\right)$

(1)式中x_i代表符合队标特征颜色的像素点的横坐标，y_i代表符合队标特征颜色的像素点的纵坐标，N代表符合队标特征颜色的像素点的数量。

步骤2、队标A为6.5×2.5cm的矩形，其长轴的斜率可通过最小二乘法拟合而得，即

k＝b/(a-c)                            (2)

其中，a＝∑x²-(∑x)²/N                (3)

b＝2*(∑xy-∑x∑y/N)                  (4)

c＝∑y²-(∑y)²/N                      (5)

N为队标区域像素点总数，x为队标像素点的横坐标，y为队标像素

点的纵坐标。 $\mathrm{\θ}=\arctan \left(\frac{\±{(1+k^2)}^{1/2}-1}{k}\right)+\mathrm{\π}/2---\left(6\right)$

(6)式中的正负号取决于色标在场地中的倾斜方向和k的正负，这里计算出的θ角是队标长轴与x轴所成的角度，而不一定是机器人正方向与x轴所成的角度。

步骤3、如图5所示，根据θ角和色标尺寸确定队标右上、右下、左下和左上四个区域中心点a、b、c、d四点的图像坐标，分别以a、b、c、d为中心点确定一个3(pixels)×3(pixels)的判定窗口，对窗口里的每个像素进行判断是否为黑色，若窗口中为黑色的像素个数不少于5个，即认为该窗口所属的区域色块颜色为背景色，对机器人正方向角进行判断，判断步骤如下：

1)、若a、b所属区域色块为黑色或队员标志1颜色，则机器人正方向角φ＝θ+π；

2)、若c、d所属区域色块为黑色或队员标志1颜色，则机器人正方向角φ＝θ；

步骤4、进一步判断机器人ID号，具体步骤如下：

1)、若a、b所属区域色块为黑色，则机器人的ID在1到8之间，若a、b所属区域色块为队员标志1颜色，则机器人的ID在9到11之间，分别以c、d为中心点确定一个5(pixels)×5(pixels)的窗口，若窗口中为同一种颜色的像素个数不少于10个，则可判定该区域色块为这种颜色。根据判断结果对照表2得到机器人的ID。

2)、若c、d所属区域色块为黑色，则机器人的ID在1到8之间，若c、d所属区域色块为队员标志1颜色，则机器人的ID在9到11之间，分别以a、b为中心点确定一个5(pixels)×5(pixels)的窗口，若窗口中为同一种颜色的像素个数不少于10个，则可判定该区域色块为这种颜色。根据判断结果对照表2得到机器人的ID。

图像处理系统用于对左右半场进行图像标定、特征提取、目标识别、信息纠错、信息融合以及球丢处理等，包括图像采集模块、图像显示模块、特征提取模块、图像标定模块、目标识模块、双机互联模块、识别信息判断处理模块，视觉信息融合模块、球丢处理模块和仿真显示模块。

图像采集模块，用于服务器端和客户端PC机分别获取左右半场图像，具有单帧采集和实时采集两种获取模式，采集分辨率为656×492像素，拍摄视场为半场大小，即场地宽度保持不变，长度为整个场地的一半，尺寸约为280×230cm，实时采集速率为73f/s。为便于左右半场识别信息的融合，服务器端摄像头拍摄左半场时，球门应位于图像的上边沿，客户端摄像头拍摄右半场时，球门应位于图像下边沿。

图像显示模块，用于单帧图像和实时图像的显示，为特征提取和图像标定提供依据。左右半场原始图像经边缘提取后的示意图如图6和图7所示。

图像标定模块，用于对服务器端和客户端PC机获取的原始图像畸变进行校正，并建立原始图像像素坐标和场地世界坐标的映射关系。根据摄像机的成像模型和本视觉系统特点，对Tsai经典标定算法进行修正获取适用于本系统的标定模型，取原始场地上的若干标志点作为标定参考点，求解标定模型的内外参数，从而建立起原始图像像素坐标和场地世界坐标的转换模型。具体标定步骤如下：

1)、利用系统场地作为标定模板，利用场地上的某些标志点作为标定参考点，获取场地的原始图像，并获取标定参考点的像素坐标和世界坐标；

2)、根据集控式足球机器人视觉系统特点，建立摄像机成像模型，利用所述标定参考点的像素坐标和世界坐标，分别获取摄像机的内外参数，并对相关参数进行优化；

3)、利用所述已获取的摄像机内外参数，建立原始场地图像像素坐标至不同高度平面对应的世界坐标的转换模型；

4)、根据场地上不同目标体的高度，将高度值代入转换模型，获取不同目标体高度所在平面对应的世界坐标坐标和图像像素坐标映射关系，最终以文件的形式进行存储。

建立世界坐标系至摄像机坐标系变换的摄像机成像模型，其中旋转变换矩阵采用欧拉角(Euler angle)近似简化表示，根据成像平面与标定平面近似平行的特点，X方向和Y方向的欧拉角近似为0，其余弦值近似为1，正弦值近似为0或其本身值，根据成像模型，获取摄像机的内外参数的步骤包括：

1)、根据摄像机成像模型和RAC(径向约束条件)，确定所需标定的外参数包括旋转矩阵的三个欧拉角和平移矩阵的三个平移量，内参数包括焦距、径向畸变系数、摄像机水平不确定比例因子和光轴与CCD成像平面的交点(原点)在图像坐标系中的像素坐标；

2)、取图像中心像素点坐标作为原点在图像坐标系中的初始坐标值，摄像机水平不确定比例因子初始值为1；

3)、根据摄像机成像模型和RAC，建立关于Z方向的欧拉角和X、Y方向的平移量三个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

4)、根据摄像机成像模型和RAC，建立超静定线性方程组，利用方程组的解获取摄像机水平不确定比例因子的值；

5)、利用小孔成像原理，建立有效焦距的求解模型，根据场地尺寸、CCD尺寸及摄像机与场地的距离，利用相似三角形原理，获取有效焦距的初值；

6)、根据摄像机成像模型和RAC，建立关于X、Y方向的欧拉角、Z方向的平移量及径向畸变系数四个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

7)、采用LM(Levenberg-Marquardt)算法对上述求取的摄像机内外参数进行优化获取精确值。

上述的LM优化算法对求取的摄像机内外参数优化具体步骤如下：

1)、确定需要优化的参数为所有参数，建立以标定参考点像素坐标转换为CCD成像平面的坐标值和标定参考点世界坐标经标定模型转换到CCD成像平面上的坐标值的误差平方和为优化模型函数，所述标定模型为包含摄像机内外参数的成像模型；

2)、令摄像机水平不确定比例因子初值为1，利用建立模型，优化焦距、径向畸变系数和Z向平移量三个参数；

3)、由于图像中心不可能和成像平面原点完全重合，利用模型，优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

4)、根据径向畸变系数及水平比例因子，重新计算标定参考点在成像平面坐标系下的坐标值，再次优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

5)、保持成像平面原点的像素坐标不变，利用模型，优化其余九个参数。

6)、利用模型，优化所有十一个参数。

图8为左半场图像畸变校正并转换成世界坐标的场地示意图，图9为右半场图像畸变校正并转换成世界坐标的场地示意图。

特征提取模块，用于服务器端和客户端PC机将本方、对方所用色标颜色信息和球的颜色信息进行提取，以颜色阈值的形式进行保存，作为图像扫描时的判断依据。首先，对原始图像中的色标和球进行局部采样，将采样范围内的每个像素RGB值转化HSI值，并根据H、S值显示该像素点在H-S色环上的分布，根据I值建立亮度直方图，最终针对每种颜色在H-S色盘上确定H、S的阈值范围，在亮度直方图上确定I的阈值范围。以黄色队标为例，首先在原始图像中选择橙色球所在局部图像进行放大处理，在放大图像中，选择橙色球采样区域，并将采样区域有所有像素点的RGB值转换为HSI值，根据H、S值确定采样区域内的所有像素点在H-S色盘上的分布，根据I值建立采样区域内所有像素点的亮度直方图，如图10所示。根据H、S值分布和I直方图，可以方便的选取球颜色的H、S、I的阈值范围。对左右图像中的本方队标、本方队员标志1、本方队员标志2、球和对方队标依次确定H、S、I值的阈值范围，为目标识别提供判断依据。

目标识别模块，用于对服务器端和客户端PC机获取的原始图像进行处理，根据色标识别算法，得到本方机器人的位姿信息、对方机器人的位置信息和球的位置信息。具体识别步骤如下：

1)、建立场地世界坐标系，原点在场地左下角，向右为x轴正向，向上为y轴正向；原始图像坐标系的原点在图像左上角，向右为x轴正向，向下为y轴正向；将原始图像坐标系的原点变换到与场地世界坐标系原点重合，x轴和y轴方向与场地世界坐标系保持一致，称之为变换图像坐标系。

2)、从左右半场图像的起始点按步长4个像素进行从左向右、从上至下扫描，根据特征提取模块得到的本方队标H、S、I值范围，判断扫描的像素点颜色是否为队标颜色，若是，则以此像素点为种子点，采用四连通区域生长算法进行队标分割，并对分割出的队标进行真伪判断，若此分割出的队标面积在40至300像素，且目标左右长度与上下高度之处绝对值在20像素以内，认为分割出的目标即为本方队标，否则认为是错误识别，依次扫描整幅图像，完成本方所有队标的分割，记录队标中心点在原始图像坐标下的像素坐标，并在分割过程，根据队标长轴拟合算法，进行相关坐标变换，得到队标长轴在变换图像坐标系下与x轴正向所成的角度；

3)、确定队标左右两侧四个区域中心点a、b、c、d在变换图像坐标系下的像素坐标，其计算公式如下：

tempθ＝π/2-arctan(0.75)-θ                        (7)

$\left\{\begin{array}{c}\mathrm{ax}=\mathrm{Ty}+8.5*\cos \left(\mathrm{temp\θ}\right)\\ \mathrm{ay}=(655-\mathrm{Tx})+8.5*\sin \left(\mathrm{temp\θ}\right)\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}\mathrm{bx}=\mathrm{Ty}+8.5*\cos (\mathrm{temp\θ}+2*\arctan \left(0.75\right))\\ \mathrm{by}=(655-\mathrm{Tx})+8.5*\sin (\mathrm{temp\θ}+2*\arctan \left(0.75\right))\end{array}\right.---\left(9\right)$

$\left\{\begin{array}{c}\mathrm{cx}=\mathrm{Ty}+8.5*\cos (\mathrm{temp\θ}+\mathrm{\π})\\ \mathrm{cy}=(655-\mathrm{Tx})+8.5*\sin (\mathrm{temp\θ}+\mathrm{\π})\end{array}\right.---\left(10\right)$

$\left\{\begin{array}{c}\mathrm{dx}=\mathrm{Ty}+8.5*\cos (\mathrm{temp\θ}+\mathrm{\π}+2*\arctan \left(0.75\right))\\ \mathrm{dy}=(655-\mathrm{Tx})+8.5*\sin (\mathrm{temp\θ}+\mathrm{\π}+2*\arctan \left(0.75\right))\end{array}\right.---\left(11\right)$

其中，θ为队标长轴与变换图像坐标系x轴所成的角度，(Tx，Ty)为原图像坐标系中队标中心点像素坐标，(ax，ay)、(bx，by)、(cx，cy)、(dx，dy)分别为变换图像坐标系中a、b、c、d四点像素坐标、再根据本方色标识别算法，判定每个队标对应的机器人方位角以及ID号信息。

4)、对左右图像按步长3像素进行间隔扫描，搜索对方队标和球的种子点，并采用四连通区域生长算法分割出所有的对方队标和球，并根据面积判断目标真伪，若分出对方队标面积在40至300像素范围内，认为是真，否则为假；若分割出球的面积在30至300像素，认为是真，否则为假。记录所有分割出的对方队标和球的原图像坐标系坐标。

5)、根据图像标定模块建立的原始图像像素坐标和场地世界坐标系的映射关系，以及本方队标、对方队标和球的中心点原始图像坐标，获取本放机器人、对方机器人和球在场地世界坐标系中的坐标值。

双机互联模块，用于在系统运行前，使用以太网接口线将服务器端和客户端进行连接，使得双机采用TCP/IP传输协议可以进行通讯和信息传输，具体实现步骤如下：

1)、设定服务器端的IP地址为180.170.0.1，端口1为3128，端口为4239，并在端口1绑定用于命令传输的套接字，在端口2绑定用于信息传输的套接字，开启端口侦听线程；

2)、设定客户端的IP地址为180.170.0.2，端口1为3128，端口为4239，并在端口1连接服务器的命令传输套接字，在端口2连接服务器端的信息传输套接字，握手成功后，服务器端会向客户端发送连接成功消息。

3)、服务器端传给客户端的命令用字符表示，字符I表示系统初始化，用于初始化相关参数，并进行图像单帧采集、目标识别、信息传输、信息判断和融合及最终仿真显示识别结果；字符R表示系统实时运行测试，用于检测实时运行情况下，目标是否仍可以可靠准确地被识别；字符S表示系统实时运行，并将目标识别结果传递给决策系统；字符P表示系统停止运行，但服务器端和客户端仍保持网络连通状态，为下次接受命令做准备。

4)、客户端在完成初始化和每帧图像处理后，通过信息传输套接字将初始化和图像处理结果传送给服务器端进行数据融合，其传输格式为“已识别本方机器人位姿信息”+“未识别本方机器人位姿信息”+“对方机器人位置信息”+“球的位置信息”，其中机器人预留个数为11，对于已识别本方机器人，按其ID号进行存储，对于未识别本方机器人位姿信息和对方机器人位置信息，按顺序进行存储，若均使用整形变量，则每帧传输的信息量为11*3*4+11*3*4+11*2*4+1*2*4＝360字节，则每秒钟传输的信信息量为360*73＝25.664K字节，以太网完全能够满足传输速率要求。

识别信息判断处理模块，用于判断服务器端和客户端是否能够识别本方机器人ID信息以及识别出ID的机器人位姿信息是否有效。具体判断步骤如下：

1)、目标识别模块对左右半场进行本方机器人识别时，若识别出的机器人ID号在1-11范围内，则标记为已识别本方机器人，进一步判断机器人位姿是否合理；若由于颜色干扰、光线变化及图像变形等原因，无法得到有效的机器人ID号，但已识别出位姿信息或只识别出位置信息，则标记为未识别机器人；

2)、由于机器人的最大运行速度为2.5m/s，两幅图像采集间隔时间为1/73s，故机器人两幅图像间隔时间内最大运行距离为250/73＝3.4cm，目标识别模块识别出左右半场目标体后，客户端将识别信息(包括已识别本方机器人、未识别本方机器人、对方机器人和球信息)发送给服务器端，服务器端对已识别出的机器人信息进行进一步判断，如图11所示，若该机器人当前位置跟前一帧位置距离小于4cm，则认为该机器人识别信息有效，否则无效，标记为误识别机器人呢，对于未识别的和误识别的本方机器人位姿信息予以保存，用于后续信息融合处理。

视觉信息融合模块，用于将左右半场的图像处理结果进行数据融合和冗余处理，获取完整场地上所有目标体的信息。具体步骤如下：

1)、客户端每完成一帧图像处理后，会把所在半场的本方机器人位姿信息，对方机器人和球的位置信息发送给服务器端，经识别信息判断处理模块后，对于本方机器人，若左右半场识别信息有效的机器人个数之和为11个，且ID互不重复，则不存在信息冗余；若左右半场识别信息有效的机器人个数大于11个，则必定存在ID互相重复的情况，此时可能是同一个机器人在左右半场图像中同时被识别，位置应基本相同，所以若ID相同的机器人之间距离在10cm内，则对左右识别信息进行均值化处理；若距离大于10cm，选择离前一帧位置最近的识别信息作为该机器人当前帧的位姿信息，若左右半场识别信息有效的机器人个数小于11个，则根据前一帧位置和当前帧位置距离最近原则，从未识别和识别无效的机器人信息中，依次得到缺失ID的机器人信息。

2)、若识别出球的个数唯一，则不存在冗余，若识别出球的个数大于1时，且球之间的距离10cm时，作均值化处理，否则，选择距离上一帧球的位置最近的作为有效球位置信息，若球丢失，则转入球丢失处理模块。

3)、对于对方机器人位置信息，若识别个数小于等于11个，则不存在冗余，否则，将距离最近的两机器人位置均值合并，直到机器人的个数达到11个。

球丢失处理模块，用于视觉信息融合时球丢失的情况处理。若左右半场均未识别到球，则根据上一帧球的位置和球速确定搜索窗口，具体搜索步骤为：

(1)、如果搜索窗口内没有任何机器人(包括对方机器人)，则认为当前帧球的位置和前一帧保持一致；

(2)、如果搜索窗口内只有一个机器人，则认为球被机器人遮挡，如图12所示，遮挡点在半场区域中心点与机器人位置连线延长线上且距机器人约7cm处，此时遮挡点即为球的位置，根据机器人位置坐标和半场区域中心点与机器人位置连线的角度，即可求出球的位置坐标。

(3)、如果搜索窗口内有多个机器人存在(包括对方机器人)，其中两个机器人的中心距小于10cm，如图13所示，则认为球被两个机器人夹持，此时，两机器人的中心位置即为球的位置；

(4)、如果搜索窗口内有多个机器人，但不满足两机器人中心距小于10cm，则认为球是被距离本方球门最近的机器人遮挡，遮挡点即为球的位置。

仿真显示模块，用于将视觉系统处理得到的结果进行仿真显示，以便可以直观判断目标识别的效果。根据场地的尺寸和图像分辨率，可以绘制放大率为1.45的仿真场地，此时仿真场地尺寸为638×406像素，场地坐标原点距离图像边界为(38，43)像素，所以根据视觉系统得到的目标位置信息，其在仿真场地上的显示坐标(x，y)为：

x＝rx*1.45+38            (12)

y＝ry*1.45+43            (13)

其中(rx，ry)为目标体在实际场地中的世界坐标，由于本方机器人具有方向角度信息和ID号，因此绘制带有箭头表示正方向以及数字表示ID号的仿真机器人，对于对方机器人和球，由于只有位置信息，因此，只需在仿真场地上确定其显示坐标，表示出位置即可，显示坐标具体计算方式与(12)、(13)式相同。仿真显示如图14所示，包括本方机器人的位置、角度和ID号信息，以及对方机器人和球的位置信息。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种双视觉信息融合的集控式足球机器人识别系统，包括两台PC机，所述两台PC机之间采用以太网接口线互相连接，其特征在于：还包括两个用于拍摄球场不同位置目标体的视觉传感器、若干设置在球场上用于表征机器人位姿和ID信息的色标，所述两个数据传感器位于色标的上方，所述每台PC机对应连接一个视觉传感器，所述PC机内设置有图像处理系统。

2.根据权利要求1所述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述两个视觉传感器为用于拍摄左半场目标体的左视觉传感器和用于拍摄右半场目标体的右视觉传感器，所述一台PC机作为服务器端，另一台PC机作为客户端。

3.根据权利要求2所述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述色标分为N个矩形区域，N大于等于4且为整数，由队标、若干队员标志和黑色标志三部分组成，且队标、各队员标志和黑色标志颜色各不相同，所述队标位于色标其中一个区域，且队标的长边和机器人正方向平行，所述色标其它N-1个区域通过若干队员标志和黑色标志相互组合表示不同机器人的ID号，且队员标志的长边也和机器人正方向平行。

4.根据权利要求3所述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述色标分为五个区域，能够由队标、队员标志1、队员标志2和黑色标志组成，所述队标位于色标正中，且队标的长边和机器人正方向平行，所述色标的左上、左下、右上和右下四个区域通过队员标志1、队员标志2和黑色标志相互组合表示不同机器人的ID号，且队员标志的长边也和机器人正方向平行。

5.根据权利要求4所述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述的图像处理系统包括：

图像采集模块，用于服务器端和客户端PC机分别获取左右半场图像；

图像显示模块，用于服务器端和客户端PC机分别显示获取的原始图像；

特征提取模块，用于服务器端和客户端PC机将本方、对方所用色标颜色信息和球的颜色信息进行提取，以颜色阈值的形式进行保存，作为图像扫描时的判断依据；

图像标定模块，用于对服务器端和客户端PC机获取的原始图像畸变进行校正，并建立原始图像像素坐标和场地世界坐标的映射关系；

目标识别模块，用于对服务器端和客户端PC机获取的原始图像进行处理，得到本方机器人的位姿信息、对方机器人的位置信息和球的位置信息；

双机互联模块，用于在系统运行前，设定服务器端和客户端PC机的IP地址及端口号，实现服务器端和客户端PC机的数据传输；

识别信息判断处理模块，用于判断服务器端和客户端是否能够识别本方我机器人ID信息以及识别出ID的机器人位姿信息是否有效；

视觉信息融合模块，用于将左右半场的图像处理结果进行数据融合和冗余处理，获取完整场地上所有目标体的信息；

球丢失处理模块，用于视觉信息融合时球丢失的情况处理。

6.根据权利要求5所述的一种双视觉信息融合的集控式足球机器人识别系统，其特征在于：所述图像处理系统还包括仿真显示模块，用于将视觉系统处理得到的结果进行仿真显示，以便可以直观判断目标识别的效果。

7.一种双视觉信息融合的集控式足球机器人识别方法，其特征在于：包括以下步骤：

(1)、对原始图像按一定的步长扫描队标种子点，采用四连通区域生长算法，将所有队标从原始图像中分割出来，每个队标的中心点即为机器人的中心位置；

(2)、对每个队标，采用最小二乘法拟合过队标中心点且与队标长边平行的长轴方向角，此长轴方方向角与机器人正方向角相同或相差180度；

(3)、通过判断机器人正方向左上区域和左下区域颜色的方位，确定机器人的正方向角，机器人正方向左侧始终为黑色标志或队员标志1颜色，若图像中队标长轴的左侧为黑色标志或队员标志1颜色，则机器人正方向角与长轴方方向角相等，若图像中队标长轴的右侧为黑色标志或队员标志1颜色，则机器人正方向角等于长轴方方向角加180度；

(4)、通过判断机器人正方向右上区域和右下区域颜色组合，确定机器人的ID号，若机器人正方向左侧为黑色标志，则机器人ID号范围为1至8号，进一步判断其右侧颜色组合，确定其具体ID号，若机器人正方向左侧为队员标志1颜色，则机器人ID号范围为9至11号，进一步判断其右侧颜色组合，确定其具体ID号。

8.根据权利要求7所述的一种双视觉信息融合的集控式足球机器人识别方法，其特征在于：包括以下步骤：

步骤1、对获取的原始图像进行分割，获取队标区域，队标的中心坐标可根据重心法求取，机器人的位置坐标即是队标的中心坐标，

$\left\{\begin{array}{c}{x}_T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i/N\\ y_T=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i/N\end{array}\right.---\left(1\right)$

(1)式中x_i代表符合队标特征颜色的像素点的横坐标，y_i代表符合队标特征颜色的像素点的纵坐标，N代表符合队标特征颜色的像素点的数量；

步骤2、队标为矩形，其长轴的斜率可通过最小二乘法拟合而得，即

k＝b/(a-c)                            (2)

其中，a＝∑x²-(∑x)²/N                (3)

b＝2*(∑xy-∑x∑y/N)                  (4)

c＝∑y²-(∑y)²/N                      (5)

N为队标区域像素点总数，x为队标像素点的横坐标，y为队标像素

点的纵坐标 $\mathrm{\θ}=\arctan \left(\frac{\±{(1+k^2)}^{1/2}-1}{k}\right)+\mathrm{\π}/2---\left(6\right)$

(6)式中的正负号取决于色标在场地中的倾斜方向和k的正负，这里计算出的θ角是队标长轴与x轴所成的角度，而不一定是机器人正方向与x轴所成的角度；

步骤3、根据θ角和色标尺寸确定队标右上、右下、左下和左上四个区域中心点a、b、c、d四点的图像坐标，分别以a、b、c、d为中心点确定一个3pixels×3pixels的判定窗口，对窗口里的每个像素进行判断是否为黑色，若窗口中为黑色的像素个数不少于5个，即认为该窗口所属的区域色块颜色为背景色；

步骤4、进一步判断机器人ID号，具体步骤如下：

1)、若a、b所属区域色块为黑色，则机器人的ID在1到8之间，若a、b所属区域色块为队员标志1颜色，则机器人的ID在9到11之间，分别以c、d为中心点确定一个5pixels×5pixels的窗口，若窗口中为同一种颜色的像素个数不少于10个，则可判定该区域色块为这种颜色，根据判断结果对照表2得到机器人的ID；

2)、若c、d所属区域色块为黑色，则机器人的ID在1到8之间，若c、d所属区域色块为队员标志1颜色，则机器人的ID在9到11之间，分别以a、b为中心点确定一个5pixels×5pixels的窗口，若窗口中为同一种颜色的像素个数不少于10个，则可判定该区域色块为这种颜色，根据判断结果对照表2得到机器人的ID。

9.根据权利要求8所述的一种双视觉信息融合的集控式足球机器人识别方法，其特征在于：步骤3包括以下步骤：对机器人正方向角进行判断，具体步骤如下：1)、若a、b所属区域色块为黑色或队员标志1颜色，则机器人正方向角φ＝θ+π；2)、若c、d所属区域色块为黑色或队员标志1颜色，则机器人正方向角φ＝θ。

Images