CN102496160B

CN102496160B - 集控式足球机器人视觉系统标定方法

Info

Publication number: CN102496160B
Application number: CN201110410703.8A
Authority: CN
Inventors: 李奎; 刘波; 周军; 廖华丽
Original assignee: Changzhou Campus of Hohai University
Current assignee: Changzhou Campus of Hohai University
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2014-02-26
Anticipated expiration: 2031-12-09
Also published as: CN102496160A

Abstract

本发明涉及计算机视觉检测技术领域，尤其涉及一种集控式足球机器人视觉系统标定方法，所述方法包摄像机的内外参数，建立原始场地图像像素坐标至不同高度平括：利用系统场地作为标定模板，利用场地上的某些标志点作为标定参考点，并获取标定参考点的像素坐标和世界坐标；根据集控式足球机器人视觉系统特点，建立摄像机成像模型，利用所述标定参考点的像素坐标和世界坐标，分别获取摄像机的内外参数，并对相关参数进行优化；利用所述已获取的面对应的世界坐标的转换模型；本发明属于计算机视觉检测领域，可用于和集控式足球机器人视觉系统相类似的视觉检测系统的摄像机标定，且本方法简单易用、精度较高、不需要其他任何辅助标定装置。

Description

集控式足球机器人视觉系统标定方法

技术领域

本发明涉及计算机视觉检测技术领域，尤其涉及一种集控式足球机器人视觉系统标定方法。

背景技术

机器人足球是由加拿大大不列颠哥伦比亚大学教授Alan Mackworth在1992年的一次国际人工智能会议上首次提出的，他在论文“On Seeing Robots”中提出具有视觉和决策能力的机器人追逐足球的概念，目的是通过机器人足球比赛，为人工智能和智能机器人学科的发展提供一个具有标志性和挑战性的课题。此想法一经提出，便得到了各国科学家的普遍赞同和积极响应，国际上许多著名的研究机构和组织开始开展研究，将其付诸实现并不断推动其发展。

其后，在东京的关于“人工智能领域的严重挑战”学术研讨会上，学者们认真讨论了开展机器人足球比赛对于发展科学技术的意义，认为在众多挑战性课题中让机器人踢足球是机器人与人工智能领域最具挑战性的研究课题。

目前，足球机器人系统已成为一个研究热点，究其原因，主要是由于足球机器人系统涉及图像处理与目标跟踪，多智能体协调控制，无线通信，机械结构设计以及机电控制等诸多技术于一体，机器人足球同时又提供了一个标准平台，使得研究人员能够利用各种技术，获得更好的解决方案，从而又反过来促进各个领域的发展，这也就是开展机器人足球研究的深远意义，也是机器人足球研究的魅力所在。

集控式足球机器人系统主要由视觉子系统、决策子系统、通信子系统和机器人本体子系统四部分组成，其工作原理是视觉子系统获取场上目标体的位姿信息，提供给决策子系统进行判断、决策，规划每个机器人的运动轨迹，形成每个机器人的动作指令，并通过无线通信子系统将动作指令发送给每个机器人，机器人接受、执行指令，实现各种动作，上述四个子系统不断循环往复执行，便构成了实时运行的集控式足球机器人系统。

集控式足球机器人视觉系统采用集中视觉方式，即通过固定在场地上方的摄像头获取整个场地图像，并进行图像处理和目标识别，获取目标在图像中的位置信息，为决策提供依据。视觉系统进过图像处理获取的位置信息是以图像像素为单位，而决策系统需要的是真实世界坐标值(以场地左下角为坐标原点，以向上为Y轴正向，以向右为X轴正向)，因此视觉系统获取的位置信息应转换为决策系统定义坐标系下的真实坐标值。通过视觉系统标定，可预先建立图像像素坐标到场地世界坐标的映射关系，此映射关系以二维数组的形式存在并以文件的形式存储，在程序启动时可手动或自动加载含有映射关系的标定文件。

对于集控式足球机器人视觉系统，其特点是拍摄物距短，视场大，需要使用短焦距广角镜头，因此获取的场地原始图像大多存在较为严重的桶形畸变。因此视觉系统标定首先要完成对畸变图像的校正处理，然后再根据场地实际尺寸和其在图像中所占像素长度的比例关系建立图像像素坐标和场地世界坐标的转换关系，其中畸变图像校正的具体方法有分段线性校正、改进的分段校正和高次多项式校正。下面分别介绍一下这几种方法的原理。

(一)分段线性校正

所谓分段线性校正就是将非线性的变形近似为线性的变形进行处理，并根据场地上不同的变形情况分区处理。原始场地图像在四个角上的变形情况是不尽相同的，所以以场地横向和纵向中心线将场地分为四个区域进行校正处理。

设标准场地四个角点的理想坐标为(x_i，y_i)，i＝1，2，3，4，畸变后对应的坐标为(x_i′，y_i′)，i＝1，2，3，4，则畸变值为：

\{\begin{matrix} Δ x_{i} = x_{i} - {x_{i}}^{'} \\ Δ y_{i} = y_{i} - {y_{i}}^{'} \end{matrix}

对桶形畸变的图像进行拉伸有

\{\begin{matrix} x = x_{i}^{'} + x_{i}^{'} (2 * Δ x_{i} / (1 + y_{i}^{'})) \\ y = y_{i}^{'} + y_{i}^{'} (2 * Δ y_{i} / (1 + x_{i}^{'})) \end{matrix}

分段线性校正原理较为简单，将畸变图像认为是线性变换，存在严重的不足，因此校正结果误差较大。

(二)改进的分段校正

改进的分段校正仍以场地横向和纵向中心线将场地分为四个区域进行校正处理，然后对各个分区分别建立校正模型，根据线性和非线性失真的变换式推出畸变坐标与标准坐标的对应关系：

\{\begin{matrix} x_{1} = A_{1} x_{1}^{'} + B_{1} y_{1}^{'} + C_{1} x_{1}^{'} y_{1}^{'} - k (x_{1}^{'} - x_{0}) ({(x_{1}^{'} - x_{0})}^{2} + {(y_{1}^{'} - y_{0})}^{2}) \\ y_{1} = A_{2} x_{1}^{'} + B_{2} y_{1}^{'} + C_{2} x_{1}^{'} y_{1}^{'} - k (y_{1}^{'} - y_{0}) ({(x_{1}^{'} - x_{0})}^{2} + {(y_{1}^{'} - y_{0})}^{2}) \end{matrix}

其中A₁，B₁，A₂，B₂，C₁，C₂，k为待定系数，通过选取控制点带入式即可求解出。

改进的分段校正原理上采用线性原则与非线性原则相结合，比分段线性校正更为准确，但仍旧没有从根本上遵循畸变图像的非线性原则。

(三)高次多项式校正

该算法应用高次多项式原理，建立原图像坐标与失真图像坐标之间的关系：

\{\begin{matrix} x = Σ_{i = 0}^{n} Σ_{j = 0}^{n - i} a_{ij} u^{i} v^{j} \\ y = Σ_{i = 0}^{n} Σ_{j = 0}^{n - i} b_{ij} u^{i} v^{j} \end{matrix}

其中n为多项式的系数，a_ij、b_ij为待定系数。

采用高次多项式标定，其标定结果与多项式的次数有关，次数越大，精度越高，但次数增加多项式系数也相应增加，控制点数随之增加，标定算法实现难度变大。对于集控式足球机器人系统，较为理想的选择是采用三次多项式，算法在保证精度的同时简单高效。采用三次多项式，上式可写为：

\{\begin{matrix} x = a_{00} + a_{01} v + a_{02} v^{2} + a_{03} v^{3} + a_{10} u + a_{11} uv + a_{12} {uv}^{2} + a_{20} u^{2} + a_{21} u^{2} v + a_{30} u^{3} \\ y = b_{00} + b_{01} v + b_{02} v^{2} + b_{03} v^{3} + b_{10} u + b_{11} uv + b_{12} {uv}^{2} + b_{20} u^{2} + b_{21} u^{2} v + b_{30} u^{3} \end{matrix}

对此，式中有10个待定系数，因此当所取控制点数大于10时，采用线性最小二乘问题的广义逆法可求解。

由以上校正方法的原理可知，它们都有一个共同的特点，即利用近似的数学模型去建立畸变前后图像坐标的对应关系，而忽视了摄像机本身成像模型，因此均不能很好地完成畸变图像的校正。

发明内容

本发明提供一种集控式足球机器人视觉系统标定方法，以实现视觉系统图像畸变校正、图像像素坐标和场地世界的坐标的映射，并提高视觉系统的识别精度。

本发明为实现上述目的，采用以下技术方案：

一种集控式足球机器人视觉系统标定方法，所述方法包含以下步骤：

(1)、利用系统场地作为标定模板，利用场地上的某些标志点作为标定参考点，获取场地的原始图像，并获取标定参考点的像素坐标和世界坐标；

(2)、根据集控式足球机器人视觉系统特点，建立摄像机成像模型，利用所述标定参考点的像素坐标和世界坐标，分别获取摄像机的内外参数，并对相关参数进行优化；

(3)、利用所述已获取的摄像机的内外参数，建立原始场地图像像素坐标至不同高度平面对应的世界坐标的转换模型；

(4)、根据场地上不同目标体的高度，将高度值代入转换模型，获取不同目标体高度所在平面对应的世界坐标和图像像素坐标映射关系，最终以文件的形式进行存储。

上述步骤(1)中获取标定参考点的像素坐标的步骤包括：

获取待标定场地的原始图像，并选取近似均匀分在场地上的十六个已知世界坐标的标志点作为标定参考点，所述已知世界坐标的标志点为场地的角点、各种标志线之间或标志线与场地边界的交点及特殊位置点等；

对所述每个标定参考点的局部图像进行放大显示，根据放大图像，人工手动获取每个标定参考点的像素坐标，该像素坐标不需借助任何工具、算法进行精确求解。

上述步骤(2)中建立摄像机成像模型时，世界坐标系至摄像机坐标系的旋转变换矩阵采用欧拉角近似表示，所述的欧拉角近似表示是根据成像平面与标定平面近似平行的特点，X方向和Y方向的欧拉角近似为0，其余弦值近似为1，正弦值近似为0或其本身值。

上述步骤(2)中获取摄像机的内外参数的步骤包括：

根据摄像机成像模型和RAC，所述RAC为径向约束条件，确定所需标定的外参数包括旋转矩阵的三个欧拉角和平移矩阵的三个平移量，内参数包括焦距、径向畸变系数、摄像机水平不确定比例因子和光轴与CCD成像平面的交点在图像坐标系中的像素坐标；

取图像中心像素点坐标作为原点在图像坐标系中的初始坐标值，摄像机水平不确定比例因子初始值为1；

根据摄像机成像模型和RAC，建立关于Z方向的欧拉角和X、Y方向的平移量三个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

根据摄像机成像模型和RAC，建立超静定线性方程组，利用方程组的解获取摄像机水平不确定比例因子的值；

利用小孔成像原理，建立有效焦距的求解模型，根据场地尺寸、CCD尺寸及摄像机与场地的距离，利用相似三角形原理，获取有效焦距的初值；

根据摄像机成像模型和RAC，建立关于X、Y方向的欧拉角、Z方向的平移量及径向畸变系数四个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

采用LM算法对上述求取的摄像机内外参数进行优化获取精确值。

采用LM算法进行参数优化的步骤包括：

确定需要优化的参数为所有参数，建立以标定参考点像素坐标转换为CCD成像平面的坐标值和标定参考点世界坐标经标定模型转换到CCD成像平面上的坐标值的误差平方和为优化模型函数，所述标定模型为包含摄像机内外参数的成像模型；

令摄像机水平不确定比例因子初值为1，利用建立模型，优化焦距、径向畸变系数和Z向平移量三个参数；

由于图像中心不可能和成像平面原点完全重合，利用模型，优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

根据径向畸变系数及水平比例因子，重新计算标定参考点在成像平面坐标系下的坐标值，再次优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

保持成像平面原点的像素坐标不变，利用模型，优化其余九个参数。

利用模型，优化所有十一个参数。

上述步骤(4)中标定结果以文件形式存储是指，对原始场地图像每个像素点坐标转换到目标体高度所在平面的世界坐标后，得到的映射关系以二维数组的形式进行存储，便于目标体出现在场地任何位置时，都可通过查表快速得到其世界坐标，将所述二维数组以计算机文件形式进行存储，便于程序运行时自动加载。

目前，现有标定方法有两类，第一类方法是先进行图像畸变校正，再根据图像分辨率和场地尺寸的比例关系，建立校正后图像像素坐标和场地世界坐标的映射关系，如分段线性校正、高次多项式校正等，这类方法首先利用相关数学模型进行畸变校正，即得到图像未变形前的理想像素坐标，然后通过比例关系将像素坐标和场地世界坐标建立映射关系，在求解模型参数时，需要知道参考点的畸变像素坐标和理想像素坐标，而理想像素坐标无法精确得到，只能通过世界坐标和近似比例系数求的，因此大大降低了图像畸变的校正效果，从而像素坐标与世界坐标的映射精度也会大大降低，并且用于校正的数学模型自身存在一定的误差。第二类方法是传统标定方法，如Tsai经典标定算法、张正友标定算法等，利用摄像机成像模型进行标定，虽然其标定精度较高，但其标定模型和求解过程复杂程度高，且标定时需要利用高精度的标定靶面并经过相关算法(Harris角点检测，最小二乘法直线拟合求交点，基于Hough变换的圆拟合求圆形坐标等)获取参考点的图像像素坐标，因此不适合于集控式足球机器人系统的视觉标定。

本发明与第一类标定方法相比有益之处：其标定模型来源于摄像机成像模型，因此更适合于图像畸变校正，仅依据参考点的实际像素坐标和世界坐标进行参数求解，不需求解参考点的理想像素坐标，在畸变被校正的同时建立起图像像素坐标和场地世界坐标的映射模型，标定精度大大提高。与第二类标定方法相比有益之处：本发明根据系统自身特点，对摄像机成像模型进行近似简化，虽标定精度略有降低，但大大降低了模型自身和求解过程的复杂度，并且标定参考点不需借助高精度标定模板和任何算法获得，仅选取场地上部分标志点即可，标定误差小于4mm，对于足球机器人系统进行决策精度足够，且本发明简单易用，标定速度快，可适用于与本系统相似的视觉系统在满足精度要求下进行摄像机标定。

附图说明

图1是视觉系统标定方法的流程图；

图2是标定参考点的分布图；

图3是用于表示旋转矩阵的欧拉角示意图；

图4是用于求解焦距初始值的相似三角形模型示意图；

图5是获取的场地原始图像；

图6是经过标定后的还原图像。

具体实施方式

为提高集控式足球机器人视觉系统的识别精度，本发明实施例提供了一种集控式足球机器人视觉系统的摄像机标定方法。下面结合附图对本发明做详细说明。

一种集控式足球机器人视觉系统标定方法，方法包含以下步骤：

上述步骤(1)中获取标定参考点的像素坐标的步骤包括：

上述步骤(2)中获取摄像机的内外参数的步骤包括：

采用LM算法进行参数优化的步骤包括：

利用模型，优化所有十一个参数。

实施例：

如图1所示，足球机器人摄像机的视觉系统标定方法包括如下步骤：

步骤1：选取场地上十六个标志点作为标定参考点，手动获取参考点的像素坐标和世界坐标。

选取的十六个标定参考点分布如图2所示，在建立成像模型时，选取场地左上角为世界坐标系原点，根据FIRA Mirosot5：5场地的标准尺寸，十六个标定参考点的世界坐标分别为(0，7)、(110，0)、(220，7)、(220，50)、(220，130)、(220，173)、(110，180)、(0，173)、(0，130)(0，50)、(30，30)、(110，65)、(190，30)、(190，150)、(110，115)、(30，150)，坐标单位厘米。获取参考点图像像素坐标时，采取将参考点所在局部图像放大，鼠标点击选取点，并可上下左右单个像素微调选取点的位置，从而使选取点和所对应的参考点充分重合，则选取点在图像中的像素坐标即为该参考点所对应的像素坐标。

步骤2：根据成像平面和场地标定平面近似平行的特点，对欧拉角表示的旋转矩阵进行简化处理。

在摄像机成像模型中，旋转矩阵一般为3×3矩阵，其元素为r₁至r₉，考虑到求解的复杂性，在此旋转矩阵采用欧拉角形式表示，如图3所示，此时旋转可表示为：

R = [\begin{matrix} \cos R_{z} \cos R_{y} & \sin R_{z} \cos R_{y} & - \sin R_{y} \\ - \sin R_{z} \cos R_{x} + \cos R_{z} \sin R_{y} \sin R_{x} & \cos R_{z} \cos R_{x} + \sin R_{z} \sin R_{y} \sin R_{x} & \cos R_{y} \sin R_{x} \\ \sin R_{z} \sin R_{x} + \cos R_{z} \sin R_{y} \cos R_{x} & - \cos R_{z} \sin R_{x} +sin R_{z} \sin R_{y} \cos R_{x} & \cos R_{y} \cos R_{x} \end{matrix}]

考虑到集控式足球机器人视觉系统中，摄像机竖直安装在场地正上方，其光轴与场地平面近似垂直，即成像平面和场地平面近似平行，所以R_x≈0，R_y≈0，在旋转矩阵第一行中，cosR_y≈1，sinR_y≈R_y，第二行中cosR_x≈1，cosR_y≈1，sinR_y≈0，sinR_x≈R_x，第三行中cosR_x≈1，cosR_y≈1，sinR_y≈R_y，sinR_x≈R_x，旋转矩阵简化如下表示：

R^{'} = [\begin{matrix} \cos R_{z} & \sin R_{z} & - R_{y} \\ - \sin R_{z} & \cos R_{z} & R_{x} \\ R_{x} \sin R_{z} + R_{y} \cos R_{z} & - R_{x} \cos R_{z} + R_{y} \sin R_{z} & 1 \end{matrix}]

步骤3：利用简化的欧拉角旋转矩阵建立摄像机成像模型，确定需要求取的摄像机内外参数。

空间物点从世界坐标系到摄像机坐标系存在如下映射关系：

P_c＝R′P_w+T (1)

其中R′是步骤2中简化的旋转矩阵，T为平移矩阵，此映射关系中共包含六个参数R_x，R_y，R_z，T_x，T_y，T_z需要求解，并称之为摄像机外部参数，根据Tsai“A VersatileCamera Calibration Technique for High-Accuracy 3D Machine Vision Metrology UsingOff-the-Shelf TV Cameras and Lenses”文献，还有五个内部参数需要求解，分别是焦距f，水平不确定比例因子s_x，径向畸变系数k₁，光轴与CCD成像平面的交点(原点)在图像坐标系中的像素坐标C_x，C_y，并称之为内部参数。

步骤4：求解Z方向的欧拉角R_z和X、Y方向的平移量T_x，T_y三个参数初始值。

共面标定情况下，令标定参考点Z_w＝0，则由(1)式得：

X_c＝X_w*cosR_z+Y_w*sinR_z+T_x (2)

Y_c＝-X_w*sinR_z+Y_w*cosR_z+T_y (3)

两式相比整理得：

\frac{X_{w} \cos R_{z} + Y_{w} \sin R_{z} + T_{x}}{- X_{w} \sin R_{z} + Y_{w} \cos R_{z} + T_{y}} = \frac{X_{c}}{Y_{c}} = \frac{X_{d}}{Y_{d}} - - - (4)

整理得：

(X_d*Y_w-Y_d*X_w)cosR_z/T_x-(X_d*X_w+Y_d*Y_w)sinR_z/T_x+X_d*T_y/T_x＝Y_d (5)

令x₁＝cosR_z/T_x，x₂＝sinR_z/T_x，x₃＝T_y/T_x，则式(5)为

(X_d*Y_w-Y_d*X_w)x₁-(X_d*X_w+Y_d*Y_w)x₂+X_d*x₃＝Y_d (6)

(6)式为三元线性方程，(X_d，Y_d)为参考点变形后在CCD成像坐标系中的坐标，且X_d＝(X_f-C_x)/s_x，Y_d＝(Y_f-C_y)(X_w，Y_w)为参考点世界坐标系坐标，为当参考点个数大于3时，利用最小二乘法的广义逆法可求得x₁，x₂，x₃，于是R_z＝arctan(x₂/x₁)，T_x＝sinR_z/x₂＝cosR_z/x₁，T_y＝T_x*x₃。

步骤5：求解摄像机水平不确定比例因子参数的值。

根据Tsai标定算法，在共面标定情况下，

{[\begin{matrix} Y_{di} X_{wi} \\ Y_{di} Y_{wi} \\ Y_{di} \\ - X_{di} X_{wi} \\ - X_{di} Y_{wi} \end{matrix}]}^{T} [\begin{matrix} {T_{y}}^{- 1} r_{1} \\ {T_{y}}^{- 1} r_{2} \\ {T_{y}}^{- 1} r_{3} \\ {T_{y}}^{- 1} r_{4} \\ {T_{y}}^{- 1} r_{5} \end{matrix}] = X_{di} - - - (7)

该方程式包含T_y ^-1r₁，T_y ^-1r₂，T_y ^-1T_x，T_y ^-1r₄，T_x ^-1r₅共5个未知数，利用求解线性最小二乘问题的广义逆法可求得。令r₁′＝T_y ^-1r₁，r₂′＝T_y ^-1r₂，r₃′＝T_y ^-1T_x，r₄′＝T_y ^-1r₄，r₅′＝T_y ^-1r₅则共平面情况下：

s_{x} = \sqrt{{r_{1}}^{' 2} + {r_{2}}^{' 2}} * | T_{y} | - - - (8)

步骤6：利用相似三角形原理，获取有效焦距的初值。

利用理想的小孔成像原理构造有效焦距求解模型，采用相似三角形较为容易地求解f的初值，然后在把f作为已知量求解其他参数，方法简单高效。

如图4所示，建立有效焦距求解模型，ab表示CCD成像平面的宽度，AB表示与ab对应的拍摄视场宽度，oh表示有效焦距f，oH表示摄像机镜头中心到场地的垂直距离。三角形oha与oHB相似，有

求得有效焦距初始值f＝ab/AB*oH用于作为后续非线性优化的初始值。

步骤7：求解X、Y方向的欧拉角R_x，R_y、Z方向的平移量T_z及径向畸变系数k₁四个参数。

由式(5)式可得：

Z_c＝(R_xsinR_z+R_ycosR_z)*X_w+(R_ysinR_z-R_xcosR_z)*Y_w+T_z(9)

根据小孔成像和径向畸变约束(RAC)：

Y_{u} = f \frac{Y_{c}}{Z_{c}}

即

\frac{Y_{d}}{1 + k_{1} r^{2}} = f \frac{Y_{c}}{Z_{c}} - - - (10)

(10)式代入(9)式整理可得：

Y_d(X_wsinR_z-Y_wcosR_z)*R_x+Y_d(X_wcosR_z+Y_w sinR_z)*R_y+Y_d*T_z-fY_cr²*k₁＝fY_c(11)

其中：r²＝X_d ²+Y_d ²，Y_c可由(3)式求得，在忽略图像畸变的情况下，令x₁＝k₁，x₂＝R_x，x₃＝T_z，x₄＝R_y求其初值。

步骤8：采用LM算法对上述求取的摄像机内外参数进行优化获取精确值。

对于之前求得的参数大部分是在忽略图像畸变的情况下求得的初始值，因此若是使用上述参数建立图像坐标和世界坐标的映射关系，势必带来较大误差，达不到摄像机标定的目的。因此，对于以上11个参数均需进行优化求精。本发明采用Levenberg-Marquardt算法进行修正。

Levenberg-Marquardt算法结合了高斯-牛顿法与梯度下降法的优点在靠近某个极小点时平方收敛，具有高斯一牛顿法的局部快速收敛特性；在远离解时则进行修正，沿误差曲面进行搜索，继承了梯度下降法的全局搜索特性。因此，在不需过多的参数调整即能达到快速的收敛，从而较好地修正训练参数。

对已求解的11个参数建立优化模型：

F (x) = Σ_{i = 1}^{n} {(X_{ui} - {X_{ui}}^{'})}^{2} + Σ_{i = 1}^{n} {(Y_{ui} - {Y_{ui}}^{'})}^{2} - - - (12)

其中x＝(R_z，R_x，R_y，T_x，T_y，T_z，f，s_x，C_x，C_y，k₁)；(X_ui，Y_ui)是实际图像坐标系的坐标值转换为CCD成像平面的坐标值；(X_ui′，Y_ui′)是空间物点在世界坐标系下的坐标经标定模型转换到成像平面上的坐标值。

利用此模型进行优化，其步骤为：

1)令s_x＝1，非线性优化3参数f，k₁，T_z。

2)考虑图像中心不可能完全匹配场地中心，非线性优化5参数f，k₁，T_z，C_x，C_y。

3)考虑图像畸变系数及水平比例因子s_x，重新计算X_d和Y_d，再次优化求精5参数f，k₁，T_z，C_x，C_y。

4)保持图像中心(C_x，C_y)不变，优化9参数R_z，R_x，R_y，T_x，T_y，T_z，f，s_x，k₁。

5)优化所有参数，全部求精。

步骤9：建立标定转换模型，获取不同目标体高度所在平面对应的世界坐标坐标和图像像素坐标映射关系。

根据摄像机成像模型，

\begin{matrix} X_{d} = (X_{f} - C_{x}) * d_{x} / s_{x} \\ Y_{d} = (Y_{f} - C_{y}) * d_{y} \end{matrix} - - - (13)

考虑图像畸变主要是径向畸变，所以

\begin{matrix} x = X_{d} / (1 + k_{1} r^{2}) \\ y = Y_{d} / (1 + k_{1} r^{2}) \end{matrix} - - - (14)

其中r²＝X_d ²+Y_d ²，x，y为理想无畸变情况下像素点在成像平面坐标系中的坐标。

根据(1)式，有：

X_c＝X_w*cosR_z+Y_w*sinR_z-Z_w*R_y+T_x(15)

Y_c＝-X_w*sinR_z+Y_w*cosR_z+Z_w*R_x+T_y (16)

Z_c＝(R_xsinR_z+R_ycosR_z)*X_w+(R_ysinR_z-R_xcosR_z)*Y_w+Z_w+T_z(17)

由摄像机小孔成像理论有：

\frac{x}{f} = \frac{X_{c}}{Z_{c}}

(18)

\frac{y}{f} = \frac{Y_{c}}{Z_{c}}

联立(13)-(18)式，可得：

X_{w} = \frac{\begin{matrix} Zw * {[Rx * (Ry * \sin Rz - Rx * \cos Rz) - \cos Rz] * x + [Ry * (Ry * \sin Rz - Rx * \cos Rz) + \sin Rz] * y - f * (Rx * \sin Rz + Ry * \cos Rz)} + \\ x * [Ty * (Ry * \sin Rz - Rx * \cos Rz) - Tz * \cos Rz] + y * [Tx (Rx * \cos Rz - Ry * \sin Rz) + Tz * \sin Rz] + f * (Tx * \cos Rz - Ty * \sin Rz) \end{matrix}}{x * Ry - y * Rx - f} - - - (19)

Y_{w} = \frac{\begin{matrix} Zw * {[Rx * (Ry * \cos Rz + Rx * \sin Rz) + \sin Rz] * x + [Ry * (Ry * \cos Rz + Rx * \cos Rz) + \cos Rz] * y + f * (Ry * \sin Rz - Rx * \cos Rz)} + \\ x * [Ty * (Ry * \cos Rz + Rx * \sin Rz) + Tz * \sin Rz] + y * [- Tx (Ry * \cos Rz + Rx * \sin Rz) + Tz * \cos Rz] - f * (Ty * \cos Rz + Tx * \sin Rz) \end{matrix}}{- x * Ry + y * Rx + f} - - - (20)

式(19)、(20)即为成像平面坐标到场地世界坐标的映射关系，其中Z_w用目标体的高度值代入。对计算机获取的场地原始图像像素坐标转换至场地世界坐标时，首先根据(13)、(14)式求取每个像素点对应成像平面坐标系下的坐标(x，y)，根据不同目标体的高度，确定对应Z_w值，然后利用(19)、(20)式，得到不同目标体高度所在平面的世界坐标和计算机图像像素坐标的映射关系，并以二维数组的形式保存此映射关系，用于查询。

根据上述实施步骤，对集控式足球机器人系统Miosot5：5进行标定，该系统比赛场地尺寸为250×180cm，视觉系统采用Basler A311fc 1394摄像机，镜头为腾龙12VM412ASIR的手动变焦镜头，镜头到场地的距离约为2.5m，主要计算结果如下：

表1 摄像机外部参数标定结果

表2 摄像机内部参数标定结果

校正前后的图像如图5和6所示，其中图5是获取的场地原始图像，存在明显的桶形畸变，图6是经标定后的还原图像，畸变已消除。

为了验证对场地不同部位的校正情况，随机各取远离场地中心的五个点及靠近场地中心的五个点进行测试，如表3和表4所示。校正后，表3的坐标平均偏差为(0.100，-0.344)，表4的坐标平均偏差为(0.224，0.134)由此看见，校正后平均偏差保持在0.4cm以内(即一个像素点的大小)，具有较高的精度。

表3 偏离场地中心的五个点坐标(单位：cm)

表4 靠近场地中心的五个点坐标(单位：cm)

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种集控式足球机器人视觉系统标定方法，所述方法包含以下步骤：

（1）、利用系统场地作为标定模板，利用场地上的某些标志点作为标定参考点，获取场地的原始图像，并获取标定参考点的像素坐标和世界坐标；

（2）、根据集控式足球机器人视觉系统特点，建立摄像机成像模型，利用所述标定参考点的像素坐标和世界坐标，分别获取摄像机的内外参数，并对相关参数进行优化；

（3）、利用所述已获取的摄像机的内外参数，建立原始场地图像像素坐标至不同高度平面对应的世界坐标的转换模型；

（4）、根据场地上不同目标体的高度，将高度值代入转换模型，获取不同目标体高度所在平面对应的世界坐标和图像像素坐标映射关系，最终以文件的形式进行存储；

所述步骤（1）中获取标定参考点的像素坐标的步骤包括：

（一）、获取待标定场地的原始图像，并选取近似均匀分在场地上的十六个已知世界坐标的标志点作为标定参考点，所述已知世界坐标的标志点为场地的角点、各种标志线之间或标志线与场地边界的交点及特殊位置点等；

（二）、对所述每个标定参考点的局部图像进行放大显示，根据放大图像，人工手动获取每个标定参考点的像素坐标，该像素坐标不需借助任何工具、算法进行精确求解；

所述步骤（2）中建立摄像机成像模型时，世界坐标系至摄像机坐标系的旋转变换矩阵采用欧拉角近似表示，所述的欧拉角近似表示是根据成像平面与标定平面近似平行的特点， X方向和Y方向的欧拉角近似为0，其余弦值近似为1，正弦值近似为0或其本身值；

其特征在于，所述步骤（2）中获取摄像机的内外参数的步骤包括：

（a）、根据摄像机成像模型和RAC，所述RAC为径向约束条件，确定所需标定的外参数包括旋转矩阵的三个欧拉角和平移矩阵的三个平移量，内参数包括焦距、径向畸变系数、摄像机水平不确定比例因子和光轴与CCD成像平面的交点在图像坐标系中的像素坐标；

（b）、取图像中心像素点坐标作为原点在图像坐标系中的初始坐标值，摄像机水平不确定比例因子初始值为1；

（c）、根据摄像机成像模型和RAC，建立关于Z方向的欧拉角和X、Y方向的平移量三个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

（d）、根据摄像机成像模型和RAC，建立超静定线性方程组，利用方程组的解获取摄像机水平不确定比例因子的值；

（e）、利用小孔成像原理，建立有效焦距的求解模型，根据场地尺寸、CCD尺寸及摄像机与场地的距离，利用相似三角形原理，获取有效焦距的初值；

（f）、根据摄像机成像模型和RAC，建立关于X、Y方向的欧拉角、Z方向的平移量及径向畸变系数四个参数的超静定线性方程组，根据标定参考点的像素坐标和世界坐标，采用最小二乘法进行求解；

（g）、采用LM算法对上述求取的摄像机内外参数进行优化获取精确值。

2.根据权利要求1所述的集控式足球机器人视觉系统标定方法，其特征在于，所述步骤（g）中采用LM算法进行参数优化的步骤包括：

（2a）、确定需要优化的参数为所有参数，建立以标定参考点像素坐标转换为CCD成像平面的坐标值和标定参考点世界坐标经标定模型转换到CCD成像平面上的坐标值的误差平方和为优化模型函数，所述标定模型为包含摄像机内外参数的成像模型；

（2b）、令摄像机水平不确定比例因子初值为1，利用建立模型，优化焦距、径向畸变系数和Z向平移量三个参数；

（2c）、由于图像中心不可能和成像平面原点完全重合，利用模型，优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

（2d）、根据径向畸变系数及水平比例因子，重新计算标定参考点在成像平面坐标系下的坐标值，再次优化焦距、径向畸变系数、Z向平移量和成像平面原点的像素坐标；

（2e）、保持成像平面原点的像素坐标不变，利用模型，优化其余九个参数；

（2f）、利用模型，优化所有十一个参数。

3.根据权利要求1所述的集控式足球机器人视觉系统标定方法，其特征在于，所述步骤（4）中标定结果以文件形式存储是指，对原始场地图像每个像素点坐标转换到目标体高度所在平面的世界坐标后，得到的映射关系以二维数组的形式进行存储，便于目标体出现在场地任何位置时，都可通过查表快速得到其世界坐标，将所述二维数组以计算机文件形式进行存储，便于程序运行时自动加载。