CN104504694A - 一种获取运动球体三维信息的方法 - Google Patents

Abstract

本发明公开了一种获取球类三维轨迹的方法。包括视频图像采集，即通过摄像机、电视视频信号获取球体运动单视频流图像信息；三维模型构建，即将球类比赛标准场地作为标靶建立比赛标准场地模型与视频图像之间的投影变换矩阵；三维信息获取，即通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息。本发明可以从单视频流中获取球体的速度、弧线和落点信息。根据上述方法，我们能够获取球体的三维轨迹，可以进一步计算乒乓球的击球速度、三维轨迹的弯曲弧度、过网高度、飞行距离、球落点等技战术参数。通过分析这些技战术信息，能够帮助教练员和运动员提高技战术水平，提高我国球类比赛项目的综合竞争力。

Description

一种获取运动球体三维信息的方法

技术领域

本发明属于计算机视觉、图像处理技术领域，尤其属于体育比赛技术分析图像处理技术领域，特别涉及一种获取乒乓球、网球、排球、篮球、足球等球体仅受地球重力作用而呈抛物线运动的球体的三维轨迹等信息的方法。

背景技术

球类体育运动主要指乒乓球、羽毛球、网球、排球、足球运动，他们共同的特点是在规定标准的球场进行对抗比赛，比赛中球速高。目前为了提高运动项目的技战术水平，利用计算机视觉、图像处理技术进行技术分析，在体育运动技术研究中正不断深入探索。

以乒乓球为例，乒乓球是中国的传统优势体育项目。与田径类项目不同，技战术对乒乓球比赛有决定性的影响。因此，获取敌我双方的技战术信息，是获胜的首要环节和关键环节。从视频中获取的技战术信息具有客观、对运动员无干扰的特点，而且能够在比赛条件下进行，是目前最有效的科研手段之一。按照摄像机的数量，从视频中获取技战术信息的方法可分为两类：单摄像机测量方法与多摄像机测量方法。

[1]REID I,NORTH A.3D Trajectories from a SingleViewpoint using Shadows；proceedings of the Proceedings of theBritish Machine Vision Conference(BMVC),F,1998[C].Citeseer.公开了一种以光照模型为基础的研究方法。作者公开了一种使用球体阴影获取球体三维轨迹的方法。作者根据球体在二维图像中的运动信息，与太阳光照射球体后留下的阴影位置，以及参考物的阴影位置，利用多视角几何原理恢复球体的三维轨迹。因此，该方法只能用于点光源(太阳)照射的比赛，无法用于多个光源照射下的体育比赛。

[2]BORACCHI G,CAGLIOTI V,GIUSTI A.Ball Position andMotion Reconstruction from Blur in a Single Perspective Image；proceedings of the ICIAP,F,2007[C].作者公开了一种从运动模糊图像中恢复球体三维轨迹的方法。运动模糊图像可以看成是多张图像的叠加。作者假设是“球体的色彩是均匀的；摄像机已经标定；球体半径已知”。然后，根据球体在图像的大小，就可以得到深度信息(球体离摄像机的远近)，最终得到球体的三维坐标。但是，该方法无法用于直径较小，在图像中仅为几个像素的乒乓球、网球等。因为球体在图像中的大小变化非常轻微，所以该方法不适合于小球项目(乒乓球、网球、羽毛球)。

[3]KIM T,SEO Y,HONG K-S.Physics-based 3D positionanalysis of a soccer ball from monocular image sequences；proceedings of the Computer Vision,1998Sixth InternationalConference on,F,1998[C].IEEE.作者公开了一种根据球体图像数据拟合球体二次曲线方程的方法。它根据参考运动员(或门柱高度)来完成三维重建。它仅针对球体飞行过程进行了数学建模，没有使用轨迹起点和终点的三维信息。我们的试验证明，仅使用飞行过程的数据获得的球体轨迹偏差很大。

[4]CAGLIOTI V,GIUSTI A.Ball trajectory reconstructionfrom a single long-exposure perspective image；proceedings ofthe Proc of Workshop on Computer Vision Based Analysis in SportEnvironments(CVBASE),F,2006[C].作者公开了一种根据球体的管道平面模型，从一张长时间曝光的图像中获取球体三维轨迹的方法。与BORACCHI类似，该方法也需要根据球体的大小来构建管道，所以也无法用于球体较小(在图像中仅为几个像素)的乒乓球、网球等小球项目。

[5]TAMAKI S,SAITO H.Reconstruction of 3D Trajectoriesfor Performance Analysis in Table Tennis；proceedings of theComputer Vision and Pattern Recognition Workshops(CVPRW),F,2013[C].作者公开了一种使用RGB-D深度摄像机获取球体三维轨迹的方法。它采用了特殊的深度摄像机，RGB-D相机的帧率低，所以它很难捕获高速球体的三维轨迹。这导致该方法难以用于球速很高的乒乓球、网球、羽毛球项目。

[6]REN J,ORWELL J,JONES G A,et al.A general frameworkfor 3D soccer ball estimation and tracking；proceedings of theImage Processing,2004ICIP'042004International Conference on,F,2004[C].IEEE.作者公开了一种基于多个固定摄像机的获取足球三维轨迹的方法。该方法假设球体轨迹在虚拟垂直平面(virtual verticalplanes)内。因为该方法采用了多摄像机的技术路线，所以可用性较差。

[7]OHNO Y,MIURA J,SHIRAI Y.Tracking players andestimation of the 3D position of a ball in soccer games；proceedings of the Pattern Recognition,2000Proceedings 15thInternational Conference on,F,2000[C].IEEE.作者公开了一种将物理模型与图像数据进行拟合来获取球体三维轨迹的方法。在他的物理模型中不但包含重力加速度g，还包括摩擦系数。它仅针对球体飞行过程进行了数学建模，没有使用轨迹起点和终点的三维信息，其精度低。

[8]YAMADA A,SHIRAI Y,MIURA J.Tracking players and aball in video image sequence and estimating camera parametersfor 3D interpretation of soccer games；proceedings of thePattern Recognition,2002Proceedings 16th InternationalConference on,F,2002[C].IEEE.作者介绍了一种与Ohno几乎相同的获取球体三维轨迹的方法，但他更详细的介绍了他如何进行摄像机参数的标定工作。

[9]王岚,沈乐君,柯遵渝.基于随机抽样一致性算法的运动平面上点的视觉测量及其应用[J].中国体育科技,2008,44(1):12-6.作者公开了一种运用单应性变换获取球落点的方法。该方法要求球必须落在球场地面(或桌面)上，因此无法得到空中的球体三维轨迹信息。

[10]REN J,ORWELL J,JONES G A,et al.Tracking the soccerball using multiple fixed cameras[J].Computer Vision and ImageUnderstanding,2009,113(5):633-42.本文与Ren在2004年提出的方法相同。

[11]HERREJON R,KAGAMI S,HASHIMOTO K.Online 3-Dtrajectory estimation of a flying object from a monocular imagesequence；proceedings of the Intelligent Robots and Systems,2009IROS 2009IEEE/RSJ International Conference on,F,2009[C].IEEE.作者公开了一种用于机器人的从单摄像机视频中获取球体三维轨迹的方法。作者假设重力加速度并非与Z轴平行，因此可以允许倾斜。作者使用了递归最小二乘法进行计算。因此，他的方法可以进行在线估计，但是收敛速度较慢(需要38个点才将误差降低到合理的程度)。

[12]RIBNICK E,ATEV S,PAPANIKOLOPOULOS N P.Estimating 3dpositions and velocities of projectiles from monocular views[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2009,31(5):938-44.作者公开了一种获取抛物线(抛射物)三维轨迹的方法。他使用屏幕上的4个点来求解轨迹的方程系数。作者严格的证明：在地球加速度的约束之下，如果已知摄像机矩阵则可以从二维图像中恢复球体三维轨迹。该结论是本发明专利的理论基础。但是，作者没有解决起点问题。

[13]KIM S,BILLARD A.Estimating the non-linear dynamics offree-flying objects[J].Robotics and Autonomous Systems,2012,60(9):1108-22.作者公开了一种可以抓取自由飞行物体的新方法。该方法使用非线性回归来学习物体的运动模型。该方法使用了运动捕获(多个摄像机)系统来获取球体的位置信息。因此，该方法的可用性差。

[14]ABDEL-AZIZ Y.Direct linear transformation fromcomparator coordinates in close-range photogrammetry；proceedings of the ASP Symposium on Close-Range Photogrammetryin Illinois,1971,F,1971[C].作者公开了一种摄像机标定的算法，是摄像机标定的基础。

[15]HARTLEY R,ZISSERMAN A.Multiple view geometry incomputer vision[M].Cambridge Univ Press,2003.本专著是计算机视觉的经典教材。

[16]吴焕群.中国乒乓训练原理研究[J].北京体育大学学报,2004,27(2):145-54.作者提出了乒乓球的技战术评价指标。

中国专利申请CN201110136109《一种获取乒乓球机器人球拍击球姿态和击球速度的方法》与中国专利申请CN101458434《精确测量和预测乒乓球轨迹系统与系统运行方法》公开了一种基于多摄像机的研究方法。中国专利申请CN201210261505《隔网类对抗项目过网球速测定仪》公开了一种基于红外装置的方法。中国专利申请CN10225266《一种应用于机器视觉的球状体三维定位方法》公开了一种基于球体几何大小的方法，中国专利申请CN201310254377《一种用于乒乓球机器人预测乒乓球轨迹的方法和装置》公开了一种用于乒乓球机器人预测乒乓球轨迹的方法和装置。

上述文献和专利申请都属于多摄像机应用研究或人工智能方法。其受比赛场地、信息处理精确性要求等多方面限制和影响，其适应性和使用不能满足技战术分析的需要。

发明内容

本发明根据现有技术的不足公开了一种获取球类三维轨迹的方法。本发明要解决的问题是提供一种利用摄像机单机视频信号获取球类三维轨迹，从而进行球类比赛技战术研究的方法。

本发明通过以下技术方案实现：

一种获取运动球体三维信息的方法，其特征是：包括视频图像采集、三维模型构建和三维信息获取；

视频图像采集：通过摄像机、电视视频信号获取球体运动单视频流图像信息；

三维模型构建：将球类比赛标准场地作为标靶建立比赛标准场地模型与视频图像之间的投影变换矩阵；

三维信息获取：通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息。

所述三维模型构建包括：

建立从二维视频图像标定点到三维比赛标准场地模型标定点的对应关系，对应关系数N选取至少6个标定点；

计算投影矩阵，根据对应关系数N，使用DLT方法计算投影变换矩阵P，令(u,v)表示二维视频图像点的坐标，单位：像素，令(X,Y,Z)表示三维比赛标准场地模型点的坐标，单位：米，则从模型点到图像点的几何变换可用投影矩阵P表示：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 式(1)

式中m₁₁,...,m₃₄是3×4矩阵P的12个元素。

进一步可以使用非线性最小二乘法修正结果。

所述建立从二维视频图像点到三维比赛标准场地模型点的对应关系点是至少选取比赛标准场地四角对应点、比赛标准场地隔网两端点。

所述三维模型构建还包括：在进行乒乓球三维信息获取时，利用辅助线增加提高标定精度的标定点，具体步骤是：

计算单应性变换矩阵，用鼠标选择乒乓球桌腿所在的垂直于地面的平面中的4个点，计算该平面到三维模型的单应性变换矩阵H；

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$ 式(2)

并求解单应性矩阵H，式中h₁₁,...,h₃₄是3×4矩阵H的12个元素；

重新计算辅助线，用鼠标选择新的基准点，基准点根据球场几何模型的特点定义。例如，在乒乓球的球场模型中，基准点是桌面的4个角点。根据单应性矩阵H作辅助线，通过基准点做平行于桌腿的辅助线。辅助线与地面的交点就是我们新的标定点。因为球场模型中有这个交点的对应点，所以可以帮助我们增加对应关系，提高标定的精度。

重新计算投影矩阵P，结合原至少6个标定点和新增加的2个标定点，根据上述至少6个标定点，重新计算投影矩阵P，并将三维球场模型投影到二维图像中。

本发明通过投影变换矩阵获取比赛视频图像中移动小球在标准场地模型的三维信息包括小球落点三维信息，进一步还可以获取小球三维位置信息和小球三维移动轨迹信息。

所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括球体落点三维信息，具体步骤是：

用鼠标在屏幕上点击球落点的位置，得到二维图像坐标(u,v)；根据已知球落点的图像坐标和投影矩阵P，整理式(1)可得到下面的2个平面方程：

(um₃₁-m₁₁)X+(um₃₂-m₁₂)Y+(um₃₃-m₁₃)Z+(um₃₄-m₁₄)＝0

(vm₃₁-m₂₁)X+(vm₃₂-m₂₂)Y+(vm₃₃-m₂₃)Z+(vm₃₄-m₂₄)＝0     式(3)

将图像点坐标(u，v)和投影矩阵P的值代入上述2个平面方程，联立求解得到上述2个平面的交线的直线方程L；计算直线L与场地平面的交点，得到球落点的三维坐标(x,y,z)。

进一步所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括获取球体的三维位置信息，具体步骤是：

①获取球体的二维图像坐标(u，v)，用鼠标单击二维图像中的球体中心点，得到球体在图像中的屏幕坐标p(u，v)；②计算p对应的直线L，根据透视变换矩阵P和公式(3)，计算p对应的射线L，计算直线L在地面的投影直线L_G；③绘制辅助十字线，根据鼠标在图像中的坐标p(u，v)和公式(3)，计算鼠标对应的光线与地面的交点，计算通过该交点且与桌面平行的十字线，并将十字线绘制在二维图像中；④计算辅助十字线与投影直线L_G的交点G；⑤计算球体的三维坐标，计算以垂足G为起点且垂直向上的直线与射线L的交点，这个交点就是球体的三维位置坐标(x,y,z)。

所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括获取球体的三维移动轨迹信息，具体步骤是：

根据代价函数F₁计算三维轨迹的6个参数，将其作为最优化算法的起点；使用levenberg marquardt非线性最小二乘方法，根据新的代价函数F₃进行多次迭代优化，求令F₃最小的轨迹参数，得到准确的球体轨迹；

其中： $F_1=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}({\{u\left(t\right)-u_P\left(t\right)\}}^2+{\{v\left(t\right)-v_P\left(t\right)\}}^2);$

$F_2=\underset{t=0,N+1}{\mathrm{\Σ}}w\left(t\right)({\{X\left(t\right)-X_C\left(t\right)\}}^2+{\{Y\left(t\right)-Y_C\left(t\right)\}}^2+{\{Z\left(t\right)-Z_C\left(t\right)\}}^2);F_3=F_1+F_2.$

本发明可以从单视频流中获取球体的速度、弧线和落点信息。根据上述方法，我们能够获取球体的三维轨迹。可以进一步计算乒乓球的击球速度、三维轨迹的弯曲弧度、过网高度、飞行距离、球落点等技战术参数。通过分析这些技战术信息，能够帮助教练员和运动员提高技战术水平，提高我国球类比赛项目的综合竞争力。

本发明专利的应用范围可以覆盖网球、排球、篮球、足球等球体仅受地球重力作用而呈抛物线运动的球类比赛项目。其中通过辅助线增加标定点仅适用于乒乓球项目，是针对乒乓球的特殊优化。对于其它的球类比赛项目，即使不进行辅助线增加标定点，本发明专利也能够获取球体的三维轨迹。所以，本发明专利适用于大多数球类比赛项目。因为羽毛球受到空气摩擦力的作用，球体轨迹不是抛物线，所以本发明专利无法用于羽毛球项目。

本发明只使用单视频流进行计算，所以本方法的可用性强。因为引入了人脑智能，所以本方法能够获得球体被球拍或手臂遮挡时的发球位置。因为大部分球类比赛都满足本发明专利的模型假设，所以本方法具有广泛的应用价值，还可以用于网球、排球、篮球、足球等体育项目中。

附图说明

图1是乒乓球比赛的球桌的标准尺寸；

图2图像点(左)与模型点(右)的对应关系示意图；

图3使用N＝6个对应关系计算投影矩阵的结果；

图4选择桌脚平面；

图5重新计算辅助线；

图6使用N＝8个标定点的对应关系示意图；

图7使用N＝8个点进行标定的投影结果；

图8乒乓球落点在图像中的2D坐标(左)与对应的3D坐标(右)；

图9由于上下文信息缺失导致人脑无法恢复深度信息；

图10通过“球桌-左脚-身体-左手臂-球体”的上下文信息获取球体3D位置；

图11获取三维空间中任意一点的三维坐标的步骤；

图12使用Ribnick方法获得的球体轨迹；

图13使用新的代价函数获取球体三维轨迹的过程。

具体实施方式

下面通过实施例对本发明进行具体的描述，实施例只用于对本发明进行进一步的说明，但不能理解为对本发明保护范围的限制，本领域的技术人员根据上述本发明的内容作出的一些非本质的改进和调整也属于本发明保护的范围。

1基本情况

根据计算机视觉理论，摄像机将三维世界投影到二维图像的过程中，损失了深度信息。因此，从二维图像中恢复场景的全部三维信息是不可能的。但是，如果问题的数学结构满足某些特定的约束条件，从二维图像序列(单视频流)中恢复三维信息依然是可行的。按照约束条件的不同，相关研究成果可分为如下几类：

C1：光照模型的几何约束(e.g.阴影^[1])

C2：参考物体的几何约束(e.g.运动员身高^[1]，球体半径^[2])

C3：球体轨迹的几何约束(e.g.垂直平面约束^[3]，管道模型^[4])

C4：球体运动的物理约束(e.g.恒速度模型^[5]，重力加速度模型^[3])

C5：人体骨骼约束

C6：球桌(或球场)的几何约束(e.g.球场平面^[1,6]，三维球桌模型)

表1利用图像进行体育测量的相关研究

文献	摄像机标定	摄像机个数	约束条件	球体运动模型
					Reid,1998[1]	是	单个	C1+C2+C6	二次曲线
Kim,1998[3]	否	单个	C2+C3+C6	二次曲线
					Ohno,2000[7,8]	是	单个	C4	重力加速度模型
Ren,2004[6]	否	单个	C2+C3+C6	二次曲线
					Caglioti,2006[4]	是	单个	C3	管道模型
Boracchi,2007[2]	是	单个	C2	恒速度模型
					王岚,2007[9]	是	单个	C6	(无)
Ren,2009[10]	是	多个	C4	重力加速度模型
					Herrejon,2009[11]	是	单个	C4	重力加速度模型
Ribnick,2009[12]	是	单个	C4	重力加速度模型
					Kim,2012[13]	是	多个	C4	非线性回归模型

Tamaki,2013[5]	是	RGB-D相机	C3	恒加速度模型
					本发明专利	是	单个	C4+C5+C6	重力加速度模型

本方法与相关研究的区别。人类可以根据经验，以及目标和场景的知识来估计球体的三维轨迹。例如，当视频中出现球体在空中飞过的情景时，人脑可以根据球的上下文信息以及对于物理系统的经验来得到球的大致的三维轨迹。在这个问题上，人工智能远远落后于人脑。由于从单视频流中获取球体三维轨迹的现实需求是如此的迫切。所以，本发明专利引入了人脑智能。其中，与本方法最接近的是Ohno^[7]与Ribnick^[12]的研究。与Ribnick不同，我们利用人脑根据人体关节的骨骼约束(C5)进行推理，然后得到击球点的三维坐标(球体轨迹的起点)。接着，我们使用三维球桌模型(C6)来确定球落点的位置(球体轨迹的终点)。然后，根据重力加速度模型(C4)和本文提出的新的代价函数，使用非线性最优化方法得到从起点到终点的三维轨迹。

2测量方法的步骤和流程

2.1摄像机标定

摄像机标定，就是根据图像点与模型点的对应关系，计算摄像机参数的过程。本文使用针孔相机模型。不过，与大多数摄像机标定方法不同，本文使用了特殊的靶标：比赛标准场地，如乒乓球球桌。根据比赛规则，体育比赛中的比赛场地必须符合国际标准，如图1乒乓球球桌。

因为球桌的几何模型是已知的，所以无论是在自拍的视频中，还是在从电视采集的视频中，都可以使用乒乓球桌作为靶标进行摄像机标定。这使得本方法的可用性强。

步骤1：构建图像点与模型点的对应关系。使用鼠标选择图像中的图像点、然后在球桌模型中选择模型点，建立从二维图像到三维球桌模型的对应关系。重复步骤1，直到对应关系的个数N大于等于6。表2是6个对应关系的实例，图2是它们在图像中的位置。

表2：图像与模型间的对应关系(标定点N＝6)

步骤2：计算投影矩阵P。根据上述N个对应点关系(N>＝6)，使用DLT方法^[14]计算摄像机投影矩阵P(即摄像机标定)。令(u,v)表示图像点的坐标(单位：像素)，令(X,Y,Z)表示模型点的坐标(单位：米)，则从模型点到图像点的几何变换可用投影矩阵P表示：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 式(1)

其中，投影矩阵P是3*4矩阵，包含12个元素(m₁₁,...,m₃₄)。整理上述公式，可得：

$\left[\begin{array}{ccccccccccc}{X}_1& Y_1& Z_1& 1& 0& 0& 0& 0& -u_1{X}_1& -u_1{Y}_1& -u_1{Z}_1\\ 0& 0& 0& 0& X_1& Y_1& Z_1& 1& -v_1{X}_1& -v_1{X}_1& -v_1{X}_1\\ & & & .& .& .& .& .& .& & \\ & & & .& .& .& .& .& .& & \\ X_N& Y_N& Z_N& 1& & & & & -u_N{X}_N& -u_N{Y}_N& -u_N{Z}_N\\ & & & & X_N& Y_N& Z_N& 1& -v_N{X}_N& -v_N{Y}_N& -v_N{Z}_N\end{array}\right]\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1\\ v_1\\ .\\ .\\ u_N\\ v_N\end{array}\right]$

根据N个对应关系得到2N个方程，解线性方程组得到投影矩阵P的值(m₃₄＝1)。例如，根据表1的N＝6个对应关系得到12个线性方程，解方程得到如下的投影矩阵：

表3根据表2的对应关系得到的投影矩阵(误差＝1.68504)

最后，可以使用非线性最小二乘法(如levenberg marquardt)修正P的计算结果^[15]。它可以减小投影变换矩阵P的误差(从1.68504减小到1.49282)。

表4进一步使用非线性最优化得到的投影矩阵(误差＝1.49282)

2.2根据辅助线提高标定精度

理论上，步骤2(计算投影矩阵)最少仅需要6个从图像点到模型点的对应关系。但在实际工作中，因为图像点的误差会传递给投影矩阵，如果对应关系的数量N太小，会导致投影误差偏大。投影误差，就是根据投影矩阵P与公式(1)，计算从三维球场模型到二维图像的投影点(图3中黑白相间的箭头表示投影操作)与对应图像点的欧式距离。从图3可以看到，在表1或图2的6个标定点(用于标定的图像点)附近的投影误差小，桌面与真实图像吻合。但是，远离标定点的投影误差大，球桌与真实图像严重不符。例如，在图3中垂直于地面的垂直线变成了倾斜直线，正方体的球桌变成上大下小的梯形。为了减少投影误差，需要增加对应关系N的数量，并且扩大标定点在图像中的覆盖范围。

但是，因为地面是均一色彩(或均一纹理)，所以无法使用传统的图像处理技术来得到可靠的图像特征，因此无法自动获取地面上的标定点。

步骤3：利用辅助线增加标定点。首先，计算单应性变换矩阵。我们用鼠标选择桌腿所在的垂直于地面的平面中的4个点，计算该平面到三维模型的单应性变换矩阵H^[9]。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$ 式(2)

与步骤2类似，通过下面的线性方程组求解单应性矩阵H(其中，h33＝1.0)：

$\left[\begin{array}{cccccccc}{X}_1& Y_1& 1& 0& 0& 0& u_1{X}_1& u_1{Y}_1\\ & & & ...& & & & \\ X_N& Y_N& 1& 0& 0& 0& u_N{X}_N& u_N{Y}_N\\ 0& 0& 0& X_1& Y_1& 1& v_1{X}_1& v_1{Y}_1\\ & & & ...& & & & \\ 0& 0& 0& X_n& Y_n& 1& v_N{X}_N& v_N{Y}_N\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\end{array}\right]=\left[\begin{array}{c}{X}_1\\ \mathrm{\Λ}\\ X_N\\ u_1\\ \mathrm{\Λ}\\ u_N\end{array}\right]$

其次，重新计算辅助线。用鼠标选择新的基准点，图5中的圆圈，根据单应性矩阵H作辅助线，粗虚线。因为辅助线与桌腿平行，所以很容易在地面上找到标定点。

最后，结合图6，根据上述8个标定点，重新计算投影矩阵P，并将三维球场模型投影到二维图像中。观察模型的拟合程度，不断对标定点进行细微调整。显然，使用N＝8个点的摄像机标定结果(图6)比N＝6个点的标定结果(图3)更准确。

图7是使用N＝8个点进行标定的投影结果。

2.3获取球体在桌面上落点位置的三维坐标

球落点体现了运动员的技术水平、战术习惯和临场变化能力，是重要的技战术指标。此外，球落点是获取球体三维轨迹的重要关键点。根据计算机视觉理论：图像中的1个像素点，对应于世界坐标系中从摄像机光心发出的一条射线(即下图中从“相机位置”到“球落点位置”的直线L)。直线L与球桌平面的交点就是球落点。换句话说，本发明专利根据场地的几何约束(C6)来确定球落点位置的三维坐标。

步骤4：获取乒乓球落点。首先，用鼠标在屏幕上点击球落点的位置，得到二维图像坐标(如图8左图的落点的图像坐标u＝184,v＝181)。如果已知球落点的图像坐标和投影矩阵P，整理公式(1)可得到下面的2个平面方程：

(um₃₁-m₁₁)X+(um₃₂-m₁₂)Y+(um₃₃-m₁₃)Z+(um₃₄-m₁₄)＝0

(vm₃₁-m₂₁)X+(vm₃₂-m₂₂)Y+(vm₃₃-m₂₃)Z+(vm₃₄-m₂₄)＝0     式(3)

将图像点坐标(u＝184，v＝181)和投影矩阵P的值(m₁₁,…,m₃₄的值来源于步骤2)代入上述2个平面方程，联立求解就可以得到上述2个平面的交线(即从像素点u＝184，v＝181发出的穿过相机光心的直线L)的直线方程。最后，计算直线L与乒乓球桌平面的交点，得到球落点的3D坐标(图8右图的球落点坐标：x＝2.03038,y＝1.42052,z＝1)。

2.4获取球体在空中的三维位置

本小节的目标是：已知球体在二维图像中的位置，计算它在三维世界坐标系中的位置。根据计算机视觉理论：二维图像中的1个点(图9的球体B)，对应于世界坐标系中从摄像机光心发出的一条射线(图9的直线L)。球体B在直线L的任何位置上，都会在数码相机的成像元件上产生如图9所示的二维图像。计算机不可能从二维图像中恢复三维信息。但是，在某些约束条件下恢复三维信息是可行的(参见表1)。我们发现：人脑可以根据球员站立的骨骼关节姿势，恢复球体的深度信息(三维世界坐标的z轴)。下面举例论证。

图9由于上下文信息缺失导致人脑无法恢复深度信息。

人脑三维重建能力失效的情况。在图9中，因为运动员的腿部图像被遮挡，导致上下文信息缺失，所以人脑很难推断球体B在直线L的确切位置。不过，因为球体不可能远离球桌，可以排除部分不可能的位置。所以，球体B在“左中右”三个位置上都有可能。

图10通过“球桌-左脚-身体-左手臂-球体”的上下文信息获取球体3D位置

人脑三维重建能力有效的情况。在图10中显示了球员的双脚位置。因为球员通常是直立站立，所以人脑能够根据“球桌-双脚-身体-手臂-球体”的几何约束信息，推断出球体B的可能位置。具体过程是：首先将球桌沿着三维世界坐标的Z轴方向划分为“左中右”三个区域；假设人体是正常的击球姿态，图像中球员的左脚位于球桌的“左”的区域中，因为根据经验左手持球必然在左脚附近，所以球体位于球桌的“左”的区域；根据几何关系，确定球体B只可能落在直线L上的“左”的位置。因此，骨骼关节几何约束(C5)与球桌几何约束(C6)帮助人脑得到球体的三维信息(深度信息)。

将人脑三维重建能力失效(图9)与有效(图10)的两种情况进行可以发现，图9中被遮挡的“缺失信息”发挥了关键作用。但遗憾的是，因为骨骼几何约束的复杂性和图像处理能力的局限性，目前计算机还无法自动地模拟人脑完成上述推理过程。人脑具有卓越的三维重建能力，但缺乏精确性(无法得到球体B的三维坐标)。相反，计算机可以通过摄像机模型和球桌模型，精确地恢复(部分)三维信息。所以，本文提出将人脑智能与计算机视觉结合的新方法。

步骤5：获取球体的三维位置信息。①获取球体B的二维图像坐标。用鼠标单击二维图像中的球体中心点，得到球体B在图像中的屏幕坐标p。②计算p对应的直线L。根据透视变换矩阵P(来自于步骤二)和公式(3)，计算p对应的射线L，计算直线L在地面的投影直线L_G。③绘制辅助十字线。根据鼠标在图像中的坐标和公式(3)，计算鼠标对应的光线与地面的交点。计算通过该交点且与桌面平行的十字线，并将十字线绘制在二维图像中。④计算辅助十字线与投影直线L_G的交点G。因为L_G是L在地面的投影直线，所以G是球体B在地面上的投影点。人脑根据上下文信息，通过改变辅助十字线的方式来估计G的确切位置。⑤计算球体B的三维坐标。计算以垂足G为起点且垂直向上的直线GB与射线L的交点。这个交点就是球体B的三维坐标。

图11获取三维空间中任意一点的三维坐标的步骤

在步骤5中，计算机(②③⑤)与人脑(①④)扮演了互补的角色。

2.5获取球体的三维轨迹

假设球体的三维轨迹是抛物线。也就是说，假设球体在击球瞬间的外力作用下开始飞行，飞行过程中仅受到地球重力的作用而呈现抛物线的形态，且不考虑空气阻力与摩擦力。上述假设被称为重力加速度约束C4。Ohno^[7]与Ribnick^[12]发现：在重力加速度模型C4的约束下，根据连续的多帧图像可以完全恢复球体的三维轨迹。引入t表示时间，则u(t)和v(t)表示t时刻的球体的二维图像点的坐标，X(t)、Y(t)和Z(t)表示t时刻三维空间中球体位置点的坐标。u_P(t)和v_P(t)表示t时刻从三维空间点到二维图像的投影点的坐标。

$\left[\begin{array}{c}{u}_P\left(t\right)\\ v_P\left(t\right)\\ 1\end{array}\right]=P\left[\begin{array}{c}X\left(t\right)\\ Y\left(t\right)\\ Z\left(t\right)\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\left(t\right)\\ Y\left(t\right)\\ Z\left(t\right)\\ 1\end{array}\right]$ 式(4)

根据物理学原理，球体在三维空间中的位置可以计算如下。

X(t)＝X(0)+tV_X(0)

Y(t)＝Y(0)+tV_Y(0)

$Z\left(t\right)=Z\left(0\right)+t{V}_Z\left(0\right)-\frac{1}{2}{\mathrm{gt}}^2$ 式(5)

其中，V_X(0)表示球体在X方向上的初始速度，g表示重力加速度。换句话说，只要已知球体在0时刻的初始速度和初始位置，与当地的重力加速度(g＝9.8)，就可以准确的计算球体在任意时刻的位置。Ohno^[7]与Ribnick^[12]发现，根据N个图像点的坐标，则利用下列代价函数F，可以获得三维轨迹的6个参数(V_X(0),V_Y(0),V_Z(0),X(0),Y(0),Z(0))。

$F_1=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}({\{u\left(t\right)-u_P\left(t\right)\}}^2+{\{v\left(t\right)-v_P\left(t\right)\}}^2)$ 式(6)

然而，上述经典算法^[7,12]在深度方向(z轴)上的误差很大。当摄像机正对球网(摄像机的光轴与z轴平行)时，经典算法获取的三维轨迹远远偏离真实值。

图12使用Ribnick方法获得的球体轨迹。

如何提高测量精度？增加摄像机个数可以提高测量精度，但是降低了系统的可用性。本文提出增加新的约束条件来提高测量精度：球桌几何约束C6可得到球落点的3D位置(步骤4)，人体骨骼约束C5可得到球起点的3D位置(步骤5)。令X_C(t)、Y_C(t)和Z_C(t)表示t时刻通过C4或C5获得的球体3D位置，则得到第二个代价函数F₂。

$F_2=\underset{t=0,N+1}{\mathrm{\Σ}}w\left(t\right)({\{X\left(t\right)-X_C\left(t\right)\}}^2+{\{Y\left(t\right)-Y_C\left(t\right)\}}^2+{\{Z\left(t\right)-Z_C\left(t\right)\}}^2)$ 式(7)

其中，w(t)是权重系数(等于经验值10)。于是，得到新的代价函数F₃：F₃＝F₁+F₂         式(8)

这是本专利的第三个创新点，也是关键创新点。

步骤6：获取球体的三维轨迹。首先，根据代价函数F₁计算三维轨迹的6个参数，将其作为最优化算法的起点。然后，使用levenberg marquardt非线性最小二乘方法，根据新的代价函数F₃进行多次迭代优化，求令F₃最小的轨迹参数，得到更准确的球体轨迹。如图12所示，本算法仅需要7次迭代就可以得到更精确的三维轨迹。

图13使用新的代价函数获取球体三维轨迹的过程。

对权重的讨论。权重w(t)的值越大，则约束条件C4或C5在代价函数中的作用越大。反之，当权重w的值等于零时F₂等于零，则新的代价函数F₃等于F₁。换句话说，当权重w等于零时，本发明专利的方法等价于经典算法^[7,12]。

2.6其它注意事项

为了减少摄像机标定的工作量，尽量使用三脚架来固定摄像机。

为了减少深度信息的损失，尽量用俯拍的方式进行拍摄。

为了提高摄像机标定的精度，尽量包含场地如球桌的全部内容，例如桌面的4角和4根桌腿。

3本方法的应用前景

乒乓球比赛至少包含5种关键的竞技要素：速度、旋转、力量、弧线和落点^[16]。高水平运动员往往利用这5个竞技要素的变化来克敌制胜。因此，获取这5种竞技要素的比赛信息，成为教练员与运动员开展日常训练与比赛决策的关键。

本发明专利可以从单视频流中获取球体的速度、力量、弧线和落点信息。根据上述6个步骤，我们能够获取球体的三维轨迹。如可以进一步计算乒乓球的击球速度、三维轨迹的弯曲弧度、过网高度、飞行距离、球落点等技战术参数。例如在图13中，乒乓球在最高点的速度是5.71米/秒，落点在桌面上的位置是(1.03米,0.308米)。通过分析这些技战术信息，能够帮助教练员和运动员提高技战术水平，提高我国乒乓球项目的综合竞争力。

本发明专利的特色：因为只使用单视频流进行计算，所以本方法的可用性强。因为引入了人脑智能，所以本方法能够获得球体被球拍或手臂遮挡时的发球位置。因为大部分球类比赛都满足本发明专利的模型假设，所以本方法具有广泛的应用价值，还可以用于乒乓球、网球、羽毛球、排球等体育项目中。

Claims (8)

1.一种获取运动球体三维信息的方法，其特征是：包括视频图像采集、三维模型构建和三维信息获取；

视频图像采集：通过摄像机、电视视频信号获取球体运动单视频流图像信息；

三维模型构建：将球类比赛标准场地作为标靶建立比赛标准场地模型与视频图像之间的投影变换矩阵；

三维信息获取：通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息。

2.根据权利要求1所述的获取运动球体三维信息的方法，其特征是：所述三维模型构建包括：

建立从二维视频图像标定点到三维比赛标准场地模型标定点的对应关系，对应关系数N选取至少6个标定点；

计算投影矩阵，根据对应关系数N，使用DLT方法计算投影变换矩阵P，令(u,v)表示二维视频图像点的坐标，单位：像素，令(X,Y,Z)表示三维比赛标准场地模型点的坐标，单位：米，则从模型点到图像点的几何变换可用投影矩阵P表示：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$             式(1)

式中m₁₁,...,m₃₄是3×4矩阵P的12个元素。

3.根据权利要求2所述的获取运动球体三维信息的方法，其特征是：使用非线性最小二乘法修正结果。

4.根据权利要求2所述的获取运动球体三维信息的方法，其特征是：所述建立从二维视频图像点到三维比赛标准场地模型点的对应关系标定点是至少选取比赛标准场地四角对应标定点、比赛标准场地隔网两端标定点。

5.根据权利要求4所述的获取运动球体三维信息的方法，其特征是：所述三维模型构建还包括：在进行乒乓球实时三维信息获取时，利用辅助线增加提高标定精度的标定点，具体步骤是：

计算单应性变换矩阵，用鼠标选择乒乓球桌腿所在的垂直于地面的平面中的4个点，计算该平面到三维模型的单应性变换矩阵H；

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$         式(2)

并求解单应性矩阵H，式中h₁₁,...,h₃₄是3×4矩阵H的12个元素；

重新计算辅助线，用鼠标选择新的基准点，在乒乓球的球场模型中，基准点是桌面的4个角点；根据单应性矩阵H作辅助线，通过新的基准点做平行于桌腿的辅助线，辅助线与地面的交点就是新的标定点；

重新计算投影矩阵P，结合原至少6个标定点和新增加的2个标定点，根据上述至少6个标定点，重新计算投影矩阵P，并将三维球场模型投影到二维图像中。

6.根据权利要求1至5任一项所述的获取运动球体三维信息的方法，其特征是：所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括球体落点三维信息，具体步骤是：

用鼠标在屏幕上点击球落点的位置，得到二维图像坐标(u,v)；根据已知球落点的图像坐标和投影矩阵P，整理式(1)可得到下面的2个平面方程：

(um₃₁-m₁₁)X+(um₃₂-m₁₂)Y+(um₃₃-m₁₃)Z+(um₃₄-m₁₄)＝0

                                                   式(3)

(vm₃₁-m₂₁)X+(vm₃₂-m₂₂)Y+(vm₃₃-m₂₃)Z+(vm₃₄-m₂₄)＝0

将图像点坐标(u，v)和投影矩阵P的值代入上述2个平面方程，联立求解得到上述2个平面的交线的直线方程L；计算直线L与场地平面的交点，得到球落点的三维坐标(x,y,z)。

7.根据权利要求6所述的获取运动球体三维信息的方法，其特征是：所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括获取球体的实时三维位置信息，具体步骤是：

①获取球体的二维图像坐标(u，v)，用鼠标单击二维实时图像中的球体中心点，得到球体在图像中的屏幕坐标p(u，v)；②计算p对应的直线L，根据透视变换矩阵P和公式(3)，计算p对应的射线L，计算直线L在地面的投影直线L_G；③绘制辅助十字线，根据鼠标在图像中的坐标p(u，v)和公式(3)，计算鼠标对应的光线与地面的交点，计算通过该交点且与桌面平行的十字线，并将十字线绘制在二维图像中；④计算辅助十字线与投影直线L_G的交点G；⑤计算球体的三维坐标，计算以垂足G为起点且垂直向上的直线与射线L的交点，这个交点就是球体的实时三维位置坐标(x,y,z)。

8.根据权利要求7所述的获取运动球体三维信息的方法，其特征是：所述通过投影变换矩阵获取比赛视频图像中移动球体在标准场地模型的三维信息包括获取球体的三维移动轨迹信息，具体步骤是：

根据代价函数F₁计算三维轨迹的6个参数，将其作为最优化算法的起点；使用levenberg marquardt非线性最小二乘方法，根据新的代价函数F₃进行多次迭代优化，求令F₃最小的轨迹参数，得到准确的球体轨迹；

其中：

$F_1=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}({\{u\left(t\right)-u_P\left(t\right)\}}^2+{\{v\left(t\right)-v_P\left(t\right)\}}^2);$

$F_2=\underset{t=0,N+1}{\mathrm{\Σ}}w\left(t\right)({\{X\left(t\right)-X_C\left(t\right)\}}^2+{\{Y\left(t\right)-Y_C\left(t\right)\}}^2+{\{Z\left(t\right)-Z_C\left(t\right)\}}^2);$

F₃＝F₁+F₂。