CN102147918B

CN102147918B - 基于体育场标志线的摄像机外参数确定方法及系统

Info

Publication number: CN102147918B
Application number: CN201010110040.3A
Authority: CN
Inventors: 刘剑秋
Original assignee: China Digital Video Beijing Ltd
Current assignee: China Digital Video Beijing Ltd
Priority date: 2010-02-09
Filing date: 2010-02-09
Publication date: 2015-08-19
Anticipated expiration: 2030-02-09
Also published as: CN102147918A

Abstract

本发明公开了一种基于体育场标志线的摄像机外参数确定方法，包括：在拍摄的体育场图像中选定标志线；获取所述标志线在实际体育场平面上的第一坐标，以及，在所拍摄体育场图像上的第二坐标；依据所述第一坐标和第二坐标，生成在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系；依据所述标志线的投影映射关系，计算在实际体育场平面上的点和在体育场图像上的点之间的投影映射关系；依据所述点的投影映射关系，以及，预先获得的摄像机内参数，计算当前摄像机外参数矩阵的初始值；对所述摄像机外参数矩阵的初始值进行优化，获得最终的摄像机外参数矩阵。本发明可以应对实际中无法选点的情况，并保证摄像机外参数标定的准确度。

Description

基于体育场标志线的摄像机外参数确定方法及系统

技术领域

本发明涉及摄像机标定的技术领域，特别是涉及一种基于体育场标志线的摄像机外参数确定方法及一种基于体育场标志线的摄像机外参数确定系统。

背景技术

摄像机定标的基本目的就是建立起真实空间中的三维世界坐标与图像空间中的二维像素坐标之间的映射关系。这种映射关系是由摄像机成像的几何模型决定的，确定这些几何模型相关参数的过程就称为摄像机定标。

具体而言，摄像机参数可以细分为外参数和内参数。内参数反映了摄像机本身的光学特性，具体包括摄像机的焦距，主点和镜头畸变系数等。外参数反映了摄像机与拍摄景物的相对位置关系，具体包括摄像机的旋转矩阵，位移矢量。确定了摄像机的内外参数，也就建立起了空间中的任意点和其在图像上的成像点之间的对应关系。

在实际应用中，由于摄像机的内参数由摄像机本身的特性决定，可以通过定标算法在实验室中通过反复实验测量得到。而摄像机的外参数取决于摄像机和被拍摄物体的相对位置和姿态，不能预先求得，需要在实际拍摄时才能计算得到。

现有技术中，摄像机外参数通常利用特征点之间的对应关系来确定，然而，由于用来计算摄像机外参数的点特征是局部特征，容易受到人员或其它物体遮挡或污损，尤其在体育比赛转播的应用中，极易造成在实际中无法选点或者选点不准确的情况，在这种情况下，摄像机外参数的标定就难以完成或者标定不够准确。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种基于体育场标志线的摄像机外参数确定方案，以应对实际中无法选点的情况，并保证摄像机外参数标定的准确度。

发明内容

本发明所要解决的技术问题是提供一种基于体育场标志线的摄像机外参数确定方法及系统，以应对实际中无法选点的情况，并保证摄像机外参数标定的准确度。

为了解决上述技术问题，本发明实施例公开了一种基于体育场标志线的摄像机外参数确定方法，包括：

在拍摄的体育场图像中选定标志线；

获取所述标志线在实际体育场平面上的第一坐标，以及，在所拍摄体育场图像上的第二坐标；

依据所述第一坐标和第二坐标，生成在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系；

依据所述标志线的投影映射关系，计算在实际体育场平面上的点和在体育场图像上的点之间的投影映射关系；

依据所述点的投影映射关系，以及，预先获得的摄像机内参数，计算当前摄像机外参数矩阵的初始值；

对所述摄像机外参数矩阵的初始值进行优化，获得最终的摄像机外参数矩阵。

优选的，所述标志线包括4条直线，并且所述4条直线中不存在3条相互平行的直线。

优选的，所述标志线至少为构成四边形的四条边线。

优选的，所述标志线通过以下步骤选定：

针对当前需要选定的所有标志线，在所述体育场图像中相应的标志线位置上，分别针对各条标志线选取两个不重合的像素点；

分别由所述两个不重合像素点确定出相应的标志线。

优选的，通过以下步骤依据两个像素点确定一条标志线：

若像素点A的坐标为(x₀，y₀)，像素点B的坐标为(x₁，y₁)，则所述标志线AB的参数坐标为(k，-1，b)，其中，所述k和b通过以下公式计算获得：

k = \frac{y_{1} - y_{0}}{x_{1} - x_{0}},

b = \frac{x_{1} y_{0} - x_{0} y_{1}}{x_{1} - x_{0}} .

优选的，所述标志线的投影映射关系由直线单应矩阵表示。

优选的，通过以下步骤生成直线单应矩阵：

若标志线的第一坐标为(a_w，b_w，c_w)，第二坐标为(a_i，b_i，c_i)，则该标志线之间的投影映射关系表示为：

其中，H_直线为直线单应矩阵；

根据n条标志线的坐标对应关系，可以建立2n个关于h₁₁，h₁₂…h₃₂的如下线性方程组：

\frac{a_{w} h_{11} + b_{w} h_{12} + c_{w} h_{13}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

\frac{a_{w} h_{21} + b_{w} h_{22} + c_{w} h_{23}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

求解所述线性方程组，获得h₁₁，h₁₂…h₃₂的最小二乘解。

优选的，所述点的投影映射关系由点单应矩阵表示，所述点单应矩阵是直线单应矩阵的转置逆矩阵。

本发明实施例还公开了一种基于体育场标志线的摄像机外参数确定系统，包括：

标志线选定模块，用于在拍摄的体育场图像中选定标志线；

坐标获取模块，用于获取所述标志线在实际体育场平面上的第一坐标，以及，在所拍摄体育场图像上的第二坐标；

线投影映射模块，用于依据所述第一坐标和第二坐标，生成在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系；

点投影映射模块，用于依据所述标志线的投影映射关系，计算在实际体育场平面上的点和在体育场图像上的点之间的投影映射关系；

外参数初始值计算模块，用于依据所述点的投影映射关系，以及，预先获得的摄像机内参数，计算当前摄像机外参数矩阵的初始值；

外参数矩阵确定模块，用于对所述摄像机外参数矩阵的初始值进行优化，获得最终的摄像机外参数矩阵。

优选的，所述标志线至少为构成四边形的四条边线。

优选的，所述标志线选定模块包括：

像素点选取子模块，用于针对当前需要选定的所有标志线，在所述体育场图像中相应的标志线位置上，分别针对各条标志线选取两个不重合的像素点；

直线确定子模块，用于分别由所述两个不重合像素点确定出相应的标志线。

优选的，所述标志线的投影映射关系由直线单应矩阵表示。

与现有技术相比，本发明具有以下优点：

本发明通过在摄像机内参数已知的情况下，根据体育场的标志直线来确定摄像机外参数矩阵，相较于现有技术采用的点特征而言，本发明所采用的线特征具有全局性，即使其部分受到遮挡或者污损，仍然能够准确提取出标志直线，从而可以有效应对无法选点或者选点不准确的情况，提高摄像机外参数标定的准确度。

附图说明

图1是本发明的一种基于体育场标志线的摄像机外参数确定方法实施例的流程图；

图2是一张用于定标的网球场图像；

图3是图2所示的网球场的平面结构图；

图4是本发明的一种基于体育场标志线的摄像机外参数确定系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为便于本领域技术人员更好地理解本发明，以下以在体育比赛电视转播中插入三维动画为例，简单说明摄像机标定参数的计算方法。

为了在电视画面中的预定位置插入三维动画，需要知道物体的空间位置和该物体在电视图像上的成像位置之间的对应关系，即需要建立起空间点的三维世界坐标和它在图像上投影点的二维像素坐标之间的映射关系。

这种映射关系，取决于摄像机的内外参数。在不考虑畸变的情况下，这种映射关系可以用以下公式描述：

\{\begin{matrix} u \\ v \\ 1 \end{matrix}\} = \{\begin{matrix} fx & 0 & cx \\ 0 & fy & cy \\ 0 & 0 & 1 \end{matrix}\} \{\begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \end{matrix}\} \{\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}\}

其中，将称为内参数矩阵A，将称为外参数矩阵。

外参数矩阵又可以进一步细分为旋转矩阵R和平移矢量T。

R = \{\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}\},

T = \{\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}\}

本发明实施例的核心构思之一在于，在摄像机内参数已知的情况下，根据体育场的标志线来确定摄像机外参数矩阵，相较于现有技术采用的点特征而言，本发明所采用的线特征具有全局性，即使其部分受到遮挡或者污损，仍然能够准确提取出线来，从而可以有效应对无法选点或者选点不准确的情况，提高摄像机外参数标定的准确度。

参考图1，示出了本发明的一种基于体育场标志线的摄像机外参数确定方法实施例的流程图，具体可以包括如下步骤：

步骤101、在拍摄的体育场图像中选定标志线；

步骤102、获取所述标志线在实际体育场平面上的第一坐标，以及，在所拍摄体育场图像上的第二坐标；

步骤103、依据所述第一坐标和第二坐标，生成在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系；

步骤104、依据所述标志线的投影映射关系，计算实际体育场平面上的点和在体育场图像上的点之间的投影映射关系；

步骤105、依据所述点的投影映射关系，以及，预先获得的摄像机内参数，计算当前摄像机外参数矩阵的初始值；

步骤106、对所述摄像机外参数矩阵的初始值进行优化，获得最终的摄像机外参数矩阵。

在具体实现中，所述标志线至少应包括4条直线，并且所述4条直线中不存在3条相互平行的直线，通常，在体育场的摄机参数标定中，所述标志线至少为构成四边形的四条边线。

作为另一优选实施例，所述标志线还可以通过以下子步骤选定：

子步骤A1、针对当前需要选定的所有标志线，在所述体育场图像中相应的标志线位置上，分别针对各条标志线选取两个不重合的像素点；

子步骤A2、分别由所述两个不重合像素点确定出相应的标志线。

在本发明的一种优选实施例中，所述在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系可以由直线单应矩阵表示；相应地，所述在实际体育场平面上的点和在体育场图像上的点之间的投影映射关系可以由点单应矩阵表示；所述直线单应矩阵和点单应矩阵形成转置逆关系，即直线单应矩阵是点单应矩阵的转置逆矩阵，点单应矩阵是直线单应矩阵的转置逆矩阵。

为使本领域技术人员更好地理解本发明，以下以网球场的摄像机参数标定为例，进一步说明本发明实施例。

为了描述上的方便，定义三维世界坐标系(即第一坐标所涉及的坐标系)如下：网球场的中心为坐标原点，沿着底线向右为X轴正方向，沿着边线向上为Y轴正方向，垂直于网球场地面向上为Z轴正方向。

定义二维图像坐标系(即第二坐标所涉及的坐标系)如下：以图像的左上角为坐标原点，以水平向右为X轴正方向，以竖直向下为Y轴正方向。

第一步、在摄像机的机位固定后，拍摄网球场图像，如图2所示。

第二步，在网球场图像中，通过选取网球场边线上的像素点来选定相应的网球场标志线，即分别由两个像素点确定一条标志线。具体而言，可以通过以下步骤依据两个像素点的像素坐标确定一条标志线：

k = \frac{y_{1} - y_{0}}{x_{1} - x_{0}},

b = \frac{x_{1} y_{0} - x_{0} y_{1}}{x_{1} - x_{0}} .

第三步、获取所述标志线在实际体育场平面上的坐标为第一坐标(a_w，b_w，c_w)；以网球场的两条底线和两条外边线为例，根据图3所示的网球场平面结构图，可以得知：

底线AB在网球场平面上的参数坐标为(0，1，-5.945)；

底线DC在网球场平面上的参数坐标为(0，1，5.945)；

边线AD在网球场平面上的参数坐标为(1，0，5，485)；

边线BC在网球场平面上的参数坐标为(1，0，-5.485)。

上述坐标可以通过实地测量或从体育场标准场地设置参数中获得。

第四步、获取在所拍摄体育场图像上的坐标为第二坐标(a_i，b_i，c_i)；

第五步、依据所述第一坐标(a_w，b_w，c_w)和第二坐标(a_i，b_i，c_i)，计算网球场平面和图像平面的直线单应矩阵；

作为一种示例，所述直线单应矩阵可以通过以下方式计算：

网球场标志直线的参数坐标与该直线在图像上投影直线的参数坐标之间的关系，可以用3*3的直线单应矩阵H_直线表示为：

利用一组直线坐标对应关系，可以建立两个关于h₁₁，h₁₂…h₃₂的线性方程如下：

\frac{a_{w} h_{11} + b_{w} h_{12} + c_{w} h_{13}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

\frac{a_{w} h_{21} + b_{w} h_{22} + c_{w} h_{23}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

即n条直线的坐标对应关系可以构成包含2n个线性方程的线性方程组，求解这个线性方程组可以得到h₁₁，h₁₂…h₃₂的解，也就是直线单应矩阵H_直线

需要说明的是，在实际应用中，由于测量误差，或者由于利用了更多的直线对应关系，上面得到的线性方程组通常是无解的，故本发明在此求解得到的实际上是最小二乘解。

第六步、由直线单应矩阵求出点单应矩阵，即H_点＝H_直线 ^-T；

第七步、根据点单应矩阵计算当前摄像机外参数矩阵的初始值，通常可以包括旋转矩阵和平移矢量。

具体而言，可以采用如下公式计算：

A(R₁，R₂，T)＝H_直线 ^-T；

其中，A表示的是已知的内参数矩阵，根据以上公式可以求出：

(R₁，R₂，T)＝A^-1H_直线 ^-T；

其中，R1，R2表示旋转矩阵的第一列和第二列，利用R1和R2做矢量叉乘，即可求出旋转矩阵的第三列R₃。即：R₃＝R₁×R₂。

依据前述外参数矩阵的描述即可得知，至此，即求出了外参数矩阵的初始值。

第八步，根据得到的外参数矩阵初值，结合预先给出的摄像机内参数，代入到优化算法中，求出最终的外参数矩阵。

在本发明实施例中，所述优化算法可以由本领域技术人员任意选用，如采用Levenberg-Marquardt算法，也可以采用Gauss-Newton算法，或者Dog Leg算法等，本发明对此无需加以限制。

需要说明的是，本发明在理想情况下，只需要选定体育场的两条边线和两条底线即可获得精度较高的外参数标定。然而，在实际应用中，也可根据需要进一步选择体育场的其它标志线，例如，进一步选取图3中的GF、HX、ad、bc等标志线，更多的标志线可以被用于优化算法，从而获得更准确的外参数矩阵。

此外，对于所述摄像机内参数的获取方法，在实际中采用任一种计算方法均可，如张正友标定法，本发明对此并不做限制。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参考图4、一种基于体育场标志线的摄像机外参数确定系统实施例的结构框图，具体可以包括以下模块：

标志线选定模块401，用于在拍摄的体育场图像中选定标志线；

坐标获取模块402，用于获取所述标志线在实际体育场平面上的第一坐标，以及，在所拍摄体育场图像上的第二坐标；

线投影映射模块403，用于依据所述第一坐标和第二坐标，生成在实际体育场平面上的标志线和在体育场图像上的标志线之间的投影映射关系；

点投影映射模块404，用于依据所述标志线的投影映射关系，计算在实际体育场平面上的点和在体育场图像上的点之间的投影映射关系；

外参数初始值计算模块405，用于依据所述点的投影映射关系，以及，预先获得的摄像机内参数，计算当前摄像机外参数矩阵的初始值；

外参数矩阵确定模块406，用于对所述摄像机外参数矩阵的初始值进行优化，获得最终的摄像机外参数矩阵。

在具体实现中，所述标志线至少应当包括4条直线，并且所述4条直线中不存在3条相互平行的直线。在典型的体育场应用中，所述标志线至少为构成四边形的四条边线。

作为另一优选实施例，所述标志线选定模块可以包括如下子模块：

作为一种示例，所述由两个像素点和像素点确定一条标志线的方法为：

k = \frac{y_{1} - y_{0}}{x_{1} - x_{0}},

b = \frac{x_{1} y_{0} - x_{0} y_{1}}{x_{1} - x_{0}} .

在本发明的一种优选实施例中，所述标志线的投影映射关系可以由直线单应矩阵表示。

作为一种示例，可以通过以下方法生成直线单应矩阵：

其中，H_直线为直线单应矩阵；

\frac{a_{w} h_{11} + b_{w} h_{12} + c_{w} h_{13}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

\frac{a_{w} h_{21} + b_{w} h_{22} + c_{w} h_{23}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

相应地，所述点的投影映射关系由点单应矩阵表示，可以理解的是，所述点单应矩阵是直线单应矩阵的转置逆矩阵，即H_点＝H_直线 ^-T。

由于本发明的系统实施例基本相应于前述的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：多处理器系统、服务器、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上对本发明所提供的一种基于体育场标志线的摄像机外参数确定方法及一种基于体育场标志线的摄像机外参数确定系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于体育场标志线的摄像机外参数确定方法，其特征在于，包括：

在拍摄的体育场图像中选定标志线；其中，所述标志线通过以下步骤选定：针对当前需要选定的所有标志线，在所述体育场图像中相应的标志线位置上，分别针对各条标志线选取两个不重合的像素点；分别由所述两个不重合像素点确定出相应的标志线；

2.如权利要求1所述的方法，其特征在于，所述标志线包括4条直线，并且所述4条直线中不存在3条相互平行的直线。

3.如权利要求2所述的方法，其特征在于，所述标志线至少为构成四边形的四条边线。

4.如权利要求3所述的方法，其特征在于，通过以下步骤依据两个像素点确定一条标志线：

若像素点A的坐标为(x₀,y₀)，像素点B的坐标为(x₁,y₁)，则所述标志线AB的参数坐标为(k,-1,b)，其中，所述k和b通过以下公式计算获得：

k = \frac{y_{1} - y_{0}}{x_{1} - x_{0}},

b = \frac{x_{1} y_{0} - x_{0} y_{1}}{x_{1} - x_{0}} .

5.如权利要求1所述的方法，其特征在于，所述标志线的投影映射关系由直线单应矩阵表示。

6.如权利要求5所述的方法，其特征在于，通过以下步骤生成直线单应矩阵：

若标志线的第一坐标为(a_w,b_w,c_w)，第二坐标为(a_i,b_i,c_i)，则该标志线之间的投影映射关系表示为：

其中，H_直线为直线单应矩阵；

根据n条标志线的坐标对应关系，可以建立2n个关于h₁₁,h₁₂…h₃₂的如下线性方程组：

\frac{a_{w} h_{11} + b_{w} h_{12} + c_{w} h_{13}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

\frac{a_{w} h_{21} + b_{w} h_{22} + c_{w} h_{23}}{a_{i}} - \frac{a_{w} h_{31} + b_{w} h_{32} + c_{w}}{c_{i}} = 0

求解所述线性方程组，获得h₁₁,h₁₂…h₃₂的最小二乘解。

7.如权利要求5所述的方法，其特征在于，所述点的投影映射关系由点单应矩阵表示，所述点单应矩阵是直线单应矩阵的转置逆矩阵。

8.一种基于体育场标志线的摄像机外参数确定系统，其特征在于，包括：

标志线选定模块，用于在拍摄的体育场图像中选定标志线；其中，所述标志线选定模块包括：像素点选取子模块，用于针对当前需要选定的所有标志线，在所述体育场图像中相应的标志线位置上，分别针对各条标志线选取两个不重合的像素点；直线确定子模块，用于分别由所述两个不重合像素点确定出相应的标志线；

9.如权利要求8所述的系统，其特征在于，所述标志线包括4条直线，并且所述4条直线中不存在3条相互平行的直线。

10.如权利要求9所述的系统，其特征在于，所述标志线至少为构成四边形的四条边线。

11.如权利要求8所述的系统，其特征在于，所述标志线的投影映射关系由直线单应矩阵表示。

12.如权利要求11所述的系统，其特征在于，所述点的投影映射关系由点单应矩阵表示，所述点单应矩阵是直线单应矩阵的转置逆矩阵。