CN102110292A - 一种虚拟体育中的变焦镜头标定方法及装置 - Google Patents

Abstract

本发明公开了一种虚拟体育中的变焦镜头标定方法，包括：标定摄像机最短焦时的内参数；获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像；从第一幅图像开始，循环执行以下步骤直至最后一副图像；步骤S1、选取相邻的两幅图像；步骤S2、对所述两幅图像分别提取多个SIFT特征点；步骤S3、将所述SIFT特征点进行匹配，建立特征点集步骤；S4、依据匹配特征点集合，以及，前一幅图像的摄像机参数，计算后一幅图像对应的摄像机最短焦内参数和光心的旋转角度；步骤S5、将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数；步骤S6、令i＝i+1，返回步骤S1。本发明无需采用标志物，可以有效提高实施的便利性。

Description

一种虚拟体育中的变焦镜头标定方法及装置

技术领域

本发明涉及电视节目制作的技术领域，特别是涉及一种虚拟体育中的变焦镜头标定方法及一种虚拟体育中的变焦镜头标定装置。

背景技术

摄像机标定的目的是从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，是由摄像机成像的几何模型决定的，这些几何模型参数就是标定参数。具体而言，标定参数包括外参数和内参数，其中，外参数包括摄像机的位置、姿态等几何信息，内参数包括摄像机的焦距，主点、以及镜头变形参数等光学参数，用外参数和内参数来建立空间中的任意点和其在图像上的成像点之间的对应关系，这个过程就是摄像机标定的过程。通常，空间中的任意点和其在图像上的成像点之间的对应关系用小孔成像模型来描述。

传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的外参数和内参数。例如，现在标定变焦镜头，通常采用在墙上贴一个标志板，然后对着标志板变焦采图，利用标志板的坐标已知的条件，计算出摄像机镜头的变焦参数。这种方法，从实施上来说会比较麻烦，如果在户外嘈杂的环境中，利用图像分析的方法寻找标志板的角点还有可能失败。

发明内容

本发明所要解决的技术问题是提供一种虚拟体育中的变焦镜头标定方法，无需采用标志物，以提高实施的便利性。

为了解决上述技术问题，本发明实施例公开了一种虚拟体育中的变焦镜头标定方法，包括：

标定摄像机最短焦时的内参数K1；

获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

从第一幅图像开始，循环执行以下步骤直至最后一副图像；

步骤S1、选取相邻的两幅图像I_i-1和I_i；

步骤S2、对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

步骤S3、将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

步骤S4、依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

步骤S5、将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

步骤S6、令i＝i+1，返回步骤S1。

优选的，所述摄像机最短焦时的内参数采用张正友标定方法获得。

优选的，所述特征点匹配为，将相邻两幅图像中描述同一个特征的点对应起来。

优选的，在步骤S5之前，还包括：

采用LM算法对所述变焦参数进行优化。

本发明实施例还公开了一种虚拟体育中的变焦镜头标定装置，包括：

内参数标定单元，用于标定摄像机最短焦时的内参数K1；

变焦图像获取单元，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

循环控制单元，用于控制从第一幅图像开始，针对相邻两幅图像依次调用如下子单元，直至最后一副图像；

相邻图像确定子单元，用于选取相邻的两幅图像I_i-1和I_i，

特征点提取子单元，用于对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

特征点匹配子单元，用于将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

计算子单元，用于依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

光心旋转子单元，用于将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

循环点定位子单元，用于将i＝i+1，返回所述相邻图像确定子单元。

优选的，所述摄像机最短焦时的内参数采用张正友标定方法获得。

优选的，所述循环控制单元还用于在光心旋转子单元之前调用：

优化子单元，用于采用LM算法对所述变焦参数进行优化。

与现有技术相比，本发明具有以下优点：

本发明不需要任何标志物，只需采用摄像机对户外自然场景拍摄一组变焦图像，然后对该组变焦图像两两提取特征点以进行匹配，基于匹配的特征点及已知的摄像机最短焦内参数就可以得到该镜头的变焦参数。这种方法可以以提高实施的便利性，十分简便快捷。。

附图说明

图1是本发明的一种虚拟体育中的变焦镜头标定方法实施例的步骤流程图；

图2是本发明的一种虚拟体育中的变焦镜头标定装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参考图1，示出了本发明的一种虚拟体育中的变焦镜头标定方法实施例的步骤流程图，具体可以包括以下步骤：

步骤101、标定摄像机最短焦时的内参数K1；

在实际中，所述摄像机最短焦时的内参数可以采用张正友提出的利用多幅平面模板标定摄像机所有内外参数的方法——平面标定法进行标定。在该方法中，摄像机内参数矩阵为：

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$

其中f_x＝f/dX，f_y＝f/dY，分别称为x轴和y轴上的归一化焦距；f是相机的焦距，dX和dY分别表示u轴和v轴上单位像素的尺寸大小。u₀和v₀则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。

当然，上述标定内参数的方法仅仅用作示例，本领域技术人员依据实际情况采用其它内参数标定方法都是可行的，本发明对此无需加以限制。

步骤102、获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

例如，已知摄像机的初始内参数矩阵K₁，此时拍摄到的图像为I₁。将世界坐标系设在摄像机初始光心的位置上，那么摄像机此时的旋转和平移都是0。固定摄像机，变焦之后，摄像机的光心将产生一个微小的旋转dR，此时摄像机的内参数矩阵为K₂，拍摄到的图像为I₂。

步骤103、从第一幅图像开始(即初始i＝2)，循环执行以下步骤直至最后一副图像；

步骤S1、选取相邻的两幅图像I_i-1和I_i；

步骤S2、对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

由于图像中的内容不是标志板那样简单的物体，而是户外很复杂的自然场景，所以提取的特征点不再是现有技术中简单的角点。本发明中采用的是SIFT特征点。

步骤S3、将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

步骤S4、依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

因为本发明是用相邻的两幅图像计算变焦参数，所以光心的偏移dR总是相对于前一幅图像的，因此还需要通过步骤S5整理一下。

步骤S5、将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

步骤S6、令i＝i+1，返回步骤S1。

然后得到第三幅图像对应的摄像机变焦参数，以此类推，直到计算完最后一幅图像的摄像机变焦参数。

其中，SIFT特征点是用一个128维的特征向量来描述一个点的特征，它具有尺度、光照、旋转等不变性，对同一个特征有很强的稳定性，而对不同的特征有很大区分度，因此很容易准确地匹配起来。

SIFT特征点的匹配主要就是其特征向量的匹配，在本发明实施列中，可以通过将相邻两幅图像中描述同一个特征的点对应起来，建立一个特征点对应的集合 $\{x_{i-1}\↔x_i\},$ 以进行匹配。在具体实现中，还可以采用PCA算法，也可以用k-d Tree的办法搜索，本发明对此无需加以限制。

在虚拟体育中，场地距离摄像机的距离往往比较远，其距离远大于摄像机变焦时的光心移动距离，此时光心的平移对摄像机外参数矩阵的影响微乎其微，可以忽略。因此本发明实施例只考虑变焦时光心旋转的影响。

已知摄像机的初始内参数矩阵K₁，此时拍摄到的图为I₁。像将世界坐标系设在摄像机初始光心的位置上，那么摄像机此时的旋转和平移都是0。固定摄像机，变焦之后，摄像机的光心将产生一个微小的旋转dR，此时摄像机的内参数矩阵为K₂，拍摄到的图像为I₂。那么在世界坐标系下的同一个三维点X，在这两幅图中分别被投影成：

x₁＝K₁X     (1)

x₂＝K₂dRX   (2)

所以有：

$x_2=K_2\mathrm{dRX}=K_2\mathrm{dR}{K}_1^{-1}{x}_1---\left(3\right)$

令：

$H=K_2\mathrm{dR}{K}_1^{-1}---\left(4\right)$

则有：

x₂＝Hx₁     (5)

因为图像点x1，x2(提取出来的SIFT点)为已知，所以如果匹配集 $\{x_1\↔x_2\}$ 中对应的点数大于或等于4个，那么H就可以从(5)式简单地计算出来，于是(4)式可以得到：

K₂dR＝HK₁   (6)

将(6)式右边矩阵相乘的结果作QR分解，就可以得到K2，dR。

上面分解得到的摄像机参数是不能直接用的，误差比较大，只能作为初值。因而在本发明的一种优选实施例中，还可以采用LM算法对摄像机参数作优化，得到最终结果。

优化的目标函数是：

$\mathrm{\ϵ}(f_{x2},f_{y2},\mathrm{\α},\mathrm{\β})=\underset{n}{\mathrm{\Σ}}{\left|\right|K_2\mathrm{dR}{K}_1^{-1}{x}_{1n}-x_{2n}\left|\right|}^2---\left(7\right)$

其中，

$K_2=\left[\begin{array}{ccc}{f}_{x2}& 0& u_0\\ 0& f_{y2}& v_0\\ 0& 0& 1\end{array}\right]$

dR的参数化由Givens旋转给出：

dR＝R_y(-α)R_x(-β)

K₂中参数(f_x2，f_y2)的初值由QR分解的结果直接得到，而(α，β)的初值可以直接选为0。当迭代收敛后，得到的(f_x2，f_y2，α，β)就是第二幅图I₂的摄像机变焦参数。

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

参考图2，示出了本发明的一种虚拟体育中的变焦镜头标定装置实施例的结构框图，具体可以包括以下单元：

内参数标定单元201，用于标定摄像机最短焦时的内参数K1；

变焦图像获取单元202，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

循环控制单元203，用于控制从第一幅图像开始，针对相邻两幅图像依次调用如下子单元，直至最后一副图像；

相邻图像确定子单元31，用于选取相邻的两幅图像I_i-1和I_i，

特征点提取子单元32，用于对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

特征点匹配子单元33，用于将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

计算子单元34，用于依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

光心旋转子单元35，用于将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

循环点定位子单元36，用于将i＝i+1，返回所述相邻图像确定子单元。

在具体实现中，所述摄像机最短焦时的内参数可以采用张正友标定方法获得。

为获得更为准确的计算结果，在本发明的一种优选实施例中，所述循环控制单元还用于在调用光心旋转子单元35之前调用如下子单元：

优化子单元，用于采用LM算法对所述变焦参数进行优化。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种虚拟体育中的变焦镜头标定方法及一种虚拟体育中的变焦镜头标定装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种虚拟体育中的变焦镜头标定方法，其特征在于，包括：标定摄像机最短焦时的内参数K1；

获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

从第一幅图像开始，循环执行以下步骤直至最后一副图像；

步骤S1、选取相邻的两幅图像I_i-1和I_i；

步骤S2、对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

步骤S3、将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

步骤S4、依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

步骤S5、将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

步骤S6、令i＝i+1，返回步骤S1。

2.如权利要求1所述的方法，其特征在于，所述摄像机最短焦时的内参数采用张正友标定方法获得。

3.如权利要求2所述的方法，其特征在于，所述特征点匹配为，将相邻两幅图像中描述同一个特征的点对应起来。

4.如权利要求3所述的方法，其特征在于，在步骤S5之前，还包括：

采用LM算法对所述变焦参数进行优化。

5.一种虚拟体育中的变焦镜头标定装置，其特征在于，包括：

内参数标定单元，用于标定摄像机最短焦时的内参数K1；

变焦图像获取单元，用于获取固定位置的摄像机通过变焦对户外场景采集一组变焦图像I；

循环控制单元，用于控制从第一幅图像开始，针对相邻两幅图像依次调用如下子单元，直至最后一副图像；

相邻图像确定子单元，用于选取相邻的两幅图像I_i-1和I_i，

特征点提取子单元，用于对所述两幅图像分别提取多个SIFT特征点x_i-1以及x_i；

特征点匹配子单元，用于将所述SIFT特征点进行匹配，建立特征点集合 $\{x_{i-1}\↔x_i\};$

计算子单元，用于依据匹配特征点集合 $\{x_{i-1}\↔x_i\},$ 以及，前一幅图像I_i-1的摄像机参数K_i-1，计算后一幅图像I_i对应的摄像机最短焦内参数K_i和光心的旋转角度dR(α，β)；

光心旋转子单元，用于将光心旋转角度都处理为相对于前一幅图的旋转，即获得后一幅图像的摄像机变焦参数为：

dR_i＝dRdR_i-1

且dR₁＝I；

循环点定位子单元，用于将i＝i+1，返回所述相邻图像确定子单元。

6.如权利要求5所述的装置，其特征在于，所述摄像机最短焦时的内参数采用张正友标定方法获得。

7.如权利要求6所述的装置，其特征在于，所述循环控制单元还用于在光心旋转子单元之前调用：优化子单元，用于采用LM算法对所述变焦参数进行优化。

Images