CN101447073A - 变焦镜头标定方法 - Google Patents

Abstract

本发明公开了一种变焦镜头标定方法，包括以下步骤：对于一标准参照物，获取变焦镜头在不同焦距下拍摄的图像；根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。通过使用本发明提供的变焦镜头标定方法，从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机的准确跟踪。

Description

变焦镜头标定方法

技术领域

本发明涉及光学技术领域，尤其涉及一种变焦镜头标定方法。

背景技术

虚拟演播室系统中一个关键技术就是摄像机跟踪技术，跟踪技术包括图像跟踪，机械传感器跟踪，电磁跟踪等技术。其中机械跟踪包含两个关键技术，初始定位技术和跟踪技术。跟踪技术主要是利用传感器传回的角度值，对摄像机的姿态(包括摄像机的位置和朝向)进行修改，使得当摄像机姿态发生变化时，虚拟场景能够随之发生相应的改变，和实际场景(比如主持人)的变换保持一致。同时，当摄像机镜头变焦时，虚拟场景应该随之进行相应的放大或缩小。本文描述的变焦镜头的标定技术，提出了一种测量摄像机镜头内部参数的方法，使得当实际摄像机焦距发生改变时，虚拟摄像机也能做相应的改变，使重新渲染的虚拟场景能够和真实场景的变化保持一致。

如上所述，作为虚拟演播室的关键技术的摄像机跟踪技术，跟踪是否准确直接影响到虚拟场景和真实场景的叠加效果。若跟踪不准确，则来自摄像机的视频图像和图文工作站渲染的虚拟场景会出现错位的现象，导致虚拟场景给人一种不真实的感觉，使得虚拟演播室失去了意义。

目前普遍使用的跟踪技术是机械传感跟踪。这项技术中有两项很重要的关键技术：初始定位和变焦镜头的标定。初始定位是计算摄像机的初始姿态，为后期跟踪提供一个基础，该基础的好坏会影响到跟踪的准确性。然而变焦镜头的标定，则同样是非常关键的技术。在跟踪过程中一旦摄像机镜头的焦距发生改变，则需要修改镜头内部参数，这些内部参数的准确性，直接影响到虚拟场景放大(或缩小)倍数与实际场景是否一致，并且放大(或缩小)后是否还能够和实际场景很好的重合。

摄像机变焦镜头标定技术主要目的是测量摄像机内部参数，即确定摄像机内部参数矩阵K：

$K=\left[\begin{array}{ccc}-f/\mathrm{dx}& 0& U_0\\ 0& f/\mathrm{dy}& V_0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

如图1所示，平面a表示摄像机的成像平面(b和a是同一个平面)。A点表示z轴与成像平面的交点，也就是光心在图像平面上的位置。K矩阵中的f表示镜头的焦距，dx和dy如图1所示，表示一个像素的宽度和高度(以mm为单位)。U₀和V₀则表示光心在图像平面上的位置。

目前国际上对于定焦(焦距不改变)镜头的标定技术已经比较成熟，大多采用图像分析的方法，比如利用图2中所示的标志板来进行计算。这种标定方法在镜头焦距比较短的时候，效果很好，但是当镜头焦距达到80mm甚至是更长时，标定的不确定度会比较大。一般的摄像机最长焦距都可以达到160mm以上，因此直接用这种方法来处理长焦镜头是不太合适的。

发明内容

本发明要提供一种变焦镜头的标定方法，实现真实摄像机的焦距变化时，虚拟摄像机对真实摄像机的准确跟踪。

为达到上述目的，本发明提供一种变焦镜头的标定方法，包括以下步骤：

对于一标准参照物，获取变焦镜头在不同焦距下拍摄的图像；

根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

其中，所述标准参照物为标志板。

其中，所述获取变焦镜头在不同焦距下拍摄的图像的步骤具体包括：

将变焦镜头的焦距调至最小，拍摄当前图像。

增加焦距直至焦距的最大值，在焦距增加过程中，记录每次焦距增加时的变焦脉冲，并进行图像采集。

其中，所述变焦镜头在不同焦距下拍摄图像时，所述变焦镜头的位置保持不变。

其中，所述根据不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系的步骤具体包括：

读取所述变焦镜头的焦距最小时拍摄的图像；

根据所述焦距最小时拍摄的图像获取所述变焦镜头的初始姿态；

读取下一副幅图像以及对应的变焦脉冲值；

根据所述图像获取所述变焦脉冲值下，所述镜头的内部参数以及相对于所述初始姿态的补偿矩阵。

其中，所述初始姿态包括所述变焦镜头的初始位置坐标，以及初始的旋转矩阵和平移矩阵；所述相对于所述初始姿态的补偿矩阵包括与所述初始的旋转矩阵和平移矩阵对应的变焦镜头光轴偏移引起的旋转补偿矩阵和平移补偿矩阵。

其中，所述获取不同焦距与镜头内部参数和补偿矩阵的对应关系后，还包括步骤：

根据所述不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪。

其中，所述根据不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪的步骤具体为：

获取真实摄像机的变焦脉冲值；

根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵，并应用于虚拟摄像机的变焦镜头中，对真实摄像机的变焦进行跟踪。

其中，所述根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵的步骤具体为：

对于所述对应关系存在的变焦脉冲值，直接查询所述变焦脉冲值对应的镜头内部参数和补偿矩阵；

对于所述对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参数和补偿矩阵。

与现有技术相比，本发明具有以下优点：

从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机的准确跟踪。

附图说明

图1是现有技术中摄像机变焦镜头的成像平面示意图；

图2是现有技术中标志板的示意图；

图3A是现有技术中变焦镜头结构示意图；

图3B是现有技术中变焦镜头主光轴发生旋转的示意图；

图4是本发明中变焦镜头标定方法的流程图；

图5是本发明中变焦镜头在不同焦距下拍摄的图像的流程图；

图6是本发明中获取不同焦距与镜头内部参数和补偿矩阵的对应关系的流程图。

具体实施方式

以下结合附图和实施例，对本发明的实施方式进行详细说明。

本发明中一种变焦镜头标定方法，从分析变焦镜头的结构着手，研究镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数进行修正，以实现对真实摄像机的准确跟踪。

为了更加清楚的说明本发明的实施方式，首先对目前变焦镜头的特性进行说明。目前变焦镜头结构示意图如图3A所示，其中整个变焦镜头由ABCD四个透镜组所组成，其中A、D分别为前后固定组，而B、C透镜组在变焦时会发生移动，实现焦距的改变。整个透镜组从效果上来看，可以等效为只有一个透镜的透镜组，该透镜所在的位置即为整个系统的等效主面。在实际应用中的安装有变焦镜头的摄像机的坐标系就建立在该等效主面上，O为摄像机坐标系原点，主光轴为z轴，向左为正，y轴沿主面向上，x轴垂直于纸面向外。

理想情况下，当焦距发生改变时，像平面不发生改变，即仍然与CCD靶面重合，主光轴不发生变化，等效主面沿着主光轴移动(若焦距变大，则等效主面远离CCD移动)。这样就使得即使摄像机的姿态不发生改变，一旦焦距改变，摄像机坐标系中的y轴在移动，因此摄像机的平移矩阵T也会发生改变。

但是在实际应用中，镜头并不会只按照上述理想情况运动，而是不仅主光轴会发生侧移，同时也会发生旋转，如图3B所示。

如此一来，当摄像机姿态不发生变化，而只是变焦镜头发生焦距变化的情况下，不仅摄像机的内参矩阵K发生改变，旋转矩阵R和平移矩阵T都会发生改变。因此需要知道这些矩阵的变化规律，才能准确的叠加虚拟场景。这些变化规律可以用一个相对旋转矩阵ΔR和相对平移矩阵ΔT来表示，跟踪时的旋转和平移矩阵则需要对这两个矩阵进行补偿。

假设初始旋转矩阵为R₀，初始平移矩阵为T₀，修正后的旋转矩阵为R，平移矩阵为T，则修正方式如下式所示：

$\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\mathrm{\ΔR}& \mathrm{\ΔT}\\ 0& 1\end{array}\right]\·\left[\begin{array}{cc}{R}_0& T_0\\ 0& 1\end{array}\right]---\left(2\right)$

由于镜头焦距不同，对应的补偿矩阵为ΔR_i和ΔT_i也不同，因此需要测出不同焦距下对应的补偿矩阵，然后对于没有测量的部分，则可以使用线性插值计算。

本发明中一种镜头标定方法的原理为：

空间中的任意一点P通过摄像机的变焦镜头投影到屏幕上时，遵循下式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\·(R\·P+T)/z_c---\left(3\right)$

其中K为摄像机变焦镜头的内部参数矩阵，旋转矩阵R为3*3的矩阵，坐标点P和平移矩阵T均为3*1的矩阵。因此RP+T表示一个3*1的矩阵。z_c则为该(RP+T)矩阵的最后一个数。令

$m=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(4\right)$

即以m表示P点投影到屏幕上的屏幕坐标(左上角为原点)，u表示列数，v表示行数。若已知R₀、T₀，ΔR、ΔT作为变量，计算(3)式中的R和T，则可以计算点P的屏幕坐标m。此时若能够从拍摄到的图像上搜索到该点的坐标M，则可以比较M和m的差别，以此作为标准，用优化的方法来计算ΔR、ΔT。

$e={\underset{p}{\mathrm{\Σ}}(M-m)}^2=\underset{p}{\mathrm{\Σ}}{(M-K\·(R\·P+T)/z_c)}^2---\left(5\right)$

将(2)式代入(5)式，则可以得到e关于ΔR和ΔT的表达式。采用L.M(Levenberg-Marquardt)算法计算e的最小值，则可以得到该焦距下的内参K、以及ΔR和ΔT的具体值。

因为计算焦距的准确值的过程比较复杂，因此本发明中采用变焦脉冲值作为焦距变化的参考标准。在镜头的焦距变大或变小时，焦距对应的变焦脉冲值也会随之变大或变小。因此在变化焦距的整个过程中，通过记录与焦距对应的变焦脉冲、与该焦距下对应的摄像机内部参数和对应的补偿矩阵的对应关系，即可获取不同焦距下的摄像机内部参数和对应的补偿矩阵。

本发明一种变焦镜头标定方法如图4所示，包括以下步骤：

步骤s401、获取变焦镜头在不同焦距下拍摄的图像。

步骤s402、根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

具体的，上述步骤s401中，获取变焦镜头在不同焦距下拍摄的图像的流程如图5所示，包括以下步骤：

步骤s501、将摄像机焦距调至最小，进行第一次标定。

当摄像机变焦镜头的焦距最小时，变焦脉冲值为零。

步骤s502、固定标志板，摄像机对准标志板。

该标志板的示意图如上述图2所示。

步骤s503、拍摄当前图像。

步骤s504、记录当前变焦脉冲。

步骤s505、判断当前焦距是否为最大焦距，若不是则进行步骤s506，否则进行步骤s507。

步骤s506、保持摄像机不动，增大焦距，并进行步骤s503。

步骤s507、结束图像采集。

采集到所需的所有图像后，即可进行步骤s402中所描述的变焦镜头的标定过程。该根据不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系的过程如图6所示，包括以下步骤：

步骤s601、摄像机焦距调至最小，用通用方法进行标定。

步骤s602、读取拍摄的第一幅图像。

步骤s603、初始化摄像机姿态。

该初始化方法可以采用正交迭代法等现有技术中常用的摄像机姿态初始化方法。初始化后的摄像机姿态包括：摄像机的初始位置坐标，初始内部参数、以及初始的旋转矩阵ΔR和相对平移矩阵ΔT。

步骤s604、读取下一副幅图像。

步骤s605、读取对应的变焦脉冲值。

步骤s606、优化计算摄像机内参数和补偿矩阵。

该优化计算的方法即为使用上述公式(5)进行优化计算的过程。计算后的补偿矩阵为变焦后的矩阵相对初始的旋转矩阵ΔR和相对平移矩阵ΔT的补偿矩阵ΔR_i和ΔT_i，另外还包括变焦后的摄像机变焦镜头内参数。

步骤s607、判断是否为最后一副图像，不是则进行步骤s604，否则进行步骤s608。

步骤s608、将结果保存在文件中。

通过该方法，在所保存的文件中存储有每一变焦脉冲值以及该变焦脉冲值下的摄像机变焦镜头内参数和补偿矩阵。这样，在进行虚拟摄像机对真实摄像机的跟踪时，除了保持空间位置同步外，根据真实摄像机的变焦脉冲值变化，获取对应的该变焦脉冲值下的摄像机变焦镜头内参数和补偿矩阵，并应用在虚拟摄像机中，即可实现虚拟摄像机对真实摄像机的准确跟踪。对于在文件中不存在对应数据的变焦脉冲值，可以使用已有的变焦脉冲值进行插值计算，获取对应的摄像机内参数和补偿矩阵。

通过使用本发明提供的方法，实现了对变焦镜头的焦距变化时，获取不同焦距对应的摄像机内参数和补偿矩阵，并根据不同焦距对应的摄像机内参数和补偿矩阵对摄像机的内部参数以及姿态进行修正。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备执行本发明实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1、一种变焦镜头标定方法，其特征在于，包括以下步骤：

对于一标准参照物，获取变焦镜头在不同焦距下拍摄的图像；

根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

2、如权利要求1所述变焦镜头标定方法，其特征在于，所述标准参照物为标志板。

3、如权利要求1所述变焦镜头标定方法，其特征在于，所述获取变焦镜头在不同焦距下拍摄的图像的步骤具体包括：

将变焦镜头的焦距调至最小，拍摄当前图像。

增加焦距直至焦距的最大值，在焦距增加过程中，记录每次焦距增加时的变焦脉冲，并进行图像采集。

4、如权利要求1或3所述变焦镜头标定方法，其特征在于，所述变焦镜头在不同焦距下拍摄图像时，所述变焦镜头的位置保持不变。

5、如权利要求3所述变焦镜头标定方法，其特征在于，所述根据不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系的步骤具体包括：

读取所述变焦镜头的焦距最小时拍摄的图像；

根据所述焦距最小时拍摄的图像获取所述变焦镜头的初始姿态；

读取下一副幅图像以及对应的变焦脉冲值；

根据所述图像获取所述变焦脉冲值下，所述镜头的内部参数以及相对于所述初始姿态的补偿矩阵。

6、如权利要求5所述变焦镜头标定方法，其特征在于，所述初始姿态包括所述变焦镜头的初始位置坐标，以及初始的旋转矩阵和平移矩阵；所述相对于所述初始姿态的补偿矩阵包括与所述初始的旋转矩阵和平移矩阵对应的变焦镜头光轴偏移引起的旋转补偿矩阵和平移补偿矩阵。

7、如权利要求1所述变焦镜头标定方法，其特征在于，所述获取不同焦距与镜头内部参数和补偿矩阵的对应关系后，还包括步骤：

根据所述不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪。

8、如权利要求7所述变焦镜头标定方法，其特征在于，所述根据不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪的步骤具体为：

获取真实摄像机的变焦脉冲值；

根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵，并应用于虚拟摄像机的变焦镜头中，对真实摄像机的变焦进行跟踪。

9、如权利要求8所述变焦镜头标定方法，其特征在于，所述根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵的步骤具体为：

对于所述对应关系存在的变焦脉冲值，直接查询所述变焦脉冲值对应的镜头内部参数和补偿矩阵；

对于所述对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参数和补偿矩阵。

Images