CN101447074A - 变焦镜头标定装置 - Google Patents

Abstract

本发明公开了一种变焦镜头的标定装置，包括图像获取模块，用于获取变焦镜头对于一标准参照物，在不同焦距下拍摄的图像；对应关系获取模块，用于根据所述图像获取模块获取的不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。通过使用本发明提供的装置，从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机的准确跟踪。

Description

变焦镜头标定装置

技术领域

本发明涉及光学技术领域，尤其涉及一种变焦镜头的标定装置。

背景技术

虚拟演播室系统中一个关键技术就是摄像机跟踪技术，跟踪技术包括图像跟踪，机械传感器跟踪，电磁跟踪等技术。其中机械跟踪包含两个关键技术，初始定位技术和跟踪技术。跟踪技术主要是利用传感器传回的角度值，对摄像机的姿态(包括摄像机的位置和朝向)进行修改，使得当摄像机姿态发生变化时，虚拟场景能够随之发生相应的改变，和实际场景(比如主持人)的变换保持一致。同时，当摄像机镜头变焦时，虚拟场景应该随之进行相应的放大或缩小。本文描述的变焦镜头的标定技术，提出了一种测量摄像机镜头内部参数的方法，使得当实际摄像机焦距发生改变时，虚拟摄像机也能做相应的改变，使重新渲染的虚拟场景能够和真实场景的变化保持一致。

如上所述，作为虚拟演播室的关键技术的摄像机跟踪技术，跟踪是否准确直接影响到虚拟场景和真实场景的叠加效果。若跟踪不准确，则来自摄像机的视频图像和图文工作站渲染的虚拟场景会出现错位的现象，导致虚拟场景给人一种不真实的感觉，使得虚拟演播室失去了意义。

目前普遍使用的跟踪技术是机械传感跟踪。这项技术中有两项很重要的关键技术：初始定位和变焦镜头的标定。初始定位是计算摄像机的初始姿态，为后期跟踪提供一个基础，该基础的好坏会影响到跟踪的准确性。然而变焦镜头的标定，则同样是非常关键的技术。在跟踪过程中一旦摄像机镜头的焦距发生改变，则需要修改镜头内部参数，这些内部参数的准确性，直接影响到虚拟场景放大(或缩小)倍数与实际场景是否一致，并且放大(或缩小)后是否还能够和实际场景很好的重合。

摄像机变焦镜头标定技术主要目的是测量摄像机内部参数，即确定摄像机内部参数矩阵K：

$K=\left[\begin{array}{ccc}-f/\mathrm{dx}& 0& U_0\\ 0& f/\mathrm{dy}& V_0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

如图1所示，平面a表示摄像机的成像平面(b和a是同一个平面)。A点表示z轴与成像平面的交点，也就是光心在图像平面上的位置。K矩阵中的f表示镜头的焦距，dx和dy如图1所示，表示一个像素的宽度和高度(以mm为单位)。U₀和V₀则表示光心在图像平面上的位置。

目前国际上对于定焦(焦距不改变)镜头的标定技术已经比较成熟，大多采用图像分析的方法，比如利用图2中所示的标志板来进行计算。这种标定装置在镜头焦距比较短的时候，效果很好，但是当镜头焦距达到80mm甚至是更长时，标定的不确定度会比较大。一般的摄像机最长焦距都可以达到160mm以上，因此直接用这种方法来处理长焦镜头是不太合适的。

发明内容

本发明要提供一种变焦镜头的标定装置，实现真实摄像机的焦距变化时，虚拟摄像机对真实摄像机的准确跟踪。

为达到上述目的，本发明提供一种变焦镜头的标定装置，包括：

图像获取模块，用于获取变焦镜头对于一标准参照物，在不同焦距下拍摄的图像；

对应关系获取模块，用于根据所述图像获取模块获取的不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

其中，所述对应关系获取模块进一步包括：

初始姿态获取子模块，用于读取所述图像获取模块获取的在焦距最小时拍摄的图像，获取所述变焦镜头的初始姿态；

补偿矩阵获取子模块，用于根据所述图像获取模块获取的在其他变焦脉冲值下拍摄的图像，获取对于所述初始姿态的补偿矩阵；

内参数获取子模块，用于根据所述图像获取模块获取的在其他变焦脉冲值下拍摄的图像，获取所述变焦镜头的内参数。

其中，所述变焦镜头标定装置还包括：

对应关系存储模块，用于存储所述对应关系获取模块获取的不同焦距与镜头内部参数和补偿矩阵的对应关系。

其中，所述变焦镜头标定装置还包括：

校正模块，用于根据所述对应关系存储模块存储的不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪。

其中，所述校正模块进一步包括：

对应关系查询子模块，用于对于所述对应关系存储模块中对应关系已经存在的变焦脉冲值，直接查询所述变焦脉冲值对应的镜头内部参数和补偿矩阵；

对应关系获取子模块，用于对于所述对应关系存储模块中对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参数和补偿矩阵；

校正子模块，用于根据所述对应关系查询子模块或对应关系获取子模块获取的变焦脉冲值对应的镜头内部参数和补偿矩阵，对变焦镜头进行补偿。

与现有技术相比，本发明具有以下优点：

从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机的准确跟踪。

附图说明

图1是现有技术中摄像机变焦镜头的成像平面示意图；

图2是现有技术中标志板的示意图；

图3A是现有技术中变焦镜头结构示意图；

图3B是现有技术中变焦镜头主光轴发生旋转的示意图；

图4是本发明中变焦镜头标定装置的结构示意图。

具体实施方式

以下结合附图和实施例，对本发明的实施方式进行详细说明。

本发明中一种变焦镜头标定装置，从分析变焦镜头的结构着手，研究镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数进行修正，以实现对真实摄像机的准确跟踪。

目前变焦镜头结构示意图如图3A所示，其中整个变焦镜头分为ABCD四个部分，A，D分别为前后固定组，变焦时，B，C透镜组移动，实现焦距的改变。整个透镜组从效果上来看，可以等效为只有一个透镜的透镜组，该透镜所在的位置即为整个系统的等效主面。在实际应用中的摄像机坐标系就建立在等效主面上，O为摄像机坐标系原点，主光轴为z轴，向左为正，y轴沿主面向上，x轴垂直于纸面向外。

理想情况下，当焦距发生改变时，像平面不发生改变，即仍然与CCD靶面重合，主光轴不发生变化，等效主面沿着主光轴移动(若焦距变大，则等效主面远离CCD移动)。这样就使得即使摄像机的姿态不发生改变，一旦焦距改变，摄像机坐标系中的y轴在移动，因此摄像机的平移矩阵T也会发生改变。

但是在实际应用中，镜头并不会只按照上述理想情况运动，而是不仅主光轴会发生侧移，同时也会发生旋转，如图3B所示。

如此一来，当摄像机姿态不发生变化，而只发生焦距变化的情况下，不仅摄像机的内参矩阵K发生改变，旋转矩阵R和平移矩阵T都会发生改变。因此需要知道这些矩阵的变化规律，才能准确的叠加虚拟场景。这些变化规律可以用一个相对旋转矩阵ΔR和相对平移矩阵ΔT来表示，跟踪时的旋转和平移矩阵则需要对这两个矩阵进行补偿。

假设初始旋转和平移矩阵分别为R₀、T₀，修正后的矩阵为R、T，则修正方式如下式所示：

$\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\mathrm{\ΔR}& \mathrm{\ΔT}\\ 0& 1\end{array}\right]\·\left[\begin{array}{cc}{R}_0& T_0\\ 0& 1\end{array}\right]---\left(2\right)$

由于镜头焦距不同，对应的补偿矩阵为ΔR_i和ΔT_i也不同，因此需要测出不同焦距对应的补偿矩阵，然而对于没有测量的部分，则可以使用线性插值计算。

本发明中一种镜头标定方法的原理为：

空间中的任意一点P通过摄像机的变焦镜头投影到屏幕上时，遵循下式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\·(R\·P+T)/z_c---\left(3\right)$

其中K为摄像机变焦镜头的内部参数矩阵，旋转矩阵R为3*3的矩阵，坐标点P和平移矩阵T均为3*1的矩阵。因此RP+T表示一个3*1的矩阵。z_c则为该(RP+T)矩阵的最后一个数。令

$m=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(4\right)$

即以m表示P点投影到屏幕上的屏幕坐标(左上角为原点)，u表示列数，v表示行数。若已知R₀、T₀，ΔR、ΔT作为变量，计算(3)式中的R和T，则可以计算点P的屏幕坐标m。此时若能够从拍摄到的图像上搜索到该点的坐标M，则可以比较M和m的差别，以此作为标准，用优化的方法来计算ΔR、ΔT。

$e={\underset{p}{\mathrm{\Σ}}(M-m)}^2=\underset{p}{\mathrm{\Σ}}{(M-K\·(R\·P+T)/z_c)}^2---\left(5\right)$

将(2)式代入(5)式，则可以得到e关于ΔR和ΔT的表达式。采用L.M(Levenberg-Marquardt)算法计算e的最小值，则可以得到该焦距下的内参K、以及ΔR和ΔT的具体值。

因为计算焦距的准确值的过程比较复杂，因此本发明中采用变焦脉冲值作为焦距变化的参考标准。在镜头的焦距变大或变小时，焦距对应的变焦脉冲值也会随之变大或变小。因此在变化焦距的整个过程中，通过记录与焦距对应的变焦脉冲、与该焦距下对应的摄像机内部参数和对应的补偿矩阵的对应关系，即可获取不同焦距下的摄像机内部参数和对应的补偿矩阵。

本发明一种变焦镜头标定装置如图4所示，包括：

图像获取模块10，用于获取变焦镜头对于一标准参照物，在不同焦距下拍摄的图像；

对应关系获取模块20，用于根据图像获取模块10获取的不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

对应关系获取模块20进一步包括：

初始姿态获取子模块21，用于读取图像获取模块10获取的在焦距最小时拍摄的图像，获取变焦镜头的初始姿态。其中，可以采用正交迭代法等现有技术中常用的摄像机姿态初始化方法。初始化后的摄像机姿态包括：摄像机的初始位置坐标，初始内部参数、以及初始的旋转矩阵ΔR和相对平移矩阵ΔT。

补偿矩阵获取子模块22，用于根据图像获取模块10获取的在其他变焦脉冲值下拍摄的图像，获取变焦镜头在不同变焦脉冲值对应的补偿矩阵；该补偿矩阵的获取方法请参照上述利用公式(5)进行优化计算的过程。

内参数获取子模块23，用于根据图像获取模块10获取的在其他变焦脉冲值下拍摄的图像，获取变焦镜头在不同变焦脉冲值对应的内部参数；该内部参数的获取方法请参照上述利用公式(5)进行优化计算的过程。

变焦镜头标定装置还包括：

对应关系存储模块30，用于存储对应关系获取模块20获取的不同焦距与镜头内部参数和补偿矩阵的对应关系。

该变焦镜头标定装置还包括：

校正模块40，用于根据对应关系存储模块30存储的不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪。

校正模块进一步包括：

对应关系查询子模块41，用于对于对应关系存储模块30中对应关系已经存在的变焦脉冲值，直接查询变焦脉冲值对应的镜头内部参数和补偿矩阵；

对应关系获取子模块42，用于对于对应关系存储模块30中对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参数和补偿矩阵；

校正子模块43，用于根据对应关系查询子模块41或对应关系获取子模块42获取的变焦脉冲值对应的镜头内部参数和补偿矩阵，对变焦镜头进行补偿。

通过该装置，在所保存的文件中存储有每一变焦脉冲值以及该变焦脉冲值下的摄像机变焦镜头内参数和补偿矩阵。这样，在进行虚拟摄像机对真实摄像机的跟踪时，除了保持空间位置同步外，根据真实摄像机的变焦脉冲值变化，获取对应的该变焦脉冲值下的摄像机内参数和补偿矩阵，并应用在虚拟摄像机中，即可实现虚拟摄像机对真实摄像机的准确跟踪。对于在文件中不存在对应数据的变焦脉冲值，可以使用已有的变焦脉冲值进行插值计算，获取对应的摄像机内参数和补偿矩阵。

通过使用本发明提供的装置，实现了对变焦镜头的焦距变化时，获取不同焦距对应的摄像机内参数和补偿矩阵，并根据不同焦距对应的摄像机内参数和补偿矩阵对摄像机的内部参数以及姿态进行修正。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备执行本发明实施例所提供的装置。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (5)

1、一种变焦镜头标定装置，其特征在于，包括：

图像获取模块，用于获取变焦镜头对于一标准参照物，在不同焦距下拍摄的图像；

对应关系获取模块，用于根据所述图像获取模块获取的不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。

2、如权利要求1所述变焦镜头标定装置，其特征在于，所述对应关系获取模块进一步包括：

初始姿态获取子模块，用于读取所述图像获取模块获取的在焦距最小时拍摄的图像，获取所述变焦镜头的初始姿态；

补偿矩阵获取子模块，用于根据所述图像获取模块获取的在其他变焦脉冲值下拍摄的图像，获取对于所述初始姿态的补偿矩阵；

内参数获取子模块，用于根据所述图像获取模块获取的在其他变焦脉冲值下拍摄的图像，获取所述变焦镜头的内参数。

3、如权利要求2所述变焦镜头标定装置，其特征在于，所述变焦镜头标定装置还包括：

对应关系存储模块，用于存储所述对应关系获取模块获取的不同焦距与镜头内部参数和补偿矩阵的对应关系。

4、如权利要求2所述变焦镜头标定装置，其特征在于，所述变焦镜头标定装置还包括：

校正模块，用于根据所述对应关系存储模块存储的不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像机的变焦进行跟踪。

5、如权利要求4所述变焦镜头标定装置，其特征在于，所述校正模块进一步包括：

对应关系查询子模块，用于对于所述对应关系存储模块中对应关系已经存在的变焦脉冲值，直接查询所述变焦脉冲值对应的镜头内部参数和补偿矩阵；

对应关系获取子模块，用于对于所述对应关系存储模块中对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参数和补偿矩阵；

校正子模块，用于根据所述对应关系查询子模块或对应关系获取子模块获取的变焦脉冲值对应的镜头内部参数和补偿矩阵，对变焦镜头进行补偿。

Images