CN102201117B - 一种摄像机内参数调整的方法及装置 - Google Patents

Abstract

本发明公开了一种摄像机内参数调整的方法，包括：获得预置变焦参数下的摄像机内参数矩阵；采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵中，获得最终的摄像机内参数矩阵。本发明可以保证当摄像机的聚焦参数发生改变时，摄像机的内参数能够正确反映摄像机的光学特性，从而使虚拟物体与真实场景相匹配，提高电视节目播出画面的真实感。

Description

一种摄像机内参数调整的方法及装置

技术领域

本发明涉及电视节目制作的技术领域，特别是涉及一种摄像机内参数调整的方法及一种摄像机内参数调整的装置。

背景技术

摄像机定标的基本目的就是建立起真实空间中的三维世界坐标与图像空间中的二维像素坐标之间的映射关系。这种映射关系是由摄像机成像的几何模型决定的，确定这些几何模型相关参数的过程就称为摄像机定标。

这种映射关系，取决于摄像机的外参数和内参数。其中，内参数反映了摄像机本身的光学特性，具体包括摄像机的焦距，主点和镜头畸变系数等。外参数反映了摄像机与拍摄景物的相对位置关系，具体包括摄像机的旋转矩阵，位移矢量。确定了摄像机的内外参数，也就建立起了空间中的任意点和其在图像上的成像点之间的对应关系，即完成了摄像机定标的过程。

目前，摄像机定标技术被广泛用于电视节目的制作中，以增加节目的生动性和交互性，满足电视观众不断提高的欣赏口味。例如，在体育比赛电视转播中插入三维动画。现有技术中，为了在电视画面中的预定位置插入三维动画，并保持虚拟物体与实景图像的位置匹配关系，在体育转播前，需要在实验室中通过定标实验预先测定摄像机内参数随变焦参数变化的曲线。然而，由于实验室的场地限制，定标标志板和摄像机镜头的距离有限，而实际比赛中，摄像机和拍摄景物之间的距离要远得多。因此，实验室中的摄像机和实际体育转播中的摄像机往往工作在不同的聚焦参数下，在这种情况下，实验室条件下标定的摄像机内参数不能准确地反映在体育转播中摄像机的光学特性，会导致插入的虚拟物体和真实场景无法正确对齐，从而影响转播画面的真实感。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种当摄像机聚焦参数发生变化时的摄像机内参数调整方案，以保证虚拟物体与真实场景相匹配，提高电视节目播出画面的真实感。

发明内容

本发明所要解决的技术问题是提供一种摄像机内参数调整的方法，以保证当摄像机的聚焦参数发生改变时，摄像机的内参数能够正确反映摄像机的光学特性，从而使虚拟物体与真实场景相匹配，提高电视节目播出画面的真实感。

为了解决上述技术问题，本发明实施例公开了一种摄像机内参数调整的方法，包括：

获得预置变焦参数下的摄像机内参数矩阵；

采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；

将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵。

优选的，所述确定预置补偿矩阵中补偿系数的步骤包括：

预置补偿矩阵；

改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；

依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；

选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数。

优选的，所述确定预置补偿矩阵中补偿系数的步骤包括：

预置补偿矩阵；

改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；

分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵；

选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算所述投影点与实际成像点之间的距离；

将所述距离值的平方和作为补偿系数的优化准则，获得最终的优化补偿系数。

优选的，所述特征几何信息为特征角点；所述摄像机的改变角度为平摇角度或俯仰角度。

优选的，所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P为：

P＝A·S·R·S^-1·M；

其中，A为摄像机内参数矩阵，R为旋转矩阵，对于平摇θ角度，对于俯仰θ角度，

$R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

优选的，所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P_i为：

P_i＝A·S·R·S^-1M；

其中，A为摄像机内参数矩阵，R为旋转矩阵，对于平摇θ角度，对于俯仰θ角度，

$R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\};$

所述获得最终优化补偿系数的优化算法为：

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j)\left|\right|$

其中，C为优化代价函数，N表示用于优化的参考图像数量。M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j，y_j，z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j，y_j，z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

优选的，所述最终获取的摄像机内参数矩阵为：

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\};$

所述最终获取的摄像机外参数矩阵为：

$M_0=\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

优选的，所述点单应矩阵通过所述基准图像实际平面上的已知几何信息与图像平面之间的投影映射关系获得。

本发明实施例还公开了一种摄像机内参数调整的装置，包括：

初始内参矩阵获取单元，用于获得预置变焦参数下的摄像机内参数矩阵；

基准图像采集计算单元，用于采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

初始外参矩阵计算单元，用于依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

变焦补偿单元，用于改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；

最终定标单元，用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵。

优选的，所述变焦补偿单元包括：

补偿矩阵预定义子单元，用于预置补偿矩阵；

参考图像第一获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；

图像投影矩阵生成子单元，用于依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；

补偿系数调整子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数。

优选的，所述变焦补偿单元包括：

补偿矩阵预定义子单元，用于预置补偿矩阵；

参考图像第二获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；

图像投影矩阵生成子单元，用于分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵；

距离计算子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算所述投影点与实际成像点之间的距离；

优化子单元，用于将所述距离值的平方和作为补偿系数的优化准则，获得最终的优化补偿系数。

优选的，所述特征几何信息为特征角点；所述摄像机的改变角度为平摇角度或俯仰角度。

优选的，所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P为：

P＝A·S·R·S^-1·M；

其中，A为摄像机内参数矩阵，R为旋转矩阵，对于平摇θ角度，对于俯仰θ角度，

$R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

优选的，所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P_i为：

P_i＝A·S·R·S^-1M；

其中，A为摄像机内参数矩阵，R为旋转矩阵，对于平摇θ角度，对于俯仰θ角度，

$R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\};$

所述获得最终优化补偿系数的优化算法为：

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j)\left|\right|$

其中，C为优化代价函数，N表示用于优化的参考图像数量。M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j，y_j，z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j，y_j，z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

优选的，所述最终获取的摄像机内参数矩阵为：

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\};$

所述最终获取的摄像机外参数矩阵为：

$M_0=\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

与现有技术相比，本发明具有以下优点：

本发明针对实验室中的摄像机和实际电视转播中的摄像机工作在不同的聚焦参数的情况，对实验室中测定的摄像机内参数进行聚焦补偿，从而获得实际电视转播中摄像机的内参数。具体而言，本发明采用补偿矩阵对摄像机的内参数进行补偿，并根据平摇和俯仰确定角度的图像中虚拟物体与实际图像的失配情况来确定补偿系数，最终获得正确的摄像机内参数，从而保证了虚拟物体与真实场景相匹配，提高了电视节目播出画面的真实感。

附图说明

图1本发明的一种摄像机内参数调整的方法实施例的步骤流程图；

图2是本发明的一种网球场示例的基准图像示意图；

图3为图2所示网球场的平面结构图；

图4是本发明的一种摄像机内参数调整的装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为便于本领域技术人员更好地理解本发明，以下以在体育比赛电视转播中插入三维动画为例，简单说明摄像机标定参数的计算方法。

为了在电视画面中的预定位置插入三维动画，需要知道物体的空间位置和该物体在电视图像上的成像位置之间的对应关系，即需要建立起空间点的三维世界坐标和它在图像上投影点的二维像素坐标之间的映射关系。

这种映射关系，取决于摄像机的内外参数。在不考虑畸变的情况下，这种映射关系可以用以下公式描述：

$\left\{\begin{array}{c}u\\ v\\ 1\end{array}\right\}=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}\left\{\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right\}$

其中，将称为内参数矩阵A，称为外参数矩阵M。外参数矩阵又可以进一步细分为旋转矩阵R和平移矢量T：

$R=\left\{\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right\}$ $T=\left\{\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right\}$

摄像机的内参数主要取决于摄像机本身的光学特性，具体而言是摄像机镜头的光学特性。摄像机镜头的光学特性由三个因素决定：变焦参数，聚焦参数和镜头光圈。其中，镜头光圈只影响进光量，不改变镜头的结构，因此不会对摄像机的内参数发生影响。摄像机的变焦是通过改变镜头组中各透镜的位置关系来改变镜头的焦距，实现对景物的拉近与推远。摄像机聚焦，则是通过将镜头组整体前后移动，改变镜头组到成像平面的距离，使成像平面处于焦点附近以获得最清晰的成像。成像清楚的聚焦参数取决于物体到摄像机的距离和光圈，不同的物距和光圈对应于不同的聚焦参数。当变焦参数和聚焦参数发生改变时，摄像机的内参数会发生相应的改变。

如前所述，为了在体育比赛转播中插入虚拟物体，并保持虚拟物体与实景图像的位置匹配关系。在体育转播前，需要在实验室中通过定标实验测定摄像机内参数随变焦参数变化的曲线。然而，由于实验室的场地限制，定标标志板和摄像机镜头的距离有限，而实际比赛中，摄像机和拍摄景物之间的距离要远得多。因此，实验室中的摄像机和实际体育转播中的摄像机往往工作在不同的聚焦参数下。

本发明正是针对这一问题提出的，简而言之即通过对实验室中测定的摄像机内参数进行聚焦补偿，以计算出实际体育转播中摄像机的内参数。

参考图1，示出了本发明的一种摄像机内参数调整方法实施例的流程图，具体可以包括以下步骤：

步骤101、获得预置变焦参数下的摄像机内参数矩阵；

步骤102、采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

步骤103、依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

步骤104、改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；

步骤105、将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵。

在本发明的一种优选实施例中，所述步骤104具体可以包括以下子步骤：

子步骤S11、预置补偿矩阵；

子步骤S12、改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；

子步骤S13、依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；

子步骤S14、选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数。

在本发明的另一种优选实施例中，还可以将上述补偿系数作为初始值，结合其它不同角度的多幅参考图像的补偿系数进行优化，从而获得最终的精度更高的补偿系数。在这种情况下，所述步骤104具体可以包括以下子步骤：

子步骤S21、预置补偿矩阵；

子步骤S22、改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；

子步骤S23、分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵；

子步骤S24、选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算所述投影点与实际成像点之间的距离；

子步骤S25、将所述距离值的平方和作为补偿系数的优化准则，获得最终的优化补偿系数。

在具体实现中，所述特征几何信息可以为特征角点信息、边界直线信息或矩形信息等，优选可以采用特征角点信息。所述摄像机的改变角度可以包括平摇角度或俯仰角度。

为使本领域技术人员更好地理解本发明，以下结合图2所示的网球场示意图及图3所示的该网球场对应的平面结构图，以网球场为例，对本发明实施例详细说明。

在本例中，定义三维世界坐标系如下：网球场的中心为坐标原点，沿着底线向右为X轴正方向，沿着边线向上为Y轴正方向，垂直于网球场地面向上为Z轴正方向。以及，定义二维图像坐标系如下：以图像的左上角为坐标原点，以水平向右为X轴正方向，以竖直向下为Y轴正方向。

第一步，在实验室中进行摄像机定标得到给定变焦参数条件下的摄像机内参数矩阵A：

$A=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}$

其中，所述fx和fy为焦距参数，u₀、v₀为摄像机主点的像素坐标。上述fx、fy、u₀、v₀可以通过张正友摄像机标定方法方便地计算出来，1998年张正友考虑径向畸变，提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法——平面标定法。该方法能高精度地标定摄像机，且简便易行。在上述式(1)中，fx、fy、u₀、v₀只与摄像机内部参数有关，故上述矩阵在现有技术中为被称为摄像机内参数投影矩阵。

具体而言，其中fx＝f/dX，fy＝f/dY，分别称为x轴和y轴上的归一化焦距；f是相机的焦距，dX和dY分别表示u轴和v轴上单位像素的尺寸大小。u0和v0则表示的摄像机的主点坐标，即摄像机光轴与图像平面的交点，通常位于图像中心处。

第二步，在体育转播前，对准网球场拍摄一幅图像，以该图像作为基准图像I₀，根据实际网球场的几何信息和网球场图像之间的对应关系，计算网球场平面与图像平面之间的点单应矩阵H₀。

在实际中，网球场的具体几何信息是已知的，如图3中，已知的几何信息包括：DC为10.97米，dc为8.23米，AD为11.89米，XH为6.4米。

第三步，根据所述点单应矩阵H₀和摄像机内参数矩阵A，计算出当前摄像机的外参数矩阵M。

为对摄像机内参数进行补偿，引入预置的补偿矩阵S，在这种情况下，真实的内参数矩阵可以表示为A₀＝A·S，真实的外参数矩阵可以表示为M₀＝S^-1·M，其中：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\},$ k为补偿系数；

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

$M_0=\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}$

第四步，将摄像机改变θ角度(比如10度)，拍摄一幅参考图像。该图像的摄像机投影矩阵P可以表示为：P＝A·S·R·S^-1·M。

其中，R为旋转矩阵，对于平摇θ角度，则实际空间中的点(x，y，z)和它在图像上的投影点(u，v)之间满足下面的关系：

$\left\{\begin{array}{c}u\\ v\\ 1\end{array}\right\}=\frac{2}{z_c}\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left[\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right]\left\{\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right\}\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}\left\{\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right\}$

对于俯仰θ角度，则实际空间中的点(x，y，z)和它在图像上的投影点(u，v)之间满足下面的关系：

$\left\{\begin{array}{c}u\\ v\\ 1\end{array}\right\}=\frac{1}{z_c}\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left[\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right]\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\}\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}\left\{\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right\}$

上述公式中，是指尺度系数，可以依据实际情况设置或不设置。

第五步，根据上面的公式将网球场上的特征角点投影到该图像上(比如图3中的A，B，C，D，E，F，G，H，a，b，c，d等特征角点)，调整补偿参数k，令投影图像点与图像中的真实场景点重合。记录补偿参数k，作为补偿系数的初始值。

第六步，分别平摇，俯仰若干个不同角度得到N幅参考图像I_i，根据平摇和俯仰的角度计算相应的投影矩阵P_i，在网球场上选取M个特征角点，将这些特征角点投影到图像中，计算投影点与图像点之间像素差值的平方和作为优化准则，将初始的补偿系数代入优化函数C求解最终的补偿系数K，具体的优化算法可以选择Levenberg-Marquardt算法(非线性最优化算法)。

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j){\left|\right|}^2$

其中，P_i＝A₀·R·M₀＝A·S·R·S^-1M，双边双竖线为二范数的运算符。C为优化代价函数，N表示用于优化的参考图像数量。M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j，y_j，z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j，y_j，z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

第七步，根据最终的补偿参数K，代入补偿矩阵，计算出真实的摄像机内参数矩阵A₀；

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}.$

当然，上述在网球场中的实现仅仅是本发明的一种示例，在实际中，本发明可以推广到任何体育场地、户外场地或几何信息预知的场景中。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参考图4，示出了本发明的一种摄像机内参数调整装置实施例的结构框图，具体可以包括以下单元：

初始内参矩阵获取单元401，用于获得预置变焦参数下的摄像机内参数矩阵；

基准图像采集计算单元402，用于采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

初始外参矩阵计算单元403，用于依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

变焦补偿单元404，用于改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；

最终定标单元405，用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵。

在本发明的一种优选实施例中，所述变焦补偿单元404可以包括如下子单元：

补偿矩阵预定义子单元，用于预置补偿矩阵；

参考图像第一获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；

图像投影矩阵生成子单元，用于依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；

补偿系数调整子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数。

作为本发明的另一种优选实施例中，所述变焦补偿单元404可以包括如下子单元：

补偿矩阵预定义子单元，用于预置补偿矩阵；

参考图像第二获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；

图像投影矩阵生成子单元，用于分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵；

距离计算子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算所述投影点与图像点之间的距离；

优化子单元，用于将所述距离值并作为补偿系数的优化准则，获得最终的优化补偿系数。

在上述实施例中，所述预置的补偿矩阵S可以表示为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P可以表示为：

P＝A·S·R·S^-1·M；

其中，A为摄像机内参数矩阵，R为旋转矩阵，对于平摇θ角度，对于俯仰θ角度，

$R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

所述获得最终优化补偿系数的优化算法为：

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j)\left|\right|$

其中，C为优化代价函数，N表示用于优化的参考图像数量。M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j，y_j，z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j，y_j，z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

由于本发明的系统实施例基本相应于前述的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上对本发明所提供的一种摄像机内参数调整的方法及一种摄像机内参数调整的装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种摄像机内参数调整的方法，其特征在于，包括：

获得预置变焦参数下的摄像机内参数矩阵；

采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；所述特征几何信息为特征角点；所述摄像机的改变角度为平摇角度或俯仰角度；

将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵；

其中，所述确定预置补偿矩阵中补偿系数的步骤包括：

预置补偿矩阵；改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数；

或者，

预置补偿矩阵；改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；分别依据当前角度和补偿矩阵生成相应参考图像的摄像机投影矩阵；选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算投影点与实际成像点之间的距离；将距离值的平方和作为补偿系数的优化准则，获得最终的优化补偿系数；

所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P为：

P＝A·S·R·S^-1·M；

其中，A为摄像机内参数矩阵， $A=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\};$ R为旋转矩阵，对于平摇θ角度， $R=R_Y\left(\mathrm{\θ}\right)\left\{\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right\};$ 对于俯仰θ角度， $R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

2.如权利要求1所述的方法，其特征在于，

所述获得最终优化补偿系数的优化算法为：

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j)\left|\right|$

其中，C为优化代价函数，N表示用于优化的参考图像数量，M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j,y_j,z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j,y_j,z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

3.如权利要求1所述的方法，其特征在于，所述最终获取的摄像机内参数矩阵为：

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\};$

所述最终获取的摄像机外参数矩阵为：

$M_0=\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

4.如权利要求1所述的方法，其特征在于，所述点单应矩阵通过所述基准图像实际平面上的已知几何信息与图像平面之间的投影映射关系获得。

5.一种摄像机内参数调整的装置，其特征在于，包括：

初始内参矩阵获取单元，用于获得预置变焦参数下的摄像机内参数矩阵；

基准图像采集计算单元，用于采集当前摄像机拍摄的预定场景的基准图像，并计算所述基准图像的点单应矩阵；

初始外参矩阵计算单元，用于依据所述摄像机内参数矩阵以及点单应矩阵，计算当前摄像机的外参数矩阵；

变焦补偿单元，用于改变所述摄像机的拍摄角度拍摄预定场景的参考图像，依据实际场景中的特征几何信息在参考图像上的投影信息确定预置补偿矩阵中的补偿系数；所述特征几何信息为特征角点；所述摄像机的改变角度为平摇角度或俯仰角度；

最终定标单元，用于将具有补偿系数的补偿矩阵代入所述摄像机内参数矩阵和/或摄像机外参数矩阵中，获得最终的摄像机内参数矩阵和/或摄像机外参数矩阵；

其中，所述变焦补偿单元包括：补偿矩阵预定义子单元，用于预置补偿矩阵；参考图像第一获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的一幅参考图像；图像投影矩阵生成子单元，用于依据当前角度和补偿矩阵生成当前参考图像的摄像机投影矩阵；补偿系数调整子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，获得调整的补偿系数；参考图像第二获取子单元，用于改变所述摄像机的拍摄角度拍摄预定场景不同角度的多幅参考图像；距离计算子单元，用于选取所述预定场景中的特征几何信息，并依据所述摄像机投影矩阵将相应的特征几何信息投影到当前参考图像中，计算投影点与实际成像点之间的距离；优化子单元，用于将距离值的平方和作为补偿系数的优化准则，获得最终的优化补偿系数；

所述预置的补偿矩阵S为：

$S=\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\}$

其中，k为补偿系数；

所述参考图像的摄像机投影矩阵P为：

P＝A·S·R·S^-1·M；

其中，A为摄像机内参数矩阵， $A=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\};$ R为旋转矩阵，对于平摇θ角度， $R=R_Y\left(\mathrm{\θ}\right)\left\{\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right\};$ 对于俯仰θ角度， $R=R_X\left(\mathrm{\θ}\right)=\left\{\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right\};$

M为摄像机外参数矩阵， $M=\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$

6.如权利要求5所述的装置，其特征在于，

所述获得最终优化补偿系数的优化算法为：

$C=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-P_i(x_j,y_j,z_j)\left|\right|$

其中，C为优化代价函数，N表示用于优化的参考图像数量；M表示选定的特征角点的数量，m_ij表示第j个特征角点在第i幅图像中实际像素坐标；(x_j,y_j,z_j)表示第j个特征角点在世界坐标系下的坐标；P_i表示第i幅图像对应的摄像机投影矩阵；P_i(x_j,y_j,z_j)表示第j个特征角点在摄像机投影矩阵P_i作用下，在第i幅图像中的投影点坐标。

7.如权利要求5所述的装置，其特征在于，所述最终获取的摄像机内参数矩阵为：

$A_0=\left\{\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{ccc}k& 0& 0\\ 0& k& 0\\ 0& 0& 1\end{array}\right\};$

所述最终获取的摄像机外参数矩阵为：

$M_0=\left\{\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& \frac{1}{k}& 0\\ 0& 0& 1\end{array}\right\}\left\{\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right\}.$