CN102693543B - 室外环境下变焦云台摄像机全自动标定方法 - Google Patents

Abstract

一种室外环境下变焦云台摄像机全自动标定方法。针对室外环境下变焦云台摄像机，提出一种全自动且高精度的标定算法。首先将摄像机模型分解为变焦转换模型与定焦参数模型。对于前者，通过设立多个参考点，建立多倍变焦情况下的变焦转换模型；然后基于单应矩阵回溯技术，得到全局参考点与多组已选定变焦参数下变焦模型的转换关系，并在此基础上对缩放系数与变焦中心等参数进行曲线拟合。对于后者，利用旋转角度信息对定焦参数模型进行在线标定。由于将变焦中心与主点位置作为独立变量分别进行标定，确保了模型的完整性与准确性；且多参考点方法较好解决了变焦情况下特征匹配点过少问题，提高了标定精度。实验结果表明了本发明具有良好的性能。

Description

室外环境下变焦云台摄像机全自动标定方法

技术领域

本发明属于计算机视觉与摄像机标定的技术领域，特别是涉及一种室外环境下变焦云台摄像机全自动标定方法。

背景技术

变焦云台摄像机（Pan-Tilt-Zoom，PTZ）能够对焦距、姿态、光圈等进行自动调节与控制，具有灵活、视场范围大、对光照条件适应能力强等特点，因此已在视频监控、电子安防、机器人导航，智能空间等各个领域中得到了广泛的应用。随着图像处理技术，模式识别技术以及计算机处理技术等的高速发展，一方面，对运动目标的检测、分类、跟踪、超分辨率重建与行为分析等成为一个重要的发展方向；另外一方面，利用视觉传感器对运动目标的状态如尺寸，速度等进行几何测量或者估计，在自动仓储、加工制造、交通事故鉴定等方面的需求推动下，也亟待便捷度与精度的改善。

为了提高视觉测量的精度，往往需要使用离线采集的大量数据对摄像机的模型参数进行预先标定。经典的摄像机标定算法，如Tsai的两步标定法[1]，张正友的平面标定法[2]等，主要研究焦距固定情况下的摄像机标定算法。该类方法利用高精度的立体或平面标定设备，借助于线性最小二乘/奇异值分解，以及基于最大似然准则的非线性优化方法，能够达到较为精确的标定结果[3，4]。遗憾的是，由于温度、使用环境、底座震动等因素影响，摄像机参数往往逐渐发生变化，造成实际参数与出厂参数偏差较大，从而导致视觉测量精度较低甚至产生错误。

此外，在室外工作场合下，利用参考标定物对摄像机进行标定往往非常繁琐，甚至难以实现。为了解决这一问题，通常需要在现场环境下，如公共场所监控，自主机器人载体上等，自主进行摄像机参数标定，即完成摄像机自标定[5-11]。随着电子安防与视频监控行业的发展，该功能的研发可以大大地提高监控相机对环境变化的自适应能力，因此可以提高产品的核心竞争力。当前主流的摄像机自标定方法主要包括基于Kruppa方程的自标定方法与基于分层逐步标定的自标定方法。针对场景未知和摄像机任意运动的一般情形，Faugeras等人首先提出了自标定的概念，利用绝对二次曲线和极线变换得到了Kruppa方程，在此基础上可望实时在线地校准摄像机模型参数[6]。但是，直接求解Kruppa方程的方法存在计算复杂，对噪声敏感的问题，为此研究学者们又提出了分层逐步标定的思想[7-9]，即首先对图像序列做射影重建，在此基础上再进行仿射标定和欧氏标定。分层逐步标定的方法以Hartley的QR分解法[7]，Triggs的绝对二次曲面法[8]，Pollefeys的模约束法[9]等为代表。此外，与现有这些基于离散视觉多视几何原理的标定方法不同，方勇纯等人从连续动态视觉系统的角度出发，结合非线性观测器设计理论，设计了一种摄像机内参数在线自标定与自校正方法，并证明了该方法的收敛性[12]。然而，上述方法主要适用于焦距固定情况下的摄像机标定，仍然无法解决焦距连续变化的PTZ摄像机的参数标定问题。

针对室外PTZ监控摄像机标定问题，R.T.Collins等人在美国DARPA项目VSAM（Visual Surveillance and Monitoring）的支持下，提出了一种室外PTZ摄像机的标定方法。遗憾的是，该方法假设摄像机变焦中心与主点（即光轴与图像平面的交点）相互重合，因而使得视觉测量的精度受到了限制[13]。R.G.Willson在其博士论文中对PTZ摄像机的标定方法进行了深入的研究，他提出了图像几何中心，主点，变焦中心，畸变中心等多个概念，对PTZ的严格几何数学模型进行了详细的探讨。然而由于其模型过于复杂，实际标定的步骤比较繁琐，从而限制了其应用范围[14]。M.Sarkis等人利用离线标定的方法，在几个焦距设定点处，分别对其焦距，主点等内参数进行了标定，然后利用移动最小二乘方法（Moving Least Squares）拟合出内参数随焦距设定值变化的函数曲线。这种方法需要进行离线标定，并且其精确度与离线标定次数有关，因此标定步骤较为繁琐，且无法实现全自动的在线运行[15]。总结文献可以得知，现有方法或者在模型精度上有所欠缺，或者标定过程过于繁琐，难以实际应用。

发明内容

本发明目的是解决现有技术存在的上述不足，提供一种室外环境下PTZ摄像机全自动标定方法。

本发明为了兼顾模型准确度，精度与标定便捷性方面的需求，将PTZ摄像机模型分解为变焦转换模型与定焦参数模型两个部分。在此基础上，利用特征点提取与匹配技术对这两个子模型分别进行全自动标定，然后将两者相互融合。因而，一方面，着重考虑到变焦中心随焦距连续变化的情况，求取了多参考点变焦转换模型；另一方面，在视觉测量时，又能够根据变焦转换模型将不同焦距参数下的图像首先变换到某一定焦等效图像中，进而可以根据定焦摄像机参数完成精度较高的视觉测量任务，同时避免了求解主点，焦距等内参数随变焦参数的变化规律，使得标定过程更为快捷。实验结果证明本发明算法具有全自动、便捷、且精度较高的优点。

本发明提供的室外环境下变焦云台摄像机全自动标定方法包括：

第1，变焦云台摄像机，简称PTZ摄像机模型建立

为了兼顾模型的准确性与标定的快捷性，本发明将先考虑模型变焦中心（zoom中心）随着变焦参数（即zoom值）变化的情况，建立变焦转换模型；根据该模型，可将不同zoom值下的图像等效转换为特定zoom值下的图像。最后，根据特定zoom值下建立的定焦参数模型，可以对外界物体进行相关的视觉测量。

第1.1，对于单参考点变焦转换模型，采用如下所示的模型：

$p_{\mathrm{xi}}^{z_2}-C_x^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{xi}}^{z_1}-C_x^{z_1}\left(z_2\right))---\left(1\right)$

$p_{\mathrm{yi}}^{z_2}-C_y^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{yi}}^{z_1}-C_y^{z_1}\left(z_2\right))---\left(2\right)$

上式中，与分别表示三维特征点P_i在zoom值为z₁和z₂时的像素坐标，且通过通用的特征点提取与匹配算法自动获得，其中i＝1，2，...，n，n表示三维特征点的个数且通过通用的特征点提取与匹配算法自动确定；表示摄像机zoom值从z₁变化到z₂时图像的zoom中心，表示对应的缩放系数。式（1）（2）描述了摄像机变焦转换模型，即将zoom值为z₁时的图像作为参考图像，把其转换到zoom值为z₂时的图像像素间的数学变化关系。

第1.2，在摄像机zoom值固定时，本发明将采用如下小孔摄像机模型：

$A\left(z_r\right)=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

其中，A(z_r)表示在特定变焦参数z_r时的摄像机内参数矩阵，f_x，f_y分别表示有效焦距沿图像u轴与v轴方向的尺度因子，(u₀，v₀)表示主点位置。

综上所述，PTZ摄像机模型标定即在z₁，z₂为任意值的情况下，求解参数 f_x，f_y以及(u₀，v₀)。

第2，多参考点变焦转换模型自标定

第2.1单参考点变焦转换模型标定

本小节将首先对单参考点变焦转换模型标定算法进行研究。选定一个参考zoom值z₁，根据匹配特征点对与(i＝1，2，3…n)，求解其到任意变焦参数z₂之间的变焦转换模型，即参数

对式（1）（2）进行整理可得：

$p_i^{z_2}=H_{z_1}^{z_2}\·p_i^{z_1}---\left(4\right)$

其中分别为zoom值为z₁和z₂时的三维特征点P_i的图像齐次坐标，即 且符号‘T’表示对相应矩阵求转置，矩阵表示对应两幅图像的2D单应矩阵，为如下表达式：

$H_{z_1}^{z_2}=\left[\begin{array}{ccc}{M}^{z_1}\left(z_2\right)& 0& (1-M^{z_1}\left(z_2\right))C_x^{z_1}\left(z_2\right)\\ 0& M^{z_1}\left(z_2\right)& (1-M^{z_1}\left(z_2\right))C_y^{z_1}\left(z_2\right)\\ 0& 0& 1\end{array}\right]---\left(5\right)$

根据式（4）可知，zoom值变化前后图像之间的变换关系可以用2维单应矩阵来表示。因此，根据通用的特征提取与匹配算法[16]，得到四对或四对以上的匹配特征点与(i＝1，2，...，n，n≥4)时，便可利用线性最小二乘或奇异值分解等SVD方法[2]求解出在此基础上，根据式（5），便可从矩阵中求解出变焦转换模型参数

$M^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{1,1}\right)+H_{z_1}^{z_2}\left(\mathrm{2,2}\right)}{2}---\left(6\right)$

$C_x^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{1,3}\right)}{1-M^{z_1}\left(z_2\right)},$ $C_y^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{2,3}\right)}{1-M^{z_1}\left(z_2\right)}---\left(7\right)$

其中，表示矩阵的第i行第j列元素。

第2.2多参考点变焦转换模型标定

当zoom范围较大时，一方面，当前zoom值下的图像与参考zoom值时图像之间能够匹配的特征点比较少；另一方面，变焦中心的变化在范围较大时呈现出较强的非线性。鉴于上述原因，本文选取多个zoom值作为参考点，建立了多参考点变焦转换模型。利用各个参考点之间的转换关系，能够将当前图像转变为任意zoom值下的图像。具体模型如下所述：

根据式任意zoom值下的图像点到zoom值z_r1＝0下对应图像点的变换为：

$p_i^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·p_i^{z_{\mathrm{rk}}}$

$=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·p_i^{z_{r(k-1)}}$

$=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}}\·p_i^{z_{r1}}$

上式中，z_rk表示第k个参考zoom值(k＝1，2，…，k_n)，且满足令表示z_rk与z_r(k+1)之间(τ＝1，2，…，τ_k)以z_rk作为参考点的某一zoom值，即k_n与τ_k分别为k与τ的最大值，并且由下面所述的标定步骤自动决定其值的大小。

由此可得多参考点变焦转换模型如下：

$p_i^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·p_i^{z_{r1}}---\left(8\right)$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}}---\left(9\right)$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=\left[\begin{array}{ccc}{M}^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& 0& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& 0& 1\end{array}\right]---\left(10\right)$

其中表示zoom值为时的图像点齐次坐标，表示zoom值为z_r1时的图像点齐次坐标，表示zoom值为时的图像与zoom值为z_r1时的图像的2D单应矩阵，同样地，为相应的图像的2D单应矩阵；k_n，τ_k由算法自动决定其值的大小。

在此基础上,根据式(10)可以求解出以zoom值z_r1＝0为全局参考点的等效zoom中心 以及缩放系数

$M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,1}\right)+H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,2}\right)}{2}---\left(11\right)$

$C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)},$ $C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)}---\left(12\right)$

其中，表示矩阵的第i行第j列元素。

多参考点变焦转换模型参数的具体标定步骤如下：（标定流程图见附图1）

第2.2.1，初始化：令k＝1，z_rk＝0,τ＝1。设定摄像机zoom值为z_rk，拍摄并存储图像I(z_rk)。

第2.2.2，取（n_step即zoom每次变化的步长）。当为摄像机的最大zoom值），令τ＝τ-1，k_n＝k，τ_k＝τ，转第2.2.4步。

第2.2.3，设定摄像机的zoom值为拍摄并存储图像根据通用的特征提取与匹配算法，对图像与进行特征匹配，得到第i个匹配特征点对如果匹配特征点的对数（n₀为匹配点对数的阈值），则根据式（4）计算并保存表示对应两幅图像的2D单应矩阵），令τ＝τ+1，转第2.2.2步；当则令k＝k+1，即加入一个参考点z_rk，设定其zoom值为设定τ＝1，转第2.2.2步。

第2.2.4，根据式(9)，可以计算出任意zoom值下的图像到zoom值z_r1＝0下图像之间的数学变换矩阵即利用单应矩阵回溯技术，将各个参考zoom值下的变焦转换关系巧妙地融入到以初始zoom值z_r1作为全局参考点的等效变焦转换模型之中。

第2.2.5，在计算得到的基础上，根据式(11)与式(12)求解出以zoom值z_r1＝0为全局参考点的等效zoom中心 以及缩放系数

第2.2.6，利用通用的数据拟合方法，得到以zoom值z_r1作为全局参考点下的等效zoom中心与缩放系数曲线。

第3，定焦参数模型自标定

如附图2所示，F_w，F_c分别表示世界坐标系与摄像机坐标系，两者之间的关系可以用水平旋转与俯仰运动来表示。其中，其中α_s为水平旋转角度值，β_s为竖直俯仰角度值，箭头表示其正方向，F′_w为中间转换坐标系。首先，将摄像机的zoom值固定为某一参考值z_rk(1≤k≤k_n)，在此条件下，对于摄像机不同位置拍取一系列图像I₁，I₂，...，I_num（num为图像幅数），并由云台摄像机的角度传感器获取其相应的旋转角度信息(α_s，β_s)(s＝1，2，...，num)。

以相邻两幅图像为一对，得到(num-1)对图像。接着分别对每对图像进行特征点提取与匹配，来求解zoom值为z_rk时的定焦参数模型，即参数f_x，f_y，u₀，v₀。在拍摄图像时，合理地设定摄像机的姿态角以保证相邻每对图像含有足够多特征点。

对于第s(s＝1，2，...，num-1)对图像，图像I_s和I_s+1经特征点提取与匹配算法后，得到n_s对匹配特征点。对于第t(t＝1，2，...，n_s)对匹配特征点，其中n_s通过通用的图像特征点提取与跟踪算法自动确定，根据小孔成像模型，有以下关系：

$p_c^{s,t}=\frac{1}{Z_c^{s,t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_s}{R}_{{\mathrm{\α}}_s}{P}_w^{s,t}---\left(13\right)$

$p_c^{(s+1),t}=\frac{1}{Z_c^{(s+1),t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}}{P}_w^{s,t}---\left(14\right)$

上式中，分别表示第t对匹配特征点在图像I_s,I_s+1中的齐次像素坐标，该特征点在三维世界坐标系中的非齐次坐标为而与分别表示该特征点在其对应的摄像机坐标系下的深度信息。矩阵 分别表示由水平旋转角与俯仰角对应的旋转矩阵，其中 的表达式如下（ 同理可得）：

$R_{{\mathrm{\α}}_s}=\left[\begin{array}{ccc}\cos {\mathrm{\α}}_s& 0& \sin {\mathrm{\α}}_s\\ 0& 1& 0\\ -\sin {\mathrm{\α}}_s& 0& \cos {\mathrm{\α}}_s\end{array}\right],$ $R_{{\mathrm{\β}}_s}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\β}}_s& -\sin {\mathrm{\β}}_s\\ 0& \sin {\mathrm{\β}}_s& \cos {\mathrm{\β}}_s\end{array}\right]---\left(15\right)$

综合式（13）与式（14），可得：

$p_c^{(s+1),t}=\frac{Z_c^{s,t}}{Z_c^{(s+1),t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}-{\mathrm{\α}}_s}{R}_{{\mathrm{\β}}_s}^T{A}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}---\left(16\right)$

对上式整理得：

$p_c^{(s+1),t}=\mathrm{\λA}\left(z_{\mathrm{rk}}\right)H_{\mathrm{\δ}}^s{A}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}---\left(17\right)$

其中，λ为比例因子，为3×3外参数角度矩阵且可以根据角度传感器获得，其表达式如下:

$\mathrm{\λ}=\frac{Z_c^{s,t}}{Z_c^{(s+1),t}},$ $H_{\mathrm{\δ}}^s=R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}-{\mathrm{\α}}_s}{R}_{{\mathrm{\β}}_s}^T.$

根据式（3），摄像机内参数矩阵可进行如下分解：

$A\left(z_{\mathrm{rk}}\right)=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& u_0\\ 0& 1& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\\ 0& 0& 1\end{array}\right]=C\·F---\left(18\right)$

其中，矩阵C和F为如下表达式：

$C=\left[\begin{array}{ccc}1& 0& u_0\\ 0& 1& v_0\\ 0& 0& 1\end{array}\right],$ $F=\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\\ 0& 0& 1\end{array}\right]---\left(19\right)$

把式（18）代入式（17）整理可得：

$p_c^{(s+1),t}=\mathrm{\λCF}{H}_{\mathrm{\δ}}^s{F}^{-1}{C}^{-1}{p}_c^{s,t}---\left(20\right)$

$p_c^{(s+1),t}=\mathrm{\λC}{H}^s{C}^{-1}{p}_c^{s,t}---\left(21\right)$

$p_c^{(s+1),t}=\mathrm{\λ}{G}^s{p}_c^{s,t}---\left(22\right)$

其中单应矩阵H^s和射影单应矩阵G^s为如下表达式：

$H^s={\mathrm{FH}}_{\mathrm{\δ}}^s{F}^{-1},$ G^s=CH^sC^-1                    (23)

即

H^s＝C^-1G^sC    (24)

根据式（22），利用通用的特征提取与匹配算法，从每一对图像中提取出四对或四对以上的匹配特征点，即可利用奇异值分解等方法[2]求解出射影单应矩阵G^s。本发明接下来采用线性求解和非线性优化的方法，求解定焦参数模型的内参数。

对于非线性的初始条件，选取(u₀，v₀)初始值为图像几何中心，这样就确定了矩阵C。任选一对图像，根据式（24）可求得矩阵H^s。再结合式（19），式（23）中矩阵F和H^s的定义，整理出如下f_x，f_y的初始估计值：

$f_x=\frac{H^s\left(\mathrm{1,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,1}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{1,3}\right)+H^s\left(\mathrm{3,1}\right)}---\left(25\right)$

$f_y=\frac{H^s\left(\mathrm{2,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,2}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{2,3}\right)+H^s\left(\mathrm{3,2}\right)}----\left(26\right)$

其中，H^s(i，j)，(i＝1，2，3；j＝1，2，3)分别表示矩阵H^s，的第i行第j列元素。

计算出初始估计值后，利用最小化图像平面反投影误差函数来求取f_x，f_y，u₀，v₀的最终优化值。根据式（17），目标函数可以定义为：

$J({\hat{f}}_x,{\hat{f}}_y,{\hat{u}}_0,{\hat{v}}_0)=\underset{s=1}{\overset{\mathrm{num}-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_s}{\mathrm{\Σ}}}{(p_c^{(s+1),t}-{\hat{p}}_c^{(s+1),t}(\hat{A}\left(z_{\mathrm{rk}}\right),H_d^s,p_c^{s,t}))}^2---\left(27\right)$

其中，num为图像数，A(z_rk)为内参数阵，表示对A(z_rk)的估计）n_s表示第s与第s+1图像上的匹配像素点个数， 为内参数的自标定结果，反投影点可以通过下式计算得到：

${\hat{p}}_c^{(s+1),t}=\mathrm{\λ}\hat{A}\left(z_{\mathrm{rk}}\right)H_d^s{\hat{A}}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}$

第4，变焦转换模型与定焦参数模型的融合

在完成多参考点变焦转换模型与定焦参数模型的标定后，可按照如下方法对两个模型进行融合与应用。例如，在视觉高度测量的任务中，为了对某zoom值下图像中的感兴趣目标进行高度测量，首先，根据多参考点变焦转换模型中得到的全局参考点下的等效zoom中心与缩放系数曲线，将该图像变换为特定zoom值下的已完成定焦参数模型标定的等效图像；进而，根据该zoom值下的定焦参数模型并利用通用的高度测量方法，完成精度较高的视觉测量任务。如此便可避免对主点，焦距等内参数随变焦参数变化规律的求解，使得PTZ摄像机下的视觉测量工作更为方便快捷。

本发明的优点和有益效果

本发明提出了一种可全自动运行且精度较高的PTZ摄像机自标定方法。这种标定方法将摄像机模型分解为变焦转换模型与定焦参数模型，既考虑了变焦中心的变化，又考虑了变焦中心与主点位置的不同，从而使模型结构更为准确完整。此外，由于建立了多参考点变焦模型，因此可以很好地解决变焦情况下特征匹配点过少的问题，达到了较高的标定精度。通过大量实验结果充分证明了本发明算法的有效性。

附图说明：

图1为多参考点变焦转换模型标定流程图；

图2为定焦模型自标定中的坐标系变换图；

图3为多参考点变焦转换模型下的匹配点对数；

图4为多参考点变焦转换模型下的缩放倍数；

图5表示多参考点变焦转换模型下的zoom中心x坐标；

图6表示多参考点变焦转换模型下的zoom中心y坐标；

图7为全局参考点变焦转换模型下的缩放倍数；

图8为全局参考点变焦转换模型下的zoom中心x坐标；

图9为全局参考点变焦转换模型下的zoom中心y坐标；

图10是图像变换模型对比结果一。其中A图表示将z_r1＝0时的图像按照标定出的参数进行放大后的结果，B图表示z_r1＝1000时所拍摄的图像；

图11是图像变换模型对比结果二。其中其中A图表示将z_r1＝1000时的图像按照标定参数进行缩小后的结果，B图表示z_r1＝0时所拍摄的图像。

具体实施方式：

实施例1：

第1，变焦云台摄像机，简称PTZ摄像机模型的建立

为了兼顾模型的准确性与标定的快捷性，本发明将先考虑模型变焦中心（zoom中心）随着变焦参数（即zoom值）变化的情况，建立变焦转换模型；根据该模型，可将不同zoom值下的图像等效转换为特定zoom值下的图像。最后，根据特定zoom值下建立的定焦参数模型，可以对外界物体进行相关的视觉测量。

第1.1，对于单参考点变焦转换模型，采用如下所示的模型：

$p_{\mathrm{xi}}^{z_2}-C_x^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{xi}}^{z_1}-C_x^{z_1}\left(z_2\right))---\left(1\right)$

$p_{\mathrm{yi}}^{z_2}-C_y^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{yi}}^{z_1}-C_y^{z_1}\left(z_2\right))---\left(2\right)$

上式中，与分别表示三维特征点P_i在zoom值为z₁和z₂时的像素坐标，，且通过通用的特征点提取与匹配算法自动获得，其中i＝1，2，...，n，n表示三维特征点的个数且通过通用的特征点提取与匹配算法自动确定； 表示摄像机zoom值从z₁变化到z₂时图像的zoom中心，表示对应的缩放系数。式（1）（2）描述了摄像机变焦转换模型，即将zoom值为z₁时的图像作为参考图像，把其转换到zoom值为z₂时的图像像素间的数学变化关系。

第1.2，在摄像机zoom值固定时，本发明将采用如下小孔摄像机模型：

$A\left(z_r\right)=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

其中，A(z_r)表示在特定变焦参数z_r时的摄像机内参数矩阵，f_x，f_y分别表示有效焦距沿图像u轴与v轴方向的尺度因子，(u₀，v₀)表示主点位置。

综上所述，PTZ摄像机模型标定即在z₁，z₂为任意值的情况下，求解参数 f_x，f_y以及(u₀，v₀)。

第2，多参考点变焦转换模型自标定

第2.1，单参考点变焦转换模型标定

本小节将首先对单参考点变焦转换模型标定算法进行研究。选定一个参考zoom值z₁，根据匹配特征点对与(i＝1，2，3…n)，求解其到任意变焦参数z₂之间的变焦转换模型，即参数

对式（1）（2）进行整理可得：

$p_i^{z_2}=H_{z_1}^{z_2}\·p_i^{z_1}---\left(4\right)$

其中分别为zoom值为z₁和z₂时的图像齐次坐标，即 且符号‘T’表示对相应矩阵求转置，矩阵表示对应两幅图像的2D单应矩阵，为如下表达式：

$H_{z_1}^{z_2}=\left[\begin{array}{ccc}{M}^{z_1}\left(z_2\right)& 0& (1-M^{z_1}\left(z_2\right))C_x^{z_1}\left(z_2\right)\\ 0& M^{z_1}\left(z_2\right)& (1-M^{z_1}\left(z_2\right))C_y^{z_1}\left(z_2\right)\\ 0& 0& 1\end{array}\right]---\left(5\right)$

根据式（4）可知，zoom值变化前后图像之间的变换关系可以用2维单应矩阵来表示。因此，根据通用的特征提取与匹配算法[16]，得到四对或四对以上的匹配特征点与(i＝1，2，...，n，n≥4)时，便可利用线性最小二乘或奇异值分解等SVD方法[2]求解出在此基础上，根据式（5），便可从矩阵中求解出变焦转换模型参数

$M^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{1,1}\right)+H_{z_1}^{z_2}\left(\mathrm{2,2}\right)}{2}---\left(6\right)$

$C_x^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{1,3}\right)}{1-M^{z_1}\left(z_2\right)},$ $C_y^{z_1}\left(z_2\right)=\frac{H_{z_1}^{z_2}\left(\mathrm{2,3}\right)}{1-M^{z_1}\left(z_2\right)}---\left(7\right)$

其中，表示矩阵的第i行第j列元素。

第2.2，多参考点变焦转换模型标定

当zoom范围较大时，一方面，当前zoom值下的图像与参考zoom值时图像之间能够匹配的特征点比较少；另一方面，变焦中心的变化在范围较大时呈现出较强的非线性。鉴于上述原因，本文选取多个zoom值作为参考点，建立了多参考点变焦转换模型。利用各个参考点之间的转换关系，能够将当前图像转变为任意zoom值下的图像。具体模型如下所述：

根据式(4)，任意zoom值下的图像点到zoom值z_r1＝0下对应图像点的变换为：

$p_i^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·p_i^{z_{\mathrm{rk}}}$

$=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·p_i^{z_{r(k-1)}}$

$=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}}\·p_i^{z_{r1}}$

上式中，z_rk表示第k个参考zoom值(k＝1，2，…，k_n)，且满足 表示z_rk与z_r(k+1)之间(τ＝1，2，…，τ_k)以z_rk作为参考点的某一zoom值，即其中,k_n与τ_k均为正整数，τ为正整数且最大为τ_k，k_n与τ_k由下面所述的标定步骤，自动决定其值的大小。

由此可得多参考点变焦转换模型如下：

$p_i^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·p_i^{z_{r1}}---\left(8\right)$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}}---\left(9\right)$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=\left[\begin{array}{ccc}{M}^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& 0& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& 0& 1\end{array}\right]---\left(10\right)$

其中表示zoom值为时的图像点齐次坐标，表示zoom值为z_r1时的图像点齐次坐标，表示zoom值为时的图像与zoom值为z_r1时的图像的2D单应矩阵，同样地，为相应的图像的2D单应矩阵；k_n，τ_k由算法自动决定其值的大小。

在此基础上,根据式(10)可以求解出以zoom值z_r1＝0为全局参考点的等效zoom中心 以及缩放系数

$M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,1}\right)+H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,2}\right)}{2}---\left(11\right)$

$C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)},C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)}---\left(12\right)$

其中，表示矩阵的第i行第j列元素。

多参考点变焦转换模型参数的具体标定步骤如下：（标定流程图见附图1）

第2.2.1，初始化：令k＝1，z_rk＝0,τ＝1。设定摄像机zoom值为z_rk，拍摄并存储图像

第2.2.2，取（n_step即zoom每次变化的步长）。如果为摄像机的最大zoom值），令τ＝τ-1，k_n＝k，τ_k＝τ，转第2.2.4步。

第2.2.3，设定摄像机的zoom值为拍摄并存储图像根据通用的特征提取与匹配算法，对图像与I(z_rk)进行特征匹配，得到第i个匹配特征点对如果匹配特征点的对数（n₀为匹配点对数的阈值），则根据式（4）计算并保存（表示对应两幅图像的2D单应矩阵），令τ＝τ+1，转第2.2.2步；如果则令k＝k+1，即加入一个参考点z_rk，设定其zoom值为设定τ＝1，转第2.2.2步。

第2.2.4，根据式(9)，可以计算出任意zoom值下的图像到zoom值z_r1=0下图像之间的数学变换矩阵即利用单应矩阵回溯技术，将各个参考zoom值下的变焦转换关系巧妙地融入到以初始zoom值z_r1作为全局参考点的等效变焦转换模型之中。

第2.2.5，在计算得到的基础上，根据式(11)与式(12)求解出以zoom值z_r1=0为全局参考点的等效zoom中心 以及缩放系数

第2.2.6，利用通用的数据拟合方法，得到以zoom值z_r1作为全局参考点下的等效zoom中心与缩放系数曲线。

第3，定焦参数模型自标定

如附图2所示，F_w，F_c分别表示世界坐标系与摄像机坐标系，两者之间的关系可以用水平旋转与俯仰运动来表示。其中，其中α_s为水平旋转角度值，β_s为竖直俯仰角度值，箭头表示其正方向，F′_w为中间转换坐标系。首先，将摄像机的zoom值固定为某一参考值z_rk(1≤k≤k_n)，在此条件下，对于摄像机不同位置拍取一系列图像I₁，I₂，...，I_num（num为图像幅数），并由云台摄像机的角度传感器获取其相应的旋转角度信息(α_s，β_s)(s＝1，2，...，num)。

以相邻两幅图像为一对，得到(num-1)对图像。接着分别对每对图像进行特征点提取与匹配，来求解zoom值为z_rk时的定焦参数模型，即参数f_x，f_y，u₀，v₀。在拍摄图像时，合理地设定摄像机的姿态角以保证相邻每对图像含有足够多特征点。

对于第s(s＝1，2，...，num-1)对图像，图像I_s和I_s+1经特征点提取与匹配算法后，得到n_s对匹配特征点。对于第t(t＝1，2，...，n_s)对匹配特征点，其中n_s通过通用的图像特征点提取与跟踪算法自动确定，根据小孔成像模型，有以下关系：

$p_c^{s,t}=\frac{1}{Z_c^{s,t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_s}{R}_{{\mathrm{\α}}_s}{P}_w^{s,t}---\left(13\right)$

$p_c^{(s+1),t}=\frac{1}{Z_c^{(s+1),t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}}{P}_w^{s,t}---\left(14\right)$

上式中，分别表示第t对匹配特征点在图像I_s,I_s+1中的齐次像素坐标，该特征点在三维世界坐标系中的非齐次坐标为而与分别表示该特征点在其对应的摄像机坐标系下的深度信息。矩阵 分别表示由水平旋转角与俯仰角对应的旋转矩阵，其中 的表达式如下同理可得）：

$R_{{\mathrm{\α}}_s}=\left[\begin{array}{ccc}\cos {\mathrm{\α}}_s& 0& \sin {\mathrm{\α}}_s\\ 0& 1& 0\\ -\sin {\mathrm{\α}}_s& 0& \cos {\mathrm{\α}}_s\end{array}\right],R_{{\mathrm{\β}}_s}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\β}}_s& -\sin {\mathrm{\β}}_s\\ 0& \sin {\mathrm{\β}}_s& \cos {\mathrm{\β}}_s\end{array}\right]---\left(15\right)$

综合式（13）与式（14），可得：

$p_c^{(s+1),t}=\frac{Z_c^{s,t}}{Z_c^{(s+1),t}}A\left(z_{\mathrm{rk}}\right)R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}-{\mathrm{\α}}_s}{R}_{{\mathrm{\β}}_s}^T{A}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}---\left(16\right)$

对上式整理得：

$p_c^{(s+1),t}=\mathrm{\λA}\left(z_{\mathrm{rk}}\right)H_{\mathrm{\δ}}^s{A}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}---\left(17\right)$

其中，λ为比例因子，为3×3外参数角度矩阵且可以根据角度传感器获得，其表达式如下:

$\mathrm{\λ}=\frac{Z_c^{s,t}}{Z_c^{(s+1),t}},$ $H_{\mathrm{\δ}}^s=R_{{\mathrm{\β}}_{s+1}}{R}_{{\mathrm{\α}}_{s+1}-{\mathrm{\α}}_s}{R}_{{\mathrm{\β}}_s}^T.$

根据式（3），摄像机内参数矩阵可进行如下分解：

$A\left(z_{\mathrm{rk}}\right)=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& u_0\\ 0& 1& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\\ 0& 0& 1\end{array}\right]=C\·F---\left(18\right)$

其中，矩阵C和F为如下表达式：

$C=\left[\begin{array}{ccc}1& 0& u_0\\ 0& 1& v_0\\ 0& 0& 1\end{array}\right],$ $F=\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\\ 0& 0& 1\end{array}\right]---\left(19\right)$

把式（18）代入式（17）整理可得：

$p_c^{(s+1),t}=\mathrm{\λCF}{H}_{\mathrm{\δ}}^s{F}^{-1}{C}^{-1}{p}_c^{s,t}---\left(20\right)$

$p_c^{(s+1),t}=\mathrm{\λC}{H}^s{C}^{-1}{p}_c^{s,t}---\left(21\right)$

$p_c^{(s+1),t}=\mathrm{\λ}{G}^s{p}_c^{s,t}---\left(22\right)$

其中单应矩阵H^s和射影单应矩阵G^s为如下表达式：

$H^s={\mathrm{FH}}_{\mathrm{\δ}}^s{F}^{-1},$ G^s=CH^sC^-1            (23)

即

H^s＝C^-1G^sC    (24)

根据式（22），利用通用的特征提取与匹配算法，从每一对图像中提取出四对或四对以上的匹配特征点，即可利用奇异值分解等方法[2]求解出射影单应矩阵G^s。本发明接下来采用线性求解和非线性优化的方法，求解定焦参数模型的内参数。

对于非线性的初始条件，选取(u₀，v₀)初始值为图像几何中心，这样就确定了矩阵C。任选一对图像，根据式（24）可求得矩阵H^s。再结合式（19），式（23）中矩阵F和H^s的定义，整理出如下f_x，f_y的初始估计值：

$f_x=\frac{H^s\left(\mathrm{1,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,1}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{1,3}\right)+H^s\left(\mathrm{3,1}\right)}---\left(25\right)$

$f_y=\frac{H^s\left(\mathrm{2,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,2}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{2,3}\right)+H^s\left(\mathrm{3,2}\right)}----\left(26\right)$

其中，H^s(i，j)，(i＝1，2，3；j＝1，2，3)分别表示矩阵H^s，的第i行第j列元素。

计算出初始估计值后，利用最小化图像平面反投影误差函数来求取f_x，f_y，u₀，v₀的最终优化值。根据式（17），目标函数可以定义为：

$J({\hat{f}}_x,{\hat{f}}_y,{\hat{u}}_0,{\hat{v}}_0)=\underset{s=1}{\overset{\mathrm{num}-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_s}{\mathrm{\Σ}}}{(p_c^{(s+1),t}-{\hat{p}}_c^{(s+1),t}(\hat{A}\left(z_{\mathrm{rk}}\right),H_d^s,p_c^{s,t}))}^2---\left(27\right)$

其中，num为图像数，A(z_rk)为内参数阵，表示对A(z_rk)的估计）n_s表示第s与第s+1图像上的匹配像素点个数， 为内参数的自标定结果，反投影点可以通过下式计算得到：

${\hat{p}}_c^{(s+1),t}=\mathrm{\λ}\hat{A}\left(z_{\mathrm{rk}}\right)H_d^s{\hat{A}}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}---\left(28\right)$

第4，变焦转换模型与定焦参数模型的融合

在完成多参考点变焦转换模型与定焦参数模型的标定后，可按照如下方法对两个模型进行融合与应用。例如，在视觉高度测量的任务中，为了对某zoom值下图像中的感兴趣目标进行高度测量，首先，根据多参考点变焦转换模型中得到的全局参考点下的等效zoom中心与缩放系数曲线，将该图像变换为特定zoom值下的已完成定焦参数模型标定的等效图像；进而，根据该zoom值下的定焦参数模型并利用通用的高度测量方法，完成精度较高的视觉测量任务。如此便可避免对主点，焦距等内参数随变焦参数变化规律的求解，使得PTZ摄像机下的视觉测量工作更为方便快捷。

第5，实验效果描述

为验证上述室外环境下PTZ摄像机全自动标定方法的有效性，本发明在型号为VC-C50i的PTZ摄像机上进行了实际实验验证。其中在多参考点变焦转换模型的实验中，zoom值变化范围从0到1950，选取n_step＝50，设置匹配点对数阈值z_max＝1950。

第5.1，多参考点变焦转换模型自标定结果

在多参考点变焦转换模型的实验中，选取n_step＝50，设置匹配点对数阈值n₀＝20，按照多参考点变焦转换模型的标定步骤，进行变焦转换模型的标定。

附图3至附图6表示各zoom值下的图像，与相应的zoom值为z_rk的参考图像之间的关系。其中，图3展示了特征点的匹配对数，并据此确立了如下的参考点：z_r1＝0，z_r2＝650，z_r3＝1150，z_r4＝1450，z_r5＝1750。在这些参考点下，根据多参考点变焦转换模型标定算法，可得各zoom值下图像与zoom值为z_rk的参考图像间的缩放系数（如附图4所示）和zoom中心（如附图5，附图6所示）。

在得到所有图像相对于各个参考点的多参考点变焦转换模型参数后，将基于多个参考点的变焦图像统一地转换到zoom值为z_r1＝0的全局参考点变焦转换模型中，得到如附图7所示的整体缩放系数和附图8、附图9所示的整体zoom中心。利用数据拟合的方法，对全局参考点的缩放系数与zoom值关系进行函数关系拟合，拟合曲线如图7所示，拟合结果如下：

mag(z_rk)＝a·exp(b·z_rk)+c·exp(d·z_rk)

其中：

a＝0.8527，b＝0.001187

c＝0.001854，d＝0.004556

对全局参考点的zoom中心的x坐标和y坐标与zoom之间的关系，采用线性最近邻插值法分别进行拟合，得到的拟合曲线如附图8和附图9所示。

为了对上述变焦模型进行验证，将zoom值为0的图像与zoom值为100的图像进行变换后，得到如附图10与附图11所示的结果。其中，附图10左图是将zoom值为0的图像按照标定出的变焦转换参数进行放大的结果，而右图则表示zoom值为100时所拍摄的图像。附图11左图是将zoom值为100的图像按照标定参数进行缩小的结果，而右图则是zoom值为0时所拍摄的图像（右图中的红框区域即为左图中图案部对应区域）。经过对比可知，即使在大范围变焦的情况下，左右两幅图像轮廓和样貌完全几乎重合，表明该方法达到了较高的标定精度。

第5.2，定焦模型自标定结果

固定zoom值为参考值z_r1＝0，在此前提下求取定焦参数模型，即参数f_x,f_y,u₀，v₀。为了验证本发明算法的准确度，首先在实验室环境下利用张正友平面标定法[2]对相机进行标定，结果如表1所示。

表1.传统标定板标定结果

接下来使用PTZ摄像机，连续采集不同位置的图像，利用采集到的一系列图像和位置信息，自动计算求取出定焦模型的参数，结果如表2所示。

表2.三组图像的自标定结果

从表2可以看出，在室外环境下进行多次自标定，每组之间的结果相差较小，每一个内参数的相对误差也较小，表明本发明具有良好的稳定性，可以获得较为精确的标定结果。

参考文献

1.R.Y.Tsai.A Versatile Camera Calibration Technique for High-Accuracy 3D MachineVision Metrology Using Off-the-shelf TV Cameras and Lenses.IEEE Journal of Roboticsand Automation,1987.

2.Z.Zhang,A flexible new technique for camera calibration,”IEEE Transactions PatternAnalysis and Machine Intelligence,2000,22(11):1330–1334.

3.张雪波,方勇纯,马博军.基于单应矩阵的摄像机标定方法及应用.控制工程，2010,17(2):248-251.

4.苑英海,方勇纯,张雪波.基于全局代价函数优化的立体标定方法.仪器仪表学报，2011,32(10):2228-2234.

5.孟晓桥,胡占义.摄像机自标定方法的研究与进展.自动化学报，2003,29(l):110-124.

6.O.Faugeras,Q.T.Luong,S.Maybank.Camera self-calibration:Theory and experiments.In Proceedings of the 2nd European Conference on Computer Vision,1992:321-334.

7.R.Hartley.Euclidean reconstruction and invariants from multiple images.IEEETransactions on Pattern Analyis and Machine Intelligence,1994,16(10):1036-1041.

8.B.Triggs.Auto-calibration and the absolute quadric.Proceedings of Computer Vision andPattern Recognition,1997:609-614.

9.M.Pollefeys,L.V.Gool,A.Osterlinck.The modulus constraint:A new constraint forself-calibration.Proceedings of International Conference of Pattern Recognition,Vienna,1996:349-353.

10.M.Miksch,B.Yang,K.Zimmermann,Automatic extrinsic camera self-calibration based onhomography and epipolar geometry，2010IEEE Intelligent Vehicles Symposium(IV),2010:832-839.

11.Ferran Espuny，Jose I.Burgos Gil.Generic Self-calibration of Central Cameras from TwoRotational Flows,International Journal of Computer Vision,2011,91(2):131-145.

12.刘玺,方勇纯,李宝全,张雪波.一种全局指数收敛的摄像机内参数观测器.控制理论与应用，2011,28(9):1082-1090.

13.R.T.Collins,Y.Tsin,Calibration of an Outdoor Active Camera System.Proceedings ofIEEE Conference on Computer Vision and Pattern Recognition,1999:1528-1534.

14.R.G.Willson,Modeling and Calibration of Automated Zoom Lenses,Ph.D dissertation,Carnegie Mellon University，Pittsburgh,PA,1994.

15.M.Sarkis,C.T.Senft,K.Diepold,Calibrating an automatic zoom camera with movingleast squares.IEEE Transactions on Automation Science and Engineering,2009,6(3):492-503.

16.D.G.Lowe,Distinctive Image Features from Scale-Invariant Keypoints.InternationalJournal of Computer Vision,2004,60(2):91-110,2004.

Claims (1)

1.一种室外环境下变焦云台摄像机全自动标定方法，其特征在于该方法包括：

第1，变焦云台摄像机，简称PTZ摄像机模型的建立

第1.1，对于单参考点变焦转换模型，采用如下所示模型：

$p_{\mathrm{xi}}^{z_2}-C_x^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{xi}}^{z_1}-C_x^{z_1}\left(z_2\right));$

$p_{\mathrm{yi}}^{z_2}-C_y^{z_1}\left(z_2\right)=M^{z_1}\left(z_2\right)(p_{\mathrm{yi}}^{z_1}-C_y^{z_1}\left(z_2\right))$

上式中，与分别表示三维特征点P_i在zoom值为z₁和z₂时的像素坐标，且通过通用的特征点提取与匹配算法自动获得，其中i二1，2，...，n，n表示三维特征点的个数且通过通用的特征点提取与匹配算法自动确定；表示摄像机zoom值从z₁变化到z₂时图像的zoom中心，(z₂)表示对应的缩放系数，"zoom值"是指变焦参数；

第1.2，在摄像机zoom值固定时，采用如下小孔摄像机模型：

$A\left(z_r\right)=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& u_0\\ 0& 0& 1\end{array}\right]$

其中，A(z_r)表示在特定变焦参数z_r时的摄像机内参数矩阵，f_x，f_y分别表示有效焦距沿图像u轴与U轴万向的尺度因于，(u₀，u₀)表示士点位置;

第2，多参考点变焦转换模型自标定

第2·1，单参考点变焦转换模型标定

对第1.1中的变焦转换模型进行整理可得

$p_i^{z_2}=H_{z_1}^{z_2}\·p_i^{z_1}$

其中分别为zoom值为z₁和z₂时的三维特征点P_i的图像齐次坐标，即 且符号‘T’表示对相应矩阵求转置，矩阵表示对应两幅图像的2D单应矩阵，为如下表达式：

$H_{z_1}^{z_2}=\left[\begin{array}{ccc}{M}^{z_1}\left(z_2\right)& 0& (1-M^{z_1}\left(z_2\right)C_x^{z_1}\left(z_2\right))\\ 0& M^{z_1}\left(z_2\right)& (1-M^{z_1}\left(z_2\right)C_y^{z_1}\left(z_2\right))\\ 0& 0& 1\end{array}\right];$

第2.2，多参考点变焦转换模型标定

令z_rk表示第k个参考zoom值，其中k=1,2,…,k_n，且满足令表示Z_rk与Z_r(k+1)之间以Z_rk作为参考点的某一zoom值，即其中τ＝1，2，…，τ_k，k_n与τ_k分别为k与τ的最大值，并且由下面所述的标定步骤自动决定其值的大小；根据式可得多参考点变焦转换模型为：

$p_i^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·p_i^{z_{r1}}$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}}$

$H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=\left[\begin{array}{ccc}{M}^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& 0& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)& (1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right))C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)\\ 0& 0& 1\end{array}\right]$

其中表示zoom值为时的图像点齐次坐标，表示zoom值为z_r1时的图像点齐次坐标，表示zoom值为时的图像与zoom值为z_r1时的图像的2D单应矩阵，同样地，为相应的图像的2D单应矩阵;k_n，τ_k由算法自动决定其值的大小;

多参考点变焦转换模型参数的具体标定步骤如下:

第2.2.1，初始化:令k＝1，z_rk＝0，τ＝1;设定摄像机zoom值为z_rk，拍摄并存储图像I(z_rk);

第2.2.2，取其中n_step即zoom每次变化的步长;当时，令τ＝τ-1，k_n＝k，τ_k＝τ，转第2.2.4步，其中Z_max为摄像机的最大zoom值;

第2.2.3，设定摄像机的zoom值为拍摄并存储图像根据通用的特征提取与匹配算法，对图像与I(Z_rk)进行特征匹配，得到第i个匹配特征点对如果匹配特征点的对数其中n₀为匹配点对数的阈值，则根据式计算并保存，其中表示对应两幅图像的2D单应矩阵，令τ＝τ+1，转第2.2.2步;当则令k＝k+1，即加入一个参考点z_rk，设定其zoom值为设定τ＝1，转第2.2.2步;

第2.2.4，根据式 $H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}=H_{z_{\mathrm{rk}}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\·H_{z_{r(k-1)}}^{z_{\mathrm{rk}}}\·\·\·H_{z_{r2}}^{z_{r3}}\·H_{z_{r1}}^{z_{r2}},$ 可以计算出任意zoom值下的图像到zoom值z_r1＝0下图像之间的数学变换矩阵即利用单应矩阵回溯技术，将各个参考zoom值下的变焦转换关系巧妙地融入到以初始zoom值z_r1作为全局参考点的等效变焦转换模型之中;

第2.2.5，在计算得到的基础上，恨据下式求解出以zoom值z_r1＝0为个局参考点的等效zoom中心 以及缩放系数

$M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,1}\right)+H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,2}\right)}{2},$ $C_x^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{1,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)},$ $C_y^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)=\frac{H_{z_{r1}}^{z_{\mathrm{rk}}^{\mathrm{\τ}}}\left(\mathrm{2,3}\right)}{1-M^{z_{r1}}\left(z_{\mathrm{rk}}^{\mathrm{\τ}}\right)}$

其中，表示矩阵的第i行第j列元素;

第2.2.6，利用通用的数据拟合方法，得到以zoom值z_r1作为全局参考点下的等效zoom中心与缩放系数曲线;

第3，定焦参数模型自标定

将摄像机的zoom值固定以求取摄像机内参数u₀，u₀，f_x，f_y，其中f_x，f_y分别表示有效焦距沿图像u轴与u轴方向的尺度因子，u轴为图像的水平坐标轴，U轴为图像的垂直坐标轴，(u₀，u₀)表示主点位置;在此条件下，使摄像机在不同位置拍摄一些列图像I₁，I₂，...，I_num，其中mum为图像幅数;

首先根据式求得G^s，其中表示第t对匹配特征点在图像I_s与I_s+1中的齐次像素坐标，且t＝1，2，...，n_s，其中n_s表示对应I_s于I_s+1中匹配点的数量;且s＝1，2，...，mum-1;入为比例因子，G^s为射影单应矩阵;进而由H^s＝C^-1G^sC求得单应矩阵H^s，其中C为(u₀，u₀)相关矩阵;选取(u₀，u₀)初始值为图像几何中心以确定矩阵C;任选一组图像即可求解出f_x，f_y初始估计值:

$f_x=\frac{H^s\left(\mathrm{1,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,1}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{1,3}\right)+H^s(3,1)},$ $f_y=\frac{H^s\left(\mathrm{2,3}\right)+H_{\mathrm{\δ}}^s\left(\mathrm{3,2}\right)}{H_{\mathrm{\δ}}^s\left(\mathrm{2,3}\right)+H^s\left(\mathrm{3,2}\right)}$

其中为相应旋转矩阵且通过摄像机的角度传感器获取，H^s(i，j)，分别表示矩阵H^s，的第i行第j列元素;在计算出初始估计值后，利用最小化图像平面反投影误差函数来求取内参数的最终优化值；将目标函数定义为：

$J({\hat{f}}_x,{\hat{f}}_y,{\hat{u}}_0,{\widehat{\mathrm{\υ}}}_0)=\underset{s=1}{\overset{\mathrm{num}-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{n_s}{\mathrm{\Σ}}}{(p_c^{(s+1),t}-{\hat{p}}_c^{(s+1),t}(\hat{A}\left(z_{\mathrm{rk}}\right),H_d^s,p_c^{s,t}))}^2$

其中num为图像数，A(Z_rk)为内参数阵，表示对A(z_rk)的估计，n_s表示第s与第s+1图像上的匹配像素点个数，表示四个内参数的自标定结果，反投影点的估计通过式 ${\hat{p}}_c^{(s+1),t}=\mathrm{\λ}\hat{A}\left(z_{\mathrm{rk}}\right)H_d^s{\hat{A}}^{-1}\left(z_{\mathrm{rk}}\right)p_c^{s,t}$ 进行计算。