CN105469412B - 一种ptz摄像机装配误差的标定方法 - Google Patents

Abstract

本发明提出了一种PTZ摄像机装配误差的标定方法，包括对PTZ摄像机在某一固定变焦参数Z下的内参进行标定；固定PTZ摄像机和棋盘格标定板的位置，改变PTZ摄像机的P、T参数，采集多幅不同视场的包含完整棋盘格的图像；根据包含PTZ摄像机光心与云台旋转中心之间误差的相机标定模型计算出PTZ摄像机装配误差。本发明提供的PTZ摄像机装配误差的标定方法，在标准相机标定模型的基础上，引入了相机坐标系与云台旋转的机械坐标系之间的变换关系，更加准确的描述了PTZ摄像机中相机与云台之间的关系。同时本发明给出了装配误差切实可行的求解方法，能够在PTZ摄像机的应用中，更好的补偿由于PTZ摄像机光心与旋转中心不重合造成的误差。

Description

一种PTZ摄像机装配误差的标定方法

【技术领域】

本发明涉及的是一种计算机视觉领域的方法，具体是一种PTZ摄像机装配误差的标定方法。

【背景技术】

PTZ摄像机是一种在安防监控中广泛应用的视频采集设备，其特点在于可以远程控制摄像机横向转动(pan)、纵向倾斜(tilt)与光学变焦(zoom)，因此常被简称为PTZ摄像机。与传统的摄像机相比，PTZ摄像机可以通过水平方向与竖直方向的转动改变摄像机的视角，根据实际需要改变监控区域；此外通过改变摄像机的焦距改变图像放大倍数，能够获得远距离的高清图像。因此PTZ摄像机在安防监控中要比传统监控摄像机更加灵活，应用更加广泛。

在目前PTZ摄像机的应用中，通常假设PTZ摄像机的光心与旋转中心是重合的。然而由于摄像机的光心位置很难实际确定，在装配过程中缺乏保证光心与旋转中心重合的方法，并且光心的位置是随着摄像机的焦距改变而改变的，因此假设PTZ摄像机的光心与旋转中心重合是不合理的。在早期研究中，使用的PTZ摄像机的控制精度通常不高，光心与旋转中心不重合的误差通常被归结为PTZ摄像机的转动误差中。即使有些研究中指出光心与旋转中心是不重合的，但是并没有给出具体的标定方法。

【发明内容】

为了克服现有技术的不足，本发明提供了一种PTZ摄像机装配误差的标定方法，其目的在于利用标定方法对PTZ摄像机的装配误差进行定量分析。

具体地，所述PTZ摄像机的装配误差是指在实际装配中造成的相机坐标系与云台旋转的机械坐标系之间的不重合。这里的机械坐标系是指以云台旋转中心为原点，以云台的旋转轴为坐标轴的右手坐标系。需要注意的是坐标轴方向的选取应与相机坐标系保持一致。为了定量描述这一装配误差，将机械坐标系和相机坐标系之间的关系用平移变换和旋转变换表示。设机械坐标系经过平移向量T_mc与旋转矩阵R_mc变换后得到相机坐标系。其中平移向量T_mc与旋转矩阵R_mc就是PTZ摄像机的装配误差。

为实现上述目的，本发明采用以下技术方案：

一种PTZ摄像机装配误差的标定方法，包括下述步骤：S1：对PTZ摄像机在某一固定变焦参数Z下的内参进行标定；S2：固定PTZ摄像机和棋盘格标定板的位置，改变PTZ摄像机的P、T参数，采集多幅不同视场的包含完整棋盘格的图像；S3：根据包含PTZ摄像机光心与云台旋转中心之间误差的相机标定模型计算出PTZ摄像机装配误差。

所述步骤S1具体方法为：设置PTZ摄像机的变焦参数Z，并确保在后续的步骤中变焦参数Z不发生改变，将PTZ摄像机的对焦方式设置成手动，调节对焦参数使棋盘格标定板在PTZ摄像机中成像清晰，并确保在后续步骤中对焦参数不发生改变；然后改变棋盘格标定板的位置与角度，采集多幅不同视场的包含完整棋盘格的图像，最后根据标准的相机标定模型，计算出PTZ摄像机在当前变焦参数Z下的相机内参。

所述步骤S3具体包括：

S31：根据PTZ摄像机在当前变焦参数Z下的相机内参，计算出不同P、T参数下拍摄的棋盘格图像所对应的相机外参；

S32：将P、T参数与对应的相机外参代入PTZ摄像机装配误差标定模型中，得到矩阵方程；

S33：将矩阵方程转化为齐次线性方程组，求解平移向量T_mc与旋转矩阵R_mc。

步骤S32中，所述PTZ摄像机装配误差标定模型为：

其中，p₀为空间中的一点P在参考坐标系中的坐标p_o＝(x_o,y_o,z_o)^T，R_y(p)是绕参考坐标系y轴的旋转矩阵，R_x(-t)是绕参考坐标系x轴的旋转矩阵，p_w为空间中的一点P在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T，T_mc与R_mc是PTZ摄像机的装配误差，表示机械坐标系经过平移向量T_mc与旋转矩阵R_mc变换后得到相机坐标系，R和T叫做相机的外参，表示相机坐标系经过平移向量T和旋转矩阵R变换后得到世界坐标系。

步骤S32中，所述矩阵方程为：

其中R₁和T₁对应PTZ摄像机在P＝p₁，T＝t₁下的外参；R₂和T₂对应PTZ摄像机在P＝p₂，T＝t₂下的外参。

所述步骤S33的具体方法为：先将所述矩阵方程化简为：

AR_mc＝R_mcB

AR_mcT₁+AT_mc＝R_mcT₂+T_mc

其中，

A＝[R_y(p₂)R_x(-t₂)]^-1R_y(p₁)R_x(-t₁)；

然后再将矩阵方程AR_mc＝R_mcB转换为齐次线性方程组：

其中a_ij是矩阵A的第i行第j列元素；I为3×3的单位阵；x＝(r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃)^T，r_ij是矩阵R_mc的第i行第j列元素。

与现有技术相比，本发明提供的PTZ摄像机装配误差的标定方法，在标准相机标定模型的基础上，引入了相机坐标系与云台旋转的机械坐标系之间的变换关系，更加准确的描述了PTZ摄像机中相机与云台之间的关系。同时本发明给出了装配误差切实可行的求解方法，能够在PTZ摄像机的应用中，更好的补偿由于PTZ摄像机光心与旋转中心不重合造成的误差，提高算法精度。

【附图说明】

图1是本发明实施例提供的从参考坐标系o-xyz到机械坐标系m-xyz的变换示意图；

图2是本发明实施例提供的机械坐标系m-xyz、相机坐标系c-xyz和世界坐标系w-xyz的示意图。

【具体实施方式】

为了本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在标准的相机标定模型中，世界坐标系w-xyz与相机坐标系c-xyz之间的变换通过平移和旋转表示，点P在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T与相机坐标系中的坐标p_c＝(x_c,y_c,z_c)^T之间满足：

p_c＝R·p_w+T

其中R和T叫做相机的外参，表示相机坐标系c-xyz经过平移向量T和旋转矩阵R变换后得到世界坐标系w-xyz。

由于相机坐标系c-xyz是三维的，图像坐标系i-xy是二维的，需要将相机坐标系中的点投影到图像坐标系中。点P在相机坐标系中的坐标p_c＝(x_c,y_c,z_c)^T与图像坐标系中的坐标p＝(x,y)^T满足：

其中s为归一化系数，K是相机内参，表示为：

其中f_x，f_y分别表示相机在成像平面x方向和y方向的等效焦距，即透镜的物理焦距长度与成像仪每个单元在x方向和y方向尺寸的乘积，单位为像素。c_x和c_y分别表示主点在成像平面x方向和y方向上的像素坐标。

则标准相机模型的齐次坐标形式表示为：

PTZ摄像机包括相机部分和云台部分，相机是搭载在云台上的。在实际装配过程中，很难保证相机的光心与云台的旋转中心是重合的。为了描述这一装配误差，在标准相机模型的基础上，引入机械坐标系m-xyz。由于相机坐标系中的x轴方向与图像中的行方向一致，y轴方向与图像中的列方向一致。为了与相机坐标系保持一致，取PTZ摄像机T的旋转轴负方向为x轴，P的旋转轴正方向为y轴，z轴满足右手坐标系。

为了准确描述相机光心与云台旋转中心之间的关系，将机械坐标系m-xyz和相机坐标系c-xyz之间的关系用平移变换和旋转变换表示。则点P在机械坐标系中的坐标p_m＝(x_m,y_m,z_m)^T与相机坐标系中的坐标p_c＝(x_c,y_c,z_c)^T之间满足：

p_m＝R_mc·p_c+T_mc

其中R_mc与T_mc表示机械坐标系m-xyz经过平移向量T_mc与旋转矩阵R_mc变换后得到相机坐标系c-xyz。

上述定义的机械坐标系虽然与相机坐标系之间的相对位置是不变的，但是其本身会随着相机转动而不断变化，这就导致本应该作为P方向旋转轴的y轴也在不断变化。然而实际机械结构中，不管P、T如何改变，P的旋转轴始终不变。为了解决旋转轴变化的问题，以P＝0、T＝0时的机械坐标系为参考坐标系o-xyz，当P和T发生改变时，先将机械坐标变换回参考坐标系，再旋转相应的P和T。

当P＝p、T＝t时，从参考坐标系o-xyz到机械坐标系m-xyz的变换只有旋转，点P在参考坐标系中的坐标p_o＝(x_o,y_o,z_o)^T与机械坐标系中的坐标p_m＝(x_m,y_m,z_m)^T之间的变换关系满足：

p_o＝R_y(p)R_x(-t)p_m

其中R_y(p)是绕y轴的旋转矩阵，表示为：

R_x(-t)是绕x轴的旋转矩阵(旋转角度取-t是为了使旋转轴与图像坐标系x轴方向保持一致)，表示为：

则P点在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T与参考坐标系中的坐标p_o＝(x_o,y_o,z_o)^T变换表示为：

当PTZ摄像机的安装位置固定时，参考坐标系o-xyz的位置也随之固定，不受P、T变化的影响。此时如果世界坐标系w-xyz也是固定的，则有：

R₁和T₁对应P＝p₁，T＝t₁下的外参；

R₂和T₂对应P＝p₂，T＝t₂下的外参；

整理上式可以得到两个矩阵方程：

R_y(p₁)R_x(-t₁)R_mcR₁＝R_y(p₂)R_x(-t₂)R_mcR₂

R_y(p₁)R_x(-t₁)(R_mcT₁+T_mc)＝R_y(p₂)R_x(-t₂)(R_mcT₂+T_mc)

整理可得：

AR_mc＝R_mcB

AR_mcT₁+AT_mc＝R_mcT₂+T_mc

其中

A＝[R_y(p₂)R_x(-t₂)]^-1R_y(p₁)R_x(-t₁)

将R_mc展开可以得到：

重新排列R_mc的元素得到一个新的向量x，则矩阵方程AR_mc＝R_mcB可以改写为齐次线性方程组形式：

Mx＝0

其中x＝(r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃)^T

需要说明的是，M中的I为3*3的单位阵，因此M是9*9的矩阵。a_ij是矩阵A的元素，有

将不同P，T参数下的外参代入上述方程，即可得到9个齐次线性方程。联立多组P、T参数下的方程可以得到超定齐次线性方程组，求解超定齐次线性方程组的最小二乘解可以得到x，再将x重新排列后得到R_mc。

需要说明的是，R_mc本质是旋转矩阵，需要满足矩阵的正交性，即R_mcR_mc ^-1＝I。然而使用实际的数据求解齐次线性方程，重新排列得到的R_mc通常不满足正交性，因此需要将R_mc强制计算为满足正交性的旋转矩阵。常用的做法是先用SVD分解将R_mc转化为R_mc＝UDV^T，再将D设置为单位阵，最后重新合成R_mc。

将R_mc带入第二个方程，即可解T_mc。

由以上可以得到，本发明提供了一种PTZ摄像机装配误差的标定方法，包括下述步骤：

S1：对PTZ摄像机在某一固定变焦参数Z下的内参进行标定；

S2：固定PTZ摄像机和棋盘格标定板的位置，改变PTZ摄像机的P、T参数，采集多幅不同视场的包含完整棋盘格的图像；

S3：根据包含PTZ摄像机光心与云台旋转中心之间误差的相机标定模型计算出PTZ摄像机装配误差。

步骤S1具体包括以下：

S11：设置PTZ摄像机的变焦参数Z，并确保在后续的步骤中变焦参数Z不发生改变；

S12：将PTZ摄像机的对焦方式设置成手动，调节对焦参数，使棋盘格标定板在PTZ摄像机中成像清晰，并确保在后续的步骤中对焦参数不发生改变；

S13：改变棋盘格标定板的位置与角度，采集多幅不同视场的包含完整棋盘格的图像；

S14：根据标准的相机标定模型，计算出PTZ摄像机在当前变焦参数Z下的相机内参。

在步骤S13中，为了得到高质量结果，一般使用大小在7×8以上的棋盘格，并采集至少10张不同视场的包含完整棋盘格的图像；为了从视场图像中获得更加丰富的信息，尽量保证不同视场之间的变化足够大。

步骤S14中，标准的相机标定模型为：

标准的相机标定模型描述了空间中一点P在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T与它在图像中的坐标p＝(x,y)^T之间的变换关系。

其中，s是归一化系数；K是相机内参，表示为：

其中f_x，f_y分别表示相机在成像平面x方向和y方向的等效焦距，即透镜的物理焦距长度与成像仪每个单元在x方向和y方向尺寸的乘积，单位为像素。c_x和c_y分别表示主点在成像平面x方向和y方向上的像素坐标。

R和T是相机的外参，表示相机坐标系经过平移向量T和旋转矩阵R变换后得到世界坐标系。

步骤S2中，为了得到高质量结果，PTZ摄像机的变焦参数Z、对焦参数与步骤S1中设置的参数必须保持一致，并确保在图像采集过程中不发生改变。

所述步骤S3具体包括：

S31：根据PTZ摄像机在当前变焦参数Z下的相机内参，计算出不同P、T参数下拍摄的棋盘格图像所对应的相机外参；

S32：将P、T参数与对应的相机外参代入PTZ摄像机装配误差标定模型中，得到矩阵方程；

S33：将矩阵方程转化为齐次线性方程组，求解平移向量T_mc与旋转矩阵R_mc。

步骤S32所述PTZ摄像机装配误差标定模型为：

PTZ摄像机装配误差标定模型描述了PTZ摄像机在P＝p、T＝t时，空间中一点P点在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T与参考坐标系中的坐标p_o＝(x_o,y_o,z_o)^T变换关系。

其中：

R_y(p)是绕y轴的旋转矩阵，表示为：

R_x(-t)是绕x轴的旋转矩阵(旋转角度取-t是为了使旋转轴与图像坐标系x轴方向保持一致，应用中需要根据PTZ摄像机的实际旋转方向进行选取)，表示为：

T_mc与R_mc是PTZ摄像机的装配误差，表示机械坐标系经过平移向量T_mc与旋转矩阵R_mc变换后得到相机坐标系。

R和T是相机的外参，表示相机坐标系经过平移向量T和旋转矩阵R变换后得到世界坐标系。

步骤S32中，将P、T参数与对应的相机外参代入PTZ摄像机装配误差标定模型中可以得到：

其中R₁和T₁对应PTZ摄像机在P＝p₁，T＝t₁下的外参；

R₂和T₂对应PTZ摄像机在P＝p₂，T＝t₂下的外参；

整理上述式子可得矩阵方程：

AR_mc＝R_mcB

AR_mcT₁+AT_mc＝R_mcT₂+T_mc

其中

A＝[R_y(p₂)R_x(-t₂)]^-1R_y(p₁)R_x(-t₁)

将步骤S32中的矩阵方程AR_mc＝R_mcB转换为齐次线性方程组：

其中a_ij是矩阵A的第i行第j列元素；

I为3×3的单位阵；

x＝(r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃)^T，r_ij是矩阵R_mc的第i行第j列元素；

联立不同P、T参数下的多组方程，求解超定齐次线性方程组即可得到x，再将x重新排列后得到R_mc。

此时得到的R_mc是不满足旋转矩阵的正交性，需要将R_mc强制正交化。

最后将R_mc代入方程AR_mcT₁+AT_mc＝R_mcT₂+T_mc中，联立不同P、T参数下的多组方程，即可求解T_mc。

总体而言，本发明提供的PTZ摄像机装配误差的标定方法，在标准相机标定模型的基础上，引入了相机坐标系与云台旋转的机械坐标系之间的变换关系，更加准确的描述了PTZ摄像机中相机与云台之间的关系。同时本发明给出了装配误差切实可行的求解方法，能够在PTZ摄像机的应用中，更好的补偿由于PTZ摄像机光心与旋转中心不重合造成的误差，提高算法精度。

Claims (6)

1.一种PTZ摄像机装配误差的标定方法，其特征在于，包括下述步骤：

S1：对PTZ摄像机在某一固定变焦参数Z下的内参进行标定；

S2：固定PTZ摄像机和棋盘格标定板的位置，改变PTZ摄像机的P、T参数，采集多幅不同视场的包含完整棋盘格的图像；

S3：根据包含PTZ摄像机光心与云台旋转中心之间误差的相机标定模型计算出PTZ摄像机装配误差。

2.如权利要求1所述的PTZ摄像机装配误差的标定方法，其特征在于，所述步骤S1具体方法为：设置PTZ摄像机的变焦参数Z，并确保在后续的步骤中变焦参数Z不发生改变，将PTZ摄像机的对焦方式设置成手动，调节对焦参数使棋盘格标定板在PTZ摄像机中成像清晰，并确保在后续步骤中对焦参数不发生改变；然后改变棋盘格标定板的位置与角度，采集多幅不同视场的包含完整棋盘格的图像，最后根据标准的相机标定模型，计算出PTZ摄像机在当前变焦参数Z下的相机内参。

3.如权利要求1所述的PTZ摄像机装配误差的标定方法，其特征在于，所述步骤S3具体包括：

S31：根据PTZ摄像机在当前变焦参数Z下的相机内参，计算出不同P、T参数下拍摄的棋盘格图像所对应的相机外参；

S32：将P、T参数与对应的相机外参代入PTZ摄像机装配误差标定模型中，得到矩阵方程；

S33：将矩阵方程转化为齐次线性方程组，求解平移向量T_mc与旋转矩阵R_mc。

4.如权利要求3所述的PTZ摄像机装配误差的标定方法，其特征在于，步骤S32中，所述PTZ摄像机装配误差标定模型为：

$\left(\begin{array}{c}{p}_o\\ 1\end{array}\right)=\left[\begin{array}{cc}{R}_y\left(p\right)R_x(-t)& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{mc}& T_{mc}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left(\begin{array}{c}{p}_w\\ 1\end{array}\right)$

其中，p₀为空间中的一点P在参考坐标系中的坐标p_o＝(x_o,y_o,z_o)^T，R_y(p)是绕参考坐标系y轴的旋转矩阵，R_x(-t)是绕参考坐标系x轴的旋转矩阵，p_w为空间中的一点P在世界坐标系中的坐标p_w＝(x_w,y_w,z_w)^T，T_mc与R_mc是PTZ摄像机的装配误差，表示机械坐标系经过平移向量T_mc与旋转矩阵R_mc变换后得到相机坐标系，R和T叫做相机的外参，表示相机坐标系经过平移向量T和旋转矩阵R变换后得到世界坐标系。

5.如权利要求3所述的PTZ摄像机装配误差的标定方法，其特征在于，步骤S32中，所述矩阵方程为：

$\left[\begin{array}{cc}{R}_y\left(p_1\right)R_x(-t_1)& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{mc}& T_{mc}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_1& T_1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}{R}_y\left(p_2\right)R_x(-t_2)& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{mc}& T_{mc}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_2& T_2\\ 0& 1\end{array}\right]$

其中R₁和T₁对应PTZ摄像机在P＝p₁，T＝t₁下的外参；R₂和T₂对应PTZ摄像机在P＝p₂，T＝t₂下的外参。

6.如权利要求5所述的PTZ摄像机装配误差的标定方法，其特征在于，所述步骤S33的具体方法为：先将所述矩阵方程化简为：

AR_mc＝R_mcB

AR_mcT₁+AT_mc＝R_mcT₂+T_mc

其中，

A＝[R_y(p₂)R_x(-t₂)]^-1R_y(p₁)R_x(-t₁)；

$B=R_2{R}_1^{-1}$

然后再将矩阵方程AR_mc＝R_mcB转换为齐次线性方程组：

$\left[\begin{array}{ccc}{a}_{11}I-B& a_{12}I& a_{13}I\\ a_{21}I& a_{22}I-B& a_{23}I\\ a_{31}I& a_{32}I& a_{33}I-B\end{array}\right]x=0$

其中a_ij是矩阵A的第i行第j列元素；I为3×3的单位阵；x＝(r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃)^T，r_ij是矩阵R_mc的第i行第j列元素。