CN102810205A - 一种摄像或照相装置的标定方法 - Google Patents

Abstract

本发明公开一种摄像或照相装置的标定方法，属于测量技术领域，该方法通过预先设定标定靶标与摄像或照相装置的位置关系，根据标定靶标上预先选定的标定点及所述标定点在摄像或照相装置实际像面上的匹配点的坐标，利用理想透镜成像模型、透镜畸变模型和平行校正模型进行迭代计算，对摄像或照相装置的参数进行标定。该方法通过预先设定标定靶标与摄像或照相装置的位置关系，简化了摄像或照相装置镜头光心相对标定靶标平面坐标原点的位移量的计算过程，使整个标定过程更加高效；该方法能够有效解决在调焦不准的情况下对装置参数进行标定，且只需要拍摄一次靶标图案，提高了标定效率；此外，该方法能够实现离焦情况下三维距离的有效测量。

Description

一种摄像或照相装置的标定方法

技术领域

本发明属于测量技术领域，尤其涉及一种摄像或照相装置的标定方法，可应用于摄像机或照相机所拍摄图像的几何校准、计算机立体视觉中的摄像机标定等。

背景技术

照相机或摄像机镜头是非理想的光学系统，受镜头自身的畸变参数影响，在通过照相机或摄像机拍摄图像时，不仅影响图像的视觉效果，有时会影响计算机立体视觉中的摄像机标定精度。

对于双目立体视觉传感系统而言，系统在装配完成后两摄像机镜头的光轴通常是不平行的（如图1所示的光轴102和光轴103），光轴不平行会使得成像平面偏移（如图1中实际成像平面107相对理想成像平面108的偏移），导致根据视差图像计算三维坐标的方法不可用（必需成像在理想成像平面上），因此，要对实际成像平面进行平行标定，即对成像系统参数进行标定。

目前，摄像机或照相机系统标定通常包括两类方法。一是基于光学仪器方法，通过专门的仪器由专业人员对镜头畸变参数进行标定，该种方法成本高，限制了应用的普及型；二是基于图像的方法对镜头畸变参数进行标定，该种方法不需要专门的仪器，只需要用摄像机或照相机拍摄标定靶标的几幅图像，通过计算即可以标定几何畸变。

采用现有的标定方法，存在如下缺陷：1）由于镜头调焦不准导致拖尾现象，从而影响像面上特征点中心提取错误，进而影响利用传统标定方法（例如张正友标定）不能实现很好标定的问题；2）标定过程比较久，需要多次移动标定位置，标定效率低；3）在离焦情况下无法对标定物进行三维距离测量等。

发明内容

本发明的目的在于克服现有技术的缺陷和不足，提供一种双目立体视觉传感系统的标定方法，解决了现有技术中由于调焦不准导致拖尾现象（从而影响了特征点中心的提取）及标定过程调焦需要多次移动标定位置，使得标定效率低的问题。

为达到上述目的，本发明是通过以下技术方案来实现的：

一种摄像或照相装置的标定方法，所述标定方法包括：

定距摆放标定靶标，将摄像或照相装置以预定距离放置于所述标定靶标正前方且使所述摄像或照相装置的一个摄像单元对准所述标定靶标上预先选定的标定点；

拍摄一次标定靶标图像，并根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点；

根据所述标定点的匹配点对的坐标，利用理想透镜成像模型、透镜畸变模型和平行校正模型进行迭代计算，得到摄像或照相装置的标定参数并存储。

以所述正对标定靶标的摄像单元所在平面建立世界坐标系，以所述摄像单元镜头的光心坐标作为世界坐标系的原点坐标，设定所述正对标定靶标的摄像单元的镜头光心正对的标定靶标的坐标点为标定靶标所在平面的原点坐标及标定靶标与所述正对标定靶标的摄像单元之间的距离，利用下述公式（1）将所述标定靶标上预先选定的标定点变换到无畸变理想成像平面，并对无畸变理想成像平面坐标进行归一化；

$\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|=M\left[\mathrm{R\; T}\right]\left|\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right|---\left(1\right)$

$(C_1,C_2)=(\frac{X_c}{Z_c},\frac{Y_c}{Z_c})$

其中，[X_c,Y_c,Z_c]^T表示标定靶标上标定点变换到无畸变理想像面上点的坐标；[X,Y,Z,1]^T表示标定靶标上标定点在世界坐标系下的齐次坐标；M表示摄像或照相机的内部参数矩阵；[R T]表示摄像或照相机的外部参数矩阵，(C₁,C₂)表示无畸变理想成像平面点归一化后的坐标。

根据无畸变理想成像平面上点归一化后的坐标(C₁,C₂)，利用公式（2）的畸变模型，得到归一化坐标(C₁,C₂)经过畸变后的坐标(x″,y″)，然后根据公式（3）得到无畸变理想成像平面归一化后的坐标到实际成像平面上的投影坐标；

$\left\{\begin{array}{c}{x}^{\′\′}=C_1(1+k_1{r}^2+k_2{r}^4)+{2p}_1{C}_1{C}_2+p_2(r^2+{{2C}_1}^2)\\ y^{\′\′}=C_2(1+k_1{r}^2+k_2{r}^4)+p_1(r^2+{{2C}_2}^2)+{2p}_2{C}_1{C}_2\end{array}\right.---\left(2\right)$

$\left\{\begin{array}{c}u=f_x\×x^{\′\′}+k\×y^{\′\′}+c_0\\ v=f_y\×y^{\′\′}{+c}_1\end{array}\right.---\left(3\right)$

其中，（u，v）表示标定靶标上标定点经过畸变成像到实际像面上的标定靶标匹配点的坐标；(C₁,C₂)表示标定靶标上标定点未经过畸变成像到无畸变理想像面上的归一化后的标定靶标匹配点的坐标；（x″，y″）表示标定靶标上标定点通过无畸变的镜头成像到理想像面上的坐标点，再把理想像面上坐标点经过畸变运算得到的有畸变的匹配点的坐标；（k₁，k₂，p₁，p₂）表示畸变模型参数；（f_x，f_y，c₀，c₁）表示摄像或照相机模型参数，

r代表理想像面上与标定点匹配的点坐标距畸变中心的像素距离。

通过迭代算法计算装置的标定参数，根据所述装置的标定参数计算理想成像平面归一化后的坐标到实际成像平面上的投影坐标，并利用所述投影坐标与实际成像像面上获取的与所述标定点匹配的点的坐标进行误差比较，直至误差值收敛或者迭代次数达到预设的阈值。

计算装置标定参数的方法进一步包括，采用雅克比矩阵计算系统标定参数，具体步骤如下：

构造雅克比矩阵：J＝-[J_W，J_D，J_C];

其中， $J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|;$ $J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{\∂p_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{V}}{{\∂k}_2}& \frac{\∂\stackrel{6}{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|;$ $J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{V}}{{\∂f}_y}& \frac{\∂\stackrel{6}{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|;$

设 $J_{\mathrm{cam}}=\left|\begin{array}{cc}{f}_x& 0\\ 0& f_y\end{array}\right|;$ $J_{\mathrm{distor}}=\left|\begin{array}{cc}{j}_{11}& j_{12}\\ j_{21}& j_{22}\end{array}\right|;$ $J_{\mathrm{pc}}=\left|\begin{array}{ccc}1/Z_c& 0& -X_c/{Z_c}^2\\ 0& 1/Z_c& -Y_c/{Z_c}^2\end{array}\right|$

j₁₁=k₂*r²+6*C₁*p₂+2*C₂*p₁+C₁*(2*C₁*k₁+4*C₁*k₂*r)+k₁*r+1

j₁₂=2*C₁*p₁+2*C₂*p₂+C₁*(2*C₂*k₁+4*C₂*k₂*r)

j₂₁=2*C₁*p₁+2*C₂*p₂+C₂*(2*C₁*k₁+4*C₁*k₂*r)

j₂₂=k₂*r²+2*C₁*p₂+6*C₂*p₁+C₂*(2*C₂*k₁+4*C₂*k₂*r)+k₁*r+1

其中，J_cam表示装置内参的一阶导数，J_distor表示畸变参数的一阶导数；

J_pc表示世界坐标的一阶导数；C₁＝X_c/Z_c，C₂＝Y_c/Z_c

分列计算J_w雅克比矩阵，第j列计算为：

$J_{\mathrm{wj}}=J_{\mathrm{cam}}*J_{\mathrm{distor}}*J_{\mathrm{pc}}*G_j*\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|;$

G_j为第j个旋转构造矩阵：

$G_1=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right|;$ $G_2=\left|\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ -1& 0& 0\end{array}\right|;$ $G_3=\left|\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right|;$

$J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|$

$J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{\∂p_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{V}}{{\∂k}_2}& \frac{\∂\stackrel{6}{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|=J_{\mathrm{cam}}*\left|\begin{array}{cccc}{C}_1*r^2& C_1*r^4& 2*C_1*C_2& 3*{C_1}^2+{C_2}^2\\ C_2*r^2& C_2*r^4& {C_1}^2+3*{C_2}^2& 2*C_1*C_2\end{array}\right|$

$J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{V}}{{\∂f}_y}& \frac{\∂\stackrel{6}{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|=\left|\begin{array}{cccc}{x}^{\′\′}& 0& 1& 0\\ 0& y^{\′\′}& 0& 1\end{array}\right|$

设初始化参数的增量为:

${\mathrm{pp}}^{+}=[{\mathrm{\ω}}_x^{+},{\mathrm{\ω}}_y^{+},{\mathrm{\ω}}_z^{+},k_1^{+},k_2^{+},p_1^{+},p_2^{+},f_x^{+},f_y^{+},{\mathrm{cc}}_1^{+},{\mathrm{cc}}_2^{+}];$

设J*pp⁺=rp;pp⁺=(J^T*J)^-1*J^T*rp；

根据设定的参数增量计算投影误差值，直至使误差值收敛或者迭代次数达到预设的阈值。

所述摄像或照相装置包括至少一个摄像单元。

在定距摆放标定靶标的步骤中：利用固定设置于所述标定靶标正前方的支架模具承托所述摄像装置，使所述摄像装置的一个摄像单元对准所述标定点。

根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点的步骤进一步包括，在所述标定靶标上设置匹配模板，利用摄像或照相装置实际像面上图像匹配模板坐标与所述标定靶标上匹配模板坐标进行匹配。

所述匹配模板包括至少两个位于标定靶标上的标定点，所述作为匹配模板的标定点的形状、面积或颜色异于标定靶标上其他标定点。

采用本发明的技术方案，通过预先设定标定靶标与摄像或照相装置的位置关系，简化了摄像或照相装置镜头光心相对标定靶标平面坐标原点的位移量的计算过程，使整个标定过程更加高效；该方法能够有效解决在调焦不准的情况下对装置参数进行标定，且只需要拍摄一次靶标图案，提高了标定效率；此外，该方法能够实现离焦情况下三维距离的有效测量。

附图说明

图1为本发明具体实施方式提供的摄像或照相装置参数标定的示意图；

图2为本发明具体实施方式提供的摄像或照相装置的标定方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1为本发明具体实施方式提供的摄像或照相装置参数标定的示意图。本实施例以对具有两个摄像单元的摄像或照相装置的参数进行标定为例进行说明。如图1所示，所述摄像或照相装置组成的标定系统包括标定靶标101，第一摄像单元104和第二摄像单元105，其中，所述标定靶标101与第一摄像单元104和第二摄像单元105平行放置且使其中一摄像单元镜头的光心对准标定靶标，本实施例中以第一摄像单元104镜头的光心正对标定靶标。在摄像单元上安装有动作识别器106，用于捕捉标定靶标上标定点或者空间标志物的模板等信息，最终将捕捉到的标定点或模板的图像显示到实际成像像面上。对于现有技术中采用双目立体视觉传感系统进行标定时，标定靶标与摄像单元镜头的位置可以任意摆放，通常需要拍摄多幅不同位置的标定靶标图像，来对系统进行标定。由于标定靶标位置的变化，需要对摄像机镜头的焦距进行多次校准且根据多幅不同位置的标定靶标图像来计算反射距离，运算量大。本发明实施例中在进行系统标定时，通过摆放摄像单元与标定靶标的位置关系，并对一些标定条件进行设定，如标定靶标到摄像单元的距离、摄像单元镜头光心坐标等，可以大大简化系统标定的计算过程，且该标定过程与镜头的焦距无关。

利用本实施例的标定系统进行摄像或照相装置参数标定的过程为：已知世界坐标系上点P1，所述点P1为标定靶标101上任一点标定点，所述标定点与正对标定靶标的摄像单元的镜头光心对准；摄像单元拍摄标定靶标图像并从实际成像像面上找到所述点P1匹配的投影点P2，P2为P1经过镜头畸变成像到实际像面上的点，由于预先设定了第一摄像单元104的镜头光心为世界坐标系的原点坐标，及标定靶标上正对第一摄像单元镜头光心的坐标点为靶标的原点坐标，使得世界坐标系上的点P1投影到理想成像像面上的点P4的坐标与无畸变理想成像像面上点经过平行校正到实际成像平面上的点P3的坐标不变，即简化了摄像单元镜头光心相对标定靶标平面坐标原点的位移量的计算过程，从而简化世界坐标系上的点到实际成像像面上平行校正的过程。

本实施例仅以具有两个摄像单元的摄像或照相装置进行参数标定为例进行了说明，本发明也适用于单目或多目视觉传感系统的标定，即摄像装置可包括一个或多个摄像单元。

图2为本发明具体实施方式提供的摄像或照相装置的标定方法流程图。如图2所示，所述方法包括如下步骤：

S1：定距摆放标定靶标，将摄像或照相装置以预定距离放置于所述标定靶标正前方且使所述摄像或照相装置的一个摄像单元对准所述标定靶标上预先选定的标定点；

其中，在定距摆放标定靶标的步骤中：利用固定设置于所述标定靶标正前方的支架模具承托所述摄像装置，使所述摄像装置的一个摄像单元对准所述标定点。

为了便于对准操作，标定板上选定的标定点可以通过形状、面积或者颜色不同来与标定靶标上其他的标定点进行区分。

S2：拍摄一次标定靶标图像，并根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点；

根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点的步骤进一步包括，在所述标定靶标上设置匹配模板，利用摄像或照相装置实际像面上图像匹配模板坐标与所述标定靶标上匹配模板坐标进行匹配。所述匹配模板包括至少两个位于标定靶标上的标定点，所述作为匹配模板的标定点的形状、面积或颜色异于标定靶标上其他标定点。如标定靶标上设置匹配模板A和B两个点，根据所述A和B两个点的坐标在摄像单元实际成像像面上找到与所述A和B点对应的投影点进行匹配。所述匹配模板A和B点可以通过形状、面积或者颜色不同来与标定靶标上其他的标定点进行区分。

S3：根据所述标定点的匹配点对的坐标，利用理想透镜成像模型、透镜畸变模型和平行校正模型进行迭代计算，得到摄像或照相装置的标定参数并存储。

具体的标定过程如下：

以所述正对标定靶标的摄像单元所在平面建立世界坐标系，以所述摄像单元镜头的光心坐标作为世界坐标系的原点坐标，设定所述正对标定靶标的摄像单元的镜头光心正对的标定靶标的坐标点为标定靶标所在平面的原点坐标及标定靶标与所述正对标定靶标的摄像单元之间的距离，利用下述公式（1）将所述标定靶标上预先选定的标定点变换到无畸变理想成像平面，并对无畸变理想成像平面坐标进行归一化；

$\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|=M\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

$(C_1,C_2)=(\frac{X_c}{Z_c},\frac{Y_c}{Z_c})$

其中，[X_c,Y_c,Z_c]^T表示标定靶标上标定点变换到无畸变理想像面上点的坐标；[X,Y,Z,1]^T表示标定靶标上标定点在世界坐标系下的齐次坐标；M表示摄像或照相机的内部参数矩阵；[R T]表示摄像或照相机的外部参数矩阵，(C₁,C₂)表示无畸变理想成像平面点归一化后的坐标。

根据无畸变理想成像平面上点归一化后的坐标(C₁,C₂)，利用公式（2）的畸变模型，得到归一化坐标(C₁,C₂)经过畸变后的坐标(x″,y″)，然后根据公式（3）得到无畸变理想成像平面归一化后的坐标到实际成像平面上的投影坐标；

$\left\{\begin{array}{c}{x}^{\′\′}=C_1(1+k_1{r}^2+k_2{r}^4)+{2p}_1{C}_1{C}_2+p_2(r^2+{{2C}_1}^2)\\ y^{\′\′}=C_2(1+k_1{r}^2+k_2{r}^4)+p_1(r^2+{{2C}_2}^2)+{2p}_2{C}_1{C}_2\end{array}\right.---\left(2\right)$

$\left\{\begin{array}{c}u=f_x\×x^{\′\′}+k\×y^{\′\′}+c_0\\ v=f_y\×y^{\′\′}{+c}_1\end{array}\right.---\left(3\right)$

其中，（u，v）表示标定靶标上标定点经过畸变成像到实际像面上的标定靶标匹配点的坐标；(C₁,C₂)表示标定靶标上标定点未经过畸变成像到无畸变理想像面上的归一化后的标定靶标匹配点的坐标；（x″，y″）表示标定靶标上标定点通过无畸变的镜头成像到理想像面上的坐标点，再把理想像面上坐标点经过畸变运算得到的有畸变的匹配点的坐标；（k₁，k₂，p₁，p₂）表示畸变模型参数；（f_x，f_y，c₀，c₁）表示摄像或照相机模型参数，

r代表理想像面上与标定点匹配的点坐标距畸变中心的像素距离。

通过迭代算法计算装置的标定参数，根据所述装置的标定参数计算理想成像平面归一化后的坐标到实际成像平面上的投影坐标，并利用所述投影坐标与实际成像像面上获取的与所述标定点匹配的点的坐标进行误差比较，直至误差值收敛或者迭代次数达到预设的阈值。

下面以实施例对标定过程进行详细说明说明：

（1）系统参数初始化：

初始化角速度:

ω＝[ω_x ω_y ω_z]=[000];

通过角速度构造skew symmetric矩阵S

$S=\left|\begin{array}{ccc}0& {-\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 0& -{\mathrm{\ω}}_x\\ -{\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 0\end{array}\right|$

得到初始化的旋转矩阵：R=exp(S);

初始化畸变模型：

初始化相机参数：

和相机模型：

$K=\left|\begin{array}{ccc}{f}_x& 0& {\mathrm{cc}}_1\\ 0& f_y& {\mathrm{cc}}_2\end{array}\right|=\left|\begin{array}{ccc}460& 0& 320\\ 0& 460& 240\end{array}\right|$

其中，（320,240）表示畸变模型的畸变中心坐标，与摄像单元像面的投影位置有关。

本发明由于限定了标定靶标与摄像单元的摆放位置，让其中一个摄像单元镜头光心正对着标定靶标上预先选定的标定点，设正对所述镜头光心的标定点坐标为标定靶标所在平面的原点标点，并归一化坐标，扭曲因子k=0，摄像机与标定板的距离为D。从而使得摄像或照相装置的参数矩阵M矩阵简化为单位矩阵，如上述标定条件不做限定，则参数矩阵表示形式如下，

$M=\left|\begin{array}{ccc}{f}_x& k& c_0\\ & f_y& c_1\\ & & 1\end{array}\right|$

f_x=f/dx，fy=f/dy

其中，（f_x,f_y）表示以像素宽度与长度表示的等效焦距，k表示扭曲因数，（c₀,c₁）坐标系上的原点坐标。

通过限定标定条件及必要的参数，简化后的相机参数矩阵M和外部参数矩阵T表示形式如下：

$M=\left|\begin{array}{ccc}1& 0& 0\\ & 1& 0\\ & & 1\end{array}\right|;T=\left|\begin{array}{c}0\\ 0\\ D\end{array}\right|;$

为了进一步简化计算，本实施例中设标定靶标到摄像单元镜头之间的距离设置为1。

（2）计算投影：

已知世界坐标下的点 $p_w=\left|\begin{array}{c}X\\ Y\\ 1\end{array}\right|;$ 其投影在相机图像像面的点 $\left|\begin{array}{c}\hat{u}\\ \hat{v}\end{array}\right|$ 可以计算为：

$\left|\begin{array}{c}\hat{u}\\ \hat{v}\end{array}\right|=K*\left|\begin{array}{c}{P}_d\\ 1\end{array}\right|$

其中P_d为畸变后坐标(x″,y″)，K表示进行位置设置后的相机内部参数矩阵。

设 $\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|=R*P_W;$ T＝1+k₂*r²+k₂*r⁴; $r=\sqrt{{C_1}^2+{C_2}^2};$

则有 $\left|\begin{array}{c}{C}_1\\ C_2\end{array}\right|=\left|\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\end{array}\right|,$ (C₁,C₂)为世界坐标通过旋转位移后的归一化坐标。

$P_d=\left|\begin{array}{c}{x}^{\′\′}\\ y^{\′\′}\end{array}\right|=\left|\begin{array}{c}{C}_1*T+2p_1*C_1*C_2+p_2*({3C}_1^2+C_2^2)\\ C_2*T+2p_2*C_1*C_2+p_1*({3C}_2^2+C_1^2)\end{array}\right|$

（3）计算投影误差:

$\mathrm{rp}=\left|\begin{array}{c}u\\ v\end{array}\right|-\left|\begin{array}{c}\hat{u}\\ \hat{v}\end{array}\right|;$

其中(u,v)为真实获取的像素坐标

)为迭代过程中计算获得的坐标。

（4）计算投影误差对参数的偏导构造雅克比矩阵，利用雅克比矩阵进行迭代计算，计算标定参数，具体步骤如下：

构造雅克比矩阵：J＝-[J_W，J_D，J_C];

其中， $J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|;$ $J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{\∂p_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{V}}{{\∂k}_2}& \frac{\∂\stackrel{6}{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|;$ $J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{V}}{{\∂f}_y}& \frac{\∂\stackrel{6}{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|;$

设 $J_{\mathrm{cam}}=\left|\begin{array}{cc}{f}_x& 0\\ 0& f_y\end{array}\right|;$ $J_{\mathrm{distor}}=\left|\begin{array}{cc}{j}_{11}& j_{12}\\ j_{21}& j_{22}\end{array}\right|;$ $J_{\mathrm{pc}}=\left|\begin{array}{ccc}1/Z_c& 0& -X_c/{Z_c}^2\\ 0& 1/Z_c& -Y_c/{Z_c}^2\end{array}\right|$

j₁₁=k₂*r²+6*C₁*p₂+2*C₂*p₁+C₁*(2*C₁*k₁+4*C₁*k₂*r)+k₁*r+1

j₁₂=2*C₁*p₁+2*C₂*p₂+C₁*(2*C₂*k₁+4*C₂*k₂*r)

j₂₁=2*C₁*p₁+2*C₂*p₂+C₂*(2*C₁*k₁+4*C₁*k₂*r)

j₂₂=k₂*r²+2*C₁*p₂+6*C₂*p₁+C₂*(2*C₂*k₁+4*C₂*k₂*r)+k₁*r+1

其中，J_cam表示装置内参的一阶导数，J_distor表示畸变参数的一阶导数；

J_pc表示世界坐标的一阶导数；C₁＝X_c/Z_c，C₂＝Y_c/Z_c

分列计算J_w雅克比矩阵，第j列计算为：

$J_{\mathrm{wj}}=J_{\mathrm{cam}}*J_{\mathrm{distor}}*J_{\mathrm{pc}}*G_j*\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|;$

G_j为第j个旋转构造矩阵：

$G_1=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right|;$ $G_2=\left|\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ -1& 0& 0\end{array}\right|;$ $G_3=\left|\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right|;$

$J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|;$

$J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{\∂p_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{V}}{{\∂k}_2}& \frac{\∂\stackrel{6}{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|=J_{\mathrm{cam}}*\left|\begin{array}{cccc}{C}_1*r^2& C_1*r^4& 2*C_1*C_2& 3*{C_1}^2+{C_2}^2\\ C_2*r^2& C_2*r^4& {C_1}^2+3*{C_2}^2& 2*C_1*C_2\end{array}\right|$

$J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{\∂{\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{V}}{{\∂f}_y}& \frac{\∂\stackrel{6}{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|=\left|\begin{array}{cccc}{x}^{\′\′}& 0& 1& 0\\ 0& y^{\′\′}& 0& 1\end{array}\right|$

（5）求解线性方程

设初始化参数的增量为:

${\mathrm{pp}}^{+}=[{\mathrm{\ω}}_x^{+},{\mathrm{\ω}}_y^{+},{\mathrm{\ω}}_z^{+},k_1^{+},k_2^{+},p_1^{+},p_2^{+},f_x^{+},f_y^{+},{\mathrm{cc}}_1^{+},{\mathrm{cc}}_2^{+}];$

设J*pp⁺=rp;pp⁺=(J^T*J)^-1*J^T*rp；

（6）更新参数

旋转矩阵更新：

$R=\exp (\left|\begin{array}{ccc}0& -{\mathrm{\ω}}_z^{+}& {\mathrm{\ω}}_y^{+}\\ {\mathrm{\ω}}_z^{+}& 0& -{\mathrm{\ω}}_x^{+}\\ -{\mathrm{\ω}}_y^{+}& {\mathrm{\ω}}_x^{+}& 0\end{array}\right|)$

其中，角速度增量: ${\mathrm{\ω}}^{+}=[{\mathrm{\ω}}_x^{+},{\mathrm{\ω}}_y^{+},{\mathrm{\ω}}_z^{+}];$

畸变参数更新：

相机参数更新:

（7）用步骤（6）中得到的新参数迭代入(2)中计算 $\left|\begin{array}{c}\hat{u}\\ \hat{v}\end{array}\right|,$ 直至使误差值rp收敛或者迭代次数达到预设的阈值。

采用本发明的技术方案，通过预先设定标定靶标与摄像或照相装置的位置关系，简化了摄像或照相装置镜头光心相对标定靶标平面坐标原点的位移量的计算过程，使整个标定过程更加高效；该方法能够有效解决在调焦不准的情况下对装置参数进行标定，且只需要拍摄一次靶标图案，提高了标定效率；此外，该方法能够实现离焦情况下三维距离的有效测量。

上述仅为本发明的较佳实施例及所运用技术原理，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (9)

1.一种摄像或照相装置的标定方法，其特征在于,所述标定方法包括：

定距摆放标定靶标，将摄像或照相装置以预定距离放置于所述标定靶标正前方且使所述摄像或照相装置的一个摄像单元对准所述标定靶标上预先选定的标定点；

拍摄一次标定靶标图像，并根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点；

根据所述标定点的匹配点对的坐标，利用理想透镜成像模型、透镜畸变模型和平行校正模型进行迭代计算，得到摄像或照相装置的标定参数并存储。

2.根据权利要求1所述的摄像或照相装置的标定方法，其特征在于，以所述正对标定靶标的摄像单元所在平面建立世界坐标系，以所述摄像单元镜头的光心坐标作为世界坐标系的原点坐标，设定所述正对标定靶标的摄像单元的镜头光心正对的标定靶标的坐标点为标定靶标所在平面的原点坐标及标定靶标与所述正对标定靶标的摄像单元之间的距离，利用下述公式（1）将所述标定靶标上预先选定的标定点变换到无畸变理想成像平面，并对无畸变理想成像平面坐标进行归一化；

$\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|=M\left[\begin{array}{cc}R& T\end{array}\right]\left|\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right|---\left(1\right)$

$(C_1,C_2)=(\frac{X_c}{Z_c},\frac{Y_c}{Z_c})$

其中，[X_c,Y_c,Z_c]^T表示标定靶标上标定点变换到无畸变理想像面上点的坐标；[X,Y,Z,1]^T表示标定靶标上标定点在世界坐标系下的齐次坐标；M表示摄像或照相机的内部参数矩阵；[R T]表示摄像或照相机的外部参数矩阵，(C₁,C₂)表示无畸变理想成像平面点归一化后的坐标。

3.根据权利要求2所述的摄像或照相装置的标定方法，其特征在于，根据无畸变理想成像平面上点归一化后的坐标(C₁,C₂)，利用公式（2）的畸变模型，得到归一化坐标(C₁,C₂)经过畸变后的坐标(x",y")，然后根据公式（3）得到无畸变理想成像平面归一化后的坐标到实际成像平面上的投影坐标；

$\left\{\begin{array}{c}{x}^{\′\′}=C_1(1+k_1{r}^2+k_2{r}^4)+2p_1{C}_1{C}_2+p_2(r^2+2{C_1}^2)\\ y^{\′\′}=C_2(1+k_1{r}^2+k_2{r}^4)+p_1(r^2+2{C_2}^2)+2p_2{C}_1{C}_2\end{array}\right.---\left(2\right)$

$\left\{\begin{array}{c}u=f_x\×x^{\′\′}+k\×y^{\′\′}+c_0\\ v=f_y\×y^{\′\′}+c_1\end{array}\right.---\left(3\right)$

其中，（u，v）表示标定靶标上标定点经过畸变成像到实际像面上的标定靶标匹配点的坐标；(C₁,C₂)表示标定靶标上标定点未经过畸变成像到无畸变理想像面上的归一化后的标定靶标匹配点的坐标；（x"，y″）表示标定靶标上标定点通过无畸变的镜头成像到理想像面上的坐标点，再把理想像面上坐标点经过畸变运算得到的有畸变的匹配点的坐标；（k₁，k₂，p₁，p₂）表示畸变模型参数；（f_x，f_y，c₀，c₁）表示摄像或照相机模型参数，

r代表理想像面上与标定点匹配的点坐标距畸变中心的像素距离。

4.根据权利要求3所述的摄像或照相装置的标定方法，其特征在于，通过迭代算法计算装置的标定参数，根据所述装置的标定参数计算理想成像平面归一化后的坐标到实际成像平面上的投影坐标，并利用所述投影坐标与实际成像像面上获取的与所述标定点匹配的点的坐标进行误差比较，直至误差值收敛或者迭代次数达到预设的阈值。

5.根据权利要求4所述的摄像或照相装置的标定方法，其特征在于，计算装置标定参数的方法进一步包括，采用雅克比矩阵计算系统标定参数，具体步骤如下：

构造雅克比矩阵：J＝-[J_W，J_D，J_C];

其中， $J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|;$ $J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{{\∂p}_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{v}}{{\∂k}_2}& \frac{\∂\hat{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|;$ $J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{v}}{{\∂f}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|;$

设 $J_{\mathrm{cam}}=\left|\begin{array}{cc}{f}_x& 0\\ 0& f_y\end{array}\right|;$ $J_{\mathrm{distor}}=\left|\begin{array}{cc}{j}_{11}& j_{12}\\ j_{21}& j_{22}\end{array}\right|;$ $J_{\mathrm{pc}}=\left|\begin{array}{ccc}1/Z_c& 0& -X_c/{Z_c}^2\\ 0& 1/Z_c& -Y_c/{Z_c}^2\end{array}\right|$

j₁₁=k₂*r²+6*C₁*p₂+2*C₂*p₁+C₁*(2*C₁*k₁+4*C₁*k₂*r)+k₁*r+1

j₁₂=2*C₁*p₁+2*C₂*p₂+C₁*(2*C₂*k₁+4*C₂*k₂*r)

j₂₁=2*C₁*p₁+2*C₂*p₂+C₂*(2*C₁*k₁+4*C₁*k₂*r)

j₂₂=k₂*r²+2*C₁*p₂+6*C₂*p₁+C₂*(2*C₂*k₁+4*C₂*k₂*r)+k₁*r+1

其中，J_cam表示装置内参的一阶导数，Jdistor表示畸变参数的一阶导数；

J_pc表示世界坐标的一阶导数；C₁＝X_c/Z_c，C₂＝Y_c/Z_c

分列计算J_W雅克比矩阵，第j列计算为：

$J_{\mathrm{Wj}}=J_{\mathrm{cam}}*J_{\mathrm{distor}}*J_{\mathrm{pc}}*G_j*\left|\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right|;$

G_j为第j个旋转构造矩阵：

$G_1=\left|\begin{array}{ccc}0& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right|;$ $G_2=\left|\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ -1& 0& 0\end{array}\right|;$ $G_3=\left|\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right|$

$J_w=\left|\begin{array}{ccc}\frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{u}}{{\∂\mathrm{\ω}}_z}\\ \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_x}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{\ω}}_z}\end{array}\right|$

$J_D=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂k}_1}& \frac{\∂\hat{u}}{{\∂k}_2}& \frac{\∂\hat{u}}{{\∂p}_1}& \frac{\∂\hat{u}}{{\∂p}_2}\\ \frac{\∂\hat{v}}{{\∂k}_1}& \frac{\∂\hat{v}}{{\∂k}_2}& \frac{\∂\hat{v}}{{\∂p}_1}& \frac{\∂\hat{v}}{{\∂p}_2}\end{array}\right|=J_{\mathrm{cam}}*\left|\begin{array}{cccc}{C}_1*r^2& C_1*r^4& 2*C_1*C_2& 3*{C_1}^2+{C_2}^2\\ C_2*r^2& C_2*r^4& {C_1}^2+3*{C_2}^2& 2*C_1*C_2\end{array}\right|$

$J_C=\left|\begin{array}{cccc}\frac{\∂\hat{u}}{{\∂f}_x}& \frac{\∂\hat{u}}{{\∂f}_y}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{u}}{{\∂\mathrm{cc}}_2}\\ \frac{\∂\hat{v}}{{\∂f}_x}& \frac{\∂\hat{v}}{{\∂f}_y}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_1}& \frac{\∂\hat{v}}{{\∂\mathrm{cc}}_2}\end{array}\right|=\left|\begin{array}{cccc}{x}^{\′\′}& 0& 1& 0\\ 0& y^{\′\′}& 0& 1\end{array}\right|$

设初始化参数的增量为:

${\mathrm{pp}}^{+}=[{\mathrm{\ω}}_x^{+},{\mathrm{\ω}}_y^{+},{\mathrm{\ω}}_z^{+},k_1^{+},k_2^{+},p_1^{+},p_2^{+},f_x^{+},f_y^{+},{\mathrm{cc}}_1^{+},{\mathrm{cc}}_2^{+}];$

设J*pp⁺=rp;pp⁺=(J^T*J)^-1*J^T*rp；

根据设定的参数增量计算投影误差值，直至使误差值收敛或者迭代次数达到预设的阈值。

6.根据权利要求1所述的摄像或照相装置的标定方法，其特征在于，所述摄像或照相装置包括至少一个摄像单元。

7.根据权利要求1所述的摄像或照相装置的标定方法，其特征在于，在定距摆放标定靶标的步骤中：利用固定设置于所述标定靶标正前方的支架模具承托所述摄像装置，使所述摄像装置的一个摄像单元对准所述标定点。

8.根据权利要求1所述的摄像或照相装置的标定方法，其特征在于，根据标定靶标上选定的标定点在所述摄像或照相装置实际像面上找到与所述标定点匹配的点的步骤进一步包括，在所述标定靶标上设置匹配模板，利用摄像或照相装置实际像面上图像匹配模板坐标与所述标定靶标上匹配模板坐标进行匹配。

9.根据权利要求8所述的摄像或照相装置的标定方法，其特征在于，所述匹配模板包括至少两个位于标定靶标上的标定点，所述作为匹配模板的标定点的形状、面积或颜色异于标定靶标上其他标定点。

Images