CN103903260A - 一种摄像机内参数快速标定的靶标方法 - Google Patents

Abstract

本发明一种摄像机内参数快速标定的靶标方法属于计算机视觉测量，涉及一种摄像机内参数快速标定的靶标方法。该靶标方法利用形状为正三角形及其内切圆的靶标进行快速标定摄像机内参数；提取内切圆圆心的图像坐标，根据靶标平面和像平面的单应性建立单应性矩阵方程；提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标，获得正三角形垂线方程，根据四个正三角形对应边和垂线构成正交平行线段，获得平行线的消失点建立消失点方程；进行摄像机内参数矩阵求解。该方法标定过程简单方便，只需要拍摄一幅靶标图像，即可求得摄像机内参数矩阵，标定速度快，解决了大视场、复杂环境下快速标定问题。

Description

一种摄像机内参数快速标定的靶标方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种摄像机内参数快速标定的靶标方法。

背景技术

摄像机内参数的标定在计算机视觉测量领域有着十分重要的地位，其标定速度及精度直接决定测量的速度及精度。随着我国大型飞机数字化测量的发展，计算机视觉测量技术的应用越加广泛，其相应的标定方法需满足更加苛刻的要求。针对大型飞机部件视觉测量中测量视场大、预留测量时间短、测量环境较为复杂等实际测量问题，如何实现针对大视场的快速便捷的内参数标定方法对于我国大型飞机数字化测量技术的提升有着极为重要的作用。

标定技术主要有传统标定方法和自标定方法等。传统标定方法是通过标定板为参照物，标定精度较高，但标定过程较为复杂，其主要的代表方法为张正友的棋盘标定法。张正友等发表的期刊《A flexible new technique for cameracalibration》(Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.)中使用棋盘格作为靶标，拍摄三张以上图像即可完成高精度的标定，但是其需要人工选择棋盘交叉点范围，过程较为复杂，标定时间长。陈爱华等《基于正交消隐点对的摄像机标定方法》(陈爱华,高诚辉,何炳蔚.基于正交消失点对的摄像机标定方法

[J].仪器仪表学报,2012,33(1):161-166.)提出了一种基于正交消失点对对的摄像机标定方法，利用摄像机以不同的视觉角度拍摄三幅平面标定模板的图像，从而线性标定出摄像机所有内参数，但其标定过程也需要拍摄三张平面图像，标定过程较为复杂。

发明内容

本发明要解决的技术难题是针对大视场、复杂测量环境下快速便捷的摄像机内参数标定，发明了一种利用正三角形及其内切圆的内参数快速标定的靶标方法。在摄像机内参数标定过程中，首先根据靶标平面和像平面的单应性建立单应性矩阵方程；然后提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标，获得正三角形垂线方程，根据四个正三角形对应边和垂线构成正交平行线段，获得平行线的消失点建立消失点方程；整个标定过程只需要拍摄一幅靶标图像，即可求得摄像机内参数矩阵，实现大视场、复杂环境的快速标定。

本发明采用的技术方案是一种摄像机内参数快速标定的靶标方法，其特征是，该方法利用形状为正三角形及其内切圆的靶标进行快速标定摄像机内参数；提取内切圆圆心的图像坐标，根据靶标平面和像平面的单应性建立单应性矩阵方程；提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标，获得正三角形垂线方程，根据四个正三角形对应边和垂线构成正交平行线段，获得平行线的消失点建立消失点方程；进行摄像机内参数矩阵求解；方法的具体步骤如下：

第一步基于内切圆圆心坐标建立单应性矩阵方程

1）提取内切圆圆心

整个靶标图形由四个具有相同边长的正三角1按照两排两列对齐排列，每个正三角形内嵌实心黑色内切圆2；首先提取内切圆圆心的图像坐标，采用Sobel边缘检测算子对对靶标内切圆进行提取，其公式如下所示：

$\begin{array}{c}g(u,v)={\{d_u^2(u,v)+d_v^2(u,v)\}}^{\frac{1}{2}}\\ d_u=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]d_v=\left[\begin{array}{ccc}-1& 2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}---\left(1\right)$

其中，(u,v)为图像坐标，d_u为u轴方向的Sobel检测算子，d_v为v轴方向的Sobel检测算子，d_u(u,v)为u轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值，d_v(u,v)为v轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值，g(u,v)为经过Sobel边缘检测计算后在图像坐标(u,v)点处的图像灰度值；

针对已提取出的内切圆利用灰度重心法计算内切圆圆心的图像坐标，计算公式如下：

$\stackrel{\‾}{u_c}=\frac{\∑u\×f(u,v)}{\∑f(u,v)}---\left(2\right)$

$\stackrel{\‾}{v_c}=\frac{\∑v\×f(u,v)}{\∑f(u,v)}---\left(3\right)$

其中，(u,v)为图像坐标，u,v∈Ω，Ω为边缘提取区域内像素目标的集合，f(u,v)为在图像坐标(u,v)位置处像素点的灰度值，

为内切圆圆心的图像坐标；

2）建立单应性矩阵方程

设定靶标平面为三维世界坐标系中Z＝0的平面，在世界坐标系下，已知内切圆圆心的齐次坐标为M＝[X Y 1]^T，设定摄像机所拍摄的图像平面为像平面，在像平面上内切圆圆心的齐次图像坐标为

可根据靶标平面与像平面的单应性求解单应矩阵H：

m＝λKLM＝HM  (4)其中，K为摄像机内参数矩阵，L为摄像机外参数矩阵，λ为比例因子。设定单应矩阵H＝[h₁h₂h₃]，h₁、h₂、h₃为单应矩阵H的列向量，根据摄像机外参数中旋转矩阵列向量的正交性，可建立单应性矩阵方程如下所示：

$\begin{array}{c}{h}_1^T{K}^{-T}{K}^{-1}{h}_2=0\\ h_1^T{K}^{-T}{K}^{-1}{h}_1=h_2^T{K}^{-T}{K}^{-1}{h}_2\end{array}---\left(5\right)$

其中，K^-T为摄像机内参数矩阵K转置的逆矩阵，K^-1为摄像机内参数矩阵K的转置矩阵；

为单应矩阵H第一列列向量的转置，

为单应矩阵H第二列列向量的转置；

第二步基于三对正交平行线段建立消失点方程

1）基于HOUGH变换提取正三角形的边

在图像坐标系3下，设定直线方程为v＝ku+b，其中(u,v)为图像的像素坐标，k为直线的斜率，b为直线的截距。定义直线的参数方程为：

ρ＝u_icosθ+v_isinθ  (6)

其中，ρ为坐标原点到直线的距离，θ为直线与u轴夹角。以ρ-θ为自变量-因变量，将图像坐标系中每个像素点(u_i,v_i)带入公式(6)中分别构成一条曲线，其曲线交点为(ρ,θ)，则可得出空间直线的参数为：

$\begin{array}{c}k=-\cot \mathrm{\θ}\\ b=\mathrm{\ρ}/\sin \mathrm{\θ}\end{array}---\left(7\right)$

进而可得到四个正三角形边的方程；

2）计算正三角形顶点及切点的图像坐标

联立正三角形边的方程，其交点为正三角形的三个顶点，分别记为

采用椭圆拟合法拟合内切圆的椭圆方程，将所提取的边缘信息按照椭圆的一般式方程，利用最小二乘法进行拟合：

$\begin{array}{c}s.t.\min {\left|F(u_i,v_i)\right|}^2\\ F(u_i,v_i)=a{u}_i^2+{\mathrm{bu}}_i{v}_i+c{v}_i^2+{\mathrm{du}}_i+{\mathrm{ev}}_i+f\\ i=\mathrm{1,2,3}...n\end{array}---\left(8\right)$

其中，各点图像坐标为(u_i,v_i)，n为图像像素点总数目，a、b、c、d、e、f为椭圆的一般式方程参数，联立椭圆方程和正三角形边的直线方程，其交点为正三角形与内切圆的切点也为正三角形的垂足记为

3）建立消失点方程

连接正三角形顶点

与其对应边的切点

构成正三角形垂线

(i＝1,2,3,4j＝1,2,3)，其中i为正三角形个数，j为正三角形左、右与底边，垂线

与对应正三角形边

构成一组正交线段，根据靶标四个正三角形对应边或垂线相互重合或平行，因而正三角的垂线与对应边构成三组正交平行线段，根据射影原理，平行线段相交于消失点，每组正交平行线段构成一组消失点p_i,q_i，与摄像机内参数可构成消失点方程：

$p_i^T{K}^{-T}{K}^{-1}{q}_i=0(i=\mathrm{1,2,3})---\left(9\right)$

其中，K^-T为摄像机内参数矩阵K转置的逆矩阵，K^-1为摄像机内参数矩阵K的转置矩阵；为消失点p_i坐标向量的转置，q_i为消失点q_i坐标向量；

第三步摄像机内参数矩阵求解

对于摄像机模型，其内参数矩阵K为：

$K=\left[\begin{array}{ccc}{\mathrm{\α}}_u& s& u_0\\ 0& {\mathrm{\α}}_v& v_0\\ 0& 0& 1\end{array}\right]---\left(10\right)$

其中，α_u、α_v为u、v方向的像素量纲，u₀、v₀为主点在u、v方向的像素值，内参数矩阵K具有五个未知数，联立两个单应性矩阵方程，三个消失点方程，即通过公式(5)和公式(9)建立五个方程，根据公式(10)可求得摄像机内参数矩阵K。

本发明的有益效果是根据正三角形和其内切圆构成的靶标图像信息建立对应性矩阵和消失点距离，快速求解摄像机的内参数。该方法通过一张靶标图片即可自动求解摄像机的内参数矩阵，标定过程简单，标定速度快，可实现环境较为复杂的大视场下的内参数快速标定。

附图说明

图1为内参数快速标定靶标示意图。其中，1-正三角形、2-正三角形实心内切圆。

图2为快速内参数标定过程流程图。

图3为实例图，其中，3-为图像坐标系，O-为图像坐标系原点，u、v-为图像坐标系的坐标轴，m-内切圆圆心的图像坐标、正三角形顶点，

对应边与内切圆的切点。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为快速内参数标定靶标示意图。将该靶标布置于视场中间，配置相机及其附属光源等设备，调整焦距视角等使靶标清晰可见，对靶标进行图像采集。图2为快速内参数标定过程流程图，整个标定过程分为单应性矩阵方程的建立和消失点方程的建立两个主要步骤，根据所建立的五个方程求解摄像机五个未知内参数，最终实现摄像机内参数的标定。

实施例1，本发明采用分别配置广角镜头的两个摄像机拍摄一幅靶标图像。摄像机型号为FASTCAM SAX摄像机，分辨率：1024×1024，CCD面积：2cm×2cm，重量：12.6kg。广角镜头型号为AF-S17-35mm f/2.8D IF-ED参数如下所示，镜头焦距：f=17-35，APS焦距：25.5-52.5，最大光圈：F2.8，最小光圈：F22，镜头重量：745g，镜头尺寸：82.5×106。拍摄条件如下：图片像素为1024×1024，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。

第一步基于内切圆圆心坐标建立单应性矩阵方程

1）提取内切圆圆心

拍摄一幅靶标图像，本实例采用Sobel边缘检测算子根据公式(1)提取内切圆边缘，针对所已提取出的内切圆利用灰度重心法提取内切圆圆心，其圆心点如附图3实例图中标记点m所示。

2）建立单应性矩阵方程

设定靶标平面为三维世界坐标系中Z＝0的平面，在世界坐标系下，已知内切圆圆心的齐次坐标为M＝[X Y 1]^T和在图像坐标系3下内切圆圆心的图像坐标可根据公式(4)可求解单应性矩阵，基于公式(5)建立单应性矩阵方程。

第二步基于三对正交平行线段建立消失点方程

1）基于HOUGH变换提取正三角形的边

实例中为清楚说明消失点方程的建立方法，以一个正三角形为例进行介绍。采用HOUGH变换方法提取正三角边的方法。首先根据公式(6)根据直线参数方程的定义获得以ρ-θ为自变量-因变量的坐标图，其中ρ为坐标原点与直线的距离，θ为直线与u轴夹角，将ρ-θ曲线的交点根据公式(7)计算得到空间直线的斜率和截距，进而可获得正三角形边的方程。

2）计算正三角形顶点及切点的图像坐标

联立正三角形边的方程，可得到正三角形性的三个顶点坐标，如附图3实例图中

所示。根据公式(8)采用椭圆拟合法拟合内切圆的椭圆方程，联立椭圆方程和正三角形边的直线方程，得到正三角形与内切圆的切点也为正三角形的垂足，如附图3实例图中

所示，其中，O为图像坐标系3的原点，u、v分别为图像坐标系3的坐标轴。

3）建立消失点方程

连接正三角形顶点

与其对应边的切点

构成正三角形垂线(j＝1,2,3)，j为正三角形左、右与底边。垂线

与对应正三角形边构成一组正交直线，根据靶标四个正三角形对应边或垂线互相重合或平行，因而正三角的垂线与对应边构成三组正交平行线段。根据射影原理，平行线段相交于消失点，每组正交平行线段构成一组消失点p_i、q_i，根据公式(9)建立消失点方程，靶标图形具有三组正交平行线段，因而可构成三组消失点方程。

第三步摄像机内参数矩阵求解

联立两个单应性矩阵方程，三个消失点方程，即通过公式(5)和公式(9)建立五个方程，根据公式(10)可求得摄像机内参数矩阵K， $K=\left[\begin{array}{ccc}866.1& 0& 526.6\\ 0& 866.0& 519.1\\ 0& 0& 1\end{array}\right].$

本发明采用正三角形和其内切圆组合构成内参数快速标定的靶标，利用图像的单应性矩阵和消失点信息建立方程完成摄像机内参数的标定。该方法通过拍摄一张图片即可自动求解摄像机的内参数，标定方便快捷、标定速度快，可解决如大飞机部件测量标定等环境较为复杂的大视场下内参数快速标定问题。

Claims (1)

1.一种摄像机内参数快速标定的靶标方法，其特征是，该方法利用形状为正三角形及其内切圆的靶标进行快速标定摄像机内参数；提取内切圆圆心的图像坐标，根据靶标平面和像平面的单应性建立单应性矩阵方程；提取正三角形和内切圆形状信息计算正三角形顶点和切点的图像坐标，获得正三角形垂线方程，根据四个正三角形对应边和垂线构成正交平行线段，获得平行线的消失点建立消失点方程；进行摄像机内参数矩阵求解；方法的具体步骤如下：

第一步基于内切圆圆心坐标建立单应性矩阵方程

1）提取内切圆圆心

整个靶标图形由四个具有相同边长的正三角（1）按照两排两列对齐排列，每个正三角形内嵌实心黑色内切圆（2）；首先提取内切圆圆心的图像坐标，采用Sobel边缘检测算子对对靶标内切圆进行提取，其公式如下所示：

$\begin{array}{c}g(u,v)={\{d_u^2(u,v)+d_v^2(u,v)\}}^{\frac{1}{2}}\\ d_u=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]d_v=\left[\begin{array}{ccc}-1& 2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]\end{array}---\left(1\right)$

其中，(u,v)为图像坐标，d_u为u轴方向的Sobel检测算子，d_v为v轴方向的Sobel检测算子，d_u(u,v)为u轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值，d_v(u,v)为v轴方向边缘检测的在图像坐标(u,v)点处的图像灰度值，g(u,v)为经过Sobel边缘检测计算后在图像坐标(u,v)点处的图像灰度值；

针对已提取出的内切圆利用灰度重心法计算内切圆圆心的图像坐标，计算公式如下：

$\stackrel{\‾}{u_c}=\frac{\∑u\×f(u,v)}{\∑f(u,v)}---\left(2\right)$

$\stackrel{\‾}{v_c}=\frac{\∑v\×f(u,v)}{\∑f(u,v)}---\left(3\right)$

其中，(u,v)为图像坐标，u,v∈Ω，Ω为边缘提取区域内像素目标的集合，f(u,v)为在图像坐标(u,v)位置处像素点的灰度值，

为内切圆圆心的图像坐标；

2）建立单应性矩阵方程

设定靶标平面为三维世界坐标系中Z＝0的平面，在世界坐标系下，已知内切圆圆心的齐次坐标为M＝[X Y 1]^T，设定摄像机所拍摄的图像平面为像平面，在像平面上内切圆圆心的齐次图像坐标为m

可根据靶标平面与像平面的单应性求解单应矩阵H：

m＝λKLM＝HM  (4)

其中，K为摄像机内参数矩阵，L为摄像机外参数矩阵，λ为比例因子。设定单应矩阵H＝[h₁ h₂ h₃]，h₁、h₂、h₃为单应矩阵H的列向量，根据摄像机外参数中旋转矩阵列向量的正交性，可建立单应性矩阵方程如下所示：

$\begin{array}{c}{h}_1^T{K}^{-T}{K}^{-1}{h}_2=0\\ h_1^T{K}^{-T}{K}^{-1}{h}_1=h_2^T{K}^{-T}{K}^{-1}{h}_2\end{array}---\left(5\right)$

其中，K^-T为摄像机内参数矩阵K转置的逆矩阵，K^-1为摄像机内参数矩阵K的转置矩阵；

为单应矩阵H第一列列向量的转置，

为单应矩阵H第二列列向量的转置；

第二步基于三对正交平行线段建立消失点方程

1）基于HOUGH变换提取正三角形的边

设定直线方程为v＝ku+b，其中(u,v)为图像的像素坐标，k为直线的斜率，b为直线的截距。定义直线的参数方程为：

ρ＝u_icosθ+v_isinθ  (6)

其中，ρ为坐标原点到直线的距离，θ为直线与u轴夹角。以ρ-θ为自变量-因变量，将图像坐标系中每个像素点(u_i,v_i)带入公式(6)中分别构成一条曲线，其曲线交点为(ρ,θ)，则可得出空间直线的参数为：

$\begin{array}{c}k=-\cot \mathrm{\θ}\\ b=\mathrm{\ρ}/\sin \mathrm{\θ}\end{array}---\left(7\right)$

进而可得到四个正三角形边的方程；

2）计算正三角形顶点及切点的图像坐标

联立正三角形边的方程，其交点为正三角形的三个顶点，分别记为

采用椭圆拟合法拟合内切圆的椭圆方程，将所提取的边缘信息按照椭圆的一般式方程，利用最小二乘法进行拟合：

$\begin{array}{c}s.t.\min {\left|F(u_i,v_i)\right|}^2\\ F(u_i,v_i)=a{u}_i^2+{\mathrm{bu}}_i{v}_i+c{v}_i^2+{\mathrm{du}}_i+{\mathrm{ev}}_i+f\\ i=\mathrm{1,2,3}...n\end{array}---\left(8\right)$

其中，各点图像坐标为(ui,vi)，n为图像像素点总数目，a、b、、c、d、e为f椭圆的一般式方程参数，联立椭圆方程和正三角形边的直线方程，其交点为正三角形与内切圆的切点也为正三角形的垂足记为 $V_1^i,V_2^i,V_3^i(i=\mathrm{1,2,3,4});$

3）建立消失点方程

连接正三角形顶点

与其对应边的切点

构成正三角形垂线

其中i为正三角形个数，j为正三角形左、右与底边，垂线与对应正三角形边

构成一组正交线段，根据靶标四个正三角形对应边或垂线相互重合或平行，因而正三角的垂线与对应边构成三组正交平行线段，根据射影原理，平行线段相交于消失点，每组正交平行线段构成一组消失点pi,qi，与摄像机内参数可构成消失点方程：

$p_i^T{K}^{-T}{K}^{-1}{q}_i=0(i=\mathrm{1,2,3})---\left(9\right)$

其中，K^-T为摄像机内参数矩阵K转置的逆矩阵，K^-1为摄像机内参数矩阵K的转置矩阵；

为消失点p_i坐标向量的转置，q_i为消失点q_i坐标向量；

第三步摄像机内参数矩阵求解

对于摄像机模型，其内参数矩阵K为：

$K=\left[\begin{array}{ccc}{\mathrm{\α}}_u& s& u_0\\ 0& {\mathrm{\α}}_v& v_0\\ 0& 0& 1\end{array}\right]---\left(10\right)$

其中，α_u、α_v为u、v方向的像素量纲，u₀、v₀为主点在u、v方向的像素值，内参数矩阵K具有五个未知数，联立两个单应性矩阵方程，三个消失点方程，即通过公式(5)和公式(9)建立五个方程，根据公式(10)可求得摄像机内参数矩阵K。

Images