CN103218820B - 一种基于多维特征的相机标定误差补偿方法 - Google Patents

Abstract

一种基于多维特征的相机标定误差补偿方法，包括以下步骤：（1）准备数据：先采集p幅标准靶标的图像，得到p幅有误差的图像，然后从每幅图像中选取q个关键点，得到p×q个关键点；（2）提取关键点的特征：提取每个关键点的特征；（3）计算p×q个关键点的实际误差(Δx，Δy)_p×q；（4）模拟训练：采用SVMLight工具进行支持向量回归模型训练；（5）估算误差：当拍摄到一幅新的图片时，得到q个关键点的实际位置(x，y)_q，然后按步骤（2）提取该q个关键点的特征，存放于需要回归的特征文件中，并计算每个关键点的补偿值(Δx,Δy)。本发明利用现场图像的关联特征，采用支持向量回归实时估计每副采集图像的补偿量，采用本发明的方法使得补偿后的光靶中心更接近于理想光靶中心。

Description

一种基于多维特征的相机标定误差补偿方法

技术领域

本发明属于图像处理领域，具体涉及一种基于多维特征的相机标定误差补偿方法。

背景技术

相机标定是机器视觉中的重要问题之一。对于针孔模型相机，标定过程主要是求解相机内参数(Intrinsicparameters)与外参数(Extrinsicparameters)。通过这内、外参数求解目标像素坐标(图像坐标系)到场景坐标(世界坐标系)变换。标定过程可以采用直接线性法、Tsai法、张正友法等。但无论采用哪种标定方法，由于镜头径向畸变、倾斜几何变形、现场环境变化，使得实际计算出的目标坐标与理想坐标之间存在误差。修正相机标定误差的质量，不仅直接影响坐标变化的精确性，而且间接影响后续高层图像理解的准确性。

对于相机标定误差的补偿方法国内外已有较多的研究。Bukhari等人利用铅垂线方法与齐次方程模型从单幅图像中估计径向误差。Wang等人针对径向畸变问题，提出畸变点处于同心圆上，通过计算畸变点的圆心来补偿畸变，取得的较好的效果。Lucchese等人提出了同时校正径向畸变和倾斜变形的方法,但仅用二项式对至少需要用5次多项式的径向畸变进行补偿。张佳成等人混合了多种补偿估计模型，用经典模型对畸变图像进行初次校正，用多面函数拟合法进行二次精校正，用三次B样条函数进行灰度重建,相比单一的镜头畸变校正模型，精度提高，鲁棒性增强，校正后径向均方根误差为0.3个像素。刘堂等人建立了径向畸变和倾斜失真的联合模型，用最小二乘法和最优化算法求得标准网格的失真参数,最后对目标进行补偿。

上述补偿方法都取得了一定的效果，但有两个方面仍旧可以继续提高。第一，用高次多项式对补偿值进行建模，随着次数增加，计算量呈指数级快速增长，难以平衡计算时间与补偿质量之间的矛盾；第二，相机畸变的不仅致使局部区域像素点位置的偏离，还影响了整幅图的成像。所以图像特征的选取必须兼顾局部特征与全局特征。

目前常用的相机标定误差补偿模型为相机标定通过求解内、外参数，实现目标像素坐标(图像坐标系)到场景坐标(世界坐标系)转换。相机标定误差模型如下所示：

令

式中，(X，Y，Z)是一个点的世界坐标，(u，v)是点在图像上的像素坐标，A是相机的内参数，(c_x，c_y)是主点位置，f_x与f_y是相机焦距，它们以像素为单位。旋转-平移矩阵R|T称为外参数，它描述了相机相对于场景的位姿。是相机误差的补偿函数，R为当前环境的特征向量(r₁，r₂，…，r_n)，可以是平均光照度、平均灰度、灰度方差等各种表征当前环境情况的特征。所谓补偿就是找到依赖于R的一个最优的补偿函数

发明内容

本发明所要解决的技术问题是提供一种基于多维特征的相机标定误差的补偿方法。

为解决以上技术问题，本发明采用如下技术方案：

一种基于多维特征的相机标定误差的补偿方法，其包括以下步骤：

(1)准备数据：先采集p幅标准靶标的图像，得到p幅有误差的图像，然后从每幅图像中选取q个关键点，得到p×q个所述关键点；

(2)提取关键点的特征：提取每个所述关键点的特征，所述特征包括颜色特征、局部Gabor特征及全局关联特征；

(3)计算p×q个所述关键点的实际误差计算p幅图中每个关键点坐标与该关键点的理想位置坐标的实际误差

(4)模拟训练：采用SVMLight工具进行支持向量回归模型训练，将所述步骤(2)中得到的p×q个所述关键点的特征与所述步骤(3)中得到的作为输入，最后得到模型文件；

(5)估算误差：当拍摄到一幅新的图片时，得到q个关键点的实际位置(x，y)_q，然后按步骤(2)提取该q个所述关键点的特征，存放于需要回归的特征文件中，并计算每个所述关键点的补偿值(Δx,Δy)。

进一步，所述步骤(2)中每个所述关键点的颜色特征为其周围N×N个像素点的颜色分量的均值与方差，所述颜色分量为4种常用颜色空间的分量，所述4种常用颜色空间为RGB、CMYK、HSV、HIS，其中，N小于等于50。

再进一步，所述步骤(2)中局部Gabor特征的提取方法包括以下步骤：

a.将彩色图像归一化为灰度级为256的灰度图；

b.将当前关键点周围的像素区域划分成L个N×N的子窗口，其中，L小于等于50；

c.将每个窗口进行Gabor变换，原图像为F(x，y)，经过Gabor变换后得到新的图像Q(x，y)，其中，

Q(x,y)＝[(Gabor_R(x,y)*F(x,y))²+(Gabor_I(x,y)*F(x,y))²]^1/2(1)

式(1)中，

${\mathrm{Gabor}}_R(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\σ}}}\cos \frac{2\mathrm{\π}(xcos\mathrm{\θ}+ysin\mathrm{\θ})}{l}---\left(2\right)$

${\mathrm{Gabor}}_I(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\σ}}}\sin \frac{2\mathrm{\π}(xcos\mathrm{\θ}+ysin\mathrm{\θ})}{l}---\left(3\right)$

式(2)、(3)中σ＝π；

计算变换后，每个窗口灰度的均值由μ表示，每个窗口的标准差由δ表示，每个窗口的偏差系数由k(k＝δ/μ)表示，最后，得到L个窗口的局部Gabor特征：μ₁，μ₂，…，μ_i，…，μ_L、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k_L，共有3L维，其中，i为窗口序列号。

更进一步，所述步骤(2)中全局关联特征的提取包括以下步骤：

a.将局部Gabor特征可以看成三个一维序列：μ₁，μ₂，…，μ_i，…，μ_L、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k_L，其中i表示窗口序号；

b.利用自相关函数计算关联特征，自相关函数如式(4)，其中，m为相关阶数，n为当前相关阶数序号，L为Gabor子窗口的个数，且m<L，

$R_{\mathrm{\&mu;}n}=\frac{1}{L-n}\underset{i=1}{\overset{L-n}{\&Sigma;}}{\mathrm{\&mu;}}_i{\mathrm{\&mu;}}_{i+n},(n=1,2,...,m)---\left(4\right)$

此时由序列μ₁，μ₂，…，μ_i，…，μ_L可以计算得到m个特征R_μ1、R_μ2、…、R_μm，同样的可以计算得到R_δ1、R_δ2、…、R_δm与R_k1、R_k2、…、R_km，共3m个全局关联特征。

进一步，所述步骤(3)中的计算p×q个关键点的实际误差的方法包括以下步骤：

a、将从标准靶标图中得到q个关键点的激光测量的中心位置作为理想位置坐标(x，y)_s，其中，s＝1，2，…，q；

b、用点识别技术得到p幅图中的q个关键点的实际位置(x，y)_t×s，其中，t＝1，2，…，p，s＝1，2，…，q；

c、计算：

进一步，所述步骤(4)中的模拟训练采用SVMLight工具，其步骤如下：

a.输入训练命令，所述训练命令为：svm_learn–zr–t2–g0.12example_filemodel_file，其中，example_file为训练数据的输入文件；model_file为输出的模型结果文件；参数–z为r，表示回归模式；参数–t为2，表示采用高斯径向基核函数(RBF)；参数–g为0.12，表示高斯径向基核的参数gamma为0.12。

b.生成模型文件，需要为x、y分别生成两个不同的模型文件。

进一步，所述步骤(5)中的估算误差的步骤如下：

a.输入回归命令，所述回归命令为svm_classifyexample_filemodel_fileoutput_file，其中，example_file为需要回归的特征文件，model_file为所述步骤(4)中的生成的模型文件，output_file为输出文件；

b.生成输出文件，所述输出文件中每一行与需要回归的特征文件中的行一一对应，表示需要回归的特征文件中每个行的回归值。

由于采用以上技术方案，本发明与现有技术相比具有如下优点：

本发明所提取的图像特征兼顾了局部特征与全局特征，并利用现场图像的关联特征，采用支持向量回归实时估计每幅采集图像的补偿量，采用本发明的方法使得补偿后的光靶中心更接近于理想光靶中心。

与传统的采用高次多项式对补偿值进行建模的方法，本发明的多特征提取方法，采用增加训练图像的数量来提高预测精度，而补偿误差的计算时间与训练时间无关。

附图说明

图1为标准靶标图像；

图2为9个子窗口图；

图3为补偿前后中心点在不同距离范围内的分布情况；

图4为仿真桥梁原始图像；

图5为补偿后的坐标与未进行补偿的坐标的对比。

具体实施方式

下面结合附图来进一步阐述本发明。

一种基于多维特征的相机标定误差补偿方法，具体包括以下步骤：

(1)准备数据：先采集p幅标准靶标的图像，标准靶标如图1所示，得到p幅有误差的图像，然后从每幅图像中选取q个关键点，得到p×q个关键点，其中p、q均为正整数；

(2)提取关键点的特征：

提取每个所述关键点的特征，每个关键点有三类特征，分别为颜色特征、局部Gabor特征及全局关联特征，这样的关键点有p×q个。三类特征的提取方法如下：

(21)颜色特征的提取方法，采用常用颜色特征提取方法，每个关键点的颜色特征为其周围N×N个像素点的颜色分量的均值与方差，颜色分量为4种常用颜色空间的分量，4种常用颜色空间为RGB、CMYK、HSV、HIS。其中，RGB颜色空间有三个颜色分量，有3×2维特征；CMYK颜色空间有三个颜色分量，有3×2维特征；HSV颜色空间有三个颜色分量，有3×2维特征，HSI颜色空间有四个颜色分量，有4×2维特征，所以共有26维颜色特征，本例中，N＝8。

(22)局部Gabor特征的提取方法，具体步骤如下：

a.将彩色图像归一化为灰度级为256的灰度图；

b.将当前关键点M周围的像素区域划分成L个8×8的子窗口，本例中，L＝9，如图2所示；

c.将每个窗口进行Gabor变换，原图像为F(x，y)，经过Gabor变换后得到新的图像Q(x，y)，其中，

Q(x,y)＝[(Gabor_R(x,y)*F(x,y))²+(Gabor_I(x,y)*F(x,y))²]^1/2(1)

式(1)中，

${\mathrm{Gabor}}_R(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\&sigma;}}}\cos \frac{2\mathrm{\&pi;}(xcos\mathrm{\&theta;}+ysin\mathrm{\&theta;})}{l}---\left(2\right)$

${\mathrm{Gabor}}_I(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\&sigma;}}}\sin \frac{2\mathrm{\&pi;}(xcos\mathrm{\&theta;}+ysin\mathrm{\&theta;})}{l}---\left(3\right)$

式(2)、(3)中σ＝π，

计算变换后，每个窗口灰度的均值由μ表示，每个窗口的标准差由δ表示，每个窗口的偏差系数由k(k＝δ/μ)表示。最后，得到9个窗口的局部Gabor特征：μ₁，μ₂，…，μ_i，…，μ₉、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k₉，共有27维，其中，i为窗口序列号。

(23)全局关联特征的提取方法，步骤如下：

a.将局部Gabor特征可以看成三个一维序列：μ₁，μ₂，…，μ_i，…，μ₉、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k₉，其中i表示窗口序号；

b.利用自相关函数计算关联特征，自相关函数如式(4)，其中，m为相关阶数，n为当前相关阶数序号，L为Gabor子窗口的个数，且m<L。

$R_{\mathrm{\&mu;}n}=\frac{1}{L-n}\underset{i=1}{\overset{L-n}{\&Sigma;}}{\mathrm{\&mu;}}_i{\mathrm{\&mu;}}_{i+n},(n=1,2,...,m)---\left(4\right)$

本例中，m＝3，此时由序列μ₁，μ₂，…，μ_i，…，μ₉可以计算得到三个特征R_μ1、R_μ2、R_μ3，同样的可以计算得到R_δ1、R_δ2、R_δ3与R_k1、R_k2、R_k3，共9个全局关联特征。

(3)计算p×q个关键点的实际误差计算p幅图中每个关键点坐标与这些关键点的理想位置坐标的实际误差其方法步骤如下：

a、将从图1中得到q个关键点的激光测量的中心位置作为理想位置坐标(x，y)_s，其中，s＝1，2，…，q；

b、用点识别技术得到p幅图中的q个关键点的实际位置(x，y)_t×s，其中，t＝1，2，…，p，s＝1，2，…，q；

c、计算：

(4)模拟训练：

采用SVMLight工具进行支持向量回归(SVM)模型训练，将步骤(2)中得到的p×q个关键点的特征与步骤(3)中得到的作为输入，最后得到模型文件model_file，步骤如下：

a.输入训练命令

训练命令为：svm_learn–zr–t2–g0.12example_filemodel_file

其中，example_file为训练数据的输入文件；model_file为输出的模型结果文件；参数–z为r，表示回归模式；参数–t为2，表示采用高斯径向基核函数(RBF)；参数–g为0.12，表示高斯径向基核的参数gamma为0.12。

b.形成example_file文件的格式如下(以下仅为格式形式)：

每一行表示一条训练数据，包括补偿的距离与62维特征，共62行，每一行的格式如下：

Δx1：0.652：0.78…62：0.32

同样的，Δy1：0.652：0.78…62：0.32

c.生成模型文件：model_file

本例中，需要为x，y分别生成两个不同的模型文件。

(5)估算误差：当拍摄到一副新的图片时，得到q个关键点的实际位置当拍摄到一副新的图片时，得到q个关键点的实际位置(x，y)_q，然后按步骤(2)提取该q个关键点的特征，存放于需要回归的特征文件中，并计算每个关键点的补偿值(Δx,Δy)，其步骤如下：

a.输入回归命令

回归命令为：svm_classifyexample_filemodel_fileoutput_file

此时，example_file为需要回归的特征文件；model_file为步骤(4)中的生成的模型文件；output_file为输出文件。

b.形成example_file文件的格式如下：

每一行表示一条回归特征，包括62维特征，其格式如下(以下仅为格式形式)：

1：0.652：0.78…62：0.32

c.生成output_file文件

output_file文件中，其格式为每一行与example_file的行一一对应，表示example_file中每个行的回归值。

(6)仿真实验

在此实验中，对仿真桥梁上的10个监测点进行了50次的误差补偿实验，如图4为仿真桥梁原始图像，图4中的1～10个黑点即为10个监测点，分别统计50次实验中，先计算了补偿前后光靶中心位置到理想光靶中位置的距离，再统计补偿前后中心点在不同距离范围内的分布情况，分布情况如图3所示。在这里我们把激光测量的中心位置作为理想光靶中心位置。图2中横坐标轴标签1与1_SVR分别表示补偿前、后的中心点分布，黑色表示距离理想中心点10像素点的个数；灰色表示距离理想中心点11至20像素点的个数；深灰色表示距离理想中心点21至30像素点的个数；白色表示距离理想中心点30以上像素点的个数。

从图3中可以看出，1号、4号、5号、7号、9号监测点补偿后比补偿前后有更多的点距理想点更近；2号、3号、6号监测点两者性能相当；8号、10号补偿后略差于补偿前。总体来看本发明的动态补偿方法对光靶中心起到了补偿作用。

图5给出了补偿后的坐标与未进行补偿的坐标的对比，从图中可以看出大部分补偿后的靶点中心位置比未经补偿的靶点中心位置更接近激光测量桥梁上靶标的位置。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于多维特征的相机标定误差补偿方法，其特征在于：其包括以下步骤：

(1)准备数据：先采集p幅标准靶标的图像，得到p幅有误差的图像，然后从每幅图像中选取q个关键点，得到p×q个所述关键点；

(2)提取关键点的特征：提取每个所述关键点的特征，所述特征包括颜色特征、局部Gabor特征及全局关联特征；

(3)计算p×q个所述关键点的实际误差(Δx，Δy)_p×q：计算p幅图中每个关键点坐标与该关键点的理想位置坐标的实际误差(Δx，Δy)_p×q；

(4)模拟训练：采用SVMLight工具进行支持向量回归模型训练，将所述步骤(2)中得到的p×q个所述关键点的特征与所述步骤(3)中得到的(Δx，Δy)_p×q作为输入，最后得到模型文件；

(5)估算误差：当拍摄到一幅新的图片时，得到q个关键点的实际位置(x，y)_q，然后按步骤(2)提取该q个所述关键点的特征，存放于需要回归的特征文件中，并计算每个所述关键点的补偿值(Δx,Δy)。

2.根据权利要求1所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(2)中每个所述关键点的颜色特征为其周围N×N个像素点的颜色分量的均值与方差，所述颜色分量为4种常用颜色空间的分量，所述4种常用颜色空间为RGB、CMYK、HSV、HIS，其中，N小于等于50。

3.根据权利要求2所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(2)中局部Gabor特征的提取方法包括以下步骤：

a.将彩色图像归一化为灰度级为256的灰度图；

b.将当前关键点周围的像素区域划分成L个N×N的子窗口，其中，L小于等于50；

c.将每个窗口进行Gabor变换，原图像为F(x，y)，经过Gabor变换后得到新的图像Q(x，y)，其中，

Q(x,y)＝[(Gabor_R(x,y)*F(x,y))²+(Gabor_I(x,y)*F(x,y))²]^1/2(1)

式(1)中，

${\mathrm{Gabor}}_R(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\&sigma;}}}\cos \frac{2\mathrm{\&pi;}(xcos\mathrm{\&theta;}+ysin\mathrm{\&theta;})}{l}---\left(2\right)$

${\mathrm{Gabor}}_I(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-\frac{x^2+y^2}{2\mathrm{\&sigma;}}}\sin \frac{2\mathrm{\&pi;}(xcos\mathrm{\&theta;}+ysin\mathrm{\&theta;})}{l}---\left(3\right)$

式(2)、(3)中σ＝π；

计算变换后，每个窗口灰度的均值由μ表示，每个窗口的标准差由δ表示，每个窗口的偏差系数由k(k＝δ/μ)表示，最后，得到L个窗口的局部Gabor特征：μ₁，μ₂，…，μ_i，…，μ_L、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k_L，共有3L维，其中，i为窗口序列号。

4.根据权利要求3所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(2)中全局关联特征的提取包括以下步骤：

a.将局部Gabor特征可以看成三个一维序列：μ₁，μ₂，…，μ_i，…，μ_L、δ₁，δ₂，…，δ_i，…，δ_L与k₁，k₂，…，k_i，…，k_L，其中i表示窗口序号；

b.利用自相关函数计算关联特征，自相关函数如式(4)，其中，m为相关阶数，n为当前相关阶数序号，L为Gabor子窗口的个数，且m<L，

$R_{\mathrm{\&mu;}n}=\frac{1}{L-n}\underset{i=1}{\overset{L-n}{\&Sigma;}}{\mathrm{\&mu;}}_i{\mathrm{\&mu;}}_{i+n},(n=1,2,...,m)---\left(4\right)$

此时由序列μ₁，μ₂，…，μ_i，…，μ_L可以计算得到m个特征R_μ1、R_μ2、…、R_μm，同样的可以计算得到R_δ1、R_δ2、…、R_δm与R_k1、R_k2、…、R_km，共3m个全局关联特征。

5.根据权利要求1所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(3)中的计算p×q个关键点的实际误差(Δx，Δy)_p×q的方法包括以下步骤：

a、将从标准靶标图中得到q个关键点的激光测量的中心位置作为理想位置坐标(x，y)_s，其中，s＝1，2，…，q；

b、用点识别技术得到p幅图中的q个关键点的实际位置(x，y)_t×s，其中，t＝1，2，…，p，s＝1，2，…，q；

c、计算：(Δx，Δy)_p×q＝|(x，y)_s-(x，y)_t×s|。

6.根据权利要求1所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(4)中的模拟训练采用SVMLight工具，其步骤如下：

a.输入训练命令，所述训练命令为：svm_learn–zr–t2–g0.12example_filemodel_file，其中，example_file为训练数据的输入文件；model_file为输出的模型结果文件；参数–z为r，表示回归模式；参数–t为2，表示采用高斯径向基核函数(RBF)；参数–g为0.12，表示高斯径向基核的参数gamma为0.12；

b.生成模型文件，需要为x、y分别生成两个不同的模型文件。

7.根据权利要求1所述的基于多维特征的相机标定误差补偿方法，其特征在于：所述步骤(5)中的估算误差的步骤如下：

a.输入回归命令，所述回归命令为svm_classifyexample_filemodel_fileoutput_file，其中，example_file为需要回归的特征文件，model_file为所述步骤(4)中的生成的模型文件，output_file为输出文件；

b.生成输出文件，所述输出文件中每一行与需要回归的特征文件中的行一一对应，表示需要回归的特征文件中每个行的回归值。