CN112258583B - 基于等畸变量分区的近景图像畸变标定方法 - Google Patents

Abstract

一种基于等畸变量分区的近景图像畸变标定方法，先采集并提取电控平台标准物上直线的边缘点和圆的重心，反复调整标准物和像平面的平行关系。再从所有直线边缘点建立的回归直线方程中求解整张图像的畸变曲线。通过畸变半径下限值、畸变量最大值、分区数量以及整张图像的畸变曲线，采用等畸变量准则进一步划分图像畸变，并分区域标定畸变曲线，进而实现近景图像畸变的多组畸变系数表征。该方法采用直线边缘点的像素信息独立求解图像畸变，避免了相机内参数和外参数带来误差传播效应。以等畸变量来划分图像畸变的方式有效避免了其他分区方式带来的图像中间畸变求解精度高，四周畸变求解精度低的缺点，使得整张图像各个位置具有同等的畸变求解精度。

Description

基于等畸变量分区的近景图像畸变标定方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种采用等畸变量分区的准则划分图像畸变，并在分区内标定图像畸变的方法。

背景技术

近年来，凭借着非侵入、可视性强、实时性高和三维全场测量的优势，视觉测量技术在工业界和科研界备受瞩目，被广泛用于被测目标的定性和定量分析。镜头是等效理想小孔完成成像的关键部件。然而，镜头组件的制造和装配误差会引起相机成像畸变。相机成像畸变与物距和焦距密切关联。为了保证视觉的测量范围和测量精度，通常会选择小物距和短焦距的近景参数成像，造成图像畸变严重。此时，图像上一个像素的偏移会导致视觉在场景空间上几十到几百微米的测量误差。因此，为了提升视觉在近景成像条件下的测量精度，需对图像畸变进行准确标定。

四川九洲电器集团有限责任公司的周勇授权的专利号为ZL 201210554898“一种镜头畸变校正的方法”发明了一种求解视频图像畸变的方法，该方法在平面上绘制参考圆，用相机采集参考圆图像，并根据提取的失真后的边缘点计算圆周半径等几个统计量。最后，通过对比畸变圆与参考圆的差异来解算畸变系数。此方法虽能实现畸变的标定，但发明人仅用一组畸变系数来描述图像的畸变行为，由于畸变量在整副图像上分布不均匀，这就不可避免的降低了畸变系数的标定精度。大连理工大学的刘巍等人发明的专利号为ZL201510290364.2“采用柔性靶标高速摄相机近景大视场标定方法”发明了基于复合式柔性靶标的相机标定方法，发明人设计了由内区域和外区域组合而成的复合式标定靶标，并采用分区域分约束的方法标定相机的内参数、外参数以及畸变系数。虽然发明采用二分区的思想标定相机参数，但最终获得的图像畸变参数仅为一组，畸变参数的标定精度较低。并且，该标定方法会存在耦合效应，导致内外参数的标定误差传播到畸变参数中。因此，现有方法难以准确的标定近景成像条件下的图像畸变。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明基于等畸变量分区的近景图像畸变标定方法。首先，通过单个相机采集其前方电控平台上标准物的图像，经过图像处理获得标准物上直线的边缘点和圆的重心坐标，并借助N点透视算法调整标准物与像平面平行。然后，建立边缘点的回归直线方程，根据物方直线的曲线映射可反映为由径向畸变系数和偏心畸变系数表达的镜头畸变这一特性，求解整副图像的畸变曲线。以此为基础，根据畸变半径的下限值、畸变量最大值、畸变分区数量以及整副图像的畸变曲线，采用等畸变量的策略对整副图像畸变进行进一步的划分。最后，采用分区域畸变分区域求解的方式，实现了整副近景图像畸变的准确标定。本发明基于等畸变量分区的近景图像畸变标定方法在求解图像畸变时，避免了相机内外参数带来误差传播。其次，鉴于图像畸变中间小，四周大的特点，本发明以等畸变量的准则来划分图像畸变，有效避免了其他分区方法带来的图像中间畸变标定精度高，四周畸变标定精度低的缺点，使得整副图像各位置处畸变均具有较高的标定精度。基于等畸变量分区的近景图像畸变标定方法具体如下：

(1)图像采集、图像处理与标准物姿态调整

固定相机位置，将具有直线和圆的标准物安装于多轴电控平台上，将电控平台连同标准物置于单个相机的前方。根据标准物的外形尺寸以及物距的大小来设置相机的成像参数。随后，开启相机采集标准物的图像。

标准物的图像处理包括直线上边缘点的检测以及圆重心的定位。本发明首先采用canny边缘算子以亚像素的精度检测图像中位于直线上的边缘点。然后，利用灰度重心法定位标准物上圆的重心，灰度重心法的可用公式(1)表示为：

其中，f(u,v)为像素点位置(u,v)处的灰度值，Ω为标准物图像上圆所围成的像素点的集合，

为由灰度重心法获得的圆的重心坐标。

随后，通过N点透视算法反复计算标准物和相机像平面之间的姿态，并通过电控平台调整这一位姿，直至相机的光轴方向与标准物垂直，记录此种状态下图像处理获得的边缘点和圆重心的二维像素坐标。

(2)图像畸变独立标定

给定属于图像上同一曲线的i个边缘点(u₁,v₁)…(u_N,v_N)，这些点群确定的回归直线方程可用公式(2)表示为：

a′u+b′v-c′＝0 (2)

令a′＝sinφ，b′＝cosφ，c′＝A_usinφ+A_vcosφ，

其中，φ为回归直线与图像水平方向的夹角，令

假定图像上检测到的直线上的边缘点总数为n_l。令(u_i,v_i)为边缘点的像素坐标，i＝1...n_l。则边缘点到所有回归直线距离平方和的平均值可用公式(3)表示为：

镜头组件的制造和装配误差使图像产生径向畸变和偏心畸变，是直线在像平面上的投影发生扭曲的根本原因，径向畸变和偏心畸变的可用公式(4)表示为：

其中，

为物点的理论坐标像素，(u₀,v₀)为图像的中心，大小为图像分辨率的一半，

为像点的畸变半径，k₁、k₂为径向畸变的前两阶系数；p₁、p₂为偏心畸变的前两阶系数。

将公式(4)带入公式(3)中得到公式(5)：

假设在图像上有n条直线，并且每条直线上有m个边缘点能被检测出。那么，可以得到n·m个公式(5)所示的方程。由于这些方程中有n+4个带求解的变量，因此，若n·m>n+4，采用Levenberg-Marquardt优化算法，即可优化求解公式(5)中的前两阶径向畸变系数(k₁和k₂)以及前两阶偏心畸变系数(p₁和p₂)。

(3)近景图像畸变等畸变量分区标定

为了使求解的畸变曲线对整副图像的畸变行为描述的更加准确，本发明以等畸变量为准则将采集图像划分为几个区域。对于每一个分区，利用(2)中步骤分别标定畸变，得到多组畸变系数，绘制后得到多条畸变曲线。图像畸变等畸变量分区标定的具体步骤为：

1)图像畸变量最大值的确定。利用标准物图像上检测到的所有边缘点求解整副图像的畸变曲线L′。随后，根据图像的最大畸变半径和畸变曲线确定图像畸变量的最大值δ_max。图像的最大畸变半径为

其中，l_I和h_I分别为图像的长度和高度；

2)畸变半径下限值的确定。在图像中心区域内畸变量较小，畸变量过小会是畸变标定算法产生奇异解，导致去畸变图像的质量远不及原图。为此，本发明以畸变标定算法在图像中心区域收敛时的最小畸变量δ_limited为阈值确定图像畸变半径的下限r_limited；

3)设置分区数量n_p；

4)等分畸变量大小的确定。用畸变量最大值δ_max、畸变量下限值δ_limited以及分区数量n_p确定等分畸变量的大小

5)由δ_equ和畸变曲线L′确定分区半径R_j，j＝1…n_p；

6)根据上述(2)中方法，利用图像上各分区内的直线边缘点求解对应分区的畸变曲线，共得到n_p组畸变系数对应的n_p条畸变曲线，进而实现整副图像畸变的分区域精细表征。

本发明的有益结果是利用等畸变量分区的方法实现近景图像畸变的高精度标定，方法利用标准物上的直线独立求解图像畸变，有效避免了内外参数误差向畸变系数标定误差的传播。此外，本发明采用等畸变的方法划分图像畸变，并实现了图像畸变的分区域标定，有效解决了等半径、分块等方法标定图像畸变精度低的问题。

附图说明

图1为基于等畸变量分区的近景图像畸变实验系统示意图。

图2为基于等畸变量分区的近景图像畸变标定方法流程图。

图3为求解的畸变曲线图。

图中：1-相机，2-镜头，3-电控平台，4-标准物，5-直线，6-圆。

具体实施方式

以下结合技术方案和附图1、2和3详细叙述本发明的具体实施方式。

附图1为基于等畸变量分区的近景图像畸变实验系统示意图。附图2为基于等畸变量分区的近景图像畸变标定方法流程图。附图3为求解的畸变曲线图。首先，利用相机1采集其前方电控平台3上标准物4的图像。然后，图像处理获取标准物4上直线5的边缘点以及圆6重心的二维像素坐标，并通过N点透视算法调整标准物4和像平面的方位，直至二者平行。其次，建立边缘点的回归直线方程，并引入镜头2的径向和偏心畸变系数，以边缘点的二维像素坐标为输入标定整副图像的畸变曲线。在此基础上，依据畸变半径的下限值、畸变量最大值、分区数量以及整副图像的畸变曲线，对整副图像畸变进等畸变量分区。最后，通过分区域标定畸变的方式，完成整副图像畸变的精细表征。畸变分区标定的具体步骤参照附图2，以下对具体实施进行详细说明：

1.图像采集、图像处理和标准物4方位调整

如附图1所示，本发明采用的标准物4的外形尺寸为300mm×300mm，上面分布有28条水平线、28条竖直线5和27个圆6；电控平台3可实现标准物4相对于像平面的调整，在光轴方向的行程为400mm；为了保证标准物4充满视场，相机1的分辨率设置为2560像素×2560像素，焦距设置为18mm，标准物4移动位于电控平台3的行程的一半处，完成相机1设置后，利用型号为MV-CH120-10TM的海康视康相机1和SIGMA18-35mm镜头2获取标准物4的图像，并利用canny算子和公式(1)所示的灰度重心法分别提取直线5上的边缘点坐标和圆6的重心坐标。随后，通过OPNP算法反复计算标准物4和像平面之间的位姿，并通过电控平台3调整两者之间的姿态，直至相机1的光轴与标准物4垂直。

2.畸变曲线独立标定

根据公式(2)建立边缘点的回归直线方程，依据公式(3)建立畸变边缘点的像素坐标到所有回归直线距离平方和的平均值方程，将公式(4)所示的径向畸变和偏心畸变引入到公式(3)中得到公式(5)，以检测到的图像上所有失真直线的边缘点为观测值，通过公式(5)求得整副图像的畸变曲线。

3.图像畸变等畸变量分区标定

为了使畸变曲线对整副图像的畸变行为描述的更加准确，本发明实施例中将分区数量设置为4，并以等畸变量为准则划分采集的畸变图像。对于每一个分区，利用提取到的该分区内的边缘点标定畸变曲线，得到4组畸变系数，图像畸变等畸变量分区标定步骤为：

1)首先，利用标准物4图像上检测到的所有边缘点求解整副图像的畸变曲线L′。随后，根据图像的分辨率为2560像素×2560像素，图像的畸变中心为(u₀,v₀)＝(1280,1280)，得到最大畸变半径为r_max＝1810像素。再由畸变曲线L′和最大畸变半径确定整副图像畸变量的最大值δ_max＝40.1像素；

2)确定畸变半径的下限值，通过畸变标定算法的收敛性确定δl_imiteδ＝1.1像素；

3)确定分区数量n_p＝4；

4)用畸变量最大值δ_max、畸变量下限值δ_limited以及分区数量n_p确定等分畸变量的大小

像素；

5)由δ_equ和畸变曲线L′确定各个分区范围：分区1([0像素,759像素])、分区2([759像素,1312像素])、分区3([1312像素,1652像素])、分区4分区2([1652像素,1810像素])；

6)依据上面采用直线标定图像畸变的方法，利用图像上各分区内提取的直线边缘点求解对应分区的畸变曲线，共得到附图3所示的4个分区对应的4条畸变曲线，这样就实现了整张近景图像畸变的分区域准确描述。

本发明基于等畸变量分区的近景图像畸变标定方法，首先，以失真直线上的边缘点为输入，通过拟合回归直线方程的方式实现畸变系数的独立标定，避免了相机1中内参数、外参数与畸变系数标定误差间的交互影响。此外，在利用所有直线边缘点标定整副图像畸变的基础上，本发明采用等畸变量的策略对图像畸变进一步划分，并采用该分区内的边缘点标定该分区的畸变，完成了整副畸变图像的多组畸变曲线表征，实现了近景图像畸变行为的准确表达。

Claims (1)

1.一种基于等畸变量分区的近景图像畸变标定方法，其特征在于，首先，通过单个相机采集其前方电控平台上标准物的图像，经过图像处理获得标准物上直线的边缘点和圆的重心坐标，并借助N点透视算法调整标准物与像平面平行；然后，建立边缘点的回归直线方程，根据物方直线的曲线映射可反映为由径向畸变系数和偏心畸变系数表达的镜头畸变这一特性，求解整幅图像的畸变曲线；以此为基础，根据畸变半径的下限值、畸变量最大值、畸变分区数量以及整幅图像的畸变曲线，采用等畸变量的策略对整幅图像畸变进行进一步的划分；最后，采用分区域畸变分区域求解的方式，实现了整幅近景图像畸变的准确标定；具体步骤如下：

(1)图像采集、图像处理与标准物姿态调整

固定相机位置，将具有直线和圆的标准物安装于多轴电控平台上，将电控平台连同标准物置于单个相机的前方；根据标准物的外形尺寸以及物距的大小来设置相机的成像参数；随后，开启相机采集标准物的图像；

标准物的图像处理包括直线上边缘点的检测以及圆重心的定位；首先采用canny边缘算子以亚像素的精度检测图像中位于直线上的边缘点；然后，利用灰度重心法定位标准物上圆的重心，灰度重心法采用公式(1)，表示为：

其中，f(u,v)为像素点位置(u,v)处的灰度值，Ω为标准物图像上圆所围成的像素点的集合，

为由灰度重心法获得的圆的重心坐标；

随后，通过N点透视算法反复计算标准物和相机像平面之间的姿态，并通过电控平台调整这一位姿，直至相机的光轴方向与标准物垂直，记录此种状态下图像处理获得的边缘点和圆重心的二维像素坐标；

(2)图像畸变独立标定

给定属于图像上同一曲线的i个边缘点(u₁,v₁)…(u_N,v_N)，这些点群确定的回归直线方程公式(2)表示为：

a′u+b′v-c′＝0 (2)

令a′＝sinφ，b′＝cosφ，c′＝A_u sinφ+A_v cosφ，

其中，φ为回归直线与图像水平方向的夹角，令

假定图像上检测到的直线上的边缘点总数为n_l；令(u_i,v_i)为边缘点的像素坐标，i＝1…n_l；则边缘点到所有回归直线距离平方和的平均值用公式(3)表示为：

镜头组件的制造和装配误差使图像产生径向畸变和偏心畸变，是直线在像平面上的投影发生扭曲的根本原因，径向畸变和偏心畸变的用公式(4)表示为：

其中，

为物点的理论坐标像素，(u₀,v₀)为图像的中心，大小为图像分辨率的一半，

为像点的畸变半径，k₁、k₂为径向畸变的前两阶系数；p₁、p₂为偏心畸变的前两阶系数；

将公式(4)带入公式(3)中得到公式(5)：

假设在图像上有n条直线，并且每条直线上有m个边缘点能被检测出；那么，得到n·m个公式(5)所示的方程；由于这些方程中有n+4个带求解的变量，因此，若n·m＞n+4，采用Levenberg-Marquardt优化算法，即可优化求解公式(5)中的前两阶径向畸变系数k₁和k₂以及前两阶偏心畸变系数p₁和p₂；

(3)近景图像畸变等畸变量分区标定

为了使求解的畸变曲线对整幅图像的畸变行为描述的更加准确，以等畸变量为准则将采集图像划分为几个区域；对于每一个分区，利用步骤(2)中步骤分别标定畸变，得到多组畸变系数，绘制后得到多条畸变曲线；图像畸变等畸变量分区标定的具体步骤为：

1)图像畸变量最大值的确定；利用标准物图像上检测到的所有边缘点求解整幅图像的畸变曲线L′；随后，根据图像的最大畸变半径和畸变曲线确定图像畸变量的最大值δ_max；图像的最大畸变半径为

其中，l_I和h_I分别为图像的长度和高度；

2)畸变半径下限值的确定；在图像中心区域内畸变量较小，畸变量过小是畸变标定算法产生奇异解，导致去畸变图像的质量远不及原图；为此，以畸变标定算法在图像中心区域收敛时的最小畸变量δ_limited为阈值确定图像畸变半径的下限r_limited；

3)设置分区数量n_p；

4)等分畸变量大小的确定；用畸变量最大值δ_max、畸变量下限值δ_limited以及分区数量n_p确定等分畸变量的大小

5)由δ_equ和畸变曲线L′确定分区半径R_j，j＝1...n_p；

6)根据步骤(2)中方法，利用图像上各分区内的直线边缘点求解对应分区的畸变曲线，共得到n_p组畸变系数对应的n_p条畸变曲线，进而实现整幅图像畸变的分区域精细表征。

Images