CN107492080B - 免定标便捷的单目镜头图像径向畸变矫正方法 - Google Patents

Abstract

一种免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，分为以下步骤：1)对于单目摄像头所获取的单个图像或视频中的某一帧图像，在图像上标出3个矫正标记点；2)根据图像的畸变特征，构造径向畸变矫正计算模型；3)对矫正标记点进行数据优化，以消除误差和提高矫正算法的鲁棒性；4)运用优化后的矫正标记点，对畸变矫正计算模型进行数值求解，反求径向畸变参数；5)根据径向畸变参数，进行图像矫正，即计算矫正图片上每一点的像素值。本发明用户无需任何辅助定标图像，也无需预知或输入任何摄像头参数，只要交互输入3个点，即可实时实现图像矫正。

Description

免定标便捷的单目镜头图像径向畸变矫正方法

技术领域

本发明涉及图像处理领域中摄像头图像的后期处理技术，尤其涉及一种免定标便捷的单目镜头图像径向畸变矫正方法。

背景技术

由于摄像机镜头并不符合理想的针孔成像模型，所以摄取的图像普通存在桶形畸变、枕形畸变和鱼眼畸变。桶形畸变和枕形畸变统称为径向畸变。桶形畸变一般都是广角镜头形成的，远离镜头光轴区域的放大率比光轴附近的低，在像平面内出现外凸的情景。而枕形畸变一般是由远摄镜头形成的，视场边缘部分的放大率高于光轴中心部分，将矩形物体拍成四边向内凹进形如枕头的影像。摄像头图像的畸变矫正在机器视觉领域和图像处理领域都有着非常重要的应用价值。如何使用免定标技术，在无法预知各种镜头参数的情况下来矫正这些畸变的图像和视频一直是图像处理领域的技术难题。本专利针对单目摄像头的径向畸变图片，发明了一种免定标免参数的畸变图片自动矫正技术，填补了这一技术空白。

为了消除摄像机镜头的径向图像畸变，目前的矫正方法主要分为三种。

第一种是模板定标法。模板定标法需要制定一块定标模板，定标模板一般采用标准网格或者同心圆图像。将定标模板放在摄像机下拍摄采样图像，然后在采样图像上提取采样点，形成采样点群组，再利用采样点图像坐标和预知的采样点真实世界坐标，运用多项式拟合或样条拟合等方法，拟合出摄像机镜头的各种参数和畸变参数。这种方法的矫正精度高，是目前应用最广泛的矫正方法。此方法最大的缺陷是：在很多实际应用中，根本无法用摄像机对定标模板进行拍摄和采样，也就无法进行矫正了。

第二种是基于镜头特征参数的矫正方法。这种方法不需要制作定标模板，但必须预知镜头的某些特定的光学参数(如焦距等)值，然后根据选用的校正模型对畸变图像实施校正的方法。这种基于特征参数的方法无需制定模板，计算过程也较为简单。但是矫正的精确度比较低，适应范围也比较窄，只能针对某些特定的镜头。在很多实际应用中，根本无法预先获知镜头的特征参数和畸变模型。

第三种是多目镜头矫正法。利用多个摄像机从不同角度对同一目标进行拍摄，利用两幅或多幅图像间的特征点匹配，在某种约束下(如交比的投影不变性)进行畸变参数估计来实现自标定。比如基于径向基本矩阵的矫正方法和基于圆心共线约束的矫正方法。这类方法的缺点是需要多个摄像头拍摄的多幅标定图像，计算过程繁琐。

本发明提出的免定标单目摄像头径向畸变图片自动矫正技术，用户无需任何辅助定标图像，也无需输入任何摄像头参数，只要便捷地交互输入3个点，即可实时实现图像矫正。

发明内容

针对上述问题，本发明的目的针对单目摄像头拍摄的径向畸变图片，本发明提供了一种免定标的图片自动矫正技术。用户无需任何辅助定标图像，也无需预知或输入任何摄像头参数，只要交互输入3个点，即可实时实现图像矫正。因为畸变参数只需求取一次，本发明的矫正技术不仅能对图像的所有像素进行并行处理，而且能对视频的所有帧进行并行处理，所以此技术也适用于视频的实时径向畸变矫正。

本发明解决上述技术问题所采用的技术方案是：免定标便捷的单目镜头图像径向畸变矫正方法，分为以下步骤：

1)对于单目摄像头所获取的单个图像或视频中的某一帧图像，在图像上按一定准则便捷地标出3个矫正标记点；

2)根据图像的径向畸变特征，构造径向畸变矫正计算模型；

3)对矫正标记点进行数据优化，以消除各种误差(比如输入误差和坐标转换误差)和提高矫正算法的鲁棒性；

4)运用优化后的矫正标记点，对畸变矫正计算模型进行数值求解，反求径向畸变参数；

5)根据径向畸变参数，进行图像矫正，即计算矫正图片上每一点的像素值。

1.矫正标记点

在步骤1)中输入的矫正标记点，其输入准则为：

1)这三点在畸变前是一条直线，畸变后按输入顺序形成一条折线段。折线段不能有重叠和迂回，最好选择靠近畸变中心；

2)畸变中心点必须在这3个矫正标记点所形成的三角形之外；

3)3个矫正标记点分别和畸变中心点的连线，必须按照顺时针或逆时针统一排列；

4)3个矫正标记点中的任两点和畸变中心点不能三点共线。

这折线段主要用来标记原本是直线而被摄像头镜头畸变成弧线的地方，本发明的目标就是将图片中因畸变弯曲的地方还原变直。一般情况下可以沿着门的边框、房子柱子的边缘、马路的边缘，地板的直线纹路等地方依次输入3点即可。

准则2)中所述的畸变中心点是指畸变图像上摄像机镜头中心所获取的像素点。一般情况是指畸变图片的中心点。如果图像有偏移，畸变中心点就不一定是整个图像的中心点，这时需要重新定位。用户可以直接用鼠标交互输入畸变中心点。畸变中心点非常重要，下面的矫正算法都是基于这个中心点来完成的。

2.矫正计算模型

图像上的畸变特征是图像中物体所表现出来的畸变弯曲情况，本发明可以支持图像的径向畸变矫正，包括桶形畸变和枕形畸变。首先建立以畸变中心点为原点，像素的行方向为x轴方向，像素的列方向为y方向的笛卡尔坐标系。在此坐标系下，第i行第j列的像素坐标为P(P_x,P_y):

P_x＝j–(w-1)/2j＝0…w-1

P_y＝i–(h-1)/2i＝0…h-1

其中w是图像的宽度，即一行的像素个数，而h是图像的高度，即一列的像素个数。设点P矫正后的坐标为P’(P_x’,P_y’)，P相对于原点的距离为r_p，那么对于径向畸变，采用如下计算模型：

P’＝k₁(1+k₂r_p ²)P

3.优化矫正标记点

为消除数据的各种误差(比如输入误差和坐标转换误差)并提高矫正算法的鲁棒性，需要对矫正标记点进行数据优化。记矫正标记点为P₁，P₂，P₃，它们的坐标分别表示为：P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃)。考虑到空间的对称性并简化计算，仅需对P₂进行调整优化。设P₂调整后的点为P₄，取P₄＝sP₂。求取判别式E：

A＝y₃r₃ ²–y₁r₁ ²

B＝x₃r₃ ²–x₁r₁ ²

C＝y₂r₂ ²–y₁r₁ ²

D＝x₂r₂ ²–x₁r₁ ²

E＝AD–BC

如果E≥0，则无需调整标记点，即s＝1，P₄＝P₂。否则采用二分优化方法搜索出最优的P₄代替P₂。取s_a＝s₀，s_b＝1，s₀计算方式为：

s₀＝(y₁(x₃-x₁)–x₁(y₃-y₁))/(y₂(x₃-x₁)–x₂(y₃-y₁))

按以下两步循环迭代优化搜索最优的s，直到s_b–s_a小于预定的阀值：

1)取s＝(s_a+s_b)/2，P₄＝sP₂，以P₄坐标代替P₂坐标计算判别式E；

2)如果E≥0，s_a＝s，否则s_b＝s；

迭代结束后取P₄＝s_aP₂。

4.求解径向畸变参数

畸变矫正的关键就在于如何优化求解这些畸变矫正计算模型中的k₁，k₂，使得调整后的标记点P₁，P₄，P₃矫正后得到的P₁’，P₄’，P₃’趋于共线。也就是使得角度∠P₄ ^’P₁ ^’P₃ ^’＝0。将∠P₄ ^’P₁ ^’P₃ ^’＝0转化为sin(∠P₄ ^’P₁ ^’P₃ ^’)＝0。通过向量叉乘这个有向角度可以表示为：

sin(∠P₄ ^’P₁ ^’P₃’)＝P₄’P₁’X P₃’P₁’/(‖P₄’P₁’‖x‖P₃’P₁’‖)

直接求解sin(∠P₄’P₁’P₃’)＝0，得到两个解S₁，S₂：

F＝A(x₄-x₁)-B(y₄-y₁)-C(x₃-x₁)+D(y₃-y₁)

G＝(y₃-y₁)(x₄-x₁)-(y₄-y₁)(x₃-x₁)

S₁＝(-F+(F²-4EG)^1/2)/(2E)

S₂＝(-F-(F²-4EG)^1/2)/(2E)

其中A、B、C、D、E的求解方式采用优化矫正标记点中的计算方法。

在桶形畸变的情况下，一般取k₂＝S₁，如果S₁>S₂>0或者S₁<0，那么k₂＝S₂。k₁的取值为：

k₁＝1/(1+k₂h²/4)

在枕形畸变的情况下，一般取k₂＝S₂，如果S₂<S₁<0或者S₂>0，那么k₂＝S₁。k₁的取值为：

k₁＝1/(1+k₂(h²+w²)^1/2/4)

5.图像矫正

图像矫正分为正向矫正和逆向矫正。正向矫正是指对畸变图像上的每一点，找到矫正后的新位置，并把像素值复制至矫正图片的该位置。而逆向矫正是指对于矫正图片上的每一点，找到畸变图像上的一点来填充像素值。正向矫正可以通过求取的畸变参数和畸变计算模型直接实现。逆向变换通过计算模型的逆变换实现。

逆向矫正时，如果x_p’＝0，那么取x_p＝0，通过以下3次方程可以求解y_p:

y_p’＝k₁(1+k₂y_p ²)y_p

如果x_p’≠0，那么取t＝y_p’/x_p’，设y_p＝t x_p，通过以下3次方程求解x_p。

(1+t)²k₁k₂x_p ²+k₁x_p＝x_p’

在解上述两个三次方程时，如果只有1个实根，那么解就是这个实根，如果方程有3个实根，取相对于(x_p’,y_p’)最近的(x_p,y_p)作为解。

本发明的优点在于：

本发明了一种免定标的图片自动矫正技术。用户无需任何辅助定标图像，也无需预知或输入任何摄像头参数，只要交互输入3个点，即可实时实现图像矫正。因为畸变参数只需求取一次，本发明的矫正技术不仅能对图像的所有像素进行并行处理，而且能对视频的所有帧进行并行处理，所以此技术也适用于视频的实时径向畸变矫正。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为摄像头产生桶形畸变时的图像

图2为摄像头产生枕形畸变时的图像

图3为将图1中的图像进行桶形畸变矫正后的图像

图4为将图2中的图像进行枕形畸变矫正后的图像

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

针对不同的畸变特征，给定单幅畸变图像。如图所示，图1和图2分别显示了摄像头产生桶形畸变和枕形畸变时的图像。在图1中，左边的柱子和右边墙上大理石的直线缝隙都畸变成了弧线。在图2中，左侧和右侧的房屋竖直轮廓畸变成了内凹弧线。本发明的功能就是在无定标板、无摄像头参数和其它辅助图像的情况下，矫正图像中的畸变。

步骤1用户须在畸变图中输入矫正标记点，3个矫正标记点形成的折线段在图中用红色标记。在图1中沿着左边的柱子边缘从上到下输入3个矫正标记点。在图2中沿着房屋右侧的轮廓线从上到下输入3个矫正标记点。

步骤2根据图像的畸变特征，建立畸变的计算模型。设图像有h行，w列像素，那么建立以图像中心点为原点，像素的行方向为x轴方向，像素的列方向为y方向的笛卡尔坐标系。在此坐标系下，第i行第j列的像素坐标P_i,j(x_i,j,y_i,j)为:

x_i,j＝j–(w-1)/2j＝0…w-1

y_i,j＝i–(h-1)/2i＝0…h-1

对于图1和图2，畸变中心点为图像中点，即坐标原点。设点P_i,j相对于畸变中心的距离为r_i,j，P_i,j矫正后的坐标为P_i,j’(x_i,j’,y_i,j’)，那么P_i,j’的计算模型为

r_i,j＝(x_i,j ²+y_i,j ²)^1/2

x_i,j’＝k₁(1+k₂x r_i,j ²)x_i,j

y_i,j’＝k₁(1+k₂x r_i,j ²)y_i,j

步骤3优化矫正标记点。记3个矫正标记点的坐标为P₁(x₁,y₁)，P₂(x₂,y₂),，P₃(x₃,y₃)。考虑到空间的对称性并简化计算，仅需对P₂进行调整优化。设P₂调整后的点为P₄，取P₄＝sP₂。求取判别式E：

A＝y₃r₃ ²–y₁r₁ ²

B＝x₃r₃ ²–x₁r₁ ²

C＝y₂r₂ ²–y₁r₁ ²

D＝x₂r₂ ²–x₁r₁ ²

E＝AD–BC

对于图1和图2中的实例，计算后都有E≥0，无需调整标记点，即s＝1，P₄＝P₂。如果在图1中把标记点P₂往左移动1个厘米或100个象素点，这时E<0，必须采用二分优化方法搜索出最优的P₄代替P₂。取s_a＝s₀，s_b＝1，s₀计算方式为：

s₀＝(y₁(x₃-x₁)–x₁(y₃-y₁))/(y₂(x₃-x₁)–x₂(y₃-y₁))

按以下两步循环迭代优化搜索最优的s，直到s_b–s_a小于预定的阀值：

1)取s＝(s_a+s_b)/2，P₄＝sP₂，计算判别式E；

2)如果E≥0，s_a＝s，否则s_b＝s。

迭代结束后取P₄＝s_aP₂。我们发现这时的P₄就在未移动时P₂的附近。有效避免了标记点输入的误差。

步骤4反求畸变参数k₁，k₂。使得调整后的标记点P₁，P₄，P₃矫正后得到的P₁’，P₄’，P₃’趋于共线。在桶形畸变和枕形畸变的计算模型中，将3个点的坐标代入优化方程：

sin(∠P₄’P₁’P₃’)＝P₄’P₁’XP₄’P₁’/(‖P₄’P₁’‖x‖P₃’P₁’‖)＝0

得到两个解S₁，S₂：

F＝A(x₄-x₁)-B(y₄-y₁)-C(x₃-x₁)+D(y₃-y₁)

G＝(y₃-y₁)(x₄-x₁)-(y₄-y₁)(x₃-x₁)

S₁＝(-F+(F²-4EG)^1/2)/(2E)

S₂＝(-F-(F²-4EG)^1/2)/(2E)

在桶形畸变的情况下，一般取k₂＝S₁，如果S₁>S₂>0或者S₁<0，那么k₂＝S₂。k₁的取值为：

k₁＝1/(1+K₂h²/4)

在枕形畸变的情况下，一般取k₂＝S₂，如果S₂<S₁<0或者S₂>0，那么k₂＝S₁。K₁的取值为：

k₁＝1/(1+k₂(h²+w²)^1/2/4)

步骤5畸变矫正。得到矫正系数k₁，k₂后直接运用矫正计算模型即可进行正向矫正。对于畸变图像上的每一点P_i,j，利用变换式找到矫正后的新位置P_i,j’，并把P_i,j的像素值复制至矫正图片的第i’行第j’列。i’和j’的计算方法为：

i’＝int(y_i,j’+(h-1)/2)

j’＝int(x_i,j’+(w-1)/2)

其中int()为取整操作。而逆向矫正是指对于矫正图片上的每一点P_i,j’，找到畸变图像上的一点P_i,j来填充像素值。

对于桶形畸变和枕形畸变，需要反解计算模型中的x_i,j和y_i,j。如果x_i,j’＝0，那么取x_i,j＝0，代入计算模型，得到以下3次方程，可以求解y_i,j:

y_i,j’＝k₁(1+k₂y_i,j ²)y_i,j

如果x_i,j’≠0，那么取t＝y_i,j’/x_i,j’，设y_i,j＝t*x_i,j，代入式()，得到以下3次方程求解x_i,j：

(1+t)²k₁k₂x_i,j ²+k₁x_i,j＝x_i,j’

有了x_i,j，就可以得到y_i,j。在解上述两个三次方程时，如果只有1个实根，那么解就是这个实根，如果方程有3个实根，取相对于(x_i,j’,y_i,j’)最近的解。根据解得的(x_i,j,y_i,j)即可求出P_i,j的像素位置：

i＝int(y_i,j+(h-1)/2)

j＝int(x_i,j+(w-1)/2)

图1的畸变图像矫正后如图3所示，图2的畸变图像矫正后如图4所示，由于畸变变成弧线的直线全部矫正成为直线。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，分为以下步骤：

1）对于单目摄像头所获取的单个图像或视频中的某一帧图像，在图像上标出3个矫正标记点；

2）根据图像的畸变特征，构造径向畸变矫正计算模型；

3）对矫正标记点进行数据优化，以消除误差和提高矫正算法的鲁棒性；所述的对矫正标记点进行数据优化，是指对输入数据进行数据矫正，以消除数据的误差并提高矫正算法的鲁棒性；记矫正标记点为P₁，P₂，P₃，它们的坐标分别表示为：P₁ (x₁,y₁), P₂ (x₂,y₂), P₃(x₃,y₃)，对P₂进行调整优化，设P₂调整后的点为P₄，取P₄=sP₂；求取判别式E：

A = y₃r₃ ² – y₁r₁ ²

B = x₃r₃ ² – x₁r₁ ²

C = y₂r₂ ² – y₁r₁ ²

D = x₂r₂ ² – x₁r₁ ²

E = A*D – B*C

其中r为P相对于原点的距离

当E≥0，无需调整标记点，即s=1，P₄=P₂；当E<0，采用二分优化方法搜索出最优的P₄代替P₂；取s_a=s₀，s_b=1，s₀计算方式为：

s₀ = ( y₁(x₃-x₁) –x₁ (y₃-y₁) )/( y₂(x₃-x₁) – x₂(y₃-y₁) )

按以下两步循环迭代优化搜索最优的s，直到s_b – s_a小于预定的阀值：

1）取s = (s_a + s_b)/2，P₄=sP₂，计算判别式E；

2）如果E≥0，s_a = s，否则s_b = s₀

迭代结束后取P₄=s_aP₂；

4）运用优化后的矫正标记点，对畸变矫正计算模型进行数值求解，反求径向畸变参数；

5）根据径向畸变参数，进行图像矫正，即计算矫正图片上每一点的像素值。

2.如权利要求1所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，步骤1）所述的矫正标记点，其输入准则为：

1）这三点畸变前是一条直线，畸变后按输入顺序形成一条折线段；折线段不能有重叠和迂回，选择靠近畸变中心；

2）畸变中心点在这3个矫正标记点所形成的三角形之外；

3）3个矫正标记点分别和畸变中心点的连线，必须按照顺时针或逆时针统一排列；

4）3个矫正标记点中的任两点和畸变中心点不能三点共线。

3.如权利要求2所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，准则2）所述的畸变中心点是指畸变图像上摄像机镜头中心所获取的像素点。

4.如权利要求1所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，步骤2）所述的畸变特征是图像上表现出来的畸变弯曲情况，包含桶形畸变和枕形畸变。

5.如权利要求1所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，步骤2）所述矫正计算模型，是指模拟摄像头畸变的图像生成数值计算方法，首先建立以畸变中心点为原点，像素的行方向为x轴方向，像素的列方向为y方向的笛卡尔坐标系，

在此坐标系下，设畸变图像上的一点坐标为P，其矫正后的坐标为P^’，P相对于原点的距离为r_p，那么对于桶形畸变和枕形畸变采用如下计算模型：

P^’ = k₁ (1+k₂r_p ²) P。

6.如权利要求1所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，步骤4）所述数值的优化方案为：优化求解畸变计算模型中的k₁，k₂，使得矫正标记点P₁，P₄，P₃矫正后得到的P₁ ^’，P₄ ^’，P₃ ^’趋于共线，使得角度∠P₄ ^’P₁ ^’P₃ ^’=0；将∠P₄ ^’P₁ ^’P₃ ^’=0转化为sin(∠P₄ ^’P₁ ^’P₃ ^’)=0，通过向量叉乘这个有向角度可以表示为：

sin(∠P₄ ^’P₁ ^’P₃ ^’) = P₄ ^’P₁ ^’ X P₃ ^’P₁ ^’ / (‖P₄ ^’P₁ ^’‖x‖P₃ ^’P₁ ^’‖)

通过优化求解sin(∠P₄ ^’P₁ ^’P₃ ^’)=0得到径向畸变参数k₁，k₂。

7.如权利要求1所述的免定标便捷的单目镜头图像径向畸变矫正方法，其特征在于，步骤5）所述的图像矫正分为正向矫正和逆向矫正；正向矫正是指对畸变图像上的每一点，找到矫正后的新位置，并把像素值复制至矫正图片的该位置；逆向矫正是指对于矫正图片上的每一点，找到畸变图像上的一点来填充像素值；

逆向矫正时，如果x_p ^’=0，那么取x_p=0，通过以下3次方程可以求解y_p：

y_p ^’ = k₁ (1+k₂y_p ²) y_p

如果x_p ^’≠0，那么取t=y_p ^’/x_p ^’，设y_p=t x_p，通过以下3次方程求解x_p：

(1+t)² k₁k₂ x_p ² + k₁ x_p = x_p ^’

在解上述两个三次方程时，如果只有1个实根，那么解就是这个实根，如果方程有3个实根，取相对于(x_p’,y_p’)最近的(x_p,y_p)作为解。

Images