CN108492263A - 一种镜头径向畸变校正方法 - Google Patents

Abstract

本发明提出一种镜头径向畸变校正方法，属于图像处理技术领域，本发明可以对短焦距镜头产生明显的径向畸变进行校正，校正方法简单、校正效果好，且具有极强的鲁棒性，本发明中采用J‑Linkage算法利用杰卡德距离进行自动聚类，不需要事先给定模型实例的数量，不需要任何的参数调试；本发明中根据同类圆弧的数量和畸变模型不同，提出了3种方法计算畸变中心和畸变系数；本发明中采用逆向模型校正算法不会出现校正图像出现空洞现象，成功避免插值等额外的操作，与此同时获得较好的校正效果以及更优的实时性。

Description

一种镜头径向畸变校正方法

技术领域

本发明属于图像处理技术领域，具体涉及一种镜头径向畸变校正方法。

背景技术

广角镜头、鱼眼镜头等短焦距镜头因其镜头视角大、视野宽阔的特点，被广泛应用于安防监控、行车记录等领域。但是，由于这类短焦距镜头获取的图像会产生明显的径向畸变，不符合人眼的视觉习惯，并且，在图像处理中，径向畸变还会引起图像数据的偏差，使得依靠图像信息进行的后续处理产生严重误差，因此，有必要对畸变的图像进行适当校正。

发明内容

针对现有技术的不足，本发明提出一种镜头径向畸变校正方法，以达到对短焦距镜头产生明显的径向畸变进行校正的目的。

一种镜头径向畸变校正方法，包括以下步骤：

步骤1、对畸变图像进行边缘检测，进行二值化处理获得二值图像，再通过滤波、角点提取获取畸变图像的边缘轮廓；

步骤2、对上述边缘轮廓进行圆弧检测，提取边缘轮廓中全部圆弧；

步骤3、采用J-Linkage算法对全部圆弧进行聚类处理；

步骤4、根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数；

步骤5、根据畸变中心和所述畸变系数对畸变图像进行除法模型逆向校正，获得校正后图像。

步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧为一条时，设置图像中心为畸变中心，根据所述畸变中心和单参数除法模型计算畸变系数；

除法模型畸变参数方程如下：

其中，x₀表示畸变中心横坐标，y₀表示畸变中心纵坐标，e，f，g表示圆弧参数，e＝-2x_c，x_c表示一条圆弧拟合出的圆的圆心横坐标，f＝-2y_c，y_c表示一条圆弧拟合出的圆的圆心纵坐标，R表示一条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧为两条时，提取两条圆弧的圆弧半径，根据圆弧半径拟合两条对应的圆弧，获得两条所述圆弧的圆弧参数(e₁，f₁，g₁)，(e₂，f₂，g₂)，根据两条所述圆弧参数，构建所述畸变图像的初始图像中心集，具体如下：

两条圆弧除法模型畸变参数方程如下：

其中，e₁＝-2x_cl，x_c1表示第一条圆弧拟合出的圆的圆心横坐标；f₁＝-2y_c1，y_c1表示第一条圆弧拟合出的圆的圆心纵坐标；R₁表示第一条圆弧拟合出的圆的半径；e₂＝-2x_c2，x_c2表示第二条圆弧拟合出的圆的圆心横坐标f₂＝-2y_c2，y_c2表示第二条圆弧拟合出的圆的圆心纵坐标R₂表示第二条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

以图像中心点坐标为中心选取设定区域，将该区域内所有的像素点作为初始图像中心集；

将中心集内所有像素点坐标代入公式(4)(5)中，每一个像素点会得到两个畸变系数λ1，λ₂计算平均值获得对应畸变系数；

根据所述初始图像中心集、所述畸变系数和除法模型，获得圆弧上点的对应校正点；

采用最小二乘法从所述校正点中拟合出两条圆弧各自对应的直线；

获得所述校正点到所述直线的距离，且在所述距离之和为最小值的情况下，获取最优畸变参数。

步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧大于等于三条时，分别设置每条所述同类圆弧的圆弧参数为(e₁，f₁，g₁)，(e₂，f₂，g₂)……(e_n，f_n，g_n)，根据每条所述圆弧参数和除法模型，获得图像中心点和畸变系数，大于等于三条圆弧除法模型畸变参数方程如下：

其中，G＝[g₁，g₂，g₃…g_n]^T，g₁，g₂，g₃…g_n为圆弧参数；E＝[e₁，e₂，e₃…e_n]^T其中e₁，e₂，e₃…e_n为圆弧参数；F＝[f₁，f₂，f₃…f_n]^T其中f₁，f₂，f₃…f_n为圆弧参数；

令a₁＝x₀，a₂＝y₀，式(5)转化为

y＝a₁·x₁+a₂·x₂+b (7)

其中，

采用最小二乘法解超定方程(6)，获得畸变中心(x₀，y₀)和畸变系数λ。

本发明优点：

本发明提出一种镜头径向畸变校正方法，可以对短焦距镜头产生明显的径向畸变进行校正，校正方法简单、校正效果好，且具有极强的鲁棒性，本发明中采用J-Linkage算法利用杰卡德距离进行自动聚类，不需要事先给定模型实例的数量，不需要任何的参数调试；本发明中根据同类圆弧的数量和畸变模型不同，提出了3种方法计算畸变中心和畸变系数；本发明中采用逆向模型校正算法不会出现校正图像出现空洞现象，成功避免插值等额外的操作，与此同时获得较好的校正效果以及更优的实时性。

附图说明

图1为本发明一种实施例的镜头径向畸变校正方法流程图；

图2为本发明一种实施例的畸变图像的二值图像；

图3为本发明一种实施例的畸变图像的边缘轮廓图像；

图4为本发明一种实施例的提取全部圆弧图像；

图5为本发明一种实施例的圆弧聚类后图中的最终圆弧示意图；

图6为本发明一种实施例的校正前畸变图形示意图；

图7为本发明一种实施例的校正后图形示意图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，镜头径向畸变校正方法，方法流程图如图1所示，包括以下步骤：

步骤1、对畸变图像进行边缘检测，进行二值化处理获得二值图像，再通过滤波、角点提取获取畸变图像的边缘轮廓；

本发明实施例中，如图2所示畸变图像的二值图像；对畸变图像进行边缘检测，使用canny算子获得二值图像，之后通过滤波，角点提取获取所述畸变图像的边缘轮廓；本发明实施例中，如图3所示畸变图像的边缘轮廓图像；

步骤2、对上述边缘轮廓进行圆弧检测，提取边缘轮廓中全部圆弧；

本发明实施例中，如图4所示提取全部圆弧图像。

步骤3、采用J-Linkage算法对全部圆弧进行聚类处理；

本发明实施例中，采用J-Linkage算法，首先需要对圆弧进行采样，构成每条圆弧的最小采样集，其具体过程为：

本发明实施例中，假设模型实例的个数为M，模型实例的个数就是概念空间的维数；每个模型的最小采样点的个数是n，最小样本的个数必须要一定大才能保证算法在采样时有确定的内点个数K包含在样本中，其概率计算公式为：

其中，p表示采样集合全部由内点组成的概率，其大小取决于采用的抽样方法和最小采样集合的个数；已知最小样本集中内点的概率后，J-Linkage算法优先选择考虑近邻空间数据点形成最小样本集；也就是说，在某次采样中某个点x_i被选中了，那么下一次的采样该点被选中的概率为：

本发明实施例中，根据所述每条圆弧的最小采样集计算任意两条圆弧对应的距离参数，具体为：计算每个最小采样集的倾向向量；计算任意两个所述倾向向量间的距离参数。

本发明实施例中，在最小采样集合形成之后，可以得到最小采样集合中点的一个实例假设；如果目标模型用F(p，θ)＝0表示，p_i、θ_i分别是采样点数据和模型实例，那么第j个模型实例的第个i内点满足约束条件：

|F(p_i，θ_i)|≤ε (10)

其中，ε表示模型实例的一致性的阈值；

由此把满足(10)的数据点称作是第j个模型实例的一致集，利用模型实例的一致集建立每个数据点属于每个实例的倾向集合，即是前面讨论过的相似概念空间。因此，用一个0-1向量表示一个数据点在M个模型实例中的相似概念空间

PS_i＝[ps_i，1 ps_i，2 … ps_i，M]_1×M

式(11)是第i个数据点的倾向向量，假设样本数据的大小为N，那么样本数据的所有倾向向量可以表示成一个矩阵，该矩阵称作为倾向矩阵：

式(12)就是J-linkage算法所有数据点映射到相似概念空间的矩阵表达形式；

J-Linkage采用从底向上的聚类方法；该聚类方法首先扫描包含单个实例的距离，然后把有最小距离的两个实例进行合并；J-Linkage算法再计算模型实例距离时采用的是杰卡德距离，这也是J-Linkage算法的名字由来；假设两个模型实例集合，两个集合的杰卡德距离表达式为：

其中，|S|的具体含义是集合中的元素个数；

本发明实施例中，在所述距离参数小于预设阈值的情况下，将对应的两条所述圆弧聚为一类，如图5所示将圆弧聚类后图中的最终圆弧，由图5可知本发明实施例中，使用J-linkage算法在提取的圆弧中应用杰卡德距离对圆弧进行了聚类；

步骤4、根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数；

(1)当在所述同类圆弧为一条时，设置图像中心为畸变中心，根据所述畸变中心和单参数除法模型计算畸变系数；

除法模型畸变参数方程如下：

其中，x₀表示畸变中心横坐标，y₀表示畸变中心纵坐标，e，f，g表示圆弧参数，e＝-2x_c，x_c表示一条圆弧拟合出的圆的圆心横坐标，f＝-2y_c，y_c表示一条圆弧拟合出的圆的圆心纵坐标，R表示一条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

(2)当在所述同类圆弧为两条时，提取两条圆弧的圆弧半径，根据圆弧半径拟合两条对应的圆弧，获得两条所述圆弧的圆弧参数(e₁，f₁，g₁)，(e₂，f₂，g₂)，根据两条所述圆弧参数，构建所述畸变图像的初始图像中心集，具体如下：

两条圆弧除法模型畸变参数方程如下：

其中，e₁＝-2x_cl，x_c1表示第一条圆弧拟合出的圆的圆心横坐标；f₁＝-2y_c1，y_c1表示第一条圆弧拟合出的圆的圆心纵坐标；R₁表示第一条圆弧拟合出的圆的半径；e₂＝-2x_c2，x_c2表示第二条圆弧拟合出的圆的圆心横坐标f₂＝-2y_c2，y_c2表示第二条圆弧拟合出的圆的圆心纵坐标R₂表示第二条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

以图像中心点坐标为中心选取设定区域，将该区域内所有的像素点作为初始图像中心集；

将中心集内所有像素点坐标代入公式(4)(5)中，每一个像素点会得到两个畸变系数λ1，λ₂计算平均值获得对应畸变系数；

根据所述初始图像中心集、所述畸变系数和除法模型，获得圆弧上点的对应校正点；

采用最小二乘法从所述校正点中拟合出两条圆弧各自对应的直线；

获得所述校正点到所述直线的距离，且在所述距离之和为最小值的情况下，获取最优畸变参数。

(3)当在所述同类圆弧大于等于三条时，分别设置每条所述同类圆弧的圆弧参数为(e₁，f₁，g₁)，(e₂，f₂，g₂)……(e_n，f_n，g_n)，根据每条所述圆弧参数和除法模型，获得图像中心点和畸变系数，大于等于三条圆弧除法模型畸变参数方程如下：

其中，G＝[g₁，g₂，g₃…g_n]^T，g₁，g₂，g₃…g_n为圆弧参数；E＝[e₁，e₂，e₃…e_n]^T其中e₁，e₂，e₃…e_n为圆弧参数；F＝[f₁，f₂，f₃…f_n]^T其中f₁，f₂，f₃…f_n为圆弧参数；

令a₁＝x₀，a₂＝y₀，式(5)转化为

y＝a₁·x₁+a₂·x₂+b (7)

其中，

本发明实施例中，采用最小二乘法解超定方程(6)，获得畸变中心(x₀，y₀)和畸变系数λ。

步骤5、根据畸变中心和所述畸变系数对畸变图像进行除法模型逆向校正，获得校正后图像；

本发明实施例中，对除法模型表达式用Taylor级数偶次展开后可得：

其中，r_d为畸变图像上的点到畸变中心的欧式距离，r_u为校正图像上的点到畸变中心的欧式距离，λ₁，λ₂是畸变系数；

本发明实施例中，利用单参数除法模型(λ₂＝λ₃＝…0)因为对于大多数鱼眼相机，单参数除法模型已经有足够的精度，这也是除法模型的优势，能以低的次数和非常少的参数表示畸变关系；

单参数除法模型为：

对(15)变形可得：

对于式(16)为一元二次方程，由于枕形失真下λ＜0，判别所以方程有两个实根；本发明实施例中取其中的正实根，有：

其中，r_u为校正图像图像到畸变中心的欧式距离：

其中，x_u校正图像上点的横坐标，y_u校正图像上点的纵坐标

本发明实施例中，在只考虑径向畸变的情况下，畸变图像点和校正图像的的斜率相同，可以得到同一像素点的校正物理坐标和畸变物理坐标之间成比例的关系：

x_d畸变图像上点的横坐标，y_d畸变图像上点的纵坐标

将式(19)转化为：

将式(17)和(18)都代入式(20)和(21)中便可以得到x_d与x_u关系，y_d与y_u关系；

因此本发明实施例中，使用逆向校正方法选取与畸变图像大小一样模板，利用校正模板中的以像素为单位的图像坐标(x_u，y_u)来求解校正前的以像素为单位的图像坐标(x_d，y_d)，避免了用正向校正模型过程中，由于无法保证校正后的全部图像坐标都有对应的像素值，坐标变换并不能完全覆盖校正后图像上的任意像素点，这样在校正后图像上会产生某些像素点的灰度信息缺失，导致生成的校正图像出现空洞现象，使用逆向校正方法可以成功避免插值等额外的操作，与此同时获得较好的校正效果以及更优的实时性。

本发明实施例中，如图6所示校正前畸变图形，如图7所示校正后图形；由图可知这类短焦距镜头获取的图像会产生明显的径向畸变，不符合人眼的视觉习惯，在图像处理中，径向畸变还会引起图像数据的偏差，经过我们校正后，图片中建筑物更加符合实际中的形状，将畸变图像中的被弯曲的直线尽最大可能恢复为直线。

Claims (4)

1.一种镜头径向畸变校正方法，其特征在于，包括以下步骤：

步骤1、对畸变图像进行边缘检测，进行二值化处理获得二值图像，再通过滤波、角点提取获取畸变图像的边缘轮廓；

步骤2、对上述边缘轮廓进行圆弧检测，提取边缘轮廓中全部圆弧；

步骤3、采用J-Linkage算法对全部圆弧进行聚类处理；

步骤4、根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数；

步骤5、根据畸变中心和所述畸变系数对畸变图像进行除法模型逆向校正，获得校正后图像。

2.根据权利要求1所述的镜头径向畸变校正方法，其特征在于，步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧为一条时，设置图像中心为畸变中心，根据所述畸变中心和单参数除法模型计算畸变系数；

除法模型畸变参数方程如下：

其中，x₀表示畸变中心横坐标，y₀表示畸变中心纵坐标，e，f，g表示圆弧参数，e＝-2x_c，x_c表示一条圆弧拟合出的圆的圆心横坐标，f＝-2y_c，y_c表示一条圆弧拟合出的圆的圆心纵坐标，R表示一条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

3.根据权利要求1所述的镜头径向畸变校正方法，其特征在于，步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧为两条时，提取两条圆弧的圆弧半径，根据圆弧半径拟合两条对应的圆弧，获得两条所述圆弧的圆弧参数(e₁，f₁，g₁)，(e₂，f₂，g₂)，根据两条所述圆弧参数，构建所述畸变图像的初始图像中心集，具体如下：

两条圆弧除法模型畸变参数方程如下：

其中，e₁＝-2x_c1，x_c1表示第一条圆弧拟合出的圆的圆心横坐标；f₁＝-2y_c1，y_c1表示第一条圆弧拟合出的圆的圆心纵坐标；R₁表示第一条圆弧拟合出的圆的半径；e₂＝-2x_c2，x_c2表示第二条圆弧拟合出的圆的圆心横坐标f₂＝-2y_c2，y_c2表示第二条圆弧拟合出的圆的圆心纵坐标R₂表示第二条圆弧拟合出的圆的半径；

畸变系数计算公式如下：

以图像中心点坐标为中心选取设定区域，将该区域内所有的像素点作为初始图像中心集；

将中心集内所有像素点坐标代入公式(4)(5)中，每一个像素点会得到两个畸变系数λ₁，λ₂计算平均值获得对应畸变系数；

根据所述初始图像中心集、所述畸变系数和除法模型，获得圆弧上点的对应校正点；

采用最小二乘法从所述校正点中拟合出两条圆弧各自对应的直线；

获得所述校正点到所述直线的距离，且在所述距离之和为最小值的情况下，获取最优畸变参数。

4.根据权利要求1所述的镜头径向畸变校正方法，其特征在于，步骤4所述的根据同类圆弧的数量和畸变模型，确定畸变中心和畸变系数，具体如下：

当在所述同类圆弧大于等于三条时，分别设置每条所述同类圆弧的圆弧参数为(e₁，f₁，g₁)，(e₂，f₂，g₂)……(e_n，f_n，g_n)，根据每条所述圆弧参数和除法模型，获得图像中心点和畸变系数，大于等于三条圆弧除法模型畸变参数方程如下：

其中，G＝[g₁，g₂，g₃…g_n]^T，g₁，g₂，g₃…g_n为圆弧参数；E＝[e₁，e₂，e₃…e_n]^T其中e₁，e₂，e₃…e_n为圆弧参数；F＝[f₁，f₂，f₃…f_n]^T其中f₁，f₂，f₃…f_n为圆弧参数；

令a₁＝x₀，a₂＝y₀，式(5)转化为

y＝a₁·x₁+a₂·x₂+b (7)

其中，

采用最小二乘法解超定方程(6)，获得畸变中心(x₀，y₀)和畸变系数λ。