CN115760595B - 一种基于线段特征的超广角镜头相片畸变校正方法 - Google Patents

Abstract

本发明公开了一种基于线段特征的超广角镜头相片畸变校正方法，属于图像处理技术领域。其包括步骤：对超广角镜头图像提取线段得到线段集合；将整个图像划分为多个区域；分别定义图像的上下左右边缘区域，仅校正该区域内的直线畸变；分别获取位于各边缘区域中的线段集合；以边缘区域线段集合中线段的倾角为依据，按间隔等间距分为多个线段子集；在线段子集中寻找线段对构成匹配线段集合；生成线段特征校正点集；形成全域校正匹配点集；建立二次多项式校正模型，通过最小二乘法对超广角镜头图像进行校正。本发明充分利用图像中目标的直线特征，并结合图像重采样方法完成图像校正，有效降低手机超广角镜头在具有直线目标场景下的畸变。

Description

一种基于线段特征的超广角镜头相片畸变校正方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于线段特征的超广角镜头相片畸变校正方法。

背景技术

随着智能手机的迅速发展，手机摄影逐渐进入大众生活，且已成为日常应用中主要的拍照方式，极大程度地提升了大众摄影的便捷性，降低了拍照成本。近些年，超广角镜头逐渐被应用于智能手机中，可以为手机照片带来更大的视角和宽阔的视野，同时具备大景深拍照，可容纳下更多的近景和远景。

当前，很多手机的超广角相机最大视角超过100度，更有达到150度。虽然超广角镜头可以拍摄更大的场景，但其获得的照片会存在较大畸变，尤其是在接近边缘部分。大部分手机出厂时均会对超广角镜头进行固定参数校准，由于目标在视场中远近差异，仍然会存在一定程度的畸变，尤其在拍摄直线特征明显的目标。当超广角相片中存在直线特征明显的目标时，可以考虑直接依据直线特征对图像进行校正。因此，如何利用超广角镜头相片的直线特征对图像进行校正成为亟待解决的问题。

发明内容

本发明的目的在于提供一种基于线段特征的超广角镜头相片畸变校正方法，其充分利用图像中目标的直线特征，并结合图像重采样方法完成图像校正，有效降低手机超广角镜头在具有直线目标场景下的畸变。

本发明采用的技术方案为：

一种基于线段特征的超广角镜头相片畸变校正方法，包括以下步骤：

步骤1，采用LSD算法对超广角镜头图像IM提取线段，得到线段集合L_set；

步骤2，将整个超广角镜头图像IM划分为4*4个区域，第i行第j列的区域记为Z_ij；

步骤3，分别定义图像的上下左右边缘区域E_top、E_bot、E_lef和E_rig，仅校正该区域内的直线畸变；

步骤4，通过位置关系分别获取位于各边缘区域中的线段集合L_E；

步骤5，以边缘区域线段集合L_E中线段的倾角θ为依据，按间隔dθ将L_E等间距分为多个线段子集

步骤6，依据线段的倾角和距离约束，在线段子集中寻找线段对，构成匹配线段集合/>

步骤7，基于获取的匹配线段集合生成线段特征校正点集P_line；

步骤8，在超广角镜头图像IM的每个子区域Z_ij内均匀选择点，形成全域校正匹配点集P_adj；

步骤9，依据全域校正匹配点集P_adj建立二次多项式校正模型，通过最小二乘法校正超广角镜头图像IM，得到校正后图像IM_adj。

进一步地，步骤4中，根据如下条件判断L_set中的线段l是否隶属于相应的线段集合L_E：

E∈{E_top,E_bot,E_lef,E_rig}

式中，N()表示线段的像素数目，δ表示比例阈值。

进一步地，步骤5中线段子集的计算方式如下：

式中，int()为向上取整，θ_l表示线段l的倾角，θ_min和θ_max分别为线段子集中线段倾角的最小值和最大值。

进一步地，步骤6中，若线段子集中的两条线段l_i和l_j满足以下条件，则认为由其构成的线段对(l_i,l_j)属于匹配线段集合/>

其中，|*|表示求绝对值，θ_thr表示线段倾角差的阈值，||*||代表线段的长度，dis()表示求两点之间的距离，P^M表示相应线段的中点，λ表示线段位置约束阈值。

进一步地，步骤7的具体方式为：

对于匹配线段集合中的线段对(l_i,l_j)，将距离所在边缘区域E边界更近的线段作为待校正线段l_a，设l_a的起点和终点分别为/>和/>则待校正线段终点的计算方式如下：

式中，l_a表示由线段对(l_i,l_j)产生的待校正线段，||l_a||表示l_a的线段长度，表示求倾角差的绝对值；

存在c个线段特征校正点的集合P_line表示为：

式中，表示由线段产生的校正点对，/>为校正前点的位置，为校正后点的位置。

进一步地，步骤8中，全域校正匹配点集P_adj由非线段区域点集P_noline和线段特征校正点集P_line组成：

P_adj＝P_noline+P_line

式中，为区域Z_m的中点，Z_m是指与边缘线段集合L_E不相交的区域，由部分边缘区域和中心区域组成。

本发明具有如下有益效果：

(1)本发明提出了一种基于线段特征的超广角镜头相片畸变校正方法，可有效校正边缘存在直线的超广角相机图像，减少图像中心区域的畸变。

(2)应用本发明方法可以有效提取直线特征，并自动寻找待校正的匹配点，为图像自动校正提供技术支撑。

附图说明

图1为图像区域划分示意图；

图2为超广角相机图像校正方法的原理示意图。

具体实施方式

下面结合附图及具体实施方式对本发明做进一步详细的说明。

如图2所示，一种基于线段特征的超广角镜头相片畸变校正方法，包括以下步骤：

步骤1，采用LSD算法对超广角镜头图像IM提取线段得到线段集合L_set。当有n条线段时可表示为：

L_set＝{l₁,l₂,l₃...l_n}

步骤2，将整个图像划分为4*4个区域，每个区域记为Z_ij。本例中将整幅图分为16区域，各区域位置及编号见图1所示，Z_ij可表示为：

Z_ij＝{Z₁₁,Z₁₂,...,Z₄₄}

步骤3，分别定义图像的上下左右边缘区域E_top、E_bot、E_lef和E_rig，仅校正该区域内的直线畸变，定义的边缘区域E具体表示如下：

E_top＝{Z₁₁,Z₁₂,Z₁₃,Z₁₄}

E_bot＝{Z₄₁,Z₄₂,Z₄₃,Z₄₄}

E_lef＝{Z₁₁,Z₂₁,Z₃₁,Z₄₁}

E_rig＝{Z₁₄,Z₂₄,Z₃₄,Z₄₄}

步骤4，通过位置关系分别获取位于各边缘区域中的线段集合L_E。仅计算位于边缘区域内的线段，判断L_set中的线段l隶属于边缘区域E的条件如下：

E∈{E_top,E_bot,E_lef,E_rig}

式中，N()表示线段的像素数目，δ表示比例阈值。

步骤5，以边缘区域线段集合L_E中线段的倾角θ为依据，按间隔dθ等间距分为多个线段子集线段l划分到线段子集/>的条件如下：

式中，int()为向上取整，θ_l表示线段l的倾角，θ_min和θ_max分别为线段子集中线段倾角的最小值和最大值。

步骤6，依据线段的倾角和距离约束，在线段子集中寻找线段对，构成匹配线段集合/>线段子集/>中的两条线段l_i和l_j若满足以下条件，则可认为由其构成的线段对(l_i,l_j)属于匹配线段集合/>约束条件如下：

其中，|*|表示求绝对值，θ_thr表示线段倾角差的阈值，||*||代表线段的长度，dis()表示求两点之间的距离，P_l ^M表示线段l的中点，λ表示线段位置约束阈值。

步骤7，基于获取的匹配线段集合生成线段特征校正点集P_line。对于匹配的线段对(l_i,l_j)，距离所在边缘区域E边界更近的线段为待校正线段l_a，设l_a的起点和终点分别为/>和/>则待校正线段终点对应的校正后点位置/>的计算方式如下：

式中，l_a表示由线段对(l_i,l_j)产生的待校正线段，||l_a||表示l_a的线段长度，表示求倾角差的绝对值。

因此，当存在c个线段校正点的集合P_line可表示为：

式中，表示由线段产生的校正点对，/>为校正前点的位置，为校正后点的位置。

步骤8，在图像的每个子区域Z内均匀选择点，形成全域校正匹配点集P_adj。P_adj由非线段区域点集P_noline和线段特征校正点集P_line组成：

P_adj＝P_noline+P_line

式中，为区域Z_m的中点，Z_m是指与边缘线段集合L_E不相交的区域，主要是由部分边缘区域和中心区域组成。

步骤9，依据全域校正匹配点集P_adj建立二次多项式校正模型，通过最小二乘法校正超广角镜头图像，得到校正后的图像IM_adj。当全域校正匹配点集P_adj由r个点构成时，可表示为：

P_adj＝{[(μ₁,v₁),(x₁,y₁)],...,[(μ_r,v_r),(x_r,y_r)]}

其中，(μ_r,v_r)和(x_r,y_r)分别第r对匹配点中校正前位置及校正后位置。

则利用校正匹配点集P_adj所构建的二次多项式表达式如下：

式中，b₀₀,b₀₁,b₀₂,b₁₁,b₁₂,b₂₂和e₀₀,e₀₁,e₀₂,e₁₁,e₁₂,e₂₂分别为模型系数，通过上述多项式可进行求解。

最终构建的模型可表示为：

式中，(x,y)表示超广角镜头校正后图像IM_adj的点，(μ,v)表示待校正的超广角镜头图像IM中的点。

总之，本发明提出的超广角畸变图像校正算法，面向图像边缘存在直线且会发生较大畸变情况，通过线段特征判别出待校正线段，并自动提取匹配点，无需人工干预识别，为便捷、快速和高效的超广角镜头图像后处理提供重要的技术支撑。

Claims (2)

1.一种基于线段特征的超广角镜头相片畸变校正方法，其特征在于，包括以下步骤：

步骤1，采用LSD算法对超广角镜头图像IM提取线段，得到线段集合L_set；

步骤2，将整个超广角镜头图像IM划分为4*4个区域，第i行第j列的区域记为Z_ij；

步骤3，分别定义图像的上下左右边缘区域E_top、E_bot、E_lef和E_rig，仅校正该区域内的直线畸变；

步骤4，通过位置关系分别获取位于各边缘区域中的线段集合L_E；具体来说，根据如下条件判断L_set中的线段l是否隶属于相应的线段集合L_E：

E∈{E_top,E_bot,E_lef,E_rig}

式中，N()表示线段的像素数目，d表示比例阈值；

步骤5，以边缘区域线段集合L_E中线段的倾角θ为依据，按间隔dθ将L_E等间距分为多个线段子集线段子集/>的计算方式如下：

if θ_min+dθ×(k-1)≤θ_l<θ_min+dθ×k

式中，int()为向上取整，θ_l表示线段l的倾角，θ_min和θ_max分别为线段子集中线段倾角的最小值和最大值；

步骤6，依据线段的倾角和距离约束，在线段子集中寻找线段对，构成匹配线段集合/>具体来说，若线段子集/>中的两条线段l_i和l_j满足以下条件，则认为由其构成的线段对(l_i,l_j)属于匹配线段集合/>

其中，|*|表示求绝对值，θ_thr表示线段倾角差的阈值，||*||代表线段的长度，dis()表示求两点之间的距离，P^M表示相应线段的中点，λ表示线段位置约束阈值；

步骤7，基于获取的匹配线段集合生成线段特征校正点集P_line；具体方式为：

对于匹配线段集合中的线段对(l_i,l_j)，将距离所在边缘区域E边界更近的线段作为待校正线段l_a，设l_a的起点和终点分别为/>和/>则待校正线段终点/>的计算方式如下：

式中，l_a表示由线段对(l_i,l_j)产生的待校正线段，||l_a||表示l_a的线段长度，表示求倾角差的绝对值；

存在c个线段特征校正点的集合P_line表示为：

式中，表示由线段产生的校正点对，/>为校正前点的位置，/>为校正后点的位置；

步骤8，在超广角镜头图像IM的每个子区域Z_ij内均匀选择点，形成全域校正匹配点集P_adj；

步骤9，依据全域校正匹配点集P_adj建立二次多项式校正模型，通过最小二乘法校正超广角镜头图像IM，得到校正后图像IM_adj。

2.根据权利要求1所述的一种基于线段特征的超广角镜头相片畸变校正方法，其特征在于，步骤8中，全域校正匹配点集P_adj由非线段区域点集P_noline和线段特征校正点集P_line组成：

P_adj＝P_noline+P_line

式中，为区域Z_m的中点，Z_m是指与边缘线段集合L_E不相交的区域，由部分边缘区域和中心区域组成。