CN106327441B - 图像径向畸变的自动矫正方法及系统 - Google Patents
图像径向畸变的自动矫正方法及系统 Download PDFInfo
- Publication number
- CN106327441B CN106327441B CN201610694236.9A CN201610694236A CN106327441B CN 106327441 B CN106327441 B CN 106327441B CN 201610694236 A CN201610694236 A CN 201610694236A CN 106327441 B CN106327441 B CN 106327441B
- Authority
- CN
- China
- Prior art keywords
- distortion
- center
- image
- circular arc
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012937 correction Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 239000012141 concentrate Substances 0.000 claims abstract description 29
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000009472 formulation Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种图像径向畸变的自动矫正方法及系统，方法包括：S1、对畸变图像边缘检测，连接相邻边缘得到各边缘轮廓；S2、利用快速圆弧提取方法对边缘轮廓进行圆弧提取，计算各圆弧的参数；S3、划定畸变中心预选区域，计算以其中各像素点作为畸变中心对应的各圆弧的畸变系数，统计各像素点对应的畸变系数的取值集中区间并统计各区间中的畸变系数数量，计算各区间中的畸变系数均值，以畸变系数最多的区间对应的像素点作为实际畸变中心并以该区间的畸变系数均值作为实际畸变系数；S4、根据实际畸变中心和畸变系数对畸变图像进行自动矫正。本发明可实现图像径向畸变的自动矫正，不需要畸变图像相关的来源信息、特定的模板和人工的干预。
Description
技术领域
本发明涉及图像处理技术领域。更具体地，涉及一种图像径向畸变的自动矫正方法及系统。
背景技术
随着人类社会的进步和科技的发展，计算机视觉成为目前计算机领域中最热门的课题之一。尤其是随着道路监控摄像机和车载摄像机在日常生活中的广泛应用，人们对摄像机能够监控到的范围提出了更高的要求，因此广角镜头也必将越来越多的出现在实际生活中。然而广角镜头获取到的图像会产生明显的畸变，不符合人们的视觉习惯，并且畸变会对依赖图像相关信息进行的空间定位、目标跟踪等的算法产生十分严重的影响，计算机视觉领域的算法大部分都依赖于针孔相机模型，但是畸变却严重违背了这一基础。因此图像畸变矫正技术的研究是计算机视觉领域的一个重要研究课题。图像畸变矫正就是对相机获取到的畸变图像采用适当的畸变模型，通过一些方法计算出模型的参数，然后利用模型去除相机成像过程中产生的畸变，便于计算机视觉领域后续的处理。这一技术在视频监控、虚拟现实、机器人导航、军事瞄准、电视编辑、医学图像分析等许多领域都有了广泛的应用，因此具有重要的使用价值和广阔的发展前景。
随着获取图像的相机应用的场合不尽相同，比如航拍、道路监控和车载监控等，且拍摄环境和背景千变万化，这对图像畸变矫正算法快速适应性和鲁棒性提出了更高的要求。尤其在很多情况下，仅仅能够获取到发生畸变的图像，无法获取相机、镜头等设备的相关信息，那么畸变图像的自动矫正则显得尤为重要。
因此，需要提供一种仅需要单幅或多幅畸变图像，而不需要畸变图像相关的来源信息、不需要特定的模板且不需要人工的干预的图像径向畸变的自动矫正方法及系统，以解决图像的径向畸变问题。
发明内容
本发明针对相机拍摄图像存在径向畸变的问题，以畸变产生的原因和畸变矫正现阶段存在的困难为核心，提出了一种对图像在获取过程中产生的径向畸变进行自动矫正的图像径向畸变的自动矫正方法及系统。
为达到上述目的，本发明采用下述技术方案：
一种图像径向畸变的自动矫正方法，该方法包括如下步骤：
S1、对畸变图像进行边缘检测，得到畸变图像的边缘图像，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓；
S2、对畸变图像的各边缘轮廓分别利用快速圆弧提取方法进行圆弧提取，得到各边缘轮廓对应的圆弧，并分别计算各圆弧的参数；
S3、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于圆的一般方程并根据各圆弧的参数计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数，统计以各像素点作为畸变中心对应的各圆弧的畸变系数的取值集中区间并统计各取值集中区间中的畸变系数数量，计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数的均值，以畸变系数数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数的均值作为实际畸变系数；
S4、根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正，得到矫正后的图像。
优选地，步骤S1进一步包括如下子步骤：
S1.1、利用高斯滤波器对畸变图像进行平滑处理，得到去噪的畸变图像；
S1.2、利用一阶偏导的有限差分计算去噪的畸变图像的梯度幅值，得到畸变图像的幅值图像；
S1.3、对所述梯度幅值进行非极大值抑制处理，细化所述幅值图像中的屋脊带，生成细化的边缘，得到畸变图像的边缘图像；
S1.4、利用双阈值算法对边缘图像进行检测，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓。
优选地，步骤S1中在步骤S1.4之后还包括如下子步骤：
S1.5、分别统计各边缘轮廓所含的像素点个数，只将所含像素点个数大于设定的边缘轮廓长度阈值的边缘轮廓作为边缘轮廓。优选地，所述边缘轮廓长度阈值的取值范围为100至200。
优选地，步骤S2进一步包括如下子步骤：
S2.1、将每一个边缘轮廓均等分成N段，第a个边缘轮廓的每一段均有La个像素点，计算各段的代表点的坐标，公式如下：
公式中，为第a个边缘轮廓的第i段的代表点Qa,i的坐标；
S2.2、将第a个边缘轮廓中各段的代表点分别依次连接得到N-1个首尾连接的向量并计算相邻向量的内积和相邻内积的差值Δa,i,i＝1,2,...,N-3，当存在连续的b个差值Δa,i小于设定的内积差值阈值TΔ时将计算b个差值所用到的连续的像素点作为一段圆弧，b满足条件：(b+2)×La≥Tmin，Tmin为圆弧包含的像素个数的最小值；将大于设定内积差值阈值TΔ的起始和终止的分组代表点作为圆弧端点，根据各圆弧端点对第a个边缘轮廓进行圆弧提取，得到第a个边缘轮廓对应的圆弧，并计算出第a个边缘轮廓对应的圆弧的参数。优选地，所述内积差值阈值TΔ的取值范围为0至20。优选地，所述圆弧包含的像素个数的最小值Tmin的取值为30。
S2.3、利用LM算法对第a个边缘轮廓对应的圆弧的参数进行优化，得到优化后的第a个边缘轮廓对应的圆弧的参数；
S2.4、重复执行步骤S2.2至S2.3，直至对每一个边缘轮廓均进行圆弧提取，得到每一个边缘轮廓对应的圆弧，并得到优化后的每一个边缘轮廓对应的圆弧的参数。
优选地，步骤S2.2中所述根据各圆弧端点对第a个边缘轮廓进行圆弧提取之后且所述得到第a个边缘轮廓对应的圆弧之前还包括步骤：统计第a个边缘轮廓对应的圆弧所含的像素点个数，只将所含像素点个数大于设定的圆弧长度阈值的圆弧作为第a个边缘轮廓对应的圆弧。优选地，所述圆弧长度阈值的取值范围为20至30。
优选地，步骤S3进一步包括如下子步骤：
S3.1、基于径向畸变图像的单参数除法模型和圆的一般方程建立畸变中心坐标、圆弧的参数和畸变系数的关系方程：其中，D、E和F分别为圆弧的参数，(x0,y0)为畸变中心坐标，λ为畸变系数；
S3.2、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于畸变中心坐标、圆弧的参数和畸变系数的关系方程计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数λk,m,k＝1,2,...,K,m＝1,2,...M，K为畸变中心预选区域所含像素点的数量，M为圆弧的数量；
S3.3、设且将[-15,+15]的数值范围以1为间隔划分为多个数值区间，统计以各像素点作为畸变中心对应的各圆弧的畸变系数特征值Clg所在的数值区间；
S3.4、将以各像素点作为畸变中心对应的包含畸变系数特征值最多的数值区间作为该像素点作为畸变中心对应的取值集中区间，统计以各像素点作为畸变中心对应的取值集中区间中的畸变系数特征值数量，并计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数特征值的均值；
S3.5、以畸变系数特征值数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数特征值的均值对应的畸变系数作为实际畸变系数。
优选地，步骤S3.2中以畸变图像的中心作为区域中心划定畸变中心预选区域的方法为：将以畸变图像的中心为正方形区域中心，且在X轴和Y轴的长均为R个像素点的正方形区域划定为畸变中心预选区域，所述R为取值为61至101之间的奇数。
优选地，步骤S3中在步骤S3.5之后还包括如下子步骤：
S3.6、利用LM算法对实际畸变中心的坐标和实际畸变系数进行优化。
优选地，步骤S4进一步包括如下子步骤：
S4.1、建立实际畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程：其中，(xd,yd)和(xu,yu)分别为畸变图像和矫正后图像的像素点坐标，(x0,y0)为实际畸变中心的坐标，rd和ru分别为畸变图像和矫正后图像的像素点到实际畸变中心的距离，
S4.2、利用畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程计算畸变图像中每一个像素点在矫正后的图像中的坐标，实现对畸变图像的自动矫正，得到矫正后的图像。
一种图像径向畸变的自动矫正系统，该系统包括：
畸变图像轮廓提取模块，对畸变图像进行边缘检测，得到畸变图像的边缘图像，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓；
边缘轮廓圆弧提取模块，对畸变图像的各边缘轮廓分别进行圆弧提取，得到各边缘轮廓对应的圆弧，并分别计算各圆弧的参数；
畸变中心选取和畸变系数计算模块，以畸变图像的中心为区域中心划定畸变中心预选区域，基于圆的一般方程并根据各圆弧的参数计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数，统计以各像素点作为畸变中心对应的各圆弧的畸变系数的取值集中区间并统计各取值集中区间中的畸变系数数量，计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数的均值，以畸变系数数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数的均值作为实际畸变系数；
畸变图像矫正模块，根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正，得到矫正后的图像。
本发明的有益效果如下：
本发明所述技术方案针对相机拍摄图像产生径向畸变的问题，以畸变产生的原因和畸变矫正存在的困难为核心，提出一种可以对图像获取过程中产生的径向畸变进行矫正的方法及系统。本发明所述技术方案基于畸变图像中的畸变直线实现图像径向畸变的自动矫正，不需要畸变图像相关的来源信息、不需要特定的模板且不需要人工的干预，因此，具有极强的鲁棒性且更加具有实际应用的价值。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出图像径向畸变的自动矫正方法的流程图；
图2示出径向畸变图像的示意图；
图3示出边缘连接后的边缘轮廓的示意图；
图4示出对边缘轮廓进行圆弧提取后的圆弧示意图；
图5示出圆弧等价划分的示意图；
图6示出畸变参数估计前的具有固有量的圆弧图像示意图；
图7示出矫正后的图像的示意图；
图8示出图像径向畸变的自动矫正系统的示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
实施例1
如图1所示，本实施例提供的图像径向畸变的自动矫正方法，包括如下步骤：
S1、对畸变图像进行边缘检测，得到畸变图像的边缘图像，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓，本实施例中用Canny算子实现对畸变图像的边缘图像提取；
S2、对畸变图像的各边缘轮廓分别利用快速圆弧提取方法进行圆弧提取，得到各边缘轮廓对应的圆弧，并分别计算各圆弧的参数；
S3、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于圆的一般方程并根据各圆弧的参数计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数，统计以各像素点作为畸变中心对应的各圆弧的畸变系数的取值集中区间并统计各取值集中区间中的畸变系数数量，计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数的均值，以畸变系数数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数的均值作为实际畸变系数；
S4、根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正，得到矫正后的图像。
其中，
步骤S1进一步包括如下子步骤：
S1.1、利用高斯滤波器对畸变图像进行平滑处理，得到去噪的畸变图像；
S1.2、利用一阶偏导的有限差分计算去噪的畸变图像的梯度幅值，得到畸变图像的幅值图像；
S1.3、对梯度幅值进行非极大值抑制处理，细化所述幅值图像中的屋脊带，生成细化的边缘，得到畸变图像的边缘图像；
S1.4、利用双阈值算法对边缘图像进行检测，并将边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓；
S1.5、分别统计各边缘轮廓所含的像素点个数，只将所含像素点个数大于设定的边缘轮廓长度阈值的边缘轮廓作为边缘轮廓。优选地，边缘轮廓长度阈值的取值范围为100至200。
步骤S2进一步包括如下子步骤：
S2.1、将每一个边缘轮廓均等分成N段，第a个边缘轮廓的每一段均有La个像素点，计算各段的代表点的坐标，公式如下：
公式中，为第a个边缘轮廓的第i段的代表点Qa,i的坐标；
S2.2、将第a个边缘轮廓中各段的代表点分别依次连接得到N-1个首尾连接的向量并计算相邻向量的内积和相邻内积的差值Δa,i,i＝1,2,...,N-3，当存在连续的b个差值Δa,i小于设定的内积差值阈值TΔ时将计算b个差值所用到的连续的像素点作为一段圆弧，b满足条件：(b+2)×La≥Tmin，Tmin为圆弧包含的像素个数的最小值；将大于设定内积差值阈值TΔ的起始和终止的分组代表点作为圆弧端点，根据各圆弧端点对第a个边缘轮廓进行圆弧提取。统计从第a个边缘轮廓提取出的圆弧所含的像素点个数，只将所含像素点个数大于设定的圆弧长度阈值的圆弧作为第a个边缘轮廓对应的圆弧。本实施例中，圆弧长度阈值的取值范围为20至30。在进行对圆弧基于长度的筛选后，得到第a个边缘轮廓对应的圆弧(一个边缘轮廓可能会提取出多个与其对应的圆弧)，并计算出第a个边缘轮廓对应的圆弧的参数。TΔ的取值与分组包含的像素点个数La有关，本实施例中，内积差值阈值TΔ的取值范围为0至20。本实施例中，圆弧包含的像素个数的最小值Tmin的取值为30。
S2.3、利用LM(Levenberg-Marquardt)算法对第a个边缘轮廓对应的圆弧的参数进行优化，得到优化后的第a个边缘轮廓对应的圆弧的参数；
S2.4、重复执行步骤S2.2至S2.3，直至对每一个边缘轮廓均进行圆弧提取，得到每一个边缘轮廓对应的圆弧，并得到优化后的每一个边缘轮廓对应的圆弧的参数。
步骤S3进一步包括如下子步骤：
S3.1、基于径向畸变图像的单参数除法模型和圆的一般方程建立畸变中心坐标、圆弧的参数和畸变系数的关系方程：其中，D、E和F分别为圆弧的参数，(x0,y0)为畸变中心坐标，λ为畸变系数；
S3.2、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于畸变中心坐标、圆弧的参数和畸变系数的关系方程计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数λk,m,k＝1,2,...,K,m＝1,2,...M，K为畸变中心预选区域所含像素点的数量，M为圆弧的数量(不管以哪个像素点作为畸变中心，圆弧的数量是相同的)；
S3.3、设且将[-15,+15](通常来说，此数值范围涵盖了绝大多数的畸变图像的实际畸变系数的上述转换后的特征值Clg)的数值范围以1为间隔划分为多个数值区间，统计以各像素点作为畸变中心对应的各圆弧的畸变系数对应的Clg所在的数值区间；
S3.4、将以各像素点作为畸变中心对应的包含畸变系数特征值最多的数值区间作为该像素点作为畸变中心对应的取值集中区间，统计以各像素点作为畸变中心对应的取值集中区间中的畸变系数特征值数量，并计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数特征值的均值；
S3.5、以畸变系数特征值数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数特征值的均值对应的畸变系数作为实际畸变系数；
S3.6、利用LM算法对实际畸变中心的坐标和实际畸变系数进行优化。
步骤S3.2中以畸变图像的中心作为区域中心划定畸变中心预选区域的方法为：将以畸变图像的中心为正方形区域中心，且在X轴和Y轴的长均为R个像素点的正方形区域划定为畸变中心预选区域，所述R为取值为61至101之间的奇数。
步骤S4的具体过程为：
S4.1、建立实际畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程：其中，(xd,yd)和(xu,yu)分别为畸变图像和矫正后图像的像素点坐标，(x0,y0)为实际畸变中心的坐标，rd和ru分别为畸变图像和矫正后图像的像素点到实际畸变中心的距离，
S4.2、利用畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程计算畸变图像中每一个像素点在矫正后的图像中的坐标，实现对畸变图像的自动矫正，得到矫正后的图像。
下面通过代入具体图像对本实施例提供的图像径向畸变的自动矫正方法做进一步说明：
如图1所示，该方法包括如下步骤：
S1、边缘轮廓提取步骤：
为了获得图像的边缘轮廓，首先，对如图2所示的原始畸变图像，进行边缘提取；本发明采用Canny算子对图像进行边缘提取，然后对邻近的边缘通过标记进行连接，得到边缘轮廓，其结果如图3所示；
Canny算子求边缘的具体步骤如下：
11)用高斯滤波器平滑图像；
12)用一阶偏导数有限差分计算梯度幅值和方向；
13)对梯度幅值进行非极大值抑制；
14)用双阈值算法检测和连接边缘。
S2、圆弧提取步骤：
为了得到边缘轮廓中所有可能的圆弧结构，首先对边缘轮廓的像素个数进行限制，取一个合适的阈值，一般为100，排除小于阈值的边缘轮廓，然后对剩余的边缘轮廓采用基于圆弧性质的快速圆弧提取算法对轮廓进行拟合得到圆弧参数和圆弧所包含的像素点，并且对圆弧参数采用LM算法进行优化，结果如图4所示；基于圆弧性质的快速提取算法中的圆弧性质包含(如图5所示的等分圆为例)：
相邻等分点依次相连形成的首尾相连八个向量的模相等，即:
所有相邻向量之间的夹角均相等，即θ0＝θ1＝,...,＝θ7；
所有首尾相连的两个向量的内积均相等，即
具体的圆弧提取步骤如下：
21)遍历步骤S1得到的每一个边缘轮廓，对于每一个轮廓，首先是将其分成N个段，每段有La个像素点(a表示第a个边缘轮廓)，接着用如下公式计算每组的代表点Qa,i的位置:
公式中，为第a个边缘轮廓的第i段的代表点Qa,i的坐标；
22)将第a个边缘轮廓的第i段的代表点Qa,i依次连接得到N-1个首尾相连的向量并计算相邻向量的内积接着计算相邻内积的差值Δa,i,i＝1,2,...,N-3，如果这个差值小于等于设定的内积差值阈值，则认为可以忽略，否则，就代表一个圆弧提取结束；当存在连续的b个差值Δa,i小于设定的内积差值阈值TΔ时将计算b个差值所用到的连续的像素点作为一段圆弧，b满足条件：(b+2)×La≥Tmin，Tmin为圆弧包含的像素个数的最小值；将大于设定内积差值阈值TΔ的起始和终止的分组代表点作为圆弧端点，根据各圆弧端点对第a个边缘轮廓进行圆弧提取，统计从第a个边缘轮廓提取出的圆弧所含的像素点个数，只将所含像素点个数大于设定的圆弧长度阈值的圆弧作为第a个边缘轮廓对应的圆弧。其中，圆弧长度阈值的取值范围为20至30。将这个像素点子序列加入集合中，并计算出圆弧的参数。其中，内积差值阈值的取值范围为0至20。
23)利用LM(Levenberg-Marquardt)算法对圆弧的参数进行优化；
24)重复步骤22)和23)，直至每个轮廓的像素点都能正确分类，停止循环，最终会得到一个所有圆弧提取结果的集合。
S3、参数估计步骤：
对一个基于图像中心附近的区域的每一个位置进行遍历，基于每个圆弧的圆弧参数，计算对应圆弧的不变量，划分多个间隔，并对所有圆弧的不变量在间隔上进行统计，采用投票机制(本质为统计方法)，首先选取出特定位置为畸变中心的具有最多投票的间隔，最终选出一个具有最多投票的畸变中心。
圆弧参数与畸变图像的图像中心之间的距离关系可由方程(1)、(2)描述：
其中，Clg为畸变系数λ的特征值，Clg的物理意义是一个距离特征值；(x0,y0)是畸变图像的图像中心的坐标。
筛选畸变中心的具体步骤如下：
31)、建立径向畸变图像在单参数除法模型下的特性模型：畸变图像中的直线在单参数除法模型下满足圆的方程：畸变中心同样满足圆的方程：其中，D、E和F为圆弧的参数(也是圆的标准方程的参数)，(x0,y0)是图像的畸变中心，λ为畸变系数；
32)、相比较与现有技术中把图像的畸变中心默认为畸变图像的图像中心，本实施例则是围绕畸变图像中心附近的某一个区域进行遍历(区域的划定方法为：将以畸变图像的中心为正方形区域中心，且在X轴和Y轴的长均为R个像素点的正方形区域划定为畸变中心预选区域，所述R为取值为61至101之间的奇数。)，区域中的每一个位置都被当作图像的畸变中心进行计算过，对于特定位置的像素点，利用图像畸变中心与圆弧参数D、E和F的关系：中，且计算特定位置的像素点作为畸变中心时各圆弧的畸变系数；
33)、在一定范围内划分多个区间，一般在[-15,+15]的范围内以1为间隔进行区间划分，对落在区间内的特征值Clg的值进行投票，投票时要注意检查每个圆弧的长度，并不能以圆弧的个数作为统计标准，因为较长的圆弧更有利于图像的畸变矫正，所以应排除那些过短(包含的像素点过少)的圆弧，在步骤S2的子步骤22)中，已经只将所含像素点个数大于设定的圆弧长度阈值的圆弧作为第a个边缘轮廓对应的圆弧，也就排除了像素点过少的圆弧；
34)、对各圆弧的特征值Clg进行统计，选出具有最密集区间的特征值Clg并计算其密集的特征值Clg的均值；
35)、畸变系数λ的特征值Clg落在[Clg-error,Clg+error]之间的圆弧即可认为是由直线畸变产生的圆弧，记录当前作为畸变中心的像素点对应的图像畸变中心和特征值Clg的均值，error代表特征值的可允许误差；
36)、循环遍历，重复上述步骤，直到对图像中心附近区域全部遍历完，最后找出一个具有最多特征值集中的区间所对应的作为畸变中心的像素点，就认为该像素点是图像的实际畸变中心，而对于畸变系数λ，则是通过实际畸变中心的具有最多特征值集中的区间的畸变系数均值来体现的，即以畸变系数数量最多的取值集中区间中所有畸变系数特征值的均值对应的畸变系数作为实际畸变系数，如图6所示。
实际上，步骤S3的具体过程是双层遍历过程，在划定区域内遍历所有像素点时，遍历到某个像素点就遍历一次该像素点作为畸变中心时各圆弧的畸变系数。
S4、根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正：
通过步骤S3，已经计算出畸变中心的坐标和畸变系数，由上述计算出的实际畸变系数和实际畸变中心以及单参数除法模型的逆过程，如下式所示，对图像进行畸变矫正。
其中，(xd,yd)和(xu,yu)分别是畸变图像和矫正后图像的像素点坐标，rd和ru分别是畸变图像和矫正图像的像素点到图像的实际畸变中心的距离，ru可以由rd结合畸变系数λ计算得到：(x0,y0)为图像的实际畸变中心的坐标，图7示出了矫正后图像的示意图，可看出，与图2相比，图像的畸变问题得到了根本的解决。
综上所述，本实施例提供的图像径向畸变的自动矫正方法对图像中产生的径向畸变能够稳定的去除；且相对于其他算法，能够自动实现矫正，不需要人的干预且不需要特殊的模板；对各种情况下，相机获取的图像均可以有效的去除其产生的畸变。
实施例2
如图8所示，本实施例提供的图像径向畸变的自动矫正系统用于执行实施例1提供的图像径向畸变的自动矫正方法，该系统包括：
畸变图像轮廓提取模块，对畸变图像进行边缘检测，获得畸变图像的边缘图像，并将边缘图像中邻近的边缘连接，得到畸变图像的边缘轮廓；
边缘轮廓中圆弧提取模块，对畸变图像的边缘轮廓分别进行基于圆弧性质的快速圆弧提取算法，获得边缘轮廓中所有圆弧，并分别计算所有圆弧的圆弧参数；
参数估计模块，对一个基于图像中心附近的区域的每一个位置进行遍历，基于每个圆弧的圆弧参数，计算对应圆弧的畸变系数的特征值，对所有圆弧的畸变系数的特征值在区间上采用投票机制进行统计，投票时首先要保证统计的圆弧大于圆弧长度阈值，因为较长的圆弧比短的圆弧更有利于图像的畸变矫正。首先选取出特定位置的像素点作为畸变中心时的具有最多投票的区间，最终选出一个具有最多投票的实际畸变中心，并计算实际畸变系数；
畸变图像矫正模块，基于上述得到的畸变系数和畸变中心对畸变图像进行自动矫正；
为了方便使用者了解系统的矫正过程，该系统进一步包括用于显示系统图像矫正过程中的所有图像和数据的显示模块；上述显示单元包括图像显示模块和数据显示模块；以及用于存储系统图像矫正过程中的矫正图像和圆弧提取和筛选过程中的数据的存储模块；上述保存单元包括图像存储模块和数据存储模块。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (12)
1.一种图像径向畸变的自动矫正方法，其特征在于，该方法包括如下步骤：
S1、对畸变图像进行边缘检测，得到畸变图像的边缘图像，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓；
S2、对畸变图像的各边缘轮廓分别利用快速圆弧提取方法进行圆弧提取，得到各边缘轮廓对应的圆弧，并分别计算各圆弧的参数；
S3、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于圆的一般方程并根据各圆弧的参数计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数，统计以各像素点作为畸变中心对应的各圆弧的畸变系数的取值集中区间并统计各取值集中区间中的畸变系数数量，计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数的均值，以畸变系数数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数的均值作为实际畸变系数；
S4、根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正，得到矫正后的图像；
步骤S1进一步包括如下子步骤：
S1.1、利用高斯滤波器对畸变图像进行平滑处理，得到去噪的畸变图像；
S1.2、利用一阶偏导的有限差分计算去噪的畸变图像的梯度幅值，得到畸变图像的幅值图像；
S1.3、对所述梯度幅值进行非极大值抑制处理，细化所述幅值图像中的屋脊带，生成细化的边缘，得到畸变图像的边缘图像；
S1.4、利用双阈值算法对边缘图像进行检测，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓。
2.根据权利要求1所述的方法，其特征在于，步骤S1中在步骤S1.4之后还包括如下子步骤：
S1.5、分别统计各边缘轮廓所含的像素点个数，只将所含像素点个数大于设定的边缘轮廓长度阈值的边缘轮廓作为边缘轮廓。
3.根据权利要求2所述的方法，其特征在于，所述边缘轮廓长度阈值的取值范围为100至200。
4.根据权利要求1所述的方法，其特征在于，步骤S2进一步包括如下子步骤：
S2.1、将每一个边缘轮廓均等分成N段，第a个边缘轮廓的每一段均有La个像素点，计算各段的代表点的坐标，公式如下：
公式中，(xQa,i,yQa,i)为第a个边缘轮廓的第i段的代表点Qa,i的坐标；
S2.2、将第a个边缘轮廓中各段的代表点分别依次连接得到N-1个首尾连接的向量并计算相邻向量的内积和相邻内积的差值Δa,i,i＝1,2,...,N-3，当存在连续的b个差值Δa,i小于设定的内积差值阈值TΔ时将计算b个差值所用到的连续的像素点作为一段圆弧，b满足条件：(b+2)×La≥Tmin，Tmin为圆弧包含的像素个数的最小值；将大于设定内积差值阈值TΔ的起始和终止的分组代表点作为圆弧端点，根据各圆弧端点对第a个边缘轮廓进行圆弧提取，得到第a个边缘轮廓对应的圆弧，并计算出第a个边缘轮廓对应的圆弧的参数；
S2.3、利用LM算法对第a个边缘轮廓对应的圆弧的参数进行优化，得到优化后的第a个边缘轮廓对应的圆弧的参数；
S2.4、重复执行步骤S2.2至S2.3，直至对每一个边缘轮廓均进行圆弧提取，得到每一个边缘轮廓对应的圆弧，并得到优化后的每一个边缘轮廓对应的圆弧的参数。
5.根据权利要求4所述的方法，其特征在于，所述内积差值阈值TΔ的取值范围为0至20，所述圆弧包含的像素个数的最小值Tmin的取值为30。
6.根据权利要求4所述的方法，其特征在于，步骤S2.2中所述根据各圆弧端点对第a个边缘轮廓进行圆弧提取之后且所述得到第a个边缘轮廓对应的圆弧之前还包括步骤：统计第a个边缘轮廓对应的圆弧所含的像素点个数，只将所含像素点个数大于设定的圆弧长度阈值的圆弧作为第a个边缘轮廓对应的圆弧。
7.根据权利要求6所述的方法，其特征在于，所述圆弧长度阈值的取值范围为20至30。
8.根据权利要求1所述的方法，其特征在于，步骤S3进一步包括如下子步骤：
S3.1、基于径向畸变图像的单参数除法模型和圆的一般方程建立畸变中心坐标、圆弧的参数和畸变系数的关系方程：其中，D、E和F分别为圆弧的参数，(x0,y0)为畸变中心坐标，λ为畸变系数；
S3.2、以畸变图像的中心作为区域中心划定畸变中心预选区域，基于畸变中心坐标、圆弧的参数和畸变系数的关系方程计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数λk,m,k＝1,2,...,K,m＝1,2,...M，K为畸变中心预选区域所含像素点的数量，M为圆弧的数量；
S3.3、设且将[-15,+15]的数值范围以1为间隔划分为多个数值区间，统计以各像素点作为畸变中心对应的各圆弧的畸变系数特征值Clg所在的数值区间；
S3.4、将以各像素点作为畸变中心对应的包含畸变系数特征值最多的数值区间作为该像素点作为畸变中心对应的取值集中区间，统计以各像素点作为畸变中心对应的取值集中区间中的畸变系数特征值数量，并计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数特征值的均值；
S3.5、以畸变系数特征值数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数特征值的均值对应的畸变系数作为实际畸变系数。
9.根据权利要求8所述的方法，其特征在于，步骤S3.2中以畸变图像的中心作为区域中心划定畸变中心预选区域的方法为：将以畸变图像的中心为正方形区域中心，且在X轴和Y轴的长均为R个像素点的正方形区域划定为畸变中心预选区域，所述R为取值为61至101之间的奇数。
10.根据权利要求8所述的方法，其特征在于，步骤S3中在步骤S3.5之后还包括如下子步骤：
S3.6、利用LM算法对实际畸变中心的坐标和实际畸变系数进行优化。
11.根据权利要求1所述的方法，其特征在于，步骤S4进一步包括如下子步骤：
S4.1、建立实际畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程：其中，(xd,yd)和(xu,yu)分别为畸变图像和矫正后图像的像素点坐标，(x0,y0)为实际畸变中心的坐标，rd和ru分别为畸变图像和矫正后图像的像素点到实际畸变中心的距离，
S4.2、利用畸变中心的坐标、实际畸变系数、畸变图像的像素点坐标和矫正后图像的像素点坐标的关系方程计算畸变图像中每一个像素点在矫正后的图像中的坐标，实现对畸变图像的自动矫正，得到矫正后的图像。
12.一种执行如权利要求1所述方法的图像径向畸变的自动矫正系统，其特征在于，该系统包括：
畸变图像轮廓提取模块，对畸变图像进行边缘检测，得到畸变图像的边缘图像，并将所述边缘图像中相邻的边缘连接，得到畸变图像的各边缘轮廓；
边缘轮廓圆弧提取模块，对畸变图像的各边缘轮廓分别进行圆弧提取，得到各边缘轮廓对应的圆弧，并分别计算各圆弧的参数；
畸变中心选取和畸变系数计算模块，以畸变图像的中心为区域中心划定畸变中心预选区域，基于圆的一般方程并根据各圆弧的参数计算以畸变中心预选区域中的各像素点作为畸变中心对应的各圆弧的畸变系数，统计以各像素点作为畸变中心对应的各圆弧的畸变系数的取值集中区间并统计各取值集中区间中的畸变系数数量，计算以各像素点作为畸变中心对应的取值集中区间中所有畸变系数的均值，以畸变系数数量最多的取值集中区间对应的像素点作为实际畸变中心，以畸变系数数量最多的取值集中区间中所有畸变系数的均值作为实际畸变系数；
畸变图像矫正模块，根据所述实际畸变中心和实际畸变系数对畸变图像进行自动矫正，得到矫正后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610694236.9A CN106327441B (zh) | 2016-08-19 | 2016-08-19 | 图像径向畸变的自动矫正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610694236.9A CN106327441B (zh) | 2016-08-19 | 2016-08-19 | 图像径向畸变的自动矫正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106327441A CN106327441A (zh) | 2017-01-11 |
| CN106327441B true CN106327441B (zh) | 2018-11-06 |
Family
ID=57744403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610694236.9A Active CN106327441B (zh) | 2016-08-19 | 2016-08-19 | 图像径向畸变的自动矫正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106327441B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492080B (zh) * | 2017-09-25 | 2021-03-23 | 杭州云栖智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
| CN108492263B (zh) * | 2018-03-07 | 2022-02-18 | 鞍钢集团矿业有限公司 | 一种镜头径向畸变校正方法 |
| CN111161140B (zh) * | 2018-11-08 | 2023-09-19 | 银河水滴科技（北京）有限公司 | 一种畸变图像的矫正方法及装置 |
| CN109978959B (zh) * | 2019-03-29 | 2021-06-29 | 北京经纬恒润科技股份有限公司 | 一种摄像头径向畸变修正参数标定方法、装置及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1913592A (zh) * | 2005-07-29 | 2007-02-14 | 佳能株式会社 | 信息处理方法和设备 |
| CN101093160A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 基于双目立体视觉技术的空间圆几何参数的测量方法 |
| CN101814186A (zh) * | 2010-02-04 | 2010-08-25 | 上海交通大学 | 利用曲线拟合校正摄像机径向畸变的方法 |
| CN103617615A (zh) * | 2013-11-27 | 2014-03-05 | 华为技术有限公司 | 径向畸变参数获取方法及获取装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4754939B2 (ja) * | 2005-11-01 | 2011-08-24 | オリンパス株式会社 | 画像処理装置 |
-
2016
- 2016-08-19 CN CN201610694236.9A patent/CN106327441B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1913592A (zh) * | 2005-07-29 | 2007-02-14 | 佳能株式会社 | 信息处理方法和设备 |
| CN101093160A (zh) * | 2007-07-12 | 2007-12-26 | 上海交通大学 | 基于双目立体视觉技术的空间圆几何参数的测量方法 |
| CN101814186A (zh) * | 2010-02-04 | 2010-08-25 | 上海交通大学 | 利用曲线拟合校正摄像机径向畸变的方法 |
| CN103617615A (zh) * | 2013-11-27 | 2014-03-05 | 华为技术有限公司 | 径向畸变参数获取方法及获取装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106327441A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105096269B (zh) | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 | |
| CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
| CN106327441B (zh) | 图像径向畸变的自动矫正方法及系统 | |
| CN104978715B (zh) | 一种基于滤波窗口及参数自适应的非局部均值图像去噪方法 | |
| GB2527697B (en) | People counting device and people counting method | |
| JP4868530B2 (ja) | 画像認識装置 | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| CN107907048A (zh) | 一种基于线结构光扫描的双目立体视觉三维测量方法 | |
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| US8428313B2 (en) | Object image correction apparatus and method for object identification | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| WO2006052508A2 (en) | An integrated image processor | |
| CN107798702A (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
| CN109064418A (zh) | 一种基于非局部均值的非均匀噪声图像去噪方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN114529593A (zh) | 红外与可见光图像配准方法、系统、设备、图像处理终端 | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN107346414A (zh) | 行人属性识别方法和装置 | |
| CN111783834B (zh) | 一种基于联合图频谱特征分析的异源图像匹配方法 | |
| CN110569840B (zh) | 目标检测方法及相关装置 | |
| CN110909617B (zh) | 基于双目视觉的活体人脸检测方法及装置 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| CN111383352B (zh) | 一种针对三阶魔方的自动填色及抽象化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210629 Address after: 100044 room 413, 4th floor, Zhixing building, Jiaotong University, 3 Shangyuan village, Haidian District, Beijing Patentee after: Beijiao smart rail (Beijing) Technology Co.,Ltd. Address before: 100044 Beijing city Haidian District Shangyuan Village No. 3 Patentee before: Beijing Jiaotong University |