CN116993612A - 一种鱼眼镜头非线性畸变校正方法 - Google Patents

一种鱼眼镜头非线性畸变校正方法 Download PDF

Info

Publication number
CN116993612A
CN116993612A CN202310971103.1A CN202310971103A CN116993612A CN 116993612 A CN116993612 A CN 116993612A CN 202310971103 A CN202310971103 A CN 202310971103A CN 116993612 A CN116993612 A CN 116993612A
Authority
CN
China
Prior art keywords
image
pixel
fish
nonlinear distortion
fisheye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310971103.1A
Other languages
English (en)
Inventor
钱俊兵
张瑶
黄国勇
邓桂方
张威
王迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202310971103.1A priority Critical patent/CN116993612A/zh
Publication of CN116993612A publication Critical patent/CN116993612A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鱼眼镜头非线性畸变校正方法,涉及图像处理技术领域。包括:首先建立鱼眼镜头的非线性空间球面投影模型,并利用微分方程求解该模型得到鱼眼图像畸变非线性畸变量;其次,获取原始鱼眼图像,提出快速极点定位算法提取图像有效区域,得到有效区域图像;然后根据有效区域图像建立坐标系,获得像素坐标长度比;最后提出基于像素坐标长度比的校正算法,借助畸变量重构校正图像。本发明有助于保留更加完整的细节信息,结构相似性和目标识别准确率显著提高,应用基础数学解决实际工程问题,为鱼眼镜头视觉技术带来更大的使用价值。

Description

一种鱼眼镜头非线性畸变校正方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种鱼眼镜头非线性畸变校正方法。
背景技术
鱼眼相机可以提供广阔的视野,是普通相机视野范围的几倍。在遥感测量、自动驾驶、智慧监控、军事的飞行器制导、空间机器人巡检、机器视觉导航以及工业的管道探测、现场检测等领域都有着直接或间接的应用需求。因此,鱼眼镜头视觉技术,成为计算机视觉和计算机图形学等方面的重要分支。鱼眼镜头对视场的压缩也造成了鱼眼图像的畸变,影响后续视觉识别系统的稳定性和精确度,视觉识别系统包括图像分类、物体检测、分割和定位。另外,它在立体匹配、三维重建以及机器人自主导航、跟踪等相关研究中也具有重要意义。
目前鱼眼图像畸变校正的方法主要有基于相机标定的校正方法、基于投影模型的校正方法以及基于深度学习的校正方法。相机标定法需要对镜头建立相对复杂的数学模型,依赖相机内部参数,并不具备良好的普适性。投影模型法所依据的原理是几种常见投影模型,但真正的鱼眼镜头在设计是并非完全遵循这些投影模型,该类方法存在一定的校正误差。得到广泛的应用和推崇的基于经度坐标、经纬映射的校正方法相比之前更加准确、快速,但其校正图像边缘存在拉伸变形。近几年提出基于深度学习的校正方法,校正结果精确但畸变模型复杂,且需要大量的数据集。消除鱼眼镜头成像畸变的弊端,充分利用其大视场优势,既可以为鱼眼镜头视觉技术带来更大的使用价值,也能为计算机视觉领域带来更加有效的解决方案。
因此,提出一种鱼眼镜头非线性畸变校正方法,来解决现有鱼眼图像畸变校正技术模型复杂,依赖相机内部参数,校正图像边缘存在拉伸变形的问题,是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种鱼眼镜头非线性畸变校正方法,可以达到鱼眼图像快速、准确的校正的效果。
为了实现上述目的,本发明采用如下技术方案:
一种鱼眼镜头非线性畸变校正方法,包括以下步骤:
S1、建立鱼眼镜头的非线性空间球面投影模型,并利用微分方程求解该模型得到鱼眼图像畸变非线性畸变量;
S2、获取原始鱼眼图像,提出快速极点定位算法提取图像有效区域,得到有效区域图像;
S3、根据有效区域图像建立坐标系,获得像素坐标长度比;
S4、提出基于像素坐标长度比的校正算法,借助S1获得的畸变量重构校正图像。
上述的方法,可选的,S1具体包括:引入图像每毫米像素级的概念,量化原始鱼眼图像,在分辨率下转换原始鱼眼图像的像素值与图像的长度量。
上述的方法,可选的,S1中获取非线性畸变量的步骤包括:对模型做局部分解,用切线段近似代替曲线段;结合每毫秒像素数得出模型底面线段的像素数对应曲面线段的像素数,反映非线性畸变量。
上述的方法,可选的,S2具体包括以下步骤:
S2.1、使用Otsu算法获取灰度图像的阈值,采用该阈值对原始鱼眼图像进行二值化处理,得到二值图像;
S2.2、对二值图像进行形态学处理;
S2.3、采用图像区域属性度量函数,设置一个多边形边界框,计算鱼眼图像中圆形区域的四个顶点位置的坐标;
S2.4、返回值为最小外接框的位置和大小,确定鱼眼图像有效区域的边界顶点坐标、圆心和半径,实现有效区域提取。
上述的方法,可选的,S2.2具体包括:创建一个盘形结构元素,并指定用于逼近盘形的线条结构元素的数量,利用所得到的结构元素数量对二值图像进行膨胀的形态学运算。
上述的方法,可选的,S3具体包括以下步骤:
S3.1、建立uv像素坐标系和xoy图像坐标系的联合坐标系;
S3.2、以理想图像为出发点,计算理想图像中每个像素点坐标到圆心的距离;
S3.3、计算所有理想点坐标与理想点对应的像素坐标长度比。
上述的方法,可选的,S3.3中像素坐标长度比计算公式为:
其中,t为像素坐标长度比,x0为圆心点的横坐标,u为理想点的横坐标,R为图像半径。
上述的方法,可选的,S4中基于像素坐标长度比的校正算法为采用三角函数融合双线性插值方法结合反向映射法。
经由上述的技术方案可知,与现有技术相比,本发明提供了一种鱼眼镜头非线性畸变校正方法,具有以下有益效果:
(1)本发明针对鱼眼镜头建立了一种可行的空间球面模型,表征其非线性畸变规律,并依据微积分的几何特性求解模型,无需鱼眼镜头的内外参数和大量数据集,极大地提高了校正算法的普适性和精确度。
(2)提出了一种基于快速极点定位的有效区域提取方法,其中采用膨胀的形态学运算,有利于通过将像素添加到该图像中的对象的感知边界,扩张放大图像中的明亮白色区域,对结构元素使用逼近方法时,使用盘形逼近的形态学运算的运行速度更快,上述改进提高了有效区域提取的准确性和速度。
(3)定义像素坐标长度比概念,代替即便曲线某点的切线斜率来表示畸变量的增长率,优化接近切线梯度时的校正效果,解决了越靠近x轴斜率变化率越快的问题,改善了传统校正算法校正后图边缘处的拉伸形变现象。
(4)本发明校正后图像细节信息保留更加完整,目标识别准确率显著提高,图像整体视觉效果得到了有效改善。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明公开的一种鱼眼镜头非线性畸变校正方法流程图;
图2为本实施例公开的鱼眼镜头非线性空间球面投影模型图;
图3为本发明公开的球面投影模型局部分解图
图4为本发明公开的有效区域提取流程图;
图5为本发明公开的校正算法插值实现示意图;
图6为本发明公开的实例校正图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参照图1所示,本发明公开了一种鱼眼镜头非线性畸变校正方法,包括以下步骤:
S1、建立鱼眼镜头的非线性空间球面投影模型,并利用微分方程求解该模型得到鱼眼图像畸变非线性畸变量;
S2、获取原始鱼眼图像,提出快速极点定位算法提取图像有效区域,得到有效区域图像;
S3、根据有效区域图像建立坐标系,获得像素坐标长度比;
S4、提出基于像素坐标长度比的校正算法,借助S1获得的畸变量重构校正图像。
进一步的,S1具体包括:引入图像每毫米像素级的概念,量化原始鱼眼图像,在分辨率下转换原始鱼眼图像的像素值与图像的长度量。
具体的,通过研究鱼眼镜头的光学原理,发现其非线性投影规律,依据此,将鱼眼镜头模拟为空间中的半圆球面,将图像成像平面模拟为鱼眼镜头底面,建立鱼眼镜头非线性空间球面投影模型。
进一步的,S1具体包括:引入图像每毫米像素级的概念,量化原始鱼眼图像,在分辨率下转换原始鱼眼图像的像素值与图像的长度量。
具体的,参照图2和图3所示,依据微积分的几何特性,对非线性空间球面投影模型做局部分解,将Δx设为1mm,当Δx足够小时,Δx-dy就是Δx的高阶无穷小,因此在图像中一点P附近,就可以用切线段来近似代替曲线段;结合每毫米像素数可知线段|Q'Q|上的像素数对应|P'P|上的像素数,以此来反映非线性畸变量,其表示形式为|P'P|-|Q'Q|。具体计算方法如下:
|OO'|=cosα·|PP'|;
其中,P,P'为镜头模型弧上两点,令P'(x,y),P(x+Δx,y+Δy),α为空间中的理想物点到相机坐标系原点的径向距离与畸变图像中的畸变像点到图像坐标系原点的径向距离之间的夹角。
进一步的,参照图4所示,S2具体包括以下步骤:
S2.1、使用Otsu算法获取灰度图像的阈值,采用该阈值对原始鱼眼图像进行二值化处理,得到二值图像;
S2.2、对二值图像进行形态学处理;
S2.3、采用图像区域属性度量函数,设置一个多边形边界框,计算鱼眼图像中圆形区域的四个顶点位置的坐标;
S2.4、返回值为最小外接框的位置和大小,确定鱼眼图像有效区域的边界顶点坐标、圆心和半径,实现有效区域提取。
更进一步的,S2.2具体包括:创建一个盘形结构元素,并指定用于逼近盘形的线条结构元素的数量,利用所得到的结构元素数量对二值图像进行膨胀的形态学运算。
进一步的,参照图5所示,S3具体包括以下步骤:
S3.1、建立uv像素坐标系和xoy图像坐标系的联合坐标系;
S3.2、以理想图像为出发点,计算理想图像中每个像素点坐标到圆心的距离;
S3.3、计算所有理想点坐标与理想点对应的像素坐标长度比。
具体的,像素坐标长度比是将图像上某一点处的横坐标长度与半径的比值作为一个变量,代替球面曲线上某点的切线斜率来表示畸变量的增长率。
进一步的,S3.3中像素坐标长度比计算公式为:
其中,t为像素坐标长度比,x0为圆心点的横坐标,u为理想点的横坐标,R为图像半径。
进一步的,S4中基于像素坐标长度比的校正算法为采用三角函数融合双线性插值方法结合反向映射法。
具体的,首先使用像素坐标长度比t的计算结果,借助反映切线斜率增长量的角度变量β,计算畸变点到图像圆心的距离rd以及畸变量σ,角度变量β,计算畸变点到图像圆心的距离rd以及畸变量σ表达式为:
β=arctan(t)
rd=r·cosβ
σ=r-rd
其中,r为像素点坐标到圆心o(x0,y0)的距离,表达式为
其次计算理想点坐标与横坐标之间的夹角夹角/>的表达式如下:
然后采用三角函数计算畸变点到原点的距离rd与畸变点坐标的关系,表达式如下:
之后联立上述公式可以求得理想点对应的畸变点坐标,表达式如下:
最后对映射公式分段处理,表达式如下:
理想图像已插值重建,单幅鱼眼图像校正完成。同时,本发明适用于处理大批量的鱼眼图像,以及处理鱼眼相机所拍摄的视频流。
在一具体实施例中
为验证本发明的鱼眼图像畸变校正效果,选取了来源自网络以及公开数据集VOC-360中的鱼眼图像进行校正实验。参照图6所示,实验结果表明本发明的鱼眼图像校正算法在图像边缘处的提取更加准确,没有在边缘处截去图像有效信息,图中的轮廓细节保留比较完整。本发明有效地改善了校正图像的视觉效果,解决了图像边缘结构差的问题,降低像素损失及算法复杂度,保留了更多的细节信息,并提高了校正算法运行速度。使用基于卷积神经网络的目标检测方法对校正图像进行行人目标识别,并以目标识别准确率、结构相似度和峰值信噪比作为鱼眼图像校正效果的评价指标。多尺度行人目标识别的准确率可以达到99%,在结构相似度和峰值信噪比定量评价方面也具有明显优势。而且该方法不受鱼眼相机型号和原始图像尺寸限制,具有良好的普适性,具有很强的实际工程应用价值,可以应用在多种计算机视觉任务中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种鱼眼镜头非线性畸变校正方法,其特征在于,包括以下步骤:
S1、建立鱼眼镜头的非线性空间球面投影模型,并利用微分方程求解该模型得到鱼眼图像畸变非线性畸变量;
S2、获取原始鱼眼图像,提出快速极点定位算法提取图像有效区域,得到有效区域图像;
S3、根据有效区域图像建立坐标系,获得像素坐标长度比;
S4、提出基于像素坐标长度比的校正算法,借助S1获得的畸变量重构校正图像。
2.根据权利要求1所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S1具体包括:引入图像每毫米像素级的概念,量化原始鱼眼图像,在分辨率下转换原始鱼眼图像的像素值与图像的长度量。
3.根据权利要求1所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S1中获取非线性畸变量的步骤包括:对模型做局部分解,用切线段近似代替曲线段;结合每毫秒像素数得出模型底面线段的像素数对应曲面线段的像素数,反映非线性畸变量。
4.根据权利要求1所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S2具体包括以下步骤:
S2.1、使用Otsu算法获取灰度图像的阈值,采用该阈值对原始鱼眼图像进行二值化处理,得到二值图像;
S2.2、对二值图像进行形态学处理;
S2.3、采用图像区域属性度量函数,设置一个多边形边界框,计算鱼眼图像中圆形区域的四个顶点位置的坐标;
S2.4、返回值为最小外接框的位置和大小,确定鱼眼图像有效区域的边界顶点坐标、圆心和半径,实现有效区域提取。
5.根据权利要求4所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S2.2具体包括:创建一个盘形结构元素,并指定用于逼近盘形的线条结构元素的数量,利用所得到的结构元素数量对二值图像进行膨胀的形态学运算。
6.根据权利要求1所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S3具体包括以下步骤:
S3.1、建立uv像素坐标系和xoy图像坐标系的联合坐标系;
S3.2、以理想图像为出发点,计算理想图像中每个像素点坐标到圆心的距离;
S3.3、计算所有理想点坐标与理想点对应的像素坐标长度比。
7.根据权利要求6所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S3.3中像素坐标长度比计算公式为:
其中,t为像素坐标长度比,x0为圆心点的横坐标,u为理想点的横坐标,R为图像半径。
8.根据权利要求1所述的一种鱼眼镜头非线性畸变校正方法,其特征在于,
S4中基于像素坐标长度比的校正算法为采用三角函数融合双线性插值方法结合反向映射法。
CN202310971103.1A 2023-08-03 2023-08-03 一种鱼眼镜头非线性畸变校正方法 Pending CN116993612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310971103.1A CN116993612A (zh) 2023-08-03 2023-08-03 一种鱼眼镜头非线性畸变校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310971103.1A CN116993612A (zh) 2023-08-03 2023-08-03 一种鱼眼镜头非线性畸变校正方法

Publications (1)

Publication Number Publication Date
CN116993612A true CN116993612A (zh) 2023-11-03

Family

ID=88527861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310971103.1A Pending CN116993612A (zh) 2023-08-03 2023-08-03 一种鱼眼镜头非线性畸变校正方法

Country Status (1)

Country Link
CN (1) CN116993612A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455818A (zh) * 2023-12-11 2024-01-26 深圳精智达技术股份有限公司 一种智能眼镜屏的校正方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455818A (zh) * 2023-12-11 2024-01-26 深圳精智达技术股份有限公司 一种智能眼镜屏的校正方法、装置、电子设备和存储介质
CN117455818B (zh) * 2023-12-11 2024-04-30 深圳精智达技术股份有限公司 一种智能眼镜屏的校正方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
Kumar et al. Fisheyedistancenet: Self-supervised scale-aware distance estimation using monocular fisheye camera for autonomous driving
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN111145228B (zh) 基于局部轮廓点与形状特征融合的异源图像配准方法
CN111507982A (zh) 一种基于深度学习的点云语义分割方法
CN109767454B (zh) 基于时-空-频显著性的无人机航拍视频运动目标检测方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN109035170B (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
CN111402330B (zh) 一种基于平面靶标的激光线关键点提取方法
CN116993612A (zh) 一种鱼眼镜头非线性畸变校正方法
CN113313047A (zh) 一种基于车道结构先验的车道线检测方法及系统
CN114092531A (zh) 一种红外-可见光图像配准方法及系统
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN115471749A (zh) 地外探测无监督学习的多视角多尺度目标识别方法及系统
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN115409831A (zh) 基于最优背景估计的星点质心提取方法及系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination