CN102156969A - 图像纠偏处理方法 - Google Patents

图像纠偏处理方法 Download PDF

Info

Publication number
CN102156969A
CN102156969A CN2011100927004A CN201110092700A CN102156969A CN 102156969 A CN102156969 A CN 102156969A CN 2011100927004 A CN2011100927004 A CN 2011100927004A CN 201110092700 A CN201110092700 A CN 201110092700A CN 102156969 A CN102156969 A CN 102156969A
Authority
CN
China
Prior art keywords
image
distortion
correction
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100927004A
Other languages
English (en)
Other versions
CN102156969B (zh
Inventor
潘林岭
苏仕仁
温均强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU OSTEC ELECTRONIC TECHNOLOGY CO., LTD.
Original Assignee
YUN YUNQIANG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YUN YUNQIANG filed Critical YUN YUNQIANG
Priority to CN2011100927004A priority Critical patent/CN102156969B/zh
Publication of CN102156969A publication Critical patent/CN102156969A/zh
Application granted granted Critical
Publication of CN102156969B publication Critical patent/CN102156969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明的图像纠偏处理方法,包括数学建模、畸变函数参数的修正、计算反向影射坐标及图像恢复四大步骤,根据拍摄镜头的光路畸变特征,转换出基于图像坐标的畸变曲线,通过拟合方法修正其参数,再计算出实际成像坐标与理想成像坐标的影射关系,并将该影射关系的坐标系转换成图像坐标系,对畸变图像作反向坐标点查找,利用图像插值恢复并输出非畸变图像,本发明将复杂的畸变特征分析转化成非线性曲线拟合的问题,实现纠偏图像的同时对图像进行缩放,进而实现不同尺寸的图像实时视频纠偏,可在不需重新计算纠偏参数的前提下修正不同拍摄模组因制造工艺不同而产生的坐标原点误差,适用于高分辨率图像或视频的纠偏,总体提升了纠偏及修正速度和精度。

Description

图像纠偏处理方法
技术领域
本发明涉及图像处理技术,特别是涉及一种对于畸变图像进行纠偏的处理方法。
背景技术
当用数码相机或手机等拍摄设备拍摄照片、名片、文本等资料时,所拍到的图像往往是倾斜的,另外,照片、名片、文本等本来是矩形的物体会发生畸变而变成非规则形状,放大来看时尤其明显。其原因一是拍摄者并没有正对垂直于被拍摄物体上,与被拍摄物体之间存在着一定的偏离角度;二是拍摄设备的各项数据参数,尤其是镜头参数的差异化相距甚远,导致这种畸变的现象极为常见,对人们的资料准确读取及处理造成困难。
申请号为200410095109.4的专利,专利名称为图像处理系统及图像处理方法和电子相机及图像处理装置。该发明的图像处理系统由电子照相机及图像处理装置组成,电子照相机拍摄到的图像以再生模式显示在监视器上,如果用户需要修正图像畸变,需要自己动手操作识别修正时成为基准的四边形轮廓线,将选择的轮廓线的四个顶点坐标信息写入显示图像的图像文件的标题部,之后再执行修正操作,其缺点在于用户需要手动操作,无法实现自动校正,过程复杂,精确度不高。
申请号为200610117277.8的专利,专利名称为图像畸变自动校正的图像处理方法。该发明虽然可以实现自动校正的功能,精确度也相对提高,但识别程度还远远不够,在畸变处理时还需要人工确认判断,在运算方式上很是复杂,必然会对图像处理的速度造成影响,导致识别率降低,不够人性化设计,成本较高。
申请号为200710000174.8的专利,专利名称为基于共线特征点的摄像机畸变快速校正方法。该发明利用畸变的常规公式结合世界坐标的共线特征点,估算出畸变公式参数并利用预计算模板快速恢复纠偏图像。但世界坐标点到图像坐标点的测量及换算过程往往存在很大的误差,而且常规的畸变公式也不能很好的反映出高分辨率拍摄模组的畸变特征,导致图像边沿的纠偏效果不理想。同时,这种测量及计算方法只能针对某个特定的拍摄设备进行图像纠偏,不适用于实际批量生产的情况。
另外,大家熟悉的Photoshop软件在一定程度上也可以实现图像的畸变校正功能,但是局限性很大,首先是它必须建立在电脑的基础上才能实施,需要用户手动调节、校正、渲染等等,因此操作过程中会出现误差,精确度不高,更没有自动校正的功能,其次是它只能针对简单的图像或者单一平面的图像进行畸变校正,对于相对复杂或者畸变视频则无法实现操作,再次是它对电脑系统及电脑配置的要求越来越高,低端的电脑根本无法达到要求或者在运行及反应的速度上极为缓慢,难以提高效率。
发明内容
本发明的目的正是针对现有技术存在的技术缺陷,充分利用镜头的径向畸变特性,把寻找畸变特征的问题转化成普通且精度高的曲线拟合问题,把复杂且误差大的标靶测量最大程度的简化,并消除测量误差,从而提出了一种精度高且快速的图像纠偏方法,能够实现不同分辨率的图像及视频文件的畸变校正,无需人工参与,自动进行识别和调整,反应快速,内部操作简单方便,显著提高效率。
本发明所要解决的技术问题为是:提供一种误差极少且能适应高分辨率图像纠偏的计算方法。能通过对原始纠偏函数的简单换算达到图像纠偏的同时进行图像缩放,适用于图像及实时视频纠偏。在不需重新计算纠偏函数参数的情况下能方便的对各个使用相同规格镜头的拍摄模组进行原点坐标校正,适用于批量生产的对不同拍摄模组的校正工作。
为达到上述目的,本发明的技术方案通过以下步骤予以实现:
(1)进行数学建模:针对拍摄设备来定义其镜头的光路畸变成像函数,根据镜头的理想镜头畸变数据对照表,利用多项式拟合法确定an,得出参数已知的理想畸变函数;
(2)畸变函数参数的修正:使用拍摄模组拍摄标记有定义点的标靶,测量拍出来的标靶图像上的特定点,以作为理想畸变函数的修正标准,在以像素为单位的图像坐标系下根据实测畸变数据对照表,利用基于分段曲线的最小二乘多项式拟合算法修正参数akn为a′kn,并引入图像缩放功能至参数a′kn中,实现图像纠偏的同时达到图像缩放的目的;
(3)计算反向影射坐标:基于图像坐标系,利用畸变函数计算纠偏图像坐标与畸变图像坐标的影射关系,并把影射关系以查找表的形式写成二进制文件,以供图像恢复计算使用;
(4)进行图像恢复:利用上一步图像坐标的影射关系,对畸变图像作反向坐标点查找,并根据图像坐标原点误差修正反向坐标点,最后利用图像插值恢复并输出非畸变图像。
本发明进一步的措施是:
步骤(1)所述的进行数学建模根据以下步骤形成:
a、针对镜头径向畸变特征,以基于光心的投影像高H为变量,定义畸变函数F,即H’=F[H,an],其中an为多项式系数,H’为畸变像高,H为纠偏非畸变像高,nε(0,m),m为多项式最高次幂;
b、转换镜头的光路畸变数据单位,从基于投影高度的物理像高H物理转换成基于图像坐标系的图像像高H图像,设H及H’分别为基于图像坐标的纠偏非畸变像高及畸变像高;
c、把H及H’代入畸变成像函数F中,得出F的超定方程组;
d、采用多项式拟合法求解多项式超定方程组,并求得an
e、把计算得出的an代回畸变成像函数F中,得出的H’=F[H,an]为理想畸变函数。
步骤(2)所述的畸变函数参数的修正根据以下步骤形成:
a、准备一个特定的极坐标标靶,从原点出发,极坐标标靶上同一射线上标注有多个等距的特定点;
b、找出拍摄模组的图像坐标原点(x′o,y′o),即镜头光轴在图像坐标上的实际投影点,用于消除光学原点与图像中心点的偏移误差,拍摄标靶时让标靶原点对准图像坐标中心点,使得拍摄图像上的特定点就是实际图像畸变效果,保证实测数据的精确性;
c、基于分段曲线的最小二乘多项式拟合算法,在同一个图像坐标系下根据理想畸变数据点及实测畸变数据点绘出连续的理想畸变曲线并同时标出实测畸变数据点,把理想畸变曲线分割成k条线段,并保证每条线段上包含一样多的实测特定点,每条线段设为H′k=F[Hk,akn],再针对误差大的线段作最小二乘的多项式拟合,修正akn为a′kn
d、计算出每条线段的最小误差平方和为ek,同时根据实际纠偏效果设定一个最小误差值E,若ek>E,则要把该线段等分成两段,再加入足够多的实测畸变数据点,保证分割后线段上包含有一样多的实测特定点,再利用最小二乘的多项式拟合新线段,再计算新线段的最小误差平方和ek,直至ek≤E为止;
e、基于图像缩放要求修正畸变函数,设目标纠偏图像大小是原始纠偏图像的N倍,则可以利用多项式畸变函数推导出带缩放功能的畸变函数参数akn×Nn-1,得H′k缩放=F[Hk缩放,akn×Nn-1],Hk缩放为N倍缩放后的像高。
步骤(3)所述的计算反向影射坐标根据以下步骤形成:
a、计算纠偏图像的有效尺寸,大小设为2Rx×2Ry,计算Rx时视为计算当α角为0时的像高,同理,计算Ry时视为计算当为90度时的像高,设图像缩放为N倍,纠偏图像比畸变图像的尺寸要大1.5倍,因此初始值设为:Rx=1.5xNxDx,Ry=1.5xNxDy,其中,Dx、Dy为图像传感器原点到x方向及到y方向的边框距离,以像素为单位,把Rx及Ry的初始值代入修正后的畸变函数F缩放,并求得对应畸变图像的长和宽,以一像素为单位不断调整Rx及Ry的初始值,重复代入F缩放,直到求得对应的畸变图像长和宽与Dx及Dy相等,这时的2Rx及2Ry的值就是纠偏图像的有效尺寸;
b、计算图像坐标反向影射,利用畸变函数F缩放计算出基于图像坐标系畸变与纠偏非畸变图像坐标点之间的影射关系,即(X畸变,Y畸变)-纠偏非畸变(X纠偏,Y纠偏)的对应关系,先把(X纠偏,Y纠偏)转换到基于图像中点的像高(H纠偏),再把H纠偏代入F缩放求得H畸变,最后再通过H畸变反算出(X畸变,Y畸变),重复计算每个纠偏图像坐标点对应的畸变图像坐标点;
c、生成图像纠偏运算参数,把基于图像坐标系的畸变—非畸变像素点影射关系转换成以二进制文件的形式保存,以便计算机运算。
步骤(4)所述的进行图像恢复根据以下步骤形成:
a、创建一幅空位图文件,其大小设为2Rx×2Ry像素,形成非畸变图像的雏形;
b、修正图像坐标反向影射,找出图像坐标原点误差Δx和Δy,使反向坐标影射关系修正为(X畸变,Y畸变)与(X纠偏+Δx,Y纠偏+Δy)的对应关系;
c、以位图的形式读入畸变图像,对应坐标点为(X畸变,Y畸变),再读入之前生成的二进制文件并编织成2Rx×2Ry大小的矩阵,根据空位图文件中各像素的坐标点(X纠偏+Δx,Y纠偏+Δy)从矩阵中查找对应的畸变图像的坐标点(X’畸变,Y’畸变),再利用图像插值方法求得坐标点(X’畸变,Y’畸变)在畸变图像灰度值,即为对就纠偏图像(X纠偏+Δx,Y纠偏+Δy)点的灰度值,如此重复计算完成纠偏图像的构造,同时也实现了图像切割,保证了图像色深值和去除多余的图像边沿部分;
d、生成完整的非畸变图像并输出纠偏图像。
本发明与现有技术相比,具有以下显著的进步和突出的特点:
1——不会对拍摄设备的镜头参数过度依赖,无需进行白准位补偿及校正,亦不会产生光源不均匀的情况,并且将复杂的运算函数以简洁的图像坐标影射关系表示出来,结合多项式本身的特点,利用小线段范围内的最小二乘多项式拟合,提高了实际校正精度。同时也把图像缩放功能通过简单的运算引入到畸变函数中,提升纠偏速度并增加了纠偏输出的灵活性。在不需重新进行多项式拟合运算的情况下能输出纠偏图像的同时实现图像缩放,这种算法特别适用于高分辨率拍摄模组的低分辨率实时视频纠偏应用。最后,本发明充分利用了镜头径向畸变的特性,以极坐标形式表示畸变特征,因而能在图像恢复的过程中引入了对不同拍摄模组本身特有的图像原点误差的修正,使得不需重新测量及计算特定拍摄模组畸变特征的情况下能很快很容易的修正图像原点误差,这特别适用于批量生产场合。
2——而现有市场上的纠偏产品在进行畸变校正过程中,需要重复多个步骤,如一张图像畸变量达到30%的图像,用传统的纠偏产品或技术每按一次最多只能进行10%的纠偏,30%的畸变量最少就需要重复操作三次,比较烦琐,借助于本发明,在实际操作步骤上更为省略,响应速度更快,用户从拍摄到生成再到显示这一整个过程,完全不需手工调整,可一步到位,人性化设计,方便简易,并且更为精确,因为本发明不依赖于用户对拍摄图像的各线位置的主观感觉,保证最后的纠偏结果形状上不失真;
3——本发明可直接以软件的形式安装于电脑中进行操作,但相比于Photoshop软件更为简单和方便,对硬件及软件的要求没那么严格,本发明也可集成在芯片上,然后将芯片安装于各种拍摄设备上,拍摄设备在拍摄时就会自动将图像进行识别并进行校正和纠偏,达到显示或输出来的图像是完整且不会产生畸变的,在形式上更为灵活和方便,扩大了使用范畴和应用领域,市场前景巨大。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的总体流程图;
图2是是数学建模的流程图;
图3是畸变函数修正的流程图;
图4是计算反向影射坐标的流程图;
图5是图像恢复的流程图。
具体实施方式
根据图1至图5所示,广角镜头的光路畸变数据,实际是投影到图像感应器上以um为单位的物理像高H物理,图像感应器像高H图像是基于图像坐标系并以像素为单位计算的,以图像中心为原点向量像高。为把H物理转换成H图像,先查找图像感应器单像素物理尺寸,设查到每像素大小为a*a的正方形,单位为um。利用H图像=H物理/a计算出基于图像坐标系的畸变数据对照表。定义畸变函数为7次幂多项式:
F=a0+a1x1+a2x2+a3x3+a4x4+a5x5+a6x6+a7x7—————————(1)
把其中的非畸变数据及对应的畸变数据分别代入上式中的x和y,得到上式的超定方程组,这样便可利用多项式拟合算法确定畸变函数中的an。得到一个理想畸变函数F。
准备一个特定的极坐标系标靶,从原点出发,极坐标标靶上同一射线上标有多个等距的特定点,无需测量其距离的长度,只需保证图像范围内同一射线上有足够的特定点。针对500万像素分辨率的拍摄模组,同一射线上标有50个特定点,则足够修正畸变函数参数之用。
再利用拍摄模组实拍标靶,在拍摄前先要找出拍摄模组的图像坐标原点,因为实际生产出的拍摄模组内镜头光轴不是穿过图像坐标原点,而是存在一个位移。因此先要找出拍摄模组的图像坐标原点,即镜头光轴在图像坐标上实际投影点,用于消除光学原点与图像中心点的偏移误差。这样,拍摄标靶时就让标靶原点对准图像原点,使得拍摄图像上的特定点就是实际图像畸变效果,保证了实测数据的精确性。取出拍摄得到的畸变标靶图像上特定点的数据,实质上就是以像素为单位的各特定点的像高。
在同一坐标系下分别绘出理想畸变数据曲线及实测畸变数据点,x坐标对应非畸变特定点像高,y坐标为畸变后特定点像高,由于镜头制造工艺的误差,可以得出实测畸变数据点与理想畸变曲线存在差异,这样,把曲线的划分成k个区间,即把曲线分成k小段,并保证每一段包含有M个特定点,这时,分别对每段曲线作最小二乘多项式拟合,修正之前求得的畸变函数F。
把每条线段上包含的实测数据点x坐标对应的值xi的代入理想畸变函数F,得出对应的值F(xi),并设实测数据点y坐标的对应值为yi。利用以下公式计算各线段的误差平方和e。
e = Σ i M [ F ( x i ) - y i ] 2 - - - ( 2 )
把各线段所求得的e与E比较(E为常数,根据实际纠偏效果目测经验决定,即E达个某个最小值时,目测基本看不出纠偏图像的畸变,特别是图像外区域畸变)。如果e≤E,则可不用修正该段曲线的畸变函数F,即H′k=F[Hk,akn]。
当e>E,则需要修正该段曲线的畸变函数为F’。先把该段曲线等分两段,再用利用极坐标标靶在该段范围内实测足够的特定点,保证每线段覆盖有M个特定点,之后分别对新的线段作最小二乘多项式拟合,并计算其误差平方和是否小于E。最小二乘多项式拟合方法如下。
线段上特定数据点(xi,yi)(i=1,…,M),Fk为m次幂多项式构成的畸变函数,求
Figure BSA00000472863100081
使得:
I = Σ i = 0 M [ F k ( x i ) - y i ] 2 = Σ i = 0 M ( Σ n = 0 m a n x i n - y i ) 2 = min - - - ( 3 )
满足式(3)的Fk称为最小二乘拟合多项式。显然,
Figure BSA00000472863100083
为a0,a1,…an的多元函数,因此上述问题即为求e=e(a0,a1,...an)的极值问题。由多元函数求极值的必要条件,得:
∂ I ∂ a j = 2 Σ i = 0 M ( Σ n = 0 m a n x i n - y i ) x i j = 0 , j = 0,1 · · · m - - - ( 4 )
Σ n = 0 m ( Σ i = 0 M x i j + n ) a n = Σ i = 0 M x i j y i , j = 0,1 · · · m - - - ( 5 )
式(5)是关于a0,a1,…an的线性方程组,用矩阵表示为:
M + 1 Σ i = 0 M x i . . . Σ i = 0 M x i m Σ i = 0 M x i Σ i = 0 M x i 2 . . . Σ i = 0 M x i m + 1 . . . . . . . . . Σ i = 0 M x i m Σ i = 0 M x i m + 1 . . . Σ i = 0 M x i 2 m a 0 a 1 . . . a n = Σ i = 0 M y i Σ i = 0 M x i y i . . . Σ i = 0 M x i n y i - - - ( 6 )
可以证明,方程组(6)的系数矩阵是一个对称正定矩阵,故存在唯一解。从式(6)中解出a0,a1,…an,从而可得
Figure BSA00000472863100087
为经最小二乘多项式拟合的函数。从而可利用式(2)求得该线的最小误差平方和,并与E比较。若e>E,则需再把该线段作重复分段、拟合操作,直到e≤E为止。
这时,可能过以下运算把图像缩放倍数引入到畸变函数Fk中。设缩放倍数为N,则:
F k ( Nx ) = Σ n = 0 m a n ( Nx ) n = Σ n = 0 m ( a n N n ) x n - - - ( 7 )
为引入缩放功能的畸变函数。
计算并保存反向坐标影射,先计算纠偏图像的有效尺寸,其大小设为2Rx×2Ry,计算Rx的值时可视为计算当α角为0时的像高,同理,计算Ry的值时可视为计算当为90度时的像高,设图像缩放为N倍,纠偏图像比畸变图像的尺寸要大1.5倍,因此初始值设为:Rx=1;5xNxDx,Ry=1;5xNxDy,其中,Dx、Dy及分别为图像传感器原点到x及y方向的边框的距离,以像素为单位,把Rx及Ry的初始值代入修正后的畸变函数F缩放,并求得对应畸变图像的长和宽,以一像素为单位不断调整Rx及Ry的初始值,重复代入F缩放,直到求就对应的畸变图像长和宽与Dx及Dy相等,这时的2Rx及2Ry的值就是纠偏图像的有效尺寸。
生成一个宽为2Rx,高为2Ry图像坐标,即左上角坐标为(0,0),右下角坐标为(2Rx,2Ry);坐标中点为(Rx,Ry);每个图像坐标对应的值为H(x,y),即H纠偏(x,y)。并有
Figure BSA00000472863100091
利用
Figure BSA00000472863100092
Figure BSA00000472863100093
计算每个图像坐标相对于坐标中点所构成向量的角度α(x,y),再把H(x,y)分段代入Fk,得到对应的H’(x,y),即是对应的畸变图像像高H畸变。利用之前计算的α(x,y)计算H畸变所对就的(X畸变,Y畸变)坐标;
Figure BSA00000472863100094
以及
Figure BSA00000472863100095
最后生成两个的2Rx x 2Ry数据矩阵,一个矩阵的元素保存着(X纠偏)所对应的(X畸变)值,另一个矩阵的元素保存着(Y纠偏)所对应的(Y畸变)值,最后把这两个数据矩阵以二进制文件的形式保存,以供图像恢复计算使用。
进行图像恢复,创建一幅空位图文件,其大小设为2Rx x 2Ry,形成非畸变图像的雏形,在空位图文件中读入之前生成的二进制文件,根据空位图文件中各像素的坐标点从二进制文件中查找对应于畸变图像的坐标点,利用之前修正畸变函数参数的方法找出图像坐标原点误差Δx和Δy,使反向坐标影射关系修正为(X畸变,Y畸变)-(X纠偏+Δx,Y纠偏+Δy),这步骤可在实际纠偏运算中实现。再以位图的形式读入畸变图像,利用最终得到的反向坐标点查找畸变图像相应点的色度值,进行图像插值运算,保存图像色度值,生成完整的非畸变图像并输出纠偏图像。
以上内容是结合具体的主要实施方式所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明,本领域技术人员在不脱离本发明构思的前提下,所作出的其他若干技术精确、美化的推演或替换,都应当属于本发明的保护范围。

Claims (5)

1.一种图像纠偏处理方法,其特征在于,包括以下步骤:
(1)进行数学建模:针对拍摄设备来定义其镜头的光路畸变成像函数,根据镜头的理想镜头畸变数据对照表,利用多项式拟合法确定an,得出参数已知的理想畸变函数;
(2)畸变函数参数的修正:使用拍摄模组拍摄标记有定义点的标靶,测量拍出来的标靶图像上的特定点,以作为理想畸变函数的修正标准,在以像素为单位的图像坐标系下根据实测畸变数据对照表,利用基于分段曲线的最小二乘多项式拟合算法修正参数akn为a′kn,并引入图像缩放功能至参数a′kn中,实现图像纠偏的同时达到图像缩放的目的;
(3)计算反向影射坐标:基于图像坐标系,利用畸变函数计算纠偏图像坐标与畸变图像坐标的影射关系,并把影射关系以查找表的形式写成二进制文件,以供图像恢复计算使用;
(4)进行图像恢复:利用上一步图像坐标的影射关系,对畸变图像作反向坐标点查找,并根据图像坐标原点误差修正反向坐标点,最后利用图像插值恢复并输出非畸变图像。
2.根据权利要求所述的图像纠偏处理方法,其特征在于:步骤(1)所述的进行数学建模根据以下步骤形成:
a、针对镜头径向畸变特征,以基于光心的投影像高H为变量,定义畸变函数F,即H’=F[H,an],其中an为多项式系数,H’为畸变像高,H为纠偏非畸变像高,nε(0,m),m为多项式最高次幂;
b、转换镜头的光路畸变数据单位,从基于投影高度的物理像高H物理转换成基于图像坐标系的图像像高H图像,设H及H’分别为基于图像坐标的纠偏非畸变像高及畸变像高;
c、把H及H’代入畸变成像函数F中,得出F的超定方程组;
d、采用多项式拟合法求解多项式超定方程组,并求得an
e、把计算得出的an代回畸变成像函数F中,得出的H’=F[H,an]为理想畸变函数。
3.根据权利要求所述的图像纠偏处理方法,其特征在于:步骤(2)所述的畸变函数参数的修正根据以下步骤形成:
a、准备一个特定的极坐标标靶,从原点出发,极坐标标靶上同一射线上标注有多个等距的特定点;
b、找出拍摄模组的图像坐标原点(x′o,y′o),即镜头光轴在图像坐标上的实际投影点,用于消除光学原点与图像中心点的偏移误差,拍摄标靶时让标靶原点对准图像坐标中心点,使得拍摄图像上的特定点就是实际图像畸变效果,保证实测数据的精确性;
c、基于分段曲线的最小二乘多项式拟合算法,在同一个图像坐标系下根据理想畸变数据点及实测畸变数据点绘出连续的理想畸变曲线并同时标出实测畸变数据点,把理想畸变曲线分割成k条线段,并保证每条线段上包含一样多的实测特定点,每条线段设为H′k=F[Hk,akn],再针对误差大的线段作最小二乘的多项式拟合,修正akn为a′kn
d、计算出每条线段的最小误差平方和为ek,同时根据实际纠偏效果设定一个最小误差值E,若ek>E,则要把该线段等分成两段,再加入足够多的实测畸变数据点,保证分割后线段上包含有一样多的实测特定点,再利用最小二乘的多项式拟合新线段,再计算新线段的最小误差平方和ek,直至ek≤E为止;
e、基于图像缩放要求修正畸变函数,设目标纠偏图像大小是原始纠偏图像的N倍,则可以利用多项式畸变函数推导出带缩放功能的畸变函数参数akn×Nn-1,得H′k缩放=F[Hk缩 ,akn×Nn-1],Hk缩放为N倍缩放后的像高。
4.根据权利要求所述的图像纠偏处理方法,其特征在于:步骤(3)所述的计算反向影射坐标根据以下步骤形成:
a、计算纠偏图像的有效尺寸,大小设为2Rx×2Ry,计算Rx时视为计算当α角为0时的像高,同理,计算Ry时视为计算当为90度时的像高,设图像缩放为N倍,纠偏图像比畸变图像的尺寸要大1.5倍,因此初始值设为:Rx=1.5xNxDx,Ry=1.5xNxDy,其中,Dx、Dy为图像传感器原点到x方向及到y方向的边框距离,以像素为单位,把Rx及Ry的初始值代入修正后的畸变函数F缩放,并求得对应畸变图像的长和宽,以一像素为单位不断调整Rx及Ry的初始值,重复代入F缩放,直到求得对应的畸变图像长和宽与Dx及Dy相等,这时的2Rx及2Ry的值就是纠偏图像的有效尺寸;
b、计算图像坐标反向影射,利用畸变函数F缩放计算出基于图像坐标系畸变与纠偏非畸变图像坐标点之间的影射关系,即(X畸变,Y畸变)-纠偏非畸变(X纠偏,Y纠偏)的对应关系,先把(X纠偏,Y纠偏)转换到基于图像中点的像高(H纠偏),再把H纠偏代入F缩放求得H畸变,最后再通过H畸变反算出(X畸变,Y畸变),重复计算每个纠偏图像坐标点对应的畸变图像坐标点;
c、生成图像纠偏运算参数,把基于图像坐标系的畸变—非畸变像素点影射关系转换成以二进制文件的形式保存,以便计算机运算。
5.根据权利要求所述的图像纠偏处理方法,其特征在于:步骤(4)所述的进行图像恢复根据以下步骤形成:
a、创建一幅空位图文件,其大小设为2Rx×2Ry像素,形成非畸变图像的雏形;
b、修正图像坐标反向影射,找出图像坐标原点误差Δx和Δy,使反向坐标影射关系修正为(X畸变,Y畸变)与(X纠偏+Δx,Y纠偏+Δy)的对应关系;
c、以位图的形式读入畸变图像,对应坐标点为(X畸变,Y畸变),再读入之前生成的二进制文件并编织成2Rx×2Ry大小的矩阵,根据空位图文件中各像素的坐标点(X纠偏+Δx,Y纠偏+Δy)从矩阵中查找对应的畸变图像的坐标点(X’畸变,Y’畸变),再利用图像插值方法求得坐标点(X’畸变,Y’畸变)在畸变图像灰度值,即为对就纠偏图像(X纠偏+Δx,Y纠偏+Δy)点的灰度值,如此重复计算完成纠偏图像的构造,同时也实现了图像切割,保证了图像色深值和去除多余的图像边沿部分;
d、生成完整的非畸变图像并输出纠偏图像。
CN2011100927004A 2011-04-12 2011-04-12 图像纠偏处理方法 Active CN102156969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100927004A CN102156969B (zh) 2011-04-12 2011-04-12 图像纠偏处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100927004A CN102156969B (zh) 2011-04-12 2011-04-12 图像纠偏处理方法

Publications (2)

Publication Number Publication Date
CN102156969A true CN102156969A (zh) 2011-08-17
CN102156969B CN102156969B (zh) 2013-09-25

Family

ID=44438451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100927004A Active CN102156969B (zh) 2011-04-12 2011-04-12 图像纠偏处理方法

Country Status (1)

Country Link
CN (1) CN102156969B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102536201A (zh) * 2011-12-20 2012-07-04 西安思坦仪器股份有限公司 多臂成像数据校正方法
CN103473736A (zh) * 2012-06-06 2013-12-25 南京普爱射线影像设备有限公司 一种c形臂影像增强器实时畸变校正方法
CN104010115A (zh) * 2013-02-26 2014-08-27 刘长江 一种可以修正镜头畸变的数码相机
CN105323519A (zh) * 2014-05-30 2016-02-10 精工爱普生株式会社 图像处理装置、显示装置以及图像处理方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN107240064A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 图像校正方法、装置及终端
CN107422969A (zh) * 2017-04-13 2017-12-01 北京乐步教育科技有限公司 红外线触摸屏、红外线触摸屏的缩放方法和装置
CN108694701A (zh) * 2018-03-21 2018-10-23 南京睿悦信息技术有限公司 用于离轴曲面反射式光学系统反畸变算法
CN109451302A (zh) * 2018-12-07 2019-03-08 昆山丘钛微电子科技有限公司 一种摄像模组测试方法、装置、电子设备及介质
CN109961410A (zh) * 2019-02-28 2019-07-02 中航华东光电有限公司 一种优化的图像预畸变方法
WO2019148642A1 (zh) * 2018-02-01 2019-08-08 江西联创电子有限公司 广角镜头的畸变矫正方法、装置及系统
CN110827214A (zh) * 2019-10-18 2020-02-21 南京睿悦信息技术有限公司 一种自动标定和生成离轴反畸变纹理坐标的方法
US10748258B2 (en) 2018-02-01 2020-08-18 Jiangxi Lianchuang Electronic Co., Ltd. Method, device and system for correcting distortion of wide-angle lens
CN113332712A (zh) * 2021-06-23 2021-09-03 网易(杭州)网络有限公司 游戏场景画面移动方法、装置和电子设备
CN113545027A (zh) * 2019-03-01 2021-10-22 松下知识产权经营株式会社 图像修正装置、图像生成装置、摄像机系统以及车辆
CN114166187A (zh) * 2021-11-17 2022-03-11 深圳市宝尔爱迪科技有限公司 一种基于移动终端的二次元影像测量方法及装置
CN114283736A (zh) * 2022-03-03 2022-04-05 武汉精立电子技术有限公司 子像素定位坐标修正方法、装置、设备及可读存储介质
CN117348577A (zh) * 2023-12-05 2024-01-05 青岛宇方机器人工业股份有限公司 一种生产工艺仿真检测方法、装置、设备以及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250239A (ja) * 1998-02-27 1999-09-17 Kyocera Corp Yuvデータによりディストーション補正を行うディジタル撮像装置
CN1582459A (zh) * 2001-06-12 2005-02-16 奥普提克斯晶硅有限公司 矫正梯形畸变的系统及方法
CN1996389A (zh) * 2007-01-09 2007-07-11 北京航空航天大学 基于共线特征点的摄像机畸变快速校正方法
CN101729739A (zh) * 2009-11-16 2010-06-09 潘林岭 一种图像纠偏处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250239A (ja) * 1998-02-27 1999-09-17 Kyocera Corp Yuvデータによりディストーション補正を行うディジタル撮像装置
CN1582459A (zh) * 2001-06-12 2005-02-16 奥普提克斯晶硅有限公司 矫正梯形畸变的系统及方法
CN1996389A (zh) * 2007-01-09 2007-07-11 北京航空航天大学 基于共线特征点的摄像机畸变快速校正方法
CN101729739A (zh) * 2009-11-16 2010-06-09 潘林岭 一种图像纠偏处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖士中等: "一种光学镜头摄像机图象几何畸变的修正方法", 《中国图象图形学报》 *
易文胜: "一种数据平滑法-高阶多项式分段逼近曲线拟合法", 《声学与电子工程》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102536201A (zh) * 2011-12-20 2012-07-04 西安思坦仪器股份有限公司 多臂成像数据校正方法
CN102536201B (zh) * 2011-12-20 2014-07-02 西安思坦仪器股份有限公司 多臂成像数据校正方法
CN103473736A (zh) * 2012-06-06 2013-12-25 南京普爱射线影像设备有限公司 一种c形臂影像增强器实时畸变校正方法
CN104010115A (zh) * 2013-02-26 2014-08-27 刘长江 一种可以修正镜头畸变的数码相机
CN105323519A (zh) * 2014-05-30 2016-02-10 精工爱普生株式会社 图像处理装置、显示装置以及图像处理方法
CN105354809A (zh) * 2015-12-05 2016-02-24 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN105354809B (zh) * 2015-12-05 2018-05-08 中国航空工业集团公司洛阳电光设备研究所 一种基于输出图像像素位置索引的预畸变方法和装置
CN107240064A (zh) * 2016-03-28 2017-10-10 展讯通信(天津)有限公司 图像校正方法、装置及终端
CN107240064B (zh) * 2016-03-28 2021-04-06 展讯通信(天津)有限公司 图像校正方法、装置及终端
CN107422969A (zh) * 2017-04-13 2017-12-01 北京乐步教育科技有限公司 红外线触摸屏、红外线触摸屏的缩放方法和装置
CN107422969B (zh) * 2017-04-13 2020-07-03 北京乐步教育科技有限公司 红外线触摸屏、红外线触摸屏的缩放方法和装置
WO2019148642A1 (zh) * 2018-02-01 2019-08-08 江西联创电子有限公司 广角镜头的畸变矫正方法、装置及系统
US10748258B2 (en) 2018-02-01 2020-08-18 Jiangxi Lianchuang Electronic Co., Ltd. Method, device and system for correcting distortion of wide-angle lens
CN108694701A (zh) * 2018-03-21 2018-10-23 南京睿悦信息技术有限公司 用于离轴曲面反射式光学系统反畸变算法
CN109451302A (zh) * 2018-12-07 2019-03-08 昆山丘钛微电子科技有限公司 一种摄像模组测试方法、装置、电子设备及介质
CN109961410B (zh) * 2019-02-28 2022-12-20 中航华东光电有限公司 一种优化的图像预畸变方法
CN109961410A (zh) * 2019-02-28 2019-07-02 中航华东光电有限公司 一种优化的图像预畸变方法
CN113545027A (zh) * 2019-03-01 2021-10-22 松下知识产权经营株式会社 图像修正装置、图像生成装置、摄像机系统以及车辆
CN113545027B (zh) * 2019-03-01 2023-12-19 松下知识产权经营株式会社 图像修正装置、图像生成装置、摄像机系统以及车辆
CN110827214A (zh) * 2019-10-18 2020-02-21 南京睿悦信息技术有限公司 一种自动标定和生成离轴反畸变纹理坐标的方法
CN113332712A (zh) * 2021-06-23 2021-09-03 网易(杭州)网络有限公司 游戏场景画面移动方法、装置和电子设备
CN113332712B (zh) * 2021-06-23 2024-02-02 网易(杭州)网络有限公司 游戏场景画面移动方法、装置和电子设备
CN114166187A (zh) * 2021-11-17 2022-03-11 深圳市宝尔爱迪科技有限公司 一种基于移动终端的二次元影像测量方法及装置
CN114283736A (zh) * 2022-03-03 2022-04-05 武汉精立电子技术有限公司 子像素定位坐标修正方法、装置、设备及可读存储介质
CN117348577A (zh) * 2023-12-05 2024-01-05 青岛宇方机器人工业股份有限公司 一种生产工艺仿真检测方法、装置、设备以及介质
CN117348577B (zh) * 2023-12-05 2024-03-12 青岛宇方机器人工业股份有限公司 一种生产工艺仿真检测方法、装置、设备以及介质

Also Published As

Publication number Publication date
CN102156969B (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
CN102156969B (zh) 图像纠偏处理方法
US11823363B2 (en) Infrared and visible light fusion method
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
CN105678742B (zh) 一种水下相机标定方法
KR101921672B1 (ko) 이미지 처리 방법 및 장치
CN101998136B (zh) 单应矩阵的获取方法、摄像设备的标定方法及装置
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN104457710B (zh) 一种基于非量测数码相机的航空数字摄影测量方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN102521586B (zh) 一种用于拍照手机的高分辨率三维人脸扫描方法
CN101763643A (zh) 一种结构光三维扫描仪系统自动标定方法
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
EP2365696B1 (en) Method and device for reducing image color noise
CN113160339A (zh) 一种基于沙姆定律的投影仪标定方法
CN104657982A (zh) 一种投影仪标定方法
CN102509304A (zh) 基于智能优化的摄像机标定方法
US20230025058A1 (en) Image rectification method and device, and electronic system
CN101729739A (zh) 一种图像纠偏处理方法
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
CN108109118B (zh) 一种无控制点的航拍图像几何校正方法
CN102110290B (zh) 一种利用正三棱柱靶标求解摄像机内参数方法
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
CN104200469B (zh) 一种视觉智能数控系统的数据融合方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Assignee: Ostec Opto-Electronic Technology Co., Ltd.

Assignor: Pan Linling|Su Shiren|Wen Junqiang

Contract record no.: 2012440000334

Denomination of invention: Method for rectifying deviation of image

License type: Exclusive License

Open date: 20110817

Record date: 20120621

C14 Grant of patent or utility model
GR01 Patent grant
EC01 Cancellation of recordation of patent licensing contract

Assignee: Ostec Opto-Electronic Technology Co., Ltd.

Assignor: Pan Linling| Su Shiren|Wen Junqiang

Contract record no.: 2012440000334

Date of cancellation: 20140919

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110817

Assignee: GUANGZHOU OSTEC ELECTRONIC TECHNOLOGY CO., LTD.

Assignor: Pan Linling| Su Shiren| Wen Junqiang

Contract record no.: 2014440000406

Denomination of invention: Method for rectifying deviation of image

Granted publication date: 20130925

License type: Exclusive License

Record date: 20140925

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170110

Address after: 511450 Guangdong city of Guangzhou province Panyu District Dalong street near the river village Jiangcheng Lane No. 8, two

Patentee after: GUANGZHOU OSTEC ELECTRONIC TECHNOLOGY CO., LTD.

Address before: Shawan Town Panyu District Qingyun road in Guangzhou city Guangdong province 510000 18 five, a staircase 501 rooms

Patentee before: Pan Linling

Patentee before: Su Shiren

Patentee before: Wen Junqiang