CN102592264A - 影像处理方法及用于该影像处理方法的装置 - Google Patents
影像处理方法及用于该影像处理方法的装置 Download PDFInfo
- Publication number
- CN102592264A CN102592264A CN2011102250879A CN201110225087A CN102592264A CN 102592264 A CN102592264 A CN 102592264A CN 2011102250879 A CN2011102250879 A CN 2011102250879A CN 201110225087 A CN201110225087 A CN 201110225087A CN 102592264 A CN102592264 A CN 102592264A
- Authority
- CN
- China
- Prior art keywords
- image
- distortion
- curve
- line segment
- curves
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 title abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 32
- 238000005457 optimization Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 32
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 47
- 230000004075 alteration Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 244000007853 Sarothamnus scoparius Species 0.000 description 1
- 231100000768 Toxicity label Toxicity 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置。包括:检测部,在接收到的影像的边缘部分,将像素信息组合成一组并检测线段,利用检测到的所述线段生成多个曲线;优化部,在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值,从而仅定义外点及内点,去除所述外点,并推测畸变程度参数;以及修正部,利用所述畸变程度参数,用修正值对像素的位置进行修正。并且,在不是直接拍摄而得到的影像的情况下,也能够对镜头畸变进行修正,能够对通过非指定照相机及拍摄装置的所有利用镜头的设备生成的影像进行修正。
Description
技术领域
本发明涉及影像处理方法及用于该影像处理方法的装置,更详细地讲,涉及利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置。
背景技术
随着大容量存储器芯片的开发及计算机处理速度的迅速提高,利用计算机的影像处理技术在整个工业上均被使用。尤其是在工厂自动化生产线中的检查测定部分或实时网络监控系统中,成为不可缺少的技术。若使用如鱼眼镜头那样的广角镜头,则具有在相同的视场(FOV:Field Of View)内能够获得更广范围的图像的优点,另一方面,越远离影像中心则畸变程度越严重,为此需要进行几何修正。
关于输入影像的修正,目前有许多研究者发表了照相机或VCR等的畸变影像修正技术。Rahul为了进行由广角镜头带来的畸变修正,对综合了径向畸变(Radial Distortion)和偏心畸变(Decentering Distortion)的照相机修正方法进行了研究,Weng则对通过照相机输入的影像进行修正的算法进行了研究。Tsai发表了利用一次快速傅里叶变换(FFT:Fast FourierTransform)的修正式,且为了修正影像中心点,使用刚体(Rigid Body)变换、针对针孔(Pin Hole)照相机的远近方程式以及用二次项表示的径向畸变公式进行修正。
大部分的研究者对于广角不是很大的照相机等,使用针对在对角线方向等上出现的畸变的修正模型的一般式,使用极小化法(MinimizingMethod)分别求出系数来进行修正,并且由于修正模型的一般式的复杂性,忽略高次项,其适用仅限于特定视觉环境和畸变类型。
作为决定光学系统性能的重要因子,可以列举像差(Aberration)。这是因具有一定的曲率和折射率的镜头的属性而发生的现象,是指成像时像不能正常会聚而看起来模糊或歪斜的现象。
镜头像差通常可以分为球面(Spherical)像差、彗形(Coma)像差、散光(Astigmatism)像差、场曲(Field Curvation)像差和畸变(Distortion)像差等五种类型,统称为塞德耳像差(Seidel Aberration)。
球面像差是指在成像时,从与经过镜头中心的垂直轴即光轴(On Axis)远的位置入射的光线相比从与光轴近的位置入射的光线更大地折射,并且就成像位置而言,也成像在与镜头近的位置的现象。
散光像差因镜头抛光不良、镜头材料不良及温差等而产生。
场曲像差现象是指,越是从与光轴远的地方入射的光,越在与镜头近的位置成像,并且,焦点形成在非平面的球面上而形成弯曲的像。
畸变像差是指被摄体的直线部分弯曲而成像的现象。
对色像差而言,由于光通过镜头时因波长的不同而产生折射差异,因此折射结果,波长短的光被更严重地折射,从而产生分别不同的成像,结果,看起来物体按各个颜色呈现。
放射状的畸变在带有廉价镜头的照相机中容易出现,在用于特殊功能的鱼眼镜头或移轴镜头中尤为突出。这样的镜头畸变现象是在利用镜头的所有影像装置中发生的问题,在未掌握这样的镜头畸变的中心点的情况下,不能进行镜头畸变修正,或者即使进行修正,修正后也会发生新的畸变。影像畸变问题对于数字成像系统制造者及核心构成要素供给者来说非常重要。
为了减少镜头畸变现象,可以采用在镜头中使用特殊的材料、或者将多个镜头结合在一起进行制作的方法。然而,这些方法导致镜头的价格上升,因此存在在不能更换镜头的小型照相机中不能适用的问题。此外,在使用多个镜头的情况下,会产生畸变中心扭曲的问题。
因为这样的问题,开发出多种通过影像处理对这种畸变进行修正的方法。目前的畸变修正技术,主要使用利用拍摄时的照相机设置或拍摄了指定测试图案而得到的影像的方法。正逐渐开展不用附带信息而仅使用影像信息来修正镜头畸变的自动修正方法的研究。
目前的大量技术大部分着重于容易进行分析和修正的放射状镜头畸变修正技术。特别地,为了进行小型照相机中的镜头畸变修正,对基于影像处理技术的镜头畸变修正技术进行研究。主要着重于放射状镜头畸变,研究出了以畸变的中心点为基准,掌握畸变程度,并对镜头畸变进行修正的技术。通过优化,使说明曲线组、直线组与曲线组之间的像差的等式组得以求解,从而能够计算出从畸变图像到修正后影像的整体畸变程度。
发明内容
要解决的问题
用于解决上述问题的本发明的第一目的在于,提供一种利用镜头畸变修正的影像处理装置。
用于解决上述问题的本发明的第二目的在于,提供一种利用镜头畸变修正的影像处理方法。
解决问题的手段
用于实现上述的本发明第一目的的本发明一实施例中的影像处理装置,包括:检测部,在接收到的影像的边缘部分,将像素信息组合成一组并检测线段,利用检测到的所述线段生成多个曲线;优化部,在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值,从而仅定义外点及内点,去除所述外点,并推测畸变程度参数;以及修正部,利用所述畸变程度参数,用修正值对将像素的位置进行修正。
用于实现本发明第二目的的本发明一实施例中的影像处理方法,包括如下步骤:在接收到的影像的边缘部分,将像素信息组合成一组并检测线段,利用检测到的所述线段生成多个曲线;对基于生成的所述多个曲线的费用函数,按相对于影像中心的距离适用加权值,将具有比临界值小的长度的曲线定义为外点,将具有比临界值大的长度的曲线定义为内点;去除所述外点,仅利用所述内点推测使费用函数最小的畸变程度参数;以及利用所述畸变程度参数,用修正值对像素的位置进行修正。
发明效果
在使用如上所述的本发明中的利用镜头畸变修正的影像处理方法及用于该影像处理方法的装置的情况下,即使在不是直接拍摄到的影像的情况下,也能够对镜头畸变进行修正,并且能够对通过非特定照相机及拍摄装置的所有利用镜头的设备生成的影像进行修正,能够区分使镜头畸变的修正性能提高的影像内容和恶化的内容,因此修正性能比其他技术突出。
附图说明
图1是概略地表示本发明一实施例中的影像处理装置的内部结构的图。
图2是表示适用于本发明一实施例中的影像处理装置的镜头畸变模型的结构的图。
图3是基于适用于本发明一实施例中的影像处理装置的镜头畸变模型而未发生镜头畸变的影像的例示图。
图4及图5是基于适用于本发明一实施例中的影像处理装置的镜头畸变模型而发生镜头畸变的影像的例示图。
图6是用于说明本发明一实施例中的影像处理装置的检测部102对曲线进行检测的过程的例示图。
图7是表示本发明一实施例中的影像处理装置的优化部103未适用由检测部102生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。
图8是表示本发明一实施例中的影像处理装置中的优化部103适用由检测部102生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。
图9是用于说明本发明一实施例中的影像处理装置中的优化部103利用由检测部102生成的曲线和从镜头畸变的中心到曲线的距离,来将加权值适用于费用函数,以将曲线区分为外点和内点的情况的例示图。
图10是用于说明本发明一实施例中的影像处理过程的流程图。
图11及图12是用于说明利用本发明一实施例中的影像处理装置执行镜头畸变修正前后的例示图。
具体实施方式
本发明可以进行多种变更,并且可以具有多种实施例,这里对特定实施例进行图示并进行详细说明。然而,应当理解为:本发明并不限定于特定的实施方式,包括包含于本发明的技术思想及技术范围中的所有变更、等效物及替代物。对图的说明中相似的构成要素使用相似的参考符号。
第一、第二、A、B等用语可用于说明多种构成要素,但所述构成要素并不限定于所述用语。使用所述用语的目的仅在于将一个构成要素与其它构成要素区分。例如,在不脱离本发明的范围的情况下,第一构成要素也可以被命名为第二构成要素,类似地,第二构成要素也可以被命名为第一构成要素。用语“和/或”包括多个相关记载项的组合或多个相关记载项中的某项。
当提及某构成要素与其他构成要素“连接”或“连结”时,应理解为既可以与其它构成要素直接连接或连结,也可以为在中间存在其它构成要素。相反,当提及某构成要素与其他构成要素“直接连接”或“直接连结”时,应理解为中间不存在其它构成要素。
本申请中使用的用语仅用于说明特定的实施例,并不是为了对本发明进行限定。单数的表现只要在文章中没有特别说明,则包括多个的表现。在本申请中,“包含”或“具备”等用语应理解为用于指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或它们的组合的存在,而非预先排除一个或一个以上的其它特征或数字、步骤、动作、构成要素、部件或它们的组合的存在或附加的可能性。
如果不是另有定义,则包括技术上或科学上的用语在内的在此处使用的全部用语具有与本发明所属技术领域的普通技术人员在通常情况下的理解相同的意思。与通常使用的词典中定义相同的用语应被解释为,具有相关技术的文章中所具有的意义相同的意义,只要在本申请中未明确定义,则不应被解释为异常或过分形式化的意义。
以下,参照附图对本发明中优选的实施例进行详细说明。
图1是概略地表示本发明一实施例中的影像处理装置的内部结构的图。
参照图1,影像处理装置包括接收部101、检测部102、优化部103以及修正部104。
检测部102在从接收部101接收到的镜头畸变发生影像的边缘部分,将像素信息组合成一组,并检测线段。此外,检测部102将检测到的线段中短于临界值的线段连接而形成曲线,并且将线段间距离和角度偏离的线连接而形成曲线。
优化部103对于基于由检测部102生成的曲线的费用函数,按照距影像中心的距离来适用加权值,将具有小于临界值的长度的曲线定义为外点,将具有大于临界值的长度的曲线定义为内点,去除外点及内点中的外点,推测费用函数成为最小的畸变程度参数。根据本发明的一实施例,优化部103基于Ransac方法,从M个线段中随机选择一个线段,利用Levenberg-marquardt方法推测对所选择的线段的畸变程度影响最大的畸变程度参数K3下的费用函数成为最小的畸变参数,并利用推测出的畸变参数,用下述数学式1将M个全部线段进行直线化,之后求出针对构成检测出的曲线的全部像素的误差,对该误差的绝对值超过指定临界值的像素的个数进行计数,在该个数在曲线的像素个数中所占的比率为指定比率以上的情况下,将该曲线推测为外点并将其去除。
优化部103在利用Ransac方法时,用直线化的曲线与原曲线之间的像素之间的距离表示了费用函数,且为了找出费用函数成为最小的参数,使用了如下述数学式3的二次项,但应理解为,本发明的范围并不限定于如数学式3的费用函数,而能够适用于可最小化的所有模型。
修正部104利用由优化部103推测出的畸变程度参数,对像素的位置进行修正。此时,修正值是在修正到像素坐标值周围区域的像素值之间通过插补来设定的值。以下参照图2对本发明一实施例中的影像处理装置中适用的镜头畸变模型的结构进行具体说明。
图2是表示本发明一实施例中的影像处理装置中适用的镜头畸变模型的结构的图。
参照图2,Pu=(xu,yu)是未发生镜头畸变的影像的坐标,Pd=(xd,yd)是发生镜头畸变影像的坐标。放射型镜头畸变由如下函数建立模型,该函数为从与发生镜头畸变影像的坐标相应的像素到影像中心O 201的距离的函数。镜头畸变模型如数学式1所记载。
(数学式1)
参照数学式1,rd表示在发生镜头畸变影像中畸变像素到图像中心的距离,表示为xu表示未发生镜头畸变的影像的X坐标,yu表示未发生镜头畸变的影像的Y坐标,xd表示发生镜头畸变影像的X坐标,yd表示发生镜头畸变影像的Y坐标。Cx表示影像中心的X坐标,Cy表示影像中心的Y坐标。k是表示镜头畸变程度的参数。表示镜头畸变程度的k从未发生镜头畸变的影像的坐标Pu=(xu,yu)202移动至发生镜头畸变影像的坐标Pd=(xd,yd)203。表示镜头畸变程度的参数k的移动不限于特定坐标,而是在影像整体中以固定的k值产生基于距离的畸变。
一般情况下,在利用低廉镜头的影像拍摄设备的情况下,产品制造商通常不提供工厂像差参数。因此数字影像拍摄设备的制造商往往针对各种工厂像差修正不采取任何的措施,所以会发生镜头畸变。以下参照图3至图5,说明基于本发明一实施例中的影像处理装置中适用的镜头畸变模型而未发生镜头畸变的影像及发生镜头畸变影像。
图3是基于本发明一实施例中的影像处理装置中适用的镜头畸变模型而未发生镜头畸变的影像的例示图。图4及图5是基于本发明一实施例中的影像处理装置中适用的镜头畸变模型而发生镜头畸变的影像的例示图。
参照图3至图5,图3表示未发生镜头畸变的通常的影像,图4表示基于本发明一实施例中的影像处理装置中适用的镜头畸变模型而发生桶形畸变的发生镜头畸变影像,图5表示基于本发明一实施例中的影像处理装置中适用的镜头畸变模型而发生枕形畸变的发生镜头畸变影像。以下参照数学式2,说明判断为如图4和图5所示发生了桶形畸变和枕形畸变的简化模型。
(数学式2)
参照数学式2,rd表示在发生镜头畸变影像中畸变像素到影像中心的距离,表示为xu表示未发生镜头畸变的影像的X坐标,yu表示未发生镜头畸变的影像的Y坐标,xd表示发生镜头畸变影像的X坐标,yd表示发生镜头畸变影像的Y坐标。k是表示镜头畸变程度的参数。在分析出ki中的k3值对畸变程度影响最大的情况下,仅考虑K3来推测畸变程度。若k3大于0,则判断为如图4所示发生了桶形畸变的情况。相反,若k3小于0,则判断为如图5所示发生了枕形畸变的情况。像这样,由于自动导出表示畸变程度的参数k,因此使用者可以进行经过更新的校准,数字影像拍摄设备的制造商可在高品质影像拍摄设备中使用低廉的镜头。以下参照图6对本发明一实施例中的影像处理装置的检测部102检测曲线的过程进行详细说明。
图6是用于说明本发明一实施例中的影像处理装置的检测部102对曲线进行检测的过程的例示图。
参照图6,检测部102在从接收部101接收到的影像的边缘部分,将像素信息组合成一组并检测线段。此时,若检测部102检测影像内的线段,则检测出构成曲线的多个短线段601、602、603、604。并且,检测部102为了将构成一个曲线的多种线段组合成一组,观察线段之间的关系并决定属于哪一组。为此,检测部102为使线段属于相同的组即相同的曲线,对各个线段测量线段之间的距离p(600a)、线段之间的角度a(600b)及线段的垂直距离d(600c)并连接线段。首先,检测部102在线段之间的距离600a、线段之间的角度600b及线段的垂直距离600c均小于临界值的情况下,指定为一组,从而将与线1(601)连接的线限定为线2(602)。能够表现出表示连接这些线段而成的曲线的组,并且各个组存储构成一个曲线的像素值。
优化部103利用这样的检测出的曲线,推测用于将曲线进行直线化的镜头畸变参数,在由检测部102检测出的曲线非常短的情况下,不仅难以推测镜头畸变参数,而且产生较大的推测误差。此外,影像中出现的多个曲线中,不仅存在由于镜头畸变而直线弯成曲线的线,还存在实际拍摄的被摄体包含曲线的情况。尤其在镜头畸变发生在影像中心附近的情况下,由于与中心的距离短,因此很少发生镜头畸变。因此,优化部103在推测镜头畸变程度参数时,如果包括与中心的距离短而畸变发生较少的线在内而推测畸变参数,则准确率下降,修正部104不能准确地进行修正。
因此,优化部103对于基于由检测部102生成的曲线的费用函数,按相对于影像中心的距离来适用加权值,将曲线分为外点及内点并去除外点之后,利用内点推测畸变参数。根据本发明的一实施例,优化部103基于Ransac方法,从由检测部102生成的M个曲线中随机选择一个曲线,利用Levenberg-marquardt方法推测对所选择的曲线的畸变程度影响最大的畸变程度参数k3下的费用函数成为最小的畸变参数。优化部103利用推测出的畸变参数,对于M个全部线段,利用下述数学式1进行直线化,之后求出针对构成检测出的曲线的全部像素的误差,对该误差的绝对值超过指定临界值的像素的个数进行计数,当该个数在曲线的像素个数中所占的比率为指定比率以上时,将该曲线定义为外点。
根据本发明的一实施例,优化部103利用Ransac方法时,费用函数由直线化的曲线与原曲线的像素之间的距离表示,为了找出费用函数成为最小的参数,使用了如下述数学式3所示的二次项,但应理解为,本发明的范围不限于如数学式3的费用函数,而能够适用于可最小化的所有模型。
并且,优化部103仅利用内点推测费用函数成为最小的畸变程度参数。
(数学式3)
图7是表示本发明一实施例中的影像处理装置中的优化部103未适用由检测部102生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。图8是表示本发明一实施例中的影像处理装置中的优化部103适用由检测部102生成的曲线的加权值的、费用函数中的镜头畸变修正参数下的误差像素的比率的曲线图。
参照图7及图8,若优化部103使用由检测部102生成的曲线的数学式3的费用函数,则出现如图7所示的基于镜头畸变修正参数而区分外点的性能。这导致:与镜头畸变影像的中心近的线针对参数变化的灵敏度小,因此在使用20%的临界值的情况下,在很宽的k3的变化范围中不作为外点。因此,若优化部103对于由检测部102生成的曲线,利用从镜头畸变的中心到曲线的距离对费用函数赋予加权值,则如图8所示,基于镜头畸变修正参数引出外点,从而提高外点去除方法的性能,并提供镜头畸变修正功能。以下参照图9说明本发明一实施例中的影像处理装置的优化部103利用由检测部102生成的曲线、以及从镜头畸变中心到曲线的距离对费用函数适用加权值,来将曲线分为外点及内点的情况。
图9是用于说明本发明一实施例中的影像处理装置中的优化部103利用由检测部102生成的曲线和从镜头畸变的中心到曲线的距离对费用函数适用加权值,来区分曲线的外点和内点的情况的例示图。
参照图9,优化部103对由检测部102生成的曲线的费用函数,按照曲线与镜头畸变中心的距离适用加权值,从而将曲线区分为外点及内点。并且,优化部103为了找出费用函数成为最小的参数,使用如数学式4所示的对角线长度。应理解为,本发明的范围不仅限于如数学式4的加权值,而适用于利用曲线与镜头畸变中心的距离的所有模型。
(数学式4)
若优化部103对由检测部102生成的曲线的费用函数,按照曲线与镜头畸变中心的距离适用如数学式4所示的加权值,则如上述说明的图8中的虚线,出现基于镜头畸变修正参数来区分外点的性能,这如虚线所示,线3的超过临界值的像素的比率变化而外点检测性能发生变化。
优化部103利用具备具有如数学式4所示的加权值的费用函数的Ransac方法,去除外点。然后,优化部103利用仅剩下内点的曲线的组,求出对内点的畸变程度影响最大的畸变程度参数k3下的费用函数,推测针对所有内点的费用函数成为最小的、对畸变程度产生影响最大的畸变程度参数k3值,从而找出最终的镜头畸变程度参数k3。
若通过优化部103的推测而对畸变程度影响最大的畸变程度参数K3的推测完成,则修正部104利用数学式2对影像整体的像素生成新的坐标值,对生成的坐标值适用线性插补法而最终生成镜头畸变修正后的影像。以下参照图10对本发明一实施例中的影像处理过程进行详细说明。
图10是用于说明本发明一实施例中的影像处理过程的流程图。
参照图10,影像处理装置在接收到的影像的边缘部分,将像素信息组合成一个组并检测线段(S1001)。此时,影像处理装置若检测影像内的线段,则检测出构成曲线的多个短线段。
影像处理装置利用检测出的线段生成多个曲线(S1002)。影像处理装置为了将构成一个曲线的多种线段组合成一组,观察线段之间的关系,决定属于哪一组。为此,影像处理装置为了使线段属于相同组即相同的曲线,对各个线段测量线段之间的距离p、线段之间的角度a及线段的垂直距离d,并连接线段。首先,检测部102在线段之间的距离、线段之间的角度及线段的垂直距离均小于临界值的情况下,指定为一组,并生成曲线。能够表现出表示连接这种曲线而成的曲线的组,并且各个组存储构成一曲线的像素值。
影像处理装置对于基于生成的多个曲线的费用函数,按照与影像中心的距离适用加权值,将具有小于临界值的长度的曲线定义为外点,将具有大于临界值的长度的曲线定义为内点(S1003)。
影像处理装置将外点去除(S1004),仅利用内点推测费用函数成为最小的畸变程度参数(S1005)。根据本发明一实施例,影像处理装置基于Ransac方法,从M个线段中随机选择一个线段,并利用Levenberg-marquardt方法推测对所选择的曲线的畸变程度影响最大的畸变程度参数k3下的费用函数成为最小的畸变参数。影像处理装置利用推测出的畸变参数,利用数学式1将M个全部线段进行直线化,然后求出针对构成检测出的曲线的全部像素的误差,对该误差的绝对值超过指定临界值的像素的个数进行计数,在该个数在曲线的像素个数中所占的比率为指定比率以上的情况下,将该曲线定义为外点并去除。根据本发明的一实施例,影像处理装置在利用Ransac方法时,费用函数由直线化的曲线与原曲线的像素之间的距离来表示,为了找出费用函数成为最小的参数,使用了如数学式3所示的二次项,但应理解为,本发明的范围不限于如数学式3所示的费用函数,而能够适用于可最小化的所有模型。
影像处理装置利用畸变程度参数,用修正值对像素的位置进行修正(S1005)。此时,修正值是在修正到像素坐标值周围区域的像素值之间通过插补而设定的值。以下参照图11及图12,说明利用本发明一实施例中的影像处理装置执行镜头畸变修正前后的情况。
图11及图12是用于说明利用本发明一实施例中的影像处理装置执行镜头畸变修正前后情况的例示图。
参照图11及图12,左侧影像1101、1201表示发生镜头畸变影像,右侧影像1102、1202的红色标记部分是经过外点去除过程定义为外点的部分,绿色标记部分是定义为内点而在镜头畸变修正参数的推测中使用的部分。比较图11及图12的修正前发生镜头畸变影像1101、1201和修正后影像1102、1202可知,修正前的影像1101、1201中建筑物看起来弯曲的现象在修正后影像1102、1202中看起来正、或者更直线化。
以上参照本发明的优选的实施例进行了说明,但是相关领域的技术人员应当能够理解在不超出下述权利要求中记载的本发明的思想及领域的范围内,可对本发明进行多种修改和变更。
符号说明
101:接收部 102:检测部
103:优化部 104:修正部
Claims (12)
1.一种影像处理装置,其特征在于,包括:
检测部,在接收到的影像的边缘部分,将像素信息组合成一组并检测线段,利用检测到的所述线段生成多个曲线;
优化部,在基于所生成的所述多个曲线的费用函数中按照相对于影像中心的距离适用加权值,从而仅定义外点及内点,去除所述外点,并推测畸变程度参数;以及
修正部,利用所述畸变程度参数,用修正值对将像素的位置进行修正。
2.根据权利要求1所述的影像处理装置,其特征在于,
所述优化部利用生成的所述多个曲线,生成直线化线段,并计算针对生成的直线化线段的误差。
3.根据权利要求1所述的影像处理装置,其特征在于,
在所述误差的绝对值大于临界值、并且相应像素的个数在曲线的像素个数中所占的比率为预先设定的比率以上的情况下,所述优化部将相应线段定义为外点。
4.根据权利要求1所述的影像处理装置,其特征在于,
所述优化部从生成的所述多个曲线中选择任意一个曲线,并利用所选择的一个曲线,推测畸变程度参数下的费用函数成为最小的畸变程度参数。
5.根据权利要求1所述的影像处理装置,其特征在于,
所述检测部连接检测到的所述线段而生成多个曲线。
6.根据权利要求1所述的影像处理装置,其特征在于,
在修正到所述像素坐标值周围区域的像素值之间,通过插补来设定所述修正值。
7.一种影像处理方法,其特征在于,包括如下步骤:
在接收到的影像的边缘部分,将像素信息组合成一组并检测线段,利用检测到的所述线段生成多个曲线;
对基于生成的所述多个曲线的费用函数,按相对于影像中心的距离适用加权值,将具有比临界值小的长度的曲线定义为外点,将具有比临界值大的长度的曲线定义为内点;
去除所述外点,仅利用所述内点推测费用函数成为最小的畸变程度参数;以及
利用所述畸变程度参数,用修正值对像素的位置进行修正。
8.根据权利要求7所述的影像处理方法,其特征在于,
在推测所述畸变程度参数的步骤中,利用生成的所述多个曲线,生成直线化线段,并计算针对所生成的直线化线段的误差。
9.根据权利要求8所述的影像处理方法,其特征在于,
在推测所述畸变程度参数的步骤中,在计算出的所述误差的绝对值大于临界值、并且相应像素的个数在曲线的像素个数中所占的比率为预先设定的比率以上的情况下,将相应线段推测为外点并去除。
10.根据权利要求7所述的影像处理方法,其特征在于,
在推测所述畸变程度参数的步骤中,从生成的所述多个曲线中选择任意一个曲线,利用所选择的一个曲线,推测畸变程度参数下的费用函数成为最小的畸变程度参数。
11.根据权利要求7所述的影像处理方法,其特征在于,
在生成所述曲线的步骤中,连接检测到的所述线段而生成多个曲线。
12.根据权利要求7所述的影像处理方法,其特征在于,
在修正到所述像素坐标值周围区域的像素值之间,利用线性插补来设定所述修正值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2011-0000592 | 2011-01-04 | ||
KR1020110000592A KR101172629B1 (ko) | 2011-01-04 | 2011-01-04 | 영상 처리 방법 및 이를 위한 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102592264A true CN102592264A (zh) | 2012-07-18 |
Family
ID=46380839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102250879A Pending CN102592264A (zh) | 2011-01-04 | 2011-05-23 | 影像处理方法及用于该影像处理方法的装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8675985B2 (zh) |
JP (1) | JP5291758B2 (zh) |
KR (1) | KR101172629B1 (zh) |
CN (1) | CN102592264A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103780833A (zh) * | 2012-10-22 | 2014-05-07 | 佳能株式会社 | 摄像设备及其控制方法 |
CN104994280A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种预览图像处理方法及用户终端 |
CN105827899A (zh) * | 2015-05-26 | 2016-08-03 | 维沃移动通信有限公司 | 一种修正镜头畸变的方法和装置 |
CN106054379A (zh) * | 2015-04-02 | 2016-10-26 | 安讯士有限公司 | 用于确定变焦镜头焦距的方法 |
US9538082B2 (en) | 2012-10-22 | 2017-01-03 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
US9581439B1 (en) | 2015-08-24 | 2017-02-28 | Eys3D Microelectronics, Co. | Image capture device with a calibration function and calibration method of an image capture device |
CN103780834B (zh) * | 2012-10-22 | 2017-03-01 | 佳能株式会社 | 摄像设备 |
CN112070705A (zh) * | 2020-11-16 | 2020-12-11 | 天津天瞳威势电子科技有限公司 | 一种相机评测方法、装置和存储介质 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
EP2907298B1 (en) * | 2012-10-11 | 2019-09-18 | LG Electronics Inc. | Image processing device and image processing method |
CN103617615B (zh) * | 2013-11-27 | 2016-08-17 | 华为技术有限公司 | 径向畸变参数获取方法及获取装置 |
US9607207B1 (en) * | 2014-03-31 | 2017-03-28 | Amazon Technologies, Inc. | Plane-fitting edge detection |
EP2937753B1 (de) * | 2014-04-24 | 2019-07-31 | Siemens Aktiengesellschaft | Verfahren zum Vermessen von Werkstücken und nach dem Verfahren arbeitende Produktions- und/oder Werkzeugmaschine |
CN107155364B (zh) * | 2014-09-26 | 2021-02-19 | Lg 电子株式会社 | 使用几何图元处理基于图的信号的方法和装置 |
KR102434567B1 (ko) * | 2015-02-09 | 2022-08-23 | 삼성전자주식회사 | 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치 |
KR102521408B1 (ko) * | 2018-08-27 | 2023-04-14 | 삼성전자주식회사 | 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법 |
KR102101851B1 (ko) * | 2018-09-06 | 2020-04-20 | (주)임픽스 | 네트워크에 연결할 수 없는 공장설비에 적용할 수 있는 스마트 팩토리 시스템 |
KR102118173B1 (ko) | 2018-10-31 | 2020-06-02 | 중앙대학교 산학협력단 | 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 |
US11288540B2 (en) * | 2020-03-31 | 2022-03-29 | Fujitsu Limited | Integrated clustering and outlier detection using optimization solver machine |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1308465A (zh) * | 1999-12-18 | 2001-08-15 | Lg电子株式会社 | 用于校正图像失真的设备和方法以及图像显示器 |
US20070188633A1 (en) * | 2006-02-15 | 2007-08-16 | Nokia Corporation | Distortion correction of images using hybrid interpolation technique |
JP2009176287A (ja) * | 2008-01-28 | 2009-08-06 | Fuji Xerox Co Ltd | 文書表示方法、文書表示システムおよびそのコンピュータプログラム |
KR20100091383A (ko) * | 2009-02-10 | 2010-08-19 | 전남대학교산학협력단 | 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법 |
JP2010263441A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08256295A (ja) * | 1994-12-21 | 1996-10-01 | Olympus Optical Co Ltd | 画像処理装置 |
US7038712B1 (en) * | 2002-04-18 | 2006-05-02 | Hewlett-Packard Development Company, L.P. | Geometric and photometric calibration of cameras |
US7327390B2 (en) * | 2003-02-04 | 2008-02-05 | Eastman Kodak Company | Method for determining image correction parameters |
EP1627358A4 (en) * | 2003-03-11 | 2011-08-24 | Sarnoff Corp | METHOD AND DEVICE FOR DETERMINING CAMERAPOSIS FROM POINT CORRESPONDENCES |
JP4307934B2 (ja) * | 2003-08-13 | 2009-08-05 | 株式会社トプコン | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 |
JP4104571B2 (ja) * | 2004-03-29 | 2008-06-18 | 三洋電機株式会社 | 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置 |
US7920200B2 (en) * | 2005-06-07 | 2011-04-05 | Olympus Corporation | Image pickup device with two cylindrical lenses |
KR100744937B1 (ko) | 2006-06-29 | 2007-08-01 | 삼성전기주식회사 | 렌즈 왜곡 보정 방법 |
JP5121673B2 (ja) * | 2007-11-06 | 2013-01-16 | パナソニック株式会社 | 画像投影装置及び画像投影方法 |
JP4919978B2 (ja) * | 2008-01-26 | 2012-04-18 | 三洋電機株式会社 | 歪補正装置 |
US8339459B2 (en) * | 2009-09-16 | 2012-12-25 | Microsoft Corporation | Multi-camera head pose tracking |
-
2011
- 2011-01-04 KR KR1020110000592A patent/KR101172629B1/ko active IP Right Grant
- 2011-05-23 CN CN2011102250879A patent/CN102592264A/zh active Pending
- 2011-05-23 JP JP2011115080A patent/JP5291758B2/ja not_active Expired - Fee Related
- 2011-06-17 US US13/162,740 patent/US8675985B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1308465A (zh) * | 1999-12-18 | 2001-08-15 | Lg电子株式会社 | 用于校正图像失真的设备和方法以及图像显示器 |
US20070188633A1 (en) * | 2006-02-15 | 2007-08-16 | Nokia Corporation | Distortion correction of images using hybrid interpolation technique |
JP2009176287A (ja) * | 2008-01-28 | 2009-08-06 | Fuji Xerox Co Ltd | 文書表示方法、文書表示システムおよびそのコンピュータプログラム |
KR20100091383A (ko) * | 2009-02-10 | 2010-08-19 | 전남대학교산학협력단 | 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법 |
JP2010263441A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
BYOUNG-KWANG KIM ET AL: "Correcting Radial Lens Distortion with Advanced Outlier Elimination", 《2010 INTERNATIONAL CONFERENCE ON AUDIO LANGUAGE AND IMAGE PROCESSING》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9538082B2 (en) | 2012-10-22 | 2017-01-03 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
CN103780833B (zh) * | 2012-10-22 | 2017-05-03 | 佳能株式会社 | 摄像设备及其控制方法 |
CN103780834B (zh) * | 2012-10-22 | 2017-03-01 | 佳能株式会社 | 摄像设备 |
CN103780833A (zh) * | 2012-10-22 | 2014-05-07 | 佳能株式会社 | 摄像设备及其控制方法 |
CN106054379A (zh) * | 2015-04-02 | 2016-10-26 | 安讯士有限公司 | 用于确定变焦镜头焦距的方法 |
CN105827899A (zh) * | 2015-05-26 | 2016-08-03 | 维沃移动通信有限公司 | 一种修正镜头畸变的方法和装置 |
CN104994280A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种预览图像处理方法及用户终端 |
CN104994280B (zh) * | 2015-06-30 | 2017-11-07 | 广东欧珀移动通信有限公司 | 一种预览图像处理方法及用户终端 |
US9581439B1 (en) | 2015-08-24 | 2017-02-28 | Eys3D Microelectronics, Co. | Image capture device with a calibration function and calibration method of an image capture device |
CN106485648A (zh) * | 2015-08-24 | 2017-03-08 | 钰立微电子股份有限公司 | 具有校正功能的图像获取装置与图像获取装置的校正方法 |
TWI584648B (zh) * | 2015-08-24 | 2017-05-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取裝置與影像擷取裝置的校正方法 |
CN106485648B (zh) * | 2015-08-24 | 2019-10-18 | 钰立微电子股份有限公司 | 具有校正功能的图像获取装置与图像获取装置的校正方法 |
CN112070705A (zh) * | 2020-11-16 | 2020-12-11 | 天津天瞳威势电子科技有限公司 | 一种相机评测方法、装置和存储介质 |
CN112070705B (zh) * | 2020-11-16 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 一种相机评测方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20120170853A1 (en) | 2012-07-05 |
JP5291758B2 (ja) | 2013-09-18 |
KR101172629B1 (ko) | 2012-08-08 |
KR20120079357A (ko) | 2012-07-12 |
JP2012141945A (ja) | 2012-07-26 |
US8675985B2 (en) | 2014-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102592264A (zh) | 影像处理方法及用于该影像处理方法的装置 | |
JP4440341B2 (ja) | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム | |
WO2015100105A1 (en) | Improving plenoptic camera resolution | |
CN102685511B (zh) | 图像处理设备和图像处理方法 | |
WO2016065632A1 (zh) | 一种图像处理方法和设备 | |
CN101437103B (zh) | 摄像系统及其制造方法、摄像装置、移动终端设备、车载设备、及医疗设备 | |
JP5841844B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5124835B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6261676B1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US8159554B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and medium storing a program for processing an image based on spread of light | |
US8634001B2 (en) | Image processing apparatus, image processing program, image processing method, and image-pickup apparatus | |
US20120170865A1 (en) | Apparatus and method for correcting distortion of image | |
CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
JP6328182B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
JP4984140B2 (ja) | 画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラム | |
Delley et al. | Fast full-field modulation transfer function analysis for photographic lens quality assessment | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
CN105303556B (zh) | 基于直线特征的摄像机非线性畸变参数求解方法 | |
JP5344647B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP6214713B1 (ja) | 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、記憶媒体、および、情報処理方法 | |
Zhang et al. | Design of a singlet lens and the corresponding aberration correction approaches for cell phone camera | |
CN115482298A (zh) | 相机内参自动校准方法 | |
JP2024123760A (ja) | 画像処理方法、画像処理装置、撮像装置、およびプログラム | |
CN115471411A (zh) | 一种图像校正的方法、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120718 |