CN103209330A - 用于处理色差和紫色条纹的方法和装置 - Google Patents

用于处理色差和紫色条纹的方法和装置 Download PDF

Info

Publication number
CN103209330A
CN103209330A CN2013100860592A CN201310086059A CN103209330A CN 103209330 A CN103209330 A CN 103209330A CN 2013100860592 A CN2013100860592 A CN 2013100860592A CN 201310086059 A CN201310086059 A CN 201310086059A CN 103209330 A CN103209330 A CN 103209330A
Authority
CN
China
Prior art keywords
interpolation
value
aberration
chromatic aberration
corr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100860592A
Other languages
English (en)
Other versions
CN103209330B (zh
Inventor
P·斯特克
L·穆雷
A·德里姆巴雷安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
DigitalOptics Corp Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DigitalOptics Corp Europe Ltd filed Critical DigitalOptics Corp Europe Ltd
Publication of CN103209330A publication Critical patent/CN103209330A/zh
Application granted granted Critical
Publication of CN103209330B publication Critical patent/CN103209330B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于检测和校正色差和紫色条纹的方法和系统。可以按如下方式解决色差：将图像分离为若干颜色平面，然后通过使用特定校准图像(校准图)作为经验方法以校准图像捕获设备来对颜色平面进行调整以减少色差。通过首先处理由横向色差(LCA)产生的色差来校正紫色条纹。首先去除LCA，然后将校正扩展至紫色条纹。一种发现在于在色差的方向上产生紫色条纹，并且在色差的方向上较明显。

Description

用于处理色差和紫色条纹的方法和装置
本申请为分案申请，其母案申请的发明名称为“用于处理色差和紫色条纹的方法和装置”，国际申请日为2009年1月28日，国际申请号为“PCT/EP2009/050967”，国家申请号为200980103030.2。
技术领域
本发明总体上涉及校正数字图像中的色差和紫色条纹的领域。
背景技术
除真空之外的任何介质的折射率都随着波长改变。由此，任何折射光学系统的高斯和象差特性是波长的函数，即存在色差。旨在于在可观的波长范围上使用的多种现代折射系统基本上由于高斯和更加阶的色效应而性能受限。天文望远镜设计的历史提供了有用的示例。Isaac Newton先生发明了反射式望远镜，因为他认为通过组合两个单透镜以形成我们现在所称的消色差双合透镜来校正单透镜中的色效应是不可能的；实际上，他认为所有透镜的色效应都与其功率成比例，甚至对于不同的镜片具有相同的比例常数。然后，在18世纪中叶，John Dollond和Chester Moore Hall表明Newton是错误的，并且他们制造了消色差双合透镜。这导致了制造出越来越大的望远镜双合物镜。然而，随着物镜变得较大，而且设计技术变得更加精细，发现“消色差”双合透镜不能完全消除所出现的色差以及残余误差(称为“次级光谱”)。
如上所述，当不同颜色的光在介质中以不同的速度传播时，折射率是波长相关的。该现象称为色散。公知的示例是玻璃棱镜，其将白光入射光束色散为多种颜色的彩虹。摄影镜头包括各种色散、介电镜片。这些镜片不以相同的角度折射入射光的所有成分颜色，并且可能需要巨大的努力来设计使所有的颜色一起集中到相同焦点的全面校正透镜。色差是由于色散而偏离理想成像。然而塞德尔象差是单色的，即，其还可以利用单色光发生；色差仅出现于多色光中。
轴向色差
可以区分两种类型的色差。轴向色差(ACA)也称为纵向色差，指的是透镜无法将不同颜色聚焦到相同的焦平面上。针对光轴上的主体点，各种颜色的焦点也在光轴上，但是在纵向(即，沿轴向)上有位移。在图1A-图1B中针对远光源对这种性质进行了说明。在该略图中，仅绿光锐聚焦到传感器上。蓝光和红光在传感器平面上具有所谓的模糊圈，并且不是锐利成像的。图1B示出了纵向色差的起因。图1B示出了三种不同颜色的焦平面不重合。
在实际应用中，如果存在接近图像中心的条纹，其在图像轻微散焦时改变颜色，则这很有可能是纵向色差。这种类型无法使用传统软件来校正，如果光圈缩小则其会减小，并且其取决于焦点距离。
横向色差
斜入射光导致横色差，也称为横向色。其是指侧向位移的焦点。在不存在轴向色时，所有的颜色都聚焦在相同的平面上，但是图像放大取决于波长。横向色的出现意味着焦距取决于波长，而复透镜中的轴向色的出现不严格需要可变焦距。这看起来是违反直觉的，但是在对纵向色差进行校正的透镜中，所有颜色的主平面不需要重合。因为焦距由从后主平面到像平面的距离确定，所以即使当所有的图像都在相同平面中时，焦距也可以取决于波长。图1C示出了横向色差的起因。图像的大小随着颜色而变化。红色图像放大得大于绿色图像，而红色图像和绿色图像又都放大得大于蓝色图像。
总之，当针对纵向色差对透镜进行校正时，不同的颜色或多或少聚焦在光轴的相同点上，但是其可能聚焦在不同的离轴距离处，导致不同颜色的图像大小不同。这一类型称为横向或者横色差(TCA)。
在实际方面，如果从中心到边角存在渐多的互补色条纹，则这很有可能是横色差。该类型可以通过软件来校正，其不会由于光圈缩小而改变，并且其与焦点距离无关。图1D是示出ACA和LCA的发生的比较的示意图。
图1B-图1C区分了两种简化的情况，因为在实践中，轴向和横向成分是共存的。多色体填充了像空间中的体积，其包括各种大小和位置的单色像的连续体。特别地，横向色在远距镜头和反向远距(反焦)镜头中很明显。色差通常限制了其他方面校正好的远距设计的性能。色差的原型表现是沿着分隔图像的暗色部分和明亮部分的边界的彩色条纹。即，色差的可感知效应在文字描述上有所变化。看起来横向色是比轴向色更严重的象差，因为前者导致彩色条纹而后者仅降低锐度。Oberkochen提出了不同的观点，并指出轴向色是最显著的色差。Hecht将色差的累积效应描述为发白的模糊或者朦胧的交叠。具有针对轴向色的消色差(不完全)校正的光学系统的残余颜色误差导致每个像点周围的品红色光环或者模糊。
紫色条纹
数字图像的另一相关问题是紫色条纹。该条纹效应可以是紫色之外的其他颜色，但是通常称为紫色条纹，因为其通常呈现为这个颜色。紫色条纹强度通常与色差相关联。条纹通常形成在色差位移矢量的方向上。但是条纹的确切起因并不清楚，较广泛接受的紫色条纹的解释之一是其是传感器晕光造成的。晕光是当传感器像素饱和并且电荷泄漏到一个或多个相邻像素时产生的现象。图6A-图6B示出了在理想的成像系统中，期望在中心像素处绿色值为255，同时周围的像素的值为0，而如箭头所指示的沿检测器行或者列的电荷泄露将把红色和蓝色传感器响应提高到正确值以上。
当电荷从一个光电二极管阱泄漏到周围的光电二极管阱时，会在周围产生虚假的较高信号。如果周围的传感器不产生信号，则该虚假信号将尤其显著，因为这些区域中的场景应当是暗色的。换言之，可以预期在从亮色到暗色的锐利转变处看到晕光的效应最强。已经注意到，透镜象差将导致明亮白光的蓝色和红色成分出现在不正确的传感器位置处。电荷泄漏通过将传感器响应进一步扩大远离真正位置而放大了该效应，并且位置误差将通过降马赛克处理(demosaicing)而另外传播。可以考虑传感器晕光将如何出现在图像中的效应。利用由黑暗包围的场景中非常明亮的白点，例如夜景中遥远的街灯，以及来自该点的光落在绿色传感器上。因此，理论上，期望该传感器处具有较高的绿色值，并且周围的传感器具有较低的值。然而，由箭头所指示的沿着检测器行或者列的电荷泄漏将把红色和蓝色传感器响应提高到正确值以上。人们对亮度的感知可以粗略估计为30％的红色加59％的绿色和11％的蓝色。因此，增强的红色和蓝色值对于增加图像的亮度几乎没有贡献，却给其带来紫色的色调。如果来自该点的光入射到红色传感器而不是绿色传感器上，则电荷的泄漏将增加绿色值。尽管这将多少改变色调，但是主要的贡献是增加亮度，因为绿色对于亮度的感知有很大贡献。(当然，对于蓝色传感器同样如此)。由此，传感器晕光导致图像的较暗区域中的虚假紫色，并且——如果紫色通常定义为红色和蓝色的变化的混合体——这实际上已证实，因此该效应通常称为紫色条纹。参见图2A-图2C和图3A-图3D。
同一图像有可能包含多个象差颜色，因为传感器晕光与透镜象差和插值误差相互作用。从其起因可预料，晕光效应的强度高度依赖于亮度。
因为传感器晕光增加了任何透镜色差，所以在预期发现透镜象差缺陷之处发现更高级别的晕光缺陷也不是罕见的。
当电荷从一个光电二极管阱泄漏到周围的光电二极管阱时，会在周围产生虚假的较高信号。如果周围的传感器不产生信号，则该虚假信号将尤其显著，因为在这些区域中场景是暗的。换言之，可以预期在从亮到暗的锐利转变处看到晕光效应最强。透镜象差将导致明亮白光的蓝色和红色成分出现在不正确的传感器位置处。电荷泄漏通过将传感器响应进一步扩大远离真正位置而放大了该效应，并且位置误差通过降马赛克处理而另外传播。可以考虑传感器晕光将如何在图像中出现的效应。利用由黑暗包围的场景中非常明亮的白点，例如夜景中遥远的街灯，并且来自该点的光落在绿色传感器上。如图6A-图6B所示，在理想的成像系统中，期望在该传感器处绿色值为255，而周围传感器的值是0。
然而，如箭头所指示的沿着检测器行或者列的电荷泄漏将把红色和蓝色传感器响应提高到正确值以上。人们对亮度的感知可以粗略估计为30％的红色加59％的绿色和11％的蓝色。因此，增加的红色和蓝色值对图像的亮度几乎没有贡献，却给其带来紫色色调。如果来自该点的光入射到红色传感器而不是绿色传感器上，则将具有图示右方的情形。电荷泄漏将增加绿色值。尽管这将多少改变色调，但是主要贡献将是增加亮度，因为绿色对于亮度感知有很大贡献。(当然，对于蓝色传感器同样如此)。由此，预期传感器晕光在图像的较暗区域中导致虚假的紫色，并且——如果将紫色宽泛地定义为红色和蓝色的变动混合体——这实际上已证实，因此该效应通常称为紫辉或者紫色条纹。
同一图像有可能包含多个象差颜色，因为传感器晕光与透镜象差和插值误差相互作用。图3E的图像是极端但真实的示例。
从其起因可预料，晕光效应的强度高度依赖于亮度，如图2A-图2C所示。然而，如果存在很大的亮度差，则该效应可能仍然存在，其在较低的亮度水平处具有降低的程度。这在下一图像中示出，其中在较大的亮度转变上出现了清晰宽阔的蓝紫带，但是其不存在于转变较小之处。当存在介质亮度差之处，可以看到微弱几乎不可感知的狭窄蓝带。因为传感器晕光增加了任何透镜色差，所以在预期发现透镜象差缺陷之处发现更高级别的晕光缺陷也不是罕见的。如果在图像边角区域处存在高对比度，则那些区域通常是查找晕光效应的最佳位置。遇到这种情况的一种常见实例是树枝与天空的对比。图3A-图3B分别示出了具有包围树上的叶子的边缘的紫色条纹的图像，以及减少或者去除紫色条纹的图像的已处理版本，而图3C-图3D分别示出了具有包围条形码标签的紫色条纹的图像，以及减少或者去除紫色条纹的条形码标签图像的已处理版本。
发明内容
提供了一种处理器实现的方法，用于校正数字图像捕获设备内的数字图像中的横向色差。该方法包括校准照相机镜头对，以及捕获数字图像。在数字图像内校正横向色差，包括以下步骤：(1)查找当前像素的位移并将其存储在临时缓冲区中。该位移被指定为源缓冲区中的相对位置。对位移值进行插值并且将其存储在临时缓冲区中。该过程针对多个像素执行。该方法进一步包括输出、存储、显示、投影或者传输已经校正了横向色差的校正的数字图像，或者数字图像的进一步处理版本，或其组合。
校准可以包括检测测试图像的测量点，测量象差以及对分散数据进行插值。象差的测量可以包括阈值法。校准可以包括查找并且存储第一维度中的第一数据点和第二数据点，对第一数据点与第二数据点之间的空点应用线性插值，用第二点的值来替换第一点的值，增加第二维度并且重复一次或多次。
插值可以包括应用辛克(sinc)滤波器。该辛克滤波器可以是5x5辛克滤波器。
提供了另一种处理器实现的方法，用于校正数字图像捕获设备内的数字图像中的横向色差。捕获数字图像。按照以下步骤计算红色(R)和蓝色(B)通道的校正值：
R′＝R+(G-R)x corR；B′＝B+(G-B)x corB；其中corR和corB分别是为红色通道和蓝色通道选择的校正比。输出、存储、显示、投影和/或传输已经校正了横向色差的校正数字图像和/或数字图像的进一步处理版本。
所选择的校正比corR和corB可以按照以下来确定：
CorR＝{CR＝0.1x clamp([R(x，y)-RC(x，y)]，10)}x CRB；以及
CorB＝{CB＝0.1x clamp([B(x，y)-BC(x，y)]，10)}x CRB；
其中clamp(.，.)在第一项超过第二项时返回第二项；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，
CRB＝1+cos[abs(Rc(x，y)-Bc(x，y))]π/200；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，CRB＝0。
该方法还可以包括在G＜R′且R′＜B′时，应用颜色损坏校正。
插值可以包括选择像素邻居以及单程执行该方法。
提供了另一种处理器实现的方法，用于校正数字图像捕获设备内的数字图像中的横向色差。捕获数字图像。计算每个颜色成分的垂直梯度和水平梯度。基于颜色成分梯度与由像素位置和图像中心形成的矢量之间的点积来计算校正比。使用当前红色R和蓝色B值与绿色G值之间的线性插值、以及使用相应的校正比来计算新的红色R′和蓝色B′颜色值。输出、存储、显示、投影和/或传输已经校正了横向色差的校正数字图像和/或数字图像的进一步处理版本。
校正比可以按照如下来确定：
Rcorr＝(x·Gradx(R)+y·Grady(R))/(abs[x2+y2]·Rnorm；以及
Bcorr＝(x·Gradx(B)+y·Grady(B))/(abs[x2+y2]·Bnorm；其中
Rnorm＝1+absGrad(G)+max(G，R-min(B，G))；以及
Bnorm＝1+absGrad(G)+max(G，B-min(R，G))；其中
absGrad(G)包括绿色梯度矢量的长度。
新的红色R′和蓝色B′颜色值可以按照如下来确定：
R′＝R·(1-Rcorr)+G·Rcorr；以及
B′＝B·(1-Bcorr)+G·Bcorr。
还提供了一个或多个处理器可读介质，其具有嵌入在其中的代码，该代码用于对处理器进行编程以执行此处上文和下文所述的用于校正数字图像中的横向色差的任何方法。
还提供了便携式数字图像捕获设备，其具有透镜、图像传感器、处理器以及具有嵌入在其中的代码的一个或多个处理器可读介质，该代码用于对处理器进行编程以执行此处所描述的任何方法。
附图说明
关于彩色附图的声明
本专利或者申请文件包含至少一幅彩色附图。基于请求以及支付必要的费用，本专利或者专利申请公开的带有彩色附图的副本将由专利局提供。
通过参考以下描述和附图可以更好地理解本发明，附图用于示出本发明的实施方式。
图1A示出了光的折射性质的波长相关性。
图1B示出了轴向色差或者纵向色差的波长相关性，其中入射到聚焦透镜上的不同颜色的光的焦平面不重合。
图1C示出了横或者横向色差的波长相关性，其中图像的大小针对不同的颜色而变化。
图1D比较性地示出了轴向色差和横向色差。
图2A-图2C示出了紫色条纹上的亮度差异效应和晕光效应。
图3A-图3B分别示出了在树上的叶子的边缘周围具有紫色条纹的图像以及减少或者去除紫色条纹的图像的已处理版本。
图3C-图3D分别示出了在条形码标签周围具有紫色条纹的图像以及减少或者去除紫色条纹的图像的已处理版本。
图3E示出了由于传感器晕光与透镜象差和插值误差相互作用而具有多个象差颜色的图像。
图4A示出了用于校准色差校正的测试目标的中心区域的切割区域。
图4B示出了来自测试目标的、由感兴趣的黄色区域包围并且标记了红色和蓝色位移(分别是红色线和蓝色线)的光斑。
图4C示出了目标中白色光斑和周围的黑色圆圈的颜色位移中的横向色差。
图4D示出了图4C的已处理版本，其中校正了白色光斑和周围的黑色圆圈中的颜色位移。
图5A-图5B示出了关于18mm焦距和F#5光圈而显示的针对图5A中的蓝色和图5B中的红色相对于绿色通道的色偏而计算的颜色不对准的量值的象差图。
图6A-图6B示出了在理想的成像系统中，预期在中心像素处绿色值为255，而周围的像素将具有0值，同时由箭头所指示的沿着检测器行或者列的电荷泄漏将把红色和蓝色传感器响应提高到正确值以上。
图7是示出根据某些实施方式的校准模块的一个示例的框图。
图8是示出根据某些实施方式的校正模块的一个示例的框图。
图9是示出根据某些实施方式的紫色条纹校正过程的一个示例的流程图。
具体实施方式
描述了用于检测和校正包括条纹(例如，紫色条纹)的色差的系统和方法。
在某些实施方式中，按如下方式解决色差：将图像分离为若干颜色平面，然后通过使用特定校准图像(校准图)作为经验方法以校准图像捕获设备来对颜色平面进行调整以减少色差。通过初步解决由横向色差(LCA)所产生的色差也校正了紫色条纹。首先去除LCA，然后将校正扩展至此条纹。这是有可能的，因为发现和观察到紫色条纹在色差的方向上产生，并且在色差的方向上更明显。
下文详述根据各种实施方式如何检测和校正色差和紫色条纹，以及用于各种实施方式的具体实现。
实施方式可应用于识别和校正色差和紫色条纹的各种环境中。
色差
本文档的以下部分涉及横向色差。某些实施方式包括两个主要操作：校准和校正。校准针对一对照相机/透镜来执行，而校正使用校准数据来去除颜色伪像。
校准
在某些实施方式中，校准包括测量点的检测。诸如图4A所示的测试图像用于象差校正，其包括白色点阵列。图4B示出了来自测试目标的另一示例的、由感兴趣的黄色区域包围并且标记有红色和蓝色位移(分别是红色线和蓝色线)的光斑。图4C示出了图4A的测试目标中的白色光斑和周围黑色圆圈的颜色位移中的横向色差。虽然以下对校正进行进一步描述，但是图4D示出了对白色光斑和周围黑色圆圈进行了颜色位移校正的图4C的已处理版本，以说明效果。
当例如对图4A的测试图像进行拍照时，在最终图像上可以看出由色差造成的具有彩色条纹的白色点。为了测量通道之间的位移的量值，首先，算法必须找到图像中可以测量位移的区域，即白色光斑。
在某些实施方式中，检测的一个步骤包括设置阈值，以便区分有噪声的黑色背景和感兴趣的区域。然后遍历已设置阈值的图像以搜索白色点。一旦找到了点，算法即检查其周围以确定所找到的像素是否是光斑或者线的一部分。如果找到的像素是光斑的一部分，
则在该光斑上放置16x16像素的感兴趣区域(ROI)，并且ROI下的像素被排除在进一步搜索之外。将找到的所有ROI添加到动态列表中。
象差的测量
针对每个ROI，可以分配160x160像素的临时缓冲区。然后利用图像中位于当前处理的ROI之下的放大部分填充该缓冲区。在一个实施方式中，为了简便起见，可以使用线性插值，并且在某些实施方式中，如已经在实验中显示出的，此级别的精确度是足够的。
在下一步骤中，对每个颜色通道单独设置阈值，以创建RGB通道中光斑的覆盖图。针对每个通道中的每个光斑，计算重心，并且将中心RG与BG之间的位移视为图片中该位置处的象差量值。因为在该实施方式中针对图像的10x放大部分进行该计算，位移计算具有0.1个像素的精度。
根据某些实施方式，图5A-图5B示出了可以用于确定针对色偏(例如，关于18mm焦距和F#5光圈、针对图5A中的蓝色以及针对图5B中的红色相对于绿色通道)所计算的颜色不对准的量值的象差图。
分散数据的插值
由于测试目标与照相机之间的不对准，以及由于透镜的几何失真，因此无法合理地预测针对其测量象差的点的位置，所以其被作为分散数据点来处理。这使得插值任务更加复杂，因为针对图像的每个像素，算法在特定邻居中搜索以找到最近的数据点。
然而，无法合理预测数据点的准确位置，因为其位于由于一些小误差而失真的规则网格上。为了减少搜索域，有益地可以使用以下方法：
●估计数据点之间的平均距离。
●将数据点组织成矩形阵列，其中使用数据点的原始位置(x)除以网格间距(S)减去较小值来计算阵列的索引(idxX)。
Figure BSA00000866462200111
该阵列基本上减少了搜索域。
●然后使用反距离加权(IDW)方法来估计所处理的图像中每个像素的位移。可以使用更复杂的算法，不过在数据值在图像上缓慢变化时，该算法是足够的。
该步骤的结果是包含针对图像中每个像素的RG和BG位移的矢量场。
开发了一种该插值算法的新改进版本。这样做至少存在两点益处：减少要存储的数据大小以及改进算法效率。一个焦距的数据可能占用188kB的存储器，而在先前版本中占用超过180MB。插值速度的提高是惊人的。在当前版本中，插值花费大约2ms(针对存储大小)，而在先前版本中花费超过10s。
新的算法利用了位移值在图像上缓慢变化并且数据点不是完全随机但是具有特定结构这一事实。由于位移变化较小，所以没有必要存储每个像素的数据。可以通过特定因数(在实验中，其是16倍；然而至少还可以使用2、4、8和32倍)缩小具有数据的阵列，并填充可用数据。在如此创建的矩阵中，数据点之间的距离足够小，以应用线性插值的修改算法。算法使用数据点之间的可变间距。以下是针对数据阵列的一行、根据某些实施方式的算法结构的示例：
1.在当前行中查找包含数据的第一点，并且存储其值。
2.查找包含数据的第二/下一点，并且存储其值。
3.对数据点之间的空点应用线性插值。
4.用最后一个点的值来替换第一点的值。
5.转到2。
在填充除了不包含有效数据点的行的所有行之后，可以针对列执行操作。
将位移数据上采样至校正图像的大小耗时少于0.5秒。
使用利用该新方法准备的位移数据的校正算法的性能可能与老的插值方法在视觉上相同或者不相同。在计算差别图像之后可以看出较小的差别。然而，无法假设老算法针对分散数据点的插值是正确的。
图7是示出根据某些实施方式的校准模块的示例的框图。使用测试目标图像来查找检测到的校准点。这些用作对象差测量和插值组件的输入。确定位移矢量并且存储象差图。
色差校正
针对所校正图像的每个像素，包含RG和BG位移的两个矢量是可用的。将R和B成分作为独立的灰度图像来处理。创建两个临时缓冲区来存储已校正数据。校正过程可以执行如下(针对一个通道)：
●在临时缓冲区中查找当前像素的位移。
●将位移视为源缓冲区上的相对位置来处理。
●因为位移可能是分数，所以使用5x5辛克滤波器来插值。
●将插值后的值存储到临时缓冲区中。
●转到下一像素。
在校正R通道和B通道二者之后，利用存储在临时缓冲区中的数据来替换其值。
紫色条纹(条纹)
如上所述，一个实施方式通过发现和观察到条纹在色差方向上产生并且在具有较高色差的区域中产生的条纹更强，从而解决了紫色条纹。以下描述了改变R和B值的方式。校正比可以在0和1之间变化。0值意味着当前成分保持相同，而1值意味着该成分将具有G成分的值。例如，如果具有校正比corR，则红色通道的新值将按照如下计算：
R′＝R+(G-R)·corR
其中R′是新的成分值，并且没有右上标的字母表示初始值。
针对蓝色通道应用相同的计算。
校正过程由校正比控制，该校正比针对红色和蓝色成分独立计算。校正比包括两项。第一项CR取决于色差校正之前和之后的成分值之间的差值：
C R = ( clmap ( | R ( x , y ) - R C ( x , y ) | , 10 ) ) 10
其中R是红色成分的原始值，RC是色差校正之后的红色值，而clamp(.，.)是如果第一值超过第二值则返回第二值的箝位函数。类似地计算针对B通道的第一项。该项的值可以从0到1变化。第二校正项对于两个通道是相同的，其取决于色差校正之后的R和B值之间的差值。该项将校正限制于紫色的阴影，针对该紫色的阴影，R和B之间的差别较小。该项可以定义如下：
C RB = cos ( | R c ( x , y ) - B c ( x , y ) | ) &pi; / 200 + 1 2 for ( | R c ( x , y ) - B c ( x , y ) | ) < 200 0
该公式形成了S形校正曲线，其具有针对等于0的差值的1值和针对200以上的差值的0值。公式的复杂度对于校正速度没有意义，因为其可以预先计算，并且可以将值存储在阵列中。在某些实施方式中，通过将颜色相关项和RB差值项相乘来计算最终校正项：
corR＝CR·CRB
corB＝CB·CRB
为了防止校正图像具有颜色损坏，在以下条件下应用校正：对于红色通道校正，G＜R′&R′＜B′，而对于蓝色通道，G＜R′&R′＜B′。
根据一个实施方式，使用数字处理系统(DPS)来实现数据处理。DPS可以配置用于存储、处理和传送多个不同类型的包括数字图像和视频的数字信息。
如上所述，实施方式可以采用DPS或者具有数字处理能力的设备。此类系统的示例性组件包括中央处理单元(CPU)以及耦合至主存储器、静态存储器和海量存储设备的信号处理器。主存储器可以存储各种应用以实现本发明的操作，而海量存储设备可以存储各种数字内容。
DPS还可以耦合至输入/输出(I/O)设备和音频/视觉设备。可以使用CPU来处理用于处理系统的信息和/或信号。主存储器可以是随机存取存储器(RAM)或者一些其他的动态存储设备，用于存储CPU所使用的信息或者指令(程序代码)。静态存储器可以是只读存储器(ROM)和/或其他静态存储设备，用于存储也可以由CPU使用的信息或者指令。海量存储设备可以是例如硬盘驱动、光盘驱动或者用于存储用于处理系统的信息或者指令的固件。
图8是示出根据某些实施方式的校正模块的一个示例的框图。对LCA校正组件的输入包括象差图像和根据照相机光圈和焦距、使用插值从象差图生成的插值图。然后，应用紫色条纹校正并且对已校正图像进行生成、存储、显示、传输、输出等。
图9是示出根据某些实施方式的紫色条纹校正过程的一个示例的流程图。计算针对红色和蓝色的校正比。可以基于色差校正之前和之后的颜色成分值之间的差值来计算校正比。校正比的值将落在0和1之间的范围中。然后检查颜色是否落在适合的范围内。这防止了不属于条纹的颜色损坏。如果颜色在适合的范围中，则根据校正比、朝向绿色缩放红色和蓝色成分。如果校正比是0，则成分保持不变。针对校正比是1，将绿色成分值给予所校正的成分。存储校正值。
一般问题
已经将本发明的实施方式描述为包括各种操作。对多种过程以其最基本的形式进行描述，但是在不脱离本发明的范围的情况下，可以在任何过程中添加操作或者从其删除操作。
本发明的操作可以由硬件组件执行，或者可以实现在机器可执行指令中，其可以用于使得利用指令编程的通用或者专用处理器或者逻辑电路执行操作。备选地，步骤可以通过硬件和软件的组合来执行。本发明可以作为计算机程序产品来提供，其可以包括机器可读介质，具有存储在其上的指令，该指令可以用于编程计算机(或者其他电子设备)用以执行根据本发明的过程。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪存或者适合用于存储电子指令的其他类型的介质/机器可读介质。另外，本发明还可以作为计算机程序产品下载，其中可以通过实现在载波或者经由通信单元的其他传播介质(例如，调制解调器或者网络连接)的方式，将程序从远程计算机传送至请求计算机。所有的操作可以在相同的中心站点执行，或者备选地，一个或者多个操作可以在别处执行。
另外，为了排版的目的，以特定的顺序描述了过程和方法。这并不意味着此类排列是必需的，并且步骤可以按照不同的顺序来执行，除非明确描述特定的顺序是必需的或者本领域技术人员认识到特定排序是必需的。

Claims (30)

1.一种校正数字图像捕获设备内的数字图像中的横向色差的由处理器实现的方法，包括：
校准照相机透镜对；
捕获数字图像；
校正所述数字图像内的横向色差，包括：
在临时缓冲区中查找当前像素的位移；
将所述位移指定为源缓冲区中的相对位置；
对位移值进行插值，包括：估计数据点之间的平均距离，将所述数据点组织成矩形阵列，以及通过反距离加权估计所述位移值；
在所述临时缓冲区中存储插值后的位移值；以及
针对下一个或者多个像素重复并且在最后一个像素之后结束；以及
输出、存储、显示、投影或者传输已经在两个维度上校正了横向色差的校正数字图像，或者所述数字图像的进一步处理版本，或者其组合。
2.如权利要求1的方法，其中所述校准包括：
检测测试图像的测量点；
测量象差；以及
对分散数据进行插值。
3.如权利要求2的方法，其中所述测量象差包括设置阈值。
4.如权利要求2的方法，其中所述校准进一步包括：
查找第一维度中的第一数据点和第二数据点并将其存储；
对所述第一数据点与所述第二数据点之间的空点应用线性插值；
用第二点的值来替换第一点的值；以及
增加第二维度并且重复一次或多次。
5.如权利要求1的方法，其中所述插值包括应用辛克滤波器。
6.如权利要求5的方法，其中所述辛克滤波器包括5x5辛克滤波器。
7.如权利要求1所述的校正数字图像捕获设备内的数字图像中的横向色差的由处理器实现的方法，其中所述方法还包括：
按照如下计算针对红色(R)和蓝色(B)颜色通道的校正值：
R′＝R+(G-R)x corR；B′＝B+(G-B)x corB，其中corR和corB是分别针对所述红色颜色通道和所述蓝色颜色通道所选择的校正比。
8.如权利要求7的方法，其中所选择的所述校正比corR和corB包括：
CorR＝{CR＝0.1xclamp([R(x，y)-RC(x，y)]，10)}x CRB，以及
CorB＝{CB＝0.1x clamp([B(x，y)-BC(x，y)]，10)}x CRB；
其中clamp(.，.)在第一项超过第二项时返回第二项；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，
CRB＝1+cos[abs(Rc(x，y)-Bc(x，y))]π/200；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，CRB＝0。
9.如权利要求7的方法，进一步包括当G＜R′且R′＜B′时，应用颜色损坏校正。
10.如权利要求1的方法，其中所述插值包括选择像素邻居以及单程执行所述方法。
11.一个或多个非暂时性的处理器可读介质，其嵌入有代码，所述代码用于编程处理器以执行校正数字图像中的横向色差的方法，其中所述方法包括：
校准照相机透镜对；
捕获数字图像；
校正所述数字图像内的横向色差，包括：
在临时缓冲区中查找当前像素的位移；
将所述位移指定为源缓冲区中的相对位置；
对位移值进行插值，包括：估计数据点之间的平均距离，将所述数据点组织成矩形阵列，以及通过反距离加权估计所述位移值；
在所述临时缓冲区中存储插值后的位移值；以及
针对下一个或者多个像素重复并且在最后一个像素之后结束。
12.如权利要求11所述的一个或多个非暂时性的处理器可读介质，其中所述校准包括：
检测测试图像的测量点；
测量象差；以及
对分散数据进行插值。
13.如权利要求12所述的一个或多个非暂时性的处理器可读介质，其中所述测量象差包括设置阈值。
14.如权利要求12所述的一个或多个非暂时性的处理器可读介质，其中所述校准进一步包括：
查找第一维度中的第一数据点和第二数据点并将其存储；
对所述第一数据点与所述第二数据点之间的空点应用线性插值；
用第二点的值来替换第一点的值；以及
增加第二维度并且重复一次或多次。
15.如权利要求11所述的一个或多个非暂时性的处理器可读介质，其中所述插值包括应用辛克滤波器。
16.如权利要求15所述的一个或多个非暂时性的处理器可读介质，其中所述辛克滤波器包括5x5辛克滤波器。
17.如权利要求11所述的一个或多个非暂时性的处理器可读介质，其中所述方法包括：
按照如下计算针对红色(R)和蓝色(B)颜色通道的校正值：
R′＝R+(G-R)x corR；B′＝B+(G-B)x corB，其中corR和corB是分别针对所述红色颜色通道和所述蓝色颜色通道所选择的校正比。
18.如权利要求17所述的一个或多个非暂时性的处理器可读介质，其中所选择的所述校正比corR和corB包括：
CorR＝{CR＝0.1x clamp([R(x，y)-RC(x，y)]，10)}x CRB，以及
CorB＝{CB＝0.1xclamp([B(x，y)-BC(x，y)]，10)}x CRB；
其中clamp(.，.)在第一项超过第二项时返回第二项；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，
CRB＝1+cos[abs(Rc(x，y)-Bc(x，y))]π/200；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，CRB＝0。
19.如权利要求18所述的一个或多个非暂时性的处理器可读介质，其中所述方法进一步包括当G＜R′且R′＜B′时，应用颜色损坏校正。
20.如权利要求11所述的一个或多个处理器可读介质，其中所述插值包括选择像素邻居以及单程执行所述方法。
21.一种便携式数字图像捕获设备，包括透镜、图像传感器、处理器、嵌入有代码的一个或多个处理器可读介质，所述代码用于编程所述处理器以执行校正数字图像中的横向色差的方法，其中所述方法包括：
校准照相机透镜对；
捕获数字图像；
校正所述数字图像内的横向色差，包括：
在临时缓冲区中查找当前像素的位移；
将所述位移指定为源缓冲区中的相对位置；
对位移值进行插值，包括：估计数据点之间的平均距离，将所述数据点组织成矩形阵列，以及通过反距离加权估计所述位移值；
在所述临时缓冲区中存储插值后的位移值；以及
针对下一个或者多个像素重复并且在最后一个像素之后结束；以及
输出、存储、显示、投影或者传输已经校正了横向色差的校正数字图像，或者所述数字图像的进一步处理版本，或者其组合。
22.如权利要求21所述的设备，其中所述校准包括：
检测测试图像的测量点；
测量象差；以及
对分散数据进行插值。
23.如权利要求22所述的设备，其中所述测量象差包括设置阈值。
24.如权利要求22所述的设备，其中所述校准进一步包括：
查找第一维度中的第一数据点和第二数据点并将其存储；
对所述第一数据点与所述第二数据点之间的空点应用线性插值；
用第二点的值来替换第一点的值；以及
增加第二维度并且重复一次或多次。
25.如权利要求21所述的设备，其中所述插值包括应用辛克滤波器。
26.如权利要求25所述的设备，其中所述辛克滤波器包括5x5辛克滤波器。
27.一种便携式数字图像捕获设备，包括透镜、图像传感器、处理器和嵌入有代码的一个或多个处理器可读介质，所述代码用于编程所述处理器以执行如权利要求21所述的校正数字图像中的横向色差的方法，其中所述方法包括按照如下计算红色(R)颜色通道和蓝色(B)颜色通道的校正值：
R′＝R+(G-R)x corR；B′＝B+(G-B)xcorB；其中corR和corB分别是针对红色和蓝色颜色通道所选择的校正比。
28.如权利要求27的设备，其中所选择的所述校正比corR和corB包括：
CorR＝{CR＝0.1xclamp([R(x，y)-RC(x，y)]，10)}x CRB，以及
CorB＝{CB＝0.1x clamp([B(x，y)-BC(x，y)]，10)}x CRB；
其中clamp(.，.)在第一项超过第二项时返回第二项；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，
CRB＝1+cos[abs(Rc(x，y)-Bc(x，y))]π/200；以及
当abs(Rc(x，y)-Bc(x，y))＜200时，CRB＝0。
29.如权利要求28所述的设备，其中所述方法进一步包括当G＜R′且R′＜B′时，应用颜色损坏校正。
30.如权利要求21所述的设备，其中所述插值包括选择像素邻居以及单程执行所述方法。
CN201310086059.2A 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置 Expired - Fee Related CN103209330B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2394608P 2008-01-28 2008-01-28
US61/023,946 2008-01-28
CN2009801030302A CN102017639B (zh) 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2009801030302A Division CN102017639B (zh) 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置

Publications (2)

Publication Number Publication Date
CN103209330A true CN103209330A (zh) 2013-07-17
CN103209330B CN103209330B (zh) 2015-11-25

Family

ID=40829732

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310086059.2A Expired - Fee Related CN103209330B (zh) 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置
CN2009801030302A Expired - Fee Related CN102017639B (zh) 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2009801030302A Expired - Fee Related CN102017639B (zh) 2008-01-28 2009-01-28 用于处理色差和紫色条纹的方法和装置

Country Status (5)

Country Link
EP (1) EP2293582A3 (zh)
JP (1) JP4966413B2 (zh)
KR (1) KR101174742B1 (zh)
CN (2) CN103209330B (zh)
WO (1) WO2009095422A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339462B2 (en) 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
US8339471B2 (en) 2009-12-31 2012-12-25 DigitalOptics Corporation Europe Limited Auto white balance algorithm using RGB product measure
US8457393B2 (en) * 2010-07-14 2013-06-04 Omnivision Technologies, Inc. Cross-color image processing systems and methods for sharpness enhancement
JP5917048B2 (ja) * 2011-08-26 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
TWI594632B (zh) 2013-12-31 2017-08-01 佳能企業股份有限公司 一種影像補正參數的設定方法、電子裝置、電子裝置可讀取的儲存媒體與應用於電子裝置的程式
CN104767982A (zh) * 2014-01-03 2015-07-08 佳能企业股份有限公司 一种影像补正参数的设定方法与电子装置
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
CN106303483B (zh) * 2015-05-20 2019-05-24 浙江大华技术股份有限公司 一种图像处理方法及装置
CN105430231B (zh) * 2015-11-24 2018-09-04 努比亚技术有限公司 图像处理装置和方法
CN111199524B (zh) * 2019-12-26 2023-03-17 浙江大学 一种针对可调光圈光学系统的图像紫边校正方法
CN114943658B (zh) * 2022-06-09 2024-06-14 豪威科技(武汉)有限公司 一种基于横向色差标定的去色边方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003437A (ja) * 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正方法、電子スチルカメラ及び画像処理システム
JP2000134483A (ja) * 1998-10-26 2000-05-12 Minolta Co Ltd 画像読取装置
US6924816B2 (en) 2000-03-17 2005-08-02 Sun Microsystems, Inc. Compensating for the chromatic distortion of displayed images
US6584287B2 (en) * 2000-10-18 2003-06-24 Fuji Photo Film Co., Ltd. Camera and image forming system using the camera
JP4539278B2 (ja) * 2004-10-13 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7577292B2 (en) * 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
CN100423027C (zh) * 2006-09-08 2008-10-01 南京大学 图像缩放器中辛克函数加窗插值方法

Also Published As

Publication number Publication date
EP2293582A3 (en) 2015-11-04
WO2009095422A2 (en) 2009-08-06
CN102017639B (zh) 2013-08-21
KR101174742B1 (ko) 2012-08-17
JP2011507437A (ja) 2011-03-03
CN103209330B (zh) 2015-11-25
WO2009095422A3 (en) 2009-12-03
CN102017639A (zh) 2011-04-13
EP2293582A2 (en) 2011-03-09
JP4966413B2 (ja) 2012-07-04
KR20100092961A (ko) 2010-08-23

Similar Documents

Publication Publication Date Title
CN102017639B (zh) 用于处理色差和紫色条纹的方法和装置
US8786709B2 (en) Methods and apparatuses for addressing chromatic aberrations and purple fringing
US11570423B2 (en) System and methods for calibration of an array camera
CN101136192B (zh) 用于显示几何和色彩的自动校准和校正的系统和方法
CN102970547B (zh) 图像处理设备、摄像设备和图像处理方法
Mallon et al. Calibration and removal of lateral chromatic aberration in images
US6876763B2 (en) Image resolution improvement using a color mosaic sensor
CN101814182B (zh) 由图像处理器执行的方法、图像处理器以及成像装置
Cronk et al. Automated metric calibration of colour digital cameras
US8797388B2 (en) Mounting accuracy inspection method and inspection apparatus using the inspection method
US8358835B2 (en) Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same
CN102685511B (zh) 图像处理设备和图像处理方法
CN102844788A (zh) 图像处理装置及使用该图像处理装置的图像拾取装置
CN103247029B (zh) 一种用于拼接式探测器生成的高光谱图像几何配准方法
CN102257822B (zh) 摄像装置和使用它的测距装置
CN114485953A (zh) 温度测量方法、装置及系统
CN101534375B (zh) 用于校正色差的方法
Mustaniemi et al. Parallax correction via disparity estimation in a multi-aperture camera
Pan et al. Joint chromatic aberration correction and color fringe removal for variable aperture optical system
JP6103767B2 (ja) 画像処理装置、方法、及びプログラム
CN100367764C (zh) 影像撷取装置的色差校正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Ireland Galway

Applicant after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: Ireland Galway

Applicant before: Digitaloptics Corporation Europe Limited

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: DIGITAL OPTICAL EUROPE CO., LTD. TO: KUAITU CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190128

CF01 Termination of patent right due to non-payment of annual fee