CN102209245A - 图像处理装置、图像拾取装置和图像处理方法 - Google Patents

图像处理装置、图像拾取装置和图像处理方法 Download PDF

Info

Publication number
CN102209245A
CN102209245A CN2011100751134A CN201110075113A CN102209245A CN 102209245 A CN102209245 A CN 102209245A CN 2011100751134 A CN2011100751134 A CN 2011100751134A CN 201110075113 A CN201110075113 A CN 201110075113A CN 102209245 A CN102209245 A CN 102209245A
Authority
CN
China
Prior art keywords
image
filter
chromatic aberration
aberration correction
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100751134A
Other languages
English (en)
Other versions
CN102209245B (zh
Inventor
小坂雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102209245A publication Critical patent/CN102209245A/zh
Application granted granted Critical
Publication of CN102209245B publication Critical patent/CN102209245B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及图像处理装置、图像拾取装置和图像处理方法。所述图像处理装置(104)对通过光学系统(101)进行场景的图像拾取而产生的输入图像执行图像处理，该场景包含被摄体距离相互不同的多个被摄体。所述装置包括获取用于输入图像中的失焦区域的色差校正过滤器和图像恢复过滤器的过滤器获取部分(104b)，和对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理的处理部分(104b)。过滤器获取部分通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。

Description

图像处理装置、图像拾取装置和图像处理方法
技术领域
本发明涉及用于减少包含于由图像拾取产生的图像中的色差成分和模糊成分的图像处理技术。
背景技术
由诸如数字照相机的图像拾取装置产生的图像包含模糊成分(图像模糊成分)，该模糊成分为由诸如球面像差、慧形像差、像场弯曲和像散的图像拍摄光学系统(以下，简称为“光学系统”)的各种像差导致的图像劣化成分。产生这种模糊成分是由于从被摄体的一个点发射的光束在图像拾取表面上以一定的发散性形成图像，如果不存在像差或衍射，该光束一般会聚于一个点上。
这里的模糊成分在光学上被表达为点扩散函数(PSF)，并且与由散焦导致的模糊不同。并且，可以说，由光学系统的纵向色差、球面色差或慧形色差导致的彩色图像中的颜色模糊是在各光波长的模糊程度之间的不同。
作为用于校正图像模糊成分的方法，已知存在使用关于光学系统的光学传递函数(OTF)的信息的校正方法。该方法被称为“图像恢复”。以下，用于通过使用关于光学系统的光学传递函数(OTF)的信息校正(减少)图像模糊成分的处理被称为“图像恢复处理”。
图像恢复处理的概要如下。当g(x，y)代表包含模糊成分的劣化图像(输入图像)、f(x，y)代表无劣化原图像、h(x，y)代表与光学传递函数形成傅立叶对的点扩散函数(PSF)、＊代表卷积并且(x，y)代表图像上的坐标时，建立以下的表达式：
g(x，y)＝h(x，y)＊f(x，y)       ...(1)
并且，通过傅立叶变换将上式转换为二维频率表面的形式表示各频率的积的形式的下式：
G(u，v)＝H(u，v)·F(u，v)   ...(2)
这里，H表示点扩散函数(PSF)的傅立叶变换的结果，换句话说，表示光学传递函数(OTF)，并且，(u，v)表示二维频率表面上的坐标，换句话说，表示频率。
为了从劣化的图像获取原图像，仅需要如下式那样将该式的两侧除以H：
G(u，v)/H(u，v)＝F(u，v)   ...(3)
通过逆傅立叶变换使F(u，v)返回实面使得能够获取等同于原图像f(x，y)的恢复图像。
当R代表H-1的逆傅立叶变换的结果时，通过如下式代表地那样对于实面中的图像执行卷积处理类似地使得能够获取原图像。
g(x，y)*R(x，y)＝f(x，y) ...(4)
上式中的该R(x，y)被称为“图像恢复过滤器”。实际图像包含噪声成分，由此，如上面描述的那样使用从光学传递函数(OTF)的全逆(complete inverse)产生的图像恢复过滤器导致噪声成分的放大以及劣化的图像。因此，一般不能获取良好的图像。在这一点上，已知存在诸如使用Wiener过滤器的用于根据图像信号与噪声信号的强度比抑制图像的高频率侧恢复率的方法。基本上通过例如由模糊成分的校正来使各颜色成分的模糊量均匀，校正图像的颜色模糊成分的劣化。
日本专利公开No.2007-028040公开了校正由纵向色差导致的颜色偏移的方法。由于各颜色成分的MTF(调制传递函数)的峰值位置由于纵向色差而相互不同，因此各颜色的MTF具有差值。MTF低的颜色成分的图像相对于MTF高的颜色成分的图像变模糊，这产生颜色模糊。在日本专利公开No.2007-028040中公开的方法通过使用MTF高的颜色成分的图像估计MTF低的颜色成分的图像，以消除各颜色的MTF特性之间的不同，由此减少颜色偏移。
并且，日本专利公开No.2008-085773公开了以下的校正颜色模糊的方法。该方法沿光轴方向相互相对移动图像拾取元件和光学系统，以在各颜色成分中的峰值波长的光的图像形成位置位于图像拾取元件上时多次执行图像拾取，以获得多个颜色图像。然后，该方法将由图像拾取获得的多个颜色图像合成为一个图像并然后输出它。该方法使得能够消除颜色成分的图像形成特性之间的不同，以减少合成图像中的颜色模糊。
用于校正颜色模糊的校正过滤器一般对于图像拾取装置的光学系统处于对焦状态(聚焦状态)的状态被优化。因此，向图像中的失焦区域(散焦区域)应用校正过滤器提供与用于图像中的对焦区域(聚焦区域)的校正不同的校正。例如，被摄体距离等于对焦距离的对焦区域中的色差与被摄体距离不同于对焦距离的失焦区域中的色差不同。特别地，当产生纵向色差时，各颜色成分相互分离以在光轴方向的MTF特性中形成MTF峰值。
图9A表示从具有纵向色差的光学系统201出射的白色光的各波长成分(色光成分)的分离。穿过光学系统201的各色光成分在相互不同的位置处形成图像，这导致如图9B所示的那样形成分别以各色光成分的图像形成位置为中心的各颜色的MTF峰值。由图像拾取元件202获得的图像包含各颜色的MTF的差。
图10B表示当被应用于通过具有图10A所示的MTF特性的光学系统的图像拾取而获取的图像的对焦区域时的图像恢复过滤器的图像恢复效果。当向图像的失焦区域应用这种图像恢复过滤器时，如图10D所示，各颜色的MTF具有差值。这是由于上式(3)中的H-1以与对焦区域中的比率相同的比率增加失焦区域中的MTF。在对焦区域和失焦区域中，OTF的形状和R、G和B成分的OTF的关系相互不同，因此，原样向失焦区域应用图像恢复过滤器在颜色成分之间产生失配。
比较图10C与图10A，G和B成分的MTF劣化，但是，R成分的MTF改善。因此，向失焦区域应用与用于对焦区域的图像恢复过滤器相同的图像恢复过滤器过量地增加R成分的图像恢复效果，并降低B和G成分的图像恢复效果，这如图10D所示的那样增加各颜色成分的MTF之间的差值。
在这种情况下，在图11A所示的图像的边缘部分处，如图11B所示，G和B成分的亮度与R成分的亮度明显不同，这导致颜色模糊状外观。特别地，虽然R成分的MTF增加，但是B和G成分的MTF保持为低。这使得B和G成分在边缘部分处十分明显，以比图像恢复之前更多地强调颜色模糊。
在日本专利公开No.2007-028040中公开的方法通过逐渐转化MTF高的图像，估计MTF低的图像，并因此降低整个图像的分辨率。
并且，在日本专利公开No.2008-085773中公开的方法依次多次执行图像拾取以获取多个颜色图像，并因此在多个颜色图像之间产生时间差。这可导致在各颜色图像之间被摄体的位置和尺寸等的变化。在这种情况下，原样合成多个颜色图像在合成的图像中产生颜色偏移。并且，各颜色图像的倍率相互不同，这在合成图像的周边区域中产生由于倍率色差导致的颜色偏移。
并且，在日本专利公开No.2007-028040和日本专利公开No.2008-085773中公开的方法中的每一个被应用于对焦区域中的颜色模糊，并因此没有考虑失焦区域中的颜色模糊。因此，该方法不能减少图像恢复之后的失焦区域中的颜色模糊。
发明内容
本发明提供能够在图像恢复之后在输出图像中减少失焦区域中强调的颜色模糊的图像处理装置和图像拾取装置。
本发明作为其一个方面提供一种被配置为对通过光学系统进行场景的图像拾取而产生的输入图像执行图像处理的图像处理装置，该场景包含到光学系统的距离相互不同的多个被摄体。该装置包括：过滤器获取部分，所述过滤器获取部分被配置为获取用于减少输入图像中的失焦区域中包含的色差成分的色差校正过滤器和用于减少输入图像中包含的模糊成分的图像恢复过滤器；和处理部分，所述处理部分被配置为对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理。过滤器获取部分通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。
本发明作为其另一方面提供包含被配置为通过光学系统执行图像拾取的图像拾取系统和上述的图像处理装置的图像拾取装置。
本发明作为其另一方面提供一种图像处理方法，该图像处理方法包括：获取通过光学系统进行场景的图像拾取而产生的输入图像的步骤，该场景包含到光学系统的距离相互不同的多个被摄体；获取用于减少输入图像中的失焦区域中包含的色差成分的色差校正过滤器和用于减少输入图像中包含的模糊成分的图像恢复过滤器的过滤器获取步骤；和对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理的处理步骤。在过滤器获取步骤中，通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。
(参照附图)阅读示例性实施例的以下说明，本发明的其它特征将变得明显。
附图说明
图1是表示作为本发明的实施例1的图像拾取装置的配置的框图。
图2是表示在实施例1的图像拾取装置中执行的处理的流程图。
图3A、图3B和图3C分别表示实施例1中的色差校正处理之前、色差校正处理之后和图像恢复处理之后的失焦区域中的边缘部分处的R、G和B的亮度。
图4表示实施例1中的被摄体距离与执行色差校正处理和/或图像恢复处理的区域的关系。
图5是表示在作为本发明的实施例2的图像拾取装置中执行的处理的流程图。
图6是表示在作为本发明的实施例3的图像拾取装置中执行的处理的流程图。
图7是表示在作为本发明的实施例4的图像拾取装置中执行的处理的流程图。
图8是表示在作为本发明的实施例5的图像拾取装置中执行的处理的流程图。
图9A和图9B分别表示在光学系统中产生的纵向色差和各颜色的MTF。
图10A和图10B分别表示向对焦区域应用对于对焦区域优化的图像恢复过滤器前后的MTF，图10C和图10D分别表示向失焦区域应用图像恢复过滤器前后的MTF。
图11A和图11B表示向失焦区域应用对于对焦区域优化的图像恢复过滤器前后的图像中的边缘部分处的R、G和B的亮度。
具体实施方式
以下将参照附图描述本发明的示例性实施例。
[实施例1]
图1表示作为本发明的第一实施例(实施例1)的包含图像处理装置(或使用图像处理方法)的诸如数字照相机和视频照相机的图像拾取装置的配置。
来自被摄体(未示出)的光束穿过图像拍摄光学系统101以在由CCD传感器或CMOS传感器等构成的图像拾取元件102上形成被摄体图像。图像拍摄光学系统101包含为了变焦移动的变倍透镜(未示出)、孔径光阑101a和为了聚焦移动的聚焦透镜101b。沿光轴方向移动变倍透镜使得能够实现用于改变图像拍摄光学系统101的焦距的变焦。孔径光阑101a通过增加和减小其孔径直径来调整到达图像拾取元件102的光的量。通过图像拍摄光学系统控制器106的自动聚焦(AF)功能控制沿光轴方向的聚焦透镜101b的位置，执行根据被摄体距离的聚焦。
在图像拾取元件102上形成的被摄体图像被图像拾取元件102转换成电信号。来自图像拾取元件102的模拟输出信号被A/D转换器103转换成数字图像拾取信号以被输入到图像处理器104。
条件检测器107检测图像拍摄光学系统101的条件。以下，该条件被称为“图像拾取条件”。图像拾取条件包含例如图像拍摄光学系统101的焦距(变焦位置)、孔径光阑101a的孔径直径(孔径值或F数)和聚焦透镜位置(即，将在后面描述的对焦距离)。
图像处理器104包含对输入的数字图像拾取信号执行各种处理以产生全色输入图像的图像产生部分104a和用作过滤器获取部分和处理部分的色差校正/图像恢复处理部分104b。从图像拾取元件102到图像产生部分104a的系统构成图像拾取系统。
色差校正/图像恢复处理部分104b获取由图像拾取系统产生的输入图像。并且，色差校正/图像恢复处理部分104b通过产生色差校正过滤器获取色差校正过滤器，并且通过对输入图像使用色差校正过滤器来执行色差校正处理。色差校正/图像恢复处理部分104b可通过从事先存储于存储器108中的两个或更多个色差校正过滤器中选择用于色差校正处理的色差校正过滤器来获取用于色差校正处理的色差校正过滤器。
在本实施例中，不是直接对由图像拾取系统产生的全色输入图像、而是对通过从全色输入图像进行转换获得的校正目标颜色图像(将在后面描述的R、G和B图像中的两个)执行将在后面描述的色差校正处理和图像恢复处理。但是，在本实施例和后面描述的其它实施例中，不仅全色输入图像而且校正目标颜色图像被称为“输入图像”。
另外，色差校正/图像恢复处理部分104b通过根据由条件检测器107检测的图像拾取条件产生模糊校正过滤器，来获取模糊校正过滤器作为图像恢复过滤器，并然后通过使用图像恢复过滤器对输入图像执行图像恢复处理。色差校正/图像恢复处理部分104b可通过从事先存储于存储器108中的两个或更多个模糊校正过滤器选择用于图像恢复处理的模糊校正过滤器来获取用于图像恢复处理的模糊校正过滤器。
色差校正/图像恢复处理部分104b与对输入图像执行图像处理的图像处理装置对应。
存储器108在设定于图像拾取帧中的多个区域中的每一个中存储关于图像拍摄光学系统101的色差的信息。本实施例中的关于色差的信息包含在诸如变焦条件(焦距或变倍透镜的位置)、对焦条件(聚焦透镜的对焦位置)和孔径条件(孔径直径)的各种图像拾取条件中对于各种被摄体距离产生的色差。并且，被摄体距离包含到图像拍摄光学系统101对焦的被摄体的距离(对焦距离)和到位于图像拍摄光学系统101不对焦的失焦位置处的被摄体的距离。关于被摄体距离的信息可被表示聚焦检测器(未示出)的检测结果即图像拍摄光学系统101是否对焦的信号或被表示到聚焦透镜的对焦位置的散焦量的信号替代。
图2表示包含由图像产生部分104a执行的图像拾取处理和由色差校正/恢复处理部分104b执行的色差校正和图像恢复处理的处理(图像处理方法)的流程图。图像产生部分104a和色差校正/恢复处理部分104b以下被统称为图像处理器104。图像处理器104由图像处理计算机构成，并且，根据计算机程序(图像处理计算机程序)执行以上的处理。
在步骤S11中，图像处理器104基于来自图像拾取元件102的输出信号执行图像拾取处理以产生作为原图像的RGB全色输入图像。将描述对于包含被摄体距离相互不同的多个被摄体的场景执行图像拾取并且因此输入图像包含多个被摄体的图像的情况。
在步骤S12中，图像处理器104获取关于图像拾取处理时的图像拍摄光学系统101的对焦距离的信息，即关于从图像拍摄光学系统101到图像拍摄光学系统101处于对焦的位置的距离的信息。并且，图像处理器104还获取关于从图像拾取装置(即，从图像拍摄光学系统101)到各被摄体的被摄体距离的信息。可通过以下的方法获取关于被摄体距离的信息。测距传感器(距离测量传感器)120将来自其光投影部分的辅助光投影到各被摄体上，在其光接收部分处接收在被摄体上反射的辅助光，并然后执行三角测量。但是，可通过其它的方法获取关于被摄体距离的信息。
在步骤S13中，图像处理器104将输入图像转换成包含R图像、G图像和B图像的多个颜色图像(在本实施例中为三个颜色图像)。虽然本实施例描述了将输入图像转换成RGB空间中的颜色图像的情况，但是，输入图像可被转换成诸如YCC空间的除RGB空间以外的颜色空间中的颜色图像。
然后，在步骤S14中，图像处理器104检测在输入图像(图像拾取帧)中存在各被摄体的区域，并且从存储器108读取关于与存在各被摄体的区域对应的图像拍摄光学系统101的色差的信息。
然后，图像处理器104通过使用关于色差的信息和在步骤S12中获取的关于对焦距离的信息和关于被摄体距离的信息，产生用以减少(校正)输入图像中的失焦区域中包含的色差成分的色差校正过滤器。分别对于R、G和B图像中的两个颜色图像(校正目标颜色图像)产生色差校正过滤器。对于两个颜色图像产生的色差校正过滤器是相互不同的过滤器。
失焦区域是被摄体距离和对焦距离之间的差值比预定量大的区域。对焦区域是被摄体距离和对焦距离之间的差值小于或等于预定量的区域。
另外，图像处理器104产生与图像拾取处理时的图像拾取条件对应的模糊校正过滤器(图像恢复过滤器)。该模糊校正过滤器被应用于输入图像中的对焦区域，以减少(校正)包含于输入图像中的模糊成分(图像模糊成分)。
然后，在步骤S15中，图像处理器104向两个校正目标颜色图像应用与其对应的色差校正过滤器，由此执行用于校正失焦区域中的R、G和B之间的色差的色差校正处理。色差校正处理使得能够如图3B所示的那样减少在色差校正处理之前如图3A所示的那样大的R、G和B的点扩散函数(PSF)的形状的不同。
作为对之产生色差校正过滤器的校正目标颜色图像，可以选择R、G和B图像中的任意两个。但是，希望选择诸如R图像的三个颜色图像之中的在色差校正处理之前具有最高MTF的一个颜色图像，作为基准颜色图像，并且选择基准颜色图像以外的两个颜色图像作为校正目标颜色图像。在这种情况下，模糊校正过滤器对于从基准颜色图像的PSF获得的对焦距离(或对焦区域)被优化。
在步骤S16中，图像处理器104通过向已通过在步骤S15中执行的色差校正处理减少PSF形状的差异的R、G和B图像应用模糊校正过滤器，执行图像恢复处理，以如图3C所示的那样减少模糊成分。即，图像处理器104向已减少色差并由此已几乎消除MTF的差异的R、G和B图像应用R、G和B图像共有的模糊校正过滤器。这防止仅对于一种颜色图像而不对于其它颜色图像进一步强化或弱化图像恢复的效果，这可防止通过图像恢复处理强调颜色模糊。并且，对于对焦区域优化的模糊校正过滤器的使用可防止通过失焦区域中的过量图像恢复来去除输入图像的失焦感(散景(bokeh))。
在步骤S17中，图像处理器104合成基准颜色图像与已执行色差校正处理和图像恢复处理的校正目标颜色图像，以产生校正图像，并然后将其存储于记录介质109并在设置在图像拾取装置上的显示器件105上显示其。并且，图像处理器104可将校正图像输出到诸如个人计算机或打印机的外部装置。
如上所述，本实施例获取包含于图像拾取处理时的输入图像中的多个被摄体的被摄体距离，并且通过使用关于与被摄体距离对应的色差的信息，减少通过图像恢复处理强调的颜色模糊。
图4表示本实施例中的输入图像(颜色图像)中的被摄体距离与施加色差校正过滤器和/或模糊校正过滤器的区域之间的关系。与图像拍摄光学系统101的焦点深度对应并且以对焦距离为中心的区域是对焦区域。在处于对焦区域外面的失焦区域中，被摄体距离和对焦距离之间的差值处于一定范围内的部分区域(换句话说，模糊程度较小的区域)具有明显的色差成分。这种部分区域被称为“强调颜色模糊区域”。图4表示在输入图像中存在两个强调颜色模糊区域的情况。另一方面，在失焦区域中，被摄体距离和对焦距离之间的差值超过一定范围的部分区域具有明显的模糊，这使得色差成分不明显。这种部分区域被称为“颜色模糊不可见区域”。图4表示在输入图像中存在两个颜色模糊不可见区域的情况。
因此，必需向对焦区域和颜色模糊不可见区域之间的强调颜色模糊区域应用色差校正过滤器。因此，本实施例产生与强调颜色模糊区域的被摄体距离对应的色差校正过滤器，并且，在本实施例中，不管被摄体距离如何，都向整个输入图像应用对于对焦距离优化的模糊校正过滤器。这种处理使得能够充分地校正输入图像中的失焦区域中的色差成分，这使得能够减少图像恢复处理之后的校正图像中的失焦区域中的颜色模糊。
[实施例2]
图5表示由作为本发明的第二实施例(实施例2)的图像拾取装置中的图像处理器104执行的包含图像拾取处理、色差校正处理和图像恢复处理的处理(图像处理方法)的流程图。本实施例的图像拾取装置的配置与实施例1的图像拾取装置的配置相同，并且，与实施例1相同的部件由与实施例1相同的附图标记表示。
在步骤S11～S13中，图像处理器104执行与实施例1中的步骤S11～S13相同的处理。
在步骤S21中，图像处理器104检测在输入图像中存在各被摄体的区域，并且从存储器108读取关于与存在各被摄体的区域对应的图像拍摄光学系统101的色差的信息。然后，图像处理器104通过使用关于色差的信息、关于对焦距离的信息和关于被摄体距离的信息，产生具有用于失焦区域的色差校正功能和对于对焦距离优化的模糊校正功能的色差/模糊校正过滤器。分别对于由步骤S13中的从输入图像的转换获得的R、G和B图像产生色差/模糊校正过滤器。用于R、G和B图像的色差/模糊校正过滤器是相互不同的过滤器。
在步骤S22中，图像处理器104向R、G和B图像中的每一个应用对于它们中的每一个产生的色差/模糊校正过滤器，以产生在色差/模糊校正过滤器的单一应用中减少色差(颜色模糊)成分和模糊成分的颜色图像。然后，在步骤S17中，图像处理器104如实施例1那样产生校正的图像。
[实施例3]
图6表示由作为本发明的第三实施例(实施例3)的图像拾取装置中的图像处理器104执行的包含图像拾取处理、色差校正处理和图像恢复处理的处理(图像处理方法)的流程图。本实施例的图像拾取装置的配置与实施例1的图像拾取装置的配置相同，并且，与实施例1相同的部件由与实施例1相同的附图标记表示。
在步骤S11～S14中，图像处理器104执行与实施例1中的步骤S11～S14相同的处理。在步骤S14中，图像处理器104产生失焦区域和对焦区域共同使用并且对于对焦距离优化的模糊校正过滤器。图像处理器104还产生色差校正过滤器。
在步骤S31中，图像处理器104向通过步骤S13中的从输入图像的转换获得的R、G和B图像应用在步骤S14中产生的模糊校正过滤器，以执行图像恢复处理。如果在失焦区域中存在色差成分，那么图像恢复处理强调颜色模糊。
该颜色模糊不仅包含图像拍摄光学系统101的色差，而且包含被对于对焦距离优化的模糊校正过滤器强调的颜色模糊成分。因此，在步骤S32中，图像处理器104通过使用对于对焦距离优化的模糊校正过滤器校正在步骤S14中产生的用于失焦区域的色差校正过滤器。
然后，在步骤S33中，图像处理器104向图像恢复处理之后的图像应用校正的色差校正过滤器，以执行色差校正处理。因此，在步骤S17中，图像处理器104如实施例1那样产生校正的图像。
本实施例可在不消除散景的情况下产生充分地减少颜色模糊的校正图像。
[实施例4]
图7表示由作为本发明的第四实施例(实施例4)的图像拾取装置中的图像处理器104执行的包含图像拾取处理、色差校正处理和图像恢复处理的处理(图像处理方法)的流程图。本实施例的图像拾取装置的配置与实施例1的图像拾取装置的配置相同，并且，与实施例1相同的部件由与实施例1相同的附图标记表示。
在步骤S11～S13中，图像处理器104执行与实施例1中的步骤S11～S13相同的处理。
在步骤S41中，图像处理器104通过使用关于色差的信息和在步骤S12中获取的关于对焦距离的信息和关于被摄体距离的信息，产生用于失焦区域的色差校正过滤器。
然后，在步骤S15中，图像处理器104向通过步骤S13中的输入图像的转换获得的R、G和B图像应用色差校正过滤器，以执行色差校正处理。
在步骤S42中，图像处理器104将色差校正处理之后的R、G和B图像转换成YCRCB空间中的图像。
并且，在上述的步骤S41中，图像处理器104产生对于YCRCB空间中的对焦区域优化的模糊校正过滤器。然后，在步骤S16中，图像处理器104通过使用模糊校正过滤器执行图像恢复处理。
在步骤S43中，图像处理器104重新将图像恢复处理之后的YCRCB空间中的图像转换成RGB空间中的图像。
本实施例在将RGB空间中的图像转换成YCRCB空间的图像以切割颜色信息之后执行图像恢复处理，这可防止由图像恢复处理导致的颜色模糊量的增加。由此，本实施例可在步骤S17中获取几乎没有颜色偏移的校正图像。
[实施例5]
图8表示由作为本发明的第五实施例(实施例5)的图像拾取装置中的图像处理器104执行的包含图像拾取处理、色差校正处理和图像恢复处理的处理(图像处理方法)的流程图。本实施例的图像拾取装置的配置与实施例1的图像拾取装置的配置相同，并且，与实施例1相同的部件由与实施例1相同的附图标记表示。
在步骤S11～S13中，图像处理器104执行与实施例1中的步骤S11～S13相同的处理。
在步骤S51中，图像处理器104将通过步骤S13中的输入图像的转换获得的R、G和B图像转换成YCRCB空间中的图像。
在步骤S52中，图像处理器104产生失焦区域和对焦区域共同使用并且对于YCRCB空间中的对焦距离优化的模糊校正过滤器。然后，在步骤S53中，图像处理器104向YCRCB空间中的图像应用在步骤S52中产生的模糊校正过滤器，以执行图像恢复处理。由于在YCRCB空间中而不是在RGB空间中执行图像恢复处理，因此，减少但保持在RGB空间中产生的颜色模糊的强调。
在上述的步骤S52中，图像处理器104通过使用关于色差的信息以及在步骤S12中获取的关于对焦距离的信息和关于被摄体距离的信息，产生用于失焦区域的色差校正过滤器。然后，在步骤S54中，图像处理器104通过使用模糊校正过滤器校正色差校正过滤器。
在步骤S55中，图像处理器104向在步骤S53中执行的图像恢复处理之后的图像应用校正的色差校正过滤器，以执行色差校正处理。然后，在步骤S56中，图像处理器104重新将色差校正处理之后的YCRCB空间中的图像转换成RGB空间中的图像。因此，在步骤S17中，图像处理器104如实施例1那样产生减少失焦区域中的颜色模糊的校正图像。
在实施例4和5中，R、G和B图像转换成的颜色空间可以是YCRCB空间以外的颜色空间。
虽然各实施例描述了使用图像处理方法(或包含图像处理装置)的图像拾取装置，但是，本发明的替代性实施例包含要被安装到个人计算机中以使个人计算机执行在各实施例中描述的色差校正处理和图像恢复处理的图像处理计算机程序。在这种情况下，个人计算机与图像处理装置对应。个人计算机获取由图像拾取装置产生的图像恢复处理之前的图像(输入图像)，根据图像处理计算机程序执行色差校正处理和图像恢复处理，并然后输出得到的图像。
虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有的变更方式以及等同的结构和功能。
本申请要求在2010年3月31日提交的日本专利申请No.2010-079989的权益，在此通过引用并入其全部内容。

Claims (4)

1.一种被配置为对通过光学系统(101)进行场景的图像拾取而产生的输入图像执行图像处理的图像处理装置(104)，该场景包含到光学系统的距离相互不同的多个被摄体，该装置包括：
过滤器获取部分(104b)，所述过滤器获取部分被配置为获取用于减少输入图像中的失焦区域中包含的色差成分的色差校正过滤器和用于减少输入图像中包含的模糊成分的图像恢复过滤器；和
处理部分(104b)，所述处理部分被配置为对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理，
其特征在于，过滤器获取部分通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。
2.根据权利要求1的图像处理装置，其中，处理部分(104b)被配置为在与构成输入图像的颜色空间不同的颜色空间中执行色差校正处理。
3.一种图像拾取装置，包括：
图像拾取系统(102、103、104a)，所述图像拾取系统被配置为通过光学系统(101)执行图像拾取；和
图像处理装置(104)，所述图像处理装置被配置为对通过包含到光学系统的距离相互不同的多个被摄体的场景的图像拾取而产生的输入图像执行图像处理，
其中，图像处理装置包含：
过滤器获取部分(104b)，所述过滤器获取部分被配置为获取用于减少输入图像中的失焦区域中包含的色差成分的色差校正过滤器和用于减少输入图像中包含的模糊成分的图像恢复过滤器；和
处理部分(104b)，所述处理部分被配置为对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理，
其特征在于，过滤器获取部分通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。
4.一种图像处理方法，包括：
获取通过光学系统进行场景的图像拾取而产生的输入图像的步骤(S11)，该场景包含到光学系统的距离相互不同的多个被摄体；
获取用于减少输入图像中的失焦区域中包含的色差成分的色差校正过滤器和用于减少输入图像中包含的模糊成分的图像恢复过滤器的过滤器获取步骤(S14、S21、S41、S52)；和
对输入图像执行使用色差校正过滤器的色差校正处理和使用图像恢复过滤器的图像恢复处理的处理步骤(S15、S16、S22、S53、S55)，
其特征在于，在过滤器获取步骤中，通过使用关于光学系统的色差的信息、关于场景的图像拾取中的光学系统的对焦距离的信息和关于到各被摄体的距离的信息，获取色差校正过滤器。
CN2011100751134A 2010-03-31 2011-03-28 图像处理装置、图像拾取装置和图像处理方法 Expired - Fee Related CN102209245B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010079989A JP5528173B2 (ja) 2010-03-31 2010-03-31 画像処理装置、撮像装置および画像処理プログラム
JP2010-079989 2010-03-31

Publications (2)

Publication Number Publication Date
CN102209245A true CN102209245A (zh) 2011-10-05
CN102209245B CN102209245B (zh) 2013-11-20

Family

ID=44697880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100751134A Expired - Fee Related CN102209245B (zh) 2010-03-31 2011-03-28 图像处理装置、图像拾取装置和图像处理方法

Country Status (3)

Country Link
US (1) US8531545B2 (zh)
JP (1) JP5528173B2 (zh)
CN (1) CN102209245B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314571A (zh) * 2011-11-30 2013-09-18 松下电器产业株式会社 摄像装置
CN104424626A (zh) * 2013-09-09 2015-03-18 联发科技（新加坡）私人有限公司 校正图像色偏的方法与相关装置
CN105409198A (zh) * 2013-07-29 2016-03-16 富士胶片株式会社 摄像装置及图像处理方法
CN105453534A (zh) * 2013-05-13 2016-03-30 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN105933595A (zh) * 2015-02-26 2016-09-07 诺基亚技术有限公司 减少去卷积图像中的色差的方法、装置和计算机程序产品
CN112654924A (zh) * 2018-09-04 2021-04-13 谷歌有限责任公司 用立体相机进行暗闪光灯拍照

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
JP2013017142A (ja) * 2011-07-06 2013-01-24 Sony Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
FR2977962B1 (fr) * 2011-07-13 2013-07-26 Thales Sa Systeme optique a codage de pupille asservi
JP2013240022A (ja) * 2012-05-17 2013-11-28 Canon Inc 画像処理装置、撮像装置、および、画像処理方法
JP6455424B2 (ja) * 2013-03-26 2019-01-23 凸版印刷株式会社 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP6452389B2 (ja) * 2014-11-10 2019-01-16 キヤノン株式会社 画像処理装置および画像処理方法
JP6486076B2 (ja) * 2014-11-10 2019-03-20 キヤノン株式会社 画像処理装置および画像処理方法
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
JP2017118293A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体
JP7051740B2 (ja) * 2019-03-11 2022-04-11 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
US11315483B2 (en) * 2019-04-18 2022-04-26 Google Llc Systems, devices, and methods for an infrared emitting display
JP7170609B2 (ja) * 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
FR3134196A1 (fr) * 2022-04-01 2023-10-06 Fogale Nanotech Procédé de correction d’aberrations optiques introduites par un objectif optique dans une image, appareil et système mettant en œuvre un tel procédé.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285997A (zh) * 1997-11-14 2001-02-28 莱达·E·坦根 光电照相机和用于在光电照相机中格式化图像的方法
US20060239549A1 (en) * 2005-04-26 2006-10-26 Kelly Sean C Method and apparatus for correcting a channel dependent color aberration in a digital image
CN101204083A (zh) * 2005-03-07 2008-06-18 德克索实验室 利用颜色数字图像对动作如锐度修改进行控制的方法
US20090141140A1 (en) * 2007-12-03 2009-06-04 Robinson M Dirk End-to-end design of electro-optic imaging systems for color-correlated objects

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307175A (en) * 1992-03-27 1994-04-26 Xerox Corporation Optical image defocus correction
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
JP4020527B2 (ja) * 1999-03-16 2007-12-12 オリンパス株式会社 電子カメラ
JP3777906B2 (ja) * 1999-09-29 2006-05-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
JP4945942B2 (ja) 2005-07-14 2012-06-06 株式会社ニコン 画像処理装置
JP4749985B2 (ja) * 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
JP2008085773A (ja) 2006-09-28 2008-04-10 Olympus Corp 色収差補正撮像装置及び色収差補正方法
JP4986965B2 (ja) * 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
US8477206B2 (en) * 2008-09-30 2013-07-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image restoration using restoration filter
US8294807B2 (en) * 2009-01-23 2012-10-23 Ricoh Co., Ltd. Imaging system with variable opto-mechanical system, aberrated optics and compensating filter bank

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285997A (zh) * 1997-11-14 2001-02-28 莱达·E·坦根 光电照相机和用于在光电照相机中格式化图像的方法
CN101204083A (zh) * 2005-03-07 2008-06-18 德克索实验室 利用颜色数字图像对动作如锐度修改进行控制的方法
US20060239549A1 (en) * 2005-04-26 2006-10-26 Kelly Sean C Method and apparatus for correcting a channel dependent color aberration in a digital image
US20090141140A1 (en) * 2007-12-03 2009-06-04 Robinson M Dirk End-to-end design of electro-optic imaging systems for color-correlated objects

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314571A (zh) * 2011-11-30 2013-09-18 松下电器产业株式会社 摄像装置
CN105453534A (zh) * 2013-05-13 2016-03-30 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
CN105453534B (zh) * 2013-05-13 2018-07-06 富士胶片株式会社 图像处理装置及方法
CN105409198A (zh) * 2013-07-29 2016-03-16 富士胶片株式会社 摄像装置及图像处理方法
CN105409198B (zh) * 2013-07-29 2018-11-09 富士胶片株式会社 摄像装置及图像处理方法
CN104424626A (zh) * 2013-09-09 2015-03-18 联发科技（新加坡）私人有限公司 校正图像色偏的方法与相关装置
CN104424626B (zh) * 2013-09-09 2017-07-21 联发科技（新加坡）私人有限公司 校正图像色偏的方法与相关装置
CN105933595A (zh) * 2015-02-26 2016-09-07 诺基亚技术有限公司 减少去卷积图像中的色差的方法、装置和计算机程序产品
CN112654924A (zh) * 2018-09-04 2021-04-13 谷歌有限责任公司 用立体相机进行暗闪光灯拍照
US11490070B2 (en) 2018-09-04 2022-11-01 Google Llc Dark flash photography with a stereo camera
CN112654924B (zh) * 2018-09-04 2023-01-13 谷歌有限责任公司 用立体相机进行暗闪光灯拍照

Also Published As

Publication number Publication date
US8531545B2 (en) 2013-09-10
US20110242372A1 (en) 2011-10-06
JP5528173B2 (ja) 2014-06-25
CN102209245B (zh) 2013-11-20
JP2011211669A (ja) 2011-10-20

Similar Documents

Publication Publication Date Title
CN102209245B (zh) 图像处理装置、图像拾取装置和图像处理方法
US9691134B2 (en) Image processing apparatus that performs image restoration processing and image processing method
EP3093818B1 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
US8692909B2 (en) Image processing device and image pickup device using the same
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN102165761B (zh) 图像处理方法、图像处理装置和图像拾取装置
JP4986965B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
US9253377B2 (en) Image processing device and image processing system where de-mosaic image is generated based on shift amount estimation of pixels of captured images
JP2011123589A5 (zh)
US9118878B2 (en) Image processing apparatus that corrects for chromatic aberration for taken image, image pickup apparatus, method of correcting for chromatic aberration of magnification therefor, and storage medium
JP5528139B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2011160255A5 (zh)
US10217194B2 (en) Image shooting apparatus that extends depth of field by recovering blurred image and an image shooting method thereof
JP6415108B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR20100050904A (ko) 색수차 제거 방법 및 장치
JP2015076685A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2009159536A (ja) 撮像装置、画像処理方法、および情報コード読取装置
JP2017092800A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP2009047733A (ja) 撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131120

Termination date: 20210328

CF01 Termination of patent right due to non-payment of annual fee