CN102833461B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102833461B
CN102833461B CN201210199709.XA CN201210199709A CN102833461B CN 102833461 B CN102833461 B CN 102833461B CN 201210199709 A CN201210199709 A CN 201210199709A CN 102833461 B CN102833461 B CN 102833461B
Authority
CN
China
Prior art keywords
variable quantity
image
view data
postprocessing technique
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210199709.XA
Other languages
English (en)
Other versions
CN102833461A (zh
Inventor
加纳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102833461A publication Critical patent/CN102833461A/zh
Application granted granted Critical
Publication of CN102833461B publication Critical patent/CN102833461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

提供一种通过图像恢复处理减少图像数据的过恢复的图像处理设备和图像处理方法。图像处理单元选择与摄像条件相对应的图像恢复滤波器并使用图像恢复滤波器对所拍摄图像数据进行图像恢复处理。此外,图像处理单元基于根据在图像恢复处理之后应用的伽玛校正处理的特性所确定的变化量限制值、利用图像恢复处理来限制图像数据的像素信号值的变化量。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及使用图像恢复滤波器的图像恢复处理技术。
背景技术
提出了用于对图像数据进行校正处理的各种方法。当通过利用数字照相机拍摄被摄体来生成图像数据时,所获得的图像数据由于摄像光学系统的像差而至少部分劣化。
图像数据中的模糊成分是由于光学系统球面像差、彗星像差、像场弯曲和像散等而导致的。当使用无像差并且不受衍射的影响的理想光学系统时,来自被摄体的一个点的光束应当在摄像面上再会聚到一个点,但是实际上形成了光束扩散并且不会聚到一个点的图像。这些扩散的光束的分布是模糊成分。尽管在光学上被称为“点扩散函数”(PSF),但针对图像数据,我们将称之为“模糊成分”。此外,尽管术语“图像数据的模糊成分”也可以指未聚焦的模糊图像数据,但是例如这里该术语用于指即使图像聚焦、由于光学系统的像差的影响也引起的模糊。此外,可以认为光学系统轴向色像差、颜色球面像差和颜色彗星像差成为原因这种情况是由于每个光波长的模糊成分的差异而引起的。
校正图像数据中的模糊成分的劣化的已知方法的例子是使用与摄像光学系统的光学传递函数(OTF)有关的信息。尽管在谈及该方法时使用诸如图像恢复和图像复原的名称,但在以下说明中,使用与摄像光学系统的OTF有关的信息来校正图像数据的劣化的处理将被称为图像恢复处理。
现在将说明图像恢复处理的概要。当劣化的图像数据被表示为g(x,y),原始图像数据被表示为f(x,y),以及从对光学传递函数的逆傅立叶变换所获得的PSF被表示为h(x,y)时,以下等式成立。
g(x,y)=h(x,y)*f(x,y)
其中,*表示卷积,以及(x,y)表示图像数据坐标。
此外,如果对等式进行傅立叶变换并将等式转换成频面(frequency plane)的显示格式,则得到的等式是各频率的积的形式,如下所述。在该等式中,由于H是通过对PSF进行傅立叶变换而获得的,因而H是OTF。此外,(u,v)表示二维频面的坐标,即,表示频率。
G(u,v)=H(u,v)·F(u,v)
为了从劣化的图像数据获得原始图像数据,首先,如下将两边都除以H。
G(u,v)/H(u,v)=F(u,v)
然后,通过对F(u,v)进行逆傅立叶变换以返回至实面(actualplane)来获得原始图像数据f(x,y)作为恢复图像。
如果通过对上式中的1/H进行逆傅立叶变换所获得的值是R,则同样可以通过如以下等式中所示对实面中的图像数据进行卷积处理来获得原始图像数据。
g(x,y)*R(x,y)=f(x,y)
该R(x,y)被称为图像恢复滤波器。由于OTF根据诸如变焦位置的状态和光圈直径的状态等的摄像状态而变化,因而在图像恢复处理中要使用的图像恢复滤波器也需要根据OTF而改变。例如,日本特开平10-165365论述了在用于观察身体内部的内窥镜中、针对摄像部件的聚焦范围之外的范围、通过使用与所使用的荧光波长相对应的PSF来消除图像模糊的技术。由于荧光是微弱的,因而需要具有小的F值的被摄体光学系统。由于在使用具有小的F值的被摄体光学系统的情况下,焦深变得更浅,因而该技术试图通过对未聚焦的范围进行图像恢复处理来获得聚焦图像。
如上所述,可以通过对所拍摄图像数据进行图像恢复处理并校正各种像差来提高图像质量。然而,在实际摄像时,图像数据的摄像状态和用于恢复图像数据的图像恢复滤波器的状态可能不完全一致。这种情况的例子有在所拍摄图像数据中存在饱和像素的情况。由于饱和像素丢失了其原始被摄体信息,因而发生以下情况:实际获得的图像数据的劣化状态和由图像恢复滤波器假定为恢复对象的图像数据的劣化状态不一致。
此外,当根据诸如镜头焦距、光圈值和摄像距离等的摄像信息选择或生成图像恢复滤波器时,可能在实际的摄像状态和要使用的摄像信息之间出现差异。因为在拍摄三维被摄体时被摄体距离根据视角而不同,所以尤其对于摄像距离,出现实际获得的图像数据的劣化状态和由图像恢复滤波器假定为恢复对象的图像数据的劣化状态不一致的情况。
特别地,当实际获得的图像数据比由图像恢复滤波器假定为恢复对象的图像数据清晰时,如果使用图像恢复滤波器,则恢复后的图像数据为过恢复,这在边缘部分引起诸如下冲(undershoot)和过冲(overshoot)等的图像劣化。特别地,在图像恢复处理之后应用的伽玛校正处理会放大低亮度部分的下冲,使得所得到的图像数据看上去不自然。
此外,即使在日本特开平10-165365所述的技术中,当在假定的PSF和实际获得的图像数据之间存在差异时,也会出现过恢复,这可以被考虑成导致恢复后的图像数据的质量劣化。
发明内容
本发明提供一种减少图像恢复处理对图像数据的过恢复的图像处理设备。
根据本发明的方面,一种图像处理设备,包括:图像恢复处理单元,用于使用与摄像单元中的摄像条件相对应的图像恢复滤波器来对所述摄像单元所拍摄的图像数据进行图像恢复处理;以及限制单元,用于基于根据在所述图像恢复处理之后应用的伽玛校正处理的特性所确定的变化量限制值,限制由所述图像恢复处理导致的所述图像数据的信号值的变化量。
根据本发明的另一方面,一种图像处理方法,包括:使用与摄像单元中的摄像条件相对应的图像恢复滤波器来对所述摄像单元所拍摄的图像数据进行图像恢复处理;以及基于根据在所述图像恢复处理之后应用的伽玛校正处理的特性所确定的变化量限制值,限制由所述图像恢复处理导致的所述图像数据的像素信号值的变化量。
通过以下参考附图对典型实施例的详细说明,本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面,并与说明书一起用于说明本发明的原理。
图1示出根据本发明典型实施例的摄像设备的结构。
图2是示出根据本发明第一典型实施例的图像恢复处理单元所执行的图像恢复处理的流程图。
图3A示出由二维滤波器构成的图像恢复滤波器。
图3B示出图像恢复滤波器抽头的加权系数的例子。
图4A示出伽玛校正的输入/输出特性。
图4B示出用于计算变化量限制值的方法。
图4C示出针对像素信号值的限制值特性。
图4D是图4C的原点附近的放大图。
图5A示出图像恢复处理前后的图像数据的例子。
图5B示出对图像恢复处理前的图像数据进行伽玛校正之后的图像数据的例子。
图5C示出对图像恢复处理后的图像数据进行伽玛校正之后的图像数据的例子。
图5D示出变化量限制处理后的图像数据的例子。
图5E示出对变化量限制处理后的图像数据进行伽玛校正之后的图像数据的例子。
图6是示出根据本发明第二典型实施例的图像恢复处理单元所执行的图像恢复处理的流程图。
图7示出所设置的恢复强度和图像恢复处理后的边缘处的模糊成分的改善示例。
图8示出与变化量限制值计算处理有关的另一典型实施例。
具体实施方式
以下将参考附图详细说明本发明的各种典型实施例、特征和方面。
图1示出根据本发明典型实施例的摄像设备的结构。在根据图1所示的本典型实施例的摄像设备中,摄像光学系统101在图像传感器102上形成被摄体图像。摄像光学系统101包括控制开口直径的光圈101a和用于进行焦点调节的调焦透镜101b。图像传感器102将由摄像光学系统101形成的被摄体图像转换成电信号。A/D转换器103将从图像传感器102输出的电信号转换成数字信号,并将数字信号作为图像数据输出至图像处理单元104。图像处理单元104包括进行图像恢复处理的图像恢复处理单元111和进行伽玛校正处理等的另一图像处理单元112。对尚未进行伽玛校正的图像数据进行图像恢复处理。对进行了图像恢复的图像数据进行伽玛校正。
图像处理单元104从状态检测单元107获取与摄像设备有关的摄像信息。摄像信息包括例如镜头焦距、光圈值和摄像距离。图像恢复处理单元111从存储单元108选择与从状态检测单元107获取的摄像信息相对应的图像恢复滤波器,然后使用图像恢复滤波器对输入至图像处理单元104的图像数据进行图像恢复处理。状态检测单元107可以从系统控制器110获取与摄像设备有关的所有摄像信息,或者可以从摄像光学系统控制单元106单独获取与摄像设备有关的摄像信息中的与摄像光学系统101有关的摄像信息。系统控制器110进行整个摄像设备的整体控制。摄像光学系统控制单元106根据来自系统控制器110的指示来控制摄像光学系统101。存储单元108存储针对各摄像信息的图像恢复滤波器。图像记录介质109存储由图像处理单元104处理后的图像数据。显示单元105根据来自系统控制器110的指示来显示由图像处理单元104处理后的图像数据。
接着将参考图2说明图像恢复处理单元111所执行的图像恢复处理。在步骤S201中,图像恢复处理单元111从状态检测单元107获取与摄像设备有关的摄像信息。在步骤S202中,图像恢复处理单元111基于所获取的摄像信息从存储单元108选择适用于摄像设备的摄像条件的图像恢复滤波器。此时,可以根据需要来校正所选择的图像恢复滤波器,或者可以使用所选择的多个图像恢复滤波器通过插值来生成新的图像恢复滤波器。为了减少预先要在存储单元108中准备的图像恢复滤波器的数据量,在存储单元108中准备与离散的摄像设备的摄像条件相对应的数据,然后,使用所准备的数据来生成与实际执行图像恢复处理时的摄像条件相对应的图像恢复滤波器。
图3A和3B示出图像恢复滤波器。图像恢复滤波器可以根据摄像光学系统的像差量来确定抽头数。在本典型实施例中,使用11×11抽头的二维滤波器。图像恢复滤波器中的各抽头与图像数据的一个像素相对应。
如图3A所示,可以通过使用被分割成100以上的部分的二维滤波器作为图像恢复滤波器来,恢复从摄像光学系统101生成的诸如球面像差、彗星像差、轴向色像差和轴外色耀斑(flare)等的、导致从光束应当形成图像的位置在宽区域上扩散的像差。此外,通过针对要输入的图像数据在这种实空间中对图像恢复滤波器进行卷积处理,可以在摄像设备中不进行傅立叶变换的情况下恢复图像数据。
在图3A中,尽管省略了各抽头的加权系数的值,但图3B中示出图像恢复滤波器的特定截面中抽头的加权系数的值。可以通过计算或测量摄像光学系统101的OTF并对OTF的倒数进行逆傅立叶变换来获得图像恢复滤波器。然而,由于实际的图像数据具有噪声成分,因而如果使用通过采用OTF的倒数所生成的图像恢复滤波器,则会放大噪声成分,从而不能获得好的图像数据。因此,例如使用维纳(Wiener)滤波器,根据图像成分和噪声成分之间的强度比来抑制图像数据的高频侧的恢复率。
此外,OTF不仅可以包括摄像光学系统101的因素,还包括使得输入至图像处理单元104的图像数据劣化的因素。例如,低通滤波器抑制OTF的频率特性中的高频成分。此外,图像传感器的像素开口的形状和开口率也对频率特性有影响。其它例子包括光源的光谱特性和各种波长滤波器的光谱特性。期望基于考虑这些因素所计算或测量出的广义的OTF来生成图像恢复滤波器。
当图像数据是红色、绿色、蓝色(RGB)的颜色图像数据时,可以生成与R、G和B的各颜色成分相对应的三个图像恢复滤波器。由于在摄像光学系统101中存在色像差并且针对各颜色成分的模糊不同,因而各颜色成分的图像恢复滤波器的特性基于色像差而略微不同。换句话说,图3B所示的图像恢复滤波器的特定截面中的抽头的加权系数的值在颜色成分之间不同。图像恢复滤波器并非必须是具有相同的垂直和水平抽头数的正方形阵列。可以考虑卷积处理来任意改变抽头数。
返回至图2所示的流程图的说明,在步骤S203中,图像恢复处理单元111针对各像素计算由图像恢复处理导致的变化量的限制值。基于图像恢复处理前的像素信号值和图像恢复处理后要应用的伽玛校正特性来计算限制值。伽玛校正是用于根据亮度来调节图像传感器102和A/D转换器103所获取的信号值的校正处理。伽玛校正的输入/输出特性通常具有如图4A所示的形状。从形状可知,伽玛校正前的信号值的变化在低亮度侧被放大,并在高亮度侧被衰减。换句话说,由图像恢复处理导致的像素信号值的变化量由于图像恢复处理后所进行的伽玛校正而在低亮度侧被放大并在高亮度侧被衰减。
在步骤S203中,通过吸收(考虑)通过伽玛校正获得的像素信号值的各水平的放大和衰减之间的差异来计算变化量限制值,以使得像素信号值的变化量的最大值在伽玛校正之后恒定。
现在将使用图4B更详细地说明用于计算变化量限制值的方法。将考虑伽玛校正前的两个像素的信号值a和b的情况。信号值a小于信号值b。信号值a位于低亮度侧,以及信号值b位于高亮度侧。在该例子中,分别允许两个像素的信号值在伽玛校正后的状态下仅减小值K。在该情况下,在伽玛校正前的状态下,针对像素的信号值a的像素信号值的减小的允许范围被表示为图4B中的Lim(a)。另一方面,针对像素的信号值b的像素信号值的减小的允许范围被表示为图4B中的Lim(b)。从图4B中可知,低亮度侧a的允许范围Lim(a)小于高亮度侧b的允许范围Lim(b)。由此,根据针对伽玛校正后的状态的允许变化量K,计算考虑了伽玛校正的变化量限制值。图4C示出针对各像素水平计算变化量限制值的例子。如图4C所示,变化量限制值特性根据K的值而不同。在图4C所示的例子中,K=p2时的变化量限制值大于K=p1时的变化量限制值,其中p2的值大于p1的值。通过利用实验预先确定在包括摄像光学系统101、图像传感器102和图像处理单元104的一系列图像恢复处理中图像恢复处理中的过恢复发生的可能性和过恢复的水平,设置允许变化量K。
图4D示出放大图4C中的与变化量限制值之一有关的原点附近的例子。在用于计算考虑伽玛特性的变化量限制值的上述方法中,当像素信号值收敛于0时,Lim(x)可能未收敛于0。在这种情况下,如图4D所示,可以基于穿过原点的变化量限制值的近似曲线来确定原点附近的限制值。可选地,还可以通过绘制穿过原点并接近变化量限制值的直线来确定原点附近的变化量限制值。
尽管期望步骤S203中使用的伽玛特性与摄像中使用的图像传感器相对应,但还可以使用具有相似的伽玛特性形状的伽玛特性模型。此外,可以预先计算变化量限制值,或者可以在图像恢复处理期间计算变化量限制值。当预先进行计算时,以表或函数的形式存储针对像素信号值的变化量限制值,并且根据像素信号值来获取变化量限制值。
返回至图2所示的流程图的说明,在步骤S204中,图像恢复处理单元111使用步骤S202中获得的图像恢复滤波器来对所拍摄图像数据进行卷积处理。结果,可以去除或减少由于摄像光学系统中发生的像差而引起的图像数据中的模糊成分。此外,通过使用适于各RGB颜色成分的图像恢复滤波器,还可以校正色像差。
在图像恢复处理中,如果由图像恢复滤波器假定为恢复对象的图像数据的劣化状态与实际获得的图像数据不一致,则这可能导致过恢复。图5A示出作为饱和图像部分变得过恢复的例子的图像数据的边缘部分的状态。如图5A的矩形包围部分所示,具有该部分的一部分由于过恢复而发生下冲的部位。图5B示出对图像恢复处理前的图像数据进行伽玛校正的状态。图5C示出对图像恢复处理后的图像数据进行伽玛校正的状态。如图5C所示,图像恢复处理后的图像数据的下冲部分通过伽玛校正被放大,并且可以被显著确认。这表现为图像质量的劣化或图像的不自然。
因此,在步骤S205中,图像恢复处理单元111进行变化量的限制处理以减少过恢复。图像恢复处理单元111基于步骤S203中计算出的变化量限制值来调节值。在该例子中,图像恢复处理前的像素信号值(图像恢复处理前信号值)是P0,图像恢复处理后的像素信号值(图像恢复处理后信号值)是P1,以及像素信号值P0的变化量限制值是Lim(P0)。如果图像恢复处理前的像素信号值P0和图像恢复处理后的像素信号值P1之间的差大于像素信号值P0的变化量限制值Lim(P0),则变化量限制处理后的像素信号值P2是通过从图像恢复处理前的像素信号值P0减去像素信号值P0的变化量限制值Lim(P0)而获得的值。另一方面,如果图像恢复处理前的像素信号值P0和图像恢复处理后的像素信号值P1之间的差等于或小于像素信号值P0的变化量限制值Lim(P0),则变化量限制处理后的像素信号值P2是图像恢复处理后的像素信号值P1。
图5D示出变化量限制处理后的像素信号值的例子,其中放大了由图5A的矩形包围的区域。图5E示出在进行了变化量限制处理的状态下执行伽玛校正时的像素信号值的例子。从图5E可以看出,图5C所示的下冲部分减少。
尽管这里将说明通过图像恢复处理来减小值时的变化量限制处理,但也可以进行增大该值时的变化量限制处理。由于在这种情况下的变化量限制值的计算与减小值时的相同,因而将省略其说明。当通过图像恢复处理增大信号值并且信号值变化量超过限制值时,通过将限制值与图像恢复处理前的像素信号值相加所获得的值用作变化量限制处理后的信号值。
在图2所示的流程图中,用于进行变化量限制值计算处理(步骤S203)和图像恢复处理(步骤S204)的顺序不限于如上所述的,并且可以以相反的顺序。具体地,通过以下顺序可以获得相同的结果:存储步骤S204的图像恢复处理前的像素信号值,进行步骤S204的图像恢复处理,然后进行步骤S203的变化量限制值计算处理,并使用所计算出的变化量限制值来进行步骤S205的变化量限制处理。
根据图2的流程图,当对图像数据中的各像素进行了图像处理时,处理结束。在上述典型实施例中,对图像恢复处理结束了的整个图像数据进行变化量限制处理。作为另一典型实施例,当在图像数据中逐一对单个像素进行图像恢复处理时,可以通过针对像素计算变化量限制值,然后使用变化量限制值进行变化量限制处理来确定像素的信号值。
此外,在本典型实施例中,尽管说明了用于抑制在饱和像素部分的图像恢复处理期间发生的过恢复的方法,但在本发明中,可以与该原因无关地抑制图像恢复期间发生的过恢复。此外,可以在本典型实施例中所进行的处理的前后或期间进行诸如失真校正处理、周围光量校正处理和噪声减少处理等的其它处理。图像处理单元104以预定格式将进行了图像恢复处理的图像数据存储在图像记录介质109中。记录介质109中存储的图像数据是通过图像恢复处理减少了过恢复的图像数据。此外,图像处理单元104还可以对图像恢复处理后的图像数据进行预定显示处理,然后在显示单元105上显示所生成的图像数据。通过系统控制器110进行一系列控制,并通过摄像光学系统控制单元106根据来自系统控制器110的指示来执行摄像光学系统中的机械驱动。
作为F值摄像状态设置来控制光圈101a的开口直径。调焦透镜101b的位置通过用于根据被摄体距离而调节焦点的(未示出的)自动调焦(AF)机构或手动调焦机构来控制。摄像光学系统101还可以包括诸如低通滤波器和红外截止滤波器等的光学元件。然而,在使用诸如低通滤波器等的影响OTF的特性的元件的情况下,期望在制作图像恢复滤波器时考虑这种光学元件的影响。由于红外截止滤波器对作为光谱波长的PSF的积分值的RGB通道的各PSF,特别是R通道的PSF存在影响,因而期望在制作图像恢复滤波器时考虑红外截止滤波器的影响。
此外,尽管摄像光学系统101被配置为摄像设备的一部分,但摄像光学系统101还可以是如在单镜头反光照相机中那样的可更换单元。另外,由于即使对于一个摄像状态、OTF也会根据摄像光学系统的视角(图像高度)而改变,因而期望通过针对根据图像高度分割后的各图像数据区域而改变OTF来进行图像恢复处理。图像恢复滤波器还可以通过在进行卷积处理时扫描图像数据来针对各图像数据区域而顺次改变。
接着,将说明根据本发明的第二典型实施例。由于根据第二典型实施例的摄像设备的结构与图1所示的结构相同,因而在以下说明中将使用图1所示的附图标记。
图6是示出根据本发明第二典型实施例的图像恢复处理单元111所执行的图像恢复处理的流程图。图6中的步骤S201、S202、S203、S204和S205分别与由图2中相同的附图标记表示的处理相对应。因此,以下将省略与第一典型实施例相同的部分的说明,并且将仅说明不同的部分。
在步骤S202中,图像恢复处理单元111选择图像恢复滤波器,然后在步骤S601中获取恢复强度。恢复强度是用户预先设置的、表示图像恢复处理的强度的设计值。恢复强度被设计为用户可以进行控制以使得值越大、由图像恢复处理导致的像素信号值的变化量越大。此外,恢复强度是从系统控制器110给予图像处理单元104的值。
在步骤S203中,图像恢复处理单元111根据所获取的恢复强度来计算变化量限制值。具体地,结合恢复强度来确定图4B所示的伽玛校正后的变化允许量K。用户所设置的恢复强度越大,所设置的变化允许量K越大。结果,可以将用于减少过恢复的变化量限制值保持为尽可能低,以使得可以通过基于图像恢复处理而控制变化量来获得用户偏好的图像数据。图7示出所设置的恢复强度和图像恢复处理后的边缘处的模糊成分的改善示例。具体地,图7中的曲线701表示在恢复强度高的情况下的模糊成分的改善示例,以及图7中的曲线702表示在恢复强度低的情况下的模糊成分的改善示例。此外,图7中的曲线701和702都表示伽玛校正处理后的图像数据。由此,在本典型实施例中,可以通过设置恢复强度来改变边缘处的模糊成分的改善状态。
尽管针对摄像设备说明了以上典型实施例,但是图像处理设备也可以根据恢复强度的设置而确定允许变化量K。例如,在对预先拍摄的图像处理前的图像数据(A/D转换器103的输出数据)进行记录、并且之后显示执行图像恢复处理的结果的图像处理设备中,由于显示根据与所设置的恢复强度相对应的变化量限制值而处理后的图像数据,因而用户可以在确认所显示的图像数据时确定所偏好的恢复强度。结果,可以进行更精确的变化量限制处理。
现在将说明与步骤S203中进行的变化量限制值计算处理有关的另一典型实施例。如上所述,由于通过伽玛校正主要放大低亮度侧的信号,因而为了减少过恢复,尤其低亮度侧的变化量的限制是重要的。因此,为了强调低亮度侧,如图8所示,对预定阈值a以下的区域的变化量限制值进行直线近似以使其单调递增,并且将大于阈值a的区域的变化量限制值设置为恒定值。结果,变化量限制值特性简单,并且变化量限制值的计算和管理简单,从而可以提高处理效率。如果变化量限制值可以根据用户所设置的恢复强度而变化,则阈值a可以与变化允许量K一起变化。可以通过随着恢复强度的增大而增大阈值a来控制变化量限制值。
尽管以上说明了本发明的典型实施例,但本发明不限于用于摄像设备。可以在本发明的主旨内做出各种修改和变化。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备,包括:
图像恢复处理单元,用于使用与摄像单元中的摄像条件相对应的图像恢复滤波器来对所述摄像单元所拍摄的图像数据进行图像恢复处理;以及
限制单元,用于基于根据在所述图像恢复处理之后应用的伽玛校正处理后的状态的允许变化量的特性所确定的变化量限制值,限制由所述图像恢复处理导致的所述图像数据的信号值的变化量。
2.根据权利要求1所述的图像处理设备,其特征在于,所述图像恢复处理单元对所述图像数据应用通过对所述摄像单元的光学传递函数的倒数进行逆傅立叶变换而获得的滤波器。
3.根据权利要求1所述的图像处理设备,其特征在于,如果所述图像恢复处理之后的信号值和所述图像恢复处理之前的信号值之间的差等于或小于所述变化量限制值,则所述限制单元输出所述图像恢复处理之后的信号值,以及
如果所述图像恢复处理之后的信号值和所述图像恢复处理之前的信号值之间的差大于所述变化量限制值,则所述限制单元输出通过对所述图像恢复处理之前的信号值加上或减去所述变化量限制值而获得的信号值。
4.根据权利要求1所述的图像处理设备,其特征在于,还根据所述图像数据的像素信号值来确定所述变化量限制值。
5.根据权利要求4所述的图像处理设备,其特征在于,当所述图像数据的像素信号值是0时,将所述变化量限制值确定为0。
6.根据权利要求4所述的图像处理设备,其特征在于,如果所述图像数据的像素信号值等于或小于阈值,则所述限制单元根据所述图像数据的像素信号值的增大而使所述变化量限制值单调递增,以及
如果所述图像数据的像素信号值大于所述阈值,则所述限制单元将所述变化量限制值设置为恒定值。
7.根据权利要求1所述的图像处理设备,其特征在于,还包括调节单元,所述调节单元用于调节所述变化量限制值。
8.根据权利要求7所述的图像处理设备,其特征在于,所述调节单元根据来自用户的指示而调节所述变化量限制值。
9.根据权利要求7所述的图像处理设备,其特征在于,还包括显示单元,所述显示单元使用包括经过了所述限制单元的限制的信号值的图像数据来显示图像。
10.根据权利要求9所述的图像处理设备,其特征在于,所述显示单元使用包括由所述限制单元使用所述调节单元调节后的变化量限制值进行了限制的信号值的图像数据来显示图像。
11.一种图像处理方法,包括:
使用与摄像单元中的摄像条件相对应的图像恢复滤波器来对所述摄像单元所拍摄的图像数据进行图像恢复处理;以及
基于根据在所述图像恢复处理之后应用的伽玛校正处理后的状态的允许变化量的特性所确定的变化量限制值,限制由所述图像恢复处理导致的所述图像数据的像素信号值的变化量。
CN201210199709.XA 2011-06-14 2012-06-14 图像处理设备和图像处理方法 Active CN102833461B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011132376 2011-06-14
JP2011-132376 2011-06-14
JP2012109907A JP6045185B2 (ja) 2011-06-14 2012-05-11 画像処理装置、画像処理方法及びプログラム
JP2012-109907 2012-05-11

Publications (2)

Publication Number Publication Date
CN102833461A CN102833461A (zh) 2012-12-19
CN102833461B true CN102833461B (zh) 2015-07-08

Family

ID=46650326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210199709.XA Active CN102833461B (zh) 2011-06-14 2012-06-14 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US8866937B2 (zh)
EP (1) EP2536126B1 (zh)
JP (1) JP6045185B2 (zh)
CN (1) CN102833461B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172428B2 (ja) * 2012-06-15 2017-08-02 株式会社リコー 撮像装置および撮像方法
EP2951987A4 (en) * 2013-02-01 2016-08-10 Canon Kk IMAGE CAPTURE APPARATUS, IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND NON-TRANSIENT COMPUTER READABLE STORAGE MEDIUM
WO2014155754A1 (ja) * 2013-03-28 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
CN104704806B (zh) 2013-03-28 2017-08-29 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP5851655B2 (ja) * 2013-04-26 2016-02-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5897776B2 (ja) * 2013-07-25 2016-03-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9438771B2 (en) * 2013-10-08 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
CN107623816A (zh) 2013-10-09 2018-01-23 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
JP6234201B2 (ja) * 2013-12-06 2017-11-22 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
CN106165390B (zh) 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法
JP6042032B2 (ja) 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6042031B2 (ja) 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6512893B2 (ja) * 2015-03-26 2019-05-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
WO2016171088A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
CN105631815B (zh) * 2015-12-18 2018-04-20 成都国翼电子技术有限公司 一种基于历史帧图像均值统计的智能增强方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532368B2 (ja) 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP3643042B2 (ja) * 2001-02-20 2005-04-27 コニカミノルタフォトイメージング株式会社 画像処理装置、画像処理方法および記録媒体
JP4372747B2 (ja) * 2005-01-25 2009-11-25 シャープ株式会社 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
JP2006343863A (ja) * 2005-06-07 2006-12-21 Canon Inc 画像処理装置及びその方法
JPWO2009037803A1 (ja) * 2007-09-20 2011-01-06 パナソニック株式会社 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム
KR101246738B1 (ko) * 2008-12-10 2013-03-25 캐논 가부시끼가이샤 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법
JP5317891B2 (ja) * 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5366775B2 (ja) * 2009-12-01 2013-12-11 キヤノン株式会社 撮像装置および画像処理方法

Also Published As

Publication number Publication date
US20120320240A1 (en) 2012-12-20
JP2013020610A (ja) 2013-01-31
CN102833461A (zh) 2012-12-19
EP2536126A2 (en) 2012-12-19
US8866937B2 (en) 2014-10-21
JP6045185B2 (ja) 2016-12-14
EP2536126A3 (en) 2016-09-14
EP2536126B1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
CN102833461B (zh) 图像处理设备和图像处理方法
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9041833B2 (en) Image processing method, image processing apparatus, and image pickup apparatus
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
US9830689B2 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
US8477206B2 (en) Image processing apparatus and image processing method for performing image restoration using restoration filter
US8830351B2 (en) Image processing method and image processing apparatus for image restoration to reduce a detected color shift
CN102970459B (zh) 图像处理设备、摄像设备和图像处理方法
JP5132401B2 (ja) 画像処理装置及び画像処理方法
KR101536162B1 (ko) 화상처리장치 및 방법
US8724008B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration
JP2010086138A (ja) 画像処理方法、画像処理装置及び撮像装置
JP5950949B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6415108B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6333076B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6486076B2 (ja) 画像処理装置および画像処理方法
US20240144536A1 (en) Image processing device, image processing method, and storage medium
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP6452389B2 (ja) 画像処理装置および画像処理方法
JP2023119413A (ja) 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体
JP2016194879A (ja) 画像処理方法、画像処理装置及び撮像装置
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant