CN101902651B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101902651B
CN101902651B CN2010101887601A CN201010188760A CN101902651B CN 101902651 B CN101902651 B CN 101902651B CN 2010101887601 A CN2010101887601 A CN 2010101887601A CN 201010188760 A CN201010188760 A CN 201010188760A CN 101902651 B CN101902651 B CN 101902651B
Authority
CN
China
Prior art keywords
rejection coefficient
scope
image
grad
color blurring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101887601A
Other languages
English (en)
Other versions
CN101902651A (zh
Inventor
信冈幸助
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101902651A publication Critical patent/CN101902651A/zh
Application granted granted Critical
Publication of CN101902651B publication Critical patent/CN101902651B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供了一种图像处理设备和图像处理方法。当判断图像上出现色模糊的区域时,可能存在即使色模糊未出现也在区域中进行色模糊抑制的区域,并且该区域根据伽马校正处理的程度变得更加显著或比较不显著。为了解决该问题,图像处理设备基于从图像获得的梯度值获得色模糊抑制系数,使用色模糊抑制系数来对图像数据进行色模糊抑制,并且根据亮度改变对应于梯度值的色模糊抑制系数。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及图像处理设备和图像处理方法,更具体地,涉及用于校正由光学因素引起的色像差以抑制色模糊(color blur)的图像处理设备、图像处理方法和程序。
背景技术
近年来的数字摄像机和数字照相机可以通过采用具有大量像素的图像传感器来获得高质量图像。
另一方面,由于像素的小型化和小型透镜,作为由针对各光波长的图像形成位置的差异引起的色像差的影响的色模糊容易出现在图像中。
通常,作为用于抑制所拍摄的图像中的色模糊的技术,已提出各种方法。
例如,在日本特开2000-076428号公报中,描述了这样一种技术:识别用于拍摄图像的透镜,读取像差信息以生成校正参数,并且根据该校正参数移动要校正的颜色信号的坐标。
然而,色模糊特性以复杂的方式根据从光轴的中心到目标像素的图像高度位置、变焦透镜的位置、光圈的开口直径和调焦透镜的位置而变化。因此,在日本特开2000-076428号公报中所述的读取透镜像差信息的配置中,需要针对每个图像高度位置、变焦透镜的位置、光圈的开口直径、调焦透镜的位置和透镜的类型来存储像差信息。因此,用于存储这些像差信息项的存储器的容量必须大。
因此,提出了这样一种技术:代替读取预先存储的透镜像差信息,提取图像上预期出现色模糊的区域,并且在该区域中抑制色模糊。例如,在日本特开2003-102027号公报中,描述了这样一种技术:检测图像中的两种颜色成分之间的差,将该差大的区域判断为出现色模糊的区域,并且抑制该色模糊。
然而,当代替读取所存储的透镜像差信息,判断图像上出现色模糊的区域时,难以完全排除错误判断。例如,在日本特开2003-102027号公报中所述的检测两种颜色成分之间的差的配置中,如果被摄体图像具有包括可能被看作色模糊的特征的图案,则即使当未出现色模糊时,也可能将该图案判断为色模糊。结果,即使当区域不具有色模糊时,也可能降低该区域的颜色浓度,或者可能由邻近像素代替该区域中的像素。
这不限于如日本特开2003-102027号公报中所述的配置。如果根据图像的亮度成分和颜色成分判断出现色模糊的区域和色模糊的程度,则存在判断结果受被摄体图像影响的问题。
为了避免这种情况,可想到设置用以判断色模糊区域的严格条件。然而,如果简单设置用以判断色模糊区域的严格条件,则色模糊实际出现但未被判断为色模糊区域的区域增多,从而不能有助于改善图像质量。
另外,通过对已进行色模糊抑制处理的图像进行伽马校正处理,梯度可能改变。结果,色模糊没有出现但由于错误判断抑制了颜色浓度的区域、或者色模糊出现但没有抑制色模糊的区域可能变得更加显著。
发明内容
本发明涉及图像处理设备和图像处理方法,其能够有效地校正色模糊,并且即使在错误校正出现时也能抑制错误校正的影响。
根据本发明的第一方面,一种图像处理设备,包括:梯度检测单元,用于从图像检测梯度值;抑制系数计算单元,用于基于所述梯度值计算抑制系数;抑制单元,用于基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及伽马校正单元,用于根据针对所述图像设置的伽马校正特性进行伽马校正,其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,以及所述抑制系数计算单元计算所述抑制系数以使得当所述梯度值大于阈值时抑制所述抑制目标区域中的色模糊,并且设置所述阈值,以使得所述图像中亮度信号水平包括在所述第二范围内的区域中抑制色模糊所需的梯度值的范围,比所述图像中亮度信号水平包括在所述第一范围内的区域中抑制色模糊所需的梯度值的范围窄。
根据本发明的第二方面,一种图像处理设备,包括:梯度检测单元,用于从图像检测梯度值;抑制系数计算单元,用于基于所述梯度值计算抑制系数;抑制单元,用于基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及伽马校正单元,用于根据针对所述图像设置的伽马校正特性进行伽马校正,其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,以及所述抑制系数计算单元设置所述抑制系数,以使得即使当所述梯度值相同时,所述图像中亮度信号水平包括在所述第二范围内的区域中的色模糊抑制程度,也比所述图像中亮度信号水平包括在所述第一范围内的区域中的色模糊抑制程度强。
根据本发明的第三方面,一种图像处理方法,包括:从图像检测梯度值;抑制系数计算步骤,用于基于所述梯度值计算抑制系数;基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及根据针对所述图像设置的伽马校正特性进行伽马校正,其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,以及在所述抑制系数计算步骤中,计算所述抑制系数以使得当所述梯度值大于阈值时抑制所述抑制目标区域中的色模糊,并且设置所述阈值,以使得所述图像中亮度信号水平包括在所述第二范围内的区域中抑制色模糊所需的梯度值的范围,比所述图像中亮度信号水平包括在所述第一范围内的区域中抑制色模糊所需的梯度值的范围窄。
根据本发明的第四方面,一种图像处理方法,包括:从图像检测梯度值;抑制系数计算步骤,用于基于所述梯度值计算抑制系数;基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及根据针对所述图像设置的伽马校正特性进行伽马校正,其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当所述亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,以及在所述抑制系数计算步骤中,设置所述抑制系数,以使得即使当所述梯度值相同时,所述图像中亮度信号水平包括在所述第二范围内的区域中的色模糊抑制程度,也比所述图像中亮度信号水平包括在所述第一范围内的区域中的色模糊抑制程度强。
从以下参考附图对示例性实施例的详细描述中,本发明的其他特征和方面将变得显而易见。
附图说明
包括在说明书中并构成说明书的一部分的附图示出本发明的示例性实施例、特征和特点,并且与说明书一起用于说明本发明的原理。
图1是示出作为根据本发明的第一示例性实施例的图像处理设备的数字摄像机的配置示例的框图。
图2示出图1中的色模糊抑制单元的配置。
图3示出图1中的伽马校正单元的伽马校正特性的示例。
图4示出图1中的抑制系数控制单元的配置。
图5示出在图4的判断表格中所设置的亮度信号水平、第一抑制系数控制参数和第二抑制系数控制参数之间的关系。
图6是示出作为根据本发明的第二示例性实施例的图像处理设备的数字摄像机的配置示例的框图。
图7示出图6中的抑制系数控制单元的配置。
图8示出图6中的抑制系数计算单元的配置。
图9示出图8的转换表中基于调节梯度的抑制系数的转换特性。
图10示出当图像处理设备具有图9所示的基于调节梯度的抑制系数S6的转换特性时基于梯度信息S4的抑制系数的转换特性。
具体实施方式
以下,将参考附图详细描述本发明的各个示例性实施例、特征和方面。
图1是示出作为根据本发明的第一示例性实施例的图像处理设备的数字摄像机的配置示例的框图。
图像形成光学系统101包括透镜单元,该透镜单元包括变焦透镜和调焦透镜。图像传感器102配备有补色马赛克排列或原色拜尔排列的滤色器。图像传感器102对被摄体图像进行光电转换以生成图像信号。图像传感器102还包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。在本示例性实施例中,使用配置有原色R(红色)、G(绿色)和B(蓝色)的拜尔排列的滤色器的CCD。
模拟前端(在下文中,被称为AFE)103包括A/D转换器和双相关采样电路。亮度信号生成单元104包括伽马校正电路和轮廓增强电路。亮度/色差信号生成单元105生成亮度信号和色差信号。三原色信号生成单元106对从AFE输出的图像信号进行同步处理,并且获得每个像素的R、G和B颜色信号的输出值。梯度检测单元107检测图像中要观察的区域中的梯度值。
抑制系数控制单元108根据从三原色信号生成单元106输出的信号,设置第一抑制系数控制参数和第二抑制系数控制参数。抑制系数计算单元109根据从梯度检测单元107输出的梯度值以及从抑制系数控制单元108输出的第一抑制系数控制参数和第二抑制系数控制参数,计算抑制系数。
色模糊抑制单元110根据从抑制系数计算单元109输出的抑制系数,进行色模糊抑制处理。第一伽马校正单元111对从色模糊抑制单元110输出的R信号进行伽马校正。第二伽马校正单元112对从色模糊抑制单元110输出的G信号进行伽马校正。第三伽马校正单元113对从色模糊抑制单元110输出的B信号进行伽马校正。
接下来,将描述本示例性实施例的数字摄像机的操作。
将通过图像形成光学系统101形成在图像传感器102上的被摄体图像光电转换为电信号的图像信号。在AFE 103中将该图像信号转换为数字信号,并且作为12位数字图像信号S1输出。数字图像信号S1是与图像传感器102的滤色器的排列图案相对应的单色信号,并且将该数字图像信号S1发送至亮度信号生成单元104和三原色信号生成单元106。
例如,亮度信号生成单元104仅提取数字图像信号S1的G信号,并且对该G信号进行自适应插值处理以生成亮度信号。尽管图1中未示出,但是亮度信号生成单元104对所生成的亮度信号进行用于亮度信号的轮廓增强处理和伽马校正处理,并且将处理后的信号作为亮度信号S2输出。将亮度信号S2输入到亮度/色差信号生成单元105中。
另一方面,三原色信号生成单元106对从AFE 103输出的数字图像信号进行同步处理,并且使R信号、G信号和B信号与图像传感器中的所有像素相关联。在三原色信号生成单元106中,由于在拜尔排列中G滤色器的密度大于R滤色器和B滤色器的密度,因此,在同步处理中生成带域与R信号和B信号的带域一致的G信号。因此,这里所生成的G信号具有比在亮度信号生成单元104中所生成的亮度信号S2的带域窄的带域。
当在图像形成光学系统101中生成轴上色像差时,由于图像传感器102的光接收面上的图像形成深度针对各光波长而不同,因此在从三原色信号生成单元106输出的三原色信号S3中再现轴上色像差。已知这类色模糊在被摄体图像中具有陡梯度的区域中显著。
因此,在本示例性实施例中,在梯度检测单元107中,通过使用诸如索贝尔滤波器的公知梯度提取滤波器,在以色模糊抑制的目标像素为中心的3×3个像素、5×5个像素等的范围内提取12位被摄体图像的梯度信息S4。使用梯度信息S4作为色模糊的判断标准。梯度信息S4可以是通过处理R信号、G信号和B信号的各梯度而生成的值,诸如R信号、G信号和B信号的各梯度的平均值、最大值或最小值,或者将这些值与预定权重合成后的值。
尽管如上所述,由轴上色像差引起的色模糊在被摄体图像中具有陡峭信号梯度的区域中确实是显著的,但是色模糊也出现在被摄体图像中具有平缓信号梯度的区域中。尽管在被摄体图像中具有平缓信号梯度的区域中的色模糊并不如具有陡峭信号梯度的区域中的色模糊一样显著,但是色模糊是可以看得见的,并且认为是图像质量劣化。
然而,难以通过分析图像信号来将由轴上色像差引起的色模糊与被摄体图像中的颜色边缘完全分离。因此,当抑制由轴上色像差引起的色模糊时,需要考虑被摄体图像中的颜色边缘的保护来进行抑制操作。
在本示例性实施例中,图1中的抑制系数控制单元108和抑制系数计算单元109用于平衡色模糊的抑制和被摄体图像中的颜色边缘的保护。以下将描述上述内容的具体细节。然而,首先,将描述根据本示例性实施例的色模糊抑制处理的操作。
色模糊抑制单元110根据由抑制系数计算单元109计算出的抑制系数S6来对每个抑制目标区域进行色模糊抑制,并且输出包括12位R、G和B信号的色模糊抑制信号S7。在色模糊抑制处理中,例如,抑制要进行色模糊抑制的像素的色差信号,并且使该像素的颜色消色,从而使色模糊变得不显著。
图2示出图1中的色模糊抑制单元110的配置。
在图2中,输入端子201输入由抑制系数计算单元109计算出的抑制系数S6。输入端子202输入在三原色信号生成单元106中同步后的颜色信号的R信号。以类似方式,输入端子203输入G信号,输入端子204输入B信号。亮度/色差转换矩阵205将R、G和B信号转换成亮度信号、第一色差信号和第二色差信号。
第一色差增益调节单元206根据抑制系数调节从亮度/色差转换矩阵205输出的第一色差信号的输出水平。第二色差增益调节单元207根据抑制系数调节从亮度/色差转换矩阵205输出的第二色差信号的输出水平。三原色转换矩阵208将亮度信号、第一色差信号和第二色差信号转换成R、G和B信号。输出端子209输出在三原色转换矩阵208中生成的R信号。输出端子210输出在三原色转换矩阵208中生成的G信号。输出端子211输出在三原色转换矩阵208中生成的B信号。
如图2所示,将从三原色信号生成单元106输出的R、G和B信号输入到输入端子202至204,并且通过亮度/色差转换矩阵205将它们转换为亮度信号Y、第一色差信号Cr和第二色差信号Cb。
通过乘法器(第一色差增益调节单元)206和(第二色差增益调节单元)207,将第一色差信号Cr和第二色差信号Cb乘以从抑制系数计算单元109输出的抑制系数S6,并且获得第一抑制色差信号Cr’和第二抑制色差信号Cb’。这样,通过使用抑制系数来调节目标像素的色差成分,实现了目标像素的消色。通过三原色转换矩阵208将第一抑制色差信号Cr’、第二抑制色差信号Cb’和亮度信号Y转换成包括12位R、G和B信号的色模糊抑制信号S7,并且从输出端子209至211输出。
抑制系数S 6的值为0~1。值0表示完全抑制色模糊的状态,以及值1表示根本没有抑制色模糊的状态。
在色模糊抑制信号S7中,根据图3所示的非线性转换特性,在第一伽马校正单元111、第二伽马校正单元112和第三伽马校正单元113中分别将R信号、G信号和B信号从输入信号水平转换为输出信号。将进行了伽马校正的信号作为包括10位R、G和B信号的伽马校正信号S8输入到亮度/色差信号生成单元105中。亮度/色差信号生成单元105再次根据伽马校正信号S8生成亮度信号和色差信号。为了获得更高分辨率的图像,亮度/色差信号生成单元105将所生成的亮度信号和在亮度信号生成单元104中所生成的宽带亮度信号S2进行合成,以输出新的亮度信号S9和色差信号S10。
将亮度信号S9和色差信号S10存储在记录介质(未示出)中,或者作为用户可以看见的监视器图像显示在显示设备(未示出)上。色模糊抑制单元110的色模糊抑制处理要求“位精确性”,因此,在进行抑制亮度信号灰度级的伽马校正之前进行色模糊抑制处理。
以下,详细描述在抑制系数控制单元108和抑制系数计算单元109中用于平衡色模糊的抑制和被摄体图像中的颜色边缘的保护的方法。
如上所述,通过第一伽马校正单元111、第二伽马校正单元112和第三伽马校正单元113进行了非线性水平转换的亮度信号S9和色差信号S10变成用户可以看见的视频信号。因此,当平衡色模糊的抑制和被摄体图像中的颜色边缘的保护时,应该考虑由第一伽马校正单元111、第二伽马校正单元112和第三伽马校正单元113进行的伽马校正的特性。更具体地,在基于被摄体图像的梯度信息S4计算抑制系数的配置中,即使当梯度信息S4具有相同值时,如下所述,取决于梯度是在高亮度区域中还是在低亮度区域中,用户实际看见的梯度也存在差异。
图3示出图1中的伽马校正单元111至113的伽马校正特性的示例。
图3中的Di1代表低亮度区域中的低梯度区域中的信号水平变化宽度。Di3代表低亮度区域中的高梯度区域中的信号水平变化宽度。Do1代表在对Di1进行伽马校正后用户实际看见的梯度区域中的信号水平变化宽度。Do3代表在对Di3进行伽马校正后用户实际看见的梯度区域中的信号水平变化宽度。
另一方面,图3中的Di2代表高亮度区域中的低梯度区域中的信号水平变化宽度。Di4代表高亮度区域中的高梯度区域中的信号水平变化宽度。Do2代表在对Di2进行伽马校正后用户实际看见的梯度区域中的信号水平变化宽度。Do4代表在对Di4进行伽马校正后用户实际看见的梯度区域中的信号水平变化宽度。
在低亮度区域中,与通过色模糊抑制单元110进行了抑制处理的图像信号的梯度相比,通过伽马校正处理来增强在进行抑制处理后用户看见的图像信号的梯度。另一方面,在高亮度区域中,由于通过伽马校正处理抑制图像信号,因此,与通过色模糊抑制单元110进行了抑制处理的图像信号的梯度相比,在抑制处理后用户看见的图像信号的梯度变得不显著。
当考虑到这种现象时,在高亮度区域中,抑制了被摄体的颜色边缘的梯度水平,并且原本就难以看见该梯度水平,因此,可以说用户几乎不能看出通过色模糊抑制消除了颜色边缘。另一方面,当甚至将浅颜色添加到应该非彩色的被摄体中时,即使在高亮度区域中抑制了梯度水平,用户也容易认为色模糊现象本身是图像质量劣化。考虑到上述状况,应该在高亮度区域中进行强色模糊抑制。
另一方面,在低亮度区域中,在被摄体颜色边缘和色模糊两者中都增强了梯度,因此,用户可以容易地识别这两者。因此,如果通过错误的色模糊抑制处理来使原来存在颜色边缘的区域消色差,则不同于抑制该水平的高亮度区域,低亮度区域使用户感觉不谐调。从图像质量劣化的观点,与图像中残留的色模糊相比,用户可以更容易地识别颜色边缘消色差的色损失(color loss),因此,相比于色模糊,更加不希望有色损失。因此,在低亮度区域中,希望不进行色模糊抑制处理,或者控制色模糊抑制处理的强度。
抑制系数计算单元109通过使用从梯度检测单元107提供的梯度信息S4和从抑制系数控制单元108提供的抑制特性控制参数S5来计算抑制系数S6。通过下列等式(1)至(3)计算抑制系数S6。
当S4<Th1时,
S6=1                           (1)
当Th1≤S4<Th2时,
S6=Th2/(Th2-Th1)-S4/(Th2-Th1)  (2)
当Th2≤S4时,
S6=0                           (3)
在等式(1)至(3)中,Th1和Th2分别是构成抑制特性控制参数S5的第一抑制系数控制参数和第二抑制系数控制参数。根据这些等式,当梯度信息S4小于第一阈值Th1时,将抑制系数S6设置为1,并且在不改变色差信号的值的情况下输出色差信号,从而在该区域中不进行色模糊抑制。当梯度信息S4大于或等于第二阈值Th2时,将抑制系数S6设置为0,并且将色差信号输出为0,从而在该区域中进行色模糊抑制以使图像信号完全消色差。当梯度信息S4大于或等于第一阈值Th1并且小于第二阈值Th2时,通过等式(2),梯度信息S4的值越大,越强地进行色模糊抑制以校正色模糊(颜色越接近非彩色)。也就是说,根据等式(2),与当梯度信息S4的值是第一值时的抑制系数相比,当梯度信息S4的值是大于第一值的第二值时,抑制系数更接近于0。
图4示出图1中的抑制系数控制单元108的配置。输入端子401输入在三原色信号生成单元106中同步后的颜色信号的R信号。以类似方式,输入端子402输入G信号,并且输入端子403输入B信号。亮度水平计算单元404根据从输入端子401至403输入的信号计算亮度信号的水平。判断表格405根据由亮度水平计算单元404计算出的亮度水平来设置以下将描述的第一抑制系数控制参数和第二抑制系数控制参数。输出端子406输出第一抑制系数控制参数,并且输出端子407输出第二抑制系数控制参数。
图5示出图4的判断表格405中所设置的亮度信号的水平、第一抑制系数控制参数和第二抑制系数控制参数之间的关系。
在本示例性实施例中,在图4所示的配置中,根据图5所示的特性,第一阈值Th1和第二阈值Th2根据亮度信号的水平包括在第一范围、第二范围、第三范围和第四范围中的哪个范围中而变化。如上所述,与在亮度信号水平的抑制程度大的高亮度区域中相比,在亮度信号水平的抑制程度小的低亮度区域中,为了阻止色模糊抑制,将第一阈值Th1和第二阈值Th2设置为高值。与在低亮度区域中相比,在输出信号的变化宽度与输入信号的变化宽度之比较小的高亮度区域中,为了易于色模糊抑制,将第一阈值Th1和第二阈值Th2设置为低值。也就是说,设置第一阈值Th1和第二阈值Th2,使得输出信号的变化宽度与输入信号的变化宽度之比越小,不进行色模糊抑制(抑制系数为1)的梯度值的范围越窄。
在图4中,亮度水平计算单元404通过使用例如等式(4),根据从输入端子401至403输入的R、G和B信号的三原色信号S3来计算亮度信号Y(12位数字信号)的水平。
Y=0.3R+0.59G+0.11B    (4)
判断表格405基于图5所示的特性,根据亮度信号Y的水平设置第一阈值Th和第二阈值Th2。更具体地,当亮度信号Y的水平是12位并且在0~511的范围内时,将第一阈值Th1设置为300,并且将第二阈值Th2设置为500。当亮度信号Y的水平在512~1023的范围内时,将第一阈值Th1设置为100,并且将第二阈值Th2设置为300。当亮度信号Y的水平在1024~2047的范围内时,将第一阈值Th1设置为50,并且将第二阈值Th2设置为200。当亮度信号Y的水平在2048~4095的范围内时,将第一阈值Th1设置为10,并且将第二阈值Th2设置为100。
尽管图5中未示出,但是可以将第一阈值Th1设置为固定值30,并且随着亮度信号Y的水平增大,仅第二阈值Th2可以从500减小至300至200至100。这样,在梯度值的特定范围中,即使当梯度值相同时,该区域的亮度越高,应用的色模糊抑制处理越强,使得色差成分的抑制程度增加。
如上所述,根据本示例性实施例,考虑在进行伽马校正处理后用户实际看见的梯度变化宽度,在低亮度区域中限制色模糊抑制,并且在高亮度区域中积极地进行色模糊抑制。通过采用上述配置,可以平衡低梯度区域中的色模糊的抑制和被摄体图像中的颜色边缘的保护,并且可以实现较少失败的色模糊抑制处理。
图6是示出作为根据本发明的第二示例性实施例的图像处理设备的数字摄像机的配置示例的框图。
图6中从图像形成光学系统101至梯度检测单元107的配置与图1中从图像形成光学系统101至梯度检测单元107的配置相同。图6中从色模糊抑制单元110至第三伽马校正单元113的配置与图1中从色模糊抑制单元110至第三伽马校正单元113的配置相同。在本示例性实施例中,抑制系数控制单元608和抑制系数计算单元609的配置不同于图1中的抑制系数控制单元108和抑制系数计算单元109的配置,因此,主要描述该差异。
图7示出图6中的抑制系数控制单元608的配置。
输入端子701输入在三原色信号生成单元106中同步后的颜色信号的R信号。以类似的方式,输入端子702输入G信号,并且输入端子703输入B信号。亮度水平计算单元704根据从输入端子701至703输入的信号计算亮度信号的水平。亮度转换电路705具有与图1中的伽马校正单元111至113的伽马校正特性类似的伽马校正特性。输出端子706输出在亮度转换电路705中转换后的亮度信号作为第一抑制系数控制参数。
图8是示出图6中的抑制系数计算单元609的配置的图。
在图8中,输入端子801输入从梯度检测单元107输出的梯度信息S4。输入端子802输入从抑制系数控制单元608输出的第一抑制系数控制参数S11。乘法器电路803将第一抑制系数控制参数S11乘以设置增益K,并且输出第二抑制系数控制参数S12。设置增益K可以是固定值,或者可以通过微型计算机等(图8中未示出)在外部设置该设置增益。加法器电路804将梯度信息S4与第二抑制系数控制参数S12相加,并且输出调节梯度S13。转换表格805基于调节梯度S13设置抑制系数S6。输出端子806输出抑制系数S6。
图9示出图8的转换表格805中的基于调节梯度S13的抑制系数S6的转换特性。
在图9中,横轴表示调节梯度S13,并且纵轴表示抑制系数S6。在本示例性实施例中,由于梯度信息S4是12位,所以由12位数字信号代表调节梯度S13,并且其范围为0~4095。将抑制系数S6作为目标像素完全消色差的“0”到根本没有进行消色差处理的“1.0”的值以预定分辨率输出。在本示例性实施例中,以8位分辨率输出抑制系数S6。
在图9中,在调节梯度S13为0~300的范围内,抑制系数S6的值为1.0,从而不进行色模糊抑制。当调节梯度S13大于300时,随着调节梯度S13的值增大,抑制系数S6的值接近0,并且色模糊抑制逐渐变强。当调节梯度S13大于特定阈值时,抑制系数S6变为0,并且使目标像素完全消色差。
仅需要抑制系数S6的转换特性是抑制系数S6随着调节梯度S13单调地变化的转换特性,并且只要抑制系数S6单调地变化以使色模糊抑制更有效,变化特性可以是任何特性。尽管假设转换表格805包括只读存储器(ROM)来描述转换表格805,但是可以通过函数等式来计算基于调节梯度S13的抑制系数S6。
图10示出在图像处理设备具有图9中所示的基于调节梯度S13的抑制系数S6的转换特性时基于梯度信息S4的抑制系数S6的转换特性。调节梯度S13是将梯度信息S4与第二抑制系数控制参数S2相加后的值。因此,即使当调节梯度S13是恒定值时,基于梯度信息S4的抑制系数S6的值在第二抑制系数控制参数S12改变时改变。
在图10中,当第二抑制系数控制参数S12是0时,梯度信息S4的值和调节梯度S13的值彼此相对应,从而基于梯度信息S4的抑制系数S6的转换特性与图9中所示的转换特性相同。另一方面,如果第二抑制系数控制参数S12是255,则当梯度信息S4的值小于或等于45时,抑制系数的值变为1.0。当调节梯度S13大于45时,随着调节梯度S13的值增大,抑制系数S6的值接近0,并且色模糊抑制逐渐变强。当调节梯度S13大于另一阈值时,抑制系数S6变为0,并且使目标像素完全消色差。也就是说,存在图9所示的转换特性在横轴上偏移的转换特性。
如上所述,为了平衡色模糊的抑制和被摄体图像中的颜色边缘的保护,需要在亮度信号水平的抑制程度小的低亮度区域中抑制色模糊抑制,并且需要在亮度信号水平的抑制程度大的高亮度区域中积极地进行色模糊抑制。
在本示例性实施例中,增益调节后的第二抑制系数控制参数S12越小,进行色模糊抑制所需的梯度信息S4的值越大。因此,这对于低亮度区域而言是有效特性。另一方面,增益调节后的第二抑制系数控制参数S12越大,进行色模糊抑制所需的梯度信息S4的值越小。因此,这对于高亮度区域而言是有效特性。考虑到上述情况,期望第一抑制系数控制参数S11在低亮度区域中具有小值,以及在高亮度区域中具有大值。当考虑到在伽马校正处理后用户实际看见的梯度变化宽度时,期望第一抑制系数控制参数S11以类似于伽马校正处理的方式变化。
因此,在本示例性实施例中,亮度转换电路705具有与图1中的伽马校正单元111至113的伽马校正特性相类似的伽马校正特性。当图8中的设置增益K的值为1时,调节梯度S13的值近似地对应于梯度信息S4的值。
如上所述,同样在本示例性实施例中,通过考虑在伽马校正处理后用户实际看见的梯度变化宽度,在低亮度区域中限制色模糊抑制,并在高亮度区域中积极地进行色模糊抑制。通过采用这种配置,可以平衡低梯度区域中的色模糊的抑制和被摄体图像中的颜色边缘的保护,并且可以实现较少失败的色模糊抑制处理。
在第一示例性实施例和第二示例性实施例中,关于伽马校正单元111至113的伽马校正特性,描述为区域越亮,输出信号的变化宽度与输入信号的变化宽度之比越小。然而,本发明并不限于此。在用户可以任意改变伽马校正特性的配置中,可以获得如上所述的相同效果。
例如,与第一示例性实施例和第二示例性实施例相反,伽马校正单元111至113可以具有输出信号的变化宽度与输入信号的变化宽度之比在低亮度区域中小而在高亮度区域中大的伽马校正特性。在这种情况下,需要进行控制以在高亮度区域中限制色模糊控制而在低亮度区域中积极地进行色模糊控制。也就是说,当伽马校正特性如上所述时,与在亮度信号的水平高的区域中相比,在亮度信号的水平低的区域中,必须将不进行色模糊抑制的梯度值范围(抑制系数是1)设置较窄。
不仅可以通过在照相机中的计算机(或中央处理单元(CPU),微处理单元(MPU)等)上的软件,而且可以通过系统或设备中的计算机(或中央处理单元(CPU),微处理单元(MPU)等)上的软件来实现上述示例性实施例。还可以从存储介质或经由有线/无线通信接收图像数据,并且可以对图像数据进行色模糊抑制和伽马校正处理。
此外,提供给计算机以使计算机实现上述示例性实施例的计算机程序可以实现本发明。
可以将用于实现上述示例性实施例的计算机程序存储在计算机可读存储介质中。
尽管已参考示例性实施例描述了本发明,但是应理解,本发明并不限于所公开的示例性实施例。所附权利要求书的范围符合最宽的解释,以包含所有修改、等同结构和功能。

Claims (6)

1.一种图像处理设备,包括:
梯度检测单元,用于从图像检测梯度值;
抑制系数计算单元,用于基于所述梯度值计算抑制系数;
抑制单元,用于基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及
伽马校正单元,用于根据针对所述图像设置的伽马校正特性进行伽马校正,
其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,
所述抑制系数计算单元计算所述抑制系数以使得当所述梯度值大于阈值时抑制所述抑制目标区域中的色模糊,并且设置所述阈值,以使得所述图像中亮度信号水平包括在所述第二范围内的区域中抑制色模糊所需的梯度值的范围,比所述图像中亮度信号水平包括在所述第一范围内的区域中抑制色模糊所需的梯度值的范围窄,以及
所述第一范围的亮度比所述第二范围的亮度低。
2.根据权利要求1所述的图像处理设备,其特征在于,所述抑制系数计算单元计算所述抑制系数,以使得当所述梯度值是大于第一值的第二值时的色模糊抑制程度大于当所述梯度值是所述第一值时的色模糊抑制程度。
3.一种图像处理设备,包括:
梯度检测单元,用于从图像检测梯度值;
抑制系数计算单元,用于基于所述梯度值计算抑制系数;
抑制单元,用于基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及
伽马校正单元,用于根据针对所述图像设置的伽马校正特性进行伽马校正,
其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,
所述抑制系数计算单元设置所述抑制系数,以使得在所述梯度值的特定范围中,即使当所述梯度值相同时,所述图像中亮度信号水平包括在所述第二范围内的区域中的色模糊抑制程度,也比所述图像中亮度信号水平包括在所述第一范围内的区域中的色模糊抑制程度强,以及
所述第一范围的亮度比所述第二范围的亮度低。
4.根据权利要求3所述的图像处理设备,其特征在于,所述抑制系数计算单元计算所述抑制系数,以使得当所述梯度值是大于第一值的第二值时的色模糊抑制程度大于当所述梯度值是所述第一值时的色模糊抑制程度。
5.一种图像处理方法,包括:
从图像检测梯度值;
抑制系数计算步骤,用于基于所述梯度值计算抑制系数;
基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及
根据针对所述图像设置的伽马校正特性进行伽马校正,
其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,
在所述抑制系数计算步骤中,计算所述抑制系数以使得当所述梯度值大于阈值时抑制所述抑制目标区域中的色模糊,并且设置所述阈值,以使得所述图像中亮度信号水平包括在所述第二范围内的区域中抑制色模糊所需的梯度值的范围,比所述图像中亮度信号水平包括在所述第一范围内的区域中抑制色模糊所需的梯度值的范围窄,以及
所述第一范围的亮度比所述第二范围的亮度低。
6.一种图像处理方法,包括:
从图像检测梯度值;
抑制系数计算步骤,用于基于所述梯度值计算抑制系数;
基于所述抑制系数进行图像处理,以抑制所述图像中的抑制目标区域中的色模糊;以及
根据针对所述图像设置的伽马校正特性进行伽马校正,
其中,设置所述伽马校正特性,以使得当亮度信号水平在第一范围内时输出信号的变化宽度与输入信号的变化宽度之比,大于当所述亮度信号水平在第二范围内时输出信号的变化宽度与输入信号的变化宽度之比,
在所述抑制系数计算步骤中,设置所述抑制系数,以使得在所述梯度值的特定范围中,即使当所述梯度值相同时,所述图像中亮度信号水平包括在所述第二范围内的区域中的色模糊抑制程度,也比所述图像中亮度信号水平包括在所述第一范围内的区域中的色模糊抑制程度强,以及
所述第一范围的亮度比所述第二范围的亮度低。
CN2010101887601A 2009-05-28 2010-05-28 图像处理设备和图像处理方法 Expired - Fee Related CN101902651B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009129196 2009-05-28
JP2009-129196 2009-05-28
JP2010039067A JP5523141B2 (ja) 2009-05-28 2010-02-24 画像処理装置、画像処理方法およびプログラム
JP2010-039067 2010-02-24

Publications (2)

Publication Number Publication Date
CN101902651A CN101902651A (zh) 2010-12-01
CN101902651B true CN101902651B (zh) 2012-09-26

Family

ID=43220291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101887601A Expired - Fee Related CN101902651B (zh) 2009-05-28 2010-05-28 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US8280163B2 (zh)
JP (1) JP5523141B2 (zh)
CN (1) CN101902651B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268426A (ja) * 2009-04-15 2010-11-25 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP2012049627A (ja) * 2010-08-24 2012-03-08 Sony Corp 信号処理装置、信号処理方法およびプログラム
US9065999B2 (en) * 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
JP5847471B2 (ja) * 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5873380B2 (ja) * 2012-04-11 2016-03-01 キヤノン株式会社 画像処理装置およびその制御方法
KR102009185B1 (ko) 2013-01-10 2019-08-09 삼성전자 주식회사 컬러 프린지 제거 방법
CN104766287A (zh) * 2015-05-08 2015-07-08 哈尔滨工业大学 一种基于显著性检测的模糊图像盲复原方法
JP5963913B2 (ja) * 2015-05-14 2016-08-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US10992847B2 (en) * 2017-05-25 2021-04-27 Eys3D Microelectronics, Co. Image device for generating a 360 degree depth map
CN107437240B (zh) * 2017-07-14 2021-06-04 浙江大学 一种抑制高亮区域的低照度图像增强方法
CN111131688B (zh) * 2018-10-31 2021-04-23 Tcl科技集团股份有限公司 一种图像处理方法、装置及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398124A (en) * 1991-06-29 1995-03-14 Minolta Camera Kabushiki Kaisha Image processor
US5412489A (en) * 1991-06-29 1995-05-02 Minolta Camera Kabushiki Kaisha Shading correction having a line memory read which generates an average reference level from a plurality of lines of a reference plate
EP0920221A2 (en) * 1997-11-25 1999-06-02 Seiko Epson Corporation Image processing apparatus and method
CN1606358A (zh) * 2003-10-07 2005-04-13 索尼公司 图像获取装置、图像处理装置和矫正镜头色彩失真的方法
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288781A (ja) * 1991-03-18 1992-10-13 Canon Inc γ補正回路
JP3702956B2 (ja) 1997-11-25 2005-10-05 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
US6853400B1 (en) * 1998-06-16 2005-02-08 Fuji Photo Film Co., Ltd. System and method for correcting aberration of lenses through which images are projected
JP2000076428A (ja) 1998-06-16 2000-03-14 Fuji Photo Film Co Ltd 収差補正方法
US6836289B2 (en) * 1999-12-20 2004-12-28 Texas Instruments Incorporated Digital still camera architecture with red and blue interpolation using green as weighting factors
JP3633561B2 (ja) * 2002-01-29 2005-03-30 ミノルタ株式会社 画像処理装置、画像処理方法およびプログラム
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
JP4770154B2 (ja) * 2004-11-08 2011-09-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4607723B2 (ja) * 2005-01-19 2011-01-05 株式会社リコー 画像形成装置
JP4789140B2 (ja) * 2005-05-19 2011-10-12 株式会社メガチップス 画像処理装置
US8233710B2 (en) * 2005-07-14 2012-07-31 Nikon Corporation Image processing device and image processing method
JP4935049B2 (ja) * 2005-10-27 2012-05-23 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4469324B2 (ja) * 2005-11-01 2010-05-26 イーストマン コダック カンパニー 色収差抑圧回路及び色収差抑圧プログラム
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
JP4724637B2 (ja) * 2006-10-13 2011-07-13 キヤノン株式会社 撮像装置、撮像システム、撮像方法、プログラム及び記録媒体
US8144984B2 (en) * 2006-12-08 2012-03-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program for color fringing estimation and compensation
JP5349790B2 (ja) * 2007-11-16 2013-11-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398124A (en) * 1991-06-29 1995-03-14 Minolta Camera Kabushiki Kaisha Image processor
US5412489A (en) * 1991-06-29 1995-05-02 Minolta Camera Kabushiki Kaisha Shading correction having a line memory read which generates an average reference level from a plurality of lines of a reference plate
EP0920221A2 (en) * 1997-11-25 1999-06-02 Seiko Epson Corporation Image processing apparatus and method
CN1606358A (zh) * 2003-10-07 2005-04-13 索尼公司 图像获取装置、图像处理装置和矫正镜头色彩失真的方法
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置

Also Published As

Publication number Publication date
CN101902651A (zh) 2010-12-01
US20100303352A1 (en) 2010-12-02
US8280163B2 (en) 2012-10-02
JP5523141B2 (ja) 2014-06-18
JP2011010268A (ja) 2011-01-13

Similar Documents

Publication Publication Date Title
CN101902651B (zh) 图像处理设备和图像处理方法
US8553978B2 (en) System and method for providing multi resolution purple fringing detection and correction
JP5060447B2 (ja) ノイズキャンセル処理回路および固体撮像装置
US8233710B2 (en) Image processing device and image processing method
EP1748656A1 (en) Image processing apparatus, image processing method, and computer program
KR20080039226A (ko) 화상처리장치, 촬영장치 및 이들에 있어서의 화상처리방법및 당해 방법을 컴퓨터에 실행시키는 프로그램
EP2360929B1 (en) Image processing device
CN101867826B (zh) 图像处理设备和图像处理方法
CN104869380A (zh) 图像处理设备和图像处理方法
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
CN111080559A (zh) 一种图像紫边消除装置及方法
EP2152010A2 (en) Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus
CN101771882B (zh) 图像处理设备和图像处理方法
JP4945942B2 (ja) 画像処理装置
JP2007028042A (ja) 画像処理装置
CN111654686B (zh) 去除图像彩噪的方法、去除视频彩噪的方法及相关装置
CN106162133B (zh) 基于自适应导向滤波的颜色插值方法
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
JP4797478B2 (ja) 画像処理装置
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
JP2017085407A (ja) 画像処理装置、撮像装置、制御プログラム
CN111726596B (zh) 影像处理方法及其电子装置
KR102628938B1 (ko) 이미지 처리 장치
JP6627422B2 (ja) 画像処理装置、撮像装置、制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120926

Termination date: 20200528