CN104427321B - 图像处理装置及其控制方法 - Google Patents
图像处理装置及其控制方法 Download PDFInfo
- Publication number
- CN104427321B CN104427321B CN201410424206.7A CN201410424206A CN104427321B CN 104427321 B CN104427321 B CN 104427321B CN 201410424206 A CN201410424206 A CN 201410424206A CN 104427321 B CN104427321 B CN 104427321B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- component
- pixel
- color component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011084 recovery Methods 0.000 claims abstract description 83
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 47
- 230000004075 alteration Effects 0.000 claims description 44
- 230000001105 regulatory effect Effects 0.000 claims description 23
- 230000033228 biological regulation Effects 0.000 claims description 7
- 238000004040 coloring Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 description 19
- 238000001914 filtration Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Power Engineering (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明公开了一种图像处理装置及其控制方法。所述图像处理装置能够抑制图像恢复处理中的着色现象。饱和确定单元确定滤波处理单元参照的参照区域中是否包括饱和像素。R分量输出调节单元和B分量输出调节单元根据所述饱和确定单元获得的确定结果来调节图像恢复处理后的相应颜色分量。
Description
技术领域
本发明涉及一种图像处理装置及其控制方法，尤其涉及一种图像校正技术。
背景技术
为了校正由于摄像光学系统中的像差或者衍射现象而发生的图像劣化，已知如下的处理(图像恢复处理)，在该处理中利用关于摄像光学系统的光学传递函数(OTF，opticaltransfer function)的信息来校正图像的劣化(参见日本特开第2013-51599号公报的0008-0013段)。此外，令g(x，y)为劣化图像，f(x，y)为原图像，下述等式中的R(x，y)称为图像恢复滤波器。
g(x，y)*R(x，y)＝f(x，y)
应注意，上述等式中的运算符“*”代表卷积(积和运算)，(x，y)代表图像中的坐标。
令摄像光学系统的光学传递函数为H(u，v)，通过计算1/H的逆傅里叶变换获得图像恢复滤波器。应注意，(u，v)代表二维频率面中的坐标，也就是说，代表频率。对二维图像应用的图像恢复滤波器通常是二维滤波器，该二维滤波器具有与图像中的各像素对应的抽头(tap)(单元(cell))。
因为像差和衍射的影响根据入射光的波长而不同(也就是说，针对各颜色分量而不同)，所以由于摄像光学系统中的像差或者光衍射而发生的图像劣化的程度也有所不同，因此，针对各颜色分量应用具有不同特性的恢复滤波器。通常，对于由具有大约几μm的像素尺寸的摄像元件获取的图像，像差和衍射的影响可扩展至几十个像素，因此，恢复滤波器需要是具有很多抽头的滤波器，以便能够参照广范围的像素。
对于参照广范围像素的滤波处理，由于不能在输入图像的饱和部分中和输入图像的饱和部分周边获得正确的信号值而容易对图像质量产生负面影响。对于针对各颜色分量应用具有不同特性的滤波器的图像恢复处理，由于颜色分量间失去平衡而容易发生着色(tinting)。
作为抑制这种影响的方法的示例，日本特许第4599398号公报公开了一种技术，该技术用于根据滤波器正参照的图像区域的亮度抑制滤波处理的效果。
然而，日本特开第2013-51599号公报和日本特许第4599398号公报中公开的传统技术没有考虑维持多个滤波器间的输出值的平衡。为此，不能解决以下问题，例如，如在图像恢复处理中一样，在针对图像信号的各分量分别应用滤波器的处理中发生的着色。
发明内容
本发明的目的在于提供一种图像处理装置及其控制方法，该图像处理装置能够抑制图像恢复处理中的着色现象。
根据本发明的一个方面，提供了一种图像处理装置，所述图像处理装置包括：滤波单元，用于通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；确定单元，用于确定参照区域中是否包括饱和像素，所述参照区域是所述空间滤波器参照的像素的区域；以及调节单元，用于根据所述确定单元获得的确定结果来调节所述图像恢复处理后的颜色分量当中的颜色分量。
根据本发明的另一方面，提供了一种图像处理装置，所述图像处理装置包括：滤波单元，用于通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；确定单元，用于确定参照区域中是否包括值大于或等于预定的阈值的像素，所述参照区域是所述空间滤波器参照的像素的区域；以及调节单元，用于根据所述确定单元获得的确定结果来调节所述图像恢复处理后的颜色分量当中的颜色分量。
根据本发明的再一方面，提供一种图像处理装置的控制方法，所述控制方法包括：滤波步骤，通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；确定步骤，确定参照区域中是否包括饱和像素，所述参照区域是所述空间滤波器参照的像素的区域；以及调节步骤，根据所述确定步骤中获得的确定结果来调节所述图像恢复处理后的颜色分量当中的颜色分量。
根据本发明的又一方面，提供一种图像处理装置的控制方法，所述控制方法包括：滤波步骤，通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；确定步骤，确定参照区域中是否包括值大于或等于预定的阈值的像素，所述参照区域是所述空间滤波器参照的像素的区域；以及调节步骤，用于根据所述确定步骤中获得的确定结果来调节所述图像恢复处理后的颜色分量当中的颜色分量。
从以下参照附图对示例性实施例的描述中，本发明的其他特征将变得清楚。
附图说明
图1是示意性地示出根据实施例的图像处理的整体流程的图。
图2是示出根据实施例的图像处理装置的功能配置的示例的框图。
图3是用于描述实施例中使用的色差调节值生成方法的流程图。
图4A至图4C是用于描述根据实施例的插值处理的图。
图5A至图5C是用于描述由第一实施例获得的效果的图。
图6A至图6D是用于描述由第二实施例获得的效果的图。
图7是示出执行图像恢复处理的图像处理装置的基本功能配置的示例的框图。
图8A至图8D是用于描述图像恢复处理中的滤波处理的概况的图。
图9A至图9D是用于描述图像恢复处理中发生的着色现象的图。
具体实施方式
下文将根据附图详细描述本发明的示例性实施例。首先，将描述基本的图像恢复处理以及其中发生的问题。图7是示出执行图像恢复处理的图像处理装置400的基本功能配置的示例的框图。
图像数据获取单元401从作为处理对象的图像数据当中读出与图8A的501所示的部分区域对应的图像数据。该部分区域是由在一个图像恢复处理实例中要参照的像素组成的区域，该图像恢复处理由后段的第一到第四滤波处理单元402到405执行，因此下文将该部分区域称为“参照区域”。
这里，例如，假定第一到第四滤波处理单元402到405均为如图8B所示的3×3的二维空间滤波器(即，在一个图像恢复处理实例中参照3×3×4图像数据的滤波器)。在这种情况下，如图8C所示，参照区域501在尺寸上是6×6像素。在读出对应于参照区域501的图像数据后，图像数据获取单元401将该图像数据分离成如图8D所示的颜色分量G1、G2、R和B，并且将这些颜色分量输出到对应的第一到第四滤波处理单元402到405。这里，位于分离成各颜色的图像数据的中央的像素701到704(其对应于图8C中的分离前的像素601到604)是作为图像恢复处理的对象的像素，并且被成为“关注像素”。换句话说，在一个图像恢复处理实例中处理组成拜耳排列的一个单位的四个像素。
四个第一到第四滤波处理单元402到405是对输入的单色分量的图像数据执行图像恢复处理的恢复滤波器，其中针对每个颜色分量提供所述第一到第四滤波处理单元402到405中的一个。因为像差和光衍射的影响根据拍摄条件(例如，摄像光学系统的光圈和焦距)而不同，因此根据拍摄条件设置第一到第四滤波处理单元402到405的3×3个滤波系数的值。通过对3×3个像素位置处的颜色分量值和对应的滤波系数执行积和运算来执行空间滤波处理。例如，在对图8D中的像素701执行的恢复滤波处理中，获得像素701的颜色分量值与滤波系数K22的积，以这种方式，获得滤波系数K11到K33与其对应位置处的值的积，并且上述积的和即为处理结果。应注意，尽管这里为了简化说明而描述了3×3的二维空间滤波器的示例，但实际上期望使用具有30×30个系数或更多的系数的组合的二维空间滤波器。
返回图7，作为图像恢复处理的结果并且由第一到第四滤波处理单元402到405输出的图像数据R’、G1’、G2’、以及B’然后被还原为图8C所示的拜耳排列并且由恢复数据输出单元406输出。
参照区域中的图像数据的读出、图像恢复处理的执行以及处理结果的输出被重复执行，从而使得图像中的所有像素都作为关注像素而经过上述处理。
下文描述了图像恢复处理中发生的着色现象。图9A示出了包括非彩色边缘的图像的示例，图9B是如下的图，在该图中针对各颜色分量分别在X方向标绘与图9A中的图像的边缘部分对应的像素行的像素值。在图9B中，横轴表示X方向的像素位置，纵轴表示颜色分量值，Th是表示摄像元件(所述摄像元件生成作为处理对象的图像数据)中的颜色分量值的饱和水平的值。
图9B示出了图像恢复处理前的G分量像素值和R分量像素值。这些值是对从摄像元件读出的颜色分量值执行白平衡处理(考虑到摄像元件的光谱敏感性和光源的色温度(colortemperature)的增益调节)后的值。这里应注意，在白平衡处理前，G分量是饱和的，而R分量不是饱和的，并且假定由于白平衡处理，G分量值不改变，而R分量值被放大。对于G分量，像素位置X1和X2处的值在白平衡处理前是饱和的，并且也显示出在白平衡处理后原值丢失。另一方面，对于R分量，在白平衡处理前，值在饱和水平以下，因此其被放大了与白平衡处理中增益调节的量相对应的量。结果，对于R分量，像素位置X1和X2处的值是高于饱和分量的值。应注意，假定B分量像素值(未示出)与R分量像素值类似。
假定为了改善由于衍射产生的对比度下降，通过应用如图9C所示的针对各颜色信号具有不同特性的边缘增强滤波器而使图9B中的像素经过图像恢复处理。应注意，为简化说明和便于理解，本说明书中在X方向应用一维滤波器。
图9D示出了图像恢复处理后的分量值。对于R分量(和B分量)，能够仅利用不饱和分量值对所有像素执行滤波处理，因此，能够获得原本的边缘增强效果。另一方面，对于G分量，在像素位置X3是关注像素的滤波处理中参照饱和像素X2(或饱和像素X2和X1)，因此滤波处理后的值不是正确的值。在该示例中，图像恢复处理后，像素位置X3处的G分量高于R分量(和B分量)，结果在像素位置X3附近观察到绿色着色。
另一方面，在像素位置X1和X2处，R分量(和B分量)高于G分量，但是在后段的显影处理中通过剪切处理(clip processing)将超过饱和水平(Th)的值降低到饱和水平。因此，这些颜色分量降低至饱和水平并且显示为无彩色(高光溢出(blown-out highlights))。
这样，如果在采用滤波处理的图像恢复处理中参照饱和像素，则不会获得正确的滤波结果，并且会在饱和部分中的区域和饱和部分周边的区域中发生着色。具体地，这里作为示例给出的非彩色边缘区域中，对于摄像元件具有高光谱敏感性的G分量比R分量和B分量更可能饱和，因此，存在G分量的恢复量低于R分量和B分量的倾向，结果更容易发生绿色着色。
第一实施例
下文描述了本发明的示例性实施例。
图1示意性地示出了包括图像恢复处理的图像处理的整体流程。这里将描述对RAW数据执行的图像处理。假定在本实施例中RAW数据也具有图8C所示的拜耳排列。
首先，考虑到光源的色温度和传感器的光谱敏感性，分别针对各颜色分量对输入图像数据(RAW数据)应用增益调节处理(白平衡(WB)处理)201。
接下来，对增益调节后的图像数据应用图像恢复处理202。下文将描述图像恢复处理的详情。与输入图像数据类似，图像恢复处理后的输出也具有拜耳排列。
接下来，对图像恢复处理后的图像数据应用显影处理203，例如，颜色插值(去马赛克)处理、降噪和锐度处理、以及伽马处理。然后对显影处理后的图像数据应用将RGB格式转换为YUV格式的YUV转换处理204，这样就完成了这一系列图像处理。
应注意，在本实施例中，预期经由存储器在功能块和步骤之间传递图像数据。应注意，如果利用专用硬件模块执行功能块和步骤的处理，则能够在硬件模块间直接传递数据。当然，这是基于硬件模块具有足以保持数据的缓冲存储容量的前提。
图2是示出根据本发明的该实施例的用于执行图1所示的图像恢复处理202的图像处理装置100的功能配置的示例的框图。
与图7中的图像数据获取单元401类似，图像数据获取单元101读取对应于参照区域的图像数据，该参照区域的尺寸对应于第一到第四滤波处理单元102到105使用的空间滤波器的尺寸。然后图像数据获取单元101将对应于参照区域的图像数据照原样输出到饱和确定单元106，并且还将其分离成颜色分量并输出到第一到第四滤波处理单元102到105。
饱和确定单元106参照对应于参照区域的图像数据，确定参照区域是否包括值大于或等于预设的阈值(饱和水平)的哪怕一个像素，并且将确定结果输出到R分量输出调节单元113和B分量输出调节单元114。如果参照区域包括饱和像素，则确定在对关注像素应用的图像恢复处理中，恢复滤波器将参照饱和像素。
如参照图7所描述的，第一到第四滤波处理单元102到105对各颜色分量执行图像恢复处理并且分别输出图像恢复处理后的颜色分量值R’、G1’、G2’、以及B’。
根据饱和确定单元106作出的判断结果，R分量输出调节单元113将来自第三滤波处理单元104的输出值R’输出到恢复数据输出单元115，或者将后续描述的着色校正值(色差调节值R”)输出到恢复数据输出单元115。类似地，根据饱和确定单元106作出的判断结果，B分量输出调节单元114将来自第四滤波处理单元105的输出值B’输出到恢复数据输出单元115，或者将后续描述的着色校正值(色差调节值B”)输出到恢复数据输出单元115。
与图7中的恢复数据输出单元406类似，然后恢复数据输出单元115将针对各颜色分量分别输入的、图像恢复处理后的图像数据还原为拜耳排列，并将其输出。
接下来，将参照图3的流程图描述生成色差调节值R”和B”的方法。
首先，在步骤S1101中，第一插值处理单元107通过基于图像恢复处理前的G1和G2分量值执行插值，来生成拜耳排列的R和B位置处的G分量值Gr和Gb。例如，Gr是通过剪切出图4A所示的作为关注像素的R像素1202的上下左右的G1和G2像素而获得的区域(图4B)的中央像素位置处的值，并且Gr能够被计算为G1像素1203、1204和G2像素1201、1205的平均值。同样，Gb是通过剪切出图4A所示的作为关注像素的B像素1206的上下左右的G1和G2像素而获得的区域(图4C)的中央像素位置处的值，并且Gb能够被计算为G1像素1204、1208和G2像素1205、1207的平均值。应注意，这些计算方法仅为示例，也能够使用如下方法：即在插值中利用不同位置处的不同数量的像素。
在步骤S1102中，图2中的计算单元109和110通过从图像恢复处理前的对应位置处的R和B分量的值中减去第一插值处理单元107计算出的值Gr和Gb，来分别计算差值R-Gr和B-Gb，并且将差值分别输出到计算单元111和112。
在步骤S1103中，与第一插值处理单元107类似，第二插值处理单元108利用图像恢复处理后的G1’和G2’分量的值来计算拜耳排列的R和B位置处的G分量Gr’和Gb’，并且将G分量Gr’和Gb’输出到计算单元111和112。
在步骤S1104中，针对相应的R和B位置，计算单元111和112分别将计算单元109和110计算出的差值R-Gr和B-Gb加到第二插值处理单元108计算出的G分量值Gr’和Gb’。这样，计算单元111和112生成色差调节值R”和B”。换句话说，根据以下等式1和2生成色差调节值R”和B”。
R”＝R-Gr+Gr’ (1)
B”＝B-Gb+Gb’ (2)
这样，色差调节值R”和B”是通过将差(变化量)Gr’-Gr和Gb’-Gb(其为图像恢复处理前后相同像素位置处的G分量之间的差)加到图像恢复处理前的颜色分量值R和B而获得的值。
基于等式1和2获得以下等式。
R”-Gr’＝R-Gr (3)
B”-Gb’＝B-Gb (4)
可以理解，如果使用色差调节值R”和B”作为图像恢复处理后的R和B值，则在图像恢复处理后的像素值中维持色差，该色差等于图像恢复处理前的像素值中的色差R-G和色差B-G。
如上文所述，本实施例的图像处理装置100分别针对R和B像素获得色差调节值R”和B”，并将它们分别提供给R分量输出调节单元113和B分量输出调节单元114。此外，如果饱和确定单元106确定参照区域中包括饱和像素，则R分量输出调节单元113将色差调节值R”(而不是将第三滤波处理单元104输出的R’)输出为图像恢复处理后的R分量R_rec。同样，B分量输出调节单元114将色差调节值B”(而不是将第四滤波处理单元105输出的B’)输出为图像恢复处理后的B分量B_rec。因此，即使在执行滤波处理时参照了饱和像素，也能够维持图像恢复处理前后的像素值之间的色差，并且能够抑制着色。
应注意，可以是以下配置，在该配置中，在关注像素(颜色分量值)饱和(超过饱和水平)的情况下，即使恢复滤波器参照饱和像素，也不会替换图像恢复处理后的值。例如，可以针对像素位置X1和X2照原样使用图像恢复处理后的值R’。在这种情况下，如果关注像素是饱和像素，则不论参照区域中是否包括其他饱和像素，饱和确定单元106都不需要进行包括饱和像素(滤波器将参照饱和像素)的确定。
接下来，将参照图5A到图5C描述本实施例的图像处理装置100的效果。
与图9B类似，图5A是如下的图，在该图中分别针对各颜色分量在X方向标绘与饱和部分中以及饱和部分周边的边缘部分对应的像素行的像素值。应注意，在图5A中示出R分量的值和通过插值获得的对应像素位置处的G分量(Gr)的值。如参照图9B所描述的，所有的值都是白平衡处理后的值，图5A示出了在像素位置X1和X2处G分量值由于饱和而丢失的状态。应注意，在该示例中，假定如果G分量值中包括由于饱和而丢失的值，则白平衡处理后的G分量值将与R分量值相同。此外，虚线(R-Gr)表示R分量和G分量(Gr)之间的差值(色差R-Gr)。
图5B示出了利用图9C示出的、针对各颜色分量具有不同特性的恢复滤波器对具有这些值的R分量和Gr分量执行图像恢复处理的结果。与图9D类似，在对G分量执行的图像恢复处理中，由于饱和的影响而不能参照原值。因此，通过基于图像恢复处理后的G分量G1’和G2’的插值获得的、像素位置X3和X4处的G分量Gr’高于不受饱和影响的图像恢复处理后的R分量R’，因此引起绿色着色。应注意，在像素位置X1和X2处，两个分量均超过饱和水平，并且通过后段的显影处理中的剪切处理将会降低至饱和水平，因此，值的差不会引起着色。
另一方面，图5C示出了恢复滤波器参照饱和像素X1和X2的图像恢复处理的结果，在这种情况下，用色差调节值R”替换图像恢复处理后的R分量R’，该色差调节值R”是通过将图像恢复处理前的色差R-Gr添加到图像恢复处理后的G分量Gr’而获得的。应注意，如上文所述，可以是如下配置，在该配置中，在恢复滤波器参照饱和像素X1和X2的像素位置X1到X4中，针对关注像素为饱和的像素位置X1和X2不执行替换，而是照原样使用图像恢复处理后的值R’。
通过在像素位置X3和X4处利用R”替换R’，像素位置X2和X3处的的值之间的差与像素位置X3和X4处的值之间的差均变小了，因此，降低了边缘增强效果。然而，这些像素位置处的色差R”-Gr’等于图像恢复处理前的色差R-Gr，因此，抑制了由于图像恢复处理而上升的G分量和R分量之间的差，从而抑制了着色。
尽管利用R分量作为典型示例给出了描述，对于B分量，同样地也是用色差调节值B”替换恢复滤波器参照饱和像素的关注像素位置处的B分量值即可，该色差调节值B”是通过将图像恢复处理前的色差B-Gb加到图像恢复处理后的G分量Gb’而获得的。因此，在图像恢复处理后保持图像恢复处理前的色差B-Gb。
这样，在本实施例中，在饱和部分中以及饱和部分周边，或者更具体地，在恢复滤波处理中参照饱和像素的情况下，使用用于维持关注像素的图像恢复处理前后的色差的颜色分量值(色差调节值)作为图像恢复处理后的颜色分量值。这能够抑制由于采用空间滤波器的图像恢复处理前后的颜色分量之间失去平衡而在饱和部分中以及饱和部分周边发生的着色。
第二实施例
在第一实施例中，通过根据恢复滤波器参照的参照区域是否包括饱和像素而切换图像恢复处理后的信号值来抑制饱和部分中以及饱和部分周边的着色。
然而，在单纯切换输出信号的方法中，具有在发生切换的边界附近出现伪轮廓的风险。为此，本实施例的配置的特征在于，通过根据饱和像素在恢复滤波器所参照的参照区域中的百分比对图像恢复处理后的信号值执行加权相加，来抑制伪轮廓的出现。
因为本实施例也能够通过具有第一实施例中参照图2描述的功能配置的图像处理装置来实现，所以下文描述与第一实施例不同的处理。
与图5A类似，图6A是如下的图，在该图中，在X方向标绘对应于饱和部分中以及饱和部分周边的边缘部分的像素行的R分量值以及通过插值获得的对应像素位置处的G分量(Gr)值。所有的值都是白平衡处理后的值，并且图6A示出了像素位置X1和X2处的G分量值由于饱和而丢失的状态。此外，虚线(R-Gr)表示R分量和G分量(Gr)之间的差值(色差R-Gr)。在图6A所示的边缘部分中，由于衍射的影响，R分量高于G分量，因此发生了着色。
图6B示出了利用图9C示出的、针对各颜色分量具有不同特性的恢复滤波器对具有这些值的R分量和Gr分量执行图像恢复处理的结果。与图5B类似，像素位置X3和X4处的G分量Gr’具有比不受饱和影响的图像恢复处理后的R分量R’更高的值，这引起绿色着色。
图6C示出了如下结果：根据第一实施例的方法，在恢复滤波器参照饱和像素的像素位置X1到X4当中，用色差调节值R”替换关注像素不饱和的像素位置X3和X4处的R分量值R’。因为维持了图像恢复处理前后的色差(R-Gr＝R”-Gr’)，因此在这些像素位置抑制了着色，但针对R分量的恢复效果下降了。此外，在切换输出值的像素位置X4处的R分量值与不切换输出值的像素位置X5处的R分量值之间出现了段差(step)，因此，具有在显影处理后获得的图像中出现伪轮廓的风险。
在本实施例中，为了抑制这样的伪轮廓的出现，饱和确定单元106获得参照区域中饱和像素相对于像素总数的百分数(即，获得饱和率)，而不是确定参照区域中是否包括饱和像素。此外，R分量输出调节单元113输出对图像恢复处理后的R分量值R’执行加权相加的结果，从而随着饱和率的上升，色差调节值R”的权重上升。B分量输出调节单元114对B分量执行相似的处理。R分量输出调节单元113和B分量输出调节单元114执行的加权相加由以下等式5和6表示。
R_rec＝(1-α)×R’+α×R” (5)
B_rec＝(1-α)×B’+α×B” (6)
这里，α是饱和像素在对应于第三和第四滤波处理单元104和105的恢复滤波器所参照的参照区域中的百分比(即，饱和率)，α取从0到1的值。
α＝Ns/Nf (7)
Nf：参照区域中的像素总数
Ns：参照区域中的饱和像素数
在图6A到图6D所示的示例中，利用图9C所示的五抽头一维滤波器，因此，在关注像素是X3的情况下，所参照的饱和像素是X1和X2，饱和像素数Ns是2。类似地，当关注像素是X4时，所参照的饱和像素是X2，饱和像素数Ns是1。因此，滤波器所参照的参照区域中相对于像素总数Nf＝5的饱和率α在像素位置X3处是0.4，而在像素位置X4处是0.2。
图6D示出了图像恢复处理后的信号值R’_rec，在该图像恢复处理中在像素位置X3和X4处的R分量值是反映R’的加权相加值。如该图所示，在图像恢复处理后的R信号中，从像素位置X4到像素位置X5的段差下降。在像素位置X2和X3处，与执行普通图像恢复处理的结果(图6B)相比，颜色分量之间的平衡也更接近图像处理恢复前的平衡，并且获得的恢复效果比采用第一实施例的方法的结果(图6C)更好。
这样，在本实施例中，在恢复滤波处理中参照饱和像素的情况下，根据饱和像素在恢复滤波器参照的参照区域中的百分比而反映图像恢复处理后的信号值的色差调节值被用作图像恢复处理后的颜色分量值。这使得能够实现在抑制伪轮廓的出现(该伪轮廓在照原样将色差调节值用作图像恢复处理后的颜色分量值的情况下出现)的同时，抑制饱和部分中以及饱和部分周边的着色的效果。此外，因为反映了未包括在色差调节值中的、图像恢复处理后的颜色分量，因此能够改善像素图像恢复处理的效果。
其他实施例
应注意，上述实施例描述了基于以下前提校正R分量和B分量的配置：在通过当前的一般摄像元件的原色过滤器的颜色分量当中，对G分量的敏感性最高，并且对于G分量最容易发生饱和。特别是，第一实施例描述了以下配置：在恢复滤波器参照饱和像素的情况下，仅对亮度分量(G分量)应用图像恢复处理，而将R和B分量调节至维持与图像恢复处理前的G分量的色差的值。
然而，本发明的基本技术构思在于校正图像恢复处理后的一部分颜色分量，从而防止在图像恢复处理前后的颜色分量(颜色分量值之间的差)之间失去平衡。因此，不必将本发明限于校正R分量和B分量。例如，通过用容易变饱和的其他颜色分量替换上述说明中的G分量，能够将本发明应用于对以下图像执行的恢复处理，该图像由具有不同敏感性特性的摄像元件而获得，或者由具有除RGB以外的颜色分量组成的或者具有除RGB以外的颜色分量的颜色滤波器的摄像元件而获得。此外，只要恢复处理前后的变化在预定的范围内，即使恢复处理前后的色差不能精确地相互匹配，也能够获得本发明的效果。
可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令、以执行本发明的上述实施例中的一个或更多实施例的功能的系统或装置的计算机，来实现本发明的各实施例，并且，可以利用由通过例如读出并执行来自存储介质的计算机可执行指令、以执行上述实施例中的一个或更多实施例的功能的系统或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一者或更多，并且可以包括独立的计算机或独立的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一者或更多。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变形以及等同结构和功能。
Claims (9)
1.一种图像处理装置，所述图像处理装置包括：
滤波单元，用于通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；
确定单元，用于确定参照区域中是否包括饱和像素，所述参照区域是所述空间滤波器参照的像素的区域；以及
调节单元，用于在所述确定单元确定所述参照区域中包括饱和像素的情况下，所述调节单元利用以使得在所述图像恢复处理前后维持颜色分量间的色差的方式调节的值，来调节所述图像恢复处理后的颜色分量当中的颜色分量。
2.根据权利要求1所述的图像处理装置，其中，通过基于在应用所述图像恢复处理的像素位置的周围的其他颜色分量的值执行插值，来针对未包括在所述像素位置处的所述其他颜色分量计算色差。
3.根据权利要求1所述的图像处理装置，其中，所述颜色分量包括R分量、G分量、以及B分量，并且所述调节单元以使得在所述图像恢复处理前后维持与所述G分量的色差的方式调节所述R分量和所述B分量。
4.根据权利要求1所述的图像处理装置，其中，在所述确定单元确定所述参照区域中包括饱和像素的情况下，所述调节单元通过用所述调节的值替换所述图像恢复处理后的颜色分量的值来执行调节。
5.根据权利要求1所述的图像处理装置，其中，在所述确定单元确定所述参照区域中包括饱和像素的情况下，所述调节单元通过对所述图像恢复处理后的颜色分量的值和所述调节的值执行加权相加，来执行调节。
6.根据权利要求5所述的图像处理装置，其中，当执行所述加权相加时，饱和像素在所述参照区域中的百分比越大，所述调节单元对所述图像恢复处理后的颜色分量的值给出的权重越高。
7.根据权利要求1所述的图像处理装置，其中，在应用所述图像恢复处理的像素位置处、颜色分量值为饱和的情况下，所述调节单元不执行调节。
8.根据权利要求1所述的图像处理装置，其中，如果像素的值大于或等于预定的阈值，则所述确定单元确定所述像素是饱和像素。
9.一种图像处理装置的控制方法，所述控制方法包括：
滤波步骤，通过对图像的各颜色分量应用空间滤波器来执行图像恢复处理；
确定步骤，确定参照区域中是否包括饱和像素，所述参照区域是所述空间滤波器参照的像素的区域；以及
调节步骤，在所述确定步骤确定所述参照区域中包括饱和像素的情况下，所述调节步骤利用以使得在所述图像恢复处理前后维持颜色分量间的色差的方式调节的值，来调节所述图像恢复处理后的颜色分量当中的颜色分量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-174967 | 2013-08-26 | ||
| JP2013174967A JP5961149B2 (ja) | 2013-08-26 | 2013-08-26 | 画像処理装置およびその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104427321A CN104427321A (zh) | 2015-03-18 |
| CN104427321B true CN104427321B (zh) | 2017-06-06 |
Family
ID=52480436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410424206.7A Active CN104427321B (zh) | 2013-08-26 | 2014-08-25 | 图像处理装置及其控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9843703B2 (zh) |
| JP (1) | JP5961149B2 (zh) |
| KR (1) | KR101699318B1 (zh) |
| CN (1) | CN104427321B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9658444B2 (en) * | 2013-12-18 | 2017-05-23 | National Security Technologies, Llc | Autofocus system and autofocus method for focusing on a surface |
| JP6512893B2 (ja) * | 2015-03-26 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム |
| CN108259876B (zh) * | 2016-12-29 | 2020-07-07 | 深圳开阳电子股份有限公司 | 一种自动白平衡的调整方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102844788A (zh) * | 2010-03-31 | 2012-12-26 | 佳能株式会社 | 图像处理装置及使用该图像处理装置的图像拾取装置 |
| CN102968761A (zh) * | 2011-08-30 | 2013-03-13 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN102984527A (zh) * | 2011-09-06 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法、信息记录介质和程序 |
| CN103198453A (zh) * | 2011-09-26 | 2013-07-10 | 佳能株式会社 | 图像处理设备及图像处理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2006225662B2 (en) | 2005-03-22 | 2009-08-13 | Olympus Corporation | Image processing device and endoscope |
| US8270753B2 (en) * | 2005-06-14 | 2012-09-18 | Nikon Corporation | Image processing device, computer program product, and image processing method to restore signals in a saturated area |
| JP4986965B2 (ja) * | 2008-09-30 | 2012-07-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
| JP5054248B2 (ja) * | 2010-03-31 | 2012-10-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 |
| US9191556B2 (en) * | 2011-05-19 | 2015-11-17 | Foveon, Inc. | Imaging array having photodiodes with different light sensitivities and associated image restoration methods |
| US8842912B2 (en) * | 2011-05-19 | 2014-09-23 | Foveon, Inc. | Method for processing highlights and saturated regions in a digital image |
| JP5818586B2 (ja) * | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US9077943B2 (en) * | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
| US20150022687A1 (en) * | 2013-07-19 | 2015-01-22 | Qualcomm Technologies, Inc. | System and method for automatic exposure and dynamic range compression |
| KR102171387B1 (ko) * | 2014-03-06 | 2020-10-28 | 삼성전자주식회사 | 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법 |
-
2013
- 2013-08-26 JP JP2013174967A patent/JP5961149B2/ja not_active Expired - Fee Related
-
2014
- 2014-08-21 US US14/464,856 patent/US9843703B2/en active Active
- 2014-08-21 KR KR1020140108777A patent/KR101699318B1/ko active IP Right Grant
- 2014-08-25 CN CN201410424206.7A patent/CN104427321B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102844788A (zh) * | 2010-03-31 | 2012-12-26 | 佳能株式会社 | 图像处理装置及使用该图像处理装置的图像拾取装置 |
| CN102968761A (zh) * | 2011-08-30 | 2013-03-13 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN102984527A (zh) * | 2011-09-06 | 2013-03-20 | 索尼公司 | 图像处理装置、图像处理方法、信息记录介质和程序 |
| CN103198453A (zh) * | 2011-09-26 | 2013-07-10 | 佳能株式会社 | 图像处理设备及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015043541A (ja) | 2015-03-05 |
| KR20150024269A (ko) | 2015-03-06 |
| US20150055863A1 (en) | 2015-02-26 |
| KR101699318B1 (ko) | 2017-01-24 |
| US9843703B2 (en) | 2017-12-12 |
| JP5961149B2 (ja) | 2016-08-02 |
| CN104427321A (zh) | 2015-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103854259B (zh) | 图像处理设备以及处理图像的方法 | |
| US9542759B2 (en) | Image processing device, method of processing image, and image processing program including false color correction | |
| US10298863B2 (en) | Automatic compensation of lens flare | |
| JP4395789B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| US8837853B2 (en) | Image processing apparatus, image processing method, information recording medium, and program providing image blur correction | |
| US20090263017A1 (en) | Method for reconstruction of pixel color values | |
| JP6757258B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
| TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
| TWI387312B (zh) | 影像雜訊消除方法以及影像處理裝置 | |
| CN113228094A (zh) | 图像处理器 | |
| JP7006690B2 (ja) | 撮像装置と撮像素子および画像処理方法 | |
| JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
| JP5917048B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN104427321B (zh) | 图像处理装置及其控制方法 | |
| CN113454687A (zh) | 图像处理方法、装置和系统，计算机可读存储介质 | |
| WO2020210472A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
| JP2011217087A (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| CN104869370B (zh) | 图像处理设备和图像处理方法 | |
| CN106027853B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| JP7423033B2 (ja) | 画像信号処理方法 | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| WO2022217525A1 (zh) | 图像降噪处理方法、装置及成像装置 | |
| US20130300901A1 (en) | Image processing apparatus, method for controlling the same and storage medium | |
| US11303869B2 (en) | Image processing apparatus and image processing method | |
| US9160989B2 (en) | Image processing apparatus, image processing method, and storage medium for increasing pixels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |