CN105659583A - 图像处理装置、图像处理方法、电子设备及程序 - Google Patents

图像处理装置、图像处理方法、电子设备及程序 Download PDF

Info

Publication number
CN105659583A
CN105659583A CN201480056345.7A CN201480056345A CN105659583A CN 105659583 A CN105659583 A CN 105659583A CN 201480056345 A CN201480056345 A CN 201480056345A CN 105659583 A CN105659583 A CN 105659583A
Authority
CN
China
Prior art keywords
image
exposure
pixel
unit
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480056345.7A
Other languages
English (en)
Other versions
CN105659583B (zh
Inventor
增野智经
城坚诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105659583A publication Critical patent/CN105659583A/zh
Application granted granted Critical
Publication of CN105659583B publication Critical patent/CN105659583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/628—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for reducing horizontal stripes caused by saturated regions of CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及能够从包括周期性噪声的图像去除所述周期性噪声的图像处理装置、图像处理方法、电子设备和程序。本发明包括用于针对每个图像估算在不同曝光条件下拍摄的每个图像中所包括的周期性噪声成分的估算单元。所述估算单元通过利用了所述曝光条件下的所述噪声成分之间的相互关系的运算针对每个图像估算所述周期性噪声成分。例如，所述周期性噪声是闪烁。所述噪声成分之间的所述相互关系是用频率空间中的所述曝光条件的快门函数表示的。本发明可应用于成像装置。

Description

图像处理装置、图像处理方法、电子设备及程序
技术领域
本发明涉及信息处理装置、信息处理方法、电子设备和程序。具体地，本发明涉及用于对在图像中出现的闪烁(flicker)进行校正的图像处理装置、图像处理方法、电子设备和程序。
背景技术
当在荧光灯的照明下通过使用配置有诸如互补金属氧化物半导体(CMOS)成像器件等XY地址扫描型成像器件的相机拍摄图像时，在视频信号中出现条纹状的亮度不均匀或颜色不均匀。这种现象被称为闪烁。该闪烁是由于与商用电源(AC)连接且基本上以两倍于电源频率的周期的周期重复闪烁的荧光灯以及由于成像器件的工作原理而引起的。
在出现闪烁的图像中出现了沿水平方向延伸的条纹状亮度变化图案。例如，当观察运动图像时，观察到垂直地出现的条纹状图案。披露了用于抑制这种闪烁的技术的现有技术的示例例如包括专利文献1。专利文献1披露了用于通过如下方式去除图像中包括的闪烁成分的方法：从图像中提取闪烁成分，计算具有该闪烁成分的反相图案的闪烁校正系数，并通过使图像的像素值乘以闪烁校正系数来执行校正。
引用列表
专利文献
专利文献1：JP2011-160090A
发明内容
技术问题
由此，例如，为了生成高动态范围图像，已经提出了如下一种成像装置，该成像装置通过拍摄设定了不同曝光时段的多个图像来生成设定了从低亮度部分到高亮度部分的更精确像素值的高动态范围图像。
当尝试将专利文献1中披露的上述处理应用于如上所述的在不同曝光时段中拍摄多个图像的成像装置时，必须针对在不同曝光时段中拍摄的多个图像中的每者分别执行诸如提取闪烁成分的处理、计算闪烁成分的反相校正系数的处理和基于该校正系数的校正处理等处理。
以此方式，为了对具有不同曝光时段的图像中的每者执行上述处理，存在硬件部件可能增加且处理周期可能增大的可能性。
本发明是针对这些情况而提出的，并旨在能够利用简单构造来有效地执行减少诸如闪烁等周期性噪声的处理。
问题的解决方案
根据本发明的方面，图像处理装置包括：估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分。所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
所述周期性噪声可以是闪烁。
所述噪声成分之间的所述相互关系可以由频率空间中的所述曝光条件的快门函数表示。
所述估算单元可以通过使用如下值来估算所述噪声成分，所述值是通过对所述图像进行积分，与预定的窗函数相乘并执行傅里叶级数展开获得的。
所述积分可以是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
所述估算单元可通过获得矩阵Q并获得光源的波动成分F来获得频率空间中的所述噪声成分，其中QF＝0，且所述估算单元可通过对所述频率空间中的所述噪声成分执行傅里叶级数逆变换来估算每个所述图像的所述噪声成分。
所述噪声成分之间的所述相互关系可由通过对所述图像进行积分并针对所述图像的每行执行除法运算而获得的比值表示。
所述积分可以是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
所述估算单元可以获得矩阵RT的特征值1的特征向量，并将所述特征向量设定为通过对所述图像的所述噪声成分执行傅里叶级数展开而获得的值，其中R是对所述比值执行傅里叶级数展开而获得的矩阵，且T是从所述曝光条件获得的矩阵。
所述图像的所述噪声成分可以是通过对所述特征向量执行傅里叶级数逆变换计算的。
通过对与已经计算所述噪声成分的图像不同的图像的所述噪声成分执行傅里叶级数展开而获得的值可以是通过将所述特征向量乘以从所述曝光条件获得的系数计算的，且所述图像的所述噪声成分可以是通过对通过执行傅里叶级数展开而获得的所述值执行傅里叶级数逆变换计算的。
所述估算单元生成下列方程式中的矩阵RT，并获得所述图像的所述噪声成分，
[数学式1]
其中R是所述比值，T是从所述曝光条件获得的系数，且G是所述图像的所述噪声成分。
所述估算单元可以获得矩阵rt的特征值1的特征向量，并估算出所述特征向量是所述图像的所述噪声成分，其中矩阵r是所述比值，且矩阵t是从所述曝光条件获得的矩阵。
与已经计算所述噪声成分的图像不同的图像的所述噪声成分可以是从所估算的所述噪声成分的线性和计算的。
所述估算单元通过借助最小二乘估计获得满足下列方程式的g1和g2来获得每个所述图像的所述噪声成分，
[数学式2]
t - I I - r g 1 g 2 = 0
其中r是所述比值，t是从所述曝光条件获得的值，I是所述图像的像素值，且g是所述噪声成分。
根据本发明的方面，图像处理方法包括：针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤。所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
根据本发明的方面，使计算机执行处理的程序，所述处理包括：针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤.所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
根据本发明的方面，电子设备包括：信号处理单元，其用于对从成像器件输出的像素信号执行信号处理，其中，所述信号处理单元包括：估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分；以及校正单元，其用于通过使用在所述估算单元处估算的所述噪声成分来执行从所述图像去除噪声的校正。所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
在根据本发明的一个方面的图像处理装置、图像处理方法和程序中，针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分。通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
在根据本发明的一个方面的电子设备中，对从所述成像器件中输出的像素信号执行信号处理，且作为所述信号处理中的一个处理，针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分，且通过使用所估算的噪声成分执行校正以从所述图像去除噪声。通过如下方式来执行所述估算：通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
本发明的有利效果
根据本发明的一个方面，可以在简单构造下高效地执行减少诸如闪烁等周期性噪声的处理。
应注意，本发明的有利效果不限于此处所述的有利效果，并可包括本发明中所述的任何有利效果。
附图说明
图1是用于说明闪烁的发生原理和校正的示图。
图2是用于说明闪烁的发生原理和校正的示图。
图3是用于说明闪烁的发生原理和校正的示图。
图4是图示了根据本发明的成像装置的实施例的构造的示图。
图5是图示了具有不同曝光时段的像素的布置示例的示图。
图6是图示了具有不同曝光时段的像素的布置示例的示图。
图7是图示了具有不同曝光时段的像素的布置示例的示图。
图8是图示了具有不同曝光时段的像素的布置示例的示图。
图9是图示了具有不同曝光时段的像素的布置示例的示图。
图10是图示了具有不同曝光时段的像素的布置示例的示图。
图11是图示了具有不同曝光时段的像素的布置示例的示图。
图12是图示了具有不同曝光时段的像素的布置示例的示图。
图13是图示了不同曝光时段的示图。
图14是用于说明图像处理单元的构造的示图。
图15是用于说明灵敏度分类插值单元的构造的示图。
图16是用于说明HDR合成单元的构造的示图。
图17是用于说明闪烁校正单元的构造的示图。
图18是用于说明闪烁校正单元的构造的示图。
图19是用于说明闪烁比值的示图。
图20是用于说明估算运算单元的构造的示图。
图21是用于说明估算运算单元的另一构造的示图。
图22是用于说明快门函数的示图。
图23是用于说明估算运算单元的另一构造的示图。
图24是用于说明频率空间中的闪烁成分的计算的示图。
图25是用于说明记录介质的示图。
具体实施方式
下面将对用于实施本发明的实施方式(在下文中，被称为实施例)进行说明。应注意，将按照下列顺序进行说明。
1.闪烁发生原理和校正原理
2.成像装置的构造
3.图像处理单元的构造
4.闪烁校正单元的构造
5.闪烁比值的计算
6.闪烁抑制的第一实施例
7.闪烁抑制的第二实施例
8.闪烁抑制的第三实施例
9.记录介质
<闪烁发生原理和校正原理>
首先，将参考图1对闪烁发生原理和校正原理进行说明。图1的部分A图示了在使用相机拍摄图像时所处的环境下的照明亮度随时间的变化。通常，由于商用电源是50Hz或60Hz的交流电源，所以诸如来自荧光灯的光等照明光很可能以100Hz或120Hz的频率波动。
应注意，虽然在本文中通过将闪烁用作示例来进行说明，但是下述的本发明还可应用于如同闪烁一样以预定频率出现的噪声等。
图1的曲线图A在横轴上表示时间t且在纵轴上表示每个时间t处的照明亮度f(t)。当时间t处的照明光亮度f(t)被分解成照明光亮度的平均值fD和相对于照明光亮度的平均值的波动值fA(t)时，可以以下列方程式表示时间t处的照明光亮度f(t)。
f(t)＝fD+fA(t)…(1)
照明光亮度的平均值fD是与时间t无关的常数值，且相对于平均值的波动值fA(t)成为以与照明频率相一致的方式周期性地波动的值。另外，当照明光亮度是具有周期的T的f(t)时，下面的关系成立。
[数学式3]
f(t+T)＝f(t)
&Integral; t t + T f ( &tau; ) d &tau; = f D
&Integral; t t + T f A ( &tau; ) d &tau; = 0... ( 2 )
闪烁校正处理是如下处理：从观察图像(即，使用相机拍摄的图像)中去除相对于照明光亮度平均值的波动值fA(t)的影响。
图1的部分B图示了成像器件的曝光时序的模式图，其中，如同在CMOS图像传感器中，在该成像器件中，每行具有不同的成像时序。部分B在横轴上表示时间t且在纵轴上表示成像器件的行y。示图中所示的示例是以固定间隔S拍摄连续图像帧的图像的情况下的示例，并图示了在拍摄帧1和帧2的两个图像时的曝光时序。在拍摄每帧图像时，从成像器件的上面一行到下面一行顺序地执行曝光。
由于成像器件的每行具有不同的拍摄每帧图像时的曝光时序，所以对于每行来说，累积的照明光的影响也不同。例如，成像器件的具有曝光时段E的预定像素的曝光完成时间被设定为t。如果在存在闪烁影响的条件下使该像素曝光时的照明光的总和被设定为FA(t,E)，则FA(t,E)可用下列方程式表示。
[数学式4]
F A ( t , E ) = &Integral; t - E t f ( &tau; ) d &tau; = f D &CenterDot; E + &Integral; t - E t f A ( &tau; ) d &tau; ... ( 3 )
没有闪烁的理想条件下的照明光的总和被设定为FD(t,E)。由于FD(t,E)不受闪烁影响，所以相对于照明光亮度平均值的波动值变为fA(t)＝0，且FD(t,E)可用下列方程式表示。
FD(t,E)＝fD×E…(4)
这里，“闪烁成分”被定义为没有闪烁的理想图像与受闪烁影响的图像之间的比值。闪烁成分等于像素累积的照明光总量之间的比值。因此，成像器件的具有曝光时段E的像素在曝光完成时间t处的闪烁成分g(t,E)可用下列方程式(5)表示。
[数学式5]
g t ( t , E ) = F A ( t , E ) F D ( t , E ) = Ef D + &Integral; t - E t f A ( &tau; ) d &tau; Ef D ... ( 5 )
图1的部分C在横轴上表示图像的每个像素的曝光完成时序t且在纵轴上表示闪烁成分g(t,E)，并示意性地图示了曝光完成时序t与闪烁成分g(t,E)之间的关系。应注意，如上所述，由于照明光出现波动，所以闪烁成分也具有周期性。因此，如果可以一次获得闪烁成分g(t,E)，则基本上可以估算与任何曝光完成时序t相对应的闪烁成分g(t,E)。
应注意，如图1的部分B所示的曝光完成时序以成像器件的行为单位进行变化。因此，如图1的部分C所示，闪烁成分g(t,E)成为取决于每行的曝光完成时序T的不同值。
图2的部分A是在受闪烁影响的成像器件的输出图像中出现的闪烁的影响的模式图。由于每行的曝光完成时序不同，所以在输出图像中出现了以行为单位的明暗条纹状图案。
图2的部分B是输出图像的每行中的闪烁成分g(t0,y,E)的曲线图。t0表示完成第一行中的曝光时的时间，且y表示目标行。成像装置(相机)的数据处理单元可基于拍摄图像时的曝光时段E以及每行y的曝光完成时序t来计算与图1中的曲线图C中的t相对应的闪烁成分g(t,E)。
具体地，将从完成预定行的曝光直到完成后面的下一行的曝光为止的时段单位定义为1[排]。当以此方式定义所述单位时，可以如下转换g(t0,y,E)和g(t,E)。
gy(t,y,E)＝gt(t+y,E)…(6)
成像装置(相机)的数据处理单元可基于拍摄图像时的曝光时段E以及每行y的曝光完成时序t来计算与图1中的曲线图C中的t相对应的闪烁成分g(t,E)。例如，当图2所示的第a行中的曝光完成时间被设定为t时，可以根据图1中的曲线图C计算与t相对应的闪烁成分g(t,E)。如果能够知晓具有曝光时段E的成像器件中的像素的曝光完成时间t处的闪烁成分g(t,E)，则可以估算成像器件的每行的闪烁成分g(y)。
图3图示了闪烁校正原理。图3包括下面的示图。
图3的部分A：包括闪烁成分的图像(＝图2的部分A)
图3的部分B：闪烁校正函数(＝图2的部分B的倒数)
图3的部分C：闪烁校正图像(＝图3的部分A×图3的部分B)
例如，可以通过如下方式获得图3的部分C所示的不受闪烁影响的理想图像：通过使用上述方法测量每行的闪烁成分g(y)并使图3的部分A所示的观察图像(即，使用相机拍摄的图像)的每个像素值乘以图3的部分B所示的闪烁成分g(y)的倒数。
<成像装置的构造>
根据本发明的图像处理装置接收设定了不同曝光时段的多个拍摄图像的输入并生成和输出去除或减小了闪烁成分的校正图像，从而例如生成高动态范围图像。根据本发明的图像处理装置例如将设定了不同曝光时段的多个拍摄图像进行合成，以生成和输出设定了从低亮度部分到高亮度部分的更精确的像素值的高动态范围图像。
在根据本发明的图像处理装置中，并不执行针对设定了不同曝光时段的多个图像中的每者计算闪烁成分的处理。仅对一个曝光时段中的拍摄图像执行计算闪烁成分的处理，且通过利用基于这一个曝光时段的拍摄图像计算的闪烁成分来执行对设定了其它不同曝光时段的拍摄图像中所包括的闪烁成分进行估算的处理。将对这种图像处理装置进行说明。
图4是图示了根据本发明的图像处理装置的实施例的构造的示图。这里，将通过使用包括图像处理装置的成像装置的示例来进行说明。
图4所示的成像装置100被构造成包括光学透镜101、成像器件102、图像处理单元103、信号处理单元104和控制单元105。在图4所示的成像装置100中，通过光学透镜101入射的光入射到成像单元(例如，配置有CMOS图像传感器的成像器件102等)上，并输出通过光电转换获得的图像数据。输出的图像数据被输入至图像处理单元103。
成像器件102的输出图像是所谓的在每个像素处设定了R、G和B的任一像素值的马赛克图像。图像处理单元103执行上述的闪烁校正处理，并还基于对长时段曝光图像和短时段曝光图像进行合成的处理来执行生成高动态范围(HDR)图像的处理等。
图像处理单元103的输出被输入至信号处理单元104。信号处理单元104执行诸如白平衡(WB)调整和伽马校正等在典型相机中执行的信号处理，以生成输出图像120。输出图像120被存储在没有图示的存储单元中或被输出至显示单元。
控制单元105根据例如存储在没有图示的存储器中的程序将控制信号输出至每个单元，以控制各种类型的处理。
应注意，虽然这里在成像器件102、图像处理单元103、信号处理单元104和控制单元105被分别地图示为单独的模块的情况下继续进行说明，但是这些单元中的所有或部分单元可以被一体地构造。
例如，还可以将成像器件102、图像处理单元103、信号处理单元104和控制单元105一体地构造成层叠结构。此外，还可以将成像器件102、图像处理单元103和信号处理单元104一体地构造成层叠结构。另外，还可以将成像器件102和图像处理单元103一体地构造成层叠结构。
另外，成像装置100的构造不限于图4所示的构造，并可以是其它构造。例如，还可以将图像处理单元103分成多个图像处理单元并通过将这些图像处理单元的一部分和成像器件102进行集成来构造层叠结构。
接下来，将参考图5对成像器件102的曝光控制构造的示例进行说明。在成像装置100中，以一个拍摄图像中所包括的像素为单位来设定长时段曝光像素和短时段曝光像素，且通过这些像素之间的合成处理(α混合)来生成高动态范围图像。这种曝光时段控制是通过控制单元105的控制来执行的。
图5图示了成像器件102的曝光时段设定的示例。如图5所示，用于构成成像器件的像素被分为两种类型的像素：被设定至第一曝光条件(短时段曝光)的像素和被设定至第二曝光条件(长时段曝光)的像素。
在图5中，有阴影的像素是在第一曝光条件下曝光的图像，而没有阴影的像素是在第二曝光条件下曝光的像素。如同在图5中，如同短时段曝光像素和长时段曝光像素一样使像素以不同曝光时段进行曝光的像素阵列被称为空间变化曝光(SVE)阵列。
图5所示的像素布置是布置在一至八行和一至八列中的R像素、G像素和B像素的布置。图5图示了图像传感器的一部分，且布置在除一至八行和一至八列之外的其它行和列中的R像素、G像素和B像素与布置在一至八行和一至八列中的R像素、G像素和B像素具有相同的构造。
例如，在下面说明中，在将像素描述为10(m,n)的情况下，m表示行且n表示列。另外，行是布置水平信号线(未图示)的水平方向，列是布置垂直信号线(未图示)的垂直方向。例如，像素200(2,1)表示位于第二行第一列中的像素。另外，这里，将左上像素设定为像素200(1,1)，且基于此像素200(1,1)表示每个像素的位置。将以相同方式表示其它附图。
将对图像传感器在水平方向(在图5中的水平方向和行方向)上的构造进行说明。在第一行中，布置有在第一曝光条件下曝光的R像素200(1,1)、G像素200(1,2)、G像素200(1,4)、R像素200(1,5)、G像素200(1,6)和G像素200(1,8)以及在第二曝光条件下曝光的R像素200(1,3)和R像素200(1,7)。
在此情况下，R像素和G像素交替地布置在第一行中。另外，对于第一行中的R像素200，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置。另外，第一行中的G像素200均在第一曝光条件下曝光。
在第二行中，布置有在第一曝光条件下曝光的B像素200(2,2)和B像素200(2,6)以及在第二曝光条件下曝光的G像素200(2,1)、G像素200(2,3)、B像素200(2,4)、G像素200(2,5)、G像素200(2,7)和B像素200(2,8)。
在此情况下，在第二行中，G像素和B像素交替地布置。另外，对于第二行中的B像素200，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置。另外，第二行中的G像素200均在第二曝光条件下曝光。
虽然第三行与第一行的不同之处在于像素从在第二曝光条件下曝光的R像素(3,1)开始布置，但如同在第一行中，R像素和G像素交替地布置，对于布置的R像素200，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置，且布置的G像素200均在第一曝光条件下曝光。
虽然第四行与第二行的不同之处在于像素从在第二曝光条件下曝光的G像素(4,1)和B像素200(4,2)开始布置，但如同在第二行中，R像素和G像素交替地布置，对于布置的B像素，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置，且布置的G像素200均在第二曝光条件下曝光。
R像素、G像素和B像素以与在第一行中类似的方式分别地布置在第五行中，以与在第二行中类似的方式分别地布置在第六行中，以与在第三行中类似的方式分别地布置在第七行中，并以与在第四行中类似的方式分别地布置在第八行中。
虽然在下面的说明中将通过使用图5所示的像素布置的示例进行说明，但是本发明不限于应用于图5所示的像素布置，并还可应用于其它像素布置。将参考图6至图12对其它像素布置的示例进行说明。
图6图示了像素布置的另一示例。在图6所示的像素布置中的第一行中，布置有在第一曝光条件下曝光的R像素210(1,1)、G像素210(1,2)、R像素210(1,3)、G像素210(1,4)、R像素210(1,5)、G像素210(1,6)、R像素210(1,7)和G像素210(1,8)。
在此情况下，在第一行中，均在第一曝光条件(短时段曝光)下曝光的R像素和G像素交替地布置。
在第二行中，布置有在第一曝光条件下曝光的G像素210(2,1)、B像素210(2,2)、G像素210(2,3)、B像素210(2,4)、G像素210(2,5)、B像素210(2,6)、G像素210(2,7)和B像素210(2,8)。
在此情况下，在第二行中，均在第一曝光条件(短时段曝光)下曝光的G像素和B像素交替地布置。
在第三行中，布置有在第二曝光条件下曝光的R像素210(3,1)、G像素210(3,2)、R像素210(3,3)、G像素210(3,4)、R像素210(3,5)、G像素210(3,6)、R像素210(3,7)和G像素210(3,8)。
在此情况下，在第三行中，均在第二曝光条件(长时段曝光)下曝光的R像素和G像素交替地布置。
在第四行中，布置有在第二曝光条件下曝光的G像素210(4,1)、B像素210(4,2)、G像素210(4,3)、B像素210(4,4)、G像素210(4,5)、B像素210(4,6)、G像素210(4,7)和B像素210(4,8)。
在此情况下，在第四行中，均在第二曝光条件(长时段曝光)下曝光的G像素和B像素交替地布置。
R像素、G像素和B像素以与在第一行中类似的方式分别地布置在第五行中，以与在第二行中类似的方式分别地布置在第六行中，以与在第三行中类似的方式分别地布置在第七行中，并以与在第四行中类似的方式分别地布置在第八行中。
本发明同样可应用于这种像素布置。
图7图示了像素布置的另一示例。在图7所示的像素布置中的第一行中，布置有在第一曝光条件下曝光的R像素220(1,1)、G像素220(1,2)、R像素220(1,5)和G像素220(1,6)以及在第二曝光条件下曝光的R像素220(1,3)、G像素220(1,4)、R像素220(1,7)和G像素220(1,8)。
在此情况下，在第一行中，R像素和G像素交替地布置，且对于R像素和G像素中的每者，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置。
在第二行中，布置有在第一曝光条件下曝光的G像素220(2,1)、B像素220(2,2)、G像素220(2,5)和B素220(2,6)及在第二曝光条件下曝光的G像素220(2,3)、B像素220(2,4)、G像素220(2,7)和B像素220(2,8)。
在此情况下，在第二行中，G像素和B像素交替地布置，且对于G像素和B像素中的每者，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替地布置。
虽然第三行与第一行的不同之处在于像素从在第二曝光条件下曝光的R像素220(3,1)和G像素220(3,2)开始布置，但如同在第一行中，R像素和G像素交替地布置，且对于布置的R像素和G像素中的每者，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替布置。
虽然第四行与第二行的不同之处在于像素从在第二曝光条件下曝光的G像素220(4,1)和B像素220(4,2)开始布置，但如同在第二行中，布置的G像素和B像素交替地布置，且对于G像素和B像素中的每者，在第一曝光条件下曝光的像素和在第二曝光条件下曝光的像素交替布置。
R像素、G像素和B像素以与在第一行中类似的方式分别地布置在第五行中，以与在第二行中类似的方式分别地布置在第六行中，以与在第三行中类似的方式分别地布置在第七行中，并以与在第四行中类似的方式分别地布置在第八行中。
本发明同样可应用于这种像素布置。
图8图示了像素布置的另一示例。在图8所示的像素布置中，使用相同的颜色图示了垂直和水平2×2的四个像素，且第一曝光条件的像素和第二曝光条件的像素布置成棋盘格图案(checkeredpattern)。
在布置在第一行和第二行中的2×2的四个像素之中，R像素230(1,1)、R像素230(1,2)、R像素230(2,1)和R像素230(2,2)这四个像素是R(红色)像素，其中R像素230(1,1)和R像素230(2,2)在第二曝光条件下曝光，且R像素230(1,2)和R像素230(2,1)在第一曝光条件下曝光。具有这种布置的四个红色像素将被描述为R像素块。
在布置在第一行和第二行中的与这种R像素块相邻的2×2的四个像素之中，G像素230(1,3)、G像素230(1,4)、G像素230(2,3)和G像素230(2,4)这四个像素是G(绿色)像素，其中G像素230(1,3)和G像素230(2,4)在第二曝光条件下曝光，且G像素230(1,4)和G像素230(2,3)在第一曝光条件下曝光。具有这种布置的四个绿色像素将被描述为G像素块。
在第一行和第二行中，R像素块和G像素块交替地布置。
在第三行和第四行中，布置有由G像素230(3,1)、G像素230(3,2)、G像素230(4,1)和G像素230(4,2)构成的G像素块。
在布置在第三行和第四行中的与该G像素块相邻的2×2的四个像素之中，B像素230(3,3)、B像素230(3,4)、B像素230(4,3)和B像素230(4,4)这四个像素是B(蓝色)像素，其中B像素230(3,3)和B像素230(4,4)在第二曝光条件下曝光，且B像素230(3,4)和B像素230(4,3)在第一曝光条件下曝光。具有这种布置的四个蓝色像素将被描述为B像素块。
在第三行和第四行中，G像素块和B像素块交替地布置。
如同在第一行和第二行中，在第五行和第六行中，R像素块和G像素块交替地布置。如同在第三行和第四行中，在第七行和第八行中，G像素块和B像素块交替地布置。
本发明同样可应用于这种像素布置。
图9图示了像素布置的另一示例。虽然图9所示的像素布置具有与图8所示的像素布置相同的颜色布置，但是图9所示的像素布置与图8所示的像素布置不同之处在于具有不同曝光条件的像素的布置。
在布置在第一行和第二行中的2×2的四个像素之中，在由R像素240(1,1)、R像素240(1,2)、R像素240(2,1)和R像素240(2,2)构成的R’像素块的四个像素之中，R像素240(1,1)和R像素240(1,2)在第一曝光条件下曝光，R像素240(2,1)和R像素240(2,2)在第二曝光条件下曝光。
在布置在第一行和第二行中的与这种R’像素块相邻的2×2的四个像素之中，在由G像素240(1,3)、G像素240(1,4)、G像素240(2,3)和G像素240(2,4)构成的G’像素块的四个像素之中，G像素240(1,3)和G像素240(1,4)在第一曝光条件下曝光，且G像素240(2,3)和G像素240(2,4)在第二曝光条件下曝光。
在第三行和第四行中，布置有由G像素240(3,1)、G像素240(3,2)、G像素240(4,1)和G像素240(4,2)构成的G’像素块。
在布置在第三行和第四行中的与该G’像素块相邻的2×2的四个像素之中，在由B像素240(3,3)、B像素240(3,4)、B像素240(4,3)和B像素240(4,4)构成的B’像素块的四个像素之中，B像素240(3,3)和B像素240(3,4)在第一曝光条件下曝光，且B像素240(4,3)和B像素240(4,4)在第二曝光条件下。
如同在第一行和第二行中，在第五行和第六行中，R’像素块和G’像素块交替地布置。如同在第三行和第四行中，在第七行和第八行中，G’像素块和B’像素块交替地布置。
在图9所示的像素布置中，在第一曝光条件下曝光的像素布置在奇数行中，且在第二曝光条件下曝光的像素布置在偶数行中。
本发明同样可应用于这种像素布置。
图10图示了像素布置的另一示例。虽然图10所示的像素布置具有与图8所示的像素布置相同的颜色布置，但是图10所示的像素布置与图8所示的像素布置不同之处在于具有不同曝光条件的像素的布置。
在布置在第一行和第二行中的2×2的四个像素之中，在由R像素250(1,1)、R像素250(1,2)、R像素250(2,1)和R像素250(2,2)构成的R”像素块的四个像素之中，R像素250(1,1)和R像素250(2,1)在第一曝光条件下曝光，R像素250(1,2)和R像素250(2,2)在第二曝光条件下曝光。
在布置在第三行和第四行中的与这种R”像素块相邻的2×2的四个像素之中，在由G像素250(1,3)、G像素250(1,4)、G像素250(2,3)和G像素250(2,4)构成的G”像素块的四个像素之中，G像素250(1,3)和G像素250(2,3)在第一曝光条件下曝光，且G像素250(1,4)和G像素250(2,4)在第二曝光条件下。
在第三行和第四行中，布置有由G像素250(3,1)、G像素250(3,2)、G像素250(4,1)和G像素250(4,2)构成的G”像素块。
在布置在第三行和第四行中的与该G”像素块相邻的2×2的四个像素之中，在由B像素250(3,3)、B像素250(3,4)、B像素250(4,3)和B像素250(4,4)构成的B”像素块的四个像素之中，B像素250(3,3)和B像素250(4,3)在第一曝光条件下曝光，且B像素250(3,4)和B像素250(4,4)在第二曝光条件下曝光。
如同在第一行和第二行中，在第五行和第六行中，R”像素块和G”像素块交替地布置。如同在第三行和第四行中，在第七行和第八行中，G”像素块和B”像素块交替地布置。
在图10所示的像素布置中，在第一曝光条件下曝光的像素布置在奇数行中，且在第二曝光条件下曝光的像素布置在偶数行中。
本发明同样可应用于这种像素布置。
图11图示了像素布置的另一示例。在图11所示的像素布置中，在第一行中，布置有在第一曝光条件下曝光的G像素260(1,1)、R像素260(1,2)、G像素260(1,3)、B像素260(1,4)、G像素260(1,5)、R像素260(1,6)、G像素260(1,7)和B像素260(1,8)。
在此情况下，在第一行中，布置有均在第一曝光条件(短时段曝光)下曝光的R像素、G像素和B像素。
在第二行中，布置有在第二曝光条件下曝光的B像素260(2,1)、G像素260(2,2)、R像素260(2,3)、G像素260(2,4)、B像素260(2,5)、G像素260(2,6)、R像素260(2,7)和G像素260(2,8)。
在此情况下，在第二行中，布置有均在第二曝光条件(长时段曝光)下曝光的R像素、G像素和B像素。
在第三行中，布置有在第一曝光条件下曝光的G像素260(3,1)、B像素260(3,2)、G像素260(3,3)、R像素260(3,4)、G像素260(3,5)、B像素260(3,6)、G像素260(3,7)和R像素260(3,8)。
在此情况下，在第三行中，布置有均在第一曝光条件(短时段曝光)下曝光的R像素、G像素和B像素。
在第四行中，布置有在第二曝光条件下曝光的R像素260(4,1)、G像素260(4,2)、B像素260(4,3)、G像素260(4,4)、R像素260(4,5)、G像素260(4,6)、B像素260(4,7)和G像素260(4,8)。
在此情况下，在第四行中，布置有均在第二曝光条件(长时段曝光)下曝光的R像素、G像素和B像素。
R像素、G像素和B像素以与在第一行中类似的方式分别地布置在第五行中，以与在第二行中类似的方式分别地布置在第六行中，以与在第三行中类似的方式分别地布置在第七行中，并以与在第四行中类似的方式分别地布置在第八行中。
本发明同样可应用于这种像素布置。
如上所述，本发明可应用于如下成像装置，该成像装置例如包括电荷耦合器件(CCD)传感器或互补氧化物半导体(CMOS)传感器等作为成像装置中所包括的成像器件。另外，本发明可应用于布置有输出R(红色)、G(绿色)和B(蓝色)的颜色光的三个像素的图像传感器。另外，本发明还可应用于如图12所示布置有输出R(红色)、G(绿色)、B(蓝色)和W(白色)的颜色光的四个像素的图像传感器。
如图12所示，输出R(红色)、G(绿色)、B(蓝色)和W(白色)的颜色光的四个像素在显示区域中布置成矩阵。W像素充当具有全色光谱灵敏度的像素，且R像素、G像素和B像素充当具有各个颜色的特性的光谱灵敏度的像素。
图12图示了像素布置的另一示例，并图示了包括W像素的像素布置的示例。在图12所示的像素布置中，在第一行中，布置有在第一曝光条件下曝光的G像素270(1,1)、R像素270(1,2)、W像素270(1,3)、B像素270(1,4)、G像素270(1,5)、R像素270(1,6)、W像素270(1,7)和B像素270(1,8)。
在此情况下，在第一行中，布置有均在第一曝光条件(短时段曝光)下曝光的R像素、G像素、B像素和W像素。
在第二行中，布置有在第二曝光条件下曝光的R像素270(2,1)、W像素270(2,2)、B像素270(2,3)、G像素270(2,4)、R像素270(2,5)、W像素270(2,6)、B像素270(2,7)和G像素270(2,8)。
在此情况下，在第二行中，布置有均在第二曝光条件(长时段曝光)下曝光的R像素、G像素、B像素和W像素。
在第三行中，布置有在第一曝光条件下曝光的W像素270(3,1)、B像素270(3,2)、G像素270(3,3)、R像素270(3,4)、W像素270(3,5)、B像素270(3,6)、G像素270(3,7)和R像素270(3,8)。
在此情况下，在第三行中，布置有均在第一曝光条件(短时段曝光)下曝光的R像素、G像素、B像素和W像素。
在第四行中，布置有在第二曝光条件下曝光的B像素270(4,1)、G像素270(4,2)、R素270(4,3)、W像素270(4,4)、B像素270(4,5)、G像素270(4,6)、R素270(4,7)和W像素270(3,8)。
在此情况下，在第四行中，布置有均在第二曝光条件(长时段曝光)下曝光的R像素、G像素、B像素和W像素。
R像素、G像素、B像素和W像素以与在第一行中类似的方式分别地布置在第五行中，以与在第二行中类似的方式分别地布置在第六行中，以与在第三行中类似的方式分别地布置在第七行中，并以与在第四行中类似的方式分别地布置在第八行中。
本发明同样可应用于这种像素布置。
参考图5至图12所述的像素布置是示例，且本发明还可应用于未说明的像素布置。
另外，在拍摄一个图像时，虽然将如上所述通过使用同时使用短时段曝光(第一曝光条件)和长时段曝光(第二曝光条件)拍摄图像的示例来继续进行说明，但是本发明还可应用于如下情况：在没有分离短时段曝光像素与长时段曝光像素的情况下，通过使用正常像素交替地拍摄短时段曝光图像和长时段曝光图像获得短时段曝光图像和长时段曝光图像。
在此情况下，由于成像时序不同，所以可通过如下方式应用本发明：将考虑到成像时序的矩阵用作用于后述的闪烁校正时的运算的矩阵。
另外，虽然在上述示例中，已经使用了利用两种类型的曝光时段(短时段曝光和长时段曝光)拍摄图像的成像装置的示例进行说明，但是本发明还可应用于对具有三种以上类型的曝光时段的拍摄图像进行组合的成像装置。
当组合具有三种以上类型的曝光时段的拍摄图像时，还可以从第一曝光图像和第二曝光图像估算第一闪烁成分并从第一闪烁成分转换和估算第三闪烁成分。另外，还可以通过如下方式获得解：通过组合所有的第一曝光图像、第二曝光图像和第三曝光图像来生成矩阵。稍后将对获得闪烁成分的方法进行说明。
另外，虽然在上述实施例中，已经对成像器件的像素的光谱灵敏度为RGB或RGB+W的情况下的示例进行说明，但是当使用本发明时，光谱灵敏度并不会成为约束。即，还可以使用具有除RGB和RGB+W之外的光谱灵敏度的像素。例如，还可以组合除诸如Y(黄色)、C(蓝绿色)和M(品红色)等互补色之外还包括G的四个行。
在下面的说明中，将使用图5所示的像素布置的示例进行说明。
图13图示了各个像素的曝光时段的设定示例。设定在第一曝光条件(短时段曝光)下的像素经过短时段的曝光处理。设定在第二曝光条件(长时段曝光)下的像素经过长时段的曝光处理。应注意，这种以像素为单位的曝光控制是例如通过图4所示的成像装置100的将控制信号输出至成像器件102的控制单元105执行的。
<图像处理单元的构造>
接下来，将对图4所示的成像装置100的图像处理单元103进行说明。首先，将参考图14对由图像处理单元103执行的处理进行说明。如图14所示，图像处理单元103具有灵敏度分类插值单元311、闪烁校正单元312和HDR合成单元(高动态范围图像合成单元)313。
灵敏度分类插值单元311接收如图5所示的一个成像器件内的具有短时段曝光像素和长时段曝光像素的SVE阵列的图像的输入，并生成和输出整个画面被短时段曝光的第一曝光图像141和整个画面被长时段曝光的第二曝光图像142。输出图像的颜色阵列可以与输入图像的颜色阵列(在本示例中，拜耳阵列)相同，或可以是受到用于将RGB一起放置在一个像素位置的去马赛克处理之后的图像。这里，将对输出图像的颜色阵列与输入图像的颜色阵列(在本示例中，拜耳阵列)相同的示例进行说明。
图15图示了灵敏度分类插值单元311的详细构造示例。如图11所示，灵敏度分类插值单元311具有提取单元331和332以及插值处理单元333和334，其中提取单元331和332用于仅提取短时段曝光像素和长时段曝光像素中的具有任一灵敏度的像素，且插值处理单元333和334用于通过使用具有各个灵敏度像素来设定其它灵敏度的像素部分的像素值并生成仅由低灵敏度像素(短时段曝光像素)形成的第一曝光图像141和仅由高灵敏度像素(长时段曝光像素)形成的第二曝光图像142。
提取单元331和332提取灵敏度和颜色期望由周边像素插值的像素，且插值处理单元333和334执行插值处理。应注意，还可通过使用如下方法来执行插值：根据所生成的图像将简单LPF用于灵敏度的像素值的方法；或根据周边像素来估算图像的边缘方向且通过将沿边缘方向的像素值用作参考像素值来执行插值的方法等。
灵敏度分类插值单元311通过应用图15中的构造接收如图4所示的成像器件内的具有长时段曝光像素和短时段曝光像素的SVE阵列的输入，并生成和输出整个画面被短时段曝光的第一曝光图像141和整个画面被长时段曝光的第二曝光图像142。
将返回来对图14所示的图像处理单元103进行说明。将从灵敏度分类插值单元311输出的第一曝光图像141和第二曝光图像142提供至闪烁校正单元312。闪烁校正单元312生成闪烁成分受到抑制的闪烁校正第一曝光图像143和闪烁校正第二曝光图像144，并将闪烁校正第一曝光图像143和闪烁校正第二曝光图像144提供至HDR合成单元313。
稍后将对闪烁校正单元312的构造和操作的细节进行说明，以作为第一至第三实施例，且将继续对图14所示的图像处理单元103的构造和操作进行说明。
HDR合成单元(高动态范围图像合成单元)313具有如图16所示的构造并执行HDR合成。图16所示的HDR合成单元313具有曝光校正单元351和352、混合系数计算单元353以及混合处理单元354。
曝光校正单元351和352通过与给予曝光时段的常数的相乘来匹配闪烁校正第一曝光图像143和闪烁校正第二曝光图像144的相应像素的亮度。例如，当曝光比值为1:2时，将作为短时段曝光图像的闪烁校正第一曝光图像143的像素值乘以2，而将作为长时段曝光图像的闪烁校正第二曝光图像144的像素值乘以1。
混合系数计算单元353计算混合系数，混合系数表示应当使用多大的以相应像素为单位的比值来混合曝光校正之后的作为短时段曝光图像的闪烁校正第一曝光图像143的像素值和混合曝光校正之后的作为长时段曝光图像的闪烁校正第二曝光图像144的像素值。
在此混合系数计算中，例如以如下方式设定混合系数：短时段曝光图像的像素值的权重在高亮度区域中被设定成较大，而长时段曝光图像的像素值的权重在低亮度区域中被设定成较大。通过这种系数设定处理，可以以更高的精确度表述从低亮度区域到高亮度区域的像素值。
混合处理单元354执行根据由混合系数计算单元353计算的混合系数来混合经过曝光校正的闪烁校正第一曝光图像143和经过曝光校正的闪烁校正第二曝光图像144的相应像素值的处理，并设定闪烁校正HDR图像145的每个像素值。
应注意，当经过曝光校正的闪烁校正第一曝光图像143的像素值为S，经过曝光校正的闪烁校正第二曝光图像144的像素值为L，且混合系数为α(这里，0≤α≤1)时，可以使用下列方程式来计算闪烁校正HDR图像231的像素值H。
H＝(1-α)×S+α×L
HDR合成单元(高动态范围图像合成单元)313生成并输出闪烁校正HDR图像145，其中，通过这些处理以更高的精确度来表达闪烁校正HDR图像145中的从低亮度区域到高亮度区域的像素值。
通过在HDR合成单元(高动态范围图像合成单元)313处对具有不同曝光时段的图像进行合成的处理来生成HDR图像。即，例如，执行如下混合处理：短时段曝光图像的像素值的权重在高亮度区域中被设定成较大，而长时段曝光图像的像素值的权重在低亮度区域中被设定成较大，且产生并输出以更高的精确度表达从低亮度区域到高亮度区域的像素值的高动态范围(HDR)图像。
如后所述，在本发明的图像处理装置中，在输入具有不同曝光时段的多个图像以生成高动态范围(HDR)图像的构造中，由于使用了仅计算与一个参考曝光图像相对应的闪烁成分且根据该参考曝光图像的闪烁成分估算和计算具有其它曝光时段的图像的闪烁成分的构造，所以不需要执行根据各个曝光时段分别地计算各个图像的闪烁成分的处理，使得可以实现高效处理。
应注意，图15所示的灵敏度分类插值单元311和图16所示的HDR合成单元313是示例，且还可以使用取决于第一曝光条件下的像素和第二曝光条件下的像素的布置(例如，如图5所示的像素布置)的其它构造。另外，即使当执行闪烁校正单元312处的处理之前和之后的处理的灵敏度分类插值单元311和HDR合成单元313具有取决于后述的闪烁校正单元312处的处理的其它构造时，也可以应用本发明。
<闪烁校正单元的构造>
图17图示了闪烁校正单元312的内部构造示例。闪烁校正单元312根据与校正相关的操作而具有多个实施例，且在下面将使用第一至第三实施例的示例进行说明的同时，将参考图17对第一至第三实施例之中的共同的构造进行说明。
另外，在第一和第二实施例中，通过执行使用了被称为闪烁比值的比值的运算来估算每个图像的闪烁成分，且在第三实施例中，通过执行不使用比值的运算来估算每个图像的闪烁成分。另外，第一至第三实施例的共同之处在于，通过执行利用了在曝光条件下拍摄的图像中所包括的诸如闪烁等具有周期性的噪声之间的相互关系的运算来估算每个图像的噪声成分。
图17所示的闪烁校正单元312被构造成包括闪烁估算单元371、第一曝光图像闪烁校正单元372和第二曝光图像闪烁校正单元373。闪烁估算单元371具有如图18所示的构造，并根据输入的第一曝光图像141和第二曝光图像142来生成第一闪烁成分381和第二闪烁成分382。
将由闪烁估算单元371生成的第一闪烁成分381提供至第一曝光图像闪烁校正单元372。将第一曝光图像141也提供至第一曝光图像闪烁校正单元372。第一曝光图像闪烁校正单元372针对每行通过将第一曝光图像141乘以所估算的第一闪烁成分381的倒数来执行闪烁校正，并输出闪烁校正第一曝光图像143。
以类似的方式，将由闪烁估算单元371生成的第二闪烁成分382提供至第二曝光图像闪烁校正单元373。将第二曝光图像142也提供至第二曝光图像闪烁校正单元373。第二曝光图像闪烁校正单元373针对每行通过将第二曝光图像142乘以所估算的第二闪烁成分382的倒数来执行闪烁校正，并输出闪烁校正第二曝光图像144。
将以此方式校正的闪烁校正第一曝光图像143和闪烁校正第二曝光图像输出至HDR合成单元313(图14)。
图18图示了图17所示的闪烁估算单元371的内部构造示例。图18所示的闪烁估算单元371被构造成包括积分值计算单元401、积分值计算单元402、相除单元403和估算运算单元404。
将第一曝光图像141提供至积分值计算单元401，且将第二曝光图像142提供至积分值计算单元402。积分值计算单元401沿水平方向对第一曝光图像141进行积分并将积分值输出至相除单元403。以类似的方式，积分值计算单元402沿水平方向对第二曝光图像142进行积分并将积分值输出至相除单元403。
分别计算第一曝光图像141和第二曝光图像142的积分值的积分值计算单元401和积分值计算单元402可针对所有像素执行处理，或可针对预定区域内的像素执行处理。
另外，还可以采用不将第一曝光图像141和第二曝光图像142中的任一者的像素发生饱和的位置处的像素用于积分运算的构造。例如，可将不包括光晕(halation)、黑缺陷或被摄体部分等的部分设定为在执行积分时将要使用的部分。
将根据第一曝光图像141计算的积分值(被称为第一积分值)从积分值计算单元401提供至相除单元403，且将根据第二曝光图像142计算的积分值(被称为第二积分值)从积分值计算单元402提供至相除单元403。相除单元403通过将所提供的第一积分值除以第二积分值来获得闪烁比值。将所获得的闪烁比值411提供至估算运算单元404。
估算运算单元404根据闪烁比值411分别计算第一闪烁成分381和第二闪烁成分382。这里，将对闪烁比值411的计算进行说明。
应注意，闪烁比值是各个图像的闪烁成分的比值，且这里将在假定闪烁比值是第一闪烁成分381与第二闪烁成分382的比值的情况下继续进行说明。另外，当意图去除如同闪烁一样的具有预定周期的噪声时，每个图像的噪声成分的比值对应于下述的闪烁比值，且可以以与下述的闪烁比值类似的方式计算噪声成分的比值。
<闪烁比值的计算>
这里，将参考图19对闪烁比值进行说明。图19的部分A图示了作为由于闪烁的影响而在图像上存在条纹状图案的图像的示例的第一曝光图像141和第二曝光图像142。
图19的部分B的上部图示了在第一曝光图像141的有效部分上沿水平方向执行积分的情况下的结果的一个示例。另外，图19的部分B的下部图示了在第二曝光图像142的有效部分上沿水平方向执行积分的情况下的结果的一个示例。用于积分的有效部分是不包括光晕、黑缺陷或被摄体部分等的部分。
通过获得水平方向(积分执行方向)上的每个相同位置上的比值，可以获得如图19的部分C所示的闪烁比值。
通过使一个积分值乘以增益使得曝光水平变得相等，使除闪烁成分之外的被摄体成分在两个图像之间变得相等，并因而去除被摄体成分。通过这种方式，由于仅需要纯粹地考虑两个图像中的闪烁成分，所以可以提高此后的闪烁成分的估算的精确度。
应注意，虽然在图19中，例如，当闪烁的周期数是已知的时，作为一个示例，针对图像的每个坐标计算闪烁比值，但是还可以使用设置了与闪烁的周期数相对应的坐标且在相同的坐标上积分出相同相位的积分值的构造。
将对闪烁比值的这种计算作进一步说明。当曝光图像的顶行上的曝光完成时间为t且曝光时段为E时，可以使用下列方程式表示受闪烁影响的观察图像。
I(x,y,t,E)＝I0(x,y)×E×gt(t+y,E)…(7)
在方程式(7)中，I0(x,y)是在单位曝光时段中不受闪烁影响的真实图像的值。
如上所述，当短时段曝光为第一曝光条件且长时段曝光为第二曝光条件时，曝光时段和曝光完成时间定义如下。
第一曝光条件：曝光时段为E1，且曝光完成时间为t1
第二曝光条件：曝光时段为E2，且曝光完成时间为t2
另外，E1≤E2。
另外，当使用上述方程式(7)简单地表示在第一曝光条件下拍摄的图像和在第二曝光条件下拍摄的图像时，这些图像可分别使用下列方程式(8)表示。
I1(x,y)＝I(x,y,t1,E1)
I2(x,y)＝I(x,y,t2,E2)…(8)
当如上所述进行定义时，可以如下获得闪烁比值。
闪烁比值被定义为第一曝光条件下的闪烁成分与第二曝光条件下的闪烁成分的比值。可以通过使用下列方程式(9)来根据两个曝光图像获得闪烁比值。
[数学式6]
r 12 ( y ) = E 2 &times; &Integral; x , y &Element; &Omega; I 1 ( x , y ) d x E 1 &times; &Integral; x , y &Element; &Omega; I 2 ( x , y ) d x = g t ( y + t 1 , E 1 ) g t ( y + t 2 , E 2 ) ... ( 9 )
然而，为了避免饱和像素的影响，在将第一曝光条件下的第一曝光图像141和第二曝光条件下的第二曝光图像142都不饱和的区域(Ω)用作执行积分的区域的情况下执行积分。
基于方程式(9)中的运算执行在图18所示的闪烁估算单元371的积分值计算单元401、积分值计算单元402和相除单元403中的每个单元处执行的运算。以此方式计算闪烁比值411。
可以通过使用方程式(9)来确定下列的方程式(10)的关系式。
r12(y)×gt(y+t2,E2)＝g1(y+t1,E1)…(10)
如果基于方程式(9)获得闪烁比值，则通过使用方程式(10)，一个闪烁成分(例如，第二闪烁成分381)可以根据另一个闪烁成分(例如，第二闪烁成分382)来获得。
<闪烁抑制的第一实施例>
作为第一实施例，将对通过使用实空间(realspace)中的解来获得闪烁成分的情况进行说明。图20是图示了第一实施例中的闪烁校正单元312内部的闪烁估算单元371的估算运算单元404的内部构造示图。
图20所示的估算运算单元404被构造成包括矩阵生成单元431、矩阵运算单元432和闪烁成分转换单元433。矩阵生成单元431根据输入的闪烁比值411生成下述的矩阵，且矩阵运算单元432对该矩阵执行运算。通过对该矩阵执行运算来生成第一闪烁成分381。
还将来自矩阵运算单元432的第一闪烁成分381提供至闪烁成分转换单元433。闪烁成分转换单元433根据所提供的第一闪烁成分381生成第二闪烁成分382。
在此实施例中，一个闪烁成分是根据另一个闪烁成分生成的。虽然这里，将在假定根据第一闪烁成分381来生成第二闪烁成分382的情况下继续进行说明，但是还可以使用根据第二闪烁成分382来生成第一闪烁成分381的构造，其中，第一闪烁成分381是从在短时段曝光(第一曝光条件)下得到的第一曝光图像141获得的，且第二闪烁成分382是从在长时段曝光(第二曝光条件)下得到的第二曝光图像142获得的。
可以应用本申请的申请人在本申请之前提交的专利申请第2012-90897号中所披露的元素，以作为如上所述的用于根据一个闪烁成分获得另一个闪烁成分的运算。专利申请第2012-90897号进行了如下说明：可以通过使用经短时段曝光(第一曝光条件)的闪烁成分gt(y+t2,E2)的线性和来表示经长时段曝光(第二曝光条件)的闪烁成分gt(y+t2,E2)。
即，当使用矢量进行表示时，可将闪烁成分表示为下列方程式(11)。
[数学式7]
g t ( t 2 + 0 , E 2 ) . . . g t ( t 2 + N - 1 , E 2 ) = t g t ( t 1 + 0 , E 1 ) . . . g t ( t 1 + N - 1 , E 1 ) ... ( 11 )
在方程式(11)中，矩阵t是专利申请第2012-90897号中的被表示为矩阵的运算。为简化，以下列方程式表示方程式(11)。在方程式(12)中，g1表示第一闪烁成分381，且g2表示第二闪烁成分382。
g2＝tg1…(12)
可通过使用方程式(11)和(12)将上述方程式(10)表示为下列方程式。
[数学式8]
在方程式(13)中，可以从图像中测量矩阵r，且可以根据第一曝光条件与第二曝光条件之间的相互关系获得矩阵t。因此，根据下列两个方程式获得第一闪烁成分381和第二闪烁成分382。下列方程式(14)中的上部分中的方程式是方程式(12)，且下部分中的方程式是方程式(13)。
g2＝tg1
rg2＝g1…(14)
对于解1，通过利用如下运算获得闪烁成分g1和g2：可以从方程式(14)导出下列方程式(15)。
rtg1＝g1…(15)
如果从方程式(15)获得矩阵rt的特征值1的特征向量，则可以获得第一曝光条件(短时段曝光)下的闪烁成分g1(第一闪烁成分381)。通常，虽然特征向量具有常数因子的任意特性，但是由于闪烁成分的平均值约为1，所以可以唯一地获得第一闪烁成分381。如果可以获得第一闪烁成分381，则可以根据第一闪烁成分381获得第二闪烁成分382(例如，可以应用专利申请第2012-98097号中所披露的技术)。
对于解2，如在下列方程式(16)中，将方程式(14)表示成一个矩阵。
[数学式9]
t - I I - r g 1 g 2 = 0... ( 16 )
仅需要通过使用最小二乘估计(least-squaresestimation)来获得满足方程式(16)的第一闪烁成分381和第二闪烁成分382。在方程式(16)中，t是用于将短时段曝光的闪烁成分转换成长时段曝光的闪烁成分的系数，且r是使用方程式(9)表示的闪烁比值，并可以从图像中获得。
像素值I也可以从图像中获得。因此，方程式(16)中的第一项内的数值是可以从图像等中获得的值。从这可以看出，可以通过使用最小二乘估计从方程式(16)获得第一闪烁成分381和第二闪烁成分382。
可以通过应用解1或解2分别地获得第一闪烁成分381和第二闪烁成分382。
如果应用解1，则图20所示的估算运算单元404的矩阵生成单元431生成由方程式(15)表示的矩阵rt，且矩阵运算单元432通过使用所生成的矩阵rt来执行矩阵运算并生成闪烁成分g1(第一闪烁成分381)。
具体地，矩阵运算单元432获得矩阵rt的特征值1的特征向量。所获得的特征向量成为第一闪烁成分381。应注意，特征向量的平均值被限制成1。闪烁成分转换单元433基于由方程式(14)表示的g2＝tg1的关系式来根据第一闪烁成分381生成第二闪烁成分382。
如果应用解2，则矩阵生成单元431生成由方程式(16)表示的矩阵，且矩阵运算单元432对该矩阵执行运算。通过矩阵运算单元432的运算生成第一闪烁成分381，且通过闪烁成分转换单元433生成第二闪烁成分382。例如，矩阵运算单元432可被构造成通过使用最小二乘法(least-squaresmethod)获得预定函数，以计算第一闪烁成分381，且闪烁成分转换单元433可被构造成根据预定函数和第一闪烁成分381计算第二闪烁成分382。
应注意，虽然图20图示了作为不同模块的矩阵运算单元432和闪烁成分转换单元433，但是矩阵运算单元432和闪烁成分转换单元433可以是相同的模块。换言之，为了清楚地图示在计算一个闪烁成分之后计算另一个闪烁成分，单独地对矩阵运算单元432和闪烁成分转换单元433进行了图示和说明。
然而，还可以使用如下构造：矩阵运算单元432和闪烁成分转换单元433被构造成一个模块，生成一个闪烁成分并在模块内从该闪烁成分生成另一个闪烁成分，且最终从模块输出第一闪烁成分381和第二闪烁成分382。
以此方式，可以应用实空间中的解来计算不同曝光条件下的两个图像的各个闪烁成分。因此，可以对不同曝光条件下的两个图像的各个闪烁成分进行校正并根据经过闪烁成分校正的两个图像来生成一个高动态范围图像。
<闪烁抑制的第二实施例>
接下来，作为第二实施例，将对通过使用复空间(complexspace)中的解来获得闪烁成分的情况进行说明。图21是图示了第二实施例中的闪烁校正单元312内部的闪烁估算单元371的估算运算单元404'的内部构造示例的示图。应注意，这里，为了区分估算运算单元404'与图20所示的第一实施例中的估算运算单元404，将通过增加短划标记来对第二实施例中的估算运算单元404'进行说明。
图21所示的估算运算单元404'被构造成包括傅里叶级数变换单元461、矩阵生成单元462、矩阵运算单元463、傅里叶级数逆变换单元464、闪烁成分转换单元465和傅里叶级数逆变换单元466。
将闪烁比值411提供至估算运算单元404'的傅里叶级数变换单元461。傅里叶级数变换单元461对所提供的闪烁比值411执行傅里叶级数展开。可使傅里叶级数变换单元461的傅里叶级数的基准频率与闪烁的频率相同。
例如，当闪烁是由荧光灯等引起的时，将傅里叶级数变换单元461的傅里叶级数的基准频率设定为100Hz或120Hz。另外，当意图去除周期性噪声时，将适用于噪声周期的频率设定为傅里叶级数的基准频率。
矩阵生成单元462获得后述的矩阵RT。矩阵运算单元463在如下条件下获得在矩阵生成单元462处生成的矩阵RT的特征值1的特征向量：G1(0)＝1，且和G1(ω)成为复共轭[数学式10]。
在矩阵运算单元463计算的值是通过对第一闪烁成分381执行傅里叶级数展开而获得的值。通过在傅里叶级数逆变换单元464对这个值执行傅里叶级数逆变换，可以获得第一闪烁成分381。
还将通过对第一闪烁成分381执行傅里叶级数展开而获得的值从矩阵运算单元463提供至闪烁成分转换单元465。闪烁成分转换单元465生成通过如下方式获得的值：通过将转换系数T12(ω)乘以通过对第一闪烁成分执行傅里叶级数展开而获得的值来将第二闪烁成分382转换成傅里叶级数。
将在闪烁成分转换单元465处转换的值提供至傅里叶级数逆变换单元466，以对该值进行傅里叶级数逆变换，并使其成为第二闪烁成分382。
以此方式，通过获得频率空间(复空间)中的解，可以以更少的运算获得闪烁成分。将对这种运算作进一步说明。
如上所述，在闪烁比值与闪烁成分之间存在下列关系式(10)。
r12(y)×gt(y+t2,E2)＝g1(y+t1,E1)…(10)
当对该关系式(10)的两边均执行傅里叶变换时，由于乘法变成卷积运算(convolutionoperation)，所以可以获得下列方程式(17)。应注意，这里，基本上通过使用小写字母来表示实空间中的符号，而通过使用大写字母来表示频率空间中的符号。
[数学式11]
R 12 ( &omega; ) &CircleTimes; G 2 ( &omega; ) = G 1 ( &omega; ) ... ( 17 )
在方程式(17)中，G1(ω)表示通过对第一闪烁成分381执行傅里叶变换获得的值，而G2(ω)表示通过对第二闪烁成分382执行傅里叶变换获得的值。另外，如后所述，如在下列方程式(18)中，通过使用根据第一曝光条件和第二曝光条件获得的值T12(ω)来表示G1(ω)和G2(ω)。
[数学式12]
G2(ω)＝T12(ω)×G1(ω)…(18)
可以从方程式(17)和方程式(18)获得下列方程式(19)。
[数学式13]
R 12 ( &omega; ) &CircleTimes; T 12 ( &omega; ) &times; G 1 ( &omega; ) = G 1 ( &omega; ) ... ( 19 )
另外，当使用矩阵表示方程式(19)时，由于卷积运算变成循环矩阵，所以可以使用下列方程式(20)来表示方程式(19)。
[数学式14]
在方程式(12)中，R12(ω)和T12(ω)分别被缩写为Rω和Tω。另外，由于负频率的值成为正频率的值的复共轭，所以负频率的值可被表示如下。
[数学式15]
G 1 ( - &omega; ) = G 1 ( &omega; ) &OverBar;
如在下列方程式(21)中表示方程式(19)或方程式(20)。
RTG1＝G1…(21)
仅需要获得如下条件下的矩阵RT的特征值1的特征向量：
[数学式16]
和G1(ω)成为复共轭
可是，通常，即使将特征向量乘以任意常数，特征向量也可以是相同的特征向量。然而，由于闪烁成分的平均值为1，且G1(0)＝1并是已知的，所以可以唯一地获得解。
另外，将对用于估算复空间中的第一闪烁成分381和第二闪烁成分382的方法进行进一步说明。
可如在下列方程式(22)中表示闪烁成分。
[数学式17]
g ( t , E ) = F A ( t , E ) F D ( t , E ) = &Integral; t - E t f ( &tau; ) d &tau; &Integral; t - E t f D d &tau; = 1 E &Integral; t - E t f ( &tau; ) f d d &tau; = 1 E &Integral; t - E t f &prime; ( &tau; ) d &tau; ... ( 22 )
如在下列方程式(23)中，可通过使用光源的波动与快门函数的卷积运算来表示方程式(22)。
[数学式18]
g ( t , E ) = f &prime; ( t ) &CircleTimes; s ( t , E )
f &prime; ( t ) = f ( t ) f D s ( t , E ) = 1 E r e c t ( t E - 1 2 ) ... ( 23 )
在方程式(23)中，f’(t)是如图22的部分A所示的通过使光源f(t)的波动归一化(normalizing)使得平均值变为1而获得的值。另外，在方程式(23)中，快门函数s(t,E)是如图22的部分B所示的函数。图22的部分B所示的函数在时间为从0至E时具有1/E的值，且在其它时间具有0的值。
在频率空间中转换闪烁成分之后执行运算。当在频率空间中表示gt(t,E)时，由于卷积运算变成乘法，所以可以获得下列方程式(24)。
[数学式19]
G(ω,E)＝F'(ω)×S(ω,E)...(24)
另外，当在频率空间中表示的第一曝光条件下的闪烁成分和第二曝光条件下的闪烁成分被分别定义为G1(ω)和G2(ω)时，可如在下列方程式(25)中分别表示G1(ω)和G2(ω)。
[数学式20]
G 1 ( &omega; ) = F &prime; ( &omega; ) &times; S ( &omega; , E 1 ) &times; exp ( 2 &pi;i&omega;t 1 ) G 2 ( &omega; ) = F &prime; ( &omega; ) &times; S ( &omega; , E 2 ) &times; exp ( 2 &pi;i&omega;t 2 ) ... ( 25 )
可如在来自方程式(25)中使用G1(ω)来表示G2(ω)。
[数学式21]
在方程式(26)中，s(ω，E)是在频率空间中表示的快门函数s(t,E)，并可如在下列方程式(27)中所表示。
[数学式22]
s ( t , E ) = 1 E r e c t ( t E - 1 2 )
S ( &omega; , E ) = 1 E E &CenterDot; sin c ( E &omega; ) exp ( - 2 &pi; i &omega; &times; 1 2 E ) = sin c ( E &omega; ) exp ( - &pi; i &omega; E ) ... ( 27 )
从方程式(26)中可以看出，可以从通过对第一闪烁成分381执行傅里叶级数展开而获得的值(G1(ω))计算出通过对第二闪烁成分382执行傅里叶级数展开而获得的值(G2(ω))。通过基于在闪烁成分转换单元465(图21)处执行的方程式(26)的运算，计算出通过对第二闪烁成分382执行傅里叶级数展开而获得的值。
另外，矩阵生成单元462生成方程式(20)和方程式(21)中的矩阵RT，且矩阵运算单元462计算矩阵RT的特征值1的特征矢量。由于此计算的特征矢量是通过对第一闪烁成分381执行傅里叶级数展开而获得的值，所以通过在傅里叶级数逆变换单元464处执行的傅里叶级数逆变换来计算第一闪烁成分381。
另一方面，如上所述，闪烁成分转换单元465基于方程式(26)执行运算，从而将第一闪烁成分381转换成第二闪烁成分382。由于此转换的值是通过对第二闪烁成分382执行傅里叶级数展开而获得的值，所以通过在傅里叶级数逆变换单元466处执行的傅里叶级数逆变换来计算第二闪烁成分382。
通过以此方式应用复空间中的解，可以计算不同曝光条件下的两个图像的各个闪烁成分。因此，可以对不同曝光条件下的两个图像的各个闪烁成分进行校正并根据经过闪烁校正的两个图像来生成一个高动态范围图像。
<闪烁抑制的第三实施例>
在第一实施例和第二实施例中，已经通过使用如下作为示例的情况进行说明：通过使用在第一曝光条件下曝光时拍摄的图像的闪烁成分与在第二曝光条件下曝光时拍摄的图像的闪烁成分之间的闪烁比值计算第一闪烁成分381和第二闪烁成分382来抑制闪烁成分。
接下来，作为第三实施例，将对作为示例的在不使用闪烁比值的情况下计算第一闪烁成分381和第二闪烁成分382的情况进行说明。
图23是图示了闪烁估算单元371’的构造的示图。为了区分闪烁估算单元371’与图18所示的闪烁估算单元371，将通过增加短划标记来对图23所示的闪烁估算单元371’进行说明。另外，图23所示的闪烁估算单元371’是用于构造图17所示的闪烁校正单元312的闪烁估算单元371。
图23所示的闪烁估算单元371’由积分值计算单元501、积分值计算单元502、傅里叶级数变换单元503、傅里叶级数变换单元504、估算运算单元505、傅里叶级数逆变换单元506和傅里叶级数逆变换单元507构成。
将第一曝光图像141提供至积分值计算单元501，且将第二曝光图像142提供至积分值计算单元502。积分值计算单元501沿水平方向对第一曝光图像141进行积分并将积分值输出至傅里叶级数变换单元503。以类似的方式，积分值计算单元502沿水平方向对第二曝光图像142进行积分并将积分值输出至傅里叶级数变换单元504。
虽然积分值计算单元501和积分值计算单元502分别计算第一曝光图像141和第二曝光图像的积分值，但积分值计算单元501和502可针对所有像素执行处理，或可针对预定区域内的像素执行处理。
另外，积分运算可不用于第一曝光图像141或第二曝光图像142中的任一者的像素发生饱和的位置处的像素。例如，可将不包括光晕、黑缺陷或被摄体部分等的部分设定为将要用于积分的部分。
傅里叶级数变换单元503通过将第一曝光图像141的积分值乘以适当的窗函数来执行傅里叶级数展开并获得第一曝光图像141的频率标记(frequencyinscription)J1(ω)(稍后将详细说明)。以类似的方式，傅里叶级数变换单元504通过将第二曝光图像142的积分值乘以适当的窗函数来执行傅里叶级数展开并获得第二曝光图像142的频率标记J2(ω)。应注意，窗函数通常被用在傅里叶变换等中，且例如可以使用hann窗。
将第一曝光图像141的频率标记J1(ω)从傅里叶级数变换单元503提供至估算运算单元505，且将第二曝光图像142的频率标记J2(ω)从傅里叶级数变换单元504提供至估算运算单元505。估算运算单元505生成矩阵Q并获得光源的波动成分F’。另外，估算运算单元505获得通过对第一闪烁成分381执行傅里叶级数展开而获得的值以及通过对第二闪烁成分382执行傅里叶级数展开而获得的值。
将通过对在估算运算单元505处获得的第一闪烁成分381执行傅里叶级数展开而获得的值提供至傅里叶级数逆变换单元506，这里，对该值进行傅里叶级数逆变换，以使其成为第一闪烁成分381。以类似的方式，将通过对在估算运算单元505处获得的第二闪烁成分382执行傅里叶级数展开而获得的值提供至傅里叶级数逆变换单元507，这里，对该值进行傅里叶级数逆变换，以使其成为第二闪烁成分382。
同样，在第三实施例中，如同在第二实施例中，通过获得频率空间(复空间)中的解，可以以更少的运算获得闪烁成分。将进一步说明此运算。
图24图示了积分值计算单元501和502以及傅里叶级数变换单元503和504的处理，并图示了获得各个曝光条件下的图像的频率空间中的J1(ω)和J2(ω)的过程。图24的部分A图示了第一曝光图像141和第二曝光图像142并图示了图像包括因闪烁的影响而产生的条纹状图案的示例。
在图24的部分B的上部中图示了沿水平方向对第一曝光图像141的有效部分进行积分的情况下的结果的一个示例。另外，在图24的部分B的下部中图示了沿水平方向对第二曝光图像142的有效部分进行积分的情况下的结果的一个示例。用于积分的有效部分是不包括光晕、黑缺陷或被摄体部分等的部分。
将计算出的积分值乘以适当的窗函数，并对其进行傅里叶级数展开。对于傅里叶级数，计算了从0×ωk至2M×ωk的频率的值。因此，分别获得了第一曝光图像141的频率标记J1(ω)和第二曝光图像142的频率标记J2(ω)(图24的部分C)。
进一步说明这种运算。使用下列方程式分别表示在第一曝光条件下拍摄的第一曝光图像141和在第二曝光条件下拍摄的第二曝光图像142。
I1(x,y)＝I0(x,y)×E1×gt(t1+y,E1)
I2(x,y)＝I0(x,y)×E2×gt(t2+y,E2)…(28)
根据方程式(28)，下列方程式(29)成立。
I1(x,y)×E2×gt(t2+y,E2)-I2(x,y)×E1×gt(t1+y,E1)＝0…(29)
当在频率空间中进行表示时，方程式(29)被表示为下列方程式(30)。
[数学式23]
E 2 J 1 ( &omega; ) &CircleTimes; G 2 ( &omega; ) - E 1 J 2 ( &omega; ) &CircleTimes; G 1 ( &omega; ) = 0... ( 30 )
在方程式(30)中，J1(ω)是通过沿水平方向对I1(x,y)进行积分而获得的值，即，其是用于表示在频率空间中沿水平方向对第一曝光图像141进行积分而获得的值的值。以类似的方式，J2(ω)是通过沿水平方向对I2(x,y)进行积分而获得的值，即，其是用于表示在频率空间中沿水平方向对第二曝光图像142进行积分而获得的值的值。
当在方程式(30)中指定闪烁成分G1(ω)和闪烁成分G2(ω)时，获得下列方程式(31)。
[数学式24]
E 2 J 1 ( &omega; ) &CircleTimes; { S ( &omega; , E 2 ) &times; exp ( 2 &pi;&omega;t 2 ) &times; F &prime; ( &omega; ) } - E 1 J 2 ( &omega; ) &CircleTimes; { S ( &omega; , E 1 ) &times; exp ( 2 &pi;&omega;t 1 ) &times; F &prime; ( &omega; ) } = 0... ( 31 )
方程式(31)是线性方程式并可如在下列方程式(32)被表示为矩阵。
E2J1S2P2F’-E1J2S1P1F’＝0
(E2J1S2P2-E1J2S1P1)F’＝0…(32)
方程式(32)中的J1、S1、P1和F’是在下列方程式(33)至方程式(36)中分别表示的矩阵。应注意，由于可以以类似的方式表示J2、S2和P2，所以这里将省略表达。
[数学式25]
[数学式26]
[数学式27]
[数学式28]
F = F &prime; ( M &times; &omega; f ) &OverBar; . . . F &prime; ( 1 &times; &omega; f ) &OverBar; F &prime; ( 0 &times; &omega; f ) F &prime; ( 1 &times; &omega; f ) . . . F &prime; ( M &times; &omega; f ) ... ( 36 )
在方程式(33)至方程式(36)中，ωf是闪烁的基本频率，并通常为与100Hz或120Hz相对应的值。当去除预定周期中的噪声时，使ωf为与该周期相对应的频率。另外，假定光源的波形包括高达基本频率ωf的M倍的频率。在典型的光源下，M为1。另外，由于一些光源具有高频的随时间变化的成分，所以存在与光源相一致的M大于1的情况。
这里，如在下列方程式(33)中表示方程式(32)。
QF’＝0
Q＝E2J1S2P2-E1J2S1P1…(37)
在方程式(37)中的Q中，E表示曝光时段，且J表示沿水平方向积分之后的在频率空间中表示的曝光图像。另外，S表示在频率空间上表示的快门函数，且参考图22对该在频率空间中表示的快门函数进行说明。另外，P为exp(2πωt)。由于这些值是根据曝光图像和曝光时段获得的，所以Q是已知的。
由于Q是已知的，所以可以从方程式(37)获得F’。当获得F’时，可以从下列方程式(38)获得闪烁成分。
[数学式29]
G 1 ( &omega; ) = F &prime; ( &omega; ) &times; S ( &omega; , E 1 ) &times; exp ( 2 &pi;i&omega;t 1 ) G 2 ( &omega; ) = F &prime; ( &omega; ) &times; S ( &omega; , E 2 ) &times; exp ( 2 &pi;i&omega;t 2 ) ... ( 38 )
方程式(38)中的G1(ω)是在频率空间中表示的在第一曝光条件下拍摄的第一曝光图像141的第一闪烁成分381，且G2(ω)是在频率空间中表示的在第二曝光条件下拍摄的第二曝光图像142的第二闪烁成分382。
通过将使用方程式(38)获得的频率空间中的闪烁成分381和第二闪烁成分382分别转换成实空间中的闪烁成分，可以分别获得第一闪烁成分381和第二闪烁成分382。
闪烁估算单元371’的估算运算单元505(图23)生成方程式(37)中的矩阵Q并获得光源的波动成分F’。然后，估算运算单元505基于方程式(38)执行运算，以生成频率空间中的闪烁成分。
以此方式，可以在不使用闪烁比值的情况下通过应用复空间中的解来计算不同曝光条件下的两个图像的各个闪烁成分。因此，可以对不同曝光条件下的两个图像的各个闪烁成分进行校正并根据经过闪烁成分校正的两个图像来生成一个高动态范围图像。
虽然在上述实施例中，如上所述，当拍摄一个图像时，已经对同时使用短时段曝光(第一曝光条件)和长时段曝光(第二曝光条件)拍摄图像的作为示例的情况进行说明，但是本发明还可应用于如下情况：在不分离短时段曝光像素与长时段曝光像素的情况下，通过使用正常像素交替地拍摄短时段曝光图像和长时段曝光图像来获得经短时段曝光的图像和经长时段曝光的图像。
在此情况下，由于成像时序不同，所以可通过如下方式应用本发明：将考虑到成像时序的矩阵用作用于上述闪烁校正时的运算的矩阵。
另外，虽然在上述示例中，已经对使用两种类型的曝光时段(短时段曝光和长时段曝光)拍摄图像的成像装置进行说明，但是本发明还可应用于对具有三种以上类型的曝光时段的拍摄图像进行组合的成像装置。
例如，当组合具有三种以上类型的曝光时段的拍摄图像时，可以根据第一曝光图像和第二曝光图像估算第一闪烁成分，并将该第一闪烁成分转换成第三闪烁成分，以估算第三闪烁成分。另外，还可以通过生成将所有的第一曝光图像、第二曝光图像和第三曝光图像进行组合的矩阵来获得解。
另外，虽然在上述实施例中，已经对作为示例的通过使用使用两种类型的曝光时段分别拍摄的曝光图像来获得闪烁成分的情况进行说明，但是本发明还可应用于通过使用利用一种类型的曝光时段拍摄的曝光图像来获得闪烁成分的情况。
为了通过使用利用一种类型的曝光时段拍摄的曝光图像来获得闪烁成分，将第一帧中的图像用作上述实施例中的第一曝光条件下拍摄的曝光图像，且将第二帧中的图像用作上述实施例中的第二曝光条件下拍摄的曝光图像。
应注意，在此情况下，由于存在例如在成像的速度间隔是闪烁的周期的整数倍的条件下无法获得闪烁成分的可能性，所以可通过如下方式使用三帧来获得闪烁成分：拍摄三帧并使第一帧与第二帧之间的成像间隔不同于第二帧与第三帧之间的成像间隔。
<记录介质>
上述系列处理可使用硬件来执行或可使用软件来执行。如果使用软件来执行该系列处理，则将用于构成软件的程序安装到计算机中。这里，计算机包括组合到专用硬件中的计算机以及例如可通过安装的各种类型的程序来执行各种类型的功能的通用个人计算机。
图25是图示了通过使用程序执行上述系列处理的计算机的硬件的构造示例的框图。在该计算机中，中心处理单元(CPU)1101、只读存储器(ROM)1102和随机存取存储器(RAM)1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。输入单元1106、输出单元1107、存储单元1108、通信单元1109和驱动器1110连接到输入/输出接口1105。
输入单元1106由键盘、鼠标或麦克风等形成。输出单元1107由显示器或扬声器等形成。存储单元1108由硬盘或非易失性存储器形成。驱动器1110驱动诸如磁盘、光盘、磁光盘和半导体存储器等可移除介质1111。
在如上所述配置的计算机中，例如通过CPU1101来执行上述系列处理，其中CPU1101经由输入/输出接口1105和总线1104将存储在存储单元1108中的程序加载至RAM1103并执行该程序。
可例如通过记录在作为封装介质的可移除介质1111中来提供由计算机(CPU1101)执行的程序。另外，可经由诸如局域网、因特网和数字卫星广播等有线或无线传输介质提供程序。
在计算机中，可通过装载到驱动器1110的可移除介质1111将程序经由输入/输出接口1105装入到存储单元1108中。另外，可经由有线或无线传输介质在通信单元1109处接收程序并将程序装入到存储单元1108中。此外，可将程序提前装入到ROM1102或存储单元1108中。
应注意，由计算机执行的程序可以是按本说明所述的顺序以时间序列执行处理的程序，或可以是并行地或在诸如调用(calling)时等必要时间处执行处理的程序。
另外，在本说明书中，系统表示由多个装置构成的整个装置。
应注意，本说明书中所述的有利效果仅是示例，并可以是其它有利效果。
应注意，本发明的实施例不限于上述实施例，并可以在不偏离本发明的精神的情况下以各种方式进行修改。
此外，本发明还可配置如下。
(1)一种图像处理装置，其包括：
估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分，
其中，所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
(2)如(1)所述的图像处理装置，其中，所述周期性噪声是闪烁。
(3)如(1)或(2)所述的图像处理装置，其中，所述噪声成分之间的所述相互关系由频率空间中的所述曝光条件的快门函数表示。
(4)如(1)至(3)所述的图像处理装置，其中，所述估算单元通过使用如下值来估算所述噪声成分，所述值是通过对所述图像进行积分，与预定的窗函数相乘并执行傅里叶级数展开获得的。
(5)如(4)所述的图像处理装置，其中，所述积分是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
(6)如(1)至(5)所述的图像处理装置，
其中，所述估算单元通过获得矩阵Q并获得光源的波动成分F来获得频率空间中的所述噪声成分，其中QF＝0，且
其中，所述估算单元通过对所述频率空间中的所述噪声成分执行傅里叶级数逆变换来估算每个所述图像的所述噪声成分。
(7)如(1)所述的图像处理装置，其中，所述噪声成分之间的所述相互关系由通过对所述图像进行积分并针对所述图像的每行执行除法运算而获得的比值表示。
(8)如(7)所述的图像处理装置，其中，所述积分是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
(9)如(7)所述的图像处理装置，其中，所述估算单元获得矩阵RT的特征值1的特征向量，并将所述特征向量设定为通过对所述图像的所述噪声成分执行傅里叶级数展开而获得的值，其中R是对所述比值执行傅里叶级数展开而获得的矩阵，且T是从所述曝光条件获得的矩阵。
(10)如(9)所述的图像处理装置，其中，所述图像的所述噪声成分是通过对所述特征向量执行傅里叶级数逆变换计算的。
(11)如(10)所述的图像处理装置，
其中，通过对与已经计算所述噪声成分的图像不同的图像的所述噪声成分执行傅里叶级数展开而获得的值是通过将所述特征向量乘以从所述曝光条件获得的系数计算的，且
其中，所述图像的所述噪声成分是通过对通过执行傅里叶级数展开而获得的所述值执行傅里叶级数逆变换计算的。
(12)如(7)所述的图像处理装置，
其中，其中，所述估算单元生成下列方程式中的矩阵RT，并获得所述图像的所述噪声成分，
[数学式1]
其中R是所述比值，T是从所述曝光条件获得的系数，且G是所述图像的所述噪声成分。
(13)如(7)所述的图像处理装置，其中，所述估算单元获得矩阵rt的特征值1的特征向量，并估算出所述特征向量是所述图像的所述噪声成分，其中矩阵r是所述比值，且矩阵t是从所述曝光条件获得的矩阵。
(14)如(13)所述的图像处理装置，其中，与已经计算所述噪声成分的图像不同的图像的所述噪声成分是从所估算的所述噪声成分的线性和计算的。
(15)如(7)所述的图像处理装置，
其中，其中，所述估算单元通过借助最小二乘估计获得满足下列方程式的g1和g2来获得每个所述图像的所述噪声成分，
[数学式2]
t - I I - r g 1 g 2 = 0
其中r是所述比值，t是从所述曝光条件获得的值，I是所述图像的像素值，且g是所述噪声成分。
(16)一种图像处理方法，其包括：
针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤，
其中，所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
(17)一种使计算机执行处理的程序，其包括：
针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤，
其中，所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
(18)一种电子设备，其包括：
信号处理单元，其用于对从成像器件输出的像素信号执行信号处理，
其中，所述信号处理单元包括：
估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分；以及
校正单元，其用于通过使用在所述估算单元处估算的所述噪声成分来执行从所述图像去除噪声的校正，
其中，所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
附图标记列表
100成像装置101光学透镜
102成像器件103图像处理单元
104信号处理单元105控制单元
311灵敏度分类插值单元312闪烁校正单元
313HDR合成单元331、332提取单元
333、334插值处理单元351、352曝光校正单元
353混合系数计算单元354混合处理单元
371闪烁估算单元372第一曝光图像闪烁校正单元
373第二曝光图像闪烁校正单元
401、402积分值计算单元403相除单元
404估算运算单元431矩阵生成单元
432矩阵运算单元433闪烁成分转换单元
461傅里叶级数变换单元462矩阵生成单元
463矩阵运算单元464傅里叶级数逆变换单元
465闪烁成分转换单元466傅里叶级数逆变换单元
501、502积分值计算单元503、504傅里叶级数变换单元
505估算运算单元506、507傅里叶级数逆变换单元

Claims (18)

1.一种图像处理装置，其包括：
估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分，
其中，所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
2.如权利要求1所述的图像处理装置，其中，所述周期性噪声是闪烁。
3.如权利要求1所述的图像处理装置，其中，所述噪声成分之间的所述相互关系由频率空间中的所述曝光条件的快门函数表示。
4.如权利要求1所述的图像处理装置，其中，所述估算单元通过使用如下值来估算所述噪声成分，所述值是通过对所述图像进行积分，与预定的窗函数相乘并执行傅里叶级数展开获得的。
5.如权利要求4所述的图像处理装置，其中，所述积分是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
6.如权利要求1所述的图像处理装置，
其中，所述估算单元通过获得矩阵Q并获得光源的波动成分F来获得频率空间中的所述噪声成分，其中QF＝0，且
其中，所述估算单元通过对所述频率空间中的所述噪声成分执行傅里叶级数逆变换来估算每个所述图像的所述噪声成分。
7.如权利要求1所述的图像处理装置，其中，所述噪声成分之间的所述相互关系由通过对所述图像进行积分并针对所述图像的每行执行除法运算而获得的比值表示。
8.如权利要求7所述的图像处理装置，其中，所述积分是针对任一所述图像中的不饱和的不饱和部分沿水平方向执行的。
9.如权利要求7所述的图像处理装置，其中，所述估算单元获得矩阵RT的特征值1的特征向量，并将所述特征向量设定为通过对所述图像的所述噪声成分执行傅里叶级数展开而获得的值，其中R是对所述比值执行傅里叶级数展开而获得的矩阵，且T是从所述曝光条件获得的矩阵。
10.如权利要求9所述的图像处理装置，其中，所述图像的所述噪声成分是通过对所述特征向量执行傅里叶级数逆变换计算的。
11.如权利要求10所述的图像处理装置，
其中，通过对与已经计算所述噪声成分的图像不同的图像的所述噪声成分执行傅里叶级数展开而获得的值是通过将所述特征向量乘以从所述曝光条件获得的系数计算的，且
其中，所述图像的所述噪声成分是通过对通过执行傅里叶级数展开而获得的所述值执行傅里叶级数逆变换计算的。
12.如权利要求7所述的图像处理装置，
其中，所述估算单元生成下列方程式中的矩阵RT，并获得所述图像的所述噪声成分，
[数学式1]
其中R是所述比值，T是从所述曝光条件获得的系数，且G是所述图像的所述噪声成分。
13.如权利要求7所述的图像处理装置，其中，所述估算单元获得矩阵rt的特征值1的特征向量，并估算出所述特征向量是所述图像的所述噪声成分，其中矩阵r是所述比值，且矩阵t是从所述曝光条件获得的矩阵。
14.如权利要求13所述的图像处理装置，其中，与已经计算所述噪声成分的图像不同的图像的所述噪声成分是从所估算的所述噪声成分的线性和计算的。
15.如权利要求7所述的图像处理装置，
其中，所述估算单元通过借助最小二乘估计获得满足下列方程式的g1和g2来获得每个所述图像的所述噪声成分，
[数学式2]
t - I I - r g 1 g 2 = 0
其中r是所述比值，t是从所述曝光条件获得的值，I是所述图像的像素值，且g是所述噪声成分。
16.一种图像处理方法，其包括：
针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤，
其中，所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
17.一种使计算机执行处理的程序，所述处理包括：
针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分的估算步骤，
其中，所述估算步骤包括通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分的处理。
18.一种电子设备，其包括：
信号处理单元，其用于对从成像器件输出的像素信号执行信号处理，
其中，所述信号处理单元包括：
估算单元，其针对在不同曝光条件下拍摄的图像估算每个所述图像中包括的周期性噪声成分；以及
校正单元，其用于通过使用在所述估算单元处估算的所述噪声成分来执行从所述图像去除噪声的校正，
其中，所述估算单元通过利用所述曝光条件下的所述噪声成分之间的相互关系的运算来估算每个所述图像的所述周期性噪声成分。
CN201480056345.7A 2013-12-04 2014-11-21 图像处理装置、图像处理方法、电子设备及计算机可读存储介质 Active CN105659583B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013251164 2013-12-04
JP2013-251164 2013-12-04
PCT/JP2014/080866 WO2015083562A1 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Publications (2)

Publication Number Publication Date
CN105659583A true CN105659583A (zh) 2016-06-08
CN105659583B CN105659583B (zh) 2019-11-19

Family

ID=53273329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480056345.7A Active CN105659583B (zh) 2013-12-04 2014-11-21 图像处理装置、图像处理方法、电子设备及计算机可读存储介质

Country Status (6)

Country Link
US (1) US9979896B2 (zh)
EP (1) EP3079353B1 (zh)
JP (1) JP6437450B2 (zh)
KR (1) KR102254994B1 (zh)
CN (1) CN105659583B (zh)
WO (1) WO2015083562A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547807A (zh) * 2016-06-23 2018-01-05 半导体元件工业有限责任公司 用于减少空间闪烁伪影的装置和成像系统
CN109218621A (zh) * 2018-10-23 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN111131718A (zh) * 2019-07-16 2020-05-08 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
CN107431771B (zh) * 2015-03-06 2020-12-04 菲力尔系统公司 用于异常像素检测的系统和方法
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
WO2017090300A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 画像処理装置、および画像処理方法、ならびにプログラム
JP2017112409A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
WO2018105474A1 (ja) * 2016-12-08 2018-06-14 パナソニックＩｐマネジメント株式会社 固体撮像装置および撮像装置
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946143A (zh) * 2006-11-07 2007-04-11 北京中星微电子有限公司 消除曝光闪烁的方法及装置
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
CN102356631A (zh) * 2010-01-29 2012-02-15 索尼公司 图像处理装置、信号处理方法以及程序
CN103379288A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
JP3808248B2 (ja) * 1999-08-20 2006-08-09 松下電器産業株式会社 撮像装置
JP2012010105A (ja) 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2012090897A (ja) 2010-10-28 2012-05-17 Sophia Co Ltd 遊技機
JP2012098097A (ja) 2010-10-29 2012-05-24 L Haf Co Ltd 蛍光ｘ線分析による生体内金属元素検査方法
JP6045896B2 (ja) * 2012-12-04 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 評価値算出装置および評価値算出方法
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
JP6116299B2 (ja) * 2013-03-15 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946143A (zh) * 2006-11-07 2007-04-11 北京中星微电子有限公司 消除曝光闪烁的方法及装置
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
CN102356631A (zh) * 2010-01-29 2012-02-15 索尼公司 图像处理装置、信号处理方法以及程序
CN103379288A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理设备、图像处理方法和程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547807A (zh) * 2016-06-23 2018-01-05 半导体元件工业有限责任公司 用于减少空间闪烁伪影的装置和成像系统
CN107547807B (zh) * 2016-06-23 2021-03-05 半导体元件工业有限责任公司 用于减少空间闪烁伪影的装置和成像系统
CN109218621A (zh) * 2018-10-23 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109218621B (zh) * 2018-10-23 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN111131718A (zh) * 2019-07-16 2020-05-08 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Also Published As

Publication number Publication date
WO2015083562A1 (ja) 2015-06-11
KR102254994B1 (ko) 2021-05-24
US20170013183A1 (en) 2017-01-12
CN105659583B (zh) 2019-11-19
JP6437450B2 (ja) 2018-12-12
KR20160093004A (ko) 2016-08-05
EP3079353B1 (en) 2021-03-03
US9979896B2 (en) 2018-05-22
EP3079353A4 (en) 2017-08-16
JPWO2015083562A1 (ja) 2017-03-16
EP3079353A1 (en) 2016-10-12

Similar Documents

Publication Publication Date Title
CN105659583A (zh) 图像处理装置、图像处理方法、电子设备及程序
US9036050B2 (en) Image processing device, image processing method, and program
US20190043178A1 (en) Low-light imaging using trained convolutional neural networks
US8711268B2 (en) Methods and apparatuses for anti-shading correction with extended color correlated temperature dependency
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
US11317063B2 (en) Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor
CN113068011A (zh) 图像传感器、图像处理方法及系统
JP5131567B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5631769B2 (ja) 画像処理装置
JP5033702B2 (ja) 撮像装置
US20170026593A1 (en) Image processing devices and image processing methods
US20030095703A1 (en) Color interpolation processor and the color interpolation calculation method thereof
CN102769717B (zh) 影像处理方法与装置
CN1338090A (zh) 使用编程的并行计算机实现图像处理功能和控制的数字摄像机
US20140267838A1 (en) Image Signal Processor Circuits and Methods for Correcting Crosstalk Artifacts
JP2006165654A (ja) 画素信号処理装置及び方法
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置
JP2013009172A (ja) 撮像装置及び画像生成方法
JP5269954B2 (ja) 撮像装置
TWI536765B (zh) 具有透明濾波器像素之成像系統
JP2012253490A (ja) 固体撮像装置、撮像装置及び画像生成方法
JP2006229299A (ja) 画素信号処理装置及び方法
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160912

Address after: Kanagawa

Applicant after: SONY semiconductor solutions

Address before: Tokyo, Japan

Applicant before: Sony Corp

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant