CN106973194A - 拍摄装置、图像处理装置、图像处理方法 - Google Patents

拍摄装置、图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN106973194A
CN106973194A CN201610886201.5A CN201610886201A CN106973194A CN 106973194 A CN106973194 A CN 106973194A CN 201610886201 A CN201610886201 A CN 201610886201A CN 106973194 A CN106973194 A CN 106973194A
Authority
CN
China
Prior art keywords
pixel
random noise
bright
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610886201.5A
Other languages
English (en)
Inventor
岛田义尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106973194A publication Critical patent/CN106973194A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供拍摄装置、图像处理装置、图像处理方法，在存在移动被摄体的情况下也能够获得画质较好的比较亮图像。拍摄装置具有：比较亮合成部(31)，其根据多帧的图像数据合成比较亮图像；置换对象帧数计算部(31a)、暗时随机噪声倾向判定部(32)和亮时随机噪声校正量计算部(34a)，它们用于针对比较亮图像，按照每个部分区域进行针对OB值减法部(33)的黑电平减法处理的由暗时随机噪声引起的黑电平的偏差校正、以及由像素增益校正部(34)进行的针对由亮时随机噪声引起的像素值的偏差的校正中的至少一方。

Description

拍摄装置、图像处理装置、图像处理方法
技术领域
本发明涉及对按照时间序列拍摄的多帧的图像数据进行比较亮合成的拍摄装置、图像处理装置、图像处理方法。
背景技术
近年来，提出有搭载了比较亮合成处理功能的数字照相机等拍摄装置。这里，比较亮合成处理是比较按照时间序列拍摄的多帧图像中的同一像素位置的像素值，并由值较大的一方的像素值置换该像素位置的像素值的处理。
该比较亮合成处理在包含比较亮且较小的移动体的拍摄场景中，针对以所需的充分短的固定快门速度(因此，快门速度在各个图像中相同)按照时间序列拍摄(所谓连续拍摄)而获得的多帧图像来使用，能够取得移动体的轨迹作为S/N高的良好的图像。
如果列举适用的拍摄场景的若干个例子，则存在烟花、天体拍摄、夜间的汽车等的头灯的移动轨迹的拍摄等。
在例如烟花拍摄的情况下，以短于数秒的快门速度按照时间序列拍摄构成烟花的辉点的数秒的流动来取得多帧图像。此外，在天体拍摄的情况下，以短的快门速度按照时间序列拍摄构成天体的星星的非常慢的运动来取得多帧图像。而且，在夜间的汽车等的头灯的移动轨迹的情况下，也同样以比与想要拍摄的移动轨迹的长度对应的快门速度短的快门速度按照时间序列拍摄来取得多帧图像。
并且，在任意一个情况下，通过对获得的多帧图像进行比较亮合成，都能够避免如以长时间的快门速度进行拍摄时那样的由于暗电流造成的画质劣化，能够获得S/N较好的图像。
但是，将图像噪声分为由每个像素的特性引起的固定模式噪声、和不具有与像素位置的相关的随机噪声。它们中的随机噪声大致分为：与像素中的根据入射光并通过光电转换而产生的信号无关地产生的(因此，即使在被遮光的状态也产生的)暗时随机噪声、和根据通过光电转换而产生的信号产生的(因此，在被遮光的状态不产生的)亮时随机噪声。
这些暗时随机噪声与亮时随机噪声的大小关系通过照相机的曝光控制，取决于电气增益。具体来说，在电气增益的放大量较小的情况(曝光量大，不太需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较大，因此亮时随机噪声增大而成为主导，在电气增益的放大量较大的情况(曝光量小，需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较小，因此亮时随机噪声变小，暗时随机噪声成为主导。
暗时随机噪声作为由像素的光电二极管的暗电流引起的噪声或者作为电路噪声等而产生，不仅包含在从有效像素得到的像素值中，还包含在从摄像元件的摄像面上的被光学式遮光的光学黑体(OB)区域得到的OB成分中。由于在OB成分中不包含对入射光进行光电转换而产生的信号，进而也不包含亮时随机噪声，所以使用OB成分比起使用从有效像素得到的像素值，能够更容易高精度地检测暗时随机噪声。
该暗时随机噪声的值按照每个帧随机发生变动。当进行比较亮合成处理时，虽然生成了采用在拍摄获得的多帧中的最大的像素值而得到的1个比较亮图像，但是由于包含最大的随机噪声的像素值成为最大像素值的概率较高，所以帧数越大越置换为受到较大的随机噪声的影响的较大的值。
与此相对，如果针对从OB区域得到的OB成分也能够与有效像素区域同样进行比较亮合成处理，则由于采用与帧数的大小相应的大小的像素值，所以通过进行从有效像素区域的比较亮图像中减去进行了比较亮合成处理后的OB成分的减法处理，能够有效消除随机噪声的影响。
例如，在日本特开2013-240029号公报中记载了以下技术：在从合成图像中去除偏置成分的数字钳形(digital clamp)处理中，根据摄影图像的合成张数来控制数字钳形量，由此来应对与RAW图像的如比较亮合成和比较暗合成的图像合成的合成张数对应的黑电平的变动，从而抑制合成图像的画质下降。在该公报中还记载了：根据摄影感光度、白平衡、曝光时间、周边光量的校正量和环境温度中的至少1方，来控制数字钳形量。
但是，在图像中存在移动被摄体的情况下，产生以下这样的状况：即使拍摄了例如100帧的图像，移动被摄体存在于某个像素位置的仅是50帧的图像。在移动被摄体比背景亮的情况下，移动被摄体中作为比较亮合成的对象被有效使用的是50帧的图像，但是在该情况下，移动被摄体和对100帧的图像进行比较亮合成而得到的背景相比，比较亮图像的像素值受到随机噪声的影响的程度不同。因此，当从合成50帧的图像而得到的移动被摄体的图像部分中减去合成100帧的图像而得到的OB成分(包含暗时随机噪声)时，减法量过剩，从而产生减法噪声。这样，存在产生相对于移动被摄体的OB减法偏移(黑电平的偏置校正偏移)的课题。
此外，即使在减去包含暗时随机噪声的OB成分后，也在像素值中残留有亮时随机噪声的影响。该亮时随机噪声相当于例如光散粒噪声等。光散粒噪声是由在1次的电荷蓄积时间(曝光时间)内入射到光电二极管的光子数不总是相同而是具有以平均值为基准的正负的波动(例如在泊松分布中近似的波动)引起的随机噪声，光散粒噪声的统计的大小(标准偏差等)与由入射到光电二极管的光子(平均值)借助光电转换作用而生成的电子的数量的平方根成比例。即，当设在平均值的光子数的光子入射到像素时通过光电转换得到的信号值为真的像素值时，光散粒噪声的大小(标准偏差等)与真的像素值的平方根成比例。
这样，光散粒噪声等亮时随机噪声量不与真的像素值成比例(例如，当真的像素值小时，光散粒噪声对于像素值的贡献相对增大)。并且，作为进行比较亮合成处理后的结果，受到亮时随机噪声的影响的像素值成为相对于入射光量的线形性发生了变形的像素值。在考虑了进行比较亮合成处理以前的、例如R≠G≠B的某个R、G、B的像素值的第1被摄体部分和α×R、α×G、α×B(α是α≠1的系数)的像素值的第2被摄体部分时，当设为在进行比较亮合成处理以后的图像的第1被摄体部分中取得白平衡时，在第2被摄体部分中，亮时随机噪声的影响的大小与第1被摄体部分不同，因此，即使乘以相同的白平衡系数，也不会成为仅亮度不同的白色，而是产生着色(颜色偏移)。
而且，由于进行比较亮合成后的结果的在像素值中包含的随机噪声的影响根据在合成中使用的有效的图像帧数而不同，所以随机噪声的影响在静态被摄体和移动被摄体中不同，色彩平衡的破坏程度在静态被摄体和移动被摄体中不同。具体来说，当在合成中使用的有效的图像帧数较少时，亮时随机噪声的影响度变小，当在合成中使用的有效的图像帧数较多时，亮时随机噪声的影响度增大，因此，在存在比较快移动的被摄体的情况下，与静态被摄体比较时的着色变得不同。
在上述日本特开2013-240029号公报中未记载和考虑这样的移动的被摄体的偏置校正偏移(OB减法偏移)和着色。
发明内容
本发明的目的在于提供在存在移动被摄体的情况下也能够获得画质较好的比较亮图像的拍摄装置、图像处理装置及图像处理方法。
简单来说，本发明的某个方式的拍摄装置具有：摄像部，其拍摄被摄体而取得图像数据；控制部，其使所述摄像部按照时间序列进行拍摄来取得多帧的图像数据；比较亮合成部，其根据所述多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及校正部，其针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
本发明的某个方式的图像处理装置具有：比较亮合成部，其根据按照时间序列拍摄被摄体而取得的多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及校正部，其针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
本发明的某个方式的图像处理方法具有：比较亮合成步骤，根据按照时间序列拍摄被摄体而取得的多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及校正步骤，针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
附图说明
图1是示出本发明实施方式1的拍摄装置的结构的框图。
图2是示出上述实施方式1中的摄像元件的结构的图。
图3是示出上述实施方式1的有效像素部中的像素的排列的图。
图4是示出上述实施方式1中的图像处理部的结构的框图。
图5是示出上述实施方式1的由图像处理部进行的比较亮合成模式处理的流程图。
图6是示出上述实施方式1的图5的步骤S3的置换对象帧数计算的处理的流程图。
图7是示出在上述实施方式1中，在由某个像素i的像素值的多帧之间的由于暗时随机噪声带来的像素值的波动引起的出现频率的直方图的例子中，k＝6时的标准偏差σ的范围的线图。
图8是示出在上述实施方式1中，位于某个像素i的被摄体从OBJ1转移到OBJ2时的、像素值的出现频率的直方图发生变化的情形的图。
图9是示出在上述实施方式1中，1帧的图像的OB部中的多个像素的像素值的出现频率的直方图的例子的线图。
图10是示出在上述实施方式1中，在比较亮合成的像素的置换对象帧数发生变化时，进行了比较亮合成后的OB部中的多个像素的像素值的出现频率的直方图发生变化的情形的线图。
图11是在上述实施方式1中以OB部的某个像素i的像素值的标准偏差σd为参数示出与置换对象帧数对应的OB校正电平的线图。
图12是示出在上述实施方式1中与增益的设定值对应的，转换到1个电子的量子化单位的转换系数的具体例子的图表。
图13是示出在上述实施方式1中与平均像素值对应的亮时随机噪声量的一个例子的图。
图14是在上述实施方式1中以暗时随机噪声减法后的残存噪声量为参数示出与置换对象帧数对应的亮时随机噪声校正量的线图。
具体实施方式
以下，参照附图说明本发明的实施方式。
[实施方式1]
图1至图14示出了本发明的实施方式1，图1是示出拍摄装置的结构的框图。如以下将说明那样，本实施方式的拍摄装置具有作为对拍摄而获得的图像进行处理的图像处理装置的功能。
如图1所示，该拍摄装置具有：镜头1、摄像元件2、图像处理部3、AF(自动对焦)评价值运算部4、显示部5、抖动检测部7、抖动校正部8、曝光控制部9、对焦控制部10、照相机操作部11和照相机控制部12。另外，在图1中还记载了存储卡6，但是该存储卡6以可相对于拍摄装置拆装的方式构成，因此也可以不是拍摄装置中的固有结构。
镜头1是使被摄体的光学像在摄像元件2的摄像区域上成像的摄像光学系统。该镜头1具有对焦镜头和光圈，并且在本实施方式中还具有抖动校正功能，该对焦镜头用于调节焦点位置而进行对焦，该光圈用于控制要通过的光束的范围。
摄像元件2是对由镜头1成像的被摄体的光学像进行光电转换并进行拍摄，取得并输出图像数据的摄像部。另外，在本实施方式中，将摄像元件2作为具有原色拜尔排列的滤色器的彩色摄像元件来进行说明，但当然可以是其他结构。此外，摄像元件2以能够在与镜头1的拍摄光轴垂直的面内移动的方式构成，且具有抖动校正功能。而且，在本实施方式中，以如下情况为例进行说明：摄像元件2是数字摄像元件且在内部进行A/D转换，输出例如12比特(像素值0～4095)的数字信号。
图像处理部3是对从摄像元件2输出的图像数据进行各种图像处理，并制作显示用或者记录用的图像的图像处理装置。该图像处理部3还进行比较亮合成处理，关于图像处理部3的结构，之后参照图4更详细地进行说明。
AF评价值运算部4根据从摄像元件2输出的图像数据来计算AF评价值，并输出到照相机控制部12。例如，AF评价值运算部4根据从摄像元件2输出的图像数据来计算对比度值，并输出为AF评价值。
显示部5根据由图像处理部3图像处理为显示用的信号，对图像进行显示。该显示部5进行实时取景显示、静态图像显示，动态图像再现显示等，并且还显示该摄像装置涉及的各种信息等。
存储卡6是用于保存由图像处理部3处理为记录用的图像数据(静态图像数据、动态图像数据等)的记录介质。
抖动检测部7构成为具有加速度传感器和角速度传感器等，检测该拍摄装置的抖动并输出到照相机控制部12。
抖动校正部8根据照相机控制部12的控制，以抵消检测出的抖动的方式使镜头1和摄像元件2中的至少一方移动，减轻在成像在摄像元件2的拍摄区域上的光学被摄体像中产生抖动的影响。
曝光控制部9根据照相机控制部12的指令，以由该照相机控制部12确定出的快门速度(曝光时间)控制摄像元件2的元件快门并取得图像。而且，曝光控制部9还根据由照相机控制部12确定的光圈值，进行镜头1所包含的光圈的控制等。此外，曝光控制部9将摄像元件2的驱动信息输出到照相机控制部12。
对焦控制部10驱动镜头1以调节焦点。即，对焦控制部10根据从AF评价值运算部4接收到AF评价值的照相机控制部12的控制，驱动镜头1所包含的对焦镜头，使形成在摄像元件2上的被摄体像对焦。此外，对焦控制部10将镜头位置等镜头驱动信息输出到照相机控制12。
照相机操作部11是用于进行针对该拍摄装置的各种操作输入的操作部。该照相机操作部11中包含以下等操作部件：用于接通/断开拍摄装置的电源的电源开关；用于指示输入静态图像拍摄、动态图像拍摄等的释放按钮；以及用于设定静态图像拍摄模式(该静态图像拍摄模式包含比较亮合成模式作为更详细的模式)和动态图像拍摄模式、实时取景模式等的模式按钮。
照相机控制部12根据来自对焦控制部10的镜头驱动信息、来自AF评价值运算部4的AF评价值、来自曝光控制部9的驱动信息、来自图像处理部3的处理信息、来自抖动检测部7的抖动信息以及来自照相机操作部11的操作输入等，控制包含图像处理部3、存储卡6、抖动校正部8、曝光控制部9、对焦控制部10等的该拍摄装置整体。
该照相机控制部12根据自动曝光控制，或者根据从照相机操作部11输入的设定值，确定快门速度(曝光时间)和光圈值，将确定出的快门速度和光圈值的信息输出到曝光控制部9。
并且，照相机控制部12作为控制部发挥作用，其在设定了比较亮合成模式时，经由曝光控制部9使摄像元件2按照时间序列进行拍摄来取得多帧的图像数据。
接着，图2是示出摄像元件2的结构的图。
摄像元件2具有：有效像素部21，其在垂直方向和水平方向上排列有接收来自镜头1的光而进行光电转换的像素；以及OB部22，其是排列有对来自镜头1的光进行遮光的像素的光学黑体(OB)区域。这里，OB部22在例如有效像素部21的上部或左部等设置为垂直OB区域或水平OB区域等。
图3是示出摄像元件2的有效像素部21的像素的排列的图。
如图3所示，在摄像元件2的有效像素部21中配置有原色拜尔排列的滤色器。这里，如众所周知，原色拜尔排列以2×2像素排列为基本排列，在该基本排列的对角位置配置绿色像素Gr、Gb，在与绿色像素Gr相同的行上配置红色像素R，在与绿色像素Gb相同的行上配置蓝色像素B。
另外，原色拜尔排列的滤色器不限于配置于有效像素部21，也可以配置于包含OB部22的摄像元件2的整个摄像面上。
图4是示出图像处理部3的结构的框图。
作为图像合成部的图像处理部3具有：比较亮合成部31、OB校正电平计算部32、OB值减法部33、像素增益校正部34和标准图像处理部35。
比较亮合成部31根据照相机控制部12的控制，在比较亮合成模式中，针对从摄像元件2的有效像素部21取得的多帧的图像数据，进行按照对应的每个像素置换为更亮像素的像素值的比较亮合成处理来制作比较亮图像。而且，比较亮合成部31也针对从OB部22取得的像素值，根据需要进行比较亮合成处理。
这里，比较亮图像的各个像素的像素值包含：在来自被摄体的(去除了光散粒噪声的影响的)平均值的光子数的光子入射到像素时通过光电转换获得的真的像素值、和真的像素值以外的噪声。并且，在本实施方式中，作为按照每个像素产生的噪声，考虑包含如后所述的亮时随机噪声和暗时随机噪声在内的随机噪声的影响。
比较亮合成部31具有置换对象帧数计算部31a。如之后参照图6所说明，该置换对象帧数计算部31a针对各个像素i(i是用于利用像素位置对从有效像素部21获得的图像的像素进行区分的索引)，对作为比较亮合成部31置换像素值的对象而有效的帧数即置换对象帧数n[i]进行计数。
这里，如果列举一例，则在即使在为了比较亮合成用而拍摄了100帧的图像的情况下，在某个像素位置仅存在50帧比背景更亮的移动被摄体的情况下，该50帧成为作为置换像素值的对象有效的帧数。
并且，在比较亮合成处理中，随机噪声的影响具有根据像素值的实际的置换次数而增加的倾向，但是准确来说可以认为根据置换对象帧数n[i]的增加伴随概率性的作用而增加。因此，在本实施方式中，作为如后所述的用于计算表示暗时随机噪声的影响的OB校正电平Cob[i]和表示亮时随机噪声的影响的亮时随机噪声校正量Sft_P[i]的参数，对置换对象帧数n[i]进行计数(其中，当然可以按照每个像素i对实际的置换次数进行计数)。
如后所述，这里获得的置换对象帧数n[i]用于确定：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正量、和校正由亮时随机噪声引起的像素值的偏差的校正量。
OB校正电平计算部32具有暗时随机噪声倾向判定部32a。该暗时随机噪声倾向判定部32a计算例如标准偏差σd的平均值，该标准偏差σd表示OB部22的各个像素值的多帧之间的由暗时随机噪声引起的像素值的偏差的程度。
并且，OB校正电平计算部32针对有效像素部21的各个像素位置进行如下处理：根据标准偏差σd和由置换对象帧数计算部31a计算出的置换对象帧数n[i]，计算OB校正电平Cob[i]。这里，OB校正电平Cob[i]是用于对像素i的黑电平中包含的暗时随机噪声的影响进行校正的黑电平校正量。
OB值减法部33计算作为比较亮合成用而得到的多帧拍摄数据中的任意1帧的OB部22的像素值的平均值<OB>(例如，图9所示的像素值的平均值)，作为任意像素i的黑电平。而且，OB值减法部33根据由OB校正电平计算部32计算出的每个像素i的OB校正电平Cob[i]来校正计算出的平均值<OB>，计算每个像素i的作为校正后的黑电平的OB值OB[i]。然后，OB值减法部33进行从比较亮图像的像素i的像素值PeakP[i]中减去B值OB[i]的处理，作为黑电平减法处理。
像素增益校正部34用于进行针对由亮时随机噪声引起的像素值的偏差的校正，并具有亮时随机噪声校正量计算部34a和像素增益计算部34b。
亮时随机噪声校正量计算部34a根据针对作为比较亮合成的对象取得的全部图像(后述的N帧的图像)进行处理的结果中的像素i的平均像素值(后述的Pave[i])来估计亮时随机噪声量σb[i]，并根据估计出的亮时随机噪声量σb[i]和标准偏差σd，计算取决于置换对象帧数n[i]的亮时随机噪声校正量Sft_P[i]。该亮时随机噪声校正量Sft_P[i]是针对由亮时随机噪声引起的像素值的偏差的校正量。
像素增益计算部34b对各个像素位置进行如下处理：使用亮时随机噪声校正量Sft_P[i]，计算与像素i为R像素、G(Gr和Gb)像素、B像素的哪一个相应的增益PG_P[i]。
这样，像素增益校正部34例如使用对像素i计算出的增益PG_P[i]进行增益校正，作为针对由亮时随机噪声引起的像素i的像素值的偏差的校正。
并且，由上述的置换对象帧数计算部31a、OB校正电平计算部32、OB值减法部33和像素增益校正部34构成校正部，该校正部针对比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及针对由亮时随机噪声引起的像素值的偏差。
这里，在本实施方式中对部分区域由1个像素构成进行了说明，但是当然可以按照每个由多个像素构成的部分区域(例如，由像素值大致相同的多个像素构成的部分区域)进行处理。由于某个被摄体的光学像通常在多个像素范围内成像，所以通过按照每个由多个像素构成的部分区域进行处理，与进行对于全部像素的处理的情况相比存在能够减少处理量，减轻处理负荷从而能够进行高速的处理的优点。
标准图像处理部35针对由比较亮合成部31～像素增益校正部34如上所述制作并校正后的比较亮图像(或者针对利用通常的拍摄模式获得的图像)，进行用于制作显示用图像或者记录用图像的标准图像处理、所谓显影处理。作为该标准图像处理，包含例如去马赛克处理、白平衡校正、彩色矩阵处理和伽马转换处理等。
接着，图5示出由图像处理部3进行的比较亮合成模式处理的流程图。另外，在设定了比较亮合成模式的情况下，在开始该处理以前，根据照相机控制部12的控制来进行拍摄处理，利用摄像元件2取得多帧(设为N帧)图像数据，并存储到未图示的内部存储器中。但是，不限于此，对于例如能够与拍摄动作并行执行的处理，当然能够与拍摄动作并行进行。
在从未图示的主处理进入到该处理后，通过比较亮合成部31进行比较亮合成处理来制作比较亮图像(步骤S1)。该比较亮图像是第1帧至第N帧的各个图像中的、由像素i的像素值P[i](在像素i为R像素的情况下P＝R(像素值R[i])，在为G像素的情况下P＝G(像素值G[i])，在为B像素的情况下P＝B(像素值B[i])，以下相同)中的最大的像素值PeakP[i]构成的图像。
接着，暗时随机噪声倾向判定部32a进行暗时随机噪声倾向的判定(步骤S2)。
具体来说，暗时随机噪声倾向判定部32a计算如下的标准偏差σd，该标准偏差σd表示OB部22中的某1个像素的像素值(即OB成分)在多帧之间的由暗时随机噪声引起的偏差的程度。这里，图7示出多帧之间的由由于暗时随机噪声带来的像素值的波动引起的OB部22的各个像素值的出现频率的直方图的例子。但是，暗电流电平按照每个像素不同，暗电流作为暗时散粒噪声而有助于暗时随机噪声，更准确来说，标准偏差σd按照每个像素取稍微不同的值。因此，通过在多个像素中以相同的方式求出标准偏差σd，并对求出的多个标准偏差σd进行平均化，减轻暗电流的偏差的影响即可。
另外，这里暗时随机噪声倾向判定部32a利用OB部22的多个像素进行对标准偏差σd的计算，通过取计算出的多个标准偏差σd的平均来计算最终的标准偏差σd，但是不限于此，其中，该标准偏差σd表示例如多帧之间的由暗时随机噪声引起的偏差的程度。
例如，也可以是，在比较亮合成部31中，对从OB部22读出的像素值进行期望的帧数量的比较亮合成处理，求出比较亮合成处理后的OB部22的适当的区(由多个像素构成的区)的各个像素值的平均值，由此直接求出期望的帧数量的OB校正电平Cob[i]。该方法是直接求出图11所示的曲线图的方法。
即，如图11所示，OB校正电平Cob[i]表示与期望的帧数(置换对象帧数)的对数成比例的倾向。因此，如果在至少2个不同的置换对象帧数中取得针对值比较大的置换对象帧数的OB校正电平Cob[i]，则能够获得为了求出针对期望的置换对象帧数的OB校正电平Cob[i]所需的近似直线。
因此，针对从OB部22的适当的区中读出的像素值进行至少2个不同的期望的帧数(置换对象帧数)量的比较亮合成处理即可。由此，能够求出每个像素i的与置换对象帧数对应的最佳OB校正电平Cob[i]。
另外，在该方法中，虽然在求出OB校正电平Cob[i]时，无需预先求出标准偏差σd，但是在进行下一个步骤S3的处理时需要标准偏差σd。因此，可以利用例如图11所示的直线的斜率按照每个标准偏差σd而不同的状况，根据求出OB校正电平Cob[i]时使用的近似直线的斜率，逆算标准偏差σd。
即，如后所述，将图11所示的直线预先存储到图像处理部3的未图示的存储部中。通过比较存储在该存储部中的各个直线的斜率(σd＝5的直线的斜率、σd＝10的直线的斜率、σd＝20的直线的斜率)与根据比较亮合成处理结果而实际求出的近似直线的斜率，能够求出标准偏差σd。
列举极其粗略的值的一例，存在以下例子等：在如图11所示的曲线图中的σd＝5的直线的斜率为0.5，σd＝10的直线的斜率1.0，且根据比较亮合成处理结果而实际求出的近似直线的斜率为0.75时，标准偏差σd＝7.5。
这样，由暗时随机噪声倾向判定部32a计算出的标准偏差σd被发送到比较亮合成部31的置换对象帧数计算部31a。然后，置换对象帧数计算部31a使用接收到的标准偏差σd，计算置换对象帧数n[i](步骤S3)。
另外，虽然在图5中示出了在步骤S1的比较亮合成处理以后进行步骤S2的暗时随机噪声倾向的判定和步骤S3的由置换对象帧数计算部31a进行的置换对象帧数n[i]的计算的例子，但是不限于此，当然还能够在例如比较亮合成处理中进行。
这里，图6是示出图5的步骤S3的置换对象帧数计算的处理的流程图。
在开始该处理后，从N帧的图像中按照适当的顺序(例如，按照拍摄顺序)选择1帧的图像(步骤S21)。
然后，在用于根据像素位置来区分像素的索引i中代入1而进行初始化(步骤S22)。
接下来，判定当前处理的图像是否是从N个帧的图像中第1个选择的图像、即最初的图像(步骤S23)。
这里，在判定为是最初的图像的情况下，在置换对象帧数n[i]中设定1(步骤S24)，在表示像素i的平均像素值的Pave[i]中设定P[i](步骤S25)。
在步骤S23中判定为不是最初的图像的情况下或者进行了步骤S25的处理的情况下，置换对象帧数计算部31a计算表示在像素i的像素值中包含的随机噪声的影响的随机噪声量σtotal[i](步骤S26)。
这里，如上所述，随机噪声大致分为暗时随机噪声和亮时随机噪声，像素i的随机噪声量σtotal[i]作为表示暗时随机噪声量的上述标准偏差σd的平方与亮时随机噪声量σb[i]的平方的相加值的平方根，被如下表示。
σtotal[i]＝(σd^2+σb[i]^2)^0.5
这里，符号“^”表示取幂。
暗时随机噪声量是值取决于曝光时间或拍摄时的摄像元件2的温度等而发生变化的量，如上所述地被计算为标准偏差σd，该标准偏差σd表示由OB部22的像素值的随机噪声引起的偏差的程度(即，不取决于对来自被摄体的入射光进行光电转换而产生的信号，进而不取决于像素i的真的像素值)。
此外，亮时随机噪声量σb[i]的大小根据摄像元件2的种类(或者摄像元件2的特性)而不同，成为与在像素i中产生的真的像素值对应的大小。这里，例如在真的像素值较小的情况下，将电气增益的放大量设定为较大，在真的像素值较大的情况下，将电气增益的放大量设定为较小，所以在实际使用时，亮时随机噪声量σb[i]能够取决于通过拍摄装置的曝光控制而确定的拍摄时的拍摄条件。
具体来说，在电气增益的放大量较小的情况(曝光量大，不太需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较大，亮时随机噪声量σb[i]增大，在电气增益的放大量较大的情况(曝光量小，需要进行放大的情况)下，由于各个像素中的通过光电转换而获得的像素值比较小，亮时随机噪声量σb[i]变小。
并且，通过进行后述的步骤S30的处理，得到作为比较亮合成部31置换像素值的对象而有效的帧所涉及的平均像素值Pave[i]，作为在像素i中产生的真的像素值的近似值(平均像素值Pave[i]的初始值通过后述的步骤S25或者步骤S32设定)。
如果置换对象帧数n[i]大于1，则该平均像素值Pave[i]与像素i的像素值P[i]相比，成为相对于像素i的真的像素值的精度更高的近似值。并且，置换对象帧数n[i]越大，平均像素值Pave[i]越以更高的精度接近真的像素值。
因此，置换对象帧数计算部31a通过参照图13，根据平均像素值Pave[i]来估计亮时随机噪声量σb[i]。这里，如后所述，将如图13所示的曲线图或者根据平均像素值来确定亮时随机噪声量的计算式预先存储到拍摄装置内的未图示的存储部中。
这样，置换对象帧数计算部31a根据获得的标准偏差σd和亮时随机噪声量σb[i]，利用上述的数式计算像素i的随机噪声量σtotal[i]。
然后，置换对象帧数计算部31a判定选择出的图像中的像素i的像素值P[i]是否满足以下的条件式(步骤S27)。
P[i]≧Pave[i]+k×σtotal[i]
其中，k是与随机噪声量σtotal[i]相乘的系数。该系数k用于在判别平均像素值Pave[i]的被摄体位于像素i的状态是否持续时，确定以何种程度考虑随机噪声量σtotal[i]的影响。系数k需要设为能够区别存在被摄体的明显的移动的情况的值，即能够检测与随机噪声的影响明显不同的伴随被摄体的移动的像素值的变化的值，如果列举数值的具体的例子，则k＝4～6左右。
例如，k＝6是将随机噪声的影响错误识别为被摄体的移动的概率为2/(10亿)左右的值，通过照相机拍摄的图像的实质上的帧数充分小于5亿，所以是充分考虑为不会发生由于随机噪声的影响而造成的错误识别的值。
另一方面，在该系数k的值过大的情况下，产生以下状况：即使移动被摄体在某个帧以后位于某个像素，也无法适当进行该区别。在该情况下，虽然在比较亮处理中产生了超出随机噪声的影响的变化，但是由于无法对此进行适当判定，所以置换对象帧数n[i]不被复位而是直接继续进行递增计数，像素i的置换对象帧数n[i]大于原本的数量。由此，可能发生较大地估计随机噪声的影响，暗时校正电平变得比较大，OB减法电平变得过大等情况。
因此，根据这些观点，需要将系数k的值确定为在随机噪声的大小与比较亮摄影帧数的相对中不过小且不过大的适当的值。
而且，在本实施方式中之后进行叙述，为了计算确定置换对象帧数n[i]时的判定阈值所包含的σtotal[i]而使用了亮时随机噪声量σb[i]，但是亮时随机噪声量σb[i]根据平均像素值Pave[i]进行估计。该平均像素值Pave[i]随着进行确定置换对象帧数n[i]的处理(更详细来说，后述的步骤S30的计算平均像素值Pave[i]的循环处理)而时刻发生变化且精度提高，亮时随机噪声量σb[i]的估计值也随着发生变化且精度提高。即，在循环处理的比较的初始阶段，根据平均像素值Pave[i]的精度，存在亮时随机噪声量σb[i]的估计误差。因此，还需要考虑系数k的值，以使得该估计误差不对被摄体的移动判定造成影响。
图7是示出在某个像素i的像素值的多帧之间的由于暗时随机噪声带来的像素值的波动所引起的出现频率的直方图的例子中，k＝6时的标准偏差σ的范围的线图。
图7示出如下的例子：在像素值P[i]落入夹着平均像素值Pave[i]的±6×σtotal[i]的范围内时，即，Pave[i]-6×σtotal[i]<P[i]<Pave[i]+6×σtotal[i]时，判断为平均像素值Pave[i]的被摄体位于像素i的状态持续。另外，2个不等号(<)可以将一方或者双方变更为带等号的不等号(≦)(因此，在步骤S27、S28中也同样)。
图8是示出位于某个像素i的被摄体从OBJ1转移到OBJ2时的像素值的出现频率的直方图发生变化的情形的图。
如该图8所示，当在某个像素i成像的被摄体的像从OBJ1变化到明显比OBJ1亮的被摄体即OBJ2时，产生超过Pave[i]±6×σtotal[i]的范围内的像素值的变化。因此，在步骤S27中，判定像素i的像素值P[i]是否为该范围的上限以上。
在步骤S27中判定为不满足条件式的情况下，进一步根据是否满足以下的条件式，判定像素i的像素值P[i]是否为上述的范围的下限以下(步骤S28)。
P[i]≦Pave[i]-k×σtotal[i]
在也不满足该条件式的情况下，判定为平均像素值Pave[i]的被摄体位于像素i的状态持续，使置换对象帧数n[i]加1(步骤S29)。
而且，以包含P[i]的像素值的方式重新计算平均像素值Pave[i](步骤S30)。
另一方面，在步骤S27中判定为满足条件式的情况下，像素值以超过考虑到随机噪声的容许变化量k×σtotal[i]的变化幅度发生了变化，所以判定为平均像素值Pave[i]的被摄体从像素i移动，更亮的被摄体位于像素i，将置换对象帧数n[i]复位到1(步骤S31)，将平均像素值Pave[i]重新设定为P[i](步骤S32)。
在进行步骤S30或步骤S32的处理，或者在步骤S28中判定为满足条件式的情况下，判定i＝imax是否成立(步骤S33)。这里，imax表示1帧的图像中的有效像素部21的全部像素数。
在存在移动被摄体的情况下，由于成为比较亮合成的对象的是至少1帧的量位于像素i的最亮的被摄体，所以在非最亮的被摄体的被摄体位于像素i的情况(在步骤S28中判定为满足条件式的情况)下，置换对象帧数n[i]不加1也不复位，平均像素值Pave[i]不重新计算也不重新设定。
在步骤S33中判定为i＝imax不成立的情况下，在步骤S21中选择出的图像中存在未处理的像素，所以在对i进行加1而变更处理对象的像素位置后(步骤S34)，返回步骤S23，反复进行上述的处理。
这样，在步骤S33中判定为i＝imax成立的情况下，在步骤S21中选择出的图像的处理结束，所以接着判定对于N帧的全部图像的处理是否结束(步骤S35)。
这里，在判定为全部图像的处理未结束的情况下，进入步骤S21并选择下一个图像，进行如上所述的处理。
这样，在步骤S35中判定为全部图像的处理已结束的情况下，从该处理返回到图5所示的处理。
返回图5的说明，在对于比较亮图像的全部像素i计算出置换对象帧数n[i]后，OB校正电平计算部32根据在步骤S2中由暗时随机噪声倾向判定部32a计算出的标准偏差σd，选择表示置换对象帧数n[i]与OB校正电平Cob[i]之间的关系的曲线图(参照图11)。然后，OB校正电平计算部32通过参照选择出的曲线图中的置换对象帧数n[i]的部分，计算OB校正电平Cob[i]，该OB校正电平Cob[i]用于将OB部22的像素值的平均值<OB>校正为与像素i对应(步骤S4)。
首先，图10是示出在比较亮合成的像素的置换对象帧数发生变化时，进行了比较亮合成后的OB部22中的多个像素的像素值的出现频率的直方图发生变化的情形的线图。
虽然置换对象帧数n[i]＝1时的曲线图与图9所示的曲线图相同，但是当置换对象帧数n[i]变大时，选择更大的暗时随机噪声的结果是，进行了比较亮合成后的OB图像的平均像素值转移到较高的像素值。此外，选择更大的暗时随机噪声的结果是，随着置换对象帧数n[i]变大，进行了比较亮合成后的OB图像的像素值的偏差的程度变小。
将如该图10所示的暗时随机噪声对比较亮合成的影响随着置换对象帧数n[i]的增加而增加的倾向(图10的直方图的峰值位置的变化成为由暗时随机噪声的影响带来的OB值的比较亮合成的变化)曲线图化后得到图11。即，图11是以OB部22的某个像素i的像素值的标准偏差σd为参数，示出与置换对象帧数n[i]对应的OB校正电平Cob[i]的线图。这里，图11是横轴为对数刻度的单对数曲线图。
并且，将如该图11所示的曲线图(或者表、或者函数等)预先存储到OB校正电平计算部32内的未图示的存储部(或者可由OB校正电平计算部32随时参照的未图示的存储部)等中。
另外，替代存储图11所示的曲线图形状，可以预先存储曲线图上的几个点的坐标、例如与n[i]＝1，10，100，1000，……分别对应的OB校正电平Cob[i]的坐标，通过进行插值，计算与置换对象帧数n[i]对应的OB校正电平Cob[i]。
OB校正电平计算部32根据OB部22的像素值的标准偏差σd来选择表示置换对象帧数n[i]与OB校正电平Cob[i]之间的关系的曲线图，并根据选择出的曲线图，由置换对象帧数n[i]求出OB校正电平Cob[i]。
图11示出了表示σd＝5、10、20的各个情况下的置换对象帧数n[i]与OB校正电平Cob[i]之间的关系的直线状的曲线图的例子。该直线状的曲线图表示OB校正电平Cob[i]即如图10所示的OB部22中的平均像素值与置换对象帧数n[i]呈指数性增加的状况成比例地增加的状况。此外，折线曲线图表示σd＝10的实际测量值的例子。如图所示，可知直线状的曲线图更好地与实际测量值近似。另外，在计算出的标准偏差σd不为σd＝5、10、20中的任意一个的情况下，可以通过对σd＝5、10、20的曲线图进行插值，制作与标准偏差σd对应的曲线图。
这样，即使为了比较亮合成用而从摄像元件2取得的图像数据的帧数N例如为N＝100，如果像素i的置换对象帧数n[i]例如为n[i]＝50，则针对根据图11求出的像素i应用的OB校正电平Cob[i]成为比针对静态被摄体应用的OB校正电平低的电平。因此，在存在移动被摄体的情况下，通过与移动被摄体在像素i中的滞留时间对应的适当的OB校正电平Cob[i]来校正OB值。
即，OB值减法部33计算从摄像元件2取得的多帧的图像数据中的1帧的图像数据的OB部22的像素值的平均值<OB>，作为黑电平。而且，OB值减法部33通过使用由OB校正电平计算部32计算出的每个像素i的OB校正电平Cob[i]，利用例如下式来计算每个像素i的OB值OB[i]，进行黑电平的校正。
OB[i]＝<OB>+Cob[i]
使用该校正后的黑电平来进行像素值的黑电平减法处理，从而进行通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正。
如果列举具体例子，图9(和图10中的置换对象帧数n[i]＝1的情况)所示的例子中的像素值的平均值<OB>为例如256。这里，图9是示出1帧的图像的OB部22中的多个像素的像素值的出现频率的直方图的例子的线图。并且，图11所示的例子中的σd＝10且置换对象帧数n[i]＝100时的OB校正电平Cob[i]为例如45。因此，在该情况下，计算出OB值OB[i]＝301。
另一方面，由于图11所示的例子中的σd＝10且置换对象帧数n[i]＝10时的OB校正电平Cob[i]为例如27，所以该情况下计算出OB值OB[i]＝283。
另外，在上述中，利用OB校正电平Cob[i]校正1帧的图像数据中的OB部22的像素值的平均值<OB>，取得每个像素i的OB值OB[i]，但是不限于此。
例如，比较亮合成部31也对OB部22的像素值依次进行比较亮合成。然后，对于n＝1，2，3，……求出对1～n帧的OB部22的OB数据进行比较亮合成后的比较亮OB数据的像素值的平均值<OB_比较亮(n)>，以图11为基准，制作以n为横轴、<OB_比较亮(n)>为纵轴而绘制的曲线图。但是，与图11同样，横轴可以为对数刻度，所以，也可以预先求出至少2个不同的n、例如n＝1，10，100，……时的平均值<OB_比较亮(n)>，通过插值求出相对于其他任意的n的<OB_比较亮(n)>。
并且，也可以根据置换对象帧数n[i]来参照曲线图，由此直接取得每个像素i的黑电平即OB值OB[i]，作为平均值<OB_比较亮(n[i])>。
然后，OB值减法部33对全部像素i进行从由比较亮合成部31制作的比较亮图像的像素i的像素值PeakP[i]中减去OB值OB[i]的OB减法处理，由此执行黑电平减法处理(步骤S5)。
PeakP[i]←PeakP[i]-OB[i]
接下来，亮时随机噪声校正量计算部34a根据进行对于N帧的全部图像的处理的结果中的像素i的平均像素值Pave[i]，估计亮时随机噪声量σb[i](步骤S6)。这里的估计与置换对象帧数计算部31a在图6的步骤S26中进行的处理基本相同。因此，可以省略该步骤S6的处理，使用在图6的步骤S26中最终获得的(即，对于N帧的全部图像的处理结束后的)亮时随机噪声量σb[i]。
如上所述，光散粒噪声是由在1次的电荷蓄积时间(曝光时间)内入射到像素内的光电二极管的光子数不总是相同而是具有以平均值为基准的正负的波动引起的随机噪声，光散粒噪声的统计大小(标准偏差等)与由入射到光电二极管的光子(平均值)借助光电转换作用而生成的电子的数量的平方根成比例。
通过光电二极管产生的电荷量取决于根据设计确定的摄像元件2的构造。而且，通过AE控制等，根据增益适当地控制曝光时间(进而控制入射到光电二极管中的光子数)，所以在光电二极管中产生的电荷量(进而，真的像素值)还取决于增益。因此，根据电荷量而产生的散粒噪声的大小也取决于增益。
图12是示出与增益的设定值对应的、转换为1个电子的量子化单位的转换系数的具体例子的图表。在该图12所示的例子中，在增益的设定值为24(dB)时，每1个电子的量子化单位为3.04。
此外，图13是示出与平均像素值对应的亮时随机噪声量的一个例子的图。
当设为在亮时随机噪声中作为主导的是光散粒噪声时，如上所述，光散粒噪声的大小与由入射到像素的光电二极管中的光子(平均值)利用光电转换作用而生成的电子的数(进而对平均值的光子数的光子进行光电转换而获得的真的像素值)的平方根成比例，真的像素值可以如上所述地近似于平均像素值Pave[i]，所以如该图13所示，表示光散粒噪声的大小(亮时随机噪声量)的曲线图成为与平均像素值的平方根成比例的形状。
将如该图13所示的曲线图(或者表、或者函数等)预先存储到亮时随机噪声校正量计算部34a内的未图示的存储部(或者可由亮时随机噪声校正量计算部34a随时参照的未图示的存储部)等中。
这样，亮时随机噪声校正量计算部34a通过参照图13，对全部像素i进行如下处理：根据进行了对于N帧的全部图像的处理的结果中的像素i的平均像素值Pave[i]来估计像素i的亮时随机噪声量σb[i]。
亮时随机噪声校正量计算部34a还使用估计出的亮时随机噪声量σb[i]和表示暗时随机噪声量的标准偏差σd，利用上述的关系式σtotal[i]＝(σd^2+σb[i]^2)^0.5，计算σtotal[i]。该σtotal[i]的计算也与置换对象帧数计算部31a在图6的步骤S26中进行的处理基本相同，所以可以使用在图6的步骤S26中最终获得的(即，对于N帧的全部图像的处理结束后的)σtotal[i]。
然后，亮时随机噪声校正量计算部34a计算暗时随机噪声减法后的残存噪声量(σtotal[i]-σd)，根据计算出的残存噪声量(σtotal[i]-σd)，计算取决于置换对象帧数n[i]的亮时随机噪声校正量Sft_P[i](步骤S7)。
如图14所示，该亮时随机噪声校正量Sft_P[i]根据残存噪声量(σtotal[i]-σd)而变大，而且，随着置换对象帧数n[i]变多而变大。
这里，图14是以暗时随机噪声减法后的残存噪声量(σtotal[i]-σd)为参数地示出与置换对象帧数n[i]对应的亮时随机噪声校正量Sft_P[i]的线图。另外，图14是横轴为对数刻度的单对数曲线图。
将如该图14所示的曲线图(或者表、或者函数等)也预先存储到亮时随机噪声校正量计算部34a内的未图示的存储部(或者可由亮时随机噪声校正量计算部34a随时参照的未图示的存储部)等中。
亮时随机噪声校正量计算部34a根据作为参数的残存噪声量(σtotal[i]-σd)来选择表示置换对象帧数n[i]亮时随机噪声校正量与Sft_P[i]之间的关系的曲线图，并根据选择出的曲线图，根据置换对象帧数n[i]求出亮时随机噪声校正量Sft_P[i]。
图14示出表示(σtotal[i]-σd)＝3、5、10的各个情况下的置换对象帧数n[i]与亮时随机噪声校正量Sft_P[i]之间的关系的直线状的曲线图的例子。该直线状的曲线图示出亮时随机噪声校正量Sft_P[i]与置换对象帧数n[i]呈指数性地增加的状况成比例地增加的状况。此外，折线曲线图表示(σtotal[i]-σd)＝5的实际测量值的例子。如图所示，可知直线状的曲线图更好地与实际测量值近似。
这样，以残存噪声量(σtotal[i]-σd)为参数，根据置换对象帧数n[i]求出亮时随机噪声校正量Sft_P[i]，所以在存在移动被摄体的情况下，进行与移动被摄体在像素i中的滞留时间对应的适当的亮时随机噪声校正。
接着，像素增益计算部34b针对全部像素i进行如下处理：使用亮时随机噪声校正量Sft_P[i]来计算像素i的增益PG_P[i](步骤S8)。
首先，将作为增益的基准的像素值设定为例如与适当曝光对应的(即，需要最高的精度的)像素值Ppro。另外，在白平衡处理中作为增益的基准的也同样是与适当曝光对应的像素值Ppro附近的值。此外，从精度提高和运算的简单化的观点出发，优选在例如除去图像内的移动体的区域中进行白平衡系数的计算。与适当曝光对应的像素值Ppro是根据产商或产品而预先确定出的值，是像素值能够取得的动态范围的例如10％左右的值(如果是以12比特(像素值0～4095)被数字化的像素值，则为例如410左右的值)。
当将像素值为Ppro且置换对象帧数为N时的亮时随机噪声校正量记作Sft_Ppro时，像素增益计算部34b对于全部像素i进行例如如下计算像素i的增益PG_P[i]的处理。
PG_P[i]＝[{(PeakP[i]-Sft_P[i])/Ppro}
/{(Sft_P[i]/Sft_Ppro)}-1]
×Sft_P[i]/PeakP[i]+1
具体来说，像素i为R像素的情况的增益PG_R[i]、为G像素的情况的增益PG_G[i]、为B像素的情况的增益PG_B[i]分别被如下计算。
PG_R[i]＝[{(PeakR[i]-Sft_R[i])/Ppro}
/{(Sft_R[i]/Sft_Ppro)}-1]
×Sft_R[i]/PeakR[i]+1
PG_G[i]＝[{(PeakG[i]-Sft_G[i])/Ppro}
/{(Sft_G[i]/Sft_Ppro)}-1]
×Sft_G[i]/PeakG[i]+1
PG_B[i]＝[{(PeakB[i]-Sft_B[i])/Ppro}
/{(Sft_B[i]/Sft_Ppro)}-1]
×Sft_B[i]/PeakB[i]+1
接下来，像素增益校正部34根据增益PG_P[i]，如PeakP[i]←PeakP[i]×PG_P[i]这样校正像素i的像素值PeakP[i](步骤S9)。由此，校正由于亮时随机噪声量σb[i]根据置换对象帧数n[i]而不同所引起的着色(颜色偏移)，进行针对由亮时随机噪声引起的像素值的偏差的校正。
然后，标准图像处理部35对比较亮图像进行标准图像处理(步骤S10)，从该处理返回到未图示的主处理。
根据这样的实施方式1，针对比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方，所以即使在存在移动被摄体的情况下也能够获得画质较好的比较亮图像，其中所述校正是指：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及针对由亮时随机噪声引起的像素值的偏差的校正。
此外，根据比较亮合成处理中的每个像素i的置换对象帧数n[i]来确定OB校正电平Cob[i]和亮时随机噪声校正量Sft_P[i](进而增益PG_P[i])等的校正量，所以能够对考虑到随机噪声量的影响根据置换对象帧数n[i]而发生变化的状况的由随机噪声引起的偏移进行校正。
而且，根据平均像素值Pave[i]和叠加于平均像素值Pave[i]的随机噪声量σtotal[i]来计算置换对象帧数n[i]，所以即使被替换为同一像素位置并存在多个被摄体，也能够准确计算与残留在比较亮图像中的被摄体(在成为对象的像素位置存在的最亮的被摄体)相关的置换对象帧数n[i]。
并且，通过使用包含表示暗时随机噪声量的标准偏差σd和亮时随机噪声量σb[i]双方的随机噪声量来作为计算置换对象帧数n[i]时的随机噪声量σtotal[i]，能够有效考虑由同一被摄体涉及的像素值的随机噪声带来的变动。
除此以外，通过根据随机噪声量来确定校正量，能够进行与随机噪声量相应的适当的随机噪声校正。
此外，根据置换对象帧数n[i]和表示在随机噪声量中包含的暗时随机噪声量的标准偏差σd来求出作为黑电平校正量的OB校正电平Cob[i]，并根据OB校正电平Cob[i]来进行黑电平<OB>的校正，由此，能够适当进行黑电平的减法处理。
而且，根据置换对象帧数n[i]和从随机噪声量中减去表示暗时随机噪声量的标准偏差σd后的量来求出亮时随机噪声校正量Sft_P[i]，根据亮时随机噪声校正量Sft_P[i]来计算增益PG_P[i]而进行针对由亮时随机噪声引起的像素值的偏差的校正，由此，能够适当减轻基于像素值的偏差的被摄体的着色等。
而且，计算有效像素部21中的每个像素i的置换对象帧数n[i]，根据从OB部取得的像素值来求出表示暗时随机噪声量的标准偏差σd，所以，能够根据实际取得的图像数据来适当求出置换对象帧数n[i]和标准偏差σd。
另外，上述主要说明了拍摄装置，但可以是进行与拍摄装置相同的图像处理的图像装置。此外，可以是进行与拍摄装置或者图像处理装置相同的图像处理的拍摄方法或者图像处理方法，也可以是用于使计算机执行与拍摄装置或者图像处理装置相同处理的处理程序、记录该处理程序的可由计算机读取的非暂时性记录介质等。

Claims (10)

1.一种拍摄装置，其合成所取得的图像数据，其特征在于，该拍摄装置具有：
摄像部，其拍摄被摄体而取得图像数据；
控制部，其使所述摄像部按照时间序列进行拍摄而取得多帧的图像数据；
比较亮合成部，其根据所述多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及
校正部，其针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
2.根据权利要求1所述的拍摄装置，其特征在于：
所述校正部具有置换对象帧数计算部，该置换对象帧数计算部按照每个像素计算作为所述比较亮合成部置换像素值的对象而有效的帧数，所述校正部根据计算出的置换对象帧数确定校正量。
3.根据权利要求2所述的拍摄装置，其特征在于：
所述置换对象帧数计算部按照每个像素，根据作为所述比较亮合成部置换像素值的对象而有效的帧所涉及的平均像素值和叠加于该平均像素值的随机噪声量，计算所述置换对象帧数。
4.根据权利要求3所述的拍摄装置，其特征在于：
所述置换对象帧数计算部使用的随机噪声量包含暗时随机噪声量和亮时随机噪声量双方。
5.根据权利要求2所述的拍摄装置，其特征在于：
所述校正部还根据随机噪声量确定所述校正量。
6.根据权利要求5所述的拍摄装置，其特征在于：
所述校正部在进行对所述黑电平减法处理的校正的情况下，根据所述置换对象帧数和所述随机噪声量所包含的暗时随机噪声量，求出作为所述校正量的黑电平校正量，根据所述黑电平校正量校正所述黑电平的偏差。
7.根据权利要求6所述的拍摄装置，其特征在于：
所述校正部在还针对由所述亮时随机噪声引起的像素值的偏差进行校正的情况下，根据所述置换对象帧数和从所述随机噪声量中减去所述暗时随机噪声量后得到的量，求出作为所述校正量的亮时随机噪声校正量，根据所述亮时随机噪声校正量进行校正。
8.根据权利要求6所述的拍摄装置，其特征在于：
所述摄像部具有：有效像素部，其接收所述被摄体的光学像而进行拍摄；以及OB部，其对所述被摄体的光学像进行遮光，
所述置换对象帧数计算部计算所述有效像素部中的每个像素的所述置换对象帧数，
所述校正部根据从所述OB部取得的像素值，求出所述暗时随机噪声量。
9.一种图像处理装置，其合成所取得的图像数据，其特征在于，该图像处理装置具有：
比较亮合成部，其根据按照时间序列拍摄被摄体而取得的多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及
校正部，其针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
10.一种图像处理方法，合成通过拍摄而取得的图像数据，其特征在于，该图像处理方法具有：
比较亮合成步骤，根据按照时间序列拍摄被摄体而取得的多帧的图像数据，按照对应的每个像素，置换为更亮的像素的像素值而合成比较亮图像；以及
校正步骤，针对所述比较亮图像，按照每个由1个以上的像素构成的部分区域进行如下的校正中的至少一方：通过校正由暗时随机噪声引起的黑电平的偏差而进行的对黑电平减法处理的校正；以及对于由亮时随机噪声引起的像素值的偏差的校正。
CN201610886201.5A 2015-10-14 2016-10-11 拍摄装置、图像处理装置、图像处理方法 Pending CN106973194A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-203001 2015-10-14
JP2015203001A JP6736279B2 (ja) 2015-10-14 2015-10-14 撮像装置、画像処理装置、画像処理方法

Publications (1)

Publication Number Publication Date
CN106973194A true CN106973194A (zh) 2017-07-21

Family

ID=58524513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610886201.5A Pending CN106973194A (zh) 2015-10-14 2016-10-11 拍摄装置、图像处理装置、图像处理方法

Country Status (3)

Country Link
US (1) US10440312B2 (zh)
JP (1) JP6736279B2 (zh)
CN (1) CN106973194A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348147A (zh) * 2018-11-21 2019-02-15 上海晔芯电子科技有限公司 Cmos图像传感器局部黑电平校准方法
WO2021227934A1 (zh) * 2020-05-14 2021-11-18 索尼集团公司 信息处理设备和方法、计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855913B (zh) * 2019-12-05 2022-04-01 成都微光集电科技有限公司 一种图像传感器的黑电平校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617571A (zh) * 2003-10-31 2005-05-18 佳能株式会社 缺陷校正装置及方法
KR20050117332A (ko) * 2004-06-10 2005-12-14 삼성전자주식회사 블랙 레벨 보정 장치 및 방법
CN101155256A (zh) * 2006-09-28 2008-04-02 索尼株式会社 处理图像数据中的噪声的方法、噪声降低单元和成像设备
CN102883108A (zh) * 2011-07-11 2013-01-16 佳能株式会社 摄像设备及其控制方法、图像处理设备和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5861924B2 (ja) * 2011-12-26 2016-02-16 株式会社リコー 撮像装置
JP5954623B2 (ja) * 2012-04-20 2016-07-20 株式会社リコー 撮像装置および画像処理方法
JP6126491B2 (ja) 2013-08-08 2017-05-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6370207B2 (ja) * 2014-12-17 2018-08-08 オリンパス株式会社 撮像装置、画像処理装置、撮像方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1617571A (zh) * 2003-10-31 2005-05-18 佳能株式会社 缺陷校正装置及方法
KR20050117332A (ko) * 2004-06-10 2005-12-14 삼성전자주식회사 블랙 레벨 보정 장치 및 방법
CN101155256A (zh) * 2006-09-28 2008-04-02 索尼株式会社 处理图像数据中的噪声的方法、噪声降低单元和成像设备
CN102883108A (zh) * 2011-07-11 2013-01-16 佳能株式会社 摄像设备及其控制方法、图像处理设备和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348147A (zh) * 2018-11-21 2019-02-15 上海晔芯电子科技有限公司 Cmos图像传感器局部黑电平校准方法
CN109348147B (zh) * 2018-11-21 2021-06-29 思特威(上海)电子科技股份有限公司 Cmos图像传感器局部黑电平校准方法
WO2021227934A1 (zh) * 2020-05-14 2021-11-18 索尼集团公司 信息处理设备和方法、计算机可读存储介质

Also Published As

Publication number Publication date
JP6736279B2 (ja) 2020-08-05
US10440312B2 (en) 2019-10-08
JP2017076871A (ja) 2017-04-20
US20170111607A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
JP5527448B2 (ja) 画像入力装置
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
CN102169276B (zh) 摄像装置和自动焦点调节方法
US8089524B2 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
JP5445363B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
JP4757927B2 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
US20090040338A1 (en) Imaging apparatus
CN104221364B (zh) 成像装置和图像处理方法
KR20090096746A (ko) 카메라 모듈 및 전자기기 및 이들의 제조 방법
US8155472B2 (en) Image processing apparatus, camera, image processing program product and image processing method
JP5782311B2 (ja) 撮像装置及びその制御方法
KR20120008068A (ko) 화상처리방법 및 화상처리장치
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP2010072619A (ja) 露出演算装置およびカメラ
JP2008085634A (ja) 撮像装置及び画像処理方法
US20100245590A1 (en) Camera sensor system self-calibration
JP4523629B2 (ja) 撮像装置
JP2016063307A (ja) 画像処理装置、撮像装置、画像処理方法
JP5173664B2 (ja) 画像処理装置及び画像処理方法
CN116055907A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN108496360B (zh) 图像处理装置、图像处理方法和记录了程序的介质
CN110602420B (zh) 相机、黑电平调整方法及装置
EP2632146B1 (en) Image processing apparatus
JP6704611B2 (ja) 撮影装置及び撮影方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170721

WD01 Invention patent application deemed withdrawn after publication