CN104349018A - 图像处理设备、图像处理方法和电子设备 - Google Patents

Abstract

根据本公开的一个实施例，对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分，检测被估计为具有假色的高产生程度的部分。对于所述预定部分的每一个计算指示假色的估计产生程度的假色强度值。通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像。对于所述高动态范围图像根据所述假色强度值的强度执行假色校正处理。本公开可以被应用到例如在固态图像传感器内的图像处理单元。

Description

图像处理设备、图像处理方法和电子设备

对于相关申请的交叉引用

本申请要求在2013年8月7日提交的日本优先权专利申请JP2013-163782的权益，其整体内容通过引用被合并在此。

技术领域

本公开涉及图像处理设备、图像处理方法和电子设备，并且具体地说涉及能够有效地抑制假色的产生的图像处理设备、图像处理方法和电子设备。

背景技术

迄今，已经在数字照像机、数字摄像机和配备了成像功能的其他电子设备中使用了固态图像传感器，例如，CCD(电荷耦合期间)和CMOS(互补金属氧化物半导体)图像传感器等。固态图像传感器累积通过光电转换根据入射光的量而产生的电荷；并且输出与所累积的电荷对应的电信号。

在对于光电转换元件累积的电荷的数量上存在上限。如果光电转换元件接收到大于特定水平的光，则累积的电荷的数量将达到其饱和度。结果，在具有大于特定水平的亮度的被摄体区域中将出现所谓的“爆发高亮(blown outhighlight)”，即，被摄体区域的强度水平被设置为饱和度。为了防止这样的现象的出现，例如，执行通过下述方式来控制灵敏度为最佳值的处理：控制光电转换元件的电荷累积时段，并且响应于在外部的光的改变而调整曝光时间。

例如，对于亮的被摄体，通过高的快门速度来缩短曝光时间，并且因此，缩短了光电转换元件的电荷累积时间段，由此允许在累积的电荷的数量达到其饱和度之前输出电信号。这样的处理使得能够输出具有与被摄体对应的完全再现的灰度的图像。

然而，在成像包括亮区域和暗区域的被摄体中，如果以高速来操作快门，则因为曝光时间可能对于较暗区域不足，所以将降低S/N(信/噪)比，并且图像质量降低。因此，为了充分地再现在包括亮区域和暗区域的被摄体的成像画面中的亮区域和暗区域的亮度级，可能需要下述处理：该处理用于通过使得在图像传感器上具有较小数量的入射光的像素的曝光时间较长来获得高的信噪比，并且避免在具有较高数量的入射光的像素中的饱和。

响应于此，例如，使用通过改变每一个图像的曝光时间并且将已经被连续成像的多个图像合并为一个图像而建立的HDR(高动态范围)合并，可能会再现不能通过正常的成像再现的宽动态范围。

而且，取代如在上面的处理中那样连续地成像多个图像，已经开发了HDR合并处理，用于通过下述方式来获得一个HDR图像(高动态范围图像)：改变每一个像素的曝光上，使得以预定的空间周期通过不同的曝光时间来成像一个图像；并且，合并在该图像内的长时间曝光像素和短时间曝光像素。

例如，已经在日本公开专利申请No.2002-118789中公开了在用于每一个光接收元件的几种模式中在SVE(空间变化曝光)模式，即改变用于每一个光接收元件的曝光时间的曝光模式中拍摄图像的成像设备。

另外，根据在日本公开专利申请No.2013-66145和No.2012-257193中公开的处理，在处理以合并彼此不同曝光时间和不同灵敏度的像素时，与从设置的曝光时间比或先前计算的灵敏度比等确定的值的增益相乘将被应用到具有较低信号量的像素信号。将以特定构成比来组合结果产生的值和具有较高信号量的像素信号。

此外，作为对于在合并信号中的假色信号进行校正的方法，已经在日本公开专利申请No.2011-87269中提出了使得被摄体区域的颜色接近无色(achromatic color)的技术。

发明内容

然而，例如，即使使用在日本公开专利申请No.2011-87269中公开的技术，在已经在具有彩色的部分中产生假色的情况下，这样的部分可能看起来好象退色；并且因此，可能难以再现原始的显著彩色信号。

鉴于上面的情况，期望使得有可能有效地抑制假色的产生。

根据本公开的一个实施例，提供了一种图像处理设备，包括假色强度检测单元、合并处理单元和假色校正处理单元。所述假色强度检测单元被配置为对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值。所述合并处理单元被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像。所述假色校正处理单元被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

根据本公开的另一个实施例，提供了一种图像处理方法，包括：对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像；以及，对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

根据本公开的另一个实施例，提供了一种电子设备，包括假色强度检测单元、合并处理单元和假色校正处理单元。所述假色强度检测单元被配置为对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值。所述合并处理单元被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像。所述假色校正处理单元被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

根据本公开的实施例，有可能有效地抑制假色的产生。

本公开的这些和其他目的、特征和优点将基于如在附图中所示的其最佳模式实施例的以下详细说明而变得更显然。

附图说明

图1是本公开被应用到的成像设备的一个实施例的配置示例的框图；

图2A和2B是示出要被输入到图像处理单元的输入图像的示例的图；

图3是示出图像处理单元的配置示例的框图；

图4是示出参数计算处理单元的配置示例的框图；

图5是示出图像缩小处理单元的配置示例的框图；

图6是示出图像改善处理单元的配置示例的框图；

图7A和7B是用于描述压缩存储区域和对缩小图像的内插的处理的方法的图；并且

图8是用于描述图像处理的流程图。

具体实施方式

以下，将参考附图来详细描述本公开被应用到的实施例的具体示例。

图1是示出本公开被应用到的成像设备(电子设备)的实施例的配置示例的框图。

如图1中所示，成像设备11包括光学系统12、固态图像传感器13、信号处理电路14、监视器15、存储器16和控制电路17。成像设备11能够将静止图像和移动图像成像。

光学系统12具有一个镜头或多个镜头；并且被配置为将来自被摄体的图像光(入射光)引导到固态图像传感器13，以在固态图像传感器13包括的传感器单元21的光接收表面上形成图像。

固态图像传感器13包括传感器单元21和图像处理单元22。例如，可以采用层叠结构，其中形成传感器单元21的基板和图像处理单元22的基板层叠。

传感器单元21包括具有以阵列布置的多个像素的光接收表面。传感器单元21输出与从在光接收表面的每一个像素中的光电转换产生的电荷对应的像素信号。在传感器单元21的光接收表面上，可以层叠用于允许像素接收预定颜色的光的滤色器。例如，可以层叠其中以所谓的拜耳布置来布置红色、蓝色和绿色过滤器的滤色器。注意，下面参考图2A和2B来描述由从传感器单元21输出的图像信号建立的图像，即，要从传感器单元21输入到图像处理单元22的图像(以下可以被称为“输入图像”)。

图像处理单元22被配置为使从传感器单元21输入的输入图像经过图像处理；并且向信号处理电路14输出输出图像，该输出图像是作为该图像处理的结果被获得的。注意，下面将参考图3至6来描述图像处理单元22的配置。

信号处理电路14被配置为使从图像处理单元22输出的输出图像经过在如通常的成像设备中执行的信号处理，例如，白平衡调整和伽马校正等；并且向监视器15和存储器16提供处理的图像。

监视器15包括LCD(液晶显示器)或有机EL(电致发光)板等。监视器15显示从信号处理电路14提供的图像。

存储器16可以由快闪存储器(例如，EEPROM(电子可擦除和可编程只读存储器))等构成，其可以被内置在成像设备11中，或者可以相对于成像设备11可卸下和可附接。存储器16存储从信号处理电路14提供的图像。

控制电路17被配置为根据在存储器(未示出)中存储的程序，通过向在成像设备11中包括的块的每个输出控制信号来控制各种处理。

图2A和2B示出要向图像处理单元22输入的输入图像的示例。

如图2A和2B中所示，从传感器单元21向图像处理单元22输入具有以拜耳布置布置的红色(R)、蓝色(B)和绿色(G)像素的输入图像。而且，使用随着预定空间周期变化的曝光时间来将输入图像成像。在图2A和2B中，阴影像素指示短时间曝光像素(曝光时间短的像素)，并且白色像素指示长时间曝光像素(曝光时间长的像素)。

图2A示出通过曝光时间控制方法成像的输入图像，该曝光时间控制方法以下述方式来控制曝光时间：在曝光阵列中交替地布置两行长时间曝光像素和两行短时间曝光像素(以下，该方法可以被称为“行方法”)。图2B示出通过曝光时间控制方法程序的输入图像，该曝光时间控制方法以下述方式来控制曝光时间：每种颜色的曝光时间变得在曝光阵列中在空间上均匀(以下，该方法可以被称为“均匀方法”)。

例如，在图1中的图像处理单元22能够对于由行方法(图2A)成像的输入图像和由均匀方法(图2B)成像的输入图像两者执行图像处理。而且，虽然要由图像处理单元22执行的处理的内容的细节可以通过这些输入图像而不同，但是在图1中的处理的顺序可以相同。

注意，作为要向图像处理单元22输入的输入图像，也可能使用例如通过如在上述的日本公开专利申请No.2012-257193中公开的那些的各种曝光时间控制方法成像的图像以及在图2A和2B中所示的输入图像。

图3是示出图1的图像处理单元22的配置示例的框图。

在图3中，图像处理单元22具有参数计算处理单元31、HDR合并处理单元32、图像缩小处理单元33和图像改善处理单元34；并且被配置为使如图2A和2B中所示的输入图像经过图像处理；并且，输出作为该图像处理的结果获得的输出图像。

参数计算处理单元31被配置为执行参数计算处理，以从已经被输入到图像处理单元22的输入图像计算各种参数，该参数要用在要由HDR合并处理单元32、图像缩小处理单元33和图像改善处理单元34执行的处理中。例如，参数计算处理单元31计算指示假色的估计产生程度的假色强度值，并且向图像缩小处理单元33和图像改善处理单元34提供该假色强度值。参数计算处理单元31可以计算用于合并长时间曝光像素和短时间曝光显示的构成比，并且向HDR合并处理单元32提供该构成比。而且，参数计算处理单元31可以计算用于估计在通过经由所计算的构成比合并长时间曝光像素和短时间曝光像素而获得的HDR图像中产生的噪声的噪声估计，并且向图像改善处理单元34提供噪声估计。注意，下面将参考图4来描述参数计算处理单元31的配置的细节。

HDR合并处理单元32被配置为执行HDR合并处理以从向图像处理单元22输入的输入图像获得一个HDR图像，即，使用随着空间周期变化的曝光时间而成像的一个图像。然后，HDR合并处理单元32向图像缩小处理单元33和图像改善处理单元34提供所获得的HDR图像。

例如，HDR合并处理单元32通过执行合并处理来计算构成HDR图像的合并像素信号值，所述合并处理根据由参数计算处理单元31提供的所计算的构成比来合并长时间曝光像素和短时间曝光像素。具体地说，对于在输入图像中的暗图像区域，HDR合并处理单元32可以使用长时间曝光像素；并且对于可以引起爆发高亮的亮区域，HDR合并处理单元32可以使用短时间曝光像素以进行合并处理。此时，HDR合并处理单元32可以将短时间曝光像素乘以从设置的曝光时间比或先前计算的灵敏度比等确定的增益值，并且在相乘后执行长时间曝光像素和短时间曝光像素的混和处理，以便以拜耳布置的形式来输出HDR图像。

图像缩小处理单元33被配置为参考由参数计算处理单元31计算的假色强度值；执行图像缩小处理以缩小从HDR合并处理单元32提供的HDR图像的大小；并且，向图像改善处理单元34提供缩小图像，该缩小图像源自HDR图像的缩小。注意，下面将参考图5来描述图像缩小处理单元33的配置的细节。

图像改善处理单元34被配置为参考与从HDR合并处理单元32提供的HDR图像对应的、从图像缩小处理单元33提供的缩小图像，并且执行用于减小在HDR图像中的噪声的噪声减小处理和用于对于在HDR图像中的假色进行校正的假色校正处理，以改善HDR图像的图像质量。然后，在经历了通过图像改善处理单元34的上面的处理后的输出图像(高比特HDR图像)可以经过例如通过灰度转换处理单元(未示出)的灰度转换处理，以减少图像的像素值的位的数量。其后，结果产生的图像被输出到图1的信号处理电路14。注意，以后将参考图6来描述图像改善处理单元34的配置的细节。

因此，图像处理单元22能够使输入图像经过图像处理，该输入图像是使用随着预定空间周期变化的曝光时间来被成像的，以抑制在低频区域中的噪声的产生，并且输出假色信号的产生被抑制的输出图像。

接下来，图4是示出在图1的图像处理单元22中包括的参数计算处理单元31的配置示例的框图。

如图4中所示，参数计算处理单元31具有内插处理单元41、噪声估计计算单元42、移动被摄体检测单元43、振幅电平检测单元44、饱和度检测单元45、构成比计算单元46、假色强度检测单元47和合并噪声估计计算单元48。被输入到图像处理单元22的输入图像(参见图2A和2B)将被提供到内插处理单元41、振幅电平检测单元44和饱和度检测单元45。

内插处理单元41被配置为执行内插处理以对于在向图像处理单元22输入的输入图像中的所有像素位置内插红色、绿色和蓝色的像素值；并且内插长时间曝光像素和短时间曝光像素的像素值。例如，内插处理单元41使用位于对应的红色像素的外围的绿色和蓝色像素的像素值的每一个，来对于红色像素的像素位置内插绿色和蓝色的像素值。内插处理单元41也以相同的方式对于绿色像素和蓝色像素的像素位置内插像素值。而且，内插处理单元41利用位于对应的长时间曝光像素的外围的短时间曝光像素的每一个像素值，来对于长时间曝光像素的像素位置内插短时间曝光像素的像素值。内插处理单元41也以相同的方式来对于短时间曝光像素的像素位置内插像素值。然后，内插处理单元41向噪声估计计算单元42、移动被摄体检测单元43和构成比计算单元46提供结果产生的图像；该图像是通过输入图像的内插处理而获得的，即，该图像具有用于在图像中的所有像素位置的红色、绿色和蓝色的每种颜色的长时间曝光像素和短时间曝光像素的像素值。

噪声估计计算单元42被配置为对于构成图像的每种颜色，从构成从内插处理单元41提供的图像的所有分量计算用于估计在图像中产生的噪声的噪声估计。例如，噪声估计计算单元42计算通过将信号值的平方根乘以预定常数而获得的值作为噪声估计。

移动被摄体检测单元43被配置为检测在从内插处理单元41提供的图像上成像的运动被摄体；并且输出指示运动被摄体的程度的运动被摄体检测值。例如，移动被摄体检测单元43可以计算通过调制在长时间曝光像素的值和被乘以增益值的短时间曝光像素的值之间的差而获得的值，作为运动被摄体检测值。注意，用于检测运动被摄体的处理的一些示例已经被申请人在先前提交的申请日本公开专利申请No.2012-186593和No.2012-235332和上述的日本公开专利申请No.2011-87269中公开，其每一个的整体内容通过引用被结合在此。

振幅电平检测单元44被配置为检测在向图像处理单元22输入的输入图像中包含的AC(交流电)分量；并且输出振幅电平检测值。例如，振幅电平检测单元44可以将通过调制局部二维区域的最大和最小值的差信号而获得的值确定为用于该局部二维区域的振幅电平检测值。

饱和度检测单元45被配置为检测在向图像处理单元22输入的输入图像的局部区域中的饱和度；并且输出饱和度检测值。例如，饱和度检测单元45可以检测具有其信号值大于或等于被定义为用于在该局部二维区域内存在的像素值的饱和值的信号的像素的数量，并且将通过使用在该局部二维区域内存在的所有像素的数量来标准化(规格化)这样的像素的数量而获得的值确定为用于那个局部区域的饱和度检测值。

在经历了通过内插处理单元41的内插处理后的图像将被提供到构成比计算单元46，并且来自移动被摄体检测单元43的运动被摄体检测值、来自振幅电平检测单元44的振幅电平检测值和来自饱和度检测单元45的饱和度检测值也将被提供到构成比计算单元46。然后，构成比计算单元46参考该运动被摄体检测值、该振幅电平检测值、该饱和度检测值、长时间曝光像素的像素值和短时间曝光像素的像素值；并且从在经历了通过内插处理单元41的内插处理后的图像计算用于合并长时间曝光像素和短时间曝光像素的最佳构成比。注意，申请人已经在先前提交申请日本公开专利申请No.2012-186593和No.2012-235332中公开了用于计算最佳构成比的处理的一些示例。

来自移动被摄体检测单元43的运动被摄体检测值、来自振幅电平检测单元44的振幅电平检测值和来自饱和度检测单元45的饱和度检测值将被提供到假色强度检测单元47。然后，假色强度检测单元47参考该运动被摄体检测值、该振幅电平检测值和该饱和度检测值；并且检测被估计为具有假色的高的产生程度(产生强的假色)的部分，并且计算指示假色的估计产生程度(强度)的假色强度值。例如，假色强度检测单元47将对于运动被摄体检测值和饱和度检测值两者检测具有高的信号值的部分，作为被估计为因为运动被摄体而具有高的假色产生程度的部分。而且，例如，假色强度检测单元47将对于振幅电平检测值和饱和度检测值两者检测具有高的信号值的部分，作为被估计为因为边缘的存在而具有假色的高的产生程度的部分。

噪声估计将从噪声估计计算单元42被提供到合并噪声估计计算单元48，并且构成比将从构成比计算单元46提供到合并噪声估计计算单元48。然后，合并噪声估计计算单元48使用该噪声估计和构成比(例如，通过以该构成比合并噪声估计值)，并且对于红色、绿色和蓝色的每种的像素计算用于估计在由HDR合并处理单元32合并的HDR图像中产生的噪声的噪声估计(以下可以被称为“合并噪声估计”)。

如此配置参数计算处理单元31。由构成比计算单元46计算的构成比将被提供到HDR合并处理单元32。由假色强度检测单元47计算的假色强度值将被提供到图像缩小处理单元33和图像改善处理单元34。由合并噪声估计计算单元48计算的合并噪声估计将被提供到图像改善处理单元34。

接下来，图5是示出在图1的图像处理单元22中包括的图像缩小处理单元33的配置示例的框图。

如图5中所示，图像缩小处理单元33具有缩小图像计算单元51、缩小图像存储单元52和缩小图像信号内插处理单元53。

作为在经历了通过HDR合并处理单元32的HDR合并处理后的图像的信号值的合并像素信号值将被提供到缩小图像计算单元51，并且由参数计算处理单元31的假色强度检测单元47计算的假色强度值也将被提供到缩小图像计算单元51。然后，缩小图像计算单元51通过在特定区域内对于合并的像素信号值执行平均处理来计算缩小图像。在这个处理中，缩小图像计算单元51假定在具有高的假色强度值的部分中的合并像素的信号值具有大大偏离其原始有效颜色(significant color)的彩色信号。因此，缩小图像计算单元51通过排除在具有高的假色强度值的部分中的合并像素的信号值来计算缩小图像。因此，缩小图像计算单元51能够计算在一般颜色信息上具有高的可靠性的缩小图像。

缩小图像存储单元52被配置为存储由缩小图像计算单元51计算的缩小图像。

缩小图像信号内插处理单元53被配置为读出一帧前的缩小图像，该缩小图像已经被存储在缩小图像存储单元52中；并且以当构成缩小图像的像素要用在随后的处理(例如，由类似度确定单元61进行的类似度确定处理、由图像改善处理单元34执行的噪声减小处理和通过假色校正处理单元63进行的假色校正处理)中时像素不变地在相对于感兴趣像素的相同距离的方式来执行内插处理。通过使用在经历了这样的内插处理后的缩小图像，有可能减小在灰度部分等上出现的马赫带(Mach band)。

图像缩小处理单元33被如此配置。在经历了通过缩小图像信号内插处理单元53进行的内插处理后的缩小图像(以下，该图像可以被称为“内插缩小图像”)将被提供到图3的图像改善处理单元34。然而，注意，也可以在随后的处理中使用在通过缩小图像信号内插处理单元53的内插处理之前的缩小图像。

接下来，图6是示出在图3的图像处理单元22中包括的图像改善处理单元34的配置示例的框图。

如图6中所示，图像缩小处理单元33具有类似度确定单元61、噪声减小处理单元62和假色校正处理单元63。

类似度确定单元61被配置为利用下述来计算类似度确定值：构成由HDR合并处理单元32获得的HDR图像的合并像素信号值；由合并噪声估计计算单元48计算的合并噪声估计；以及由缩小图像信号内插处理单元53计算的内插缩小图像。例如，类似度确定单元61可以使用合并噪声估计作为参考，并且计算在构成HDR图像的合并像素信号值和内插缩小图像的像素信号值之间的差值来作为类似度确定值。

噪声减小处理单元62被配置为执行噪声减少处理，其中，根据由类似度确定单元61获得的类似度确定值的强度(振幅)、由HDR合并处理单元32获得的构成HDR图像的合并像素信号值、由缩小图像信号内插处理单元53计算的内插缩小图像来混和合并像素信号值和内插缩小图像。

假色校正处理单元63被配置为根据由假色强度检测单元47计算的假色强度值的强度来执行假色校正处理，以使得在经历了由噪声减小处理单元62进行的噪声减小处理后的HDR图像的信号值更接近在由缩小图像信号内插处理单元53计算的内插缩小图像中的对应的区域的颜色构成比。

图像改善处理单元34被如此配置。在经历了通过假色校正处理单元63进行的假色校正处理后的HDR图像将作为输出图像被输出到作为随后级的信号处理电路14。

在此，因为HDR合并处理单元32执行将长时间曝光像素和在将短时间曝光像素乘以增益值后的短时间曝光像素混和的处理，如上所述，噪声水平可以在其中使用许多短时间曝光像素的部分中较高。因此，长时间曝光像素和短时间曝光像素具有彼此不同的噪声特性。因此，在过去，已经需要当使HDR图像经过噪声减小处理时向长时间曝光像素和短时间曝光像素提供独立的逻辑电路。

另外，通常，为了去除低频噪声，可能需要使用宽范围的区域的平滑处理，并且因此，可能需要较大的存储区域和逻辑电路。因此，在使长时间曝光像素和短时间曝光像素独立地经过它们各自的噪声减小处理操作的情况下，可能需要提供用于两个图像的大的存储区域和逻辑电路。

相反，对于通过执行长时间曝光像素和短时间曝光像素的混和处理而获得的HDR图像，图像处理单元22被配置为使HDR图像经过噪声减小处理。因此，对于图像处理单元22，用于一个图像的存储区域和逻辑电路可以足够。

此外，如上所述，长时间曝光像素和短时间曝光像素的构成比可能在输入图像的平面内不是均匀的，而是可能需要自适应地被改变。因此，为了精确地计算在构成通过执行长时间曝光像素和短时间曝光像素的混和处理而获得的HDR图像的合并像素信号值中的噪声估计，可能需要独立于长时间曝光像素和短时间曝光像素而计算噪声估计值，并且可能需要以与在合并像素信号值的计算中相同的方式来合并这些噪声估计值，使得将计算在合并像素信号值中的噪声估计。因此，在计算在合并像素信号值中的噪声估计中，可能需要了解用于该计算的构成比。然而，因为这个构成比还没有被输出到固态图像传感器的随后级，所以已经难以精确地计算噪声估计，并且通过在固态图像传感器的随后级处布置的处理系统来执行噪声减小处理。因此，为了在防止存储区域和逻辑电路的规模上的增大的同时精确地计算噪声估计并且去除低频噪声，可能需要掌握长时间曝光像素和短时间曝光像素的构成比，该构成比通常仅被在固态图像传感器内的信息处理单元识别。

相反，因为合并噪声估计计算单元48能够通过使用由构成比计算单元46计算的构成比来计算合并噪声估计，所以图像处理单元22能够精确地估计在HDR图像中产生的噪声。因此，有可能有效地通过噪声减小处理单元62减小噪声。

而且，在图像处理单元22中，一种向缩小图像存储单元52存储在之前帧中由HDR合并处理单元32合并的HDR图像的缩小图像的方法被用作压缩存储区域的方法。

即，如图7A中所示，在图像处理单元22中，缩小图像计算单元51通过使用用于HDR图像的特定区域的平均值来计算由HDR合并处理单元32合并的HDR图像的缩小图像。然后，噪声减小处理单元62参考HDR图像的缩小图像和HDR图像本身，并且执行噪声减小处理以输出结果产生的输出图像。

例如，在过去，需要大的存储区域以便同时在同一平面中参考HDR图像的缩小图像和HDR图像本身。与此相反，在图像处理单元22中，通过向缩小图像存储单元52存储在之前帧中由HDR合并处理单元32计算的HDR图像的缩小图像，可能与过去的情况作比较大大压缩存储区域的容量。

另外，如图7B中所示，在图像处理单元22中，缩小图像信号内插处理单元53执行内插处理以便以下述方式来向缩小图像内插：缩小图像不变地在相对于感兴趣像素的相同距离处。在图7B的左部中，示出在缩小图像(在图中的白正方形)和感兴趣像素(在图中的黑点)之间的位置关系。在图7B的右部中，通过阴影正方形来指示已经被缩小图像信号内插处理单元53内插的缩小图像的像素。

而且，通过类似度确定单元61使用在经历了内插处理后的缩小图像来执行类似度确定处理，有可能抑制在灰度部分上的马赫带的出现。即，在其中直接使用缩小图像的信号的情况下，带状马赫带的现象可能出现在灰度部分等上，在该部分中，信号强度沿着特定方向逐渐地被增大；并且图像处理单元22可以抑制该现象的出现。

而且，在经历了通过缩小图像信号内插处理单元53的内插处理后的缩小图像也可以用于了解一般颜色信息的目的。结果，在图像处理单元22中，通过计算有可能具有假色的区域的信号强度，并且通过假色校正处理单元63使得HDR图像的信号强度更接近在缩小图像中的对应的区域的颜色构成比，根据假色检测信号的强度，有可能再现原始有效颜色信号。

接下来，图8是用于描述由图3的图像处理单元22执行的图像处理的流程图。

该处理例如当图1的传感器单元21开始向图像处理单元22提供输入图像时开始。在步骤S11中，内插处理单元41执行内插处理以内插输入图像的每种颜色；并且内插输入图像的长时间曝光像素和短时间曝光像素。内插处理单元41向噪声估计计算单元42、移动被摄体检测单元43和构成比计算单元46提供在经历了内插处理后的输入图像。

在步骤S12中，噪声估计计算单元42计算噪声估计，该噪声估计用于估计在经历了通过内插处理单元41的步骤S11的内插处理后的图像中产生的噪声。噪声估计计算单元42向合并噪声估计计算单元48提供所计算的噪声估计。

在步骤S13中，移动被摄体检测单元43检测在经历了通过内插处理单元41的步骤S11的内插处理后的图像上成像的运动被摄体。然后，移动被摄体检测单元43计算指示运动被摄体的程度的运动被摄体检测值，并且向构成比计算单元46和假色强度检测单元47提供所计算的值。

在步骤S14中，振幅电平检测单元44检测在向图像处理单元22输入的输入图像中包含的AC分量，计算振幅水平检测值，并且向构成比计算单元46和假色强度检测单元47提供所计算的值。

在步骤S15中，饱和度检测单元45检测在向图像处理单元22输入的输入图像的局部区域中的饱和度，计算饱和度检测值，并且向构成比计算单元46和假色强度检测单元47提供所计算的值。

在步骤S16中，构成比计算单元46参考运动被摄体检测值、振幅水平检测值和饱和度检测值；并且从在经历了通过内插处理单元41的步骤S11的内插处理后的图像计算用于合并长时间曝光像素和短时间曝光像素的最佳构成比。

在步骤S17中，假色强度检测单元47参考运动被摄体检测值、振幅水平检测值和饱和度检测值；并且检测被估计为具有假色的高产生程度的部分。然后，假色强度检测单元47计算指示假色的估计产生程度的假色强度值；并且向缩小图像计算单元51和假色校正处理单元63提供所计算的值。

在步骤S18中，合并噪声估计计算单元48使用由噪声估计计算单元42在步骤S12中计算的噪声估计和由构成比计算单元46在步骤S16中计算的构成比，并且计算合并噪声估计。然后，合并噪声估计计算单元48向类似度确定单元61和噪声减小处理单元62提供所计算的合并噪声估计。

在步骤S19中，HDR合并处理单元32根据由构成比计算单元46在步骤S16中计算的构成比对于向图像处理单元22输入的输入图像执行HDR合并处理，以获得HDR图像。然后，HDR合并处理单元32向缩小图像计算单元51、类似度确定单元61和噪声减小处理单元62提供所获得的HDR图像。

在步骤S20中，缩小图像计算单元51参考由假色强度检测单元47在步骤S17中计算的假色强度值，并且缩小已经在步骤S18从HDR合并处理单元32提供的HDR图像，以获得缩小图像；并且向缩小图像存储单元52提供所获得的缩小图像。

在步骤S21中，缩小图像存储单元52存储在步骤S20中从缩小图像计算单元51提供的缩小图像。

在步骤S22中，缩小图像信号内插处理单元53以下述方式来执行内插处理：当构成已经在缩小图像存储单元52中存储的前一帧的缩小图像的像素要用在随后的处理中时，像素不变地在相对于感兴趣像素的相同距离处。缩小图像信号内插处理单元53因此获得内插缩小图像。

在步骤S23中，类似度确定单元61使用下述来计算类似度确定值：在步骤S19中从HDR合并处理单元32提供的构成HDR图像的合并像素信号值；在步骤S18中从合并噪声估计检测单元48提供的合并噪声估计；以及在步骤S22从缩小图像信号内插处理单元53提供的内插缩小图像。

在步骤S24中，噪声减小处理单元62执行噪声减小处理，其中根据在步骤S23从类似度确定单元61提供的类似度确定值、在步骤S19中从HDR合并处理单元32提供的构成HDR图像的合并像素信号值和在步骤S22中从缩小图像信号内插处理单元53提供的内插缩小图像，来混和合并像素信号值和内插缩小图像。

在步骤S25中，假色校正处理单元63根据由假色强度检测单元47在步骤S17中提供的假色强度值的强度来执行假色校正处理，以使得在经历了通过噪声减小处理单元62进行的步骤S24的噪声减小处理后的HDR图像的信号值更接近在从缩小图像信号内插处理单元53在步骤S22中提供的内插缩小图像中的对应的区域的颜色构成比。然后，作为通过假色校正处理单元63进行的假色校正处理的结果而获得的图像被输出为输出图像；并且该处理结束。

如上所述，在图像处理单元22中，通过对于在合并信号中的所有像素自适应地计算噪声估计，可能精确地减小噪声。而且，可能对于在合并处理中产生的假色将假色校正为原始有效颜色。

而且，图像处理单元22能够通过基于使用构成比计算的合并噪声估计来进行估计，而比在过去的情况下更有效地减小噪声。通常，根据各种条件来决定构成比，并且该值可能在平面内的所有像素内不均匀。因此，已经难以通过在固态图像传感器的随后级处布置的处理系统来精确地计算用于执行噪声减小处理的噪声估计。

与此相反，因为图像处理单元22能够通过使用用于在HDR合并处理单元32中合并长时间曝光像素和短时间曝光像素的构成比，更精确地估计在HDR图像中产生的噪声，所以可能比在过去的情况更有效地减小噪声。

另外，例如，在过去，在其中当利用被合并的图像信号值和被合并的噪声估计值来执行类似度确定处理时直接使用缩小图像的信号的情况下，已经存在在灰度部分等中出现带状马赫带的现象，在该部分中，信号强度沿着特定方向逐渐增大。

与此相反，图像处理单元22能够当类似度确定单元61使用构成HDR图像的合并像素信号值和合并噪声估计来执行类似度确定处理时，通过使用内插缩小图像来减少在灰度部分等上出现的马赫带；其中该内插的缩小图像已经经历了通过缩小图像信号内插处理单元53的内插处理，以便以缩小图像不变地在相对于感兴趣像素的相同距离处的方式来内插到缩小图像。

而且，在图像处理单元22中，通过对构成HDR图像的合并像素信号值的颜色平衡执行假色校正处理，对于具有高的假色信号程度的部分，使得彩色平衡更接近在内插缩小图像中的对应的区域的颜色构成比，可能将假色校正为原始有效颜色平衡。

注意，除了其中使用前一帧的缩小图像的如上所述的配置之外，例如，使用在同一帧内产生平滑图像的配置，变得可能进一步改善在噪声减小处理和假色校正处理中的精度。而且，通过图像处理单元22的噪声减小处理的目标已经全部是在低频区域中存在的噪声分量，但是也可能通过将噪声减小处理的目标限制为亮度信号、特定颜色信号、彩色比率信号或色差信号等来选择性地减小噪声。而且，即使在其中在图像处理单元22的前级中的各种处理后存在某种误校正或校正的忽略的情况下，图像处理单元22可以以与假信号等相同的信号强度接收其中存在某种误校正或校正的省略的位置，因此可以减少误校正或校正的忽略等的影响。

注意，本公开也可以被应用到具有成像功能的移动电话或者包括具有成像功能的其他设备的各种电子设备以及可以例如是数字照像机或数字摄像机等的成像设备11。

而且，本发明可以使用例如下面的配置。

(1)一种图像处理设备，包括：

假色强度检测单元，其被配置为

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分，检测被估计为具有假色的高产生程度的部分，并且

计算指示所述预定部分的每一个的假色的估计的产生程度的假色强度值；

合并处理单元，其被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理，来产生高动态范围图像；以及

假色校正处理单元，其被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

(2)根据(1)所述的图像处理设备，进一步包括：

移动被摄体检测单元，其被配置为从构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素检测在所述输入图像上成像的移动被摄体，并且输出指示用于所述输入图像的所述预定部分的每一个的移动被摄体的程度的移动被摄体检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述移动被摄体检测值和所述饱和度检测值以计算所述假色强度值。

(3)根据(1)所述的图像处理设备，进一步包括：

振幅电平检测单元，其被配置为检测在所述输入图像中包含的AC分量，并且输出用于所述输入图像的所述预定部分的每一个的振幅电平检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述振幅电平检测值和所述饱和度检测值来计算所述假色强度值。

(4)根据(1)所述的图像处理设备，进一步包括：

移动被摄体检测单元，其被配置为从构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素检测在所述输入图像上成像的移动被摄体，并且输出指示用于所述输入图像的所述预定部分的每一个的移动被摄体的程度的移动被摄体检测值；以及

振幅电平检测单元，其被配置为检测在所述输入图像中包含的AC分量，并且输出用于所述输入图像的所述预定部分的每一个的振幅电平检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述移动被摄体检测值、所述振幅电平检测值和所述饱和度检测值以计算所述假色强度值。

(5)根据(4)所述的图像处理设备，进一步包括：

构成比计算单元，其被配置为参考

由所述移动被摄体检测单元计算的所述移动被摄体检测值，

由所述振幅电平检测单元计算的所述振幅电平检测值，以及

由所述饱和度检测单元计算的所述饱和度检测值，

计算构成比以在所述合并处理单元的处理中使用来合并构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素。

(6)根据(5)所述的图像处理设备，进一步包括：

噪声估计计算单元，其被配置为从构成所述输入图像的所有分量计算用于估计在所述输入图像中产生的噪声的噪声估计；以及

合并噪声估计计算单元，其被配置为通过使用由所述噪声估计计算单元计算的所述噪声估计和由所述构成比计算单元计算的所述构成比，来计算用于估计在由所述合并处理单元产生的所述高动态范围图像中产生的噪声的合并噪声估计。

(7)根据(1)到(6)任一所述的图像处理设备，进一步包括：

缩小图像计算单元，其被配置为参考由所述假色校正处理单元计算的所述假色强度值，并且除了其所述假色强度值大于或等于预定值的预定部分的信号值之外，计算被缩小的所述高动态范围图像的所述缩小图像；以及

缩小图像存储单元，其被配置为存储所述缩小图像。

(8)根据(7)所述的图像处理设备，进一步包括：

缩小图像信号内插处理单元，其被配置为以下述方式来内插构成在所述缩小图像存储单元中存储的所述缩小图像的像素：构成所述缩小图像的所述像素不变地在相对于当在随后的处理中使用时感兴趣像素相同的距离处。

(9)根据(8)所述的图像处理设备，进一步包括：

类似度确定单元，其被配置为

利用下述部分来执行类似度确定

构成所述高动态范围图像的像素值，

由所述合并噪声估计计算单元计算的所述合并噪声估计，以及

由所述缩小图像信号内插处理单元内插的所述缩小图像，并且

计算类似度确定值；以及

噪声减少处理单元，其被配置为根据由所述类似度确定单元计算的所述类似度确定值的强度，通过混合所述高动态范围图像和由所述缩小图像信号内插处理单元内插的缩小图像，来执行噪声减少处理。

(10)根据(9)所述的图像处理设备，其中

所述假色校正处理单元被配置为根据所述假色强度值的所述强度，通过使得经历通过所述噪声减小处理单元的所述噪声减小处理后的所述高动态范围图像的信号值更接近在由所述缩小图像信号内插处理单元内插的所述缩小图像中的对应的区域的颜色构成比，来执行假色校正处理。

(11)一种图像处理方法，包括：

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；

通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像；以及

对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

(12)一种电子设备，包括：

假色强度检测单元，其被配置为

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且

计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；

合并处理单元，其被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像；以及

假色校正处理单元，其被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

本领域内的技术人员应当明白，各种修改、组合、子组合和改变可以根据设计要求和其他因素而出现，只要它们在所附的权利要求或其等同内容的范围内。

Claims (12)

1.一种图像处理设备，包括：

假色强度检测单元，其被配置为

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分，检测被估计为具有假色的高产生程度的部分，并且

计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；

合并处理单元，其被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理，来产生高动态范围图像；以及

假色校正处理单元，其被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

2.根据权利要求1所述的图像处理设备，进一步包括：

移动被摄体检测单元，其被配置为从构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素检测在所述输入图像上成像的移动被摄体，并且输出指示用于所述输入图像的所述预定部分的每一个的移动被摄体的程度的移动被摄体检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述移动被摄体检测值和所述饱和度检测值以计算所述假色强度值。

3.根据权利要求1所述的图像处理设备，进一步包括：

振幅电平检测单元，其被配置为检测在所述输入图像中包含的AC分量，并且输出用于所述输入图像的所述预定部分的每一个的振幅电平检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述振幅电平检测值和所述饱和度检测值来计算所述假色强度值。

4.根据权利要求1所述的图像处理设备，进一步包括：

移动被摄体检测单元，其被配置为从构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素检测在所述输入图像上成像的移动被摄体，并且输出指示用于所述输入图像的所述预定部分的每一个的移动被摄体的程度的移动被摄体检测值；以及

振幅电平检测单元，其被配置为检测在所述输入图像中包含的AC分量，并且输出用于所述输入图像的所述预定部分的每一个的振幅电平检测值；以及

饱和度检测单元，其被配置为检测在所述输入图像中的饱和度，并且输出用于所述输入图像的所述预定部分的每一个的饱和度检测值；

其中，

所述假色校正处理单元被进一步配置为参考所述移动被摄体检测值、所述振幅电平检测值和所述饱和度检测值以计算所述假色强度值。

5.根据权利要求4所述的图像处理设备，进一步包括：

构成比计算单元，其被配置为参考

由所述移动被摄体检测单元计算的所述移动被摄体检测值，

由所述振幅电平检测单元计算的所述振幅电平检测值，以及

由所述饱和度检测单元计算的所述饱和度检测值，

计算构成比以在所述合并处理单元的处理中使用来合并构成所述输入图像的所述长时间曝光像素和所述短时间曝光像素。

6.根据权利要求5所述的图像处理设备，进一步包括：

噪声估计计算单元，其被配置为从构成所述输入图像的所有分量计算用于估计在所述输入图像中产生的噪声的噪声估计；以及

合并噪声估计计算单元，其被配置为通过使用由所述噪声估计计算单元计算的所述噪声估计和由所述构成比计算单元计算的所述构成比，来计算用于估计在由所述合并处理单元产生的所述高动态范围图像中产生的噪声的合并噪声估计。

7.根据权利要求1所述的图像处理设备，进一步包括：

缩小图像计算单元，其被配置为参考由所述假色校正处理单元计算的所述假色强度值，并且除了其所述假色强度值大于或等于预定值的预定部分的信号值之外，计算被缩小的所述高动态范围图像的所述缩小图像；以及

缩小图像存储单元，其被配置为存储所述缩小图像。

8.根据权利要求7所述的图像处理设备，进一步包括：

缩小图像信号内插处理单元，其被配置为以下述方式来内插构成在所述缩小图像存储单元中存储的所述缩小图像的像素：构成所述缩小图像的所述像素不变地在距在随后的处理中使用时感兴趣像素相同的距离处。

9.根据权利要求8所述的图像处理设备，进一步包括：

类似度确定单元，其被配置为

利用下述部分来执行类似度确定

构成所述高动态范围图像的像素值，

由所述合并噪声估计计算单元计算的所述合并噪声估计，以及

由所述缩小图像信号内插处理单元内插的所述缩小图像，并且

计算类似度确定值；以及

噪声减少处理单元，其被配置为根据由所述类似度确定单元计算的所述类似度确定值的强度，通过混合所述高动态范围图像和由所述缩小图像信号内插处理单元内插的缩小图像，来执行噪声减少处理。

10.根据权利要求9所述的图像处理设备，其中

所述假色校正处理单元被配置为根据所述假色强度值的所述强度，通过使得经历通过所述噪声减小处理单元的所述噪声减小处理后的所述高动态范围图像的信号值更接近在由所述缩小图像信号内插处理单元内插的所述缩小图像中的对应的区域的颜色构成比，来执行假色校正处理。

11.一种图像处理方法，包括：

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；

通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像；以及

对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。

12.一种电子设备，包括：

假色强度检测单元，其被配置为

对于在预定空间周期处通过不同的曝光时间成像的输入图像的预定部分检测被估计为具有假色的高产生程度的部分，并且

计算指示所述预定部分的每一个的假色的估计产生程度的假色强度值；

合并处理单元，其被配置为通过执行用于合并构成所述输入图像的长时间曝光像素和短时间曝光像素的处理来产生高动态范围图像；以及

假色校正处理单元，其被配置为对于所述高动态范围图像执行根据所述假色强度值的强度的假色校正处理。