CN113691794A - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供图像处理设备、图像处理方法和存储介质。图像处理设备包括：检测单元，用于从拍摄图像检测两个或更多个特定被摄体；第一颜色估计单元，用于根据与所检测到的特定被摄体中的第一特定被摄体有关的颜色信息估计第一光源颜色；第二颜色估计单元，用于根据与所检测到的特定被摄体中的第二特定被摄体有关的颜色信息估计第二光源颜色；第三颜色估计单元，用于根据与包括除所检测到的特定被摄体之外的被摄体的区域有关的颜色信息估计第三光源颜色；以及计算单元，用于通过基于第一光源颜色、第二光源颜色和第三光源颜色之间的相似度向第一光源颜色、第二光源颜色和第三光源颜色其中至少之一分配权重来计算要应用于拍摄图像的白平衡校正值。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本发明涉及用于调整图像的白平衡的图像处理技术。

背景技术

作为用于图像处理设备的自动白平衡技术，日本特开2010-187201讨论了用于通过面部检测来检测特定被摄体、通过使用与检测区域有关的颜色信息来估计光源、并且计算白平衡校正值的技术。近年来，深度学习技术为检测各种非面部被摄体(诸如皮肤和自然植物等)铺平了道路，并且可用于白平衡计算的信息也在不断增加。

然而，虽然深度学习技术使得能够检测各种被摄体，但是可能错误地检测到除预期被摄体之外的被摄体。如果基于这样的错误检测结果来计算白平衡，则计算出不正确的校正值。

发明内容

根据本发明的方面，一种图像处理设备，包括：检测单元，其被配置为从拍摄图像检测两个或更多个特定被摄体；第一颜色估计单元，其被配置为根据与所检测到的特定被摄体中的第一特定被摄体有关的颜色信息来估计第一光源颜色；第二颜色估计单元，其被配置为根据与所检测到的特定被摄体中的第二特定被摄体有关的颜色信息来估计第二光源颜色；第三颜色估计单元，其被配置为根据与包括除所检测到的特定被摄体之外的被摄体的区域有关的颜色信息来估计第三光源颜色；以及计算单元，其被配置为通过基于所述第一光源颜色、所述第二光源颜色和所述第三光源颜色之间的相似度向所述第一光源颜色、所述第二光源颜色和所述第三光源颜色其中至少之一分配权重来计算要应用于所述拍摄图像的白平衡校正值。

根据本发明的方面，一种图像处理方法，其由图像处理设备执行，所述图像处理方法包括：从拍摄图像检测两个或更多个特定被摄体；根据与所检测到的特定被摄体中的第一特定被摄体有关的颜色信息来估计第一光源颜色作为第一颜色估计；根据与所检测到的特定被摄体中的第二特定被摄体有关的颜色信息来估计第二光源颜色作为第二颜色估计；根据与包括除所检测到的特定被摄体之外的被摄体的区域有关的颜色信息来估计第三光源颜色作为第三颜色估计；以及通过基于所述第一光源颜色、所述第二光源颜色和所述第三光源颜色之间的相似度向所述第一光源颜色、所述第二光源颜色和所述第三光源颜色其中至少之一分配权重来计算要应用于所述拍摄图像的白平衡校正值。

根据本发明的方面，一种计算机可读存储介质，其存储用于使计算机执行上述的图像处理方法的程序。

通过下面参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出包括图像处理设备的摄像设备的结构示例的图。

图2是示出图像处理设备的结构示例的图。

图3是将由摄像设备的中央处理单元(CPU)进行的处理的流程图。

图4是白平衡校正值计算处理的流程图。

图5是用于描述将图像分割割成块的图。

图6A至6C是用于描述红色/绿色(R/G)和蓝色/绿色(B/G)值以及黑体辐射轨迹的图。

图7A至7C是用于描述光源颜色的相似度和可靠度的计算的图。

图8是以表形式示出的估计光源颜色的相似度和可靠度的图。

图9是用于描述可靠度和估计光源颜色的重新计算的图。

具体实施方式

下面将参考附图描述本发明的典型实施例。另外，以下典型实施例不旨在限定本发明，并且在本典型实施例中说明的特征的全部组合不一定是本发明所必须的。相同的组件将用相同的附图标记来描述。

图1是示出作为根据本典型实施例的图像处理设备的应用示例的摄像设备100的示意性结构的图。

摄像设备100是诸如数字照相机和数字摄像机等的照相机。摄像设备100可以是具有照相机功能的电子装置，诸如具有照相机功能的移动电话或具有内置照相机的计算机等。

光学系统101包括透镜、快门和光阑。光学系统101在图像传感器102的摄像面上形成被摄体的光学图像。将包括焦距、快门速度和光圈值的信息从光学系统101发送到中央处理单元(CPU)103。图像传感器102是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。图像传感器102包括红色(R)-绿色(G)-蓝色(B)拜耳阵列，并且将由光学系统101形成的光学图像转换成逐像素的亮度信息。通过未示出的模数(AD)转换器所数字化的数据(即，显像处理之前的原始数据)经由CPU 103被存储到主存储装置104中。由CPU 103设置图像传感器102的电增益(以下称为国际标准化组织(ISO)速度)。

测光传感器105被分割成多个测光区域(例如，水平分割成12个区域和垂直分割成8个区域，总共96个区域)，并且根据通过光学系统101入射的光量来检测各分割区域中的被摄体亮度。从测光传感器105输出的相应测光区域的亮度信号被未示出的AD转换器数字化，并且被发送到CPU 103。分割区域的数量可以是任何正整数，并且不限于上述96。

用作控制单元的CPU 103通过基于输入数据和预先存储的程序而控制摄像设备100的组件来实现摄像设备100的功能。在下面的描述中，CPU 103通过执行程序所实现的功能中的至少一些功能可以通过专用硬件(诸如专用集成电路(ASIC)等)来实现。

主存储装置104是诸如随机存取存储器(RAM)等的易失性存储装置并且用于CPU103的操作。存储在主存储装置104中的信息还可以由图像处理设备106使用或者记录在记录介质107上。

辅存储装置108是诸如电可擦除可编程只读存储器(EEPROM)等的非易失性存储装置。辅存储装置108存储用于控制摄像设备100的程序(固件)和各种类型的设置信息。CPU103使用存储在辅存储装置108中的程序和各种类型的设置信息。

记录介质107记录与图像传感器102所拍摄的并且临时存储在主存储装置104中的图像有关的数据。如半导体存储卡那样，记录介质107可从摄像设备100拆卸，并且记录在记录介质107上的数据可以由诸如个人计算机等的其它装置读取。换句话说，摄像设备100包括用于记录介质107的可拆卸机构以及读取和写入功能。

显示单元109显示摄像期间的取景器图像、拍摄图像以及用于交互操作的图形用户界面(GUI)图像。

操作单元110是用于接受用户的操作并将操作发送到CPU 103作为操作输入信息的输入装置组。输入装置的示例包括按钮、杆和触摸面板。操作单元110可以包括使用语音或视线的输入装置。在操作单元110中还包括释放按钮，摄像设备100从该释放按钮获得用户操作以开始摄像。根据本典型实施例的摄像设备100具有用于图像处理设备106向拍摄图像应用的图像处理的多个模式。通过使用操作单元110，可以将这种模式设置为摄像模式。

图像处理设备106对通过使用图像传感器102的摄像所获得的图像数据应用各种类型的图像处理。图像处理包括诸如白平衡处理、颜色插值处理、伽马校正处理、饱和度校正处理和色相校正处理等的显像处理。颜色插值处理旨在将RGB拜耳阵列信号转换为R、G和B三色特定平面信号。如下面将详细描述的，图像处理设备106进行用于从拍摄图像检测两个或更多个特定被摄体区域的处理、特定被摄体区域颜色判断处理、光源颜色估计处理、光源颜色相似度和可靠度计算处理、光源颜色混合处理以及用于计算白平衡校正值的处理。图像处理设备106的这些处理中的至少一些可以由CPU 103执行根据本典型实施例的程序通过软件来实现。

现在将描述根据本典型实施例的与白平衡校正有关的各种类型的计算处理和控制处理。

图2是示出图像处理设备106中的进行白平衡处理的白平衡控制单元200的功能的框图。在以下描述中，白平衡将缩写为WB。WB控制单元200包括分割单元201、第一颜色判断单元202，第一颜色估计单元203、第二颜色判断单元204、第二颜色估计单元205、白色判断单元206、第三颜色估计单元207、相似度计算单元208、颜色混合单元209和校正值计算单元210。

分割单元201将图像传感器102所拍摄的并且临时存储在主存储装置104中的拍摄图像分割成多个块。下面将描述分割单元201进行的块分割处理的详情。

第一颜色判断单元202和第二颜色判断单元204从拍摄图像中检测相应的特定被摄体。在本典型实施例中，例如，将人类肖像的人类皮肤区域作为第一特定被摄体来讨论，并且将自然植物区域作为第二特定被摄体来讨论。然后，第一颜色判断单元202和第二颜色判断单元204获得与检测到的相应特定被摄体有关的颜色信息。更具体地，第一颜色判断单元202从拍摄图像中检测第一特定被摄体，并且获得与该特定被摄体有关的颜色信息。第二颜色判断单元204从拍摄图像中检测第二特定被摄体，并且获得与该特定被摄体有关的颜色信息。在本典型实施例中，如果人类肖像的人类皮肤区域被检测为第一特定被摄体，则与第一特定被摄体有关的颜色信息是与人类皮肤有关的皮肤颜色信息。如果自然植物被检测为第二特定被摄体，则与第二特定被摄体有关的颜色信息是与植物有关的绿色信息。下面将对用于从由第一颜色判断单元202和第二颜色判断单元204检测到的特定被摄体的区域中获得颜色信息的处理的详情进行说明。

白色判断单元206从拍摄图像中获得与包括了除特定被摄体的区域(特定被摄体区域)之外的区域的区域有关的颜色信息。具体地，白色判断单元206获得与包括了除第一颜色判断单元202和第二颜色判断单元204所检测到的两个或更多个特定被摄体之外的被摄体的区域有关的颜色信息。如下面将详细描述的，在本典型实施例中，白色判断单元206从包括了除特定被摄体区域之外的区域的区域中获得白色信息。

第一颜色估计单元203基于与由第一颜色判断单元202检测到的第一特定被摄体有关的颜色信息来估计第一光源颜色。以下将所估计的第一光源颜色称为第一估计光源颜色。

第二颜色估计单元205基于与由第二颜色判断单元204检测到的第二特定被摄体有关的颜色信息来估计第二光源颜色。以下将所估计的第二光源颜色称为第二估计光源颜色。

第三颜色估计单元207基于由白色判断单元206获得的颜色(即，与包括了除拍摄图像的特定被摄体区域之外的区域的区域有关的白色信息)来估计第三光源颜色。以下将估计的第三光源颜色称为第三估计光源颜色。

下面将描述第一颜色估计单元203、第二颜色估计单元205和第三颜色估计单元207的处理的详情。

相似度计算单元208计算第一光源颜色、第二光源颜色和第三光源颜色之间的相似度，并且根据该相似度计算相应的第一光源颜色、第二光源颜色和第三光源颜色的可靠度。

颜色混合单元209进行颜色混合处理，该颜色混合处理用于基于相似度或根据相似度计算出的可靠度对相应的第一光源颜色、第二光源颜色和第三光源颜色分配权重并对加权后的光源颜色进行混合。

校正值计算单元210基于由颜色混合单元209进行的颜色混合处理得到的光源颜色来计算要应用于拍摄图像的WB校正值。

换句话说，在本典型实施例中，计算第一光源颜色至第三光源颜色之间的相似度，并且进一步从相似度计算第一光源颜色至第三光源颜色的可靠度。通过基于可靠度对第一光源颜色至第三光源颜色分配权重来计算WB校正值。下面说明相似度计算单元208、颜色混合单元209和校正值计算单元210的处理的详情。然后，图像处理设备106使用WB校正值进行WB处理。

图3是与摄像设备100的CPU 103的处理有关的流程图。在本典型实施例中，释放按钮是两级按钮。在以下描述中，操作单元110的SW1表示释放按钮的半按下，并且操作单元110的SW2表示释放按钮的全按下。

在步骤S301中，CPU 103经由操作单元110接受来自用户的输入信息。

在步骤S302中，CPU 103基于来自用户的输入信息调整光学系统101的诸如焦距、快门速度和光圈值等的设置。

在步骤S303中，CPU 103基于来自用户的输入信息调整测光传感器105的测光区域。

在步骤S304中，CPU 103基于来自用户的输入信息调整图像传感器102的诸如ISO速度等的设置。

在步骤S305中，CPU 103在显示单元109上显示与通过步骤S302至S304的处理而改变的设置有关的信息，从而将信息呈现给用户。

步骤S301至S305的顺序不限于此，并且可以根据处理自由地改变。

在步骤S306中，CPU 103判断是否存在来自释放按钮的SW1输入(SW1是接通还是断开)。除非从释放按钮输入了SW1，否则CPU 103重复步骤S301至S305的操作(步骤S306中为“否”)。另一方面，如果从释放按钮输入了SW1(SW1接通)(步骤S306中为“是”)，则处理进入步骤S307。

在步骤S307中，CPU 103基于来自测光传感器105的输出来测量被摄体的亮度。如果摄像设备100被设置为自动曝光(AE)模式，则CPU 103基于快门速度、光圈值和ISO速度自动调整曝光水平。

在步骤S308中，如果摄像设备100被设置为自动调焦(AF)模式，则CPU 103通过基于来自未示出的测距传感器的信息控制光学系统101的调焦透镜来调整焦点。

步骤S307和S308的顺序不限于此，并且可以根据处理自由地改变。

在步骤S309中，CPU 103判断是否存在从释放按钮输入的SW2(SW2是接通还是断开)。除非从释放按钮输入SW2，否则CPU 103重复步骤S301至S308的操作(步骤S309中为“否”)。另一方面，如果从释放按钮输入了SW2(SW2为接通)(步骤S309中为“是”)，则处理进入步骤S310。

在步骤S310中，CPU 103使图像传感器102进行曝光，并且将通过对图像传感器102的摄像信号进行A/D转换而获得的原始数据存储到主存储装置104中。

在步骤S311中，图像处理设备106在CPU 103的控制下从存储在主存储装置104中的数据中检测特定被摄体。作为示例，本典型实施例涉及将人类皮肤检测为第一特定被摄体并将自然绿色检测为第二特定被摄体的情况。要检测的特定被摄体不限于此，并且可以使用能够估计原始颜色的任何特定被摄体。示例包括面部、蓝天、云、地、树干、沥青路面、秋叶和枯叶。虽然本典型实施例涉及检测两个特定被摄体的情况，但是可以检测三个或更多个特定被摄体。用于检测特定被摄体的方法可以使用基于规则的技术以及深度学习技术。

在步骤S312中，图像处理设备106在CPU 103的控制下基于存储在主存储装置104中的数据来计算WB校正值。下面将描述处理的详情。

在步骤S313中，图像处理设备106在CPU 103的控制下通过使用在步骤S312中计算出的WB校正值，对存储在主存储装置104中的原始数据(raw data)进行显像处理。

在步骤S314中，CPU 103在显示单元109上显示基于通过显像处理获得的图像数据的图像。

在步骤S315中，CPU 103将通过显像处理获得的图像数据记录在记录介质107中。

现在将描述在步骤S312中通过图像处理设备106计算WB校正值的详情。

图4是由图2所示的图像处理设备106的功能单元进行的WB校正值计算处理的流程图。

在步骤S401中，分割单元201将主存储装置104中存储的图像数据如图5所示水平地和垂直地分割成给定数量的块。分割单元201计算各块中的R、G和B积分值。

在步骤S402中，第一颜色判断单元202通过特定被摄体检测处理来检测第一特定被摄体区域，并且仅计算第一特定被摄体区域中的块的R、G和B积分值。在本典型实施例中，将人类皮肤区域检测为第一特定被摄体区域，并且计算人类皮肤区域中的R、G和B积分值。第一颜色判断单元202还根据R、G和B积分值计算R/G值和B/G值。

然后，第一颜色估计单元203根据第一颜色判断单元202计算出的与人类皮肤区域相对应的R/G和B/G值来估计光源颜色的R/G和B/G值。

现在将描述用于根据与人类皮肤区域相对应的R/G和B/G值来估计光源颜色的R/G和B/G值的方法。

图6A是R/G和B/G值的图。横轴指示R/G值，并且纵轴指示B/G值。图中的实线表示黑体辐射轨迹601。

在本典型实施例中，辅存储装置108预先存储了各种类型的光源颜色与在相应类型的光源下的人类皮肤的R/G和B/G值的对应关系表。虽然实际的人类皮肤的颜色因人而异，但是以这种变化的中心附近的皮肤颜色作为代表值来生成对应关系表。

在图6A中，假设例如与人类皮肤区域相对应的R/G和B/G值落在圆602的位置上。在这种情况下，从对应关系表获得的与人类皮肤区域的颜色相对应的光源颜色位于圆603的位置处。同样地，例如如果与人类皮肤区域相对应的R/G和B/G值落在圆604的位置上，则从对应关系表中获得的与人类皮肤区域的颜色相对应的光源颜色位于圆605的位置处。以这种方式，第一颜色估计单元203通过使用由第一颜色判断单元202计算出的人类皮肤区域的R/G和B/G值以及对应关系表，根据人类皮肤区域的颜色估计光源颜色。在本典型实施例中，由第一颜色估计单元203估计的光源颜色是第一估计光源颜色。

在步骤S403中，第二颜色判断单元204通过特定被摄体检测处理来检测第二特定被摄体区域，并且仅计算第二特定被摄体区域中的块的R、G和B积分值。在本典型实施例中，检测自然绿色区域作为第二特定被摄体区域，并且计算自然绿色区域的R、G和B积分值。此外，第二颜色判断单元204还根据R、G、B积分值计算R/G、B/G值。

然后，第二颜色估计单元205根据由第二颜色判断单元204计算出的与自然绿色区域相对应的R/G和B/G值来估计光源颜色的R/G和B/G值。

现在将描述用于根据与自然绿色区域相对应的R/G和B/G值来估计光源颜色的R/G和B/G值的方法。

图6B是R/G和B/G值的图。横轴指示R/G值，并且纵轴指示B/G值。图中的实线表示黑体辐射轨迹601。

在本典型实施例中，预先存储在辅存储装置108中的对应关系表以彼此相关联的方式包含各种类型的光源颜色、以及在相应类型的光源下的自然绿色的R/G和B/G值。虽然实际的自然绿色在颜色上变化，但是以这种变化的中心附近的颜色作为代表值来生成对应关系表。

在图6B中，例如，如果与自然绿色区域相对应的R/G和B/G值落在圆606的位置上，则从对应关系表中获得的与自然绿色区域的颜色相对应的光源颜色位于圆607的位置处。同样地，例如，如果与自然绿色区域相对应的R/G和B/G值落在圆608的位置上，则从对应关系表中获得的与自然绿色区域的颜色相对应的光源颜色位于圆609的位置处。以这种方式，第二颜色估计单元205通过使用由第二颜色判断单元204计算出的自然绿色区域的R/G和B/G值以及对应关系表，根据自然绿色区域的颜色估计光源颜色。在本典型实施例中，由第二颜色估计单元205估计的光源颜色是第二估计光源颜色。

在步骤S404中，白色判断单元206从整个拍摄图像中检测白色区域，并且计算白色区域中的R、G和B积分值。白色判断单元206还根据R、G和B积分值来计算白色区域的R/G和B/G值。

图6C是R/G和B/G值的图。横轴指示R/G值，并且纵轴指示B/G值。图中虚线所包围的区域表示白色区域610。白色判断单元206对在图6C所示的R/G-B/G坐标系中设置的白色区域610中包括的块的R、G和B值进行积分，并计算由圆611表示的R、G和B积分值的集合。图6C所示的白色区域610被设置为包括黑体辐射轨迹601的附近区域以及荧光灯和水银灯的光源颜色。

第三颜色估计单元207根据与由白色判断单元206设置的白色区域610相对应的R/G和B/G值来估计光源颜色的R/G和B/G值。由第三颜色估计单元207估计的R/G和B/G值指示根据整个拍摄图像(即，包括特定被摄体区域的区域)计算出的光源颜色。在本典型实施例中，由第三颜色估计单元207估计的光源颜色是第三估计光源颜色。

虽然在本典型实施例中，白色判断单元206对整个拍摄图像应用处理，但是白色判断单元206的处理可以仅应用于除第一特定被摄体区域和第二特定被摄体区域之外的区域。

在本典型实施例中，描述了通过从图像中提取包括在白色区域610中的块来估计光源颜色的方法。然而，可以使用用于光源颜色估计处理的其它技术，只要使用与包括除第一特定被摄体区域和第二特定被摄体区域之外的区域的图像区域有关的数据即可。

在步骤S405中，相似度计算单元208计算第一估计光源颜色至第三估计光源颜色之间的相似度，并且还根据计算出的相似度计算第一估计光源颜色至第三估计光源颜色的可靠度。将参考图7A至7C描述详情。

在图7A至7C中，实线表示黑体辐射轨迹601。圆701指示上述第一估计光源颜色的R/G和B/G值的位置，圆702指示第二估计光源颜色的R/G和B/G值的位置，并且圆703指示第三估计光源颜色的R/G和B/G值的位置。这里，相似度计算单元208计算图上的第一估计光源颜色至第三估计光源颜色的R/G值和B/G值的相应位置之间的距离。

例如，距离可以通过以下等式(1)来计算。

D12＝((R/G1–R/G2)^2+(B/G1–B/G2)^2)^(1/2)

D13＝((R/G1–R/G3)^2+(B/G1–B/G3)^2)^(1/2)

D23＝((R/G2–R/G3)^2+(B/G2–B/G3)^2)^(1/2) ...等式(1)

在等式(1)中，D12是图上的第一估计光源颜色与第二估计光源颜色的R/G和B/G值的位置之间的距离。同样地，D13是第一估计光源颜色与第三估计光源颜色的R/G和B/G值的位置之间的距离，以及D23是第二估计光源颜色与第三估计光源颜色的R/G和B/G值的位置之间的距离。等式(1)中的R/G1和B/G1是第一估计光源颜色的R/G和B/G值。同样地，R/G2和B/G2是第二估计光源颜色的R/G和B/G值，以及R/G3和B/G3是第三估计光源颜色的R/G和B/G值。

如果距离落在预定值内，则相似度计算单元208判断为相似度高。另一方面，如果距离超过预定值，则相似度计算单元208判断为相似度低。例如，在距离D12落在预定值内，则相似度计算单元208判断为第一估计光源颜色与第二估计光源颜色之间的相似度高。例如，如果距离D12超过预定值，则相似度计算单元208判断为第一估计光源颜色与第二估计光源颜色之间的相似度低。相似度计算单元208也同样地使用距离D13和距离D23来判断相似度。然后，相似度计算单元208基于相似度来判断第一估计光源颜色至第三估计光源颜色的可靠度。

图7A示出第一估计光源颜色、第二估计光源颜色和第三估计光源颜色之间的相似度全部为高的情况。在这种情况下，由于估计光源颜色之间的相似度全部为高，因此相似度计算单元208判断为估计光源颜色全部具有高的可靠度。

图7B示出第一估计光源颜色与第三估计光源颜色之间的相似度高、而第二估计光源颜色与第一估计光源颜色和第三估计光源颜色这两者的相似度低的示例。因此，如果估计光源颜色中的一者距其它两者的距离大，则相似度计算单元208判断为特定被摄体的检测结果可能错误，并且相似度低的一个估计光源颜色(在该示例中为第二估计光源颜色)的可靠度低。

图7C示出第一估计光源颜色、第二估计光源颜色和第三估计光源颜色之间的相似度全部为低的示例。因此，如果三个估计光源颜色全部处于远距离处，由于无法基于估计结果判断哪个估计光源颜色的可靠度为高，因此相似度计算单元208判断为可靠度为中。相似度计算单元208在未检测到第一特定被摄体和第二特定被摄体其中至少之一的情况下，也将第一估计光源颜色、第二估计光源颜色和第三估计光源颜色的可靠度判断为中。

图8是示出用于根据如上所述的第一估计光源颜色、第二估计光源颜色和第三估计光源颜色之间的相似度的组合来确定可靠度的对应关系表的图。相似度计算单元208基于图8所示的对应关系表来确定估计光源颜色的可靠度。在图7A的示例中，图8中的第一估计光源颜色至第三估计光源颜色的相似度全部为“高”，并且相似度计算单元208判断为第一估计光源颜色至第三估计光源颜色的可靠度全部为“高”。在图7B的示例中，第一估计光源颜色与第三估计光源颜色的相似度在图8中为“高”、并且与第二估计光源颜色的相似度在图8中为“低”。在这种情况下，相似度计算单元208判断为第一估计光源颜色和第三估计光源颜色的可靠度为“高”并且第二估计光源颜色的可靠度为“低”。在图7C的示例中，图8中的第一估计光源颜色至第三估计光源颜色的相似度全部为“低”，并且相似度计算单元208判断为第一估计光源颜色至第三估计光源颜色的可靠度为“中”。

在步骤S406中，相似度计算单元208判断本处理是否旨在拍摄摄像设备100的电源接通后的第一帧。

如果本处理旨在拍摄第一帧(步骤S406中为“是”)，则处理进入步骤S407。在步骤S407中，相似度计算单元208将通过到目前为止的处理所计算出的第一估计光源颜色至第三估计光源颜色的可靠度以及估计光源颜色的R/G和B/G值存储到主存储装置104中。

在步骤S408中，颜色混合单元209基于第一估计光源颜色至第三估计光源颜色的可靠度进行颜色混合处理。现在将详细说明颜色混合单元209的颜色混合处理。

如图8的对应关系表中所示，就“高”、“中”和“低”方面来表示估计光源颜色的可靠度。

如果第一估计光源颜色至第三估计光源颜色中的任一个具有“高”可靠度，则颜色混合单元209通过下面描述的等式(2)来混合估计光源颜色，其中，分配给具有“高”可靠度的估计光源颜色的权重为100％，并且分配给具有其它可靠度(“中”和“低”)的估计光源颜色的权重为0％。

如果第一估计光源颜色至第三估计光源颜色均不具有“高”或“中”可靠度，但第一估计光源颜色至第三估计光源颜色全部具有“低”可靠度，则颜色混合单元209使用在拍摄先前帧时获得的混合光源颜色。注意，控制根据本典型实施例的摄像设备100使得在拍摄电源接通后的第一帧时第一估计光源颜色至第三估计光源颜色的可靠度不被设置为“低”。

在本典型实施例中，因此可以通过对相应的估计光源颜色之间的距离之间的关系进行比较来判断估计光源颜色中的误判断。

R/G0＝(R/G1×a+R/G2×b+R/G3×c)/(a+b+c)

B/G0＝(B/G1×a+B/G2×b+B/G3×c)/(a+b+c) ...等式(2)

等式(2)中的R/G0是颜色混合处理后的R/G值，并且B/G0是颜色混合处理后的B/G值。等式(2)中的R/G1和B/G1是第一估计光源颜色的R/G和B/G值，R/G2和B/G2是第二估计光源颜色的R/G和B/G值，以及R/G3和B/G3是第三估计光源颜色的R/G和B/G值。在等式(2)中，a是第一估计光源颜色的R/G和B/G值的权重，b是第二估计光源颜色的R/G和B/G值的权重，以及c是第三估计光源颜色的R/G和B/G值的权重。

颜色混合单元209将这里计算出的光源颜色的R/G0和B/G0存储在主存储装置104，以供后续帧使用。虽然在本典型实施例中，颜色混合单元209基于可靠度进行颜色混合处理，但是颜色混合单元209也可以基于相似度进行颜色混合处理。

在步骤S409中，校正值计算单元210通过使用以下等式(3)根据在步骤S408中计算出的颜色混合处理后的光源颜色的R/G和B/G值(R/G0和B/G0)来计算WB校正值。

Wr＝1/(R/G0)

Wg＝1

Wb＝1/(B/G0) ...等式(3)

在等式(3)中，Wr是针对R值的WB校正值，Wg是针对G值的WB校正值，并且Wb是针对B值的WB校正值。R/G0是颜色混合处理后的R/G值，并且B/G0是颜色混合处理后的B/G值。

校正值计算单元210对WB校正值的计算处理结束。

现在，将描述针对在步骤S406中判断为本处理旨在拍摄摄像设备100的电源接通后的第二帧或后续帧的情况的处理。

如果在步骤S406中判断为处理旨在拍摄摄像设备100的电源接通后的第二帧或后续帧(步骤S406中为“否”)，则处理进入步骤S410。

在步骤S410中，相似度计算单元208基于最新帧和过去帧之间的第一估计光源颜色至第三估计光源颜色的可靠度的比较结果，重新计算第一估计光源颜色至第三估计光源颜色的可靠度。

具体地，相似度计算单元208将在最新帧中确定的第一估计光源颜色至第三估计光源颜色的R/G和B/G值与在过去帧中确定的第一估计光源颜色至第三估计光源颜色的R/G和B/G值进行比较。如果在最新帧中获得的第一估计光源颜色至第三估计光源颜色的R/G和B/G值的位置之间的前述距离与在过去帧中获得的第一估计光源颜色至第三估计光源颜色的R/G和B/G值的位置之间的前述距离的差落在预定值内，则相似度计算单元208如图9中所示的表那样重新计算可靠度和估计光源颜色。如果最新帧中的估计光源颜色的R/G和B/G值的位置之间的距离与过去帧中的估计光源颜色的R/G和B/G值的位置之间的距离相差大于预定值，则相似度计算单元208使用在最新帧中确定的可靠度和估计光源颜色作为重新计算的相似度和重新计算的估计光源颜色。

现在将描述图9中所示表的详情。

作为图9中的基本操作，相似度计算单元208以从最新帧计算出的可靠度具有更高优先级的方式重新计算可靠度和估计光源颜色。如果从最新帧计算出的可靠度是“中”，则相似度计算单元208以对从过去帧计算出的可靠度给予更高优先级的方式重新计算可靠度和估计光源颜色。如果在过去帧和最新帧中计算出的可靠度都是“中”，则相似度计算单元208使用最新帧中的可靠度和估计光源颜色作为重新计算结果。

如上所述，在本典型实施例中，基于在最新帧中计算出的估计光源颜色的R/G和B/G值的位置之间的距离(相似度)和可靠度与在过去帧中计算出的估计光源颜色的R/G和B/G值的位置之间的距离和可靠度的比较结果，重新计算可靠度和估计光源颜色。更具体地，在本典型实施例中，将第一估计光源颜色、第二估计光源颜色和第三估计光源颜色的相似度和可靠度其中至少之一与拍摄下一帧或后续帧时获得的相同类型的结果进行比较。基于比较结果计算下一帧或后续帧的图像的WB校正值。因此，即使在最新帧中计算出的可靠度被判断为“中”，也可以判断估计光源颜色是否错误。

现在，假设当相似度计算单元208在步骤S406中判断本处理是否旨在拍摄摄像设备100的电源接通后的第二帧或后续帧时，自先前帧起经过了预定时间或者由测光传感器105计算出的被摄体的亮度改变了预定值或更大。在这种情况下，过去帧信息的可靠性下降。因此，相似度计算单元208可以被配置为在经过了预定时间的情况以及亮度改变了预定值或更大的情况其中至少之一中，在不使用从先前帧获得的信息的情况下，将当前帧作为第一帧来处理。

如上所述，根据本典型实施例，可以通过使用特定被摄体检测的自动WB计算来减小由于被摄体的误检测而导致的错误WB校正的效果。这能够实现适当的WB控制，并且可以防止自动WB精度下降。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。以下权利要求的范围应给予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (13)

1.一种图像处理设备，包括：

检测单元，其被配置为从拍摄图像检测两个或更多个特定被摄体；

第一颜色估计单元，其被配置为根据与所检测到的特定被摄体中的第一特定被摄体有关的颜色信息来估计第一光源颜色；

第二颜色估计单元，其被配置为根据与所检测到的特定被摄体中的第二特定被摄体有关的颜色信息来估计第二光源颜色；

第三颜色估计单元，其被配置为根据与包括除所检测到的特定被摄体之外的被摄体的区域有关的颜色信息来估计第三光源颜色；以及

计算单元，其被配置为通过基于所述第一光源颜色、所述第二光源颜色和所述第三光源颜色之间的相似度向所述第一光源颜色、所述第二光源颜色和所述第三光源颜色其中至少之一分配权重来计算要应用于所述拍摄图像的白平衡校正值。

2.根据权利要求1所述的图像处理设备，其中，所述计算单元被配置为基于所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的相似度来计算相应的所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的可靠度，并且通过基于所述可靠度分配所述权重来计算所述白平衡校正值。

3.根据权利要求2所述的图像处理设备，其中，所述计算单元被配置为：

通过将所述相似度与预定值进行比较来判断所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的相似度是高还是低，

在判断为所述第一光源颜色、所述第二光源颜色和所述第三光源颜色全部的相似度是高的情况下，判断为所述第一光源颜色、所述第二光源颜色和第三光源颜色的可靠度是高，

在判断为所述第一光源颜色、所述第二光源颜色和所述第三光源颜色中的仅一者的相似度是低的情况下，判断为与被判断为低的相似度相对应的光源颜色的可靠度是低，以及

在判断为所述第一光源颜色、所述第二光源颜色和所述第三光源颜色全部的相似度是低的情况下，判断为所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的可靠度是中。

4.根据权利要求3所述的图像处理设备，其中，所述计算单元被配置为基于通过在分配所述权重之后对所述第一光源颜色、所述第二光源颜色和所述第三光源颜色进行混合处理而获得的光源颜色，来计算所述白平衡校正值。

5.根据权利要求4所述的图像处理设备，其中，所述计算单元被配置为以针对所述第一光源颜色、所述第二光源颜色和所述第三光源颜色中的可靠度被判断为高的一个或多个光源颜色的权重为100％并且针对可靠度未被判断为高的一个或多个光源颜色的权重为0％的方式进行混合处理。

6.根据权利要求4所述的图像处理设备，其中，所述计算单元被配置为在所述第一光源颜色、所述第二光源颜色和所述第三光源颜色全部的可靠度都未被判断为高并且全部的光源颜色的可靠度被判断为中或低的情况下，以针对可靠度被判断为中的一个或多个光源颜色的权重为100％并且针对可靠度未被判断为中的一个或多个光源颜色的权重为0％的方式进行混合处理。

7.根据权利要求4所述的图像处理设备，其中，所述计算单元被配置为在所述第一光源颜色、所述第二光源颜色和所述第三光源颜色全部的可靠度都未被判断为高或中并且所述第一光源颜色、所述第二光源颜色和所述第三光源颜色全部的可靠度被判断为低的情况下，使用与基于通过对先前帧的拍摄图像的混合处理所获得的光源颜色而计算出的白平衡校正值有关的信息。

8.根据权利要求2至7中任一项所述的图像处理设备，其中，所述计算单元被配置为在与如下三者中的至少一者有关的信息和通过拍摄下一帧或后续帧的图像而获得的相同类型的信息之间进行比较，并且基于比较结果来计算用于所述下一帧或后续帧的图像的白平衡校正值，其中所述三者是：所述第一光源颜色、所述第二光源颜色和所述第三光源颜色；所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的相似度；以及所述第一光源颜色、所述第二光源颜色和所述第三光源颜色的可靠度。

9.根据权利要求7所述的图像处理设备，其中，所述计算单元被配置为在从拍摄所述先前帧的图像起经过了预定时间的情况、以及从拍摄所述先前帧的图像起所述特定被摄体的亮度改变了预定值或更大值的情况中的至少一个情况下，不使用在所述先前帧中获得的信息。

10.根据权利要求1至7中任一项所述的图像处理设备，其中，所述检测单元被配置为从所述拍摄图像中检测包括面部、皮肤、植物绿色、蓝天、云、地、树干、沥青路面、秋叶和枯叶的被摄体中的至少两个或更多个被摄体作为所述特定被摄体。

11.根据权利要求1至7中任一项所述的图像处理设备，其中，所述第三颜色估计单元被配置为根据与包括在包含除所述特定被摄体之外的被摄体的区域中的白色区域有关的颜色信息来估计所述第三光源颜色。

12.一种图像处理方法，其由图像处理设备执行，所述图像处理方法包括：

从拍摄图像检测两个或更多个特定被摄体；

根据与所检测到的特定被摄体中的第一特定被摄体有关的颜色信息来估计第一光源颜色作为第一颜色估计；

根据与所检测到的特定被摄体中的第二特定被摄体有关的颜色信息来估计第二光源颜色作为第二颜色估计；

根据与包括除所检测到的特定被摄体之外的被摄体的区域有关的颜色信息来估计第三光源颜色作为第三颜色估计；以及

通过基于所述第一光源颜色、所述第二光源颜色和所述第三光源颜色之间的相似度向所述第一光源颜色、所述第二光源颜色和所述第三光源颜色其中至少之一分配权重来计算要应用于所述拍摄图像的白平衡校正值。

13.一种计算机可读存储介质，其存储用于使计算机执行根据权利要求12所述的图像处理方法的程序。

Images