CN105306916A - 执行白平衡控制的图像拾取装置及其控制方法 - Google Patents

Abstract

本发明涉及执行白平衡控制的图像拾取装置及其控制方法。公开了一种能够对图像正确地执行白平衡控制的图像拾取装置。拍摄的图像被划分为区域，并且从每个区域获取颜色评估值。从与该图像的区域相关联地限定的对象的区域中的每一个区域检测红外光。使用通过混合第一WB校正值和第二WB校正值计算的混合WB校正值，对所述图像执行白平衡校正，使用被包括于在颜色空间中设置的白色检测范围内的颜色评估值来计算第一WB校正值，并且使用从各自具有大于预定量的红外光量并且被包括于在颜色空间中设置的不是白色的预定颜色的检测范围内的区域获取的颜色评估值来计算第二WB校正值。

Description

执行白平衡控制的图像拾取装置及其控制方法

技术领域

本发明涉及执行白平衡控制的图像拾取装置及其控制方法，更具体地，涉及由该图像拾取装置执行的白平衡处理。

背景技术

近年来，在由图像拾取装置执行的自动白平衡处理中，广泛地使用所谓的TTL(ThroughTheLens(通过镜头))方法。在使用TTL方法的自动白平衡处理中，根据通过拍摄获得的图像估计来自光源的光的颜色。另外，为了计算白平衡校正值(以下被称为WB校正值)，有必要在图像上精确地区分来自光源的光的颜色和对象的颜色。

例如，已经提出了一种图像拾取装置，其被配置为根据拍摄条件和对象条件，改变用于确定颜色信号的评估值的白色变化范围，从而以与亮度信号级别无关的方式执行精确的色温检测和白平衡控制，(见日本专利公开No.H11-262029)。

另外，已经提出了一种图像拾取装置，其被配置为相对于被包括在白色提取范围内的绿色对象执行适当的白平衡控制，将绿色转换为非彩色(achromaticcolor)的动作在该绿色对象上起作用(例如，在诸如阴影中的位置的暗处拍摄绿树或者草的情况)(见日本专利公开No.2006-174281)。在该图像拾取装置中，通过基于具有照度、绿色的量和R增益作为坐标轴的三维坐标系上的数据的分布，确定图像是在室内使用室内荧光灯做为光源拍摄的，还是在室外阳光下/阴影下拍摄的，来控制白平衡。

现在，假设来自诸如水银灯的光源本身的光的颜色是绿色，并且拍摄如下的场景，在该场景中，通过拍摄获得的整个图像由该光而被变为呈绿色(第一场景)。另外，假设在诸如阴影位置的暗处拍摄其中有许多绿树或者草的场景(第二场景)。在这种情况下，日本专利公开No.H11-262029和日本专利待审公开No.2006-174281中描述的图像拾取装置难以区分第一场景和第二场景。

即，在日本专利公开No.H11-262029中描述的图像拾取装置中，第一场景和第二场景两者在两个场景之间具有对象的亮度和颜色的类似评估值，并且因此存在用于第一场景和第二场景的WB校正值也彼此类似的高的可能性。

另外，同样在日本专利公开No.2006-174281中描述的图像拾取装置中，整个图像由于来自光源的光的颜色的影响被变为呈绿色，并且因此即使使用绿色的量和R增益，也难以区分第一场景和第二场景。

希望将第一场景中由来自光源的光着色的绿色转换为非彩色，但是希望使得第二场景中的对象的绿色鲜艳。因此，希望区分第一场景和第二场景，并且根据场景改变WB校正值。

发明内容

本发明提供了一种图像拾取装置，该图像拾取装置能够通过确定检测的颜色是来自光源的光的颜色还是对象的颜色，来对从其检测大量类似颜色的图像正确地执行白平衡控制。

在本发明的第一方面，提供了一种图像拾取装置，其包括图像拾取设备；获取单元，被配置为将通过由该图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获得颜色评估值；红外光传感器，被配置为分别检测来自与该图像的区域相关联地限定的对象的区域中的每个区域的红外光；计算单元，被配置为使用从该图像获取的多个颜色评估值来计算白平衡校正值；以及处理单元，被配置为使用由该计算单元计算的混合白平衡校正值，对该图像执行白平衡校正处理，其中该计算单元包括:第一白平衡校正值计算部分，被配置为使用该多个颜色评估值中的被包括于在颜色空间中设置的白色检测范围内的颜色评估值，计算第一白平衡校正值，第二白平衡校正值计算部分，被配置为使用该多个颜色评估值中的如下的颜色评估值来计算第二白平衡校正值：从各自具有大于预定量的红外光量的区域获得并且被包括于在颜色空间中设置的不是白色的预定颜色的检测范围内的颜色评估值，以及混合白平衡校正值计算部分，被配置为通过混合第一白平衡校正值和第二白平衡校正值，计算混合白平衡校正值。

在本发明的第二方面，提供了一种图像拾取装置，包括图像拾取设备；获取单元，被配置为将通过由该图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获取颜色评估值；红外光传感器，被配置为分别检测来自与该图像的区域相关联地限定的对象的区域中的每个区域的红外光；计算单元，被配置为基于由该红外光传感器在逐个区域的基础上执行的红外光量的检测结果，使用从该图像获得的多个颜色评估值，来计算白平衡校正值；以及处理单元，被配置为使用由该计算单元计算的该白平衡校正值，对该图像执行白平衡校正处理。

在本发明的第三方面，提供了一种控制包括图像拾取设备的图像拾取装置的方法，包括将通过由图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获取颜色评估值，分别检测来自与该图像的区域相关联地限定的对象的区域中的每个区域的红外光；使用从该图像获得的多个颜色评估值来计算白平衡校正值，以及使用由该计算单元计算的混合白平衡校正值，对该图像执行白平衡校正处理，其中该计算包括:使用该多个颜色评估值中的被包括于在颜色空间中设置的白色检测范围内的颜色评估值，计算第一白平衡校正值；使用该多个颜色评估值中的如下的颜色评估值来计算第二白平衡校正值：从各自具有大于预定量的红外光量的区域获得并且被包括于在颜色空间中设置的不是白色的预定颜色的检测范围内的颜色评估值；以及通过混合第一白平衡校正值和第二白平衡校正值，计算混合白平衡校正值。

根据本发明，可以通过确定图像中的颜色是来自光源的光的颜色还是对象的颜色，正确地执行白平衡控制。

根据对示例性实施例的下列描述，本发明的其它特征将变得清楚(参考附图)。

附图说明

图1是作为根据本发明的第一实施例的图像拾取装置的数字照相机的框图。

图2是被包括在图1中出现的图像拾取装置中的白平衡控制器的框图。

图3是由图1中所示的数字照相机执行的拍摄处理的流程图。

图4是在图3的拍摄处理的步骤中执行的WB校正值计算处理的流程图。

图5是用于解释由图2中出现的白色确定部分执行的确定处理的图。

图6是在图4中的WB校正值计算处理的步骤中执行的基于白色的WB校正值可靠性计算处理的流程图。

图7A到7H是用于解释用于由图2中出现的白平衡控制器执行的可靠性计算的表的图，其中图7A示出了用于计算基于比例的可靠性的表，图7B示出了用于计算基于距离的可靠性的表，图7C示出了用于计算颜色可靠性的表，图7D示出了用于计算基于亮度的可靠性的表，图7E示出了用于计算基于红外光的可靠性的表的示例，图7F示出了用于计算基于红外光的可靠性的表的另一个示例，图7G示出了用于计算绿色可靠性的表，并且图7H示出了用于计算夜景颜色可靠性的表。

图8A和8B是用于解释在图4中的WB校正值计算处理的步骤中执行的基于红外光确定的绿色检测的图，其中图8A示出了由原始数据表示的图像的示例，并且图8B示出了其中图8A所示的图像被划分为预定数目的块的状态。

图9是在图4的WB校正值计算处理的步骤中执行的基于红外光确定的绿色检测处理的流程图。

图10A到10D是用于解释由图2中出现的白平衡控制器执行的WB校正值的计算的图，其中图10A是用于解释基于红外光确定的绿色检测的图，图10B是用于解释基于绿色检测的色温估计的图，图10C是用于解释基于色温估计的WB校正值计算的图，和图10D是用于解释基于基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。

图11是在图4中的WB校正值计算处理的步骤中执行的基于绿色检测的色温估计处理的流程图。

图12是用于在图4中的WB校正值计算处理的步骤中执行的将基于白色的WB校正值和基于红外光的WB校正值相加的处理的流程图。

图13是由根据本发明的第二实施例的图像拾取装置执行的WB校正值计算处理的流程图。

图14A到14D是用于解释图13中所示的夜景颜色检测处理的图，其中图14A示出了通过拍摄夜景获得的图像的示例，图14B示出了其中图14A所示的图像被划分为预定数目的块的状态，图14C示出了通过拍摄体育馆内部获得的图像的示例，并且图14D示出了其中图14C所示的图像被划分为预定数目的块的状态。

图15是在图13中的WB校正值计算处理的步骤中执行的夜景颜色检测处理的流程图。

图16A到16D是用于解释由根据第二实施例的图像拾取装置的白平衡控制器执行的WB校正值的计算的图，其中图16A是用于解释基于红外光确定的夜景颜色检测的图，图16B是用于解释基于夜景颜色检测的色温估计的图，图16C是用于解释基于色温估计的WB校正值计算的图，并且图16D是用于解释基于基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。

图17是用于在图13中的WB校正值计算处理的步骤中执行的将基于白色的WB校正值和基于红外光的WB校正值相加的处理的流程图。

具体实施方式

现在将参考示出了本发明的实施例的附图，在下面详细描述本发明。

图1是根据本发明的第一实施例的图像拾取装置的框图。

该图像拾取装置例如是数字照相机(在下文中被简单地称为照相机)，但是可以是，例如数字摄像机。另外，该图像拾取装置可以是具有照相机功能的电子设备，诸如具有照相机功能的移动电话或者具有照相机的计算机。

在图1中以附图标记100表示的照相机具有光学系统101，包括镜头、快门和光阑。经由光学系统101在图像拾取设备102上形成对象图像(光学图像)。此时，从光学系统101发送诸如焦距、快门速度和光圈值的光学系统信息到中央处理单元(CPU)103。

图像拾取设备102是例如CCD图像传感器或CMOS图像传感器，其中多个像素被布置为二维矩阵。另外，用于将入射光分离为颜色R(红)、G(绿)和B(蓝)的颜色分量的滤色器在像素上被布置为拜耳(Bayer)阵列。图像拾取设备102将光学图像转换为指示每个像素的亮度信息的模拟信号。

作为来自图像拾取设备102的输出的模拟信号被模数转换器(未示出)转换为数字图像信号。该数字图像信号是接受显影处理之前的原始数据，并且被CPU103存储在主存储设备104中。注意，由CPU103设置图像拾取设备102的电气增益(以下被称为ISO灵敏度)。

测光传感器105具有多个测光区域(例如，以12(水平)x8(垂直)个区域形成的总共96个测光区域)，并且根据通过光学系统101入射的光的量检测每个测光区域的对象亮度。然后，检测的对象亮度值被模数转换器(未示出)转换为数字亮度信号，并且被发送给CPU103。

注意，仅需要测光传感器105的测光区域的数目是正数，并且不限于以上示例。

红外光传感器106被划分为与测光传感器105的测光区域相同数目的区域，并且根据通过光学系统101入射的光的量检测来自每个区域的红外光的量。然后，检测的红外光量被模数转换器(未示出)转换为数字红外光信号，并且被发送给CPU103。

CPU103控制照相机100的整体操作，并且根据提前存储的程序控制照相机100。下列描述中由执行关联程序的CPU103实现的功能中的至少部分功能可被诸如ASIC(专用集成电路)的专用硬件实现。

主存储设备104是易失性存储设备，诸如RAM，并且被CPU103用作工作区域。另外，存储在主存储设备104中的数据和信息被以附图标记107表示的图像处理设备使用，并且还被记录在设置在记录介质驱动设备108中的记录介质108M中。

辅助存储设备109是非易失存储设备，诸如EEPROM。辅助存储设备109存储用于控制照相机100的程序(固件)以及关于由CPU103使用的各种设置的信息。

可去除地设置在记录介质驱动设备108中的记录介质108M记录存储在主存储设备104中的图像数据等。记录介质108M是例如半导体存储器卡。另外，记录在记录介质108M中的图像数据等可被诸如个人计算机的其它设备读出。

显示部分110在拍摄之前显示取景器图像，并且显示通过拍摄获得的拍摄图像。另外，显示部分110显示用于交互操作的GUI图像。

操作部分111是接收通过用户的操作输入的信息并且向CPU103发送该输入信息的输入设备组。操作部分111被设置具有按钮、手柄、触控板等。另外，操作部分111可以是使用语音和视线的输入设备。另外，操作部分111被设置具有用于开始拍摄的释放按钮。

图1所示的照相机100具有由图像处理设备107执行的图像处理的多个模式，并且可以在操作部分111上选择并且设置这些图像处理模式中的一个作为拍摄模式。

图像处理设备107对通过拍摄获得的图像数据执行预定的图像处理。例如，图像处理设备107执行被称为显影处理的图像处理，诸如白平衡处理、用于将RGB拜耳信号转换为红、绿和黑三个平面信号的颜色插值处理、伽马校正处理、色度校正处理和色相校正处理。

虽然在所示的示例中，如在下文中描述的，图像处理设备107执行用于白平衡控制的算术运算，图像处理设备107的这些功能中的至少一个或者某些功能可由CPU103通过软件实现。

图2是被包括在图1中出现的图像处理设备107中的白平衡控制器200(以下被称为WB控制器200)的框图。

WB控制器200执行白平衡处理。WB控制器200根据基于被估计为白色的像素计算的WB校正值(以下被称为基于白色的WB校正值)和基于红外光量计算的WB校正值(以下被称为基于红外光的WB校正值)，计算混合WB校正值。

如图2所示，WB控制器200包括块划分部分201、白色确定部分202、基于白色的WB校正值计算部分203、基于白色的WB校正值可靠性计算部分204、颜色确定部分205、亮度确定部分206、红外光量确定部分207、RGB值相加部分208、光源颜色估计部分209、基于红外光的WB校正值计算部分210、基于红外光的WB校正值可靠性计算部分211、WB校正值相加比例计算部分212和混合WB校正值计算部分213。下文将描述由每个框执行的处理。

图3是由图1所示的照相机100执行的拍摄处理的流程图。

注意，在两个步骤中操作上述的释放按钮。在下列描述中，操作部分111的SW1表示当释放按钮被半按压时导通的开关，并且操作部分111的SW2表示当释放按钮被完全按压时导通的开关。另外，在CPU103的控制下执行图3中的拍摄处理。

当开始拍摄处理时，CPU103从操作部分111接收用户的输入(步骤S301：操作部分控制)。然后，CPU103根据用户的输入调整光学系统101的焦距、快门速度、光圈值等的设置(步骤S302：光学系统控制)。

然后，CPU103根据用户的输入调整测光传感器105的测光区域(步骤S303：测光传感器控制)。另外，CPU103根据用户的输入调整红外光传感器106的测光区域(步骤S304：红外光传感器控制)。然后，CPU103根据用户的输入调整图像拾取设备102的ISO灵敏度等的设置(步骤S305：图像拾取设备控制)。

然后，CPU103在显示部分109上显示在步骤S302到S305中改变的设置的变化信息(步骤S306：显示部分控制)。注意，步骤S302到S305的处理顺序不限于所示的示例，而是可被改变。

接着，CPU103确定操作部分111中的SW1是接通还是断开(步骤S307)。如果SW1断开(步骤S307中OFF)，那么CPU103返回步骤S301。另一方面，如果SW1接通(步骤S307中ON)，那么CPU103使用测光传感器105测量对象的亮度(步骤S308)。另外，当在自动曝光(AE)模式中时，CPU103基于快门速度、光圈值和ISO灵敏度调整曝光。

然后，CPU103使用红外光传感器106检测来自与测光传感器105的区域相同的区域中的每个区域的红外光量(步骤S309)。然后，如果设置了自动聚焦(AF)模式，那么CPU103使用测距传感器(未示出)调整聚焦(步骤S310)。注意，步骤S308到S310的处理顺序不限于所示的示例，而是可被改变。

接着，CPU103确定操作部分111中的SW2是接通还是断开(步骤S311)。如果SW2断开(步骤S311中OFF)，那么CPU103返回步骤S301。另一方面，如果SW2接通(步骤S311中ON)，那么CPU103控制快门以曝光图像拾取设备102，并且在主存储设备104中存储原始数据(步骤S312)。

然后，如下所述，CPU103控制图像处理设备107以计算用于存储在主存储设备104中的原始数据的WB校正值(步骤S313)。然后，CPU103使用该WB校正值(混合WB校正值)校正(即，显影)存储在主存储设备104中的原始数据，从而获得图像数据(步骤S314)。

然后，CPU103在显示部分110上显示对应于显影的图像数据的图像(步骤S315)。CPU103在记录介质108M中记录显影的图像数据(S316)，其后终止拍摄处理。注意，步骤S315和S316的处理顺序不限于所示的示例，而是可被改变。

图4是在图3中的拍摄处理的步骤S313中执行的WB校正值计算处理的流程图。

参考图2和4，块划分部分201接收存储在主存储设备104中的原始数据，并且将由该原始数据表示的图像划分为预定数目的块区域(以下被称为块)(例如，由12(水平)x8(垂直)个块区域形成的总共96个块区域)。然后，块划分部分201计算每个块的R、G和B信号值的积分值。

注意，划分的块的数目不限于上述示例，而是仅需要是正数。另外，在本示例中，划分的块的数目和划分的块区域对应于测光传感器105和红外光传感器106中的每一个的划分的区域的数目和划分的区域。

然后，块划分部分201基于每个块的R，G和B信号值的相应积分值，计算比例R/G和比例B/G。然后，白色确定部分202确定被包括在设置在R/G-B/G坐标平面上的白色区域中的块，该坐标平面由表示比例R/G的水平轴和表示比例B/G的垂直轴定义，并且如下所述，对所述块中的每一个块的R、G和B信号值中的每一个积分，从而获得积分值Rinteg、Ginteg和Binteg(步骤S401:白色检测)。

图5是用于解释由出现在图2中的白色确定部分202执行的确定处理的图。

参考图5，水平轴表示比例R/G，并且纵轴表示比例B/G。在图5中，以附图标记501表示黑体辐射轨迹。白色区域502被设置，从而使得使用各种光中的每一种，诸如阳光(在阳光灿烂的位置和阴暗的位置的相应情况下)、钨丝光、水银灯光、荧光灯光和闪光灯光，拍摄的非彩色对象的所有颜色中的每一个颜色的(R/G，B/G)坐标(即，一对R/G值和B/G值)存在于该区域中。

虽然在图5中，通过使用R/G-B/G坐标平面从对象提取看似非彩色的像素，并且估计来自光源的光的颜色，来计算WB校正值，但是可以使用任何其它合适的方法从对象提取看似非彩色的像素来计算WB校正值。

再次参考图2和4，基于白色的WB校正值计算部分203按照下列等式(1A)到(1C)(步骤S402)，根据相对于白色区域502内的块计算的R、G和B积分值Rinteg、Ginteg和Binteg，计算WB校正值(基于白色的WB校正值)：

基于白色的WB校正值的R增益

W_WB_Rgain＝Ginteg/Rinteg...(1A)

基于白色的WB校正值的G增益

W_WB_Ggain＝Ginteg/Ginteg...(1B)

基于白色的WB校正值的B增益

W_WB_Bgain＝Ginteg/Binteg...(1C)

然后，如下所述，基于白色的WB校正值可靠性计算部分204计算基于白色的WB校正值的可靠性(步骤S403)。

图6是在图4中的WB校正值计算处理的步骤S403中执行的基于白色的WB校正值可靠性计算处理的流程图。

基于白色的WB校正值可靠性计算部分204根据在图4的步骤S401中提取的白色块的数目与所有块的数目(即，整个图像的块的数目)的比，计算基于比例的可靠性Tratio(各自具有被包括在白色检测范围内的颜色评估值的区域与整个图像的比)(步骤S601)。

图7A到7H是用于解释用于由图2所示的WB控制器200执行的可靠性计算的表的图，其中图7A示出了用于计算基于比例的可靠性的表，图7B示出了用于计算基于距离的可靠性的表，图7C示出了用于计算颜色可靠性的表，图7D示出了用于计算基于亮度的可靠性的表，图7E示出了用于计算基于红外光的可靠性的表的示例，并且图7F示出了用于计算基于红外光的可靠性的表的另一个示例。另外，图7G示出了用于计算绿色可靠性的表，并且图7H示出了用于计算夜景颜色可靠性的表。

在计算基于比例的可靠性Tratio时，基于白色的WB校正值可靠性计算部分204参考图7A所示的表(基于比例的可靠性表)，从而计算基于比例的可靠性Tratio(％)。

在图7A中，水平轴表示白色块的数目，并且垂直轴表示基于比例的可靠性Tratio(％)。注意，在所示的示例中，块的总数是96块，仅仅以示例的方式给出该数目，而块的总数不限于所示的示例。即，基于比例的可靠性表仅仅需要被配置以使得白色块的比例越大，基于比例的可靠性Tratio(％)变得越高。

然后，基于白色的WB校正值可靠性计算部分204按照下列等式(2A)和(2B)，根据在步骤S402中计算的基于白色的WB校正值的R增益W_WB_Rgain和B增益W_WB_Bgain，确定图5所示的R/G-B/G坐标平面内的坐标点503：

对应于基于白色的WB校正值的R/G＝1/W_WB_Rgain...

(2A)

对应于基于白色的WB校正值的B/G＝1/W_WB_Bgain...

(2B)

然后，基于白色的WB校正值可靠性计算部分204基于图7B所示的表(基于距离的可靠性表)，根据对应于基于白色的WB校正值的(R/G，B/G)坐标点503与黑体辐射轨迹501之间的最短距离504，计算基于距离的可靠性Tdist(％)(步骤S602)。

在图7B中，水平轴表示对应于基于白色的WB校正值的(R/G,B/G)坐标点503与黑体辐射轨迹501之间的最短距离504，并且垂直轴表示取决于距黑体辐射轨迹501的距离的基于距离的可靠性Tdist。基于距离的可靠性表仅仅需要被配置以使得对应于基于白色的WB校正值的(R/G,B/G)坐标点503与黑体辐射轨迹501之间的最短距离越小，基于距离的可靠性Tdist变得越高。按照所希望地设置图7B中的最小距离Dmin和最大距离Dmax。随着(R/G,B/G)坐标点503越接近黑体辐射轨迹501，指示存在不是在来自水银灯的光下而是在自然光下的非彩色被检测的可能性越高。

接着，基于白色的WB校正值可靠性计算部分204按照下列等式(3)，通过将基于比例的可靠性Tratio乘以基于距离的可靠性Tdist，计算基于白色的WB校正值可靠性Twhite(步骤S603):

Twhite＝Tratio×Tdist/100...(3)

然后基于白色的WB校正值可靠性计算部分204终止基于白色的WB校正值可靠性计算处理，并且CPU103返回图4中的WB校正值计算处理。

接着，CPU103执行基于白色的WB校正值可靠性Twhite的确定(步骤S404)。在该步骤中，如果基于白色的WB校正值可靠性Twhite不低于预定阈值，那么CPU103确定在自然光下检测到非彩色，并且可靠性Twhite为高。另一方面，如果基于白色的WB校正值可靠性Twhite低于该预定阈值，那么CPU103确定可靠性Twhite为低。

如果可靠性Twhite为高(步骤S404中高可靠性)，那么CPU103终止WB校正值计算处理，并且进入图3中的步骤S314。然后，CPU103控制图像处理设备107以根据该基于白色的WB校正值转换存储在主存储设备104中的原始数据。

另一方面，如果可靠性Twhite为低(步骤S404中低可靠性)，那么CPU103控制颜色确定部分205、亮度确定部分206、红外光量确定部分207、RGB值相加部分208和基于红外光的WB校正值可靠性计算部分211以执行以下所述的处理。

在这些处理中，首先，在CPU103的控制下，基于红外光确定执行绿色检测(步骤S405)。更具体地，由存储在主存储设备104中的原始数据表示的图像被以由块划分部分201所执行的相同方式划分为预定数目的块。接着，基于由红外光传感器106从相同区域(即，块)检测的红外光量，确定被确定为绿色的块的颜色是受诸如水银灯的光源影响的颜色，还是对象的颜色。然后，仅将被确定为是对象颜色的绿色被设置为接受下文提及的绿色检测积分值RintegA，GintegA和BintegA的计算的对象。

图8A和8B是用于解释在图4中的WB校正值计算处理的步骤S405中执行的基于红外光确定的绿色检测的图。图8A示出了由原始数据表示的图像的示例，并且图8B示出了其中图8A所示的图像被划分为预定数目的块的状态。

参考图8B，附图标记801表示一块青草，并且附图标记802表示一块蓝天。另外，附图标记803表示一块白色的布告板。现在，假设通过在自然光下拍摄获得图8A所示的图像，因为太阳光包括红外光，由于红外光被从该块青草反射，所以该块青草801被确定为示出了对象的颜色，并且由此块801被设置为将接受绿色检测积分值RintegA、GintegA和BintegA的计算的对象。蓝天块802和白色布告板块803不是绿色的，并且因此这些块不被设置为将接受绿色检测积分值RintegA、GintegA和BintegA的计算的对象。

另一方面，假设通过在晚上于水银灯下拍摄获得图8A所示的图像，白色布告板块803受到来自水银灯的光的颜色的影响，并且有时被确定为是绿色的。另外，青草块801也受来自水银灯的光的颜色的影响，并且因此块801变为不同于原始绿色的颜色。在这种情况下，因为来自水银灯的光不包括红外光，青草块801和白色布告板块803的相应颜色被确定为受到来自水银灯的光的影响。结果，虽然这些块是绿色的，但是它们不被设置为将接受绿色检测积分值RintegA、GintegA和BintegA的计算的对象。

图9是在图4的WB校正值计算处理的步骤S405中执行的基于红外光确定的绿色检测处理的流程图。

颜色确定部分205提取被包括在提前设置的绿色检测区(颜色检测帧)中的颜色，并且通过参考图7C所示的表(颜色可靠性表)，计算颜色可靠性Tcolor(步骤S901)。

在图7C中，水平轴表示对应于每个块的颜色的(R/G,B/G)坐标，并且垂直轴表示颜色可靠性Tcolor。在图7C中，如下所述，在以附图标记1001表示的绿色检测区(见图10A)内部设置颜色可靠性是100％的区域1002(仍见图10A)，并且当块不被包括在绿色检测区1001中时，该块的颜色可靠性被设置为0％。另外，当块被包括在绿色检测区1001中并且还被包括在颜色可靠性是100％的区域1002中时，该块的颜色可靠性被设置为100％。另外，在块被包括在绿色检测区1001中但是不被包括在颜色可靠性是100％的区域1002中的情况下，通过线性插值计算颜色可靠性Tcolor，从而使得其根据红外光量逐渐地改变。

注意，通过示例的方式，将颜色可靠性是100％的区域设置在绿色检测区1001内部，但是这不是限制性的。即，当块越接近绿色检测区1001的中心部分时，颜色可靠性Tcolor可被设置为越高。通过这样考虑颜色可靠性Tcolor，可以减小由颜色变化所引起的WB校正值的非常大的差异。

接着，亮度确定部分206通过参考图7D所示的表(基于亮度的可靠性表)，基于由测光传感器105检测的对象亮度，计算基于亮度的可靠性Tlumi，以便确定对象的颜色是否足够明亮，来计算颜色可靠性Tcolor(步骤S902)。

在图7D中，水平轴表示对应于每个块的对象亮度的(R/G，B/G)坐标，并且垂直轴表示基于亮度的可靠性Tlumi。图7D中的基于亮度的可靠性表被配置以使得当对象亮度越高时，基于亮度的可靠性Tlumi越高。通过这样考虑基于亮度的可靠性Tlumi，可以确实防止将非常暗的夜景等的图像确定为是在自然光下拍摄的这种错误确定。

然后，红外光量确定部分207通过参考图7E所示的表(基于红外光的可靠性表)，基于由红外光传感器106检测的红外光量，计算基于红外光的可靠性Tir(步骤S903)。基于红外光的可靠性Tir是指示，例如非彩色对象在来自诸如水银灯的光源的绿光下被拍摄的可能性和绿色植物在自然光下被拍摄的可能性中的哪一个可能性更高的可靠性。

注意，可以通过由测光传感器105检测的对象亮度规格化红外光量并且从而使用红外光量与对象亮度的比，抑制由亮度变化所引起的红外光量的变化。

参考图7E，如果红外光量小于最小值Imin，该块的颜色被认为受到来自光源的光的影响，而如果红外光量大于最大值Imax，该块的颜色被认为是对象的颜色。另外，在红外光量在最小值Imin和最大值Imax之间的情况下，通过线性插值设置基于红外光的可靠性Tir，从而使得其根据红外光量渐进地改变。

接着，RGB值相加部分208按照下列等式(4A)到(4C)，根据颜色可靠性Tcolor、基于亮度的可靠性Tlumi和基于红外光的可靠性Tir，相对于作为处理目标的块的R、G和B信号值中的每一个执行加权积分(步骤S904):

RintegA＝RintegA+Rij×(Tcolor/100×

Tlumi/100×Tir/100)...(4A)

GintegA＝GintegA+Gij×(Tcolor/100×

Tlumi/100×Tir/100)...(4B)

BintegA＝BintegA+Bij×(Tcolor/100×

Tlumi/100×Tir/100)...(4C)

其中Rij表示第i/第j个块中的R信号值的积分值，Gij表示第i/第j个块中的G信号值的积分值，并且Bij表示第i/第j个块中的B信号值的积分值。注意，i表示水平方向上每个块的块号(0到11中的任一个)，并且j表示垂直方向上同一块的块号(0到7中的任一个)。

这样按照加权积分计算的积分值(即，相加值)分别是上述的绿色检测积分值RintegA、GintegA和BintegA。注意，绿色检测积分值RintegA、GintegA和BintegA仅在处理第一个块之前被初始化为0一次。

图10A到10D是用于解释由图2所示的WB控制器200执行的WB校正值的计算的图，其中图10A是用于解释基于红外光确定的绿色检测的图，图10B是用于解释基于绿色检测的色温估计的图，图10C是用于解释基于色温估计的WB校正值计算的图，并且图10D是用于解释基于基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。

参考图10A，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。以附图标记1003表示(R/G,B/G)坐标平面内的所有可靠性都高的颜色的位置的示例。(R/G,B/G)坐标平面内的被包括在绿色检测区1001中但是不被包括在颜色可靠性是100％的区域1002中的颜色的位置，即，颜色可靠性Tcolor较低的颜色的位置的示例被以附图标记1004表示。另外，(R/G，B/G)坐标平面内的基于亮度的可靠性Tlumi或者基于红外光的可靠性Tir较低的颜色的位置的示例被以附图标记1005表示，(R/G，B/G)坐标平面内的不被包括在绿色检测区1001中的颜色的位置的示例被以附图标记1006表示。另外，对应于绿色检测积分值RintegA、GintegA和BintegA的(R/G，B/G)坐标的位置，即，(RintegA/GintegA，BintegA/GintegA)坐标的位置被以附图标记1007表示。

首先，所有可靠性都高的位置1003处的颜色满足所有所需条件，并且因此该颜色的值被按照原样相加。另一方面，位置1004处的颜色的颜色可靠性Tcolor较低，并且因此将通过将该颜色的值乘以例如0.5的相加比例所获得的值相加。注意，在(R/G，B/G)坐标平面内，根据在绿色检测区1001内但是在颜色可靠性是100％的区域1002之外的区域中的颜色的位置，确定颜色的相加比例。

接着，对于对应于基于亮度的可靠性Tlumi或者基于红外光的可靠性Tir低的位置1005的颜色，如果基于亮度的可靠性Tlumi和基于红外光的可靠性Tir两者不低于预定阈值，那么将通过将该颜色的值乘以预定的相加比例所获得的值相加，但是如果这些可靠性中的至少一个低于预定阈值，即使当颜色1005被包括在绿色检测区1001中，也不加上该颜色的值。最后，对于对应于不被包括在绿色检测区1001中的位置1006的颜色，即使基于亮度的可靠性Tlumi和基于红外光的可靠性Tir两者为高，也不加上，即，不积分该颜色的值。

再次参考图9，CPU103确定是否已经更新了绿色检测积分值RintegA、GintegA和BintegA中的至少一个(步骤S905)。如果已经更新了绿色检测积分值RintegA、GintegA和BintegA中的至少一个(步骤S905为是)，那么CPU103确定该块的色是对象的颜色。然后，为了计算从其检测对象的颜色的块中的平均红外光量，基于红外光的WB校正值可靠性计算部分211按照下列等式(5)，将由该块的亮度规格化之后的红外光量IRij添加到总红外光量IRtotal(步骤S906):

IRtotal＝IRtotal+IRij...(5)

其中IRij表示由第i和第j块的检测的亮度值规格化之后的该块中的红外光量。注意，如在上文中提到的，i表示水平方向上每个块的块号(0到11中的任一个)，j表示垂直方向上同一块的块号(0到7中任一个)。

注意，在该步骤中执行的规格化处理是用于将该块中的红外光量除以由测光传感器105检测的该块的亮度值的处理。另外，总红外光量IRtotal仅在处理第一块之前被初始化为0一次。

接着，为了计算从其检测对象的颜色的块的数目与整个图像的块的数目的比Nratio(以下被称为Nratio)，基于红外光的WB校正值可靠性计算部分211按照下列等式(6)对总的绿色块数Ntotal计数(步骤S907):

Ntotal＝Ntotal+1...(6)

注意，绿色块的总数Ntotal仅在处理第一块之前被初始化为0一次。

然后，CPU103确定是否已经检查了所有划分的块(步骤S908)。注意，除非绿色检测积分值RintegA、GintegA和BintegA中的至少一个已经被更新(步骤S905中为否)，否则CPU103确定对象的颜色未被检测，并且进入步骤S908。

如果未检查所有块(步骤S908为否)，那么CPU103将处理转换到下一个块(步骤S909)，并且返回步骤S901。另一方面，如果已经检查了所有块(步骤S908为是)，那么基于红外光的WB校正值可靠性计算部分211按照下列等式(7)，根据总红外光量IRtotal和绿色块的总数Ntotal，计算从其检测对象的颜色的块的平均红外光量IRave(步骤S910)。然后，CPU103返回图4中的WB校正值计算处理。

IRave＝IRtotal/Ntotal...(7)

如以下将参考图12所述地，使用通过上述处理计算的被确定为具有对象的颜色的块的R、G和B积分值RintegA、GintegA和BintegA，按照下列等式(8)计算的被确定为具有对象的颜色的块的数目与整个图像的块的数目的比Nratio，以及被确定为具有对象的颜色的块的平均红外光量IRave，执行用于将基于白色的WB校正值和基于红外光的WB校正值相加的处理。

Nratio＝Ntotal/块的总数×100...(8)

其中，在所示示例中，块的总数等于12×8＝96。

再次参考图4，光源颜色估计部分209基于图10B中的对应于绿色检测积分值RintegA、GintegA和BintegA的位置1007的坐标，估计来自用于拍摄的光源的光，即，自然光的色温(步骤S406)。

图11是在图4中的WB校正值计算处理的步骤S406中执行的基于绿色检测的色温估计处理的流程图。

参考图10B和11，在图10B中，类似于图10A，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。假设以附图标记1008到1011表示的绿色检测区1001的拐角处的点各自保持来自光源的光的倒数色温。另外，点1008和点1010位于低色温区域，并且点1009和点1011位于高色温区域。

当色温估计处理开始时，光源颜色估计部分209通过使用对应于低色温区域内的点1008的来自光源的光的倒数色温和对应于高色温区域内的点1009的来自光源的光的倒数色温执行线性插值，来计算对应于绿色检测积分值RintegA、GintegA和BintegA的R/G分量的点1012处的来自光源的光的倒数色温(步骤S1101)。

然后，光源颜色估计部分209通过使用对应于低色温区域内的点1010的来自光源的光的倒数色温和对应于高色温区域内的点1011的来自光源的光的倒数色温执行线性插值，来计算对应于绿色检测积分值RintegA、GintegA和BintegA的R/G分量的点1013处的来自光源的光的倒数色温(步骤S1102)。

光源颜色估计部分209通过使用对应于点1012的来自光源的光的倒数色温和对应于点1013的来自光源的光的倒数色温执行线性插值，来计算对应于绿色检测积分值RintegA、GintegA和BintegA的B/G分量的来自光源的光的倒数色温(步骤S1103)。

然后，光源颜色估计部分209将在步骤S1103计算的来自光源的光的倒数色温转换为色温(步骤S1104)。然后，光源颜色估计部分209终止色温估计处理，并且CPU103返回图4的WB校正值计算处理。

使用通过上述色温估计处理获得的对应于绿色检测积分值RintegA、GintegA和BintegA的坐标点1007处的来自光源的光的色温，执行以下所述的处理。

参考图4和10C，基于红外光的WB校正值计算部分210计算对应于步骤S406中估计的来自光源的光的色温的WB校正值(基于红外光的WB校正值)(步骤S407)。

在图10C中，类似于图10A和10B，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。此处，假设包括红外光的绿色对象被检测，并且因此该对象可以被确定为是在自然光之下拍摄的，基于红外光的WB校正值计算部分210计算对应于黑体辐射轨迹501上的色温的点的(RGg，BGg)坐标。然后，基于红外光的WB校正值计算部分210按照下列等式(9A)到(9C)计算对应于计算的坐标的基于红外光的WB校正值1014：

基于红外光的WB校正值R增益

IR_WB_Rgain＝1/RGg...(9A)

基于红外光的WB校正值G增益

IR_WB_Ggain＝1...(9B)

基于红外光的WB校正值B增益

IR_WB_Bgain＝1/BGg...(9C)

使用如上计算的基于红外光的WB校正值1014和基于白色的WB校正值，执行用于将基于白色的WB校正值和基于红外光的WB校正值相加的下列处理。此处，WB校正值相加比例计算部分212和混合WB校正值计算部分213以预定比例将基于白色的WB校正值和基于红外光的WB校正值相加，从而计算最终的WB校正值(混合WB校正值)(步骤S408)。

图12是在图4的WB校正值计算处理的步骤S408中执行的，用于将基于白色的WB校正值和基于红外光的WB校正值相加的处理的流程图。

参考图10D和12，在图10D中，类似于图10A到10C，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且纵轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。当相加处理开始时，WB校正值相加比例计算部分212基于在步骤S405确定的具有对象颜色(绿色)的块的平均红外光量IRave，计算基于红外光的可靠性Tir2(步骤S1201)。

注意，通过参考图7F所示的表(基于红外光的可靠性表)计算基于红外光的可靠性Tir2。然而，因为该表类似于图7E所示的表，所以省略其描述。

然后，WB校正值相加比例计算部分212基于在步骤S405确定的具有对象颜色(绿色)的块的数目与所有块的数目的比Nratio，计算绿色可靠性Tgreen(步骤S1202)。

注意，通过参考图7G所示的表(绿色可靠性表)计算绿色可靠性Tgreen。然而，因为该表类似于图7A所示的表，所以省略其描述。另外，在图7G所示的表中，通过示例的方式，指示了水平轴上的值，但是绿色块的数目不限于此。即，绿色可靠性表仅需要被配置从而使得当被确定为具有对象的颜色(绿色)的块的数目的比例越大时，绿色可靠性Tgreen变得越高。

接着，基于基于红外光的可靠性Tir2和绿色可靠性Tgreen，WB校正值相加比例计算部分212按照下列等式(10)，计算基于白色的WB校正值和基于红外光的WB校正值之间的相加比例Ratio_W_IR(步骤S1203):

Ratio_W_IR＝Tir2×Tgreen/100...(10)

注意，在步骤S1203中，可以通过考虑在上述步骤S403中计算的基于白色的WB校正值的可靠性，来计算相加比例Ratio_W_IR。另外，相加比例Ratio_W_IR可被设置从而使得根据可靠性使用基于白色的WB校正值和基于红外光的WB校正值中的一个。

接着，混合WB校正值计算部分213使用相加比例Ratio_W_IR，按照下列等式(11)，通过将基于白色的WB校正值和基于红外光的WB校正值相加在一起，计算WB校正值(混合WB校正值)WB_Rmix(步骤S1204)：

WB_Rmix＝(WB_Rw×(100-Ratio_W_IR)

+WB_Rir×Ratio_W_IR)/100...(11)

其中WB_Rw表示基于白色的WB校正值的R增益，WB_Rir表示基于红外光的WB校正值的R增益，并且WB_Rmix表示混合WB校正值的R增益。

注意，还通过与用于计算R增益的等式类似的等式计算混合WB校正值的G增益和B增益。然后，CPU103返回图4中的WB校正值计算处理。

在图10D中，对应于基于红外光的WB校正值的(R/G，B/G)坐标点被以附图标记1014表示，并且对应于基于白色的WB校正值的(R/G，B/G)坐标点被以附图标记1015表示。另外，对应于混合WB校正值的(R/G，B/G)坐标点被以附图标记1016表示。

通过根据相加比例Ratio_W_IR划分连接点1014和点1015的直线所获得的点的坐标被设置为对应于混合WB校正值的点1016的(R/G，B/G)坐标。使用这种处理，可以在基于白色的WB校正值和基于红外光的WB校正值之间平滑地移动值。

然后，使用如上获得的混合WB校正值将存储在主存储设备104中的原始数据转换为图像数据。

如上所述，在本发明的第一实施例中，在检测大量类似颜色的图像上，确定图像的颜色是来自光源的光的颜色还是对象的颜色。这使得可以适当地执行白平衡控制。

接着，将给出作为根据本发明的第二实施例的图像拾取装置的照相机的描述。

作为根据第二实施例的图像拾取装置的照相机具有与图1所示的照相机相同的结构，并且被包括在该图像处理设备中的白平衡控制器具有与图2所示相同的结构。另外，除了WB校正值计算处理之外，由根据第二实施例的照相机执行的拍摄处理与图3的拍摄处理相同。

将采用其中通过区分荧光灯之下的红色对象和夜景来执行白平衡控制的示例，描述第二实施例。

图13是由根据第二实施例的图像拾取装置执行的WB校正值计算处理的流程图。

注意，在CPU103的控制下执行图13的WB校正值计算处理。另外，在图13的WB校正值计算处理中，以相同的步骤附图标记表示与图4的WB校正值计算处理的步骤相同的步骤，并且省略其描述。

如果在步骤S404中确定可靠性Twhite为低，那么CPU103控制颜色确定部分205、亮度确定部分206、红外光量确定部分207、RGB值相加部分208和基于红外光的WB校正值可靠性计算部分211，以执行基于红外光确定的夜景颜色检测(步骤S1305)。在该步骤中，由存储在主存储设备104中的原始数据表示的图像被划分为预定数目的块。然后，确定被确定为具有与夜景相同的颜色(以下被称为夜景颜色)的块是具有红色对象的颜色，还是具有由夕阳染红的天空的颜色。然后，仅对被确定为具有由夕阳染红的天空的颜色的夜景颜色的块的信号值进行积分。

图14A到14D是用于解释图13所示的夜景颜色检测处理的图。图14A示出了通过拍摄夜景获得的图像的示例，并且图14B示出了其中图14A所示的图像被划分为预定数目的块的状态。图14C示出了通过拍摄体育馆内部获得的图像的示例，并且图14D示出了其中图14C所示的图像被划分为预定数目的块的状态。

参考图14B，由夕阳染红的天空的块被以附图标记1401表示，并且由夕阳照亮的蓝海的块被以附图标记1402表示。在图14A所示的示例中，因为夕阳发射红外光，由夕阳染红的天空的块1401包括红外光分量。因此，块1401被确定为具有夜景颜色，并且其信号值是将被积分的值。由夕阳照亮的蓝海的块1402不具有夜景颜色，并且其信号值将不被积分。

参考图14D，体育馆的木地板被以附图标记1403表示。在图14C所示的示例中，在由荧光灯照亮的体育馆的木地板的颜色类似于夜景颜色的情况下，有时其被错误地确定为夜景颜色。然而，荧光灯和类似的光源不发射红外光，并且因此在本实施例中，体育馆的木地板被确定为是红色对象，并且地面的信号值是不被积分的值。

图15是在图13中的WB校正值计算处理的步骤S1305中执行的夜景颜色检测处理的流程图。

当夜景颜色检测处理开始时，颜色确定部分205以与图9所示的基于红外光确定的绿色检测处理的步骤S901相同的方式，提取被包括在提前设置的夜景颜色检测区中的颜色。然后，颜色确定部分205通过参考图7C所示的表，计算颜色可靠性Tcolor(步骤S1501)。

然后，类似于图9中的步骤S902，亮度确定部分206基于由测光传感器105检测的对象亮度，通过参考图7D所示的表，计算基于亮度的可靠性Tlumi(步骤S1502)。然后，红外光量确定部分207基于由红外光传感器106检测的红外光量，计算基于红外光的可靠性Tir(步骤S1503)。此处，基于红外光的可靠性Tir是指示，例如红色对象被在室内(例如在体育馆内)拍摄的可能性和拍摄由夕阳染红的天空的可能性中的哪一个较高的可靠性。

注意，对于红外光量，类似于第一实施例，可以通过由测光传感器105检测的对象亮度规格化红外光量，并且从而使用红外光量与对象亮度的比，来抑制由亮度变化所引起的红外光量的变化。

虽然图7E所示的表被用于计算基于红外光的可靠性Tir，在本实施例中，与第一实施例不同，当红外光量小于最小值Imin时，该块被确定为具有对象的颜色。另外，当红外光量大于最大值Imax时，该块被确定为具有受来自光源的光的影响的颜色。

虽然在广义上，夜景颜色也是对象的颜色，当太阳落下时，日光穿过长长的大气层，由此具有高频的浅蓝色光被更多地分散，结果夜景被染红。因此，在本实施例中，为了区分红色对象的颜色和夜景颜色，夜景颜色被确定为是受来自光源的光的影响的颜色。

注意，在红外光量在最小值Imin和最大值Imax之间的情况下，通过线性插值设置基于红外光的可靠性Tir，从而使得其根据红外光量渐进地改变。

然后，以与图9中的步骤S904相同的方式，RGB值相加部分208基于在步骤S1501到S1503计算的可靠性，按照上述等式(4A)到(4B)，计算夜景颜色检测积分值RintegA、GintegA和BintegA(步骤S1504)。

图16A到16D是用于解释第二实施例中由WB控制器执行的WB校正值的计算的图。图16A是用于解释基于红外光确定的夜景颜色检测的图，并且图16B是用于解释基于夜景颜色检测的色温估计的图。另外，图16C是用于解释基于色温估计的WB校正值计算的图，并且图16D是用于解释基于基于白色的WB校正值和基于红外光的WB校正值的最终WB校正值的计算的图。

参考图16A，类似于图10A到10D，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。颜色可靠性是100％的区域1602被设置在夜景颜色检测区1601内部，并且该区域1602与图10A中出现的设置在绿色检测区1001内部的其中颜色可靠性是100％的区域1002相同。

(R/G，B/G)坐标平面内的所有可靠性为高的颜色的位置的示例被以附图标记1603表示。(R/G，B/G)坐标平面内的被包括在夜景颜色检测区1601内但是不被包括在颜色可靠性是100％的区域1602内，即，颜色可靠性Tcolor较低的颜色的位置的示例被以附图标记1604表示。另外，(R/G，B/G)坐标平面内的基于亮度的可靠性Tlumi或者基于红外光的可靠性Tir较低的颜色的位置的示例被以附图标记1605表示，并且(R/G，B/G)坐标平面内的未被包括在夜景颜色检测区1601内的颜色的位置的示例被以附图标记1606表示。另外，对应于夜景颜色检测积分值RintegA、GintegA和BintegA的(R/G，B/G)坐标的位置，即，(RintegA/GintegA，BintegA/GintegA)坐标的位置被以附图标记1607表示。

(R/G，B/G)坐标平面内的颜色的位置1603到1606与(RintegA/GintegA，BintegA/GintegA)坐标的位置1607类似于图10A所示的(R/G，B/G)坐标平面内的颜色的位置1003到1006与(RintegA/GintegA，BintegA/GintegA)坐标的位置1007，因此省略其描述。

然后，CPU103以与图9的步骤S905相同的方式，确定夜景检测积分值RintegA、GintegA和BintegA中的至少一个是否已经被更新(步骤S1505)。如果绿色检测积分值RintegA、GintegA和BintegA中的至少一个已经被更新(步骤S1505为是)，即，如果块被确定为具有夜景颜色，那么类似于图9的步骤S906，为了计算从其检测夜景颜色的块中的平均红外光量，基于红外光的WB校正值可靠性计算部分211按照等式(5)将由块的亮度规格化之后的红外光量IRij添加到总红外光量IRtotal(步骤S1506)。注意，在该步骤执行的规格化处理是用于将该块中的红外光量除以由测光传感器105检测的该块的亮度值的处理。

然后，类似于图9的步骤S907，基于红外光的WB校正值可靠性计算部分211按照等式(6)对总夜景块数目Ntotal计数，以便计算从其检测夜景颜色的块的数目与整个图像的块数的比Nratio(步骤S1507)。然后，类似于图9的步骤S908，CPU103确定是否已经检查了所有块(步骤S1508)。

如果未检查所有的块(步骤S1508为否)，那么CPU103将处理转换到下一个块(步骤S1509)，并且返回步骤S1501。注意，如果夜景颜色检测积分值RintegA、GintegA和BintegA没有被更新(步骤S1505为否)，那么CPU103进入步骤S1508。

如果所有块已被检查(步骤S1508为是)，那么类似于图9的步骤S910，基于红外光的WB校正值可靠性计算部分211按照等式(7)，根据总红外光量IRtotal和夜景块的总数目Ntotal，计算从其检测夜景颜色的块的平均红外光量IRave(步骤S1510)。然后，CPU103返回图13中的WB校正值计算处理。

如将在下文中参考图17所述地，使用通过上述处理计算的被确定为具有夜景颜色的块的R、G和B积分值RintegA、GintegA和BintegA，按照等式(8)计算的被确定为具有夜景颜色的块的数目与整个图像的块的数目的比Nratio，以及被确定为具有夜景颜色的块的平均红外光量IRave，来执行用于将基于白色的WB校正值和基于红外光的WB校正值相加的处理。

再次参考图13，类似于图4的步骤S406，光源颜色估计部分209基于对应于夜景颜色检测积分值RintegA、GintegA和BintegA的位置1607的坐标，估计夜景颜色的色温(步骤S1306)。

以与图11的色温估计处理相同的方式执行基于步骤S1306中的夜景颜色检测的色温估计，并且因此省略其描述。

在图16B中，类似于图16A，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且纵轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。图16B所示的示例类似于图10B所示的示例，并且(R/G，B/G)坐标平面内的颜色的位置1608到1613对应于图10B中的(R/G，B/G)坐标平面内的颜色的位置1008到1013，并且因此省略其描述。

然后，类似于图4的步骤S407，基于红外光的WB校正值计算部分210计算对应于在步骤S1306中估计的夜景颜色的色温的WB校正值(基于红外光的WB校正值)(步骤S1307)。

在图16C中，类似于图16A和16B，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。图16C所示的示例类似于图10C所示的示例，并且以附图标记1614表示的基于红外光的WB校正值对应于基于红外光的WB校正值1014，因此省略其描述。

接着，WB校正值相加比例计算部分212和混合WB校正值计算部分213以预定比例将基于白色的WB校正值和基于红外光的WB校正值相加(步骤S1308)。然后，通过相加获得的WB校正值按照预定值被移动，由此计算最终的WB校正值。

图17是在图13中的WB校正值计算处理的步骤S1308中执行的，用于将基于白色的WB校正值和基于红外光的WB校正值相加的处理的流程图。

参考图16D和17，在图16D中，类似于图16A到16C，示出了(R/G，B/G)坐标平面，其中水平轴表示比例R/G，并且垂直轴表示比例B/G，并且示出了黑体辐射轨迹501，以便易于理解坐标平面上的颜色之间的位置关系。当相加处理开始时，WB校正值相加比例计算部分212基于在步骤S1305中确定的具有夜景颜色的块的平均红外光量IRave，计算基于红外光的可靠性Tir2(步骤S1701)。

虽然通过参考图7F所示的表(基于红外光的可靠性表)计算基于红外光的可靠性Tir2，但是该表类似于图7E所示的表，因此省略其描述。

然后，WB校正值相加比例计算部分212基于在步骤S1305中确定的具有夜景颜色的块的数目与所有块的数目的比Nratio，计算夜景颜色可靠性Tevening(步骤S1702)。

虽然通过参考图7H所示的表(夜景颜色可靠性表)计算夜景颜色可靠性Tevening，但是该表类似于图7A所示的表，因此省略其描述。另外，在图7H所示的表中，通过示例的方式，指示了水平轴上的值，但是夜景颜色块的数目不限于此。即，夜景颜色可靠性表仅需要被配置以使得当被确定为具有夜景颜色的块的数目的比例越大时，夜景颜色可靠性Tevening变得越高。

接着，基于基于红外光的可靠性Tir2和夜景颜色可靠性Tevening，WB校正值相加比例计算部分212按照下列等式(12)，计算基于白色的WB校正值和基于红外光的WB校正值之间的相加比例Ratio_W_IR(步骤S1703):

Ratio_W_IR＝Tir2×Teveining/100...(12)

注意，在步骤S1703中，可以通过考虑在上述步骤S1303中计算的基于白色的WB校正值的可靠性，计算相加比例Ratio_W_IR。另外，相加比例Ratio_W_IR可被设置以使得根据可靠性使用基于白色的WB校正值和基于红外光的WB校正值中的一个。

接着，混合WB校正值计算部分213使用相加比例Ratio_W_IR，按照上述等式(11)，通过将基于白色的WB校正值和基于红外光的WB校正值相加在一起，计算WB校正值(混合WB校正值)WB_Rmix(步骤S1704)。其后，混合WB校正值计算部分213按照提前设置的预定值，在强调红色的方向上移动计算的混合WB校正值，从而计算强调红色的WB校正值(基于夜景颜色的WB校正值)(步骤S1705)。然后，CPU103返回图13中的WB校正值计算处理。

在图16D中，对应于基于红外光的WB校正值的(R/G，B/G)坐标点被以附图标记1614表示，并且对应于基于白色的WB校正值的(R/G，B/G)坐标点被以附图标记1615表示。另外，对应于混合WB校正值的(R/G，B/G)坐标点被以附图标记1616表示，并且对应于基于夜景颜色的WB校正值的(R/G，B/G)坐标点被以附图标记1617表示。

通过根据相加比例Ratio_W_IR划分连接点1614和点1615的直线所获得的点的坐标被设置为对应于混合WB校正值的点1616的(R/G，B/G)坐标。并且，通过沿着黑体辐射轨迹501以预定值向着高色温侧移动点1616所到达的点的坐标被设置为对应于基于夜景颜色的WB校正值的点1617的(R/G,B/G)坐标。

采用上述处理，可以在基于白色的WB校正值和基于红外光的WB校正值之间平滑地移动值，并且获得变为夜景的具有强调红色的色调的图像。

然后，使用如上获得的基于夜景颜色的WB校正值将存储在主存储设备104内的原始数据转换为图像数据。

其它实施例

本发明的实施例还可以由系统或装置的计算机实现，该系统或装置的计算机读取并且执行记录在存储介质(其还可以被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以便执行一个或多个上述实施例的功能，和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，以及可由该系统或装置的计算机，例如通过从存储介质读取并执行计算机可执行指令以执行一个或多个上述实施例的功能，和/或控制一个或多个电路以执行一个或多个上述实施例的功能而执行的方法，实现本发明的实施例。该计算机可以包括一个或多个处理器(例如中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络，以便读取并且执行该计算机可执行指令。该计算机可执行指令可例如被从网络或者存储介质提供给计算机。存储介质可以包括，例如，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或者蓝光盘(BD)^TM)、闪速存储器设备和存储卡等中的一个或多个。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解本发明不限于公开的示例性实施例。所附权利要求的范围应当被给予最宽泛的解释，以便包括所有此类修改及等同结构与功能。

本申请要求2014年5月30日提交的日本专利申请No.2014-112589的权益，其通过引用全文并入此处。

Claims (12)

1.一种图像拾取装置，其特征在于，包括:

图像拾取设备；

获取单元，被配置为将通过由所述图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获得颜色评估值；

红外光传感器，被配置为检测来自与所述图像的区域相关联地限定的对象的区域中的每个区域的红外光；

计算单元，被配置为使用从所述图像获取的多个颜色评估值来计算白平衡校正值；以及

处理单元，被配置为使用由所述计算单元计算的混合白平衡校正值，对所述图像执行白平衡校正处理，

其中所述计算单元包括:

第一白平衡校正值计算部分，被配置为使用所述多个颜色评估值中的被包括于在颜色空间中设置的白色检测范围内的颜色评估值，计算第一白平衡校正值，

第二白平衡校正值计算部分，被配置为使用所述多个颜色评估值中的如下的颜色评估值来计算第二白平衡校正值：从各自具有大于预定量的红外光量的区域获得并且被包括于在颜色空间中设置的不是白色的预定颜色的检测范围内的颜色评估值，以及

混合白平衡校正值计算部分，被配置为通过混合第一白平衡校正值和第二白平衡校正值，计算混合白平衡校正值。

2.根据权利要求1所述的图像拾取装置，还包括可靠性计算单元，被配置为计算由所述计算单元计算的第一白平衡校正值的可靠性，以及

其中在第一白平衡校正值的可靠性比预定值高的情况下，所述处理单元使用第一白平衡校正值取代所述混合白平衡校正值，对所述图像执行白平衡校正。

3.根据权利要求2所述的图像拾取装置，其中所述可靠性计算单元基于各自具有被包括在白色检测范围内的颜色评估值的区域与整个图像的比，计算第一白平衡校正值的可靠性。

4.根据权利要求2所述的图像拾取装置，其中所述可靠性计算单元基于颜色空间中对应于第一白平衡校正值的位置与黑体辐射轨迹之间的距离，计算第一白平衡校正值的可靠性。

5.根据权利要求1所述的图像拾取装置，其中当计算第二白平衡校正值时，所述计算单元通过根据颜色评估值被检测的区域中的红外光量对每个颜色评估值加权，来对被包括在用于检测预定颜色的范围内的颜色评估值进行积分，并且使用积分后的颜色评估值来计算第二白平衡校正值。

6.根据权利要求5所述的图像拾取装置，其中所述计算单元通过执行加权以使得当区域具有较大红外光量时所述区域的加权增加，来对颜色评估值进行积分，并且使用积分后的颜色评估值来计算第二白平衡校正值。

7.根据权利要求1所述的图像拾取装置，还包括亮度检测单元，被配置为分别检测来自与所述图像的区域相关联地限定的对象的区域中的每个区域的亮度，以及

其中所述计算单元通过执行加权以使得当区域具有较高亮度值时所述区域的加权增加，来对颜色评估值进行积分，并且使用积分后的颜色评估值来计算第二白平衡校正值。

8.根据权利要求所述1的图像拾取装置，还包括确定单元，被配置为基于从所述图像的每个区域检测的红外光量，确定所述区域的颜色是来自光源的光的颜色还是对象的颜色。

9.根据权利要求所述1的图像拾取装置，其中所述计算单元通过混合第一白平衡校正值和第二白平衡校正值，以使得当各自具有大于所述预定量的红外光量的区域与整个图像的比越大时，第二白平衡校正值与第一白平衡校正值的比变得越大，来计算混合白平衡校正值。

10.根据权利要求1所述的图像拾取装置，其中所述计算单元通过混合第一白平衡校正值和第二白平衡校正值，以使得当各自具有大于所述预定量的红外光量的区域中的平均红外光量越大时，第二白平衡校正值与第一白平衡校正值的比变得越大，来计算混合白平衡校正值。

11.一种图像拾取装置，其特征在于，包括:

图像拾取设备；

获取单元，被配置为将通过由所述图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获取颜色评估值；

红外光传感器，被配置为检测来自与所述图像的区域相关联地限定的对象的区域中的每个区域的红外光；

计算单元，被配置为基于由所述红外光传感器在逐个区域的基础上执行的红外光量的检测结果，使用从所述图像获得的多个颜色评估值，来计算白平衡校正值；以及

处理单元，被配置为使用由所述计算单元计算的所述白平衡校正值，对所述图像执行白平衡校正处理。

12.一种控制包括图像拾取设备的图像拾取装置的方法，其特征在于，包括:

将通过由所述图像拾取设备执行的图像拾取获得的图像划分为多个区域，并且从每个区域获取颜色评估值，

检测来自与所述图像的区域相关联地限定的对象的区域中的每个区域的红外光；

使用从所述图像获得的多个颜色评估值来计算白平衡校正值，以及

使用由所述计算单元计算的混合白平衡校正值，对所述图像执行白平衡校正处理，

其中所述计算包括:

使用所述多个颜色评估值中的被包括于在颜色空间中设置的白色检测范围内的颜色评估值，计算第一白平衡校正值；

使用所述多个颜色评估值中的如下的颜色评估值来计算第二白平衡校正值：从各自具有大于预定量的红外光量的区域获得并且被包括于在颜色空间中设置的不是白色的预定颜色的检测范围内的颜色评估值；以及

通过混合第一白平衡校正值和第二白平衡校正值，计算混合白平衡校正值。