CN101897192B - 白平衡调整装置以及白平衡调整方法 - Google Patents

Abstract

本发明具有：从图像中取得多个像素位置的色信号值的WB评价值取得部(111)；根据色信号值求出色度值，求出通过从色信号值中提取的明度值所确定的权重系数，根据色度值与权重系数制作色度空间的加权直方图的色度直方图制作部(112)；对色度空间的每个色温求出直方图的中心位置、中心位置附近区间的直方图累计值和直方图方差值，根据直方图累计值与直方图方差值求出每个色温的光源出现度的光源出现度计算部(113)；根据每个色温的光源出现度和直方图中心位置计算WB系数的WB系数合成部(114)；以及使用计算出的WB系数对图像进行WB运算的WB系数乘法部(12)。

Description

白平衡调整装置以及白平衡调整方法

技术领域

本发明涉及适用于具有固体摄像元件的数字相机和摄像机等的白平衡调整装置以及白平衡调整方法。

背景技术

通常，在数字相机和摄像机中具有对彩色平衡进行自动校正以使得白色光源的颜色成为没有彩色的自动白平衡控制功能。由此将人类视觉系统中适应颜色的效果模拟地添加到摄影后的图像数据中，从而可获得不存在不适感的色调的图像。

现有的白平衡控制具有：独立于相机的摄像元件而使用测光传感器的输出来测定白色的方法；和从摄像元件所输出的图像数据中直接检测白色的方法。

上述前一种使用测光传感器的方法需要不同于原来摄像系统的其它部件，因而成本会变高，此外视差会导致摄像范围与测光范围可能会不一致，因此具有产生误差等的不良情况。因此，通常上述后一种的从摄像元件所输出的图像数据中直接检测白色的方法成为主流。

在从所摄像的图像数据中检测白色的情况下，通常将接近于黑色体放射轨迹颜色的颜色作为白色检测出来，但此时在例如以阳光下人体肌肤颜色或阳光下植物叶片颜色为代表的彩色物体颜色中还存在很多接近于黑色体放射轨迹颜色的颜色。

因此，会产生很多如下的不良情况：将这些彩色颜色误检测为白色，其结果是用错误的白平衡系数进行校正，最终有彩色被摄体的颜色缺损很多。

于是人们设想到了这样的技术：在设置接近于黑色体放射轨迹的光源区域的同时，还设置与之略微相偏离的肤色区域和绿色区域，根据属于该区域的分布个数或分布方向来判别是荧光灯场景还是有彩色被摄体场景，同时根据通过摄影时的曝光条件而确定的视场亮度来判别是室外场景还是室内场景，从而抑制将有彩色被摄体错误检测为光源而进行过校正(专利文献1)。

除此之外还公开了一种技术，其根据图像整体的颜色分布的方差来判别图像是否为色卡图，进行色卡图与通常场景的区分(专利文献2)。

专利文献1：日本特开2003-264850号公报

专利文献2：日本特开平06-371088号公报

根据上述专利文献1的技术，只要是某种程度下饱和度较高的绿色或肤色，就能以高精度区分光源与被摄体，但另一方面，例如在室外的“枯叶”的颜色等更接近于黑色体放射轨迹的彩色的情况下，难以分离地进行检测。另外，即便使用被摄体亮度，也会存在某种亮度范围内无法区分室外与室内的情况。

另外，根据上述专利文献2的技术，虽然对于色卡图那样存在各种颜色的图像而言是有效的，然而例如对于上述室外的“枯叶”的颜色充满画面的图像而言，由于图像整体的方差较小，因而难以区分。

发明内容

本发明就是鉴于上述实际情况而完成的，其目的在于提供一种对任意有彩色被摄体的颜色都进行光源色与彩色的区分，可进行更高精度的白平衡调整的白平衡调整装置以及白平衡调整方法。

本发明的一个方式中提供的白平衡调整装置具有：评价值取得单元，其从图像数据取得多个像素位置的色信号值；色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；权重系数计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出由该明度值确定的权重系数；直方图分析单元，其对于根据上述各像素位置的色度值和权重系数计算出的色度空间的加权直方图，按照每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值以及直方图方差值；光源出现度计算单元，其根据上述直方图累计值和直方图方差值求出每个色温的光源出现度；白平衡系数计算单元，其根据上述每个色温的光源出现度和上述每个色温的直方图中心位置，计算白平衡系数；以及白平衡运算单元，其使用通过上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

另外，本发明的另一个方式中提供的白平衡调整装置具有：评价值取得单元，其从图像数据取得多个像素位置的色信号值；色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；明度平均值计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出明度值的平均值；权重系数计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出根据各像素位置的明度值与上述明度值的平均值之比而确定的权重系数；直方图分析单元，其对于根据上述各像素位置的色度值和权重系数而计算出的色度空间的加权直方图，按照上述色度空间的每个色温求出上述直方图的中心位置和直方图累计值；光源出现度计算单元，其根据上述直方图累计值求出每个色温的光源出现度；白平衡系数计算单元，其根据上述每个色温的光源出现度和上述每个色温的直方图中心位置，计算白平衡系数；以及白平衡运算单元，其使用通过上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

此外，本发明的另一个方式中提供的白平衡调整装置具有：评价值取得单元，其从图像数据取得多个像素位置的色信号值；色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；直方图分析单元，其对于根据上述各像素位置的色度值而计算出的色度空间的直方图，按照上述色度空间的每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值和直方图方差值；光源出现度计算单元，其根据上述直方图累计值和直方图方差值求出每个色温的光源出现度；白平衡系数计算单元，其根据上述每个色温的光源出现度和上述每个色温的直方图中心位置，计算白平衡系数；以及白平衡运算单元，其使用通过上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

附图说明

图1是表示本发明第1实施方式涉及的白平衡调整装置的整体构成的框图。

图2是表示该实施方式涉及的图1的色度直方图制作部的详细构成的框图。

图3是表示该实施方式涉及的图2的明度权重系数计算部所计算的权重系数与明度值之间的关系的图。

图4A是表示通过该实施方式涉及的图1的色度直方图制作部制作的直方图的概念的图。

图4B是表示通过该实施方式涉及的图1的色度直方图制作部所制作的直方图的概念的图。

图5是表示该实施方式涉及的图1的光源出现度计算部的详细构成的框图。

图6是表示该实施方式涉及的图1的光源出现概率计算部的详细构成的框图。

图7A是举例表示该实施方式涉及的图6的每个色温区域的光源出现概率计算部所使用的函数的图。

图7B是举例表示该实施方式涉及的图6的每个色温区域的光源出现概率计算部所使用的函数的图。

图7C是举例表示该实施方式涉及的图6的每个色温区域的光源出现概率计算部所使用的函数的图。

图7D是举例表示该实施方式涉及的图6的每个色温区域的光源出现概率计算部所使用的函数的图。

图8是表示该实施方式涉及的图1的白平衡(WB)系数合成部的详细构成的框图。

图9是表示本发明第2实施方式涉及的白平衡调整装置的光源出现度计算部的详细构成的框图。

图10是表示本发明第3实施方式涉及的白平衡调整装置的光源出现度计算部的详细构成的框图。

图11是表示该实施方式涉及的白平衡调整装置的白平衡系数合成部的详细构成的框图。

图12A是表示本发明第3实施方式涉及的绿色区域的示意图的图。

图12B是表示本发明第4实施方式涉及的肤色区域的示意图的图。

图13是表示本发明第4实施方式涉及的白平衡调整装置的光源出现度计算部的详细构成的框图。

图14是表示该实施方式涉及的白平衡系数合成部的详细构成的框图。

具体实施方式

(第1实施方式)

下面参照图1～图8说明将本发明应用于数字相机用白平衡调整装置的情况下的第1实施方式。

图1是表示本实施方式涉及的白平衡调整装置10的整体构成的图。在该图中，通过透镜光学系统OL聚光，通过开口光圈等曝光控制部EC控制了透光量的光像成像于CCD(Charge Coupled Device：电荷耦合元件)等摄像元件IS上。

而且，通过该摄像元件IS中的光电转换而获得的图像信号经由未图示的AGC(Automatic Gain Control：自动增益控制)放大器和A/D转换器被转换为一定电平的数字值的图像数据，然后被提供给构成该白平衡调整装置10的白平衡(WB)系数计算部11和白平衡系数乘法部12。

白平衡系数计算部11具有白平衡评价值取得部111、色度直方图制作部112、光源出现度计算部113、白平衡系数合成部114和光源出现概率计算部115。

白平衡评价值取得部111通过来自摄像元件IS的图像数据取得作为白平衡系数计算基础的评价值。色度直方图制作部112根据该评价值在色度平面上制作直方图。光源出现度计算部113根据该直方图求出各色温的光源的出现度和出现位置。

另一方面，光源出现概率计算部115根据上述曝光控制部EC中的动作信息，计算根据各色温的光源的摄影亮度而求出的出现概率。白平衡系数合成部114根据由光源出现概率计算部115计算的各色温的光源的出现概率和由上述光源出现度计算部113计算的各色温的光源的出现度以及出现位置，计算白平衡系数，输出到上述白平衡系数乘法部12。

在上述白平衡评价值取得部111中，从通过摄像元件IS取得的图像数据中取得某种程度的多个像素位置处的色信号值(R、G、B值)。获取的像素位置可为任意，例如既可以以某种恒定间隔从图像数据中取样(提取)获得，也可以对每个恒定区间进行区间积分来获得。无论何种情况，都可以考虑到处理时间来高效地获得评价值。

而当无需考虑处理时间的影响时，只要是通过摄像元件IS的摄像而获得的所有像素位置、例如摄像元件IS的分辨率为纵3000像素×横4000像素，则可以获得共1200万像素左右的色信号值，能够有效应用图像整体的像素，获得正确的评价值。

图2是表示上述色度直方图制作部112的详细构成的图。

在色度直方图制作部112中，首先通过平均值/最大值计算部112a从由白平衡评价值取得部111获得的色信号中提取出表示明度分量的G分量值，根据所有像素位置的G分量值来计算平均值Gave和最大值Gmax。

接着，在明度权重系数计算部112b中，同样根据由白平衡评价值取得部111所获得的各像素位置的G分量值和由上述平均值/最大值计算部112a计算的G分量的平均值Gave和最大值Gmax，计算通过各像素位置的明度分量而确定的明度权重系数。

图3举例表示由明度权重系数计算部112b计算出的明度权重系数。如该图3所示，求出各像素位置的G分量与上述G分量的平均值Gave之比G/Gave，根据该比来确定明度权重系数。通过根据这种比求出明度权重系数，从而可以求出吸收了由于摄影时的曝光条件变化而造成的明度值变化后的明度权重系数。

此时如图3所示，如果该比小于某个预定值(1＜Const.)，则按照该比，比越大则越取较大的权重，从而对明度较高的像素的评价值给予较高的加权。

这表示：明度分量越高则越评价为接近光源色，明度分量越低则越评价为不接近光源色(即接近有彩色被摄体)。另外，在该比大于某个预定值(1＞Const.)的情况下，则按照该比，比越大则越取较小的权重。这表示：在像素的信号值处于饱和附近的情况下，不信任该评价值。

接下来，色度值计算部112c根据由白平衡评价值取得部111获得的色信号(R、G、B值)，计算作为独立于明度值的分量的色度值(R/G、B/G)。

直方图存储部112d根据如上计算出的各像素位置的每个评价值的权重系数和色度值来制作色度直方图。

图4A举例表示此时由直方图存储部112d制作的色度直方图。该色度直方图CH在R/G、B/G色度空间上对沿着黑色体放射轨迹的每个色温定义为相对于黑色体放射轨迹CR在偏差方向上以恒定的区间宽度设定的2维直方图。如果将图4A的直方图排列好，则如图4B所示，黑色体放射轨迹CR排列于直线上，通过色温轴和偏差轴来表现直方图坐标系。

根据每个评价值的色度值，对如上设定的直方图区间制作频数分布。此时考虑到对明度分量的权重系数，如果某个评价值的权重为2倍，则将频数设为2后存储于直方图。

由此，制作成考虑到各评价值的明度分量的加权直方图。

接着，使用图5说明光源出现度计算部113的详细构成。

光源出现度计算部113构成为：从第1色温区域到第N色温区域具备N组直方图中心坐标计算部113a、直方图累计值计算部113b、直方图方差值计算部113c、光源出现度计算部113d和白平衡系数计算部113e。该色温区域与在通过上述色度直方图制作出的2维直方图的色温轴向上分割出的分隔数N对应。

下面，说明在各色温区域中的直方图中心坐标计算部113a、直方图累计值计算部113b、直方图方差值计算部113c、光源出现度计算部113d和白平衡系数计算部113e的详细情况。

直方图中心坐标计算部113a在所对应的色温轴上参照偏差方向的直方图(频数分布)，导出直方图的中心位置。作为直方图的中心位置，可使用根据直方图的频数分布而求出平均位置的方法、检索成为直方图最大频数的位置的方法、求出直方图中心值的方法之中任一种。

所导出的直方图中心位置被输出到后面的直方图累计值计算部113b、直方图方差值计算部113c和白平衡系数计算部113e。

直方图累计值计算部113b根据来自上述直方图中心坐标计算部113a的直方图中心位置，计算预定的附近区间内的直方图的频数积分值，输出到光源出现度计算部113d。

直方图方差值计算部113c根据来自上述直方图中心坐标计算部113a的直方图中心位置，计算预定的附近区间内的直方图频数分布的方差值，输出到光源出现度计算部113d。

最后，在光源出现度计算部113d计算光源出现度。光源出现度表示：在通过摄像元件获得的图像数据中存在何种程度的色温p的光源分量。例如，根据直方图的累计值和方差值计算光源出现度。此时，如果设色温p的直方图累计值为S(p)、方差值为D(p)，则光源出现度I(p)可例如下面所示那样计算出来。

【数式1】

I(p)＝S(p)·[1-D(p)]    ...(1)

如上述(1)式所示，对于光源出现度，随着累计值变大，出现度变大，另一方面，随着方差值变大，出现度变小。由此，在颜色分布具有延展的评价值评价为不接近光源而属于有彩色被摄体，可减少检测白色时的权重。

在白平衡系数计算部113e中，根据通过该直方图中心坐标计算部113a导出的直方图中心位置，基于与该直方图中心位置对应的色度坐标(R/G、B/G)，对每个色温计算白平衡系数“1/(R/G)”、“1/(B/G)”。

如上，对每个色温区域计算N组由白平衡系数计算部113e和光源出现度计算部113d计算出的每个色温的白平衡系数和光源出现度，输出到白平衡系数合成部114。

接着，通过图6说明光源出现概率计算部115的详细情况。

光源出现概率计算部115构成为具有：根据由曝光控制部EC获得的曝光条件来计算视场亮度值的视场亮度计算部115a；以及根据该视场亮度值计算每个色温的光源出现概率，与第1色温区域～第N色温区域对应的N组光源出现概率计算部115b。

上述视场亮度计算部115a计算视场亮度值(BV)。视场亮度值(BV)表示所拍摄的场景的绝对亮度。例如，如果作为曝光条件而赋予了ISO灵敏度值(SV)、光圈值(AV)、快门速度值(TV)，则通过(2)式计算视场亮度值。

BV＝SV+AV+TV    ...(2)

接着，在各色温区域中的光源出现概率计算部115b中，根据计算出的视场亮度值(BV)，计算与各个色温区域对应的光源出现概率。光源出现概率表示所拍摄的场景中存在色温p的光源的概率。

图7A～图7D举例表示与计算光源出现概率时的各色温区域对应的函数。

图7A表示与阴天对应的色温区域(1～k1)的光源出现概率，图7B表示与多云对应的色温区域(k1～k2)，图7C表示与阳光(晴天)对应的色温区域(k2～k3)，图7D表示与荧光灯和电灯泡对应的色温区域(k3～N)。

这样，与作为光源的阴天、多云、荧光灯以及电灯泡对应的色温区域的光源出现概率被设定为，在视场亮度值增大到某种程度时概率会变得非常低；另一方面，与阳光对应的色温区域的光源出现概率被设定为，在所有视场亮度范围内概率为恒定。

由此，使用视场亮度值，能够防止在荧光灯和电灯泡下错误判定室外场景的光源。将如上计算出的每个色温的光源出现概率输出到白平衡系数合成部114。

下面，参照图8说明白平衡系数合成部114的详细构成。

在白平衡系数合成部114中，按照上述每个色温区域，通过乘法器114a使由上述光源出现度计算部113d和该光源出现概率计算部115b计算出的每个色温的光源出现度与光源出现概率相乘，把该积输出到乘法器114b和出现度积分部114c。

乘法器114b使乘法器114a的积与每个色温区域的白平衡系数相乘，把该积输出到白平衡系数积分部114d。

上述出现度积分部114c输入每个色温区域的乘法器114a的积，进行积分相加，计算出现度积分值并发送到除法部114e。

另一方面，白平衡系数积分部114d输入每个色温区域的上述乘法器114b的积，对所有色温进行积分相加，计算白平衡系数积分值并输出给除法部114e。

除法部114e使来自白平衡系数积分部114d的白平衡系数积分值除以来自上述出现度积分部114c的出现度积分值，获得最终的白平衡系数，输出到下一级的上述白平衡系数乘法部12。

白平衡系数乘法部12根据最终计算出的WB系数，使通过摄像元件IS获得的图像数据的多个颜色分量、例如R和B乘以由白平衡系数计算部11获得的白平衡系数，从而输出调节了白平衡的图像。

根据上述各电路构成的本实施方式，构成为根据从所输入的图像数据中获得的评价值，考虑各评价值的明度和评价值的方差，对更接近光源色的部分进行加权来评价，从而求出白平衡系数，因此可以排除图像中任意彩色的影响，实现更为正确的白平衡调整。

(第2实施方式)

下面，参照图9说明将本发明应用于数字相机用白平衡调整装置的情况下的第2实施方式。

并且，关于本实施方式涉及的白平衡调整装置10A的整体构成，除去光源出现度计算部113内的构成之外，与上述图1所示的构成基本相同，因而对相同部分使用相同符号，省略其图示与说明。

图9是表示取代上述图1的光源出现度计算部113的本实施方式的光源出现度计算部113A的详细电路构成的图。

该光源出现度计算部113A构成为：具有N组与第1色温区域～第N色温区域对应的直方图中心坐标计算部113a、直方图累计值计算部113b、直方图方差值计算部113c和光源出现度计算部113d。该色温区域与在通过上述色度直方图制作的2维直方图的色温的轴向上所分割的分隔数N对应。

另外，取代上述图5中设置于每个色温区域的N个白平衡系数计算部113e，在第1至第k1(k1＜N)的色温区域设置了共有的白平衡系数计算部113m和光源出现度计算部113n，仅在作为最终色温区域的第N色温区域设置了区域专用的白平衡系数计算部113o。

由第1色温区域～第k1色温区域的各区域的各直方图中心坐标计算部113a计算出的直方图中心坐标被赋予给白平衡系数计算部113m。由直方图中心坐标计算部113a计算出的直方图中心坐标被赋予给白平衡系数计算部113m。由该温度区域的各光源出现度计算部113d计算出的光源出现度被赋予给光源出现度计算部113n。

另外，由第N色温区域的直方图中心坐标计算部113a计算出的直方图中心坐标被赋予给白平衡系数计算部113c。由相同的色温区域的光源出现度计算部113d计算出的光源出现度被直接输出到下一级的上述114。

在上述电路构成之中，在第1～第k1色温区域中共有的光源出现度计算部113n中，根据由上一级的第1～第k1色温区域的各光源出现度计算部113d获得的每个色温的光源出现度，制作第1～第k1色温区域的出现度分布，计算该出现度分布的方差值，从而将基于该方差值的权重附加到第1～第k1色温区域的光源出现度，重新计算出1～k色温区域的光源出现度。

此时，如果将1～k色温区域的光源出现度设为I_1～k1，将第1～第k1色温区域的各光源出现度设为I(p)，将第1～第k1色温区域的出现度分布的方差值设为D_1～k1，则可按如下计算I_1～k1。即，

[数式2]

$I_{1~k1}=[1-D_{1~k1}]\·\underset{p=1}{\overset{k1}{\mathrm{\Σ}}}I\left(p\right)\·\·\·\left(3\right)$

另外，在1～k1白平衡系数计算部113m中，根据由上一级的第1～第k1色温区域的光源出现度计算部113d和直方图中心坐标计算部113a获得的每个色温的光源出现度以及直方图中心位置，通过下式计算该出现度的加权相加的直方图重心位置Q，根据与该直方图重心位置Q对应的色度值(R/G、B/G)计算第1～第k1色温区域的白平衡系数值(1/(R/G)、1/(B/G))。即，

【数式3】

$Q=\frac{\underset{p=1}{\overset{k1}{\mathrm{\Σ}}}q\left(p\right)\·I\left(p\right)}{\underset{p=1}{\overset{k1}{\mathrm{\Σ}}}I\left(p\right)}\·\·\·\left(4\right)$

(其中，q(p)为第1～第k1色温区域的每个色温的直方图中心位置。)

将通过上述(4)式计算出的第1～第k1色温区域的白平衡系数值和光源出现度输出到白平衡系数合成部114，求出最终的白平衡系数。

如上所述，根据本实施方式，除了上述第1实施方式中说明的作用效果之外，通过对高色温侧的光源评价值进行考虑到色温方向的方差的加权，从而相比一般情况下蓝色系被摄体的方差大多在色温方向上扩散的情况，能够对高色温的光源色与蓝色系被摄体颜色加以区分。

(第3实施方式)

下面，参照图10～图12说明将本发明应用于数字相机用的白平衡调整装置的情况下的第3实施方式。

并且，关于本实施方式涉及的白平衡调整装置10B的整体构成，除去光源出现度计算部113内的构成以及白平衡系数合成部114内的构成之外，与上述图1所示构成基本相同，因而对相同部分使用同一符号，省略其图示与说明。

图10是表示本实施方式涉及的光源出现度计算部113B的详细电路构成的图。如该图10所示，直方图出现度计算部113B除了在上述图5中说明的、从第1色温区域到第N色温区域具有N组直方图中心坐标计算部113a、直方图累计值计算部113b、直方图方差值计算部113c、光源出现度计算部113d和白平衡系数计算部113e的构成之外，构成为还追加了第1～第G绿色区域的直方图中心坐标计算部113p、直方图累计值计算部113q、直方图方差值计算部113r、被摄体出现度计算部113s以及白平衡系数设定部113t。

此时，第1～第G绿色区域表示的是将在色温的直方图坐标上设定的绿色区域分割为多个G的各区域。

直方图中心坐标计算部113p在所对应的色温轴上参照偏差方向的直方图(频数分布)，导出直方图的中心坐标。作为直方图的中心坐标，可使用根据直方图的频数分布求出坐标位置的方法、检索成为直方图的最大频数的坐标的方法、求出直方图中心坐标的方法之中的任一种。

所导出的直方图中心坐标被输出到后面的直方图累计值计算部113q和直方图方差值计算部113r。

直方图累计值计算部113q根据来自上述直方图中心坐标计算部113p的直方图中心坐标，计算预定的附近区间内的直方图频数积分值，输出到被摄体出现度计算部113s。

直方图方差值计算部113r根据来自上述直方图中心坐标计算部113p的直方图中心坐标，计算预定的附近区间内的直方图频数分布的方差值，输出到被摄体出现度计算部113s。

被摄体出现度计算部113s根据该直方图累计值和方差值计算被摄体出现度。另一方面，在上述白平衡系数设定部113t中预先固定地设定有每个绿色区域的白平衡系数，作为其设定内容的白平衡系数被直接送出到白平衡系数合成部114。

接着，通过图11说明本实施方式涉及的白平衡系数合成部114B的详细电路构成。

在白平衡系数合成部114B中，按照各第1～第N色温区域，通过乘法器114a使由上述光源出现度计算部113d和该光源出现概率计算部115b计算出的每个色温的光源出现度和光源出现概率相乘，将该积输出到乘法器114b和出现度积分部114c。

乘法器114b使乘法器114a的积与每个色温区域的白平衡系数相乘，将该积输出到白平衡系数积分部114d。

进而在每个上述第1～第G绿色区域中，除了将上述被摄体出现度计算部113s的输出赋予给乘法器114f之外，还直接赋予给上述出现度积分部114c。乘法器114f使上述被摄体出现度计算部113s输出的被摄体出现度与上述白平衡系数设定部113t输出的白平衡系数相乘，将该积输出到上述白平衡系数积分部114d。

上述出现度积分部114c输入每个色温区域的乘法器114a的积与每个绿色区域的被摄体出现度并进行积分相加，计算出现度积分值并发送给除法部114e。

另一方面，白平衡系数积分部114d输入每个色温区域的上述乘法器114b的积与每个绿色区域的上述乘法器114f的积，对所有色温区域和所有绿色区域进行积分相加，计算白平衡系数积分值并输出到除法部114e。

除法部114e使来自白平衡系数积分部114d的白平衡系数积分值除以来自上述出现度积分部114c的出现度积分值，获得最终的白平衡系数，输出给下一级的上述白平衡系数乘法部12。

根据上述电路构成说明其动作。

图12A表示由上述图10的各直方图中心坐标计算部113p进行处理的、在直方图坐标上设定的绿色区域GA。此时，各绿色区域GA的直方图中心位置计算部针对图12A所示的各色温的绿色区域GA的直方图频数分布，导出直方图的中心位置。

作为直方图的中心位置，如上所述，既可以使用根据直方图的频数分布求出平均位置，也可以检索成为直方图最大频数的位置的方法，还可以求出直方图中心值。

接着，每个绿色区域GA的直方图累计值计算部113q根据由该直方图中心坐标计算部113p导出的直方图中心位置，计算预定的附近区间内直方图的频数积分值。

接着，每个绿色区域GA的直方图方差值计算部113r根据由该直方图中心坐标计算部113p导出的直方图中心坐标，计算预定的附近区间内直方图的频数分布的方差值。

最后，在每个绿色区域GA的被摄体出现度计算部113s中，根据该直方图的累计值和方差值计算被摄体出现度。

此时，如果设第g个(g：1～G的自然数)的绿色区域GA的直方图累计值为SG(g)、方差值为DG(g)，则按照如下计算被摄体出现度G(g)。即，

G(g)＝SG(g)·DG(g)    ...(5)

如上面(5)式所示，被摄体出现度具有随着累计值变大也会变大，而且随着方差值变大也会变大的倾向。

由此，可以将颜色分布具有扩展的评价值作为有彩色被摄体来计算被摄体出现度。

在每个绿色区域GA的白平衡系数设定部113t中，预先将对应于各绿色区域GA而估计的白平衡系数设定为预定的白平衡系数。

如上，计算出G组由每个绿色区域GA的白平衡系数设定部113t和被摄体出现度计算部113s计算出的每个绿色区域的白平衡系数和被摄体出现度，输出到上述白平衡系数合成部114。

通过进行上述那样的动作，可根据从图像数据中获得的评价值高精度地检测光源色，计算白平衡系数，并且还可使用绿色的评价值求出白平衡系数。由此，即便在图像中不存在光源色的情况下，通过使用室外的叶子等的绿色的分布，也可以进行更为正确的白平衡调整。

另外，作为绿色的评价值，还可以考虑到明度值和方差值进行加权，从而可与光源色进行区分地使用绿色的分布。即，可以拓展用于光源估计的绿色的分布区域，例如可一并考虑到“枯叶”等的淡绿色或者米色来利用于光源估计，能达到正确性更高的白平衡调整。

(第4实施方式)

下面，参照图12至图14说明将本发明应用于数字相机用白平衡调整装置的情况下的第4实施方式。

并且，关于本实施方式涉及的白平衡调整装置10C的整体构成，除去光源出现度计算部113内的构成以及白平衡系数合成部114内的构成之外，与上述图1所示构成基本相同，因而对相同部分使用同一符号，省略其图示与说明。

图13是表示本实施方式涉及的光源出现度计算部113C的详细电路构成的图。如该图所示，光源出现度计算部113C除了在上述图5中说明的从第1色温区域到第N色温区域具有N组直方图中心坐标计算部113a、直方图累计值计算部113b、直方图方差值计算部113c、光源出现度计算部113d和白平衡系数计算部113e的构成之外，构成为还追加了第1～第H肤色区域的直方图中心坐标计算部113u、直方图累计值计算部113v、直方图方差值计算部113w、被摄体出现度计算部113x以及白平衡系数设定部113y。

此时，第1～第H绿色区域表示的是将在色温的直方图坐标上设定的肤色区域分割为多个H的各区域。

直方图中心坐标计算部113u在所对应的色温轴上参照偏差方向的直方图(频数分布)，导出直方图的中心坐标。作为直方图的中心坐标，可使用根据直方图的频数分布求出坐标位置的方法、检索成为直方图最大频数的坐标的方法、求出直方图中心坐标的方法之中的任一种。

所导出的直方图中心坐标被输出到后面的直方图累计值计算部113v和直方图方差值计算部113w。

直方图累计值计算部113v根据来自上述直方图中心坐标计算部113u的直方图中心坐标，计算预定的附近区间内的直方图频数积分值，输出到被摄体出现度计算部113x。

直方图方差值计算部113w根据来自上述直方图中心坐标计算部113u的直方图中心坐标，计算预定的附近区间内的直方图频数分布的方差值，输出到被摄体出现度计算部113x。

被摄体出现度计算部113x根据该直方图的累计值和方差值计算被摄体出现度。另一方面，在上述白平衡系数设定部113y中预先固定地设定有每个肤色区域的白平衡系数，作为该设定内容的白平衡系数被直接送出到白平衡系数合成部114。

接着，通过图14说明本实施方式涉及的白平衡系数合成部114C的详细电路构成。

白平衡系数合成部114C按照各第1～第N色温区域，通过乘法器114a使由上述光源出现度计算部113d和该光源出现概率计算部115b计算出的每个色温的光源出现度和光源出现概率相乘，将该积输出到乘法器114b和出现度积分部114c。

乘法器114b使乘法器114a的积与每个色温区域的白平衡系数相乘，将该积输出到白平衡系数积分部114d。

进而在每个上述第1～第H绿色区域中，不但将上述被摄体出现度计算部113x的输出赋予给乘法器114g，还直接赋予给上述出现度积分部114c。乘法器114g使上述被摄体出现度计算部113x输出的光源出现度与上述白平衡系数设定部113y输出的白平衡系数相乘，将该积输出到上述白平衡系数积分部114d。

上述出现度积分部114c输入每个色温区域的乘法器114a的积与每个肤色区域的被摄体出现度并进行积分相加，计算出现度积分值并发送给除法部114e。

另一方面，白平衡系数积分部114d输入每个色温区域的上述乘法器114b的积与每个肤色区域的上述乘法器114g的积，对所有色温区域和所有肤色区域进行积分相加，计算白平衡系数积分值并输出到除法部114e。

除法部114e使来自白平衡系数积分部114d的白平衡系数积分值除以来自上述出现度积分部114c的出现度积分值，获得最终的白平衡系数，输出给下一级的上述白平衡系数乘法部12。

对于上述电路构成，说明其动作。

图12B表示由上述图13的各直方图中心坐标计算部113u进行处理的、在直方图坐标上设定的肤色区域HA。此时，各肤色区域HA的直方图中心位置计算部对图12B所示的各色温的肤色区域HA的直方图频数分布，导出直方图的中心位置。

作为直方图的中心位置，如上所述既可以使用根据直方图的频数分布求出平均位置，也可以检索成为直方图最大频数的位置的方法，还可以求出直方图中心值。

接着，每个肤色区域HA的直方图累计值计算部113v根据由该直方图中心坐标计算部113u导出的直方图中心位置，计算预定的附近区间内直方图的频数积分值。

接着，每个肤色区域HA的直方图方差值计算部113w根据由该直方图中心坐标计算部113u导出的直方图中心坐标，计算预定的附近区间内直方图的频数分布的方差值。

最后，在每个肤色区域HA的被摄体出现度计算部113x中，根据该直方图的累计值和方差值计算被摄体出现度。

此时，如果设第h个(h：1～H的自然数)肤色区域HA的直方图累计值为SH(hg)、方差值为DH(h)，则按照如下计算被摄体出现度H(h)。即，

H(h)＝SH(h)·DH(h)    ...(6)

如上面(6)式所示，被摄体出现度具有随着累计值变大而变大，而且随着方差值变大也会变大的倾向。

由此，可以将颜色分布具有扩展的评价值作为有彩色被摄体来计算被摄体出现度。

在每个肤色区域HA的白平衡系数设定部113y中，预先将对应于各肤色区域HA而估计的白平衡系数设定为预定的白平衡系数。

如上，计算出H组由每个肤色区域HA的白平衡系数设定部113y和光源出现度计算部113x计算出的每个肤色区域HA的白平衡系数和被摄体出现度，输出到上述白平衡系数合成部114。

通过进行上述那样的动作，可根据从图像数据中获得的评价值高精度地检测光源色，计算白平衡系数，并且还可使用肤色评价值求出白平衡系数。由此，即便在图像中不存在光源色的情况下，通过使用人物肤色的分布，也可以进行更为正确的白平衡调整。

另外，作为肤色的评价值，还可以考虑到明度值和方差值进行加权，从而可与光源色进行区分地使用绿色的分布。即，可以拓展用于光源估计的肤色的分布区域，例如可一并考虑到“化妆后的肌肤”、“白色人种的肌肤”等淡的肌肤颜色来利用于光源估计，能达到正确性更高的白平衡调整。

并且，上述第1至第4实施方式中都说明了通过硬件电路实现本发明的情况，然而本发明不限于此，也可以采取通过执行计算机可读取的程序来获得同样作用效果的软件处理。

另外，本发明不仅可应用于在将通过具有固体摄像元件的摄像装置获得的图像数据记录于记录介质之前实施白平衡调整的装置，还可同样应用于对通过某种方式获得的图像数据进行白平衡调整的、更为一般的图像处理、例如休整用的应用软件等。

此外，本发明不限于上述实施方式，可以在实施阶段在不脱离其主旨的范围内进行各种变形。另外，上述实施方式中所执行的功能可尽量地适当组合来实施。上述实施方式包含各种阶段，通过所公开的多个构成要件进行适当组合，可提取出各种发明。例如，即使从实施方式所示的所有构成要件中删除掉几个构成要件，只要可获得效果，就能将删除掉该构成要件的构成作为发明而提取出来。

Claims (17)

1.一种白平衡调整装置，其特征在于，该白平衡调整装置具有：

评价值取得单元，其从图像数据取得多个像素位置的色信号值；

色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；

权重系数计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出由该明度值确定的权重系数；

直方图分析单元，其对于根据上述各像素位置的色度值和权重系数计算出的色度空间的加权直方图，按照每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值以及直方图方差值；

光源出现度计算单元，随着上述直方图累计值越大和上述直方图方差值越小，所述光源出现度计算单元根据值变大的计算式来求出每个色温的光源出现度；

白平衡系数计算单元，其将上述每个色温的光源出现概率和光源出现度相乘，并与根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此来计算白平衡系数；以及

白平衡运算单元，其使用由上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

2.根据权利要求1所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有明度平均值计算部，其对上述多个像素位置求出明度值的平均值，

上述权重系数计算单元根据各像素位置的明度值与上述明度值的平均值之比，计算上述权重系数。

3.根据权利要求2所述的白平衡调整装置，其特征在于，上述权重系数计算单元根据各像素位置的明度值与上述明度值的平均值之比，在上述比小于比1大的预定值的情况下计算出随上述比增大而增大的权重系数，在上述比大于上述预定值的情况下计算出随上述比增大而减小的权重系数。

4.根据权利要求1所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有：

视场亮度计算单元，其计算出基于摄影时的曝光条件的视场亮度；以及

光源出现概率计算单元，其根据上述视场亮度计算每个色温的光源出现概率。

5.根据权利要求1所述的白平衡调整装置，其特征在于，上述评价值取得单元取得对各像素位置的预定附近区域的像素进行累加而得到的色信号值。

6.根据权利要求1所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有：

有彩色被摄体出现度计算单元，随着上述色度空间的预定色温范围内的直方图累计值越大和直方图方差值越大，所述有彩色被摄体出现度计算单元根据值变大的计算式来计算有彩色被摄体的出现度；以及

有彩色被摄体用白平衡系数设定单元，其设定与上述有彩色被摄体对应的白平衡系数，

上述白平衡系数计算单元考虑上述有彩色被摄体的出现度和与上述有彩色被摄体对应的白平衡系数而计算白平衡系数。

7.一种白平衡调整装置，其特征在于，该白平衡调整装置具有：

评价值取得单元，其从图像数据中取得多个像素位置的色信号值；

色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；

明度平均值计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出明度值的平均值；

权重系数计算单元，其将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出根据各像素位置的明度值与上述明度值的平均值之比而确定的权重系数；

直方图分析单元，其对于根据上述各像素位置的色度值和权重系数而计算出的色度空间的加权直方图，按照上述色度空间的每个色温求出上述直方图的中心位置和直方图累计值；

光源出现度计算单元，随着上述直方图累计值越大和上述直方图方差值越小，所述光源出现度计算单元通过值变大的计算式来求出每个色温的光源出现度；

白平衡系数计算单元，其将上述每个色温的光源出现概率和光源出现度相乘，并与根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此来计算白平衡系数；以及

白平衡运算单元，其使用由上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

8.根据权利要求7所述的白平衡调整装置，其特征在于，上述权重系数计算单元根据各像素位置的明度值与上述明度值的平均值之比，在上述比小于比1大的预定值的情况下计算出随上述比增大而增大的权重系数，在上述比大于上述预定值的情况下计算出随上述比增大而减小的权重系数。

9.根据权利要求7所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有：

视场亮度计算单元，其计算出基于摄影时的曝光条件的视场亮度；以及

光源出现概率计算单元，其根据上述视场亮度计算每个色温的光源出现概率。

10.根据权利要求7所述的白平衡调整装置，其特征在于，上述评价值取得单元取得对各像素位置的预定附近区域的像素进行累加而得到的色信号值。

11.一种白平衡调整装置，其特征在于，该白平衡调整装置具有：

评价值取得单元，其从图像数据中取得多个像素位置的色信号值；

色度值计算单元，其根据上述色信号值对上述多个像素位置求出色度值；

直方图分析单元，其对于根据上述各像素位置的色度值计算出的色度空间的直方图，按照上述色度空间的每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值和直方图方差值；

光源出现度计算单元，随着上述直方图累计值越大和上述直方图方差值越小，所述光源出现度计算单元根据值变大的计算式来求出每个色温的光源出现度；

白平衡系数计算单元，其将上述每个色温的光源出现概率和光源出现度相乘，并与根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此计算白平衡系数；以及

白平衡运算单元，其使用由上述白平衡系数计算单元计算出的白平衡系数，对上述图像数据进行白平衡运算。

12.根据权利要求11所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有：

视场亮度计算单元，其计算出基于摄影时的曝光条件的视场亮度；以及

光源出现概率计算单元，其根据上述视场亮度计算每个色温的光源出现概率。

13.根据权利要求11所述的白平衡调整装置，其特征在于，上述评价值取得单元取得对各像素位置的预定附近区域的像素进行累加而得到的色信号值。

14.根据权利要求11所述的白平衡调整装置，其特征在于，该白平衡调整装置还具有：

有彩色被摄体出现度计算单元，随着上述色度空间的预定色温范围内的直方图累计值越大和直方图方差值越大，所述有彩色被摄体出现度计算单元根据值变大的计算式来计算有彩色被摄体的出现度；以及

有彩色被摄体用白平衡系数设定单元，其设定与上述有彩色被摄体对应的白平衡系数，

上述白平衡系数计算单元考虑上述有彩色被摄体的出现度和与上述有彩色被摄体对应的白平衡系数而计算白平衡系数。

15.一种白平衡调整方法，其特征在于，该白平衡调整方法具有：

评价值取得步骤，从图像数据中取得多个像素位置的色信号值；

色度值计算步骤，根据上述色信号值对上述多个像素位置求出色度值；

权重系数计算步骤，将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出由该明度值确定的权重系数；

直方图分析步骤，对于根据上述各像素位置的色度值和权重系数计算出的色度空间的加权直方图，按照每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值以及直方图方差值；

光源出现度计算步骤，随着上述直方图累计值越大和上述直方图方差值越小，根据值变大的计算式来求出每个色温的光源出现度；

白平衡系数计算步骤，将上述每个色温的光源出现概率和光源出现度相乘，并与根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此计算白平衡系数；以及

白平衡运算步骤，使用由上述白平衡系数计算步骤计算出的白平衡系数，对上述图像数据进行白平衡运算。

16.一种白平衡调整方法，其特征在于，该白平衡调整方法具有：

评价值取得步骤，从图像数据中取得多个像素位置的色信号值；

色度值计算步骤，根据上述色信号值对上述多个像素位置求出色度值；

明度平均值计算步骤，将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出明度值的平均值；

权重系数计算步骤，将上述色信号值中表示明度分量的信号值作为明度值提取出来，对上述多个像素位置求出根据各像素位置的明度值与上述明度值的平均值之比而确定的权重系数；

直方图分析步骤，对于根据上述各像素位置的色度值和权重系数而计算出的色度空间的加权直方图，按照上述色度空间的每个色温求出上述直方图的中心位置和直方图累计值；

光源出现度计算步骤，随着上述直方图累计值越大和上述直方图方差值越小，根据值变大的计算式来求出每个色温的光源出现度；

白平衡系数计算步骤，将上述每个色温的光源出现概率和光源出现度相乘，并和根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此计算白平衡系数；以及

白平衡运算步骤，使用由上述白平衡系数计算步骤计算出的白平衡系数，对上述图像数据进行白平衡运算。

17.一种白平衡调整方法，其特征在于，该白平衡调整方法具有：

评价值取得步骤，从图像数据中取得多个像素位置的色信号值；

色度值计算步骤，根据上述色信号值对上述多个像素位置求出色度值；

直方图分析步骤，对于根据上述各像素位置的色度值计算出的色度空间的直方图，按照上述2维色度空间的每个色温求出上述直方图的中心位置、该中心位置的附近区间的直方图累计值和直方图方差值；

光源出现度计算步骤，随着上述直方图累计值越大和上述直方图方差值越小，根据值变大的计算式求出每个色温的光源出现度；

白平衡系数计算步骤，将上述每个色温的光源出现概率和光源出现度相乘，并与根据上述每个色温的直方图中心位置计算出的系数相乘之后，进行积分相加来计算白平衡系数积分值；将上述每个色温的光源出现概率和光源出现度相乘之后，进行积分相加来计算出现度积分值；以及将所述白平衡系数积分值除以所述出现度积分值，由此计算白平衡系数；以及

白平衡运算步骤，使用由上述白平衡系数计算步骤计算出的白平衡系数，对上述图像数据进行白平衡运算。

Images