CN104363434A - 图像处理设备 - Google Patents

Abstract

一种图像处理设备，包括：估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄被摄体所处的水深；以及白平衡控制单元，用于根据由所述估计单元估计出的水深，沿着不同于黑体辐射轴的轴进行白平衡控制。

Description

图像处理设备

本申请是申请日为2011年2月9日、申请号为201110035191.1、发明名称为“图像处理设备”的申请的分案申请。

技术领域

本发明涉及一种诸如数字照相机或数字摄像机等的摄像设备中的图像处理技术，尤其涉及一种水中的白平衡控制技术。

背景技术

从图像传感器输出的信号被A/D转换成数字信号，并且将图像分割成多个块。由R(红色)、G(绿色)和B(蓝色)的色度信号构成块信号。使用例如等式(1)计算块的颜色评价值：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024        ...(1)

(其中，Y[i]＝R[i]+2G[i]+B[i])

当颜色评价值Cx[i]和Cy[i]落在预先设置的白色检测范围内时，判断为该块是白色的。计算落在白色检测范围内的颜色像素的积分值sumR、sumG和sumB以根据等式(2)计算白平衡系数：

WBCo_R＝sumY×1024/sumR

WBCo_G＝sumY×1024/sumG

WBCo_B＝sumY×1024/sumB          ...(2)

其中，sumY＝(sumR+2×sumG+sumB)/4

当在水中拍摄图像时，光的长波长范围在水的光谱透过率的影响下容易衰减。R光成分与G和B光成分的比率减小，并且图像变为带蓝色的。在水中，随着从水面到照相机(被摄体)的距离(距离水面的深度)变长，从外部进入水的自然光的R颜色成分减少。因此变得难以保持白平衡的跟踪性能。

日本专利4144390号公开了一种技术，该技术用于在摄像之前设置白平衡调整中使用的调整系数，并且基于由用于检测照相机所处的深度的深度指示器所检测到的深度信息来控制不同的白平衡调整系数。

然而，在日本专利4144390号所公开的传统技术中，用户必须拍摄预先准备的诸如白色或灰色等的非彩色被摄体，这显得麻烦且不便。另外，照相机必须装配例如用于检测水深的深度指示器，并且照相机成本增大。

发明内容

作出了本发明以解决上述问题，并且本发明能够在无需向照相机装配任何特殊装置的情况下适当调整白平衡。

根据本发明的第一方面，提供一种图像处理设备，包括：估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被摄体所处的水深；以及白平衡控制单元，用于根据由所述估计单元估计出的水深，沿着与黑体辐射轴不同的轴进行白平衡控制。

根据本发明的第二方面，提供一种图像处理设备，包括：估计单元，用于根据通过拍摄被摄体所获得的图像的颜色分布信息，估计所拍摄的被摄体所处的水深；以及颜色增益改变单元，用于根据由所述估计单元估计出的水深，改变颜色增益矩阵。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的照相机的结构的框图；

图2是示出用于计算第一WB校正值的处理的流程图；

图3A和3B是示出白色检测范围的图；

图4是示出第一实施例中用于计算水下WB校正值的处理的流程图；

图5是示出水下颜色评价值分布的图；

图6是示出水下WB处理的概念图；

图7是示出与相关系数相对应的水下轴的设置的表；

图8是示出根据颜色分布和黑体辐射轴之间的距离计算增益值的图；

图9是示出第二实施例中用于计算水下WB校正值的处理的流程图；

图10是示出根据深度混合WB系数所使用的比率的图；以及

图11是示出第三实施例中用于计算水下WB校正值的处理的流程图。

具体实施方式

现参考附图说明本发明的实施例。

第一实施例

图1是示出根据本发明第一实施例的照相机(摄像设备)的结构的框图。参考图1，固态图像传感器101包括CCD传感器或CMOS传感器等，并且固态图像传感器101的表面覆盖有Bayer阵列的R(红色)、G(绿色)和B(蓝色)颜色滤波器，以使得能够进行彩色摄像。

CPU114计算快门速度和光圈值以将整个图像调整成适当亮度，并且还计算拍摄镜头中的调焦透镜的驱动量，以聚焦于对焦区域中存在的被摄体。将已由CPU114计算出的曝光值(快门速度和光圈值)以及调焦透镜驱动量发送给控制电路113。控制电路113基于各个值控制曝光和调焦。WB(白平衡)控制单元103基于来自存储在存储器102中的图像信号的信息计算WB校正值，并且通过使用所计算出的WB校正值对存储在存储器102中的图像信号进行WB校正。注意，后面将说明WB控制单元103的详细结构和WB校正值计算方法。

颜色转换MTX(颜色转换矩阵)电路104通过将经过了WB控制单元103的WB校正的图像信号乘以颜色增益，将其转换成色差信号R-Y和B-Y，从而以最佳色彩再现该图像信号。LPF(低通滤波器)电路105限制色差信号R-Y和B-Y的带宽。CSUP(色度抑制)电路106抑制带宽受到LPF电路105限制的图像信号中饱和部分的伪色信号。Y(亮度信号)生成电路111还接收经过了WB控制单元103的WB校正的图像信号，并且生成亮度信号Y。边缘增强电路112对所生成的亮度信号Y进行边缘增强处理。

RGB转换电路107将从CSUP电路106输出的色差信号R-Y和B-Y及从边缘增强电路112输出的亮度信号Y转换成R、G和B信号。伽玛校正电路108对R、G和B信号进行色调校正。颜色亮度转换电路109将由此得到的R、G和B信号转换成Y、U和V信号。JPEG压缩电路110压缩Y、U和V信号。将压缩后的Y、U和V信号作为图像信号记录在外部或内部记录介质上。

将详细说明图1中的WB控制单元103计算WB校正值的方法。首先，参考图2说明用于计算第一WB校正值的方法。

WB控制单元103读出存储在存储器102中的图像信号，并且将画面分割成任意m个块(步骤S101)。WB控制单元103在块1～m的每一个中，针对各颜色相加并平均像素值，以计算颜色平均值R[i]、G[i]和B[i]。然后，WB控制单元103使用等式(1)计算颜色评价值Cx[i]和Cy[i](步骤S102)：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

其中，Y[i]＝R[i]+2G[i]+B[i]

WB控制单元103判断在步骤S102计算出的第i块的颜色评价值Cx[i]和Cy[i]是否落在图3A所示的预先设置的白色检测范围301内(步骤S103)。

通过预先在不同光源下拍摄白色并且绘制计算出的颜色评价值，获得白色检测范围301。可以针对摄像模式分别设置白色检测范围。图3A中的x坐标Cx的负方向表示在拍摄高色温被摄体的白色时所获得的颜色评价值。正方向表示在拍摄低色温被摄体的白色时所获得的颜色评价值。y坐标Cy表示光源的绿色成分的程度。绿色成分在负方向上增大，并且这意味着光源是荧光灯。水中的白色分布位于蓝色和绿色方向上。因此，设置白色检测范围来检测蓝色和绿色方向(图3B中的302)。如果计算出的颜色评价值Cx[i]和Cy[i]落在白色检测范围302内(步骤S103为“是”)，则WB控制单元103判断为该块是白色的，并且对该块的颜色平均值R[i]、G[i]和B[i]进行积分(步骤S104)。如果步骤S103为“否”，则WB控制单元103进入步骤S105，而不相加颜色平均值。可以通过等式(3)表示步骤S103和S104中的处理：

$\begin{array}{c}\mathrm{SumR}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×R\left[i\right]\\ \mathrm{SumG}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×G\left[i\right]\\ \mathrm{SumB}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×B\left[i\right]\end{array}...\left(3\right)$ 在等式(3)中，如果颜色评价值Cx[i]和Cy[i]落在白色检测范围(图3B中的302)内，则将Sw[i]设置为1；否则，将其设置为0。通过该设置，基于步骤S103的判断，实质上进行用于相加或不相加颜色平均值R[i]、G[i]和B[i]的处理。

在步骤S105，WB控制单元103判断是否对所有块都进行了上述处理。如果剩余未处理的块，则WB控制单元103返回到步骤S102以重复上述处理。如果处理了所有块，则WB控制单元103进入步骤S106。

在步骤S106，WB控制单元103使用等式(4)，根据所获得的颜色平均值的积分值sumR、sumG和sumB来计算第一WB校正值WBCo1_R、WBCo1_G和WBCo1_B：

WBCo1_R＝sumY×1024/sumR

WBCo1_G＝sumY×1024/sumG

WBCo1_B＝sumY×1024/sumB

            ...(4)

其中，sumY＝(sumR+2×sumG+sumB)/4

接着参考图4的流程图和图5的概念图来说明计算第一WB校正值之后的处理。在步骤S202，WB控制单元103判断WB模式是否是水下模式。如果WB模式不是水下模式，则WB控制单元103进入步骤S207，以将第一WB校正值设置为最终的WB系数。

如果WB模式是水下模式，则在步骤S203，WB控制单元103将所拍摄图像分割成n块，并且在块1～n的每一个中，针对各颜色相加并平均像素值，从而计算颜色平均值R[i]、G[i]和B[i]。然后，WB控制单元103计算颜色评价值Cx[i]和Cy[i]。如图5所示，颜色评价值的分布在深度(水深)浅时如分布501那样，并且在深度深时如分布502那样。在水中，随着从水面到(如果照相机靠近被摄体，则被看作照相机位置的)被摄体位置的距离(距离水面的深度)变长，从外部进入水的自然光的R颜色成分减少，因而颜色评价值的分布如图5所示。作为用于估计深度的方法，根据所拍摄图像的颜色分布信息计算线性近似的相关性，并且根据该相关性估计深度。相关性表达式为：

$r^2=\frac{{\left(\underset{i=1}{\overset{i=n}{\mathrm{\Σ}}}\left(\mathrm{Cx}\right[i]-m)\left(\mathrm{Cy}\right[i]-n)\right)}^2}{\underset{i=1}{\overset{i=n}{\mathrm{\Σ}}}{\left(\mathrm{Cx}\right[i]-m)}^2\underset{i=1}{\overset{i=n}{\mathrm{\Σ}}}{\left(\mathrm{Cy}\right[i]-n)}^2}$

其中，m为Cx[i]的平均值，并且n为Cy[i]的平均值。

将计算出的r²定义为相关系数，并且基于该信息执行WB控制。该相关系数取0～1的值。对于接近1的值，估计为存在相关性，即深度深，并且对于接近0的值，估计为不存在相关性，即深度浅。

作为用于根据颜色分布信息估计深度的另一方法，基于所拍摄图像的颜色分布和黑体辐射轴之间的距离来估计深度。这是因为：如图5所示，随着深度变大，颜色分布在蓝色和绿色方向上推移。在这种情况下，根据所拍摄图像的颜色分布的中心和黑体辐射轴之间的距离来估计深度。

设ΔCx和ΔCy是距离黑体辐射轴的距离，则通过以下计算ΔCx和ΔCy：

$\mathrm{AveCx}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Cx}\left[i\right]}{n}$

$\mathrm{AveCy}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Cy}\left[i\right]}{n}$

ΔCx＝Cx0-AveCx

ΔCy＝Cy0-AveCy

其中，W0(Cx0，Cy0)是黑体辐射轴上的点。使用通过上述等式计算出的ΔCx和ΔCy作为深度估计判断元素。

如图6所示，水中的白色评价值的轨迹(白点轨迹，并被称为水下轴)远离黑体辐射轴而存在。此外，水中的白点根据深度而改变。因此，在步骤S204，基于通过上述计算所获得的相关系数(估计出的水深信息)和计算出的与黑体辐射轴的距离(估计出的水深信息)，来设置由W1'和W2'定义的水下轴。作为设置方法，如图7所示，从表中查找与相关系数相对应的W1(Cx1，Cy1)、W2(Cx2，Cy2)、W1D(Cx1D，Cy1D)和W2D(Cx2D，Cy2D)。W1D和W2D是能够跟踪比W1和W2更深的深度的水下轴设置值。

根据与黑体辐射轴的距离ΔCx和ΔCy来混合通过该表计算出的W1、W2、W1D和W2D。如图8所示，通过从ΔCx和ΔCy获得Gain1和Gain2来计算混合比率β：

β＝Gain1×Gain2

W1'Cx＝(1-β)×W1Cx+β×W1DCx

W1'Cy＝(1-β)×W1Cy+β×W1DCy

W2'Cx＝(1-β)×W2Cx+β×W2DCx

W2'Cy＝(1-β)×W2Cy+β×W2DCy

也就是说，当颜色分布信息的相关系数高并且与黑体辐射轴的距离长时，判断出深度为深，并且设置能够跟踪更深的深度的水下轴。

可以使用例如在水中实际拍摄的图像，通过实验来获得该表中的相关系数和轴之间的关系。当相关系数在表中的值之间进行取值时，通过线性插值来进行计算。

在步骤S205，如图6所示，WB控制单元103将计算出的第一WB校正值WBCo1映射到W1'和W2'的水下轴上。这里，将与第一WB校正值相对应的颜色平均值的积分值(sumR、sumG、sumB)转换成Cx和Cy的值，将转换后的Cx和Cy的值映射到水下轴上，从而得到点WBCo'(Cx'，Cy')。在步骤S206，WB控制单元103输出映射点WBCo'(Cx'，Cy')作为最终的白平衡系数WBCo1_R、WBCo1_G和WBCo1_B。通过在等式(1)以及等式(2)中设Cx[i]＝Cx'、Cy[i]＝Cy'、R[i]＝sumR、G[i]＝sumG＝1024、B[i]＝sumB、Y[i]＝sumY、WBCo_R＝WBCo1_R、WBCo_G＝WBCo1_G、WBCo_B＝WBCo1_B而得到的联立方程式来求出这些RGB空间的值。

第二实施例

将说明第二实施例。第二实施例与第一实施例的不同在于：根据深度对第一实施例中计算出的WBCo1和通过平均整个画面计算出的WB系数进行加权并进行相加，并且将由此产生的WB系数映射到W1'和W2'的水下轴上。剩余处理与第一实施例中的处理相同，并且不再重复对其的详细说明。

参考图9的流程图说明第二实施例。当深度深时，颜色评价值可能不落在图3B的检测范围302内。为了参考画面的颜色分布，在所拍摄图像的块1～n的每一个中，针对各颜色相加并平均像素值，从而计算颜色平均值R[i]、G[i]和B[i]。然后，计算颜色评价值Cx[i]和Cy[i](步骤S305)。通过如下对这些值进行积分：

$\mathrm{Cx}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Cx}\left[i\right]$

$\mathrm{Cy}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Cy}\left[i\right]$

由于可以相加除白色以外的颜色的颜色评价值，因而可以对颜色评价值进行加权并相加，以避免相加远离白色评价值轨迹的评价值。在这种情况下，通过如下对颜色评价值进行积分：

$\mathrm{Cx}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\mathrm{Cx}\right[i]\×\mathrm{Gain}1[i\left]\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Gain}1\left[i\right]}$

$\mathrm{Cy}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(\mathrm{Cy}\right[i]\×\mathrm{Gain}2[i\left]\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Gain}2\left[i\right]}$

在此，Gain1和Gain2是根据与黑体辐射轴上的表示预定光源的点(例如，阳光照射处的点)的距离而获得的值，距离越远，该值越小。在本实施例中，分别获得Gain1和Gain2。存储5个具有代表性的针对Cx(i)的Gain1的值，同样地，存储5个具有代表性的针对Cy(i)的Gain2的值。通过对Cx和Cy的值进行线性插值，针对i＝1～n的Cx(i)和Cy(i)获得Gain1和Gain2。将计算出的颜色评价值Cx和Cy设置为WBCo2。

在步骤S306，根据估计出的深度，即相关系数来混合计算出的WB校正值WBCo1和WBCo2。如图10所示，根据估计出的深度(相关系数)确定混合比率α。更具体地，以下面的比率混合WBCo1和WBCo2：

WBCo1:WBCo2＝(1-α):α

在步骤S307，将通过混合处理所获得的白平衡系数如图6所示以Cx和Cy的值映射在水下轴上。输出映射点作为最终的白平衡系数WBCo1_R、WBCo1_G和WBCo1_B(步骤S308)。

第三实施例

将说明第三实施例。第三实施例与第一和第二实施例的不同在于：线性近似的相关性计算中所使用的块。剩余处理与第二实施例(图9的流程图)中的处理相同，并且不再重复对其的详细说明。

参考图11的流程图说明第三实施例。存在阻碍水深估计(使相关系数从原始值减小)的数个因素。这些因素的例子有高亮度部分(例如，水下光)、低亮度部分(例如，岩石阴影)和高饱和度部分(例如，鱼)。作为用于确定高亮度部分、低亮度部分和高饱和度部分的标准的例子，将R(红色)、G(绿色)和B(蓝色)值中至少一个超过阈值的部分确定为高亮度部分，将亮度低于阈值的部分确定为低亮度部分，并且将R和G值中至少一个与B值相比大于阈值的部分确定为高饱和度部分。

在相关系数的计算中，基于所拍摄图像的各块的颜色平均值，从计算对象排除被确定为阻碍水深估计的(与高亮度、低亮度和高饱和度中至少一个相对应的)块作为排除区域(步骤S403)。这可以降低水深估计误差。

此时，如果排除预定数量以上的块，则可以使用紧挨在排除的块的数量超过预定值(预定面积)之前所计算出的相关系数(水深)。可选地，可以以根据状况(例如，在排除的块的数量超过预定值之后经过的时间)所计算出的比率，对紧挨在排除的块的数量超过预定值之前所计算出的相关系数(水深)和新计算出的相关系数(水深)进行加权和平均。

第四实施例

将说明第四实施例。在第一～第三实施例中，在估计深度时，基于所拍摄图像的颜色评价值分布执行线性近似，并且可以根据相关系数来改变该控制。

在第四实施例中，基于所拍摄图像的颜色评价值进行椭圆近似，并且根据椭圆的长轴和短轴的长度的比来估计该深度。

如上所述，在水中，随着从水面到照相机(被摄体)的距离(距离水面的深度)变长，从外部进入水的自然光的R颜色成分减少。在深度深时，颜色评价值的分布如图5中的分布502那样。根据椭圆的长轴长度a和短轴长度b(a>b>0)的比来估计深度。更具体地，b/a取0～1的值。估计出：随着b/a越接近0，深度越深，并且随着b/a越接近1，深度越浅。除了水深估计方法以外，第四实施例与第一～第三实施例相同，并且不再重复对其的详细说明。

其它实施例

本发明不局限于白平衡控制，并且可以根据估计出的深度改变颜色增益矩阵。例如，R颜色成分随着深度变深而减少，并且几乎不显现红颜色。换句话说，通过基于估计出的深度信息来切换R增益(改变颜色增益)可以获得期望的颜色再现。

可选地，可以根据估计出的深度改变诸如AF或AE等的控制。如果摄像设备具有用于显示图像的显示装置，则可以根据估计出的深度来改变要显示的UI或图像的质量。

在上述实施例中，在摄像设备中实施本发明。然而，本发明不局限于此，并且可应用于具有用于对图像进行白平衡控制的功能的任意图像处理设备。例如，运行在个人计算机上的应用程序软件对RAW图像文件(从图像传感器输出的白平衡校正之前的数据文件)执行本发明的处理。

通过执行下面的处理也实现了本发明。更具体地，经由网络或各种存储介质向系统或设备提供用于实现上述实施例的功能的软件(程序)。该系统或设备的计算机(或者CPU或MPU)读出并执行该程序。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种图像处理设备，包括：

计算单元，用于计算通过拍摄被摄体所获得的图像的各块的颜色评价值；

估计单元，用于根据计算出的颜色评价值的分布，估计所拍摄的被摄体所处的水深；以及

白平衡控制单元，用于沿着与黑体辐射轴不同的、表示水中与由所述估计单元估计出的水深相对应的白点轨迹的轴进行白平衡控制。

2.根据权利要求1所述的图像处理设备，其特征在于，所述估计单元对所拍摄图像的颜色评价值的分布进行线性近似以获得相关系数，并且根据所述相关系数来估计水深。

3.根据权利要求1所述的图像处理设备，其特征在于，所述估计单元对所拍摄图像的颜色评价值的分布进行椭圆近似，并且根据椭圆的长轴长度和短轴长度的比来估计水深。

4.根据权利要求1所述的图像处理设备，其特征在于，所述表示水中与水深相对应的白点轨迹的轴能够基于由所述估计单元所获得的水深信息而改变。

5.根据权利要求1所述的图像处理设备，其特征在于，所述白平衡控制单元将进行了白色检测的白平衡系数映射在表示水中与水深相对应的白点轨迹的轴上。

6.根据权利要求1所述的图像处理设备，其特征在于，所述白平衡控制单元对进行了白色检测的白平衡系数和根据所拍摄图像的颜色分布计算出的白平衡系数进行加权相加，并且将通过加权相加而获得的白平衡系数映射在表示水中与水深相对应的白点轨迹的轴上。

7.根据权利要求6所述的图像处理设备，其特征在于，所述白平衡控制单元基于由所述估计单元所获得的水深信息，对进行了白色检测的白平衡系数和根据所拍摄图像的颜色分布计算出的白平衡系数进行加权相加。

8.根据权利要求1所述的图像处理设备，其特征在于，当在所述图像中存在与高亮度、低亮度和高饱和度中的至少一个相对应的区域时，所述估计单元从用于估计水深的计算对象中排除该区域。

9.根据权利要求8所述的图像处理设备，其特征在于，所述高亮度的区域包括红色信号、绿色信号和蓝色信号中的至少一个信号的值超过阈值的区域。

10.根据权利要求8所述的图像处理设备，其特征在于，所述低亮度的区域包括亮度低于阈值的区域。

11.根据权利要求8所述的图像处理设备，其特征在于，所述高饱和度的区域是红色信号和绿色信号中的至少一个信号的值与蓝色信号的值的比大于阈值的区域。

12.根据权利要求8所述的图像处理设备，其特征在于，当作为从用于估计水深的计算对象中排除的区域的排除区域超过预定面积时，所述估计单元使用紧挨在所述排除区域的面积超过所述预定面积之前所估计出的水深，或者对紧挨在所述排除区域的面积超过所述预定面积之前所估计出的水深和新估计出的水深进行加权平均。

13.一种图像处理设备，包括：

计算单元，用于计算通过拍摄被摄体所获得的图像的各块的颜色评价值；

估计单元，用于根据计算出的颜色评价值的分布，估计所拍摄的被摄体所处的水深；以及

颜色增益改变单元，用于根据由所述估计单元估计出的水深，改变颜色增益矩阵。