CN100480830C

CN100480830C - 一种逆光检测方法、逆光补偿终止检测方法及相应装置

Info

Publication number: CN100480830C
Application number: CN200710063186.5A
Authority: CN
Inventors: 孙余顺; 王浩
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2007-01-30
Filing date: 2007-01-30
Publication date: 2009-04-22
Anticipated expiration: 2027-01-30
Also published as: CN101008762A

Abstract

一种逆光检测和逆光补偿终止检测方法，正常曝光时，计算高亮度区像素点个数与像素点总数的比值Ratio_White，以及低亮度区像素点个数与像素点总数的比值Ratio_Black；再判断是否满足：(A·Ratio_White+B)(C·Ratio_Black+D)≥iThresHoldA，iThresHoldA为阈值，A、B、C、D为常数；如果所有条件满足，则判定当前图像处于逆光状态。在逆光补偿状态下，在计算出Ratio_White和Ratio_Black后，判断(E·Ratio_White+F)(G·Ratio_White+H)＜iThresHoldD是否满足，iThresHoldD为阈值，E、F、G、H为常数；如果有任一条件满足，则终止逆光补偿。本发明还提供了相应装置。本发明能够准确地进行逆光检测和逆光补偿终止的检测。

Description

一种逆光检测方法、逆光补偿终止检测方法及相应装置

技术领域

本发明涉及一种逆光检测和补偿方法及其装置。

背景技术

数码相机等数字影像撷取装置在进行逆光检测时，通常将图像划分为若干子窗口，并计算各子窗口的平均亮度，根据各子窗口的平均亮度值，选用固定的阈值来判断是否处于逆光状态。例如，选定第一亮度阈值、第二亮度阈值、第一数量阈值、第二数量阈值，其中第一亮度阈值为低亮度阈值，第二亮度阈值为高亮度阈值，第一亮度阈值小于第二亮度阈值；当平均亮度小于第一亮度阈值的子窗口数量大于第一数量阈值，且平均亮度大于第二亮度阈值的子窗口数量大于第二数量阈值时，系统认定当前处于逆光状态。

但是，采用上述固定阈值的平均亮度检测方法进行逆光检测在实际使用中会出现逆光检测不准确或不稳定的现象。当处于逆光状态时，图像的主体部分(如拍摄人像时，人像相对于背景来说就是图像的主体部分)称为逆光前景。当逆光前景位于不同的多个子窗口的交界处时，多个子窗口中都存在亮度高和亮度低的区域，所以子窗口的平均亮度很可能处于正常范围之内，即子窗口的平均亮度均大于第一亮度阈值且小于第二亮度阈值。这时，采用上述逆光检测方法无法正确检测到逆光状态。此外，当逆光前景在各子窗口中运动时，由于逆光前景时而位于多个子窗口的交界位置，系统检测结果为不处于逆光状态；时而集中位于某个或某几个子窗口中，造成该子窗口平均亮度小于第一亮度阈值，从而使小于第一亮度阈值的子窗口数量大于第一数量阈值，系统判定为处于逆光状态。即由于逆光前景运动造成了系统逆光检测结果的频繁变化状态。

此外，在实际逆光环境中，逆光程度可能不同，逆光前景的面积可能较大也可能较小，因此选用固定的阈值来判断图像是否处于逆光状态不能适应复杂的实际应用环境。

此外，现有的逆光补偿算法只是在检测到逆光时强制降低用于判断AE(Auto Exposure，自动曝光)的图像平均亮度值，以达到提升图像亮度的目的。由于判断仍然是基于各个子窗口的平均亮度值，因此在逆光前景发生运动的情况下，会严重影响系统判断的稳定性。基于同样的原因，很容易出现逆光补偿不足或补偿过度的情况。

此外，现有逆光检测和补偿算法在图像经过逆光补偿后进入正常非逆光场景时，由于无法区分当前正常范围的平均亮度值是逆光补偿的结果还是本身即处于非逆光状态，所以不能降低曝光时间，只能保持高亮度值不能恢复正常；否则，将出现系统的逆光检测结果在逆光和非逆光的判断之间来回跳转，即造成类似AE锁不住的现象。

发明内容

本发明要解决的技术问题是，克服现有技术中逆光检测和补偿方法及其装置的不足，提出一种在各种逆光程度下，逆光前景位于图像的不同位置或发生运动时能够准确地进行逆光检测的逆光检测方法及其装置，准确地进行逆光补偿终止的检测方法及其装置。

为了解决上述问题，本发明提出一种逆光检测方法，包含如下步骤：

(a)根据当前图像像素点的亮度值，计算亮度值高于设定高亮度区亮度值下限的像素点个数与图像像素点总数的比值Ratio_White，计算亮度值低于设定低亮度区亮度值上限的像素点个数与图像像素点总数的比值Ratio_Black；

(b)判断以下逆光检测条件是否满足：

(A·Ratio_White+B)(C·Ratio_Black+D)≥iThresHoldA，其中iThresHoldA为设定的阈值，其中A、B、C、D均为设定的常数；

(c)如果所有的逆光检测条件满足，则判定当前图像处于逆光状态。

进一步地，上述逆光检测方法还可具有以下特点：

步骤(b)中还对以下逆光检测条件进行判断：Ratio_White+Ratio_Black<iThresHoldB，其中iThresHoldB为设定的阈值，iThresHoldB的取值范围为：0.95～1。

进一步地，上述逆光检测方法还可具有以下特点：

步骤(a)中还将图像分为N个子窗口，计算各个子窗口的平均亮度值并记录平均亮度值最小的子窗口的平均亮度值iYmin；

步骤(b)中还对以下逆光检测条件进行判断：iYmin<iThresHoldC，其中iThresHoldC为设定的阈值，iThresHoldC的取值范围为：90～135。

进一步地，上述逆光检测方法还可具有以下特点：所述A＝C＝D＝1，B＝0，或者A＝B＝C＝1，D＝0；且iThresHoldA取值范围为：0.15～0.3。

为了解决上述问题，本发明又提供了一种逆光补偿终止检测方法，包含如下步骤：

(b)判断以下逆光补偿终止条件是否满足：

(E·Ratio_White+F)(G·Ratio_White+H)<iThresHoldD，其中iThresHoldD为设定的阈值，E、F、G、H均为设置的常数；

(c)如果有任一逆光补偿终止条件满足，则应终止逆光补偿。

进一步地，上述逆光补偿终止检测方法还可具有以下特点：

步骤(a)中还计算所述图像中所有像素点的亮度值求平均后得到的均值N_Ymean；

步骤(b)中还对以下逆光检测条件进行判断：N_Ymean>iThresHoldE，其中iThresHoldE为设定的阈值，150≤iThresHoldE≤180。

进一步地，上述逆光补偿终止检测方法还可具有以下特点：

步骤(b)中还对以下逆光检测条件进行判断：Ratio_White>iThresHoldF，其中iThresHoldF为设定的阈值，0.4≤iThresHoldF≤0.7。

进一步地，上述逆光补偿终止检测方法还可具有以下特点：

步骤(b)中还对以下逆光补偿终止条件进行判断：iYmin>iThresHoldG，其中iThresHoldG为设定的阈值，35≤iThresHoldG≤80。

进一步地，上述逆光补偿终止检测方法还可具有以下特点：

所述E＝G＝H＝1，F＝0，或E＝F＝G＝1，H＝0；且0.05≤iThresHoldD≤0.1。

为了解决上述问题，本发明还提供了一种逆光检测装置，包含数据统计单元、存储单元和逆光检测单元，其中：

所述数据统计单元用于根据当前图像像素点的亮度值，计算亮度值高于设定高亮度区亮度值下限的像素点个数与图像像素点总数的比值Ratio_White，计算亮度值低于设定低亮度区亮度值上限的像素点个数与图像像素点总数的比值Ratio_Black；

所述逆光检测单元，用于判断以下逆光检测条件是否满足：(A·Ratio_White+B)(C·Ratio_Black+D)≥iThresHoldA，其中iThresHoldA为设定的阈值，其中A、B、C、D均为设定的常数；如果所有的逆光检测条件满足，则判定当前图像处于逆光状态；

所述存储单元用于保存设置的所述高亮度区亮度值下限、低亮度区亮度值上限和逆光检测条件中使用的阈值。

进一步地，上述逆光检测装置还可具有以下特点：

所述逆光检测单元判断的逆光检测条件还包括以下条件之一或组合：

1)Ratio_White+Ratio_Black<iThresHoldB，其中iThresHoldB为设定的阈值；

2)iYmin<iThresHoldC，其中iThresHoldC为设定的阈值，iYmin是将图像分为N个子窗口，所述数据统计单元计算出的各个子窗口的平均亮度值的最小值。

为了解决上述问题，本发明再提供了一种逆光补偿终止检测装置，包含数据统计单元、存储单元和逆光补偿终止检测单元，其中：

所述逆光补偿终止检测单元，用于判断以下逆光补偿终止检测条件是否满足：(E·Ratio_White+F)(G·Ratio_White+H)<iThresHoldD，其中iThresHoldD为设定的阈值，E、F、G、H均为设置的常数；如果有任一逆光补偿终止条件满足，则终止逆光补偿。

所述存储单元用于保存设置的所述高亮度区亮度值下限、低亮度区亮度值上限和逆光补偿终止检测条件中使用的阈值。

进一步地，上述逆光补偿终止检测装置还可具有以下特点：

所述逆光补偿终止检测单元判断的逆光补偿终止检测条件还包括以下条件之一或任意组合：

1)N_Ymean>iThresHoldE，其中N_Ymean为所述数据统计单元计算的图像所有像素点亮度值求均后得到的均值，iThresHoldE为设定的阈值；

2)Ratio_White>iThresHoldF，其中iThresHoldF为设定的阈值；

3)iYmin>iThresHoldG，其中iThresHoldG为设定的阈值，iYmin是将图像分为N个子窗口，所述数据统计单元计算出的各个子窗口的平均亮度值的最小值。

本发明通过增加亮度直方图信息作为逆光检测的依据，同时借鉴传统的逆光判断方法，并通过设置多个相互补充的逆光补偿终止条件合理提升图像亮度，使该方法能够避免传统方法补偿后图像亮度锁不住或者场景恢复正常时不能自动跳出逆光模式的缺点。在检测到逆光后可通过逆光补偿准确地将逆光图像提升到一个合适的亮度，并能锁定住补偿后最终的状态，当场景恢复到正常非逆光状态下时，系统能够检测到并恢复正常状态。

附图说明

图1为逆光状态下的图像亮度直方图示例；

图2为本发明实施例的逆光检测过程的流程图；

图3为本发明实施例的逆光补偿终止检测过程的流程图；

图4为本发明的逆光检测和补偿装置的结构示意图。

具体实施方式

本发明的基本思路是，引入与像素位置无关的亮度直方图信息作为逆光检测的依据，同时结合图像平均亮度，并采用合适的阈值进行逆光检测；在检测到逆光时，通过使用多个逆光补偿终止条件进行合理地逆光补偿。

下面将结合附图和实施例对本发明作进一步的描述。

图像的直方图是用一系列宽度相等、高度不等的矩形表示图像数据分布的图形。矩形的宽度表示图像数据范围的间隔，矩形的高度表示在给定间隔内的图像数据频数。如图1所示，横坐标为图像亮度值，数据范围的间隔为1，纵坐标为图像像素点的亮度值在给定间隔内的像素点的个数。图像的直方图反映了图像整体的亮度分布信息，和像素在图像中所处的具体位置没有关系，其描述的是图像内影像的亮度分布曲线。图1是一种典型的逆光图像的直方图。如图1所示，通常逆光图像的直方图分布比较特殊，直方图的两个尖峰一般分布在两侧，大部分像素点的亮度值分布在高亮度区域和低亮度区域两部分。基于这样的事实，本发明将图像的直方图信息引入到逆光检测中，并结合传统的统计各个子窗口亮度的方法，相互补充，能够准确地检测各种条件下的逆光情况。

如图2所示，数字影像撷取装置在正常曝光的状态下，进行逆光检测的过程包括如下步骤：

步骤1：根据当前图像像素点的亮度值，计算亮度值高于设定高亮度区亮度值下限的像素点个数Sum_White及其与图像像素点总数Sum的比值Ratio_White，计算亮度值低于设定低亮度区亮度值上限的像素点个数Sum_Black及其与图像像素点总数Sum的比值Ratio_Black；

低亮度区的像素点累加值Sum_Black为：

Sum_Black = Σ_{i = 0}^{iBlack} Histogram (i);

其中，iBlack为低亮度区亮度值的上限，iBlack的取值范围为30≤iBlack≤65；优选地，iBlack＝48；Histogram(i)表示亮度值在i-1～i之内的像素点个数。

高亮度区的像素点累加值Sum_White为：

Sum_White = Σ_{i = iWhite}^{255} Histogram (i);

其中，iWhite为高亮度区亮度值的下限，iWhite的取值范围为220≤iWhite≤250；优选地，iWhite＝238；

图像像素点总数记为Sum；Ratio_White＝Sum_White/Sum；Ratio_Black＝Sum_Black/Sum。

步骤2：将图像分为N个子窗口并计算各个子窗口的亮度值，记录平均亮度最小的子窗口的平均亮度值iYmin；

子窗口n的平均亮度为：

Ymean [n] = Σ_{i = 0}^{m - 1} Y (i) / m;

其中，Y(i)为子窗口n的第i个像素点的亮度值，m为子窗口n的像素点数；1≤n≤N；N≥1；

iYmin＝min{Ymean[1]，Ymean[2]，...，Ymean[N]}；

步骤3：根据得到的Ratio_White、Ratio_Black和iYmin，判断图像是否处于逆光状态；

为了能够适应各种不同程度的逆光环境，使用动态可变自适应阈值来判断逆光。设定符合下面逆光判断条件则判定为逆光：

条件1.

Ratio_White &GreaterEqual; \frac{iThresHoldA}{1 + Ratio_Black};

且

条件2.Ratio_White+Ratio_Black<iThresHoldB；且

条件3.iYmin<iThresHoldC。

在其它实施例中，以上逆光判断条件也可单独使用或任意组合。

上述iThresHoldA取值范围为：0.15～0.3；iThresHoldB的取值范围为：0.95～1；iThresHoldC的取值范围为：90～135。

上述条件1使用动态阈值

来判断图像是否处于逆光状态，这个条件能够自适应图像中高亮度和低亮度部分的比例变化，并消除镜头运动或逆光前景的运动对逆光检测判断的影响。例如，在逆光环境下，当镜头发生运动时，若高亮度区比例Ratio_White减少，而低亮度区比例Ratio_Black增加，由于采用了动态阈值，条件1中的不等式左边和右边都减小，条件1仍然能够满足，不会出现采用固定阈值时，在相同的逆光环境中，由于镜头的微小运动而造成逆光检测得出相反的结论的现象。在其它实施例中也可以采用其它的公式，例如：

(A·Ratio_White+B)(C·Ratio_Black+D)≥iThresHoldA。

其中A、B、C、D均为设定的常数。A＝C＝D＝1，B＝0时就是上式中的条件。采用A＝B＝C＝1，D＝0或其它值也是可以的。

上述条件2用于避免将一些特殊的场景判断为逆光，例如将本身就是由黑色和白色组成的场景判断为逆光。

上述条件3通常用于在图像场景从逆光转为正常时跳出逆光模式，即避免在这种情况下仍错误地作出处于逆光状态的判断。即，若平均亮度最小的子窗口的平均亮度值iYmin大于或等于iThresHoldC，则不认为图像处于逆光状态，无需进行逆光补偿。

步骤4：如果上述所有的逆光检测条件满足，判定图像处于逆光状态，执行下一步；否则结束；

步骤5，启动逆光补偿功能，中断系统的AE，提升图像亮度，结束。

逆光补偿时需要中断系统的AE功能，强制增加曝光时间，提升图像亮度。

检测到逆光后就需要进行逆光补偿，增加曝光时间，以提升图像亮度。但不能无限制地增加曝光时间，否则会导致图像过曝。数字影像撷取装置在进行逆光补偿的状态下，进行逆光补偿终止检测的过程包括以下步骤：

步骤一和步骤二与上述逆光检测的步骤1和步骤2相同，不再重复。

步骤三，根据得到的Ratio_White、Ratio_Black和iYmin，判断图像是否满足以下逆光补偿终止条件：

条件4.

Ratio_White < \frac{iThresHoldD}{1 + Ratio_Black};

或

条件5.N_Ymean>iThresHoldE；或

条件6.Ratio_White>iThresHoldF；或

条件7.iYmin>iThresHoldG。

其中，N_Ymean为图像平均亮度：

N_Ymean [n] = Σ_{i = 0}^{m - 1} Y (i) / m;

其中，Y(i)为图像第i个像素点的亮度值，m为图像的像素点数。

上述iThresHoldD的取值范围为：0.05～0.1；iThresHoldE的取值范围为：150～180；iThresHoldF的取值范围为：0.4～0.7；iThresHoldG的取值范围为：35～80。

上述条件4用于自适应地判断逆光补偿终止条件，这个条件能够自适应图像中高光和低光部分的比例变化。在其它实施例中，该公式采用以下形式：

(E·Ratio_White+F)(G·Ratio_White+H)<iThresHoldD。

其中E、F、G、H均为设置的常数。E＝G＝H＝1，F＝0时即为条件4，取E＝F＝G＝1，H＝0或其它值也是可以的。

上述条件5用于避免在其它条件失效的情况下，由于图像中本身就存在黑色区域而导致过度的逆光补偿的现象。

上述条件6用于避免在其它条件失效的情况下造成过度的逆光补偿的现象。

上述条件7用于在图像中的逆光前景，即亮度最低的部分的亮度提升到某一水平后终止逆光补偿。

步骤四，如果以上逆光补偿终止条件中有任一条件满足，执行下一步；否则，直接结束。

步骤五，终止逆光补偿，结束

图4为本发明的逆光检测和逆光补偿终止检测装置的结构示意图。如图所示，包括：

数据统计单元，计算图像亮度的相关统计数据，即Ratio_White，Ratio_Black，iYmin等。

存储单元，用于存储设置的相关门限值、逆光检测相关阈值和逆光补偿相关阈值；

逆光检测相关阈值包括上述iThresHoldA，iThresHoldB，iThresHoldC；

逆光补偿相关阈值包括上述iThresHoldD，iThresHoldE，iThresHoldF，iThresHoldG；

门限值包括上述iWhite，iBlack。

逆光检测单元，用于根据数据统计单元提供的图像直方图数据图像子窗口亮度信息从存储单元中提取的逆光检测相关阈值或固定的逆光判断值参数计算逆光判断条件(见上文)，当所有条件满足时，向曝光单元发出逆光补偿控制命令；

逆光补偿终止检测单元，用于根据数据统计单元提供的图像直方图数据和图像子窗口亮度信息，以及从存储单元中提取的逆光补偿相关阈值判断当前图像是否满足设定的逆光补偿终止条件(见上文)，如有任一条件满足，向曝光单元发出终止对图像进行逆光补偿的控制命令。

曝光单元，用于在逆光检测单元的控制下中断系统AE功能，执行逆光补偿；或者在逆光补偿终止检测单元的控制下终止对图像的逆光补偿。

由上可知，本发明通过将图像直方图信息结合图像窗口亮度信息综合用于逆光检测，能够在复杂多变的各种应用环境中准确检测逆光；同时通过设置多个相互补充的逆光补偿终止条件，达到在各种场景下都能合理提升补偿亮度的目的。

Claims

1、一种逆光检测方法，包含如下步骤：

(b)判断以下逆光检测条件是否满足：

2、如权利要求1所述的逆光检测方法，其特征在于：

3、如权利要求1或2所述的逆光检测方法，其特征在于：

4、如权利要求1所述的逆光检测方法，其特征在于：

所述A＝C＝D＝1，B＝0，或者A＝B＝C＝1，D＝0；且iThresHoldA取值范围为：0.15～0.3。

5、一种逆光补偿终止检测方法，包含如下步骤：

(b)判断以下逆光补偿终止条件是否满足：

(c)如果有任一逆光补偿终止条件满足，则应终止逆光补偿。

6、如权利要求5所述的逆光补偿终止检测方法，其特征在于：

7、如权利要求5所述的逆光补偿终止检测方法，其特征在于：

8、如权利要求5所述的逆光补偿终止检测方法，其特征在于：

9、如权利要求5所述的逆光补偿终止检测方法，其特征在于：

10、一种逆光检测装置，其特征在于，包含数据统计单元、存储单元和逆光检测单元，其中：

11、如权利要求10所述的逆光检测装置，其特征在于：

1)Ratio_White+Ratio_Black<iThresHoldB，其中iThresHoldB为设定的阈值；

12、一种逆光补偿终止检测装置，其特征在于，包含数据统计单元、存储单元和逆光补偿终止检测单元，其中：

所述逆光补偿终止检测单元，用于判断以下逆光补偿终止检测条件是否满足：(E·Ratio_White+F)(G·Ratio_White+H)<iThresHoldD，其中iThresHoldD为设定的阈值，E、F、G、H均为设置的常数；如果有任一逆光补偿终止条件满足，则终止逆光补偿；

13、如权利要求12所述的逆光补偿终止检测装置，其特征在于：

2)Ratio_White>iThresHoldF，其中iThresHoldF为设定的阈值；