CN102388615A - 自动背光检测 - Google Patents

Abstract

在一特定实施例中，揭示一种方法，所述方法包括在自动白平衡模块处接收图像数据且产生自动白平衡数据。所述方法进一步包括基于所述自动白平衡数据而检测背光条件。还揭示一种自动地检测背光条件的设备。

Description

自动背光检测

技术领域

本发明大体来说是针对视频和静态图像处理，且更特定来说是针对影响图像产生的背光检测。

背景技术

照明条件影响通过静态和视频相机拍摄的数字图像的质量。举例来说，在背光条件下俘获前景中的物件的图像可导致感兴趣的物件看上去比背景暗。因此难以检视所俘获的图像上的物件的细节。

背光导致图像的背景的照度(luminance)比感兴趣的物件高。背光条件可发生于室内、室外或混合的室内和室外环境中。归因于由背光产生的明亮背景，感兴趣的物件可能比所期望的暗。

数字摄影术的进展已产生抵消背光的技术。举例来说，闪光、背光伽玛(gamma)、明度(luma)调适和增加曝光能力的进展可起作用以使感兴趣的物件变得明亮。

尽管存在这些进展，但一些用户未能受益于此类背光补偿技术。用户常规上手动地激活背光补偿功能。开关或其它激活序列的手动本质要求用户知晓何时接通背光补偿功能是适当的。激活此功能所涉及的步骤对于一些用户来说可能并不便利。举例来说，摄影者可能不愿意将其注意力从其摄影主题转移开以便轻按背光开关。因此，一些用户并不利用背光补偿技术且降级到俘获具有降低的图像质量的图像。

发明内容

一特定实施例使用背光测试的组合自动地检测背光条件。第一测试通过评估从图像数据所产生的直方图数据是否超过高频阈值和低频阈值而确定背光条件的存在。第二测试使用所收集的自动白平衡统计来识别所述图像数据的室内和室外区域。进一步使用所述室内与室外数据的比较来确定背光条件的存在。在第三测试在所述图像中检测到面部的情况下，实施例可提供面部背光补偿。

在另一特定实施例中，揭示一种方法，所述方法包括在自动白平衡模块处接收图像数据且产生自动白平衡数据。所述方法进一步包括基于所述自动白平衡数据而检测背光条件。

在另一实施例中，揭示一种设备，所述设备包括经配置以接收图像数据的自动白平衡模块。所述设备包括背光检测模块。所述背光检测模块经耦合以接收来自所述自动白平衡模块的数据，且包括用以基于来自所述自动白平衡模块的所述数据的评估而确定背光条件是否存在的逻辑。

在另一实施例中，揭示一种设备，所述设备包括用于自动地使图像数据白平衡以产生白平衡数据的装置，以及用于基于所述白平衡数据而检测背光条件的装置。

在另一实施例中，揭示一种存储计算机可执行代码的计算机可读媒体。所述计算机可读媒体包括可由计算机执行以自动地使图像数据白平衡以产生白平衡数据的代码。所述可由所述计算机执行的代码可基于所述白平衡数据而检测背光条件。

所揭示的实施例提供的特定优点可包括改进的用户便利和图像质量。实施例可包括一种连续地运行的智能型且自动的背光检测算法。当所述自动背光检测算法检测到背光条件时，一设备可在无用户干预的情况下自动地应用背光补偿。

本发明的其它方面、优点和特征将在检视整个申请案之后变得显而易见，整个申请案包括以下章节：附图说明、具体实施方式和权利要求书。

附图说明

图1为自动背光检测设备的特定说明性实施例的框图；

图2为包括指示照度的频率曲线和阈值的直方图，所述频率曲线和所述阈值由图1的设备的直方图模块使用以检测背光条件；

图3为说明由图1的设备的自动白平衡模块进行的统计收集过程的图，其描绘矩形框，所述矩形框展示色空间的两个维度中的用以产生自动白平衡数据的灰色像素；

图4为展示所绘制的参考点和室内样本点的分布的图，所述室内样本点是使用由图1的自动白平衡模块产生的自动白平衡数据而产生；

图5为展示所绘制的参考点和室外样本点的分布的图，所述室外样本点是使用由图1的自动白平衡模块产生的自动白平衡数据而产生；

图6为展示参考点以及室内样本点与室外样本点两者的分布的图，所述样本点是使用由图1的自动白平衡模块产生的自动白平衡数据而产生；

图7为展示自动地检测背光条件的方法的一特定实施例的流程图，所述方法如可由图1的设备来控制；

图8为展示自动地检测背光条件的方法的另一特定实施例的流程图，所述方法如可由图1的设备来控制；

图9为展示识别图像的室内部分和室外部分的方法的一特定实施例的流程图，所述方法如可由图1的设备来控制；

图10为展示确定多个区域中的每一区域内的灰色像素的平均值的方法的一特定实施例的流程图，所述方法如可由图1的设备来控制；

图11为自动背光检测装置的特定实施例的框图，所述自动背光检测装置经配置以使用自动白平衡数据来检测和补偿背光条件；以及

图12为自动背光检测装置的另一特定实施例的框图，所述自动背光检测装置经配置以使用自动白平衡数据来检测和补偿背光条件。

具体实施方式

图1为说明可自动地检测背光条件的设备100的框图。设备100可包括图像处理单元102，其用以根据各种实施例存储图像数据104且对图像数据104执行各种处理技术。如本文中所描述，图像处理单元102可产生自动白平衡数据且使用自动白平衡数据来检测背光条件。一般来说，设备100可通过提供背光条件的自动检测和校正或补偿而增强数字成像。

图像处理单元102可包含芯片组，所述芯片组包括数字信号处理器(DSP)、芯片上存储器和硬件逻辑或电路。更一般来说，图像处理单元102可包含处理器、硬件、软件或固件的任何组合，且可因而实施图像处理单元102的各种组件。

在图1的所说明的实例中，设备100还包括本地存储器106和存储器控制器108。本地存储器106可存储原始图像数据。本地存储器106还可在由图像处理单元102执行的处理之后存储经处理的图像数据。

存储器控制器108可控制本地存储器106内的存储器组织。存储器控制器108还可控制从本地存储器106到图像处理单元102的存储器载入。存储器控制器108还可控制从图像处理单元102到本地存储器106的回写。可在图像俘获之后将由图像处理单元102处理的图像从图像俘获设备110直接载入到本地存储器106中，或可在图像处理期间将由图像处理单元102处理的图像存储于本地存储器106中。

在示范性实施例中，设备100包括用以俘获经处理的图像的图像俘获设备110，但本发明在此方面不受限制。图像俘获设备110可包括固态传感器元件阵列，例如互补金属氧化物半导体(CMOS)传感器元件、电荷耦合装置(CCD)传感器元件等。作为替代或另外，图像俘获设备110可包括一组图像传感器，所述图像传感器包括布置于相应传感器的表面上的彩色滤光片阵列(CFA)。在任一状况下，可将图像俘获设备110直接耦合到图像处理单元102以避免图像处理中的等待时间。所属领域的技术人员应了解，也可使用其它类型的图像传感器来俘获图像数据104。图像俘获设备110可俘获静态图像或全运动视频序列。在后一状况下，可对视频序列的一个或一个以上图像帧执行图像处理。

设备100可包括显示器114，其在如本发明中所描述的图像处理之后显示图像。在图像处理之后，可将图像写入到本地存储器106或写入到外部存储器112。可将经处理的图像发送到显示器114以用于呈现给用户。

在一些状况下，设备100可包括多个存储器。外部存储器112(例如)可包括相对大的存储器空间。外部存储器112可包含动态随机存取存储器(DRAM)。在其它实例中，外部存储器112可包括非易失性存储器(例如，快闪存储器)，或任何其它类型的数据存储单元。本地存储器106可包含相对较小且较快的存储器空间。借助实例，本地存储器106可包含同步动态随机存取存储器(SDRAM)。

本地存储器106和外部存储器112仅为示范性的，且其可组合到同一存储器组件中，或可以若干其它配置来实施。在一特定实施例中，本地存储器106形成外部存储器112的一部分(通常在SDRAM中)。在此状况下，在两个存储器均不可与图像处理单元104一起位于芯片上的意义上，本地存储器106与外部存储器112两者可为外部的。或者，本地存储器106可包含芯片上存储器缓冲器，而外部存储器112可在芯片外部。本地存储器106、显示器114和外部存储器112(在需要时，和其它组件)可经由通信总线116而耦合。

设备100还可包括发射器(未图示)，所述发射器用以将经处理的图像或经编码的图像序列发射到另一装置。本发明的技术可由包括数码相机功能性或数字视频能力的手持式无线通信装置(例如，对于蜂窝式电话)来使用。在所述状况下，所述装置还可包括调制器-解调器(MODEM)以促进将基带信号无线调制到载波波形上，以便促进经调制的信息的无线通信。

图1的图像处理单元102可包括背光检测模块118、自动白平衡模块120、直方图模块122、面部检测模块124和背光补偿模块126。如下文更详细论述，背光检测模块118可使用多个检测过程。背光检测模块118可经耦合以接收来自自动白平衡模块120的数据。背光检测模块118可经配置以基于来自自动白平衡模块120的数据的评估而检测背光条件。举例来说，背光检测模块118可经配置以将图像的第一部分识别为室内区域且将图像的第二部分识别为室外区域。背光检测模块118可通过将室内区域的要素与第一阈值进行比较而评估亮度条件。背光检测模块118可进一步将室外区域的要素与第二阈值进行比较。可响应于与第一和第二阈值相比所得的室内和室外区域的所评估的亮度条件而作出背光确定。

背光检测模块118可包括背光确定逻辑128、室内/室外比较逻辑130，和用于与自动白平衡模块120介接的接口132。室内/室外比较逻辑130可处理自动白平衡模块120的输出以识别所接收的图像数据104的室内和室外区域。背光确定逻辑128可耦合到室内/室外比较逻辑130且可经配置以确定背光条件。以此方式，背光确定逻辑128的输出138可部分基于由自动白平衡模块120产生的自动白平衡数据。

自动白平衡模块120可经配置以接收图像数据104且收集统计。自动白平衡模块120的一实施例可根据所述统计进一步应用白平衡增益。自动白平衡模块120可输出自动白平衡数据，所述自动白平衡数据由背光检测模块118使用以评估背光。

用以检测背光的另一测试单元包括直方图模块122。直方图模块122可对直方图数据应用高和低阈值百分比，以确定背光条件的存在。在直方图数据超过高阈值与低阈值两者的情况下，直方图模块122可确定存在背光条件。举例来说，直方图可包括指示图像中的照度的频率曲线图。高阈值百分比和低阈值百分比可包括于直方图中。直方图模块122可确定一些像素比低阈值暗。直方图还可指示存在比高阈值明亮的一些像素。当存在超过两个阈值的像素时，直方图模块122可指示检测到背光条件。

如果未超过直方图的两个阈值，那么直方图模块122可替代地指示未检测到背光条件。举例来说，如果存在比高阈值明亮的像素，但不存在比低阈值暗的像素，那么直方图模块122可确定不存在背光条件。在既不超过高阈值也不超过低阈值的情况下，可确定相同结果。

实施例可使用直方图模块122来评估直方图数据。可处理直方图数据以检测背光条件。举例来说，在每一端处包括峰值的直方图可指示严重背光条件。在直方图的高端中具有峰值且在黑暗区域中增加的另一直方图可指示适度背光条件。在高端中具有一个峰值的又一直方图可对应于轻微背光条件。

直方图模块122可使用此直方图数据来对图像数据104执行第一背光测试。举例来说，直方图模块122可确定具有小于第一值的亮度值的像素的数目是否超过第一阈值。直方图模块122还可确定具有大于第二值的亮度值的像素的数目是否超过第二阈值。

面部检测模块124可调整背光补偿，以使所检测的面部达到恰当亮度水平。在图像数据中不存在面部的情况下，可应用规则的背光补偿。在一些实施例中，面部检测模块124可包含辅助测试过程。

背光补偿单元126可包括用于抵消背光现象的过程，包括面部优先背光补偿技术。(尤其是)闪光、背光伽玛、明度调适和增加曝光技术可用以使感兴趣的相对较暗的物件变得明亮。

图像数据104可到达图像处理单元102。如图1的实施例中所展示，直方图模块122可用以基于从图像数据104产生的直方图数据而检测背光条件。图像数据104可同时到达自动白平衡模块120。自动白平衡模块120可收集自动白平衡数据，所述自动白平衡数据由背光检测模块118评估以确定是否很可能存在背光条件。可联合地处理直方图模块122与自动白平衡模块120的输出，以确定是否存在背光条件。举例来说，背光检测模块118可在确定直方图模块122与自动白平衡模块120两者的相应输出指示背光条件的可能性之后检测背光条件。

在未检测到背光条件的情况下，可通过背光补偿模块126的例行背光补偿过程134来处理图像数据104。还可通过面部检测模块124来处理图像数据104。面部检测模块124可确定图像数据104中是否包括任何面部。视面部检测模块124的确定而定，除将图像数据104传递到例行背光补偿程序128之外或替代于将图像数据104传递到例行背光补偿程序128，可将图像数据104传递到背光补偿模块126的面部优先背光补偿过程136。

设备100可形成能够编码和发射和/或接收视频序列的图像俘获装置或数字视频装置的一部分。借助实例，设备100可包含独立的数码相机或视频摄录影机、无线通信装置(例如，蜂窝式或卫星无线电电话)、个人数字助理(PDA)、计算机，或其中需要图像处理的具有成像或视频能力的任何装置。

若干其它元件也可包括于设备100中，但为说明的简单和容易起见，在图1中未具体说明。图1中所说明的架构仅为示范性的，因为本文中所描述的技术可以多种其它架构来实施。

图2展示可由图1的直方图模块122产生和处理的示范性直方图200。可自动地评估直方图200的数据以检测背光条件。如图2的实施例中所展示，直方图200包括指示照度的频率曲线202。包含低阈值204的线与包含高阈值206的线可包括于直方图200中。如图2中所展示，示范性直方图200包括比低阈值204暗的一些像素208。直方图200还指示存在比高阈值206明亮的一些像素210。在存在分别超过两个阈值204、206(如所展示)的像素208、210的情况下，直方图模块122可确定检测到或很可能存在背光条件。

如果直方图的像素数据不超过两个阈值204、206，那么直方图模块122可输出：未检测到背光条件。举例来说，直方图可包括比低阈值暗的像素，但可能不具有比高阈值明亮的像素。在此实例中，直方图模块122可确定未检测到背光条件。

图2中所说明的直方图检测技术对于检测许多背光场景可为有利的。然而，比低阈值204暗的像素可能表示图像数据104中实际上非常暗且可能并非感兴趣的物件的物件。可使用额外背光测试来证实或起始直方图模块122的背光确定。

可由图1的自动白平衡模块120来执行一个此类额外背光测试。自动白平衡模块120可处理所接收的图像数据104，以收集包括自动白平衡数据的统计。可使用自动白平衡数据来比较室内和室外样本以用于检测背光条件。图3用图形展示一方法，所述方法由自动白平衡模块120使用以收集统计且另外产生用于室内/室外比较中的自动白平衡数据。

图3特别展示说明统计收集方法的图300，所述统计收集方法使用矩形框302，矩形框302包括定中心于灰色点304上的YCrCb色空间的两个维度(Cr和Cb)中的灰色像素。图3用图形展示图1的自动白平衡模块120可如何过滤所接收的图像数据104以产生自动白平衡数据。在一个配置中，图1的白平衡模块120可过滤所俘获的图像，以选择包括于预定照度范围内的灰色区域。白平衡模块120可接着选择满足预定Cr和Cb准则的那些剩余区域。自动白平衡模块120的过滤过程可使用照度值来移除过暗或过明亮的区域。可归因于噪声和饱和度问题而排除这些区域。自动白平衡模块120可将相关联的滤波函数表达为若干等式。可将满足不等式(等式)组的区域视为可能的灰色区域。

自动白平衡模块120可提供每一区域的Y的总和、Cb的总和、Cr的总和，以及像素的数目。可将图像划分成N×N个区域。可使用以下等式来设立统计收集：

Y＜＝Ymax            (1)

Y＞＝Ymin            (2)

Cb＜＝m1*Cr+c1       (3)

Cr＞＝m2*Cb+c2       (4)

Cb＞＝m3*Cr+c3       (5)

Cr＜＝m4*Cb+c4        (6)

值m1到m4和c1到c4可表示预定常数。可选择这些常数，以使得经过滤的物件准确地表示灰色区域，同时维持经过滤的物件的足够大的范围和待针对所俘获的图像估计的施照体(illuminant)。可与其它实施例一起使用其它等式。

可将图像划分成含有L×M个矩形区域，其中L和M为正整数。在此实例中，N＝L×M可表示图像中的区域的总数。在一个配置中，自动白平衡模块120可将所俘获的图像划分成8×8或16×16像素区域。自动白平衡模块120可将所俘获的图像的像素(例如)从RGB分量变换成YCrCb分量。

自动白平衡模块120可处理经过滤的像素以产生针对所述区域中的每一者的统计。举例来说，自动白平衡模块120可确定经过滤或受约束的Cb的总和、经过滤或受约束的Cr的总和、经过滤或受约束的Y的总和，以及根据对于Y、Cb和Cr的总和的约束而选择的像素的数目。依据区域统计，自动白平衡模块120可确定每一区域的Cb、Cr和Y的总和除以选定像素的数目以产生Cb的平均值(aveCb)、Cr的平均值(aveCr)和Y的平均值(aveY)。设备100可将所述统计变换回RGB分量，以确定R、G和B的平均值。

图1的自动白平衡模块120可将区域统计变换成栅格坐标系统，以确定与针对坐标系统而格式化的参考施照体的关系。在一个配置中，自动白平衡模块120可将区域统计转换和量化成(R/G，B/G)坐标系统中的N×N个栅格中的一个栅格。不需要线性地分割栅格距离。举例来说，可由非线性分割的R/G和B/G轴线形成坐标栅格。自动白平衡模块120可丢弃在预定义范围外的成对的(aveR/aveG，aveB/aveG)。

在一个实施例中，自动白平衡模块120可有利地将区域统计变换成二维坐标系统。然而，二维坐标系统的使用并非限制，且设备100可经配置以使用坐标系统中的任何数目个维度。举例来说，在另一配置中，设备100可使用三维坐标系统，所述三维坐标系统对应于经正规化为预定常数的R、G和B值。自动白平衡模块120可经配置以提供用于与所绘制的样本进行比较的参考施照体的位置。

设备100可经配置以存储对于一个或一个以上参考施照体的统计。可在校准例程期间确定对于所述一个或一个以上参考施照体的统计。举例来说，此校准例程可在制造过程期间测量相机的各个部分的性能。

特征化过程可测量办公室灯光下的一类型的传感器的R/G和B/G。制造过程可测量每一传感器且记录传感器距经特征化的值多远。对于给定传感器模块(例如，对于图1的图像俘获设备110的透镜或传感器)，特征化过程可离线进行。对于室外照明条件，可收集对应于日间的各个时间的灰色物件的一系列图片。所述图片可包括在日间的不同时间期间在直接阳光下、在多云照明期间、在室外阴影中等情况下俘获的图像。可记录在这些各种照明条件下的灰色物件的R/G和B/G比率。对于室内照明条件，可使用暖荧光、冷荧光、白炽光等，或某一其它施照体来俘获灰色物件的图像。可将所述照明条件中的每一者用作参考点。记录用于室内照明条件的R/G和B/G比率。

在另一配置中，参考施照体可包括A(白炽、钨等)施照体、F(荧光)施照体，以及称作D30、D50和D70的多个日光施照体。可通过施照体颜色来定义参考坐标的(R/G，B/G)坐标，所述施照体颜色是通过集成传感器模块的光谱响应与施照体的功率分布而计算。

在确定R/G和B/G比率的标度之后，可在栅格坐标上定位所述参考点。可确定所述标度，以使得可使用栅格距离来恰当地区别不同参考点。自动白平衡模块120可使用与用以特征化灰色区域的坐标栅格相同的坐标栅格来产生施照体统计。

设备100可经配置以确定从所接收的每一栅格点到所述参考点中的每一者的距离。设备100可将所确定的距离与预定阈值进行比较。如果到任何参考点的最短距离超过预定阈值，那么可将所述点视为离群值且可排除所述点。

可处理所述数据点，以便移除离群值且可将到所述参考点中的每一者的距离求和。设备100可确定到参考点的最小距离，以及对应于所述参考点的照明条件。

如本文中所论述，一实施例可在自动白平衡模块120处接收图像数据104。可使用在图3中用图形说明的过滤过程来自动地产生自动白平衡数据。举例来说，自动白平衡模块120可通过统计地分析给定场景中的红色、绿色和蓝色像素的内容或偏差而产生自动白平衡数据。自动白平衡数据可包括与图像数据104相关联的亮度样本和对应于已知色温的所绘制的接近参考点。此图展示于图4中且可用以比较室内和室外样本以检测背光条件。

图4特别说明展示参考点D75、D65、D50、CW、水平、A、TL84的分布的图400。图400还包括较小的样本点402，所述较小的样本点402对应于绘制于红/绿(R/G)和蓝/绿(B/G)空间上的所收集的图像数据样本。参考点D75、D65、D50、CW、水平、A、TL84可对应于经预先校准的灰色点。

尽管实施例可包括其它参考点，但图4中所表示的示范性照明条件(和相关联的色温)可大体上对应于以下各项：阴暗色空间(D75)、多云色空间(D65)、直接阳光色空间(D50)、冷白色色空间(CW)、典型办公室照明色空间(TL-84)、白炽色空间(A)，和水平色空间(水平)。

在图4的实例中，由自动白平衡模块120从图像数据104收集的样本点402经绘制为接近于TL84和CW。TL 84和CW参考点大体上对应于室内色温。设备100因此可依据所述接近性确定所述样本为室内样本。

图5展示接近D75和D65的所绘制的阴暗样本502，其中自动白平衡模块120将阳光充足样本504绘制为接近D50。此分布可暗示室外背光条件。在高色温区中的样本具有高照度样本(例如，很可能为天空和云)与低照度样本(例如，很可能为阴影)两者的情况下，可检测到背光。另外，对于待检测的背光条件，高色温区中的低照度样本的数目可超过某一阈值。

图6的实例展示包括室外样本602与室内样本604两者的图600。室外样本接近D50，而室内样本604接近CW和TL84。此情形可指示混合的室内/室外背光条件。在室外样本602包括显著高于室内样本604的照度值的情况下，可检测到背光条件。关于是否检测到背光条件的另一确定因素可包括室内样本604的数目是否超过某一阈值。

图7展示自动地检测背光条件的方法700，方法700如可由图1的设备100来执行。在一特定实施例中，在702处，可接收图像数据104。举例来说，直方图模块122可接收来自所俘获的图像的图像数据104。

在704处，可评估直方图。举例来说，可通过直方图模块122来评估与图像数据104相关联的直方图数据。在706处，在所述评估未指示背光条件的情况下，在710处，设备100可确定不存在背光条件。

在于706处确定可能的背光条件的情况下，在710处，可评估自动白平衡统计。自动白平衡模块120可收集统计且从图像数据产生像素样本，所述像素样本可与所存储的参考值进行比较。所述比较可由背光检测模块118来控制且可确定像素样本是否包括室内或室外色温。

在一特定实施例中，在高色温区(例如，高于约5500开尔文)中的至少一些室外样本包括高亮度样本与低亮度样本两者，且高色温区中的低亮度样本的数目超过包括所存储值的第四阈值的情况下，可检测到背光条件。在另一特定实施例中，在图像的至少一些室外样本具有实质上高于图像的至少一些室内样本的亮度值，且室内低亮度样本的数目超过包括所存储值的第五阈值的情况下，可检测到背光条件。如果在712处未指示背光条件，那么在708处，可检测到缺乏背光条件。当分别在760或712处的第一测试和第二测试中的一者失败时，所述方法可能不应用背光补偿。

可在714处起始过程，以响应于712处的背光条件的指示而确定图像数据104中的面部的存在。在于714处检测到面部的情况下，可在框716处起始面部优先背光补偿过程(例如，面部优先背光补偿过程136)。在一特定实施例中，在室外区域内识别面部。可将面部区域的要素与第三阈值进行比较以评估亮度。示范性第三阈值可包括所存储的面部照度参考值。在于框714处未检测到面部的情况下，可在718处起始例行背光补偿过程(例如，例行背光补偿过程134)。

图7包括用于自动地检测和校正背光条件的可由图1的设备100执行的方法700。参看图7所描述的实施例可自动地检测和补偿背光条件以增加图像质量，同时向用户提供增加的便利。

图8展示方法800，方法800包括：在802处，在自动白平衡模块处接收图像数据104且产生自动白平衡数据。在802处，所述方法可包括基于所述自动白平衡数据而检测背光条件。图像数据104可对应于由图像俘获装置110俘获的图像。

在804处，所述方法可将图像的第一部分识别为室内区域且将图像的第二部分识别为室外区域。在806处，所述方法通过将室内区域的要素与第一阈值进行比较且将室外区域的要素与第二阈值进行比较而评估亮度条件。在808处，可响应于所评估的亮度条件而确定背光条件。在一个实施例中，所述方法可部分地由背光检测模块118来控制。背光检测模块118可接收自动白平衡数据。

在一特定实施例中，在810处，所述方法识别图像的室内区域内的面部区域。评估亮度条件可进一步包括将面部区域的要素与第三阈值进行比较。所述方法还可识别室外区域内的面部区域且将面部区域的要素与第三阈值进行比较。在812处，所述方法可基于背光条件而应用背光补偿。

图8包括用于自动地检测和校正背光条件的可由图1的设备100执行的方法。参看图8所描述的实施例可自动地检测和补偿背光条件以增加图像质量，同时向用户提供增加的便利。

图9展示用于识别所俘获的图像的第一和第二部分(例如，室内和室外部分)的方法900。在902处，所述方法的一实施例将图像划分成多个实质上相等的区域，其中所述区域中的每一者包含若干像素。在904处，可确定所述多个区域中的每一区域内的灰色像素的平均值。在906处，可将所述多个区域中的每一区域内的灰色像素的平均值与对应于色空间中的温度区的经预先校准的灰色点进行比较。

根据一特定实施例，在908处，当高色温区中的图像的至少一些室外样本包括高亮度样本与低亮度样本两者时，且在高温度区中的低亮度样本的数目超过第四阈值的情况下，检测到背光条件。在910处，当图像的至少一些室外样本具有实质上高于图像的至少一些室内样本的亮度值时，且在室内低亮度样本的数目超过第五阈值的情况下，所述方法检测到背光条件。

图9包括用于自动地检测背光条件的可由图1的室内/室外比较逻辑130执行的方法。参看图9所描述的实施例可基于亮度样本的所绘制的分布而自动地检测背光条件。所述方法可通过识别和评估室内和室外亮度样本而增加图像质量和用户便利。

图10展示用于确定图像的多个区域中的每一区域内的灰色像素的平均值的方法1000。在1002处，一特定实施例将图像数据104从RGB图像数据转换成YCbCr图像数据。在1004处，可将所述多个区域中的每一区域中的灰色像素求和，以提供每一特定区域中的灰色像素的数目。在1006处，所述方法可将YCbCr图像数据转换成RGB图像数据。在1008处，所述方法可提供每一特定区域中的灰色像素的照度(Y)值的总和、蓝色色度(Cb)值的总和，和红色色度(Cr)值的总和。在1010处，可将求和的Y值、求和的Cb值和求和的Cr值相加，以产生每一特定区域中的求和的YCbCr值。在1012处，所述方法可将每一特定区域中的求和的YCbCr值除以每一特定区域中的灰色像素的数目。在1014处，可输出所述多个区域中的每一区域内的灰色像素的平均值。

图10包括用于产生自动白平衡统计(例如，图像的区域内的灰色像素)的可由图1的自动白平衡模块120执行的方法，所述自动白平衡统计可用于识别室内和室外亮度样本。统计和识别可促进背光条件的自动检测和校正。图10中所描述的方法可提升增加的图像质量和用户便利。

参看图11，描绘一设备的一特定说明性实施例的框图且大体上将其指定为1100，所述设备经配置以使用自动白平衡数据自动地检测背光条件。设备1100包括图像传感器装置1122，图像传感器装置1122耦合到透镜1168且还耦合到便携式多媒体装置的应用处理器芯片组1170。图像传感器装置1122包括自动背光检测模块1164，自动背光检测模块1164使用自动白平衡数据来检测背光条件。

自动背光检测模块1164经耦合以(例如)经由模/数转换器1126从图像阵列1166接收图像数据，模/数转换器1126经耦合以接收图像阵列1166的输出且将图像数据提供到自动背光检测模块1164。

图像传感器装置1122还可包括处理器1110。在一特定实施例中，处理器1110经配置以使用自动白平衡数据实施背光检测。在另一实施例中，将自动背光检测模块1164实施为单独的图像处理电路。

处理器1110还可经配置以执行额外图像处理操作，例如由图1的模块120、122、124、132执行的操作中的一者或一者以上。处理器1110可将经处理的图像数据提供到应用处理器芯片组1170以用于进一步处理、发射、存储、显示或其任何组合。

图12为设备1200的特定实施例的框图，设备1200包括经配置以使用自动白平衡数据来检测背光的自动背光检测模块1264。设备1200可实施于便携式电子装置中且包括耦合到存储器1232的处理器1210(例如，数字信号处理器(DSP))。

相机接口控制器1270耦合到处理器1210且还耦合到相机1272(例如，视频相机)。相机控制器1270可对处理器1210作出响应，(例如)以用于自动聚焦和自动曝光控制。显示控制器1226耦合到处理器1210且耦合到显示装置1228。编码器/解码器(CODEC)1234也可耦合到处理器1210。扬声器1236和麦克风1238可耦合到CODEC 1234。无线接口1240可耦合到处理器1210且耦合到无线天线1242。

处理器1210还可适于产生经处理的图像数据1280。显示控制器1226经配置以接收经处理的图像数据1280且将经处理的图像数据1280提供到显示装置1228。另外，存储器1232可经配置以接收和存储经处理的图像数据1280，且无线接口1240可经配置以检索经处理的图像数据1280以用于经由天线1242发射。

在一特定实施例中，将自动背光检测模块1264实施为可在处理器1210处执行的计算机代码(例如，存储于计算机可读媒体处的计算机可执行指令)。举例来说，程序指令1282可包括用以自动地使图像数据1280白平衡以产生白平衡数据且基于所述白平衡数据而检测背光条件的代码。

在一特定实施例中，处理器1210、显示控制器1226、存储器1232、CODEC 1234、无线接口1240和相机控制器1270包括于系统级封装(system-in-package)或芯片上系统装置1222中。在一特定实施例中，输入装置1230和电源1244耦合到芯片上系统装置1222。此外，在一特定实施例中，如图12中所说明，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、视频相机1272和电源1244在芯片上系统装置1222的外部。然而，显示装置1228、输入装置1230、扬声器1236、麦克风1238、无线天线1242、相机1272和电源1244中的每一者可耦合到芯片上系统装置1222的组件(例如，接口或控制器)。

已描述了若干图像处理技术。所述技术可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述技术可针对包含程序代码的计算机可读媒体，所述程序代码当在装置中执行时致使所述装置执行本文中所描述的技术中的一者或一者以上。在所述状况下，计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器等。

可以计算机可读指令的形式将程序代码存储于存储器中。在所述状况下，例如DSP等处理器可执行存储于存储器中的指令，以便实行所述图像处理技术中的一者或一者以上。在一些状况下，可由调用各种硬件组件以加速图像处理的DSP来执行所述技术。在其它状况下，本文中所描述的单元可实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)，或某一其它硬件-软件组合。

技术人员将进一步了解，结合本文中所揭示的实施例描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，已大体在功能性方面描述了各种说明性组件、块、配置、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可对于每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为导致偏离本发明的范围。

结合本文中所揭示的实施例描述的方法或算法的步骤可直接以硬件、由处理器执行的软件模块或两者的组合来体现。软件模块可驻留于随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸盘、紧密盘只读存储器(CD-ROM)，或此项技术中已知的任何其它形式的存储媒体中。将示范性存储媒体耦合到处理器，以使得所述处理器可从所述存储媒体读取信息和将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留于计算装置或用户终端中。

提供对所揭示的实施例的先前描述以使得所属领域的技术人员能够制造或使用所揭示的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且本文中所定义的一般原理可适用于其它实施例而不偏离本发明的范围。因此，本发明并不希望限于本文中所展示的实施例，而是应被赋予与所附权利要求书定义的原理和新颖特征一致的可能的最广范围。

Claims (22)

1.一种方法，其包含：

在自动白平衡AWB模块处接收图像数据且产生自动白平衡数据；以及

基于所述自动白平衡数据而检测背光条件。

2.根据权利要求1所述的方法，其中所述图像数据对应于所俘获的图像，且其中所述自动白平衡数据由背光检测模块接收，其中所述背光检测模块：

将所述图像的第一部分识别为室内区域且将所述图像的第二部分识别为室外区域；

通过将所述室内区域的要素与第一阈值进行比较且将所述室外区域的要素与第二阈值进行比较而评估亮度条件；以及

响应于所述所评估的亮度条件而检测所述背光条件。

3.根据权利要求2所述的方法，其进一步包含识别所述室内区域内的面部区域，且其中评估所述亮度条件进一步包含将所述面部区域的要素与第三阈值进行比较。

4.根据权利要求2所述的方法，其进一步包含识别所述室外区域内的面部区域，且其中评估所述亮度条件进一步包含将所述面部区域的要素与第三阈值进行比较。

5.根据权利要求1所述的方法，其进一步包含基于所述背光条件而应用背光补偿。

6.根据权利要求2所述的方法，其中识别所述图像的所述第一部分和识别所述图像的所述第二部分包含：

将所述图像划分成多个实质上相等的区域，其中所述区域中的每一者包含若干像素；

确定所述多个区域中的每一区域内的灰色像素的平均值；以及

将所述多个区域中的每一区域内的灰色像素的所述平均值与对应于色空间中的温度区的经预先校准的灰色像素点进行比较。

7.根据权利要求6所述的方法，其中当高色温区中的所述图像的至少一些室外样本包括高亮度样本与低亮度样本两者且其中所述高色温区中的低亮度样本的数目超过第四阈值时，检测到所述背光条件。

8.根据权利要求6所述的方法，其中当所述图像的至少一些室外样本具有实质上高于所述图像的至少一些室内样本的亮度值且其中室内低亮度样本的数目超过第五阈值时，检测到所述背光条件。

9.根据权利要求6所述的方法，其中确定所述多个区域中的每一区域内的灰色像素的平均值包含：

将所述图像数据从红色、绿色和蓝色RGB图像数据转换成明度、色度YCbCr图像数据；

将所述多个区域中的每一区域中的灰色像素求和，以提供每一特定区域中的灰色像素的数目；

将所述YCbCr图像数据转换成RGB图像数据；

提供每一特定区域中的所述灰色像素的照度Y值的总和、蓝色色度Cb值的总和，和红色色度Cr值的总和；

将所述求和的Y值、所述求和的Cb值和所述求和的Cr值相加，以产生每一特定区域中的求和的YCbCr值；以及

将每一特定区域中的所述求和的YCbCr值除以每一特定区域中的灰色像素的所述数目。

10.一种设备，其包含：

自动白平衡AWB模块，其经配置以接收图像数据；以及

背光检测模块，其中所述背光检测模块经耦合以从所述AWB模块接收数据，且

包括用以基于来自所述AWB模块的所述数据的评估而检测背光条件的逻辑。

11.根据权利要求10所述的设备，其中所述背光检测模块经配置以：

将所述图像数据的第一部分识别为室内区域且将所述图像数据的第二部分识别为室外区域；

通过将所述室内区域的要素与第一阈值进行比较且将所述室外区域的要素与第二阈值进行比较而评估亮度条件；以及

响应于所述所评估的亮度条件而检测所述背光条件。

12.根据权利要求11所述的设备，其中所述背光检测模块包含：

AWB接口，其经配置以从所述AWB模块接收所述数据；

室内/室外比较逻辑，其耦合到所述AWB接口且经配置以识别所述室内区域且识别所述室外区域；以及

背光条件确定逻辑，其耦合到所述室内/室外比较逻辑且经配置以检测所述背光条件。

13.根据权利要求10所述的设备，其进一步包含耦合到所述背光检测模块的直方图模块，其中所述直方图模块经配置以对所述图像数据执行第一测试，其中当所述第一测试通过时，所述背光检测模块经配置以对来自所述AWB模块的所述数据执行第二测试，其中当所述第二测试通过时，应用背光补偿。

14.根据权利要求13所述的设备，其中当所述第一测试和所述第二测试中的一者失败时，不应用背光补偿。

15.根据权利要求14所述的设备，其进一步包含耦合到所述背光检测模块的面部检测模块，其中所述面部检测模块经配置以对所述图像数据执行第三测试，其中当检测到面部时，应用面部优先背光补偿。

16.根据权利要求13所述的设备，其中所述第一测试包含：

确定具有小于第一值的亮度值的像素的数目是否超过第一阈值；以及

确定具有大于第二值的亮度值的像素的数目是否超过第二阈值。

17.根据权利要求13所述的设备，其中所述设备包含无线装置、相机和摄录影机中的一者。

18.一种存储计算机可执行代码的计算机可读媒体，其包含：

可由计算机来执行以自动地使图像数据白平衡以产生白平衡数据的代码；以及

可由所述计算机来执行以基于所述白平衡数据而检测背光条件的代码。

19.根据权利要求18所述的计算机可读媒体，其中所述图像数据对应于所俘获的图像，所述计算机可读媒体进一步包含：

可由所述计算机来执行以将所述图像的第一部分识别为室内区域且将所述图像的第二部分识别为室外区域的代码；

可由所述计算机来执行以通过将所述室内区域的要素与第一阈值进行比较且将所述室外区域的要素与第二阈值进行比较而评估亮度条件的代码；以及

可由所述计算机来执行以响应于所述所评估的亮度条件而检测所述背光条件的代码。

20.根据权利要求18所述的计算机可读媒体，其进一步包含可由所述计算机来执行以基于所述背光条件而选择性地应用背光补偿的代码。

21.一种设备，其包含：

用于自动地使图像数据白平衡以产生白平衡数据的装置；以及

用于基于所述白平衡数据而检测背光条件的装置。

22.根据权利要求21所述的设备，其中所述用于检测背光条件的装置进一步包含用于将所述图像的第一部分识别为室内区域且将所述图像的第二部分识别为室外区域的装置。

Images