CN109495731B - 由图像信号处理器执行的用于自动白平衡方法 - Google Patents
由图像信号处理器执行的用于自动白平衡方法 Download PDFInfo
- Publication number
- CN109495731B CN109495731B CN201810947539.6A CN201810947539A CN109495731B CN 109495731 B CN109495731 B CN 109495731B CN 201810947539 A CN201810947539 A CN 201810947539A CN 109495731 B CN109495731 B CN 109495731B
- Authority
- CN
- China
- Prior art keywords
- partition
- value
- partition units
- partition unit
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种由图像信号处理器执行的自动白平衡方法。所述自动白平衡方法包括:接收图像数据以将所述图像数据划分成多个分区单元;计算所述图像数据中所包括的肤色的估测值;以及基于所述多个分区单元中的至少一些分区单元及所述估测值来选择用于检测所述图像数据的白色点的离群值。
Description
[相关申请的交叉参考]
本申请主张在2017年9月13日在韩国知识产权局提出申请的韩国专利申请第10-2017-0117228号的权利,所述韩国专利申请的主题并入本申请供参考。
技术领域
本发明概念涉及图像处理方法及装置。更具体来说,本发明概念涉及用于对图像数据执行自动白平衡的图像处理方法及装置。
背景技术
自动白平衡(auto white balance,AWB)是一种图像处理功能,可用于控制图像的成像及/或再现(例如,显示或印刷),以使得图像的“白色”(或更亮或更明亮的)部分或对象可适当地可视化为白色,而不论图像分级、颜色、及/或图像照明(例如,日光、荧光灯或白炽灯等)如何变化。有效的自动白平衡常常是对其中所再现的白色部分或对象原本展现出差的或不期望的着色(例如,白色部分着色成淡蓝色或淡红色)的成像及/或图像再现进行修正所需要的。
这种需要源自于以下辨认现象:尽管人眼能够在视觉上适应分级、颜色、及/或照明的变化,然而电子成像设备(例如,照相机)不具备在视觉上适应的天赋能力来修正或补偿变化的图像条件。自动白平衡是对由不期望的色移(color shift)(其中颜色在照相机中会因发光体(illuminant)而发生改变)表征的各种现象进行修正或补偿所通常使用的技术。
发明内容
本发明概念提供一种用于自动白平衡的图像处理方法及装置。
根据本发明概念的一方面,提供一种由图像信号处理器执行的自动白平衡方法,所述自动白平衡方法包括:将图像数据划分成多个分区单元;计算所述图像数据的肤色估测值;以及基于所述多个分区单元中的至少一者及所述肤色估测值来选择用于检测所述图像数据的白色点的离群值。
根据本发明概念的一方面,提供一种自动白平衡方法,所述自动白平衡方法包括:将包括面部图像的图像数据划分成多个分区单元;基于所述面部图像中所包括的所选择的分区单元来计算肤色估测值;以及基于所选择的所述分区单元中的至少一者及所述估测值来选择用于对所述图像数据执行自动白平衡的灰色候选集群。
根据本发明概念的一方面,提供一种由图像信号处理器执行的自动白平衡方法,所述自动白平衡方法包括:将包括面部图像的所述图像数据划分成多个分区单元;从所述多个分区单元中选择与所述面部图像的至少一部分相关联的分区单元;基于所选择的所述分区单元中的至少一者来计算肤色估测值;从所选择的所述分区单元中进一步选择在与所述图像数据相关联的颜色空间中界定的第一灰色候选集群中所包括的那些所选择的分区单元;以及基于在所述第一灰色候选集群中所包括的进一步选择的所述分区单元以及所述肤色估测值来选择用于对所述图像数据执行所述自动白平衡的第二灰色候选集群。
根据本发明概念的一方面,提供一种由图像信号处理器执行的自动白平衡方法,所述自动白平衡方法包括:将包括面部图像的图像数据划分成多个分区单元;从所述图像数据检测与所述面部图像相关联的面部区;从所述多个分区单元中选择与所述面部图像相关联的分区单元,以界定一组所选择的分区单元;进一步界定所述一组所选择的分区单元,以界定一组进一步选择的分区单元;以及从所述进一步选择的分区单元计算所述图像数据的肤色估测值。
附图说明
结合附图阅读以下详细说明,将更清楚地理解本发明概念的实施例,在附图中:
图1是根据示例性实施例的图像处理装置的方块图。
图2是示出根据示例性实施例的自动白平衡方法的流程图。
图3是用于阐述图1及图2所示分区单元的实例的方块图。
图4是示出根据示例性实施例的图2所示操作S20的实例的流程图。
图5A及图5B是用于阐述根据示例性实施例的选择在面部区中所包括的一些分区单元的操作的图式。
图6A及图6B是用于阐述根据示例性实施例的选择在面部区中所包括的一些分区单元的操作的图式。
图7A及图7B是用于阐述根据示例性实施例的基于亮度选择在面部区中所包括的一些分区单元的操作的图式。
图8A至图8C是用于阐述根据示例性实施例的图4所示操作S130的实例的图式。
图9是示出根据示例性实施例的图2所示操作S30的实例的流程图。
图10是示出根据示例性实施例的在颜色空间中界定的第一灰色候选集群的曲线图。
图11是用于阐述根据示例性实施例的选择第二灰色候选集群的操作的图式。
图12是用于阐述根据另一个示例性实施例的选择第二灰色候选集群的操作的图式。
图13是用于阐述根据另一个示例性实施例的选择第二灰色候选集群的操作的图式。
图14是用于阐述根据示例性实施例选择的第二灰色候选集群的图式。
图15是示出其中根据示例性实施例选择的第二灰色候选集群中所包括的分区单元被显示在实际图像上的实例的图式。
图16是示出根据示例性实施例的图像信号处理器的操作的流程图。
图17是用于阐述基于根据示例性实施例所加上的权重值进行的操作的流程图。
图18是示出配备有根据示例性实施例的图像信号处理器的移动装置的实例的图式。
[符号的说明]
1:图像处理装置/图像信号处理器
10:图像传感器
20:图像信号处理器
22:自动白平衡模块
24:面部检测器
80、81、82、83:伪代码
86、87、88、89:条件语句
2000:移动装置
2100:嵌入式天线/天线
2200:显示屏幕
2300:照相机
2400:操作面板
2500:麦克风
2600:槽位
2700:存储媒体
2800:扬声器
CurPatch.B:蓝色分量
CurPatch.R:红色分量
d:距离
D1:第一箭头
D2:第二箭头
D_AWB:经过自动白平衡处理的图像数据
D_IMG:图像数据
D_FC:第一次选择的分区单元
F:面部区
F':面部区/面部图像
FC:分区单元/所选择的分区单元/第一次选择的分区单元/进一步选择的分区单元/第二次选择的分区单元
FC':所选择的分区单元
FdAvg:估测值
G_1:第一灰色候选集群
G_2:第二灰色候选集群
G_Mean:全局平均值
IMG:图像
OT、OT'、OT”:离群值
L2:第二直线
L3:第三直线
L4:第四直线
L5:第五直线
Normalized B:归一化蓝色分量
Normalized R:归一化红色分量
Normalized R(B):归一化红(蓝)空间
P:颜色分量
PC:补片/灰色候选分区单元/分区单元
PC_G:灰色候选分区单元
PX:像素
S10、S100、S110、S121、S121'、S122、S122'、S123'、S124、S125、S132、S134、S136、S200、S210、S220、S300、S311、S312、S313、S314、S315:操作
S20:操作/步骤
S30、S120、S130、S310:操作/方法步骤
TP:调谐参数
具体实施方式
在下文中,将参照附图阐述示例性实施例。
图(FIG.)1是根据示例性实施例的图像处理装置1的总体方块图。图像处理装置1可对应于包含图像信号处理器的各种系统,例如便携式摄录相机、智能电话等。
参照图1,图像处理装置1包括图像传感器10及图像信号处理器20。图像传感器10可用于使用(例如)镜头、聚焦电路、滤色器(filter)等(图中未示出)来接收(或拍摄、或感测)图像IMG。通过对图像IMG进行感测,图像传感器10可输出对应的图像数据D_IMG。图像数据D_IMG可包括通常将RGB法或YUV法与图像处理进行关联的各种颜色数据,例如颜色及/或对比度信息。
图像传感器10可包括例如电荷耦合装置(charge-coupled device,CCD)及/或互补金属氧化物半导体(complementary metal-oxide semiconductor,COMS)图像传感器(COMS image sensor,CIS)。举例来说,如果图像传感器10包括互补金属氧化物半导体图像传感器,则图像传感器10可包括像素阵列,且像素阵列中包括的多个像素可分别包括照片感测元件(photo sensing element),其中每一个照片感测元件响应于(例如)所捕获的电磁能量(例如,光学光(optical light))的强度来产生电信号。
图像信号处理器20可用于从图像传感器10接收图像数据D_IMG,执行图像数据D_IMG的RGB内插以产生颜色分量数据RGB数据(例如,红色(R)、绿色(G)、及/或蓝色(B)分量数据)。另外,图像信号处理器20可响应于RGB数据及/或图像数据D_IMG来执行YUV转换以产生YUV数据(例如,亮度(Y)信号及/或色度(U、V)信号)。图像信号处理器20也可执行例如轮廓增强(contour emphasis)等各种数字信号处理来提高图像品质。图像信号处理器20也可用于将图像数据D_IMG选择性地划分成多个分区单元且之后对所述多个分区单元中的一者或多者执行各种数字信号处理。
在示例性实施例中,所述多个分区单元中的每一者可为单个像素或包括多个像素的补片(patch)。通过由图像信号处理器20执行的数字图像处理而获得的各种类型、格式及用途的数据可存储在一个或多个存储器(图中未示出,但例如为同步动态随机存取存储器(synchronous dynamic random access memory,SDRAM)等)中。
除了上述之外,图像信号处理器20可用于对图像数据D_IMG执行所谓的自动白平衡功能(以下称为“自动白平衡(AWB)”)。自动白平衡是经常与图像数据D_IMG的数字图像处理相关联的功能。在自动白平衡期间,识别图像数据D_IMG中的白色点且与结合白色点来对图像数据D_IMG作出色感调整(color sense adjustment)。举例来说,可响应于结合白色点确定的色度分量(chrominance component)(R或B)的增益来调整图像数据D_IMG。在自动白平衡之后,图像信号处理器20可输出经过自动白平衡处理的图像数据D_AWB。
在图1所示出的实例中,假设自动白平衡是由图像信号处理器20的自动白平衡模块22执行。在此上下文中,自动白平衡模块22以各种方式配置在硬件(例如,通过逻辑综合)及/或软件(例如,作为由图像信号处理器20执行的固件)中。
对上述实例进行展开说明,图像信号处理器20可用于从图像数据D_IMG检测白色点。在某些实施例中,所检测到的白色点可为与由(例如)照明源(illumination source)(或发光体)引起的最强(或最大)颜色变化或信号强度相关联的数据。就此来说,图像信号处理器20可用于确定所检测到的白色点在给定的RGB比率处的色温。随后,通过根据所确定的色温对图像数据D_IMG的R分量及B分量的增益进行调整,可对图像的色感进行适当地偏移。这样一来,举例来说,可针对图像数据D_IMG执行颜色修正或颜色平衡调整。
此处,举例来说,当发光体使图像数据D_IMG的色温发生改变时,可作出调整,由此使所检测到的白色点在视觉上再现成保持白色外观而非着色成红色或蓝色。也就是说,可利用通过增大R的增益且减小B的增益进行的调整来减小白色点的不期望的蓝色外观,或者可利用通过增大B的增益及减小R的增益进行的调整来减小白色点的不期望的红色外观。
图1所示图像信号处理器20也可用于选择与和正在执行的自动白平衡相关联的各种准则对应的白色点。然而,当图像信号处理器20从包括与图像的肤色区域对应的图像数据的图像数据D_IMG选择出(或检测到)白色点时,可能难以执行传统的自动白平衡。也就是说,当获得与从图像数据D_IMG的肤色区检测到的白色点相关联的估测值时,例如随后执行的传统的自动白平衡的执行结果可能无法令人接受。相比之下,可使用示例性实施例来结合包括肤色图像数据(例如,面部)的图像数据D_IMG来更准确地执行自动白平衡。因此,图像信号处理器20可用于使用例如所拍摄的图像的面部部分计算与肤色相关图像数据相关联的估侧值(以下称为“肤色估测值”),且之后至少部分地基于肤色估测值来选择白色点的离群值。使用这种方式,图1所示图像信号处理器20可更准确地选择白色点来作为结合图像数据D_IMG执行的自动白平衡的数据预测。
图2是对根据示例性实施例的自动白平衡方法进行大体汇总的流程图。
图2所示自动白平衡方法可由图1所示图像信号处理器20执行。
参照图2,图像信号处理器20可接收图像数据D_IMG且可将图像数据D_IMG划分成多个分区单元(S10)。所述多个分区单元中的每一者可为例如像素或包括多个像素的补片。作为另外一种选择,每一个分区单元可为包括多个补片的区块。每一个分区单元可包括多个顶点。
在将图像数据D_IMG分区成所述多个分区单元之后,可使用图像信号处理器20来计算与所接收的图像数据D_IMG中所包括的肤色相关联的肤色估测值(S20)。在其中面部图像包括在图像数据D_IMG中的某些示例性实施例中,图像信号处理器20可基于与面部图像相关联的图像数据来计算肤色估测值。
举例来说,图像信号处理器20可从包括所识别的面部图像的至少一部分的所述多个分区单元中选择一个或多个分区单元(此后,称为“所选择的分区单元”),且之后基于(例如)所选择的分区单元中的每一者的一个或多个所选择的颜色分量来计算肤色估测值。在示例性实施例中,肤色估测值可作为从所选择的分区单元的颜色分量中导出的平均值来计算得到。
在计算出肤色估测值之后,可使用图像信号处理器20来基于图像数据D_IMG中所包括的所述多个分区单元中的至少一者及肤色估测值来选择用于检测图像数据D_IMG的白色点的离群值(S30)。在示例性实施例中,离群值可与原本从白色点检测过程去除的一个或多个分区单元相关联。也就是说,图像信号处理器20可使用无法用于计算肤色估测值的一个或多个分区单元(以下,称为“未被选择的分区单元”)来确定离群值。
举例来说,白色点可结合图像数据中所包括的所述多个分区单元中的包括在灰色候选集群中的未被选择的分区单元的颜色分量的平均值来确定。在示例性实施例中,图像信号处理器20可从图像数据D_IMG中所包括的所述多个分区单元中识别在颜色空间中界定的第一灰色候选集群中所包括的某些未被选择的分区单元,且之后可基于肤色估测值从第一灰色候选集群中确定(第一)离群值。图像信号处理器20还可识别由处于第一灰色候选集群之外的未被选择的分区单元形成的第二灰色候选集群并基于第二灰色候选集群中所包括的未被选择的分区单元确定另一个(第二)白色点。
图3是进一步示出一种在前面结合图1及图2阐述的示例性实施例的上下文中对所述多个分区单元进行界定的方式的概念图。
参照图3,图像IMG可被划分成多个补片PC,其中每一个补片PC包括多个像素PX。图像IMG包含与用于在显示装置上显示图像达一段持续时间(例如,一屏、或一帧)的各种颜色值及/或亮度值相关联的信息(或者可结合所述信息来进行界定)。也就是说,图像IMG中所包括的像素PX中的每一者可产生由指示一个或多个颜色分量及/或亮度分量的数据来量化的一个或多个电信号。举例来说,产生与所拍摄的图像IMG对应的图像数据的像素PX可由一个或多个传统上所知的视频标准(例如RGB或YUV等)来表征且根据所述一个或多个传统上所知的视频标准来运行。
在示例性实施例中,图像信号处理器20可根据补片单位或像素单位执行自动白平衡。举例来说,如果自动白平衡是以补片单位执行,则图像信号处理器20可基于与一个或多个所选择的补片相关联的颜色信息来计算肤色估测值,从未被选择的补片确定一个或多个白色点,并基于白色点及肤色估测值来确定一个或多个离群值。在下文中,为说明方便起见,假设自动白平衡是根据补片单位执行来对实例进行阐述。
图4是在一个实例中汇总根据示例性实施例的图2所示计算肤色估测值的步骤(S20)的流程图。结合图4阐述的方法可例如由图1所示图像信号处理器20执行。
参照图1及图4,图像信号处理器20可接收包括与所拍摄的图像中所含有的面部图像的至少一部分相关联的数据的图像数据D_IMG。(S100)。
之后,可使用图像信号处理器20来从图像数据D_IMG中检测与面部图像相关联的面部区(S110)。举例来说,对面部图像及对应的面部区的检测可使用图1所示包括在图像信号处理器20中的面部检测器24执行。面部检测器24可对图像数据D_IMG执行面部检测以检测面部的具有与预先存储的模型图案(例如,面部的轮廓、颜色等)相近的特征的至少一部分。另外,面部检测器24可产生用于识别所检测到的面部区的座标信息,其中所产生的座标信息可用于执行自动白平衡。此处,面部检测器24可实施在硬件(例如,作为逻辑综合)中及/或实施在软件(例如,由处理器执行的固件)中。
为对面部区进行检测,面部检测器24可使用基于特征的面部检测方法来检测面部的一个或多个相对不变的特征(例如,眼睛、鼻子、及嘴巴、肌理、肤色等)。之后,面部检测器24可计算与面部相关联的特征点座标。作为另外一种选择,面部检测器24可使用基于面部模板的检测方法来检测面部区,或者可使用支持向量机(support vector machine,SVM)方法来检测面部区,支持向量机方法使用多个样本图像对面部及除了面部之外的部位进行学习,且接着,从输入图像数据D_IMG检测面部区。
然而,执行面部检测及对应的点座标产生,图像信号处理器20之后可从面部区中所包括的多个分区单元中选择一个或多个分区单元(S120)。可将这些面部区关联分区单元称为“所选择的分区单元”或“第一次选择的分区单元”以将这些面部区关联分区单元与“未被选择的分区单元”区别开。因此,在示例性实施例中,图像信号处理器20可将所述多个分区单元中的一些或所有的构成顶点均包括在面部区中的那些分区单元定义为所选择的分区单元。
此外,图像信号处理器20可将所述多个分区单元中亮度值小于或等于阈值亮度值的那些分区单元作为未被选择的分区单元来去除。在示例性实施例中,阈值亮度值可为由样本图像数据的统计分析导出的值。
在已对所选择的分区单元进行识别之后,图像信号处理器20可基于与所选择的分区单元相关联的颜色分量计算肤色估测值(S130)。在示例性实施例中,图像信号处理器20可计算与所选择的分区单元相关联的颜色分量的全局平均值并将全局平均值与所选择的分区单元中的每一者的颜色分量进行比较。这样一来,图像信号处理器20可将颜色分量相对于全局平均值的差值大于参考偏差的某些所选择的分区单元去除。因此,可仅使用颜色分量处于规定范围内的所选择的分区单元来计算肤色估测值,以使得所得肤色估测值可作为被适当指定的所选择的分区单元的颜色分量的最终平均值来计算得到。
图5A是进一步阐述根据示例性实施例的将某些分区单元选择为与被检测的面部区相关联的所选择的分区单元的流程图,且图5B是进一步阐述根据示例性实施例的将某些分区单元选择为与被检测的面部区相关联的所选择的分区单元的概念图。此处,图5A还示出图4所示方法步骤S120的一个实例。图5B示出在可使用图4及图5A所示方法选择的分区单元(补片)中划分的示例性图像。
参照图1、图5A、及图5B,可使用图像信号处理器20来提取与面部区F中所包括的所述多个分区单元中的每一者相关联的顶点信息(S121)。面部区F可为由图像信号处理器20基于面部图像检测到的区。举例来说,面部区F可由图像信号处理器20中所包括的面部检测器24检测到且可包括多个分区单元。也就是说,面部区F可包括用于形成图像IMG的所述多个分区单元中的至少一个顶点包括在(或归属于)被检测的面部图像中的多个分区单元。
一旦已提取出与归属于面部区的所选择的分区单元相关联的顶点信息,图像信号处理器20便可从归属于面部区F的所述多个所选择的分区单元中进一步选择所有的顶点均包括在面部图像中的某些分区单元FC(S122)。换句话说,进一步选择的(或“第二次选择的”)分区单元FC的所有顶点均可包括在面部图像中。作为另一个实例,图像信号处理器20可从所述多个所选择的分区单元中进一步选择(例如)三个或更多个顶点归属于面部图像的分区单元。
在示例性实施例中,图像信号处理器20可基于第二次选择的分区单元FC中的至少一者的颜色分量来计算肤色估测值。在示例性实施例中,肤色估测值可作为第二次选择的分区单元FC中的至少一者的颜色分量的平均值来计算得到。
可从对肤色估测值的计算中去除与面部区F相关联的除了第二次选择的分区单元FC之外的第一次选择的分区单元。因此,也可从对肤色估测值的计算中去除图像IMG中的不与面部图像相关联的所有未被选择的分区单元(例如,非面部头部区、背景区等),从而提高估测值的准确度。
图6A是进一步阐述根据示例性实施例的选择在面部区中所包括的某些分区单元的另一种方式的另一个流程图,且图6B是进一步阐述根据示例性实施例的选择在面部区中所包括的某些分区单元的另一种方式的另一个概念图。更具体来说,图6A是示出可用于选择分区单元(图4所示S120)的另一个实施例的流程图。图6B示出结合所选择的分区单元的另一个示例性图像。
在前面结合图5A及图5B阐述的实例的上下文中,参照图1、图6A、及图6B,可使用图像信号处理器20来提取与包括在(归属于)面部区F'中的分区单元相关联的顶点信息(S121')。此处,所选择的分区单元FC'是所有的顶点均包括在面部图像F'中的那些分区单元(S122')。然而,从所选择的分区单元FC'中去除那些原本(或可能)被选择的分区单元中的某些分区单元,即包括眼睛或眉毛图像的那些分区单元(S123')。因此,所有构成顶点均包括在面部图像中的所有分区单元均被选择或指定为所选择的分区单元FC',包括眼睛图像或眉毛图像的那些分区单元除外。在此上下文中,关于眼睛特征及眉毛特征的信息以及对应的图像座标信息可由图像信号处理器20中所包括的面部检测器24产生。
图7A及图7B是阐述其中基于亮度选择面部区中所包括的某些分区单元的示例性实施例的图式。也就是说,图7A是汇总图4所示方法步骤S120的另一种方式的流程图,且图7B是示出多个分区单元的对应亮度值阵列的概念图。
参照图1、图7A、及图7B,可使用图像信号处理器20来提取面部区中所包括的分区单元各自的亮度值。也就是说,举例来说,图像信号处理器20可根据以上参照图5所阐述的选择操作来提取第一次选择的分区单元FC的亮度值。
第一次选择的分区单元FC中的每一者具有相应的亮度值,所述亮度值可(例如)通过对与所拍摄的图像相关联的亮度信息进行数字化来获得(S124)。也就是说,图像将通常包括由与图像的较暗部分相关联的相对低的亮度值表征的分区单元以及由与图像的较亮部分相关联的相对高的亮度值表征的其他分区单元。
一旦已提取出各自的亮度值,图像信号处理器20便可从对肤色估测值的计算中去除对应的亮度值小于或等于阈值亮度值的某些分区单元(S125)。
举例来说,假设阈值亮度值为500,则图像信号处理器20可基于第一次选择的分区单元FC来计算肤色估测值,从而去除对应的亮度值等于或小于500的那些第一次选择的分区单元D_FC。这是从初始的一组第一次选择的分区单元中对分区单元进行第二次选择以提供更准确的肤色估测值的另一种类型。也就是说,包括较暗的图像部分的分区单元可被从对肤色估测值的计算中去除,从而提高估测值的准确度。
图8A、图8B及图8C是笼统地阐述用于实现根据示例性实施例的图4所示方法步骤S130的不同方式的图式。图8A是汇总根据示例性实施例的对肤色估测值进行的计算的流程图,图8B是示出所选择的分区单元的颜色分量的分布的曲线图,且图8C是可用于计算肤色估测值的伪代码(pseudo code)实例。
参照图1及图8A,可使用图像信号处理器20来计算所选择的分区单元的颜色分量的全局平均值(S132)。所选择的分区单元可为例如已被执行以上参照图5A至图7B阐述的操作的分区单元。所选择的分区单元的颜色分量可分别包括例如红色分量及蓝色分量。可使用图像信号处理器20来计算所选择的分区单元的红色分量的平均值作为红色分量的全局平均值且可计算所选择的分区单元的蓝色分量的平均值作为蓝色分量的全局平均值。
随后,可使用图像信号处理器20来对所选择的分区单元中颜色分量相对于全局平均值的差值大于参考偏差的某些所选择的分区单元进行颜色检测(对分区单元进行进一步选择的另一种形式)(S134)。在示例性实施例中,图像信号处理器20可将红色分量的全局平均值与所选择的分区单元中的每一者的红色分量进行比较,且可基于比较结果对红色分量相对于红色分量的全局平均值的差值大于参考偏差的分区单元进行检测。作为另外一种选择或另外地,图像信号处理器20可将蓝色分量的全局平均值与所选择的分区单元中的每一者的蓝色分量进行比较,且可基于比较结果对蓝色分量相对于蓝色分量的全局平均值的差值大于参考偏差的分区单元进行检测。
在示例性实施例中,参考偏差可为调谐参数与颜色空间中的所选择的分区单元的颜色分量中的每一者的方差的乘积。举例来说,可使用图像信号处理器20来计算所选择的分区单元中的每一者的红色分量的方差及蓝色分量的方差。举例来说,调谐参数可基于对样本图像数据的统计处理来计算得到。
参考偏差可作为调谐参数与红色分量的方差的乘积及调谐参数与蓝色分量的方差的乘积中的至少一者计算得到。举例来说,在对红色分量相对于红色分量的全局平均值的差值大于参考偏差的分区单元进行检测的情形中,图像信号处理器20可通过调谐参数与红色分量的方差的乘积来计算参考偏差。另外,在对蓝色分量相对于蓝色分量的全局平均值的差值大于参考偏差的分区单元进行检测的情形中,图像信号处理器20可通过调谐参数与蓝色分量的方差的乘积来计算参考偏差。
相对于结合图8A、图8B、及图8C阐述的实施例来说,方差可基于对参考偏差的计算,但并非仅限于此。举例来说,参考偏差可基于所选择的分区单元的颜色分量的系数或标准偏差的变化计算得到。
接着,可使用图像信号处理器20来计算被进行颜色检测的所选择的分区单元的颜色分量的最终平均值作为肤色估测值(S136);也就是说,去除未能通过颜色检测的那些分区单元。最终平均值可基于被进行颜色检测的所选择的分区单元的颜色分量计算得到,从而提供更准确的肤色估测值。
参照图8B,在分布图表中示出任意分区单元的全局平均值G_Mean与颜色分量P之间的距离‘d’。分布图表可为例如归一化红(蓝)空间Normalized R(B)中的所选择的分区单元的颜色分量的分布图表。
当全局平均值G_Mean与分区单元的颜色分量P之间的距离‘d’相对短时,此分区单元可被确定成具有相对占主导的肤色特征的分区单元。相比之下,当全局平均值G_Mean与分区单元的颜色分量P之间的距离‘d’相对长时,此分区单元可被确定为相对偏离肤色特征。
因此,为计算准确的肤色估测值,可去除与全局平均值G_Mean的距离‘d’大于参考偏差的分区单元。因此,可计算所选择的分区单元中具有相对占主导的肤色特征的分区单元的颜色分量的最终平均值作为准确度得到提高的肤色估测值。
参照图8C,可在伪代码(80到83)中声明所选择的分区单元的红色分量的全局平均值MeanOfRn及蓝色分量的全局平均值MeanOfBn、任意分区单元的红色分量的方差VarRn及蓝色分量的方差VarBn、调谐参数α、以及任意分区单元的红色分量CurPatch.R及蓝色分量CurPatch.B中的每一者的方差。另外,任意分区单元的红色分量CurPatch.R与红色分量的全局平均值MeanOfRn之间的差值可被定义为临时变量TempDiffRn,且任意分区单元的蓝色分量CurPatch.B与蓝色分量的全局平均值MeanOfBn之间的差值可为被定义为临时变量TempDiffBn。
随后,在任意分区单元的颜色分量中,可基于条件语句(86到89)来确定相对于全局平均值MeanOfRn的差值是否大于参考偏差VarRn*α且相对于全局平均值MeanOfBn的差值是否大于参考偏差VarBn*α。举例来说,用于对红色分量进行比较的参考偏差可为调谐参数α与红色分量的方差VarRn的乘积,且用于对蓝色分量进行比较的参考偏差可为调谐参数α与蓝色分量的方差VarBn的乘积。
在示例性实施例中,当任意分区单元的红色分量CurPatch.R与全局平均值MeanOfRn之间的差值等于或小于参考偏差VarRn*α且所述任意分区单元的蓝色分量CurPatch.B与蓝色分量的全局平均值MeanOfBn之间的差值等于或小于参考偏差VarBn*α时,所述任意分区单元可基于对肤色估测值的计算(FdAvg(CurPatch))。作为另外一种选择,在任意分区单元的颜色分量中,当相对于全局平均值MeanOfRn的差值大于参考偏差VarRn*α且相对于全局平均值MeanOfBn的差值大于差值偏差VarBn*α时,可从对肤色估测值的计算中去除所述任意分区单元(EXC(CurPatch))。
图9是在一个实例中汇总根据示例性实施例的图2所示方法步骤S30的流程图。图9所阐述的方法步骤及下层操作(underlying operation)可例如由图1所示图像信号处理器20执行。
参照图9,图像信号处理器20可选择在颜色空间中界定的第一灰色候选集群中所包括的灰色候选分区单元(S200)。在示例性实施例中,其中界定有第一灰色候选集群的颜色空间可使用红色(R)分量及蓝色(B)分量中的每一者相对于红色(R)分量、绿色(G)分量及蓝色(B)分量之和的归一化值来配置。作为另外一种选择,颜色空间可使用红色(R)分量及蓝色(B)分量中的每一者相对于绿色(G)分量的归一化值来配置。
随后,图像信号处理器20可基于第一灰色候选集群及肤色估测值选择第二灰色候选集群(S210)。在示例性实施例中,如果图像数据D_IMG包括面部图像,则肤色估测值可为面部图像中所包括的多个分区单元中的至少一者的颜色分量的平均值。肤色估测值可包括与肤色相关联的红色分量估测值及蓝色分量估测值。
在此上下文中,用于检测白色点的离群值可在第一灰色候选集群中进行选择,且第二灰色候选集群可为第一灰色候选集群的除了所选择的离群值之外的其他区。换句话说,对第二灰色候选集群的选择可为在颜色空间中缩小(或进一步选择)第一灰色候选集群区的过程。
在示例性实施例中,图像信号处理器20可基于第一灰色候选集群中所包括的灰色候选分区单元中的第一分区单元的红色分量估测值、蓝色分量估测值、及红色分量及蓝色分量中的每一者的值来判断是否选择第一分区单元作为第二灰色候选集群的分区单元。这种方式将在下文中更详细地进行阐述。
接着,可使用图像信号处理器20在第二灰色候选集群中选择白色点(S220)。白色点可为例如第二灰色候选集群中所包括的分区单元的颜色分量的平均值。
根据示例性实施例,用于检测白色点的离群值可基于肤色估测值进行选择且可被从对白色点的检测中去除,从而防止基于不准确的皮肤颜色执行自动白平衡。另外,可基于肤色来选择图像数据中相对接近灰色的分区单元,且因此执行准确度得到提高的自动白平衡。
图10是示出根据示例性实施例的在颜色空间中界定的第一灰色候选集群的曲线图。曲线图的X轴表示归一化红色分量(Normalized R),且曲线图的Y轴表示归一化蓝色分量(Normalized B)。
参照图10,第一灰色候选集群G_1可界定在包括归一化红色分量Normalized R及归一化蓝色分量Normalized B的颜色空间中。举例来说,在图10所示的曲线图中,示出其中假设存在恒定亮度Y的颜色空间、以及分区单元的颜色信息分布,所述分区单元的颜色信息分布是基于颜色空间区中的颜色分量的相对变化。
归一化红色分量Normalized R可为例如R/(R+B+G)或R/G。另外,归一化蓝色分量Normalized B可为例如B/(R+B+G)或B/G。
例如图1所示图像信号处理器1等图像处理装置可使用部分数据(即,所采样数据的平均值)而非使用所感测图像IMG的整体数据。白色点可基于第一灰色候选集群G_1的平均值来计算得到,且因此,为使用补片数据提取白色点,可首先执行对第一灰色候选集群G_1的选择。
第一灰色候选集群G_1可包括多个灰色候选分区单元PC_G。举例来说,灰色候选分区单元PC_G可为图像数据D_IMG中所包括的多个分区单元中的以下分区单元:所述分区单元的红色分量及蓝色分量均包括在第一灰色候选集群G_1中。
在示例性实施例中,图像数据D_IMG的肤色的估测值FdAvg可包括在第一灰色候选集群G_1中。估测值FdAvg可包括与肤色对应的红色分量及蓝色分量。在示例性实施例中,估测值FdAvg可为面部图像中所包括的多个分区单元中的一些分区单元的颜色分量的平均值。
在示例性实施例中,第一灰色候选集群G_1中所包括的多个灰色候选分区单元PC中的哪一个灰色候选分区单元PC被选择为第二灰色候选集群的灰色候选分区单元可基于估测值FdAvg及灰色候选分区单元PC中的每一者中所包括的颜色信息来确定。举例来说,被选择为第二灰色候选集群的灰色候选分区单元可基于对白色点的计算而定。以下将阐述对第二灰色候选集群的选择。
图11是进一步阐述根据示例性实施例的对第二灰色候选集群进行的选择的另一个曲线图。
参照图11,第一灰色候选集群G_1中所包括的任意分区单元的红色分量及蓝色分量可分别被定义为CurrentPatch.R及CurrentPatch.B,且估测值FdAvg的红色分量及蓝色分量可分别被定义为FdAvg.R及FdAvg.B。在这种情形中,第一灰色候选集群G_1中所包括的多个分区单元中的满足以下条件的分区单元可分别被选择为离群值OT。
ABS(CurrentPatch.R-FdAvg.R)+ABS(CurrentPatch.B-FdAvg.B)
<常数值(TP)…(1)
在方程式(1)中,ABS表示绝对值,且TP表示调谐参数。换句话说,当任意分区单元的红色分量与估测值的红色分量之间的差值的绝对值和所述任意分区单元的蓝色分量与估测值的蓝色分量之间的差值的绝对值之和小于调谐参数时,可选择第一灰色候选集群G_1中所包括的任意分区单元作为离群值。举例来说,基于方程式(1)的离群值的区可具有其中估测值FdAvg座标对应于中心的菱形形状。在示例性实施例中,离群值可被从第二灰色候选集群中去除且可被从对白色点的计算中去除。
图12是进一步阐述根据另一个示例性实施例的对第二灰色候选集群进行的选择的另一个曲线图。
参照图11及图12,第一灰色候选集群G_1中所包括的多个分区单元中的满足以下条件的分区单元可分别被选择为离群值OT'。
(CurrentPatch.R–CurrentPatch.B)>(FdAvg.R-FdAvg.B)…(2)
根据方程式(2),当第一灰色候选集群G_1中所包括的任意分区单元的红色分量与蓝色分量之间的差值大于估测值的红色分量与蓝色分量之间的差值时,可选择所述任意分区单元作为离群值OT'。举例来说,基于方程式(2)的离群值OT'的区可为相对于与估测值FdAvg座标交叉的第一直线L1位于右侧区中的第一灰色候选集群G_1区。
图13是进一步阐述根据另一个示例性实施例的对第二灰色候选集群进行的选择的另一个曲线图。
参照图11及图13,第一灰色候选集群G_1中所包括的多个分区单元中满足以下条件的分区单元可分别被选择为离群值OT”。
(CurrentPatch.R>FdAvg.R)&&(CurrentPatch.B<FdAvg.B)…(3)
根据方程式(3),在满足其中第一灰色候选集群G_1中所包括的任意分区单元的红色分量大于估测值的红色分量且所述任意分区单元的蓝色分量大于估测值的蓝色分量这一条件的情形中,可选择所述任意分区单元作为离群值OT”。举例来说,基于方程式(3)的离群值OT”的区可为相对于经过估测值FdAvg座标的第二直线L2及第三直线L3而言位于由第二直线L2及第三直线L3构成的象限中的第一灰色候选集群G_1区。
图14是进一步阐述根据示例性实施例的对第二灰色候选集群进行的选择的另一个曲线图。
参照图14,可在颜色空间中界定第一灰色候选集群G_1,且第一灰色候选集群G_1的部分区可被界定为第二灰色候选集群G_2。在示例性实施例中,第二灰色候选集群G_2可基于图11至图13所示实施例中的至少一者来选择。换句话说,第二灰色候选集群G_2中所包括的多个分区单元可满足方程式(1)至方程式(3)中所公开的条件中的至少一者。
举例来说,可在第一灰色候选集群G_1中由第四直线L4及第五直线L5界定第二灰色候选集群G_2。详细来说,可选择第一灰色候选集群G_1的位于第四直线L4与第五直线L5之间的区中的分区单元作为第二灰色候选集群G_2的分区单元。第四直线L4及第五直线L5可分别为构成第二灰色候选集群G_2的边界的虚拟线。
在示例性实施例中,可基于方程式(1)至方程式(3)沿第一箭头D1来对第四直线L4进行调整。相对于第四直线L4从对第二灰色候选集群G_2的选择中去除的分区单元可为例如包括相对过大红色分量的分区单元。
在示例性实施例中,可基于对样本图像数据的集群式统计处理沿第二箭头D2来对第五直线L5进行调整。举例来说,可基于为去除包括过大蓝色分量的分区单元而使用样本图像数据执行的各种统计处理来沿第二箭头D2对第五直线L5进行调整。相对于第五直线L5从对第二灰色候选集群G_2的选择中去除的分区单元可为例如包括相对过大蓝色分量的分区单元。
因此,第二灰色候选集群G_2中所包括的分区单元可基于对白色点的选择,且第一灰色候选集群G_1中所包括的但未被选择为第二灰色候选集群G_2的分区单元的其他分区单元可被从对白色点的选择中去除。通过将第一灰色候选集群G_1的区减小到第二灰色候选集群G_2的区,包括相对过大红色分量或蓝色分量的分区单元可被从对白色点的选择中去除。因此,可选择准确度得到提高的白色点。
图15是示出其中根据示例性实施例选择的第二灰色候选集群中所包括的分区单元被显示在实际图像上的实例的图式。
参照图15,图像IMG可包括面部图像且可被划分成多个分区单元PC。分区单元PC中的每一者可为例如补片或像素。
图像IMG中所包括的所述多个分区单元PC中的一些分区单元PC可分别被选择为用于检测白色点的离群值且可被从对白色点的检测中去除。图像IMG中所包括的所述多个分区单元PC的带阴影的分区单元可为基于对白色点的检测的灰色候选分区单元,且其他分区单元可为被选择为离群值的分区单元。举例来说,带阴影的分区单元可为图14所示第二灰色候选集群G_2中所包括的分区单元。
举例来说,离群值可基于面部图像的肤色的估测值来进行选择,且可被从对白色点的检测中去除。因此,图像中所包括的多个分区单元中具有与皮肤颜色相似的颜色分量的分区单元可被从对白色点的检测中去除。因此,即使当在图像中包括不准确的面部颜色时,也可执行准确度得到提高的自动白平衡。
图16是汇总在前面结合图9所阐述的方法之后可由根据示例性实施例的图1所示图像信号处理器20执行的方法的流程图。
参照图16,图像信号处理器20可基于第一参考值对多个灰色候选分区单元中被从对第二灰色候选集群的选择中去除的分区单元加上权重值(S300)。灰色候选分区单元可为例如第一灰色候选集群中所包括的分区单元。
举例来说,图像信号处理器20可选择处于第一权重值或大于第一权重值与第二权重值或小于第二权重值之间的范围内的权重值,且可基于第一参考值对所述多个灰色候选分区单元中被从对第二灰色候选集群的选择中去除的分区单元加上所选择的权重值。第一权重值及第二权重值中的每一者可为常数,且第二权重值可大于第一权重值。在示例性实施例中,第一参考值可基于对样本图像数据的集群式统计处理来计算得到。
举例来说,在集群式统计处理中,可对样本图像数据执行多次自动白平衡,且可计算出使分区单元的灰色分量被平衡成接近理想灰色分量的第一参考值。理想灰色分量可以相同的比率包括例如红色分量、蓝色分量、及绿色分类。
之后,图像信号处理器20可基于权重值判断是否重新选择被从对第二灰色候选集群的选择中去除的分区单元作为第二灰色候选集群的分区单元(S310)。举例来说,可重新选择被加上任意权重值的分区单元作为第二灰色候选集群的分区单元,且可将被加上另一个任意权重值的分区单元从第二灰色候选集群去除。在示例性实施例中,可不将被加上第一权重值的分区单元重新选择为第二灰色候选集群的分区单元,且可将被加上比第一权重值大的权重值的分区单元中的至少一些分区单元重新选择为第二灰色候选集群的分区单元。
图17是汇总基于根据示例性实施例所加上的权重值的方法的流程图。图17可被理解为对图16所示方法步骤S310的一个实例的进一步阐述。
参照图17,图像信号处理器20可判断加到任意灰色候选分区单元的权重值是否是第一权重值(S311)。当加上第一权重值时,可将对应的分区单元从对第二灰色候选集群的选择中去除(S312)。
当被加到任意灰色候选分区单元的权重值不是第一权重值时,图像信号处理器20可判断加到对应的分区单元的权重值是否是第二权重值(S313)。举例来说,第二权重值可大于第一权重值。当加上第二权重值时,可将对应的分区单元重新选择为第二灰色候选集群的分区单元(S314)。
当加到任意灰色候选分区单元的权重值不是第一权重值或第二权重值时,图像信号处理器20可基于加到对应的分区单元的权重值在对白色点的选择中反映对应的分区单元(S315)。在示例性实施例中,被加上除了第一权重值及第二权重值之外的权重值的灰色候选分区单元可以比第二灰色候选集群低的贡献度反映到对白色点的选择中。
举例来说,如果除了第一权重值及第二权重值之外,加到灰色候选分区单元的权重值是0.5,则对应的分区单元可以第二灰色候选集群对白色点的选择的贡献度的一半来贡献于对白色点的选择。举例来说,被加上除了第一权重值及第二权重值之外的权重值的灰色候选分区单元的颜色分量可乘以被加到所述灰色候选分区单元的权重值,且接着可反映在对白色点的选择中。
基于以加上的权重值为基础的重新选择操作,可再次将被选择为离群值的多个分区单元中的用于对白色点进行选择的分区单元选择为第二灰色候选集群的分区单元。因此,以进一步提高的准确度来对白色点进行检测。
从对示例性实施例的上述说明可容易理解,本发明概念使得对肤色估测值的计算及使用比之前所提供的准确得多。在各种实施例中,自动白平衡可由图像信号处理器执行,其中自动白平衡包括以下步骤:将包括面部图像的图像数据划分成多个分区单元;从图像数据检测与面部图像相关联的面部区;以及从所述多个分区单元中选择与面部图像相关联的分区单元,以界定一组所选择的分区单元。然而,并非仅依赖于与面部图像相关联的这一组所选择的分区单元,本发明的某些实施例进一步界定(或细化)所述一组所选择的分区单元来界定一组进一步选择的分区单元,并使用此第二次或进一步选择的一组分区单元来计算肤色估测值。
如以上已阐述,存在许多可能的方式来实现对面部图像关联分区单元的此进一步选择。举例来说,所述进一步界定所述一组所选择的分区单元可包括:(1)提取所述一组所选择的分区单元中的每一分区单元的顶点信息;以及仅将所有顶点均包括在面部图像中的那些所选择的分区单元包括在所述一组进一步选择的分区单元中;(2)从所述一组进一步选择的分区单元中去除包括眼睛及眉毛中的至少一者的那些所选择的分区单元;(3)提取所选择的分区单元中的每一者各自的亮度值,以及从所述一组进一步选择的分区单元中去除亮度值小于亮度阈值的那些所选择的分区单元;以及(4)计算所述一组所选择的分区单元的颜色分量的全局平均值,对所选择的所述分区单元中的每一者进行颜色检测,以判断所选择的所述分区单元中的每一者的颜色分量与全局平均值之间的差值是否大于参考偏差,以及从所述一组进一步选择的分区单元中去除与全局平均值之间的颜色分量差值大于参考偏差的那些所选择的分区单元。
图18是示出包含根据示例性实施例的图像信号处理器的移动装置2000的实例的图式。移动装置2000可配备有以上参照图1至图17所阐述的图像信号处理器。因此,根据上述实施例,可对由照相机2300拍摄的图像执行自动白平衡。
移动装置2000可为智能电话,在所述智能电话中,功能不受限制且功能的数目可通过应用程序加以改变或扩展。移动装置2000可包括用于与无线基站交换射频(radiofrequency,RF)信号的嵌入式天线2100,且此外,可包括例如液晶显示器(liquid crystaldisplay,LCD)或有机发光二极管(organic light emitting diode,OLED)屏幕等显示屏幕2200,以用于显示由照相机2300拍摄的图像或由天线2100接收的图像。移动装置2000可包括操作面板2400,操作面板2400包括控制按钮及触摸面板。另外,如果显示屏幕2200是触摸屏幕,则操作面板2400可进一步包括显示屏幕2200的触摸感测面板。移动装置2000可包括用于输出语音及声音的扬声器2800(或另一种类型的输出单元)以及用于输入语音及声音的麦克风2500(或另一种类型的声音输入单元)。
移动装置2000还可包括照相机2300(例如,电荷耦合装置照相机)以用于拍摄图像或视频。另外,移动装置2000可包括用于存储由照相机2300拍摄的、通过电子邮件(e-mail)接收到的、或通过另一种方式获得的图像或视频数据的存储媒体2700、以及使存储媒体2700能够配备在移动装置2000中的槽位2600。存储媒体2700可为嵌置在塑料壳体中的安全数字(secure digital,SD)卡或例如电可擦可编程只读存储器(electrically erasableand programmable read only memory,EEPROM)等闪存存储器。
尽管已参照本发明概念的实施例具体示出并阐述了本发明概念,然而应理解,在不背离以上权利要求书的范围的条件下,可在本文中作出形式及细节上的各种变化。
Claims (18)
1.一种由图像信号处理器执行的自动白平衡方法,其特征在于,所述自动白平衡方法包括:
将包括面部图像的图像数据划分成多个分区单元;
在所述图像数据中检测所述面部图像的面部区;
从与所述面部区相关联的分区单元中选择分区单元;
从所选择的所述分区单元计算所述图像数据的肤色估测值;
基于所述多个分区单元中的至少一者及所述肤色估测值,选择被从用于检测所述图像数据的白色点的分区单元中去除的离群值分区单元;以及
使用所述图像数据的所检测的所述白色点对所述图像数据执行自动白平衡,
其中与所述面部区相关联的多个分区单元中的所选择的所述分区单元的每一者包括多个顶点,且所述选择所述分区单元包括从与所述面部区相关联的所述多个分区单元中选择所有顶点均包括在所述面部区中的分区单元。
2.根据权利要求1所述的自动白平衡方法,其特征在于,所述选择所述分区单元还包括:
从所选择的所述分区单元中去除包括眼睛图像及眉毛图像中的至少一者的与所述面部区相关联的所述多个分区单元中的那些分区单元。
3.根据权利要求1所述的自动白平衡方法,其特征在于,所述选择所述分区单元还包括:
从所选择的所述分区单元中去除具有与阈值亮度相等或小于阈值亮度的对应亮度值的与所述面部区相关联的所述多个分区单元中的那些分区单元。
4.根据权利要求1所述的自动白平衡方法,其特征在于,所述计算所述肤色估测值包括:
计算所选择的所述分区单元的颜色分量的全局平均值;以及
将所述全局平均值与所选择的所述分区单元中的每一者的颜色分量进行比较以对分区单元进行颜色检测;
去除颜色分量相对于所述全局平均值的差值大于参考偏差的被进行颜色检测的分区单元;以及
对去除所述被进行颜色检测的分区单元后的所选择的所述分区单元的所述颜色分量的平均值作计算以作为所述肤色估测值。
5.根据权利要求1所述的自动白平衡方法,其特征在于,所述多个分区单元中的每一者是包括多个像素的补片。
6.根据权利要求1所述的自动白平衡方法,其特征在于,还包括:
对所述多个分区单元中的每一者加上权重值;以及
基于所述权重值对所选择的所述离群值分区单元中的至少一者执行重新选择。
7.一种自动白平衡方法,其特征在于,包括:
将包括面部图像的图像数据划分成多个分区单元;
从所述多个分区单元中选择分区单元,其中所选择的所述分区单元中的每一者包括多个顶点,且所述选择所述分区单元包括从面部区中所包括的分区单元中选择所有顶点均包括在所述面部区中的分区单元;
基于所述面部图像中所包括的所选择的分区单元来计算肤色估测值;
从所述图像数据中所包括的所述多个分区单元中选择第一灰色候选集群中所包括的灰色候选分区单元,其中所述第一灰色候选集群是在颜色空间中所定义的;
基于所述肤色估测值从所述灰色候选分区单元中来选择离群值分区单元;
选择第二灰色候选集群,其是从所述第一灰色候选集群去除所述离群值分区单元;以及
基于所述第二灰色候选集群来对所述图像数据执行自动白平衡。
8.根据权利要求7所述的自动白平衡方法,其特征在于,所述肤色估测值包括所述肤色的红色分量的估测值及蓝色分量的估测值,且
所述选择所述离群值分区单元包括基于所述红色分量的值、所述蓝色分量的值、所述红色分量的估测值及所述蓝色分量的估测值的至少其中之一来判断是否选择具有红色分量的值及蓝色分量的值的第一分区单元作为所述离群值分区单元。
9.根据权利要求8所述的自动白平衡方法,其特征在于,所述选择所述离群值分区单元包括:当所述红色分量的所述值与所述红色分量的所述估测值之间的差值的绝对值和所述蓝色分量的所述值与所述蓝色分量的所述估测值之间的差值的绝对值之和小于调谐参数时,选择所述第一分区单元作为所述离群值分区单元。
10.根据权利要求8所述的自动白平衡方法,其特征在于,所述选择所述离群值分区单元包括:当所述红色分量的所述值与所述蓝色分量的所述值之间的差值大于所述红色分量的所述估测值与所述蓝色分量的所述估测值之间的差值时,选择所述第一分区单元作为所述离群值分区单元。
11.根据权利要求8所述的自动白平衡方法,其特征在于,所述选择所述离群值分区单元包括:当所述红色分量的所述值大于所述红色分量的所述估测值且所述蓝色分量的所述值小于所述蓝色分量的所述估测值时,选择所述第一分区单元作为所述离群值分区单元。
12.根据权利要求7所述的自动白平衡方法,其特征在于,还包括:
基于第一参考值对所述灰色候选分区单元中的被从对所述第二灰色候选集群的选择中去除的分区单元加上权重值,所述第一参考值是基于对样本图像数据的集群式统计处理来计算得到;以及
基于所述权重值判断是否重新选择被从对所述第二灰色候选集群的选择中去除的所述分区单元作为所述第二灰色候选集群的分区单元。
13.根据权利要求12所述的自动白平衡方法,其特征在于,所述加上所述权重值包括:加上处于第一权重值或大于所述第一权重值与第二权重值或小于所述第二权重值之间的范围内的一个值作为所述权重值,且
所述判断是否重新选择所述离群值分区单元包括:
从对所述第二灰色候选集群的重新选择中去除所述离群值分区单元的所述分区单元中所述权重值为所述第一权重值的分区单元;以及
重新选择所述离群值分区单元的所述分区单元中所述权重值大于所述第一权重值的至少一些分区单元作为所述第二灰色候选集群的分区单元。
14.根据权利要求7所述的自动白平衡方法,其特征在于,所述估测值是所述面部图像中所包括的所述多个分区单元中的至少一些分区单元的颜色分量的平均值。
15.一种由图像信号处理器执行的自动白平衡方法,其特征在于,所述自动白平衡方法包括:
将包括面部图像的图像数据划分成多个分区单元;
从所述多个分区单元中选择与所述面部图像的至少一部分相关联的分区单元,其中所选择的所述分区单元中的每一者包括多个顶点,且所述选择所述分区单元包括从面部区中所包括的分区单元中选择所有顶点均包括在所述面部区中的分区单元;
基于所选择的所述分区单元中的至少一者来计算肤色估测值;
从所述图像数据中所包括的所述分区单元中选择在与所述图像数据相关联的颜色空间中界定的第一灰色候选集群中所包括的分区单元;以及
基于所述肤色估测值从所述第一灰色候选集群中所包括的所述分区单元中选择用于对所述图像数据执行所述自动白平衡的第二灰色候选集群。
16.根据权利要求15所述的自动白平衡方法,其特征在于,所述肤色估测值是所选择的所述分区单元中的至少一者的颜色分量的平均值。
17.根据权利要求15所述的自动白平衡方法,其特征在于,所述选择所述第二灰色候选集群包括:
基于所述肤色估测值从所述第一灰色候选集群的所选择的所述分区单元中选择用于对执行所述自动白平衡的白色点进行检测的离群值;以及
选择所述第一灰色候选集群的除所述离群值以外的区作为所述第二灰色候选集群的分区单元。
18.根据权利要求17所述的自动白平衡方法,其特征在于,还包括:
基于第一参考值对所述离群值中所包括的分区单元加上权重值,所述第一参考值是基于对样本图像数据的统计处理来计算得到;以及
基于所述权重值来重新选择所述离群值中所包括的所述分区单元中的一些分区单元作为所述第二灰色候选集群的分区单元。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0117228 | 2017-09-13 | ||
KR1020170117228A KR102397396B1 (ko) | 2017-09-13 | 2017-09-13 | 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109495731A CN109495731A (zh) | 2019-03-19 |
CN109495731B true CN109495731B (zh) | 2022-06-17 |
Family
ID=65631929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810947539.6A Active CN109495731B (zh) | 2017-09-13 | 2018-08-17 | 由图像信号处理器执行的用于自动白平衡方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10721449B2 (zh) |
KR (1) | KR102397396B1 (zh) |
CN (1) | CN109495731B (zh) |
TW (1) | TWI763920B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102397396B1 (ko) * | 2017-09-13 | 2022-05-12 | 삼성전자주식회사 | 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 |
CN110310268A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市同为数码科技股份有限公司 | 基于白平衡统计分区信息的肤色检测方法及系统 |
US11212425B2 (en) * | 2019-09-16 | 2021-12-28 | Gopro, Inc. | Method and apparatus for partial correction of images |
CN114071107B (zh) * | 2020-08-10 | 2023-10-31 | 合肥君正科技有限公司 | 基于融合聚类分析与色温曲线的自动白平衡方法及装置 |
US11935322B1 (en) * | 2020-09-14 | 2024-03-19 | Apple Inc. | Obstruction-sensitive white point determination using face information |
CN112150385B (zh) * | 2020-09-29 | 2023-05-12 | 四川虹美智能科技有限公司 | 红外图像滤波方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663287A (zh) * | 2002-06-25 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 使用脸部颜色作为参考信号来白平衡图像的方法和系统 |
CN1885952A (zh) * | 2005-06-20 | 2006-12-27 | 佳能株式会社 | 摄像设备和图像处理方法 |
CN101166286A (zh) * | 2006-10-20 | 2008-04-23 | 索尼株式会社 | 图像拾取装置和方法、图像处理装置、方法和程序 |
CN101472188A (zh) * | 2007-12-27 | 2009-07-01 | 佳能株式会社 | 白平衡控制装置和白平衡控制方法 |
CN101631200A (zh) * | 2008-07-16 | 2010-01-20 | 佳能株式会社 | 图像处理设备和图像处理方法 |
JP2010041622A (ja) * | 2008-08-07 | 2010-02-18 | Canon Inc | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
JP2014209681A (ja) * | 2013-04-16 | 2014-11-06 | リコーイメージング株式会社 | 色調調整装置および色調調整方法 |
CN104994362A (zh) * | 2015-07-02 | 2015-10-21 | 广东欧珀移动通信有限公司 | 白平衡处理的方法及装置 |
CN106878695A (zh) * | 2017-02-13 | 2017-06-20 | 广东欧珀移动通信有限公司 | 白平衡处理的方法、装置和计算机设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4375781B2 (ja) * | 2002-11-29 | 2009-12-02 | 株式会社リコー | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 |
JP4424216B2 (ja) * | 2004-03-30 | 2010-03-03 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
US7599093B2 (en) * | 2004-09-30 | 2009-10-06 | Fujifilm Corporation | Image processing apparatus, method and program |
JP4284448B2 (ja) | 2005-01-28 | 2009-06-24 | 富士フイルム株式会社 | 画像処理装置及び方法 |
JP4849818B2 (ja) * | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
EP1905350A4 (en) * | 2005-07-19 | 2012-03-07 | Konica Minolta Holdings Inc | IMAGE PROCESSOR, SYSTEM AND IMAGE PROCESSING PROGRAM |
US8208758B2 (en) * | 2005-10-05 | 2012-06-26 | Qualcomm Incorporated | Video sensor-based automatic region-of-interest detection |
US7728904B2 (en) * | 2005-11-08 | 2010-06-01 | Qualcomm Incorporated | Skin color prioritized automatic focus control via sensor-dependent skin color detection |
US7590344B2 (en) * | 2006-02-28 | 2009-09-15 | Microsoft Corp. | Adaptive processing for images captured with flash |
JP5066398B2 (ja) * | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP4702635B2 (ja) | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
JP5215775B2 (ja) | 2008-08-20 | 2013-06-19 | キヤノン株式会社 | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
JP5744429B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR101896386B1 (ko) * | 2011-11-22 | 2018-09-11 | 삼성전자주식회사 | 화이트 밸런스 조절장치 및 방법 |
CN102663354B (zh) | 2012-03-26 | 2014-02-19 | 腾讯科技(深圳)有限公司 | 人脸标定方法和系统 |
JP2014053855A (ja) | 2012-09-10 | 2014-03-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
EP3039864B1 (en) | 2013-08-26 | 2018-09-19 | Intel Corporation | Automatic white balancing with skin tone correction for image processing |
KR20150128168A (ko) | 2014-05-08 | 2015-11-18 | 삼성전자주식회사 | 화이트 밸런싱 장치 및 이의 구동 방법 |
KR102346522B1 (ko) | 2015-09-10 | 2022-01-03 | 삼성전자주식회사 | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 |
KR102397396B1 (ko) * | 2017-09-13 | 2022-05-12 | 삼성전자주식회사 | 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 |
-
2017
- 2017-09-13 KR KR1020170117228A patent/KR102397396B1/ko active IP Right Grant
-
2018
- 2018-08-08 US US16/057,856 patent/US10721449B2/en active Active
- 2018-08-17 CN CN201810947539.6A patent/CN109495731B/zh active Active
- 2018-09-12 TW TW107132144A patent/TWI763920B/zh active
-
2020
- 2020-06-16 US US16/902,315 patent/US11503262B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663287A (zh) * | 2002-06-25 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 使用脸部颜色作为参考信号来白平衡图像的方法和系统 |
CN1885952A (zh) * | 2005-06-20 | 2006-12-27 | 佳能株式会社 | 摄像设备和图像处理方法 |
CN101166286A (zh) * | 2006-10-20 | 2008-04-23 | 索尼株式会社 | 图像拾取装置和方法、图像处理装置、方法和程序 |
CN101472188A (zh) * | 2007-12-27 | 2009-07-01 | 佳能株式会社 | 白平衡控制装置和白平衡控制方法 |
CN101631200A (zh) * | 2008-07-16 | 2010-01-20 | 佳能株式会社 | 图像处理设备和图像处理方法 |
JP2010041622A (ja) * | 2008-08-07 | 2010-02-18 | Canon Inc | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 |
JP2014209681A (ja) * | 2013-04-16 | 2014-11-06 | リコーイメージング株式会社 | 色調調整装置および色調調整方法 |
CN104994362A (zh) * | 2015-07-02 | 2015-10-21 | 广东欧珀移动通信有限公司 | 白平衡处理的方法及装置 |
CN106878695A (zh) * | 2017-02-13 | 2017-06-20 | 广东欧珀移动通信有限公司 | 白平衡处理的方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
TW201916679A (zh) | 2019-04-16 |
KR20190030028A (ko) | 2019-03-21 |
US20190082154A1 (en) | 2019-03-14 |
US11503262B2 (en) | 2022-11-15 |
CN109495731A (zh) | 2019-03-19 |
TWI763920B (zh) | 2022-05-11 |
US10721449B2 (en) | 2020-07-21 |
US20200314402A1 (en) | 2020-10-01 |
KR102397396B1 (ko) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109495731B (zh) | 由图像信号处理器执行的用于自动白平衡方法 | |
US20200043225A1 (en) | Image processing apparatus and control method thereof | |
KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
KR102346522B1 (ko) | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 | |
JP4849818B2 (ja) | ホワイトバランス調整装置及び色識別装置 | |
JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
US12058450B2 (en) | Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device | |
KR20080109026A (ko) | 노출 제어를 위한 시스템, 방법, 및 장치 | |
US20100195902A1 (en) | System and method for calibration of image colors | |
US9307213B2 (en) | Robust selection and weighting for gray patch automatic white balancing | |
CN109949248B (zh) | 修改车辆在图像中的颜色的方法、装置、设备及介质 | |
CN106815587A (zh) | 图像处理方法及装置 | |
US11457189B2 (en) | Device for and method of correcting white balance of image | |
CN110070080A (zh) | 一种文字检测方法及装置、设备和计算机可读存储介质 | |
JP2006222899A (ja) | 画像処理装置及び画像処理方法 | |
KR102697348B1 (ko) | 영상의 화이트 밸런스 보정을 수행하는 장치 및 방법 | |
CN113297880A (zh) | 指纹采集方法、装置、终端及存储介质 | |
EP2469450B1 (en) | Face detection | |
CN113516595A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
CN113709438A (zh) | 一种图像的白平衡校正方法、装置、存储介质及设备 | |
CN112149468B (zh) | 肤色影像的色域权重侦测方法及其装置 | |
CN111226437A (zh) | 一种对拍摄装置的拍摄质量评测方法、装置及终端设备 | |
Jo et al. | Adaptive white point extraction based on dark channel prior for automatic white balance | |
US11611726B2 (en) | Apparatus, method and computer program for image capturing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |