CN101389039A - 图像处理设备和图像处理方法以及摄像设备 - Google Patents
图像处理设备和图像处理方法以及摄像设备 Download PDFInfo
- Publication number
- CN101389039A CN101389039A CNA2008102118727A CN200810211872A CN101389039A CN 101389039 A CN101389039 A CN 101389039A CN A2008102118727 A CNA2008102118727 A CN A2008102118727A CN 200810211872 A CN200810211872 A CN 200810211872A CN 101389039 A CN101389039 A CN 101389039A
- Authority
- CN
- China
- Prior art keywords
- zone
- white balance
- balance correction
- picture signal
- color signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 title description 8
- 238000012937 correction Methods 0.000 claims abstract description 117
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000001915 proofreading effect Effects 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 26
- 238000012360 testing method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 241001248531 Euchloe <genus> Species 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
-
- G06T5/90—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明涉及一种图像处理设备和图像处理方法以及摄像设备。当对由脸检测单元检测到的脸区域的图像信号执行白平衡校正时,图像处理设备基于通过检测白色像素所获得的第一白平衡校正值来判断校正后的脸区域的图像信号是否存在于在表示肌肤色的第一颜色信号区域周围的第二颜色信号区域。当判断为校正后的脸区域的图像信号存在于第二颜色信号区域中时,图像处理设备基于校正后的脸区域的图像信号与第一颜色信号区域之间的关系来计算用于校正图像信号的第二白平衡校正值。
Description
技术领域
本发明涉及一种图像处理设备和方法以及摄像设备,尤其涉及一种通过使用脸检测结果来处理图像的图像处理设备和方法,以及摄像设备。
背景技术
将说明用于数字照相机的传统白平衡增益计算电路的操作。首先,如在图8中所示,将成像区域划分为每个均包括多个像素的预定数量的块(m个块)。对于块(1到m)中的每个块,针对各颜色,相加像素值并对这些像素值求取平均值以计算颜色平均值(R[i]、G[i]、B[i])。然后,例如,通过使用下面的等式(1),计算出颜色评价值(Cx[i],Cy[i]):
Cx[i]=(R[i]-B[i])/Y[i]×1024
Cy[i]=(R[i]+B[i])-2G[i]/Y[i]×1024 (1)
Y[i]=R[i]+2G[i]+B[i],其中[i]是各块的索引编号
预先在各种光源下拍摄白色被摄体以计算颜色评价值。因此,如果图9中示出的白色检测范围301包括针对各块计算出的颜色评价值,则判断为该块为白色。然后,对判断为白色的块的像素值进行累加。通过对基于预先在各种光源下拍摄到的白色被摄体的计算出的颜色评价值进行标绘来获得白色检测范围301。在图9中,x轴(Cx)的负方向表示当拍摄到高色温被摄体的白色时的颜色评价值,并且正方向表示当拍摄到低色温被摄体的白色时的颜色评价值。在图中,y轴(Cy)表示光源的绿色成分比率。G成分向负方向增加,这表示该光源是荧光灯。
然后,基于累加所得的像素值(sumR、sumG、sumB),通过使用下面的等式(2)来计算白平衡系数(WBCo_R、WBCo_G、WBCo_B):
WBCo_R=sumY×1024/sumR
WBCo_G=sumY×1024/sumG (2)
WBCo_B=sumY×1024/sumB
其中,sumY=(sumR+2×sumG+sumB)/4
然而,传统的白平衡系数计算方法具有如下问题。在如太阳光等光源下,白色评价值分布在图9中的区域A周围,并且肌肤(皮肤)色分布在区域B周围。在太阳光下的肌肤色评价值分布在与低颜色光源下的白色评价值的区域几乎类似的区域中。因此,如果在成像区域中有小的白色部分,并且如图10所示,近距离拍摄人的图片,则成像区域中的颜色评价值分布在图9的区域B中。因此,在低色温下将肌肤色误判断为白色,并且将人的肌肤校正为白色。并且,当分布在表示人的肌肤的颜色区域周围的彩色散布整个成像区域时,将该彩色误判断为白色,并且将肌肤校正为白色。
传统上,通过当被摄体照度高时将光源判断为外部光已经解决了上述问题,并且缩小白色检测范围以防止将肌肤色误判断为白色。
一般地,荧光灯包括各种光源,如白色分布在区域C周围的光源和白色分布在区域C以下的光源等。为处理这种光源,需要扩大白色检测范围。然而,在低照度的高色温荧光灯或中色温荧光灯下,肌肤色可以分布在黑体轨迹(blackbody locus)下面的部分(区域C)周围。因此,白色检测范围的扩大导致肌肤色的误判断,从而导致变白了的肌肤色。
美国专利6,975,759公开了这样一种方法:检测脸,当检测到脸时提取脸的肌肤色,将提取出的肌肤色与基准肌肤色进行比较,并且基于比较结果来校正白平衡。
然而,该传统白平衡校正值计算方法没有考虑脸检测电路误检测脸的情况。结果,甚至在脸检测电路误检测到假的脸区域时,也可能将假的脸区域校正为适当的肌肤色。因而,不能获取期望的白平衡校正值。
取决于与处理速度有关的摄像设备的性能,在拍摄期间可能不可进行脸检测。在这种摄像设备中,即使在拍摄准备阶段检测到脸,在拍摄期间被摄体的位置也可能偏移。这种情况未纳入考虑之中。换句话说,即使在拍摄准备期间正确地检测到脸,最终白平衡校正精确度也可能下降。图11示出在接通第一开关SW1之前执行脸检测、并且紧在第二开关SW2接通(接通以进行实际拍摄)之前被摄体的位置偏移的例子。使用紧在第一开关SW1接通之前获得的脸检测结果,使得当接通第二开关SW2(在实际拍摄时)时难以获取正确的脸颜色评价值,从而导致白平衡校正精确度下降。
发明内容
本发明涉及一种能够基于脸检测结果来进行更稳定的白平衡校正的图像处理设备和方法、以及摄像设备。
根据本发明的一个方面,一种图像处理设备用于处理通过拍摄所获得的图像的图像信号,所述图像处理设备包括:第一计算单元,用于通过从所述图像检测白色像素来计算第一白平衡校正值;脸检测单元,用于从所述图像检测脸区域;判断单元,用于当对由所述脸检测单元检测到的所述脸区域的图像信号执行基于所述第一白平衡校正值的白平衡校正时,判断校正后的所述脸区域的图像信号是否存在于在表示肌肤色的第一颜色信号区域周围的第二颜色信号区域中;以及第二计算单元,用于当所述判断单元判断为校正后的所述脸区域的图像信号存在于所述第二颜色信号区域中时,基于校正后的所述脸区域的图像信号与所述第一颜色信号区域之间的关系来计算用于校正所述图像信号的第二白平衡校正值。
根据本发明的另一个方面,一种图像处理设备用于处理通过拍摄所获得的图像的图像信号,所述图像处理设备包括:白平衡校正单元,用于校正所述图像信号的白平衡;脸检测单元,用于从所述图像中检测脸区域;第一计算单元,用于基于所述图像被划分成的并且每个均包括多个像素的块中的、存在于表示白色的颜色信号区域中的块的图像信号,来计算用于白平衡校正的第一白平衡校正值;以及第二计算单元,用于当所述脸检测单元检测到所述脸区域时,对通过基于所述第一白平衡校正值来校正包括在所述脸区域中的块的图像信号的白平衡所获得的校正后的图像信号中的、存在于表示肌肤色的第一颜色信号区域和作为所述第一颜色信号区域的周围区域的第二颜色信号区域中的所述校正后的图像信号进行相加,并且用于当通过相加所获得的总和图像信号存在于所述第二颜色信号区域中时,计算用于校正所述总和图像信号以使其进入所述第一颜色信号区域的第二白平衡校正值,其中,当计算出所述第二白平衡校正值时,所述白平衡校正单元通过使用所述第二白平衡校正值来执行白平衡校正。
根据本发明的另一个方面,一种摄像设备包括:摄像单元,用于输出通过拍摄所获得的图像的图像信号;以及上述图像处理设备。
根据本发明的另一个方面,一种图像处理方法用于处理通过拍摄所获得的图像的图像信号,所述图像处理方法包括:通过从所述图像检测白色像素来计算第一白平衡校正值;从所述图像检测脸区域;当基于所述第一白平衡校正值对检测到的所述脸区域的图像信号执行白平衡校正时,判断校正后的脸区域的图像信号是否存在于在表示肌肤色的第一颜色信号区域周围的第二颜色信号区域中;以及当判断为校正后的所述脸区域的图像信号存在于所述第二颜色信号区域中时,基于校正后的所述脸区域的图像信号和所述第一颜色信号区域之间的关系来计算用于校正所述图像信号的第二白平衡校正值。
根据本发明的另一个方面,一种图像处理方法用于处理通过拍摄所获得的图像的图像信号,所述图像处理方法包括:从所述图像检测脸区域;基于将所述图像按多个像素划分成的块中的、存在于表示白色的颜色信号区域中的块的图像信号,来计算用于白平衡校正的第一白平衡值;当检测到所述脸区域时,将通过基于所述第一白平衡校正值来校正包括在所述脸区域中的块的图像信号的白平衡所获得的校正后的图像信号中的、存在于表示肌肤色的第一颜色信号区域和作为所述第一颜色信号区域的周围区域的第二颜色信号区域中的所述校正后的图像信号进行相加,并且当通过相加所获得的总和图像信号存在于所述第二颜色信号区域中时计算用于校正所述总和图像信号以使其进入所述第一颜色信号区域的第二白平衡校正值;通过使用所述第一白平衡校正值和所述第二白平衡校正值来对所述图像信号执行白平衡校正;以及当计算出所述第二白平衡校正值时,通过使用所述第二白平衡校正值来执行白平衡校正。
根据下面参考附图对典型实施例的详细说明,本发明的其它特征和方面将显而易见。
附图说明
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面,并和说明书一起用来解释本发明的原理。
图1是示出根据本发明典型实施例的具有脸检测功能的摄像设备的功能结构的框图。
图2是示出基于模板匹配(template matching)的模式识别处理的流程图。
图3示出模板匹配概念。
图4是示出根据本发明典型实施例的计算白平衡(WB)校正值的方法的流程图。
图5是示出根据本发明典型实施例的计算第一WB校正值的处理的流程图。
图6示出根据本发明典型实施例的判断肌肤(皮肤)色校正的方法。
图7示出根据本发明典型实施例的第二WB校正值计算的概念。
图8示出将成像区域划分成预定数量的块的例子。
图9示出白色检测范围。
图10示出照相机近距离拍摄脸作为被摄体的例子。
图11示出在传统白平衡校正方法中很可能出现的问题的例子。
具体实施方式
下面将参考附图,详细说明本发明的各种典型实施例、特征和方面。
第一典型实施例
图1是示出作为图像处理设备的例子的、根据本发明典型实施例的具有脸检测功能的摄像设备的功能结构的框图。
参考图1,图像传感器101包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS),该图像传感器101的表面覆盖有例如拜尔阵列(Bayer array)的RGB彩色滤波器,从而能进行彩色图像拍摄。存储器102临时存储从图像传感器101获得的图像信号。
脸检测单元114基于存储在存储器102中的图像信号来检测脸区域。已经提出了各种方法作为检测脸区域的技术。只要可以获得关于脸的位置和大小的信息,就可以使用任何方法。因此,这些方法决没有限制本发明。例如,已知使用以神经网络为代表的学习的方法,以及通过模板匹配来提取具有物理形状的特征的如眼或鼻等部位的方法。其它可用的技术是检测如肌肤(皮肤)色或眼形状等图像特征量并且通过使用统计方法来分析该图像特征量的方法(参见日本特开平10-232934和日本特开2000-48184)。其它当前可用的产品包括通过使用小波变换(wavelet transform)和图像特征量来检测脸的方法以及组合模板匹配的方法。
将说明模式识别方法之一的模板匹配方法作为脸检测方法。该模式识别是将观察到的模式与预先定义的概念(类别)中的一个相关的处理。图2是由脸检测单元114执行的模式识别处理的流程图。
首先,在步骤S1中,脸检测单元114从存储器102中读出图像数据并且预处理该图像数据。在步骤S2,脸检测单元114从预处理后的图像数据中提取特征部位的模式。脸检测单元114将提取出的模式与模板(标准模式)相关(模板匹配)。例如,如图3所示,当提取出特征部位的模式63时,模板61的中心点62位于提取出的模式63的某个坐标点(i,j)上。然后,脸检测单元114在模式63内偏移中心点62的位置时计算模板61和模式63的重叠部分之间的相似性,并且确定相似性变得最大的位置。通过将模式63与包括如眼或耳等形状的模板61相匹配,脸检测单元114可以获得关于眼的位置或脸区域(脸坐标)的信息。
因此,在步骤S3中,脸检测单元114获得识别模式,并且在步骤S4中输出所获得的识别模式以完成该模式识别处理。
返回参考图1,如果检测到脸,则中央处理单元(CPU)115基于从脸检测单元114发送来的信号来计算快门速度Tv和光圈值Av以获得脸的最佳亮度,并且计算调焦透镜的驱动量以聚焦在脸上。另一方面,如果没有检测到脸,CPU 115计算快门速度Tv和光圈值Av以获得整个图像的最佳亮度,并且计算调焦镜头的驱动量以聚焦存在于预定聚焦区域中的被摄体。将曝光值(Tv和Av)以及由CPU 115计算出的调焦镜头的驱动量发送至控制电路113。基于这些值,控制镜头、光阑(diaphragm)、和快门(未示出)以及图像传感器101。
白平衡(WB)控制单元103基于存储在存储器102中的图像信号和从脸检测单元114获得的脸信息来计算WB校正值。通过使用计算出的WB校正值,WB控制单元103对存储在存储器102中的图像信号进行白平衡校正(WB校正)。下面将详细说明WB控制单元103使用的计算WB校正值的方法。
颜色转换矩阵(MTX)电路104通过颜色增益来放大由WB控制单元103进行WB校正后的图像信号以将其转换成色差信号R-Y和B-Y,从而可以通过最佳颜色来再现该图像信号。低通滤波器(LPF)电路105限制色差信号R-Y和B-Y的频带。色度抑制(chroma-suppress,CSUP)电路106抑制在被LPF电路105限制频带的图像信号中饱和部分的伪色信号。
还将由WB控制单元103进行WB校正后的图像信号输出至亮度信号(Y)生成电路111以生成亮度信号Y。边缘增强电路112对所生成的亮度信号Y执行边缘增强。
RGB转换电路107将从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路112输出的亮度信号(Y)转换成RGB信号,然后伽玛校正电路108对信号的灰度进行校正。随后,颜色亮度转换电路109将信号转换成YUV信号,然后例如通过使用压缩电路110中的JPEG压缩来压缩该YUV信号从而将其作为图像信号记录在外部记录介质或内部记录介质上。
参考图4,将说明根据典型实施例的计算WB校正值的方法。根据典型实施例的计算WB校正值的方法使能获取WB校正值从而基于脸检测结果来使脸区域最佳。假定脸检测单元114基于紧在图4的处理之前所获得的图像信号,通过参考例如图2和3的前述方法已经执行了脸检测处理,并且已经获得了脸检测结果。通过CPU 115或WB控制单元103可以执行WB校正值的计算,或者可以增加专门用于WB校正值计算的装置。
首先,在步骤S11,例如,WB控制单元103从存储在存储器102中的图像信号中检测白色像素以计算第一白平衡校正值(第一WB校正值)。接着将参考图5,详细说明用于计算第一WB校正值的方法。
首先,在步骤S101,WB控制单元103读出存储在存储器102中的图像信号,并将图像区域划分为图8中示出的m个块。在步骤S102,WB控制单元103针对每种颜色将块(1到m)中的每个块的像素值相加并求取平均值,从而计算颜色平均值(R[i]、G[i]、B[i]),然后通过使用下面的等式(1)来计算颜色评价值(Cx[i],Cy[i]):
Cx[i]=(R[i]-B[i])/Y[i]×1024
Cy[i]=(R[i]+B[i])-2G[i]/Y[i]×1024 (1)
Y[i]=R[i]+2G[i]+B[i],其中,[i]是各块的索引编号。
在步骤S103,WB控制单元103判断在步骤S102中计算出的第i块的颜色评价值(Cx[i],Cy[i])是否包括在图9中示出的预定白色检测范围301内。通过标绘基于在不同光源下拍摄到的白色的数据而预先计算出的颜色评价值来获得白色检测范围301。在图9中,x坐标(Cx)的负方向表示当拍摄高色温被摄体的白色时的颜色评价值,并且正方向表示低色温被摄体的白色。在图中,y坐标(Cy)表示光源的绿色成分比率。G成分向负方向增加,这表示该光源是荧光灯。
如果计算出的颜色评价值(Cx[i],Cy[i])包括在白色检测范围301内(步骤S103中为“是”),则WB控制单元103判断为该块是白色。然后,在步骤S104,WB控制单元103对块的颜色平均值(R[i]、G[i]、B[i])进行累加。如果没有包括计算出的颜色评价值(Cx[i],Cy[i])(步骤S103中为“否”),则WB控制单元103进入步骤S105而没有进行相加。可以通过下面的等式(3)来表示步骤S103和S104:
在等式(3)中,如果颜色评价值(Cx[i],Cy[i])包括在白色检测范围301内,则将Sw[i]设置为1,并且如果颜色评价值没有包括在白色检测范围301内,则将Sw[i]设置为0。以这种方式,基于在步骤S103中的判断来实际判断是否将颜色平均值(R[i]、G[i]、B[i])相加。在步骤S105,WB控制单元103判断是否已经对所有块执行了前述处理。如果存在还未处理的块(步骤S105中为“否”),则WB控制单元103返回步骤S102以重复该处理。如果已经处理了所有的块(步骤S105中为“是”),则该处理返回步骤S106。
在步骤S106,WB控制单元103通过使用下面的等式(4)基于所获得的颜色评价值的累加值(sumR,sumG,sumB)来计算第一WB校正值(WBCo1R,WBCo1_G,WBCo1_B):
WBCo1_R=sumY×1024/sumR
WBCo1_G=sumY×1024/sumG (4)
WBCo1_B=sumY×1024/sumB
其中,sumY=(sumR+2×sumG+sumB)/4
在计算了第一WB校正值之后,在步骤S12,WB控制单元103判断是否检测到脸。如果没有检测到脸(步骤S12中为“否”),则在步骤S20中,WB控制单元103确定对WB处理使用在步骤S11中计算出的第一WB校正值。然后,该处理结束。
如果检测到脸(步骤S12中为“是”),则在步骤S13中,WB控制单元103获得脸区域的块。在步骤S14,WB控制单元103获得在步骤S102中计算出的颜色平均值(R[i]、G[i]、B[i])以计算这些块中的一个的第一WB校正值。
然后,WB控制单元103将在步骤S14中获得的各个颜色平均值与在步骤S11中获得的各个相应的第一WB校正值相乘以计算肌肤色平均值(通过基于第一WB校正值来WB校正脸区域的颜色平均值所获得的值,即校正后的图像信号)。在步骤S15,WB控制单元103判断肌肤色平均值属于肌肤色区域(图6中的区域(A))、肌肤色校正目标区域(图6中的区域(B))以及肌肤色校正非目标区域(图6中的区域(C))中的哪个。肌肤色区域(A)对应于第一颜色信号区域,并且肌肤色校正目标区域(B)对应于作为第一颜色信号区域的周围区域的第二颜色信号区域。如果肌肤色平均值在图6中的肌肤色区域(A)(第一颜色信号区域)或肌肤色校正目标区域(B)(第二颜色信号区域)中(步骤S15中为“是”),则在步骤S16中,WB控制单元103将肌肤色平均值与此时计算出的肌肤色平均值的总和相加。如果肌肤色平均值在肌肤色校正非目标区域(C)中(步骤S15中为“否”),则WB控制单元103进入步骤S17而不对块的肌肤色平均值进行相加。例如,通过预先在如太阳光等白光下拍摄多个肌肤色并且使用统计方法,可以确定图6中示出的肌肤色区域(A)和肌肤色校正目标区域(B)。
例如,当误检测到脸(图6中的成像区域(b))时,或者当完全偏移了被摄体时,块的肌肤色评价值很可能分布在图6中的肌肤色校正非目标区域(C)中。当脸区域偏移了时(图6中的成像区域(c)),脸区域的肌肤色评价值分布在图6中的肌肤色区域(A)或肌肤色校正目标区域(B)中。因此,仅提取存在于肌肤色区域(A)或肌肤色校正目标区域(B)中的块以反映在WB计算处理中。代替基于在步骤S15中的判断去除存在于肌肤色校正非目标区域(C)中的肌肤色评价值,可以执行加权相加。在这种情况下,将应用于肌肤色校正非目标区域(C)中肌肤色评价值的权重设置为比应用于肌肤色区域(A)或肌肤色校正目标区域(B)中肌肤色评价值的权重小。
在将上述处理执行了与所处理的块的数量相等的次数之后(即,直到在步骤S17中该处理变为“是”为止),WB控制单元103进入步骤S18。在步骤S18,WB控制单元103判断通过在步骤S16中的相加所获得的肌肤色平均值的总和(总和图像信号)是否在肌肤色校正目标区域(B)内。
如果肌肤色平均值的总和在图6中的肌肤色区域(A)中(步骤S18中为“否”),则可以判断为基于第一WB校正值已经适当地校正了肌肤色。因此,在步骤S20,WB控制单元103确定使用第一WB校正值。如果肌肤色平均值的总和在肌肤色校正目标区域(B)中(步骤S18中为“是”),则WB控制单元103判断为没有对基于第一WB校正值所校正的肌肤色适当地进行WB校正。因此,在步骤S19中,WB控制单元103计算第二白平衡校正值(第二WB校正值)以将肌肤色平均值的总和移动至肌肤色区域。如果肌肤色平均值的总和在肌肤色校正非目标区域(C)中(步骤S18中为“否”),则在步骤S20中,WB控制单元103确定检测到的肌肤色评价值不表示人的肌肤,并且确定使用了第一WB校正值。
图7示出在步骤S19中进行的第二WB校正值计算的概念。图7示出在某光源下将肌肤色误识别为白色并计算了一WB校正值的情况。由于第一WB校正值从适当的WB校正值向低色温方向偏移,因此在第一WB校正之后的肌肤色向冷色方向偏移。在这种情况下,肌肤色评价值位于冷色方向,该冷色方向在表示适当的肌肤色的区域以外。因此,通过应用比第一WB校正值的大的R增益作为白平衡校正值,可以适当地校正肌肤色。图7中的虚线箭头表示校正的方向和大小。虚线方向的目标位置可以是肌肤色区域(A)中的任何位置。在图7中,将肌肤色检测结果和肌肤色区域之间的距离为最短的肌肤色区域的边界位置设置为目标位置。作为另一例子,可以预先将肌肤色区域(A)中的一个点定义为肌肤色点,还可将该点确定为目标位置。
根据上述典型实施例,可以减少可能由错误的脸识别或者拍摄期间被摄体的偏移导致的错误校正或过度校正。因此,根据脸检测结果可以执行更稳定的白平衡校正。
本发明可应用于包括多个装置(例如,主计算机、接口装置和照相机头)的系统,或者可应用于设备(例如,数字静止照相机或数字摄像机)。
还可如下来实现本发明。首先,将存储有用于实现典型实施例的功能的软件程序代码的存储介质或记录介质供给至系统或设备。然后,系统的计算机(CPU或MPU)或者设备中的计算机读出存储在存储介质中的程序代码并且执行该程序代码。在这种情况下,从存储介质读出的程序代码实现了典型实施例的功能。
本发明不限于计算机执行读取的程序代码以实现典型实施例的功能的情况。还可如下实现本发明。基于读出的程序代码的指令,在计算机中运行的操作系统(OS)执行实际处理的部分或全部从而实现典型实施例的功能。例如,存储有程序代码的存储介质可以是:例如,软盘、硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁带、非易失性存储卡、致密盘-ROM(CD-ROM)、可记录CD(CD-R)、数字多功能盘(DVD)、光盘或者磁光盘(MO)。如局域网(LAN)或广域网(WAN)等计算机网络可以用来供给程序代码。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (11)
1.一种图像处理设备,用于处理通过拍摄所获得的图像的图像信号,所述图像处理设备包括:
第一计算单元,用于通过从所述图像检测白色像素来计算第一白平衡校正值;
脸检测单元,用于从所述图像检测脸区域;
判断单元,用于当对由所述脸检测单元检测到的所述脸区域的图像信号执行基于所述第一白平衡校正值的白平衡校正时,判断校正后的所述脸区域的图像信号是否存在于在表示肌肤色的第一颜色信号区域周围的第二颜色信号区域中;以及
第二计算单元,用于当所述判断单元判断为校正后的所述脸区域的图像信号存在于所述第二颜色信号区域中时,基于校正后的所述脸区域的图像信号与所述第一颜色信号区域之间的关系来计算用于校正所述图像信号的第二白平衡校正值。
2.根据权利要求1所述的图像处理设备,其特征在于,还包括白平衡校正单元,所述白平衡校正单元用于校正所述图像的白平衡,
其中,所述白平衡校正单元在所述判断单元判断为校正后的所述脸区域的图像信号存在于所述第二颜色信号区域中时通过使用所述第二白平衡校正值来执行白平衡校正,并且在所述判断单元判断为校正后的所述脸区域的图像信号不存在于所述第二颜色信号区域中时通过使用所述第一白平衡校正值来执行白平衡校正。
3.根据权利要求1所述的图像处理设备,其特征在于,所述第二计算单元校正所述图像信号,使得校正后的所述脸区域的图像信号位于所述第一颜色信号校正区域中。
4.根据权利要求1所述的图像处理设备,其特征在于,所述第一计算单元针对各预定块来检测所述图像的所述白色像素,并且所述判断单元针对所述各预定块来执行关于所述脸区域的图像信号的判断。
5.一种图像处理设备,用于处理通过拍摄所获得的图像的图像信号,所述图像处理设备包括:
白平衡校正单元,用于校正所述图像信号的白平衡;
脸检测单元,用于从所述图像中检测脸区域;
第一计算单元,用于基于所述图像被划分成的并且每个均包括多个像素的块中的、存在于表示白色的颜色信号区域中的块的图像信号,来计算用于白平衡校正的第一白平衡校正值;以及
第二计算单元,用于当所述脸检测单元检测到所述脸区域时,对通过基于所述第一白平衡校正值来校正包括在所述脸区域中的块的图像信号的白平衡所获得的校正后的图像信号中的、存在于表示肌肤色的第一颜色信号区域和作为所述第一颜色信号区域的周围区域的第二颜色信号区域中的所述校正后的图像信号进行相加,并且用于当通过相加所获得的总和图像信号存在于所述第二颜色信号区域中时,计算用于校正所述总和图像信号以使其进入所述第一颜色信号区域的第二白平衡校正值,
其中,当计算出所述第二白平衡校正值时,所述白平衡校正单元通过使用所述第二白平衡校正值来执行白平衡校正。
6.根据权利要求5所述的图像处理设备,其特征在于,所述第二计算单元将未包括在所述第一颜色信号区域和所述第二颜色信号区域中的所述校正后的图像信号进行相加,并且在对包括在所述第一颜色信号区域中的所述校正后的图像信号、包括在所述第二颜色信号区域中的所述校正后的图像信号以及未包括在所述第一颜色信号区域和所述第二颜色信号区域中的所述校正后的图像信号分别赋予不同的权重之后将它们进行相加,以及
其中,赋予未包括在所述第一颜色信号区域和所述第二颜色信号区域中的所述校正后的图像信号的权重比赋予包括在所述第一颜色信号区域和所述第二颜色信号区域中的所述校正后的图像信号的权重低。
7.根据权利要求5所述的图像处理设备,其特征在于,当没有计算出所述第二白平衡校正值时,所述白平衡校正单元通过使用所述第一白平衡校正值来执行白平衡校正。
8.根据权利要求5所述的图像处理设备,其特征在于,所述第一计算单元和所述第二计算单元通过使用在所述脸检测单元处理了所述图像之后拍摄所获得的图像的图像信号,来计算所述第一白平衡校正值和所述第二白平衡校正值。
9.一种摄像设备,包括:
摄像单元,用于输出通过拍摄所获得的图像的图像信号;以及
根据权利要求5所述的图像处理设备。
10.一种图像处理方法,用于处理通过拍摄所获得的图像的图像信号,所述图像处理方法包括:
通过从所述图像检测白色像素来计算第一白平衡校正值;
从所述图像检测脸区域;
当基于所述第一白平衡校正值对检测到的所述脸区域的图像信号执行白平衡校正时,判断校正后的脸区域的图像信号是否存在于在表示肌肤色的第一颜色信号区域周围的第二颜色信号区域中;以及
当判断为校正后的所述脸区域的图像信号存在于所述第二颜色信号区域中时,基于校正后的所述脸区域的图像信号和所述第一颜色信号区域之间的关系来计算用于校正所述图像信号的第二白平衡校正值。
11.一种图像处理方法,用于处理通过拍摄所获得的图像的图像信号,所述图像处理方法包括:
从所述图像检测脸区域;
基于将所述图像按多个像素划分成的块中的、存在于表示白色的颜色信号区域中的块的图像信号,来计算用于白平衡校正的第一白平衡值;
当检测到所述脸区域时,将通过基于所述第一白平衡校正值来校正包括在所述脸区域中的块的图像信号的白平衡所获得的校正后的图像信号中的、存在于表示肌肤色的第一颜色信号区域和作为所述第一颜色信号区域的周围区域的第二颜色信号区域中的所述校正后的图像信号进行相加,并且当通过相加所获得的总和图像信号存在于所述第二颜色信号区域中时计算用于校正所述总和图像信号以使其进入所述第一颜色信号区域的第二白平衡校正值;
通过使用所述第一白平衡校正值和所述第二白平衡校正值来对所述图像信号执行白平衡校正;以及
当计算出所述第二白平衡校正值时,通过使用所述第二白平衡校正值来执行白平衡校正。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007235948A JP5064947B2 (ja) | 2007-09-11 | 2007-09-11 | 画像処理装置及び方法、及び撮像装置 |
JP2007235948 | 2007-09-11 | ||
JP2007-235948 | 2007-09-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101389039A true CN101389039A (zh) | 2009-03-18 |
CN101389039B CN101389039B (zh) | 2012-04-04 |
Family
ID=40431855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102118727A Expired - Fee Related CN101389039B (zh) | 2007-09-11 | 2008-09-11 | 图像处理设备和图像处理方法以及摄像设备 |
Country Status (3)
Country | Link |
---|---|
US (2) | US8160310B2 (zh) |
JP (1) | JP5064947B2 (zh) |
CN (1) | CN101389039B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106464816A (zh) * | 2014-06-18 | 2017-02-22 | 佳能株式会社 | 图像处理设备及其图像处理方法 |
CN110473156A (zh) * | 2019-08-12 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
CN112492286A (zh) * | 2019-09-11 | 2021-03-12 | 深圳开阳电子股份有限公司 | 一种自动白平衡校正方法、装置及计算机存储介质 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
JP5064947B2 (ja) * | 2007-09-11 | 2012-10-31 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5398156B2 (ja) * | 2008-03-04 | 2014-01-29 | キヤノン株式会社 | ホワイトバランス制御装置およびその制御方法並びに撮像装置 |
JP2011166753A (ja) * | 2010-01-15 | 2011-08-25 | Panasonic Corp | 撮像装置 |
KR101896386B1 (ko) * | 2011-11-22 | 2018-09-11 | 삼성전자주식회사 | 화이트 밸런스 조절장치 및 방법 |
JP6083974B2 (ja) * | 2012-04-24 | 2017-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6288816B2 (ja) * | 2013-09-20 | 2018-03-07 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102359276B1 (ko) * | 2017-03-24 | 2022-02-07 | 삼성전자주식회사 | 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치 |
CN107454345B (zh) | 2017-07-12 | 2019-10-22 | Oppo广东移动通信有限公司 | 图像的白平衡处理方法、装置和终端设备 |
TWI660633B (zh) * | 2018-04-13 | 2019-05-21 | 瑞昱半導體股份有限公司 | 基於膚色資訊的白平衡校正方法及其影像處理裝置 |
US11457189B2 (en) * | 2019-06-20 | 2022-09-27 | Samsung Electronics Co., Ltd. | Device for and method of correcting white balance of image |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4739393A (en) * | 1985-11-05 | 1988-04-19 | Sanyo Electric Co., Ltd. | Circuit for performing white balance correction using two color temperature sensors |
JP3469031B2 (ja) | 1997-02-18 | 2003-11-25 | 株式会社東芝 | 顔画像登録装置及びその方法 |
JP2000048184A (ja) | 1998-05-29 | 2000-02-18 | Canon Inc | 画像処理方法及び顔領域抽出方法とその装置 |
JP3959909B2 (ja) * | 1999-11-19 | 2007-08-15 | 日本ビクター株式会社 | ホワイトバランス調整方法及び調整装置 |
JP2002152772A (ja) * | 2000-08-28 | 2002-05-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体 |
JP4826028B2 (ja) * | 2001-05-24 | 2011-11-30 | 株式会社ニコン | 電子カメラ |
JP2002374539A (ja) * | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP3927802B2 (ja) * | 2001-12-19 | 2007-06-13 | 株式会社リコー | 画像処理装置 |
JP3513506B2 (ja) * | 2002-02-20 | 2004-03-31 | キヤノン株式会社 | ホワイトバランス補正装置およびそれを搭載した撮像装置、及びホワイトバランス補正方法 |
US6975759B2 (en) * | 2002-06-25 | 2005-12-13 | Koninklijke Philips Electronics N.V. | Method and system for white balancing images using facial color as a reference signal |
JP4182735B2 (ja) | 2002-11-28 | 2008-11-19 | ソニー株式会社 | 顔色補正方法及び顔色補正装置及び撮像機器 |
JP4375781B2 (ja) * | 2002-11-29 | 2009-12-02 | 株式会社リコー | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 |
JP2004236110A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 画像処理装置、画像処理方法、記憶媒体及びプログラム |
JP2004312139A (ja) * | 2003-04-03 | 2004-11-04 | Canon Inc | 撮像装置 |
US20040208363A1 (en) * | 2003-04-21 | 2004-10-21 | Berge Thomas G. | White balancing an image |
JP4379580B2 (ja) * | 2003-10-20 | 2009-12-09 | セイコーエプソン株式会社 | 色補正装置、色補正方法、色補正プログラム、色変換装置、色変換方法および色変換プログラム |
US7599093B2 (en) * | 2004-09-30 | 2009-10-06 | Fujifilm Corporation | Image processing apparatus, method and program |
US7652717B2 (en) * | 2005-01-11 | 2010-01-26 | Eastman Kodak Company | White balance correction in digital camera images |
JP4284448B2 (ja) * | 2005-01-28 | 2009-06-24 | 富士フイルム株式会社 | 画像処理装置及び方法 |
JP4217698B2 (ja) * | 2005-06-20 | 2009-02-04 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
JP4751776B2 (ja) * | 2006-06-19 | 2011-08-17 | オリンパスイメージング株式会社 | 電子撮像装置及び個人特定システム |
JP4761066B2 (ja) * | 2006-09-22 | 2011-08-31 | 富士フイルム株式会社 | ホワイトバランス補正方法及び撮像装置 |
JP2008124928A (ja) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | オートホワイトバランスシステム |
JP5021338B2 (ja) * | 2007-03-02 | 2012-09-05 | 富士フイルム株式会社 | ホワイトバランス補正装置および方法 |
JP5066398B2 (ja) * | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP4702635B2 (ja) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
JP5064947B2 (ja) * | 2007-09-11 | 2012-10-31 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5113514B2 (ja) * | 2007-12-27 | 2013-01-09 | キヤノン株式会社 | ホワイトバランス制御装置およびホワイトバランス制御方法 |
JP5398156B2 (ja) * | 2008-03-04 | 2014-01-29 | キヤノン株式会社 | ホワイトバランス制御装置およびその制御方法並びに撮像装置 |
-
2007
- 2007-09-11 JP JP2007235948A patent/JP5064947B2/ja not_active Expired - Fee Related
-
2008
- 2008-09-09 US US12/207,335 patent/US8160310B2/en not_active Ceased
- 2008-09-11 CN CN2008102118727A patent/CN101389039B/zh not_active Expired - Fee Related
-
2014
- 2014-04-17 US US14/255,748 patent/USRE46232E1/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106464816A (zh) * | 2014-06-18 | 2017-02-22 | 佳能株式会社 | 图像处理设备及其图像处理方法 |
CN110473156A (zh) * | 2019-08-12 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
CN110473156B (zh) * | 2019-08-12 | 2022-08-02 | Oppo广东移动通信有限公司 | 图像信息的处理方法、装置、存储介质及电子设备 |
CN112492286A (zh) * | 2019-09-11 | 2021-03-12 | 深圳开阳电子股份有限公司 | 一种自动白平衡校正方法、装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2009071454A (ja) | 2009-04-02 |
CN101389039B (zh) | 2012-04-04 |
US20090067683A1 (en) | 2009-03-12 |
US8160310B2 (en) | 2012-04-17 |
JP5064947B2 (ja) | 2012-10-31 |
USRE46232E1 (en) | 2016-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101389039B (zh) | 图像处理设备和图像处理方法以及摄像设备 | |
CN101472188B (zh) | 白平衡控制装置和白平衡控制方法 | |
CN100515095C (zh) | 摄像设备和图像处理方法 | |
EP1528797B1 (en) | Image processing apparatus, image-taking system and image processing method | |
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
CN100594736C (zh) | 摄像设备及其控制方法 | |
US8111302B2 (en) | White balance control apparatus and method | |
US8401328B2 (en) | Image processing apparatus and image processing method | |
CN103581638B (zh) | 图像处理装置及图像处理方法 | |
US20120002113A1 (en) | Image processing device, image processing method, and program | |
US20060056684A1 (en) | Image processing apparatus, image processing program, image processing method, and imaging apparatus | |
JP2007036462A (ja) | 画像処理装置 | |
KR20080041118A (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
JP2001359114A (ja) | 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体 | |
JP3889867B2 (ja) | 撮像装置 | |
JP4726251B2 (ja) | 撮像装置及び画像処理方法 | |
JP4250513B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4971785B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
KR20070078995A (ko) | 촬상장치, 촬상장치의 제어방법, 촬상장치의 제어방법의프로그램, 촬상장치의 제어방법의 프로그램이 기록된기록매체 | |
JP2003087646A (ja) | 撮像装置 | |
US7688357B2 (en) | Method and apparatus for color temperature correction in a built-in camera of a portable terminal | |
JP2002185977A (ja) | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 | |
JP5744945B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5237480B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2002095004A (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120404 Termination date: 20190911 |
|
CF01 | Termination of patent right due to non-payment of annual fee |