CN103686114A - 图像处理设备、方法和程序 - Google Patents

图像处理设备、方法和程序 Download PDF

Info

Publication number
CN103686114A
CN103686114A CN201310393432.9A CN201310393432A CN103686114A CN 103686114 A CN103686114 A CN 103686114A CN 201310393432 A CN201310393432 A CN 201310393432A CN 103686114 A CN103686114 A CN 103686114A
Authority
CN
China
Prior art keywords
unit
adjustment amount
level adjustment
image
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310393432.9A
Other languages
English (en)
Inventor
甲斐裕成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103686114A publication Critical patent/CN103686114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及图像处理设备、方法和程序。提供一种图像处理设备，包括：眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。

Description

图像处理设备、方法和程序
技术领域
本公开涉及图像处理设备、方法和程序，尤其涉及能够最佳地进行白平衡控制的图像处理设备和方法，以及程序。
背景技术
在现有技术中，存在一种从人物的眼白部分获得白平衡调整量的技术。例如，未经审查的日本专利申请公开No.2008-182369公开一种技术，按照该技术，在拍摄的图像中检测人物的眼白部分的颜色信息，根据检测的颜色信息计算白平衡调整值，并调整拍摄图像的白平衡。
例如，未经审查的日本专利申请公开No.2011-109411公开一种当在拍摄图像中，检测到人物的多个眼白部分时，根据多个眼白区域的颜色信息，确定图像的白平衡校正系数的方法。
发明内容
按照如上所述的未经审查的日本专利申请公开No.2008-182369和2011-109411，根据眼白区域的颜色信息，计算白平衡校正量。然而，眼白部分的信息会因个体差异、充血等而显著变化，在许多情况下，并不精确到足以计算白平衡校正量。
理想的是最佳地进行白平衡控制。
按照本公开的实施例，提供一种图像处理设备，包括：眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；高亮度（luminance）像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
在这种情况下，图像处理单元可通过利用由白平衡调整量计算单元计算的白平衡调整量，调整作为上述至少部分区域的图像中的被摄对象的面部区域的白平衡。
在这种情况下，图像处理单元可根据整个图像的颜色信息，调整除图像中的被摄对象的面部区域以外的区域中的白平衡。
在这种情况下，图像处理单元可通过按照设定的成像模式，利用由白平衡调整量计算单元计算的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡。
在这种情况下，图像处理单元可通过按照图像的明亮度（brightness level），利用由白平衡调整量计算单元计算的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡。
在这种情况下，当眼部区域检测单元未检测到被摄对象的眼部区域，或者高亮度像素检测单元未检测到高亮度像素时，白平衡调整量计算单元可根据整个图像的颜色信息，计算白平衡调整量。
在这种情况下，当图像中的被摄对象的面部区域的大小小于预定大小时，白平衡调整量计算单元可根据整个图像的颜色信息，计算白平衡调整量。
按照本公开的另一个实施例，提供一种由图像处理设备进行的图像处理方法，包括：检测图像中的被摄对象的眼部区域；根据检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；根据检测的高亮度像素，估计光源的颜色信息；根据估计的光源的颜色信息，计算白平衡调整量；和通过利用计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
按照本公开的另一个实施例，提供一种程序，所述程序使图像处理设备起以下作用：眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
按照本公开的实施例，检测图像中的被摄对象的眼部区域，根据检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素，根据检测的高亮度像素，估计光源的颜色信息。随后，根据估计的光源的颜色信息，计算白平衡调整量，并通过利用计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
按照本公开，能够最佳地进行白平衡控制。
附图说明
图1是表示作为本技术适用于的图像处理设备的成像设备的结构例子的示图。
图2是表示图像分析单元和白平衡调整量确定单元的结构的方框图。
图3是图解说明拍摄图像中的面部区域和眼部区域的示图。
图4是图解说明眼部区域中的光源在其中被成像的区域的示图。
图5是图解说明判别分析方法的示图。
图6A和6B是图解说明利用判别分析方法，提取光源在其中被成像的区域的示图。
图7是图解说明图像记录处理的流程图。
图8是图解说明白平衡处理的例子的流程图。
图9是图解说明局限于面部的白平衡处理的例子的流程图。
图10是图解说明局限于面部的白平衡处理的另一个例子的流程图。
图11是图解说明通常的白平衡处理的例子的流程图。
图12是图解说明白平衡处理的再一个例子的流程图。
图13是图解说明白平衡处理的另一个例子的流程图。
图14是图解说明白平衡处理的另一个例子的流程图。
图15是表示计算机的结构例子的方框图。
具体实施方式
下面说明实现本公开的实施例(下面简称为实施例)。
按照本技术的成像设备的结构
图1是表示作为本技术适用于的图像处理设备的成像设备的结构例子的示图。
在图1中所示的例子中，成像设备101包括图像拍摄单元111、操作输入单元112、控制单元113、图像处理单元114、记录控制单元115、存储单元116、显示控制单元117和显示单元118。
图像拍摄单元111把拍摄图像的RGB数据输出给控制单元113和图像处理单元114。图像拍摄单元111由收集入射光的透镜组、调整光量的光圈、调整曝光时间的快门、对入射光进行光电转换的图像传感器、读出电路、放大电路、A/D转换器等构成。
操作输入单元112由拨盘、按钮等构成，以便把与用户设定、选择和操作对应的信号输入控制单元113。例如，在成像时，操作输入单元112把代表用户选择的成像模式或者设定的白平衡处理方法(白平衡模式)的信号输入控制单元113。另外，当白平衡模式是手动白平衡(MWB)模式时，操作输入单元112还响应用户操作，把白平衡调整量输入控制单元113。
控制单元113分析从图像拍摄单元111输入的图像的RGB数据，获得白平衡调整量。此时，控制单元113利用与用户通过操作输入单元112选择和输入的成像模式，以及代表白平衡模式的信号对应的处理方法，获得白平衡调整量。作为替换方案，控制单元113利用与从图像拍摄单元111输入的图像的明亮度对应的处理方法，获得白平衡调整量。
另外，控制单元113的颜色分析处理可直接利用RGB信号进行，或者可按照分析的便利性，通过把RGB信号转换成YCrCb信号进行。
控制单元113把代表成像模式和白平衡模式的信号，和白平衡调整量提供给图像处理单元114。
图像处理单元114对从图像拍摄单元111输入的拍摄图像，进行适合于被摄对象的图像信号处理，比如白平衡或色调曲线，并把图像处理后的图像输出给记录控制单元115和显示控制单元117。
这里，如果从控制单元113发送的代表白平衡模式的信号指示自动白平衡(AWB)模式，那么输入利用控制单元113获得的白平衡调整量。因而，图像处理单元114根据从控制单元113输入的成像模式和白平衡调整量，调整从图像拍摄单元111输入的拍摄图像的至少部分区域的白平衡。
另外，如果从控制单元113发送的代表白平衡模式的信号指示手动白平衡(MWB)模式，那么还从控制单元113输入与用户操作对应的白平衡调整量。因而，图像处理单元114根据与用户操作对应的白平衡调整量，调整从图像拍摄单元111输入的拍摄图像的白平衡。
记录控制单元115把在图像处理单元114的图像处理之后的图像转换成例如JPEG图像文件，并把JPEG图像文件等记录在存储单元116中。存储单元116由例如存储卡构成，保存JPEG图像文件等。
显示控制单元117使显示单元118显示在图像处理单元114的图像处理之后的图像。显示单元118由液晶显示器(LCD)等构成，显示来自显示控制单元117的图像。
此外，控制单元113包括白平衡(WB)控制单元121、图像分析单元122和白平衡调整量确定单元123。从图像拍摄单元111输入的图像被输入到图像分析单元122中，并酌情被提供给WB控制单元121。
WB控制单元121按照代表用户借助操作输入单元112选择和输入的成像模式和白平衡模式的信号，控制图像分析单元122的操作。另一方面，WB控制单元121按照从图像拍摄单元111输入的图像的明亮度，控制图像分析单元122的操作。另外，WB控制单元121把代表成像模式和白平衡模式的信号提供给图像处理单元114。
图像分析单元122由WB控制单元121控制，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域和眼部区域，并借助利用像素数据的判别方法，检测与在眼部区域中成像的光源对应的区域。另外，图像分析单元122由WB控制单元121控制，以从整个拍摄图像信息中，检测非彩色（achromatic）区域。图像分析单元122把与光源对应的区域的RGB数据和/或非彩色区域的RGB数据提供给白平衡调整量确定单元123。
另外，图像分析单元122把与检测的面部区域有关的信息提供给图像处理单元114。
白平衡调整量确定单元123根据输入的R、G和B各自的数字数据，估计成像时的光源颜色，并获得白平衡增益(调整量)。白平衡调整量确定单元123把获得的白平衡调整量提供给图像处理单元114。
图像分析单元和白平衡调整量确定单元的结构
图2是表示图像分析单元和白平衡调整量确定单元的结构例子的方框图。下面将酌情参考图3和4，说明图2中的结构例子。
图像分析单元122包括面部区域检测单元131、眼部区域信息获取单元132、高亮度区域检测单元133和非彩色区域检测单元134。
白平衡调整量确定单元123包括光源颜色估计单元141和白平衡调整量计算单元142。
面部区域检测单元131由WB控制单元121控制，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域，并把关于检测的面部区域的信息提供给眼部区域信息获取单元132和图像处理单元114。即，面部区域检测单元131从图3中所示的拍摄图像203中，检测人物的面部区域201。
眼部区域信息获取单元132检测利用面部区域检测单元131检测的面部区域内的眼部区域，获得检测的眼部区域的像素信息，并把获得的眼部区域中的像素信息(每个像素的RGB信息)提供给高亮度区域检测单元133。即，眼部区域信息获取单元132从图3中所示的面部区域201中，检测眼部区域202。
此时，如果检测到多个眼部区域，那么各个区域的RGB数据的积分可用于估计光源颜色，或者另一方面，可以根据关于面部和眼部的大小的信息，挑选出主要的被摄对象，并对其进行光源估计。另一方面，可以对每个眼部区域进行光源估计，从而单独地进行白平衡处理。
高亮度区域检测单元133从利用眼部区域信息获取单元132获得的关于整个眼部区域的RGB信息中，检测亮度高于预定亮度的高亮度区域，以便只提取与成像在眼球中的光源部分有关的像素信息。
即，高亮度区域检测单元133根据RGB信息和YCbCr信息，从整个眼部区域中，去除与图4中所示的眼白部分211、眼黑部分212和肤色部分213有关的像素信息。这样做时，提取图4中所示的光源部分214的像素信息。
例如，通过利用像素亮度信息Y作为参数，重复基于离差的二值化处理，能够去除肤色部分、眼黑部分和眼白部分。另外，下面将参考图5、6A和6B，详细说明利用离差的二值化处理。
检测到的高亮度区域的像素信息作为光源部分214的像素信息，被提供给光源颜色估计单元141。
如果面部区域检测单元131未检测到面部区域，或者眼部区域信息获取单元132未检测到眼部区域，那么面部区域检测单元131或眼部区域信息获取单元132使非彩色区域检测单元134检测非彩色区域。此外，如果高亮度区域检测单元133未检测到高亮度区域，那么高亮度区域检测单元133使非彩色区域检测单元134检测非彩色区域。即，图像分析单元122进行通常的白平衡处理。
非彩色区域检测单元134由WB控制单元121控制，以从拍摄图像的的RGB数据中，检测非彩色区域，并把检测的非彩色区域的像素信息提供给光源颜色估计单元141。
来自高亮度区域检测单元133的高亮度区域的像素信息和/或来自非彩色区域检测单元134的非彩色区域的像素信息被输入源颜色估计单元141中。光源颜色估计单元141把作为输入的每个像素的RGB信号标绘在包括R/G和B/G这两个轴的平面上，获得加权平均值，并根据在所述平面上预先设定的光源框中的位置，估计光源颜色。另外，光源估计方法并不局限于此。光源颜色估计单元141把关于估计的光源颜色的信息提供给白平衡调整量计算单元142。
白平衡调整量计算单元142为利用光源颜色估计单元141估计的光源颜色，计算满足R=G=B的增益(调整量)，并把计算的白平衡调整量提供给图像处理单元114。
图像处理单元114通过把白平衡调整量应用于图像中的目标部分，进行白平衡控制。
例如，当进行通常的白平衡处理时，根据整个图像中的非彩色区域的像素信息，估计光源颜色，获得调整量，图像处理单元114把从非彩色区域获得的调整量应用于整个拍摄图像。
另一方面，当进行按照本技术的白平衡处理时，例如，根据从眼部区域检测的高亮度区域的像素信息，估计光源颜色，获得调整量，图像处理单元114把从高亮度区域获得的调整量应用于拍摄图像中的面部区域。
下面，按照本技术的白平衡处理也被称为局限于面部的白平衡处理。
这样做时，能够对用其照亮面部的光源进行适当的白平衡控制。结果，即使在成像场景中，存在由不可估计的光源引起的非彩色被摄对象，也能够抑制面部区域中的白平衡的色偏。
在图像处理单元114中，当把白平衡调整量应用于面部区域时，还能够根据非彩色区域的像素信息，估计光源颜色，并把从非彩色区域获得的调整量应用于拍摄图像中除面部区域以外的各个区域。
这样做时，即使不同种类的照明照亮拍摄图像中的面部区域和其它区域，也能够最佳地进行白平衡控制。
按照本技术，能够如上所述，依据关于成像在眼部区域中的光源颜色的信息，最佳地进行白平衡调整。
如果在眼白部分的像素信息中，未检测到光源被成像的部分，那么能够根据眼白区域中的各个像素的积分值，估计光源。这样做时，即使在由于在阴影区等中拍摄图像，因而光源未被成像在眼白部分中的情况下，也能够计算白平衡调整量。不过在这种情况下，存在个体差异和充血的影响。
高亮度区域检测方法
下面参考图5，说明被高亮度区域检测单元133用作高亮度区域检测方法之一的利用离差的二值化处理。
利用离差的二值化处理是判别分析方法，判别分析方法是通过获得使分离度(分离度量)最大化的阈值，自动进行二值化的方法。判别分析方法也被称为Otsu二值化。
当根据利用眼部区域信息获取单元132获得的眼部区域中的以像素为单位的亮度Y，进行标绘，并且进行利用阈值t的二值化时，ω1代表在亮度值比阈值t小的一侧(暗类)的像素的数目，m1代表其平均值，σ1代表其离差，如图5中所示。另外，ω2代表在亮度值较大的一侧(明类)的像素的数目，m2代表其平均值，σ2代表其离差，ωt代表整个图像中的像素的数目，mt代表其平均值，而σt代表其离差。此时，类内离差σw2用以下的式(1)表示。
σ w 2 = ω 1 σ 1 2 + ω 2 σ 2 2 ω 1 + ω 2 . . . ( 1 )
类间离差σb2用以下的式(2)表示。
σ b 2 = ω 1 ( m 1 - m t ) 2 + ω 2 ( m 2 - m t ) 2 ω 1 + ω 2
= ω 1 ω 2 ( m 1 - m 2 ) 2 ( ω 1 + ω 2 ) 2 . . . ( 2 )
这里，由于总离差σt可用以下的式(3)表示，因此作为获得的类间离差和类内离差之比的分离度如以下的式(4)所示，只需要获得使分离度最大化的阈值t。
σ t 2 = σ b 2 + σ w 2 . . . ( 3 )
σ b 2 σ w 2 = σ b 2 σ t 2 - σ b 2 . . . ( 4 )
由于实际上总离差σt恒定，与阈值无关，因此对于类间离差σb2来说，只需要获得使分离度最大化的阈值。此外，关于类间离差的式(2)的分母也是恒定的，与阈值无关，于是，只需要获得使类间离散的分子ω1ω2(m1-m2)2最大化的阈值。
通过重复如上所述的判别分析方法，能够指定已被成像的光源。例如，在判别分析方法的第一次执行中，如图6A中所示，能够根据眼部区域的像素信息，获得阈值t，并把暗区和明区分开。这样做时，能够提取眼白区域和光源在其中被成像的区域。
此外，利用判别分析方法的第二次执行，如图6B中所示，能够根据在第一次执行中确定的明区的像素信息，获得阈值t'，并把眼白区域和光源在其中被成像的区域分开。这样做时，能够提取对光源估计处理来说必需的光源在其中被成像的区域。
图像记录处理
下面参考图7中的流程图，说明成像设备101的图像记录处理。
在步骤S111，图像拍摄单元111拍摄图像。即，图像拍摄单元111对通过利用图像传感器受光，并对光进行光电转换而获得的图像信号进行预定的信号处理，并把图像信号输出给控制单元113和图像处理单元114。
在步骤S112，控制单元113和图像处理单元114进行白平衡处理。后面将参考图8说明该白平衡处理。利用步骤S112中的处理，对从图像拍摄单元111供给的图像进行白平衡处理，处理后的拍摄图像被输出给记录控制单元115。
在步骤S113，记录控制单元115把从图像处理单元114供给的拍摄图像转换成JPEG图像文件，并把该JPEG图像文件记录在存储单元116中。
白平衡处理的例子
下面参考图8中的流程图，说明图7中的步骤S112中的白平衡处理。
在图8中的例子中，将说明与现有成像模式相适应的白平衡处理。即，当进行按照本技术的局限于面部的白平衡处理时，在成像场景中必须存在人物。从而在图8的例子中，作为按照本技术的进行局限于面部的白平衡处理的方法，将说明其中根据用户是否有意选择了关于存在人物的情况的成像模式，不同地进行白平衡处理的情况。
在步骤S131，WB控制单元121判定成像时的白平衡模式是否是自动白平衡(AWB)模式。如果在步骤S131，判定白平衡模式是AWB模式，即，在根据图像估计光源的色温，并自动进行白平衡处理的情况下，处理进入步骤S132。
在步骤S132，WB控制单元121判定成像模式是否是对应的场景模式。如果在场景模式选择中，用户有意选择了肖像模式，夜景+人物模式等，那么判定按照本技术的白平衡处理可被应用于该场景，从而处理进入步骤S133。这是因为当选择肖像模式或夜景+人物模式作为场景模式时，在许多情况下，用于人物的光源不同于用于背景的光源。另外，肖像模式和夜景+人物模式是例子，在其它成像模式下同样如此，只要所述成像模式用于对人物成像。在白平衡处理中，可不设置步骤S132本身。
在步骤S133中，WB控制单元121控制面部区域检测单元131，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域。此时，不仅可获得面部的有无，而且可以获得与检测的面部区域相对于整个图像区域的大小(像素的总数)有关的信息。面部区域检测单元131把检测出的面部区域的信息提供给眼部区域信息获取单元132和图像处理单元114。
在步骤S134，面部区域检测单元131根据获得的代表面部区域的有无和面部区域的大小的信息，判定在拍摄图像中是否存在面部区域。如果在步骤S134中，判定存在面部区域，那么处理进入步骤S135。
在步骤S135，眼部区域信息获取单元132检测面部区域中的眼部区域，并判定是否存在眼部区域。如果在步骤S135，判定存在眼部区域，那么处理进入步骤S136。在步骤S136，眼部区域信息获取单元132获得检测出的眼部区域的像素信息(眼部区域信息)，并把获得的眼部区域的像素信息提供给高亮度区域检测单元133。
在步骤S137，高亮度区域检测单元133检测亮度大于预定亮度的高亮度区域，并判定是否存在高亮度区域。如果在步骤S137，判定存在高亮度区域，那么高亮度区域检测单元133把检测的高亮度区域的信息作为光源部分的像素信息，提供给光源颜色估计单元141，然后处理进入步骤S138。
在步骤S138，白平衡调整量确定单元123和图像处理单元114进行局限于面部的WB处理。后面将参考图9，说明局限于面部的WB处理。这样做时，面部区域的白平衡被局部调整。
另外，如果在步骤S132，确定成像模式不是对应的场景模式，即，例如在用户有意选择了风景/夜景模式、食物模式、焰火模式等，作为对除人物以外的被摄对象成像的成像模式的情况下，那么处理进入步骤S139。
如果在步骤S134中，判定不存在面部区域，那么处理进入步骤S139。例如，如果在成像场景中不存在面部区域，或者即使存在面部区域，但信息指出面部区域相对于整个图像区域的大小小于预定阈值，那么不能有效获得为进行局限于面部的白平衡处理所必需的眼部区域的图像信息，于是，判定不存在面部区域。
如果在步骤S135，判定不存在眼部区域，那么处理进入步骤S139。由于如果眼部区域不是充分大于一定的阈值，或者即使存在眼部区域，但发现人物闭眼，那么不能获得有效的像素信息，于是在步骤S135中，判定不存在眼部区域。
如果在步骤S137，判定不存在高亮度区域，即，如果不存在亮度超过预定阈值的高亮度像素，那么判定光源未被成像，从而处理进入步骤S139。
在步骤S139，非彩色区域检测单元134和白平衡调整量确定单元123进行通常的白平衡处理。后面将参考图11说明通常的白平衡处理。这样做时，整个拍摄图像的白平衡被校正。
另一方面，如果在步骤S131，确定白平衡模式不是AWB模式，那么处理进入步骤S140。例如，用户自愿选择为每个光源预先设定的白平衡处理，或者进行用户为其输入光源的色温的白平衡处理。在这种情况下，在步骤S131中，确定白平衡模式不是AWB模式，处理进入步骤S140。
在步骤S140，控制单元113和图像处理单元114进行手动WB处理。即，控制单元113把根据借助操作输入单元112输入的用户操作/选择确定的白平衡调整量，提供给图像处理单元114。图像处理单元114通过利用从控制单元113供给的根据用户操作/选择确定的白平衡调整量，调整整个图像的白平衡。
局限于面部的白平衡处理的例子
下面参考图9中的流程图，说明图8的步骤S138中的局限于面部的白平衡处理。
在图8中的步骤S137中，高亮度区域的信息作为光源部分的像素信息被提供给光源颜色估计单元141。
响应所述像素信息，在步骤S161，光源颜色估计单元141在包括R/G和B/G这两个轴的平面上，标绘作为输入的高亮度区域中的每个像素的RGB信号，并获得加权平均值。随后根据在平面上预先确定的光源框中的位置，光源颜色估计单元141估计光源颜色。光源颜色估计单元141把估计的光源颜色的信息提供给白平衡调整量计算单元142。
在步骤S162，白平衡调整量计算单元142相对于利用光源颜色估计单元141估计的光源颜色，计算面部区域中的白平衡增益，并把计算的白平衡调整量提供给图像处理单元114。
在步骤S163，WB控制单元121控制非彩色区域检测单元134，以从拍摄图像的RGB数据中，检测非彩色区域，并把检测的非彩色区域的像素信息提供给光源颜色估计单元141。
在步骤S164，光源颜色估计单元141在包括R/G和B/G这两个轴的平面上，标绘作为输入的非彩色区域中的每个像素的RGB信号，获得加权平均值，并根据在平面上预先确定的光源框中的位置，估计光源颜色。光源颜色估计单元141把估计的光源颜色的信息提供给白平衡调整量计算单元142。
在步骤S165，白平衡调整量计算单元142相对于利用光源颜色估计单元141估计的光源颜色，计算面部区域外的白平衡增益，并把计算的白平衡调整量提供给图像处理单元114。
在步骤S166，图像处理单元114通过根据从面部区域检测单元131供给的面部区域的信息，利用面部区域内和面部区域外的白平衡调整量，调整拍摄图像中的面部区域内外的白平衡。
即，图像处理单元114通过利用在步骤S162中计算的面部区域内的白平衡增益，调整面部区域内的白平衡。另一方面，图像处理单元114通过利用在步骤S165中计算的除面部区域外的白平衡增益，调整面部区域外的白平衡。
如上所述，即使不同种类的照明照亮拍摄图像中的面部区域和其它区域，也能够最佳地进行白平衡控制。
另外可如下所述，只调整面部区域中的白平衡。
局限于面部的白平衡处理的例子
下面参考图10中的流程图，说明图8中的步骤S138中的局限于面部的白平衡处理的另一个例子。
在图8中的步骤S137，高亮度区域的信息作为光源部分的像素信息被提供给光源颜色估计单元141。
响应所述像素信息，在步骤S181，光源颜色估计单元141在包括R/G和B/G这两个轴的平面上，标绘作为输入的高亮度区域中的每个像素的RGB信号，并获得加权平均值。随后，光源颜色估计单元141根据作为输入的每个像素的RGB信号在平面上预先确定的光源框中的存在位置，估计光源颜色。光源颜色估计单元141把估计的光源颜色的信息提供给白平衡调整量计算单元142。
在步骤S182，白平衡调整量计算单元142相对于利用光源颜色估计单元141估计的光源颜色，计算面部区域中的白平衡增益，并把计算的白平衡调整量提供给图像处理单元114。
在步骤S183，图像处理单元114通过根据从面部区域检测单元131供给的面部区域的信息，利用面部区域内的白平衡调整量，调整拍摄图像中的面部区域中的白平衡。
如上所述，能够对于照亮面部的光源，适当地进行白平衡控制。结果，即使在成像场景中，存在由不可估计的光源引起的非彩色被摄对象，也能够抑制面部区域中的白平衡的色偏。
通常的白平衡处理的例子
下面参考图11中的流程图，说明图8中的步骤S139中的通常的白平衡处理的另一个例子。
在步骤S191，WB控制单元121控制非彩色区域检测单元134，以按照来自面部区域检测单元131、眼部区域信息获取单元132和高亮度区域检测单元133的相应检测结果，从拍摄图像的RGB数据中检测非彩色区域。非彩色区域检测单元134把检测的非彩色区域的像素信息提供给光源颜色估计单元141。
在步骤S192，光源颜色估计单元141在包括R/G和B/G这两个轴的平面上，标绘作为输入的非彩色区域中的每个像素的RGB信号，获得加权平均值，并根据在平面上预先确定的光源框中的位置，估计光源颜色。光源颜色估计单元141把估计的光源颜色的信息提供给白平衡调整量计算单元142。
在步骤S193，白平衡调整量计算单元142相对于利用光源颜色估计单元141估计的光源颜色，计算白平衡增益，并把计算的白平衡调整量提供给图像处理单元114。
在步骤S194，图像处理单元114通过利用白平衡调整量，调整拍摄图像的白平衡。
如上所述，在局限于面部的白平衡处理对其不必要的成像模式的情况下，或者在未检测到面部区域、眼部区域或高亮度区域的情况下，进行通常的白平衡调整处理。
白平衡处理的另一个例子
下面参考图12中的流程图，说明图7中的步骤S112中的白平衡处理。
在图12中的例子中，将说明与是否进行发光成像相适应的白平衡处理。即，在人物前面进行发光成像的情况下，适合于用闪光照射的人物的白平衡调整量不同于适合于闪光未到达的背景的白平衡调整量。如果利用相同的白平衡调整量，对整帧进行白平衡处理，那么在一些情况下，在人物的图像中会出现色偏。在图12中的例子中，作为按照本技术的进行局限于面部的白平衡处理的方法，将说明其中根据是否发出闪光，不同地进行白平衡处理的情况。
在步骤S211，WB控制单元121判定成像时的白平衡模式是否是自动白平衡(AWB)模式。如果在步骤S211，判定白平衡模式是AWB模式，即，在根据图像估计光源的色温，并自动进行白平衡处理的情况下，处理进入步骤S212。
在步骤S212，WB控制单元121判定是否进行发光成像。如果用户强制选择发光，或者利用闪光的自动发光进行成像，那么在步骤S212中，确定进行了发光成像，然后处理进入步骤S213。
在步骤S213，WB控制单元121控制面部区域检测单元131，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域。此时，获得不仅关于面部的有无，而且关于检测的面部区域相对于整个图像区域的大小(像素的总数)的信息。面部区域检测单元131把检测出的面部区域的信息提供给眼部区域信息获取单元132和图像处理单元114。
在步骤S214，面部区域检测单元131根据获得的关于面部区域的有无和面部区域的大小的信息，判定在拍摄图像中是否存在面部区域。如果在步骤S214中，判定存在面部区域，那么处理进入步骤S215。
在步骤S215，眼部区域信息获取单元132检测面部区域中的眼部区域，并判定是否存在眼部区域。如果在步骤S215，判定存在眼部区域，那么处理进入步骤S216。在步骤S216，眼部区域信息获取单元132获得检测的眼部区域的像素信息(眼部区域信息)，并把获得的眼部区域的像素信息提供给高亮度区域检测单元133。
在步骤S217，高亮度区域检测单元133判定发光(闪光)光源是否被成像。即，在步骤S217，在眼部区域的像素信息中，判定是否存在与预先设定的闪光光源的颜色信息对应的高亮度区域。如果在步骤S217，判定发光光源被成像，即，如果判定存在高亮度区域，那么高亮度区域检测单元133把检测到的高亮度区域的信息作为光源部分的像素信息，提供给光源颜色估计单元141，然后处理进入步骤S218。
在步骤S218，白平衡调整量确定单元123和图像处理单元114进行局限于面部的WB处理。由于局限于面部的WB处理基本上与上面参考图9说明的处理相同，因此其重复的说明被省略。不过，在这种情况下，获得对于发光光源的调整量，并局部调整面部区域的白平衡。另外，在闪光发光被成像的情况下，还能够预置用于闪光光源的白平衡调整量，并把预置的白平衡调整量用于闪光光源。
如果用户选择了不发光模式，或者未自动发射闪光，那么在步骤S212，判定未发光地进行成像，然后处理进入步骤S219。
如果在步骤S214，判定不存在面部区域，那么处理进入步骤S219。如果在成像场景中不存在面部区域，或者即使存在面部区域，但信息指出面部区域相对于整个图像区域的大小小于预定阈值，那么不能有效获得为进行局限于面部的白平衡处理所必需的眼部区域的图像信息，于是，判定不存在面部区域。
如果在步骤S215中，判定不存在眼部区域，那么处理进入步骤S219。由于如果眼部区域不是充分大于一定的阈值，或者即使存在眼部区域，但发现人物闭眼，那么不能获得有效的像素信息，于是在步骤S215中，判定不存在眼部区域。
如果在步骤S217中，判定不存在高亮度区域，即，不存在亮度超过预定阈值的高亮度像素，那么判定光源未被成像，然后处理进入步骤S219。
在步骤S219，非彩色区域检测单元134和白平衡调整量确定单元123进行通常的白平衡处理。由于通常的白平衡处理基本上与上面参考图11说明的处理相同，因此其重复的说明将被省略。如上所述，整个拍摄图像的白平衡被校正。
另一方面，如果在步骤S211，判定白平衡模式不是AWB模式，那么处理进入步骤S220。例如，用户自愿选择为每个光源预先设定的白平衡处理，或者进行用户为其输入光源的色温的白平衡处理。在这种情况下，在步骤S211，确定白平衡模式不是AWB模式，处理进入步骤S220。
在步骤S220，控制单元113和图像处理单元114进行手动WB处理。即，控制单元113把根据借助操作输入单元112输入的用户操作/选择确定的白平衡调整量提供给图像处理单元114。图像处理单元114通过利用从控制单元113供给的根据用户操作/选择确定的白平衡调整量，调整整个图像的白平衡。
白平衡处理的例子
下面参考图13中的流程图，说明图7中的步骤S112中的白平衡处理的另一个例子。
在图13中的例子中，将说明响应新准备的局限于面部的白平衡模式的选择的白平衡处理。即，作为多种白平衡模式之中的一种选项，在用户可选择状态下，预先准备按照本技术的进行局限于面部的白平衡处理的局限于面部的白平衡模式。在图13的例子中，作为按照本技术的进行局限于面部的白平衡处理的方法，将说明其中根据用户是否选择局限于面部的白平衡模式，不同地进行白平衡处理的情况。
在步骤S241，WB控制单元121判定成像时的白平衡模式是否是局限于面部的WB模式。如果在步骤S241，判定白平衡模式是局限于面部的WB模式，那么处理进入步骤S242。
在步骤S242，WB控制单元121控制面部区域检测单元131，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域。此时，获得不仅关于面部的有无，而且关于检测的面部区域相对于整个图像区域的大小(像素的总数)的信息。面部区域检测单元131把检测出的面部区域的信息提供给眼部区域信息获取单元132和图像处理单元114。
在步骤S243，面部区域检测单元131根据获得的指示面部区域的有无和面部区域的大小的信息，判定在拍摄图像中是否存在面部区域。如果在步骤S243中，判定存在面部区域，那么处理进入步骤S244。
在步骤S244，眼部区域信息获取单元132检测面部区域中的眼部区域，并判定是否存在眼部区域。如果在步骤S244，判定存在眼部区域，那么处理进入步骤S245。在步骤S245，眼部区域信息获取单元132获得检测的眼部区域的像素信息(眼部区域信息)，并把获得的眼部区域的像素信息提供给高亮度区域检测单元133。
在步骤S246，高亮度区域检测单元133检测亮度高于预定亮度的高亮度区域，并判定是否存在高亮度区域。如果在步骤S246中，判定存在高亮度区域，那么高亮度区域检测单元133把检测到的高亮度区域的信息作为光源部分的像素信息，提供给光源颜色估计单元141，然后处理进入步骤S247。
在步骤S247，白平衡调整量确定单元123和图像处理单元114进行局限于面部的WB处理。由于局限于面部的WB处理基本上与上面参考图9说明的处理相同，因此其重复的说明将被省略。如上所述，面部区域的白平衡被局部调整。
另一方面，如果在步骤S241中，判定白平衡模式不是局限于面部的WB模式，那么处理进入步骤S248。在步骤S248，判定成像时的白平衡模式是否是自动白平衡(AWB)模式。如果在步骤S248中，判定白平衡模式是AWB模式，那么处理进入步骤S249。
如果在步骤S243中，判定不存在面部区域，那么处理进入步骤S249。例如，如果在成像场景中不存在面部区域，或者即使存在面部区域，但信息指出面部区域相对于整个图像区域的大小小于预定阈值，那么不能有效获得为进行局限于面部的白平衡处理所必需的眼部区域的图像信息，于是，判定不存在面部区域。
如果在步骤S244，判定不存在眼部区域，那么处理进入步骤S249。由于如果眼部区域不是充分大于一定的阈值，或者即使存在眼部区域，但发现人物闭眼，那么不能获得有效的像素信息，于是在步骤S244中，判定不存在眼部区域。
如果在步骤S246中，判定不存在高亮度区域，即，不存在亮度超过预定阈值的高亮度像素，那么判定光源未被成像，从而处理进入步骤S249。
在步骤S249，非彩色区域检测单元134和白平衡调整量确定单元123进行通常的白平衡处理。由于通常的白平衡处理基本上与上面参考图11说明的处理相同，因此其重复的说明将被省略。如上所述，整个拍摄图像的白平衡被校正。
如果在步骤S248中，判定白平衡模式不是AWB模式，那么处理进入步骤S250。例如，如果用户自愿选择为每个光源预先设定的白平衡处理，或者进行用户为其输入光源的色温的白平衡处理，那么在步骤S248，确定白平衡模式不是AWB模式，处理进入步骤S250。
在步骤S250，控制单元113和图像处理单元114进行手动WB处理。即，控制单元113把根据借助操作输入单元112输入的用户操作/选择而确定的白平衡调整量提供给图像处理单元114。图像处理单元114通过利用从控制单元113供给的根据用户操作/选择确定的白平衡调整量，调整整个图像的白平衡。
白平衡处理的另一个例子
下面参考图14中的流程图，说明图7中的步骤S112中的白平衡处理。
在图14中的例子中，将说明与成像场景的明亮度相适应的白平衡处理。即，当不发光地成像夜景和人物时，或者当在宽敞的室内环境中成像人物时，适合于前景中的人物的白平衡调整量不同于适合于背景的白平衡调整量。在许多情况下，尤其是就夜景来说，各种光源同时存在，而且用于有效地估计光源的像素区域不足，因而存在如果以相同的白平衡调整量，对整帧进行白平衡处理，那么在人物的图像中会出现色偏的担心。
从而在图14的例子中，作为按照本技术的进行局限于面部的白平衡处理的方法，将说明其中根据成像场景的明亮度是否对应于在室内环境或者夜景情况下的明亮度，不同地进行白平衡处理的情况。
在步骤S261，WB控制单元121判定成像时的白平衡模式是否是自动白平衡(AWB)模式。如果在步骤S261，判定白平衡模式是AWB模式，即，在根据图像估计光源的色温，并自动进行白平衡处理的情况下，处理进入步骤S262。
在步骤S262，WB控制单元121根据从图像拍摄单元111供给的图像的明亮度，判定成像场景是否对应于室内环境/夜间室外环境。如果在步骤S262，通过图像的明亮度值和预置阈值之间的比较，判定所述场景对应于室内环境或者夜间室外环境，那么处理进入步骤S263。
在步骤S263，WB控制单元121控制面部区域检测单元131，以从拍摄图像的RGB数据中，检测拍摄图像中的人物的面部区域。此时，获得不仅关于面部的有无，而且关于检测的面部区域相对于整个图像区域的大小(像素的总数)的信息。面部区域检测单元131把检测出的面部区域的信息提供给眼部区域信息获取单元132和图像处理单元114。
在步骤S264，面部区域检测单元131根据获得的关于面部区域的有无和面部区域的大小的信息，判定在拍摄图像中是否存在面部区域。如果在步骤S264中，判定存在面部区域，那么处理进入步骤S265。
在步骤S265，眼部区域信息获取单元132检测面部区域中的眼部区域，并判定是否存在眼部区域。如果在步骤S265，判定存在眼部区域，那么处理进入步骤S266，眼部区域信息获取单元132获得检测的眼部区域的像素信息(眼部区域信息)，并把获得的眼部区域的像素信息提供给高亮度区域检测单元133。
在步骤S267，高亮度区域检测单元133检测亮度大于预定亮度的高亮度区域，并判定是否存在高亮度区域。如果在步骤S267，判定存在高亮度区域，那么高亮度区域检测单元133把检测到的高亮度区域的信息作为光源部分的像素信息，提供给光源颜色估计单元141，然后处理进入步骤S268。
在步骤S268，白平衡调整量确定单元123和图像处理单元114进行局限于面部的WB处理。后面参考图9说明局限于面部的WB处理。如上所述，面部区域的白平衡被局部调整。
如果在步骤S262，判定明亮度足够高，像在白天室外环境中成像时一样，那么确定成像场景不对应于室内环境/夜间室外环境，于是处理进入步骤S269。
如果在步骤S264中判定不存在面部区域，那么处理进入步骤S269，例如，如果在成像场景中不存在面部区域，或者即使存在面部区域，但信息指出面部区域相对于整个图像区域的大小小于预定阈值，那么不能有效获得为进行局限于面部的白平衡处理所必需的眼部区域的图像信息，于是，判定不存在面部区域。
如果在步骤S265中，判定不存在眼部区域，那么处理进入步骤S269，由于如果眼部区域不是充分大于一定的阈值，或者即使存在眼部区域，但发现人物闭眼，那么不能获得有效的像素信息，于是在步骤S265中，判定不存在眼部区域。
如果在步骤S267中，判定不存在高亮度区域，即，不存在亮度超过预定阈值的高亮度像素，那么判定光源未被成像，然后处理进入步骤S269。
在步骤S269，非彩色区域检测单元134和白平衡调整量确定单元123进行通常的白平衡处理。由于通常的白平衡处理基本上和上面参考图11说明的处理相同，因此其重复的说明被省略。如上所述，整个拍摄图像的白平衡被校正。
另一方面，如果在步骤S261，判定白平衡模式不是AWB模式，那么处理进入步骤S270。例如，如果用户自愿选择为每个光源预先设定的白平衡处理，或者进行用户为其输入光源的色温的白平衡处理，那么在步骤S261，确定白平衡模式不是AWB模式，处理进入步骤S270。
在步骤S270，控制单元113和图像处理单元114进行手动WB处理。即，控制单元113把根据经操作输入单元112输入的用户操作/选择确定的白平衡调整量，提供给图像处理单元114。图像处理单元114通过利用从控制单元113供给的根据用户操作/选择确定的白平衡调整量，调整整个图像的白平衡。
按照本技术，通过如上所述利用在眼球的区域(高亮度区域)中成像的光源，能够获得不受个体差异，比如肤色、眼睛颜色等影响的白平衡调整量。
另外，通过利用与被成像的光源有关的信息计算白平衡调整量(增益)，能够更精确地估计光源颜色，并进行白平衡处理，而不采用复杂的光源颜色估计方法。
通过单独对面部区域和其它区域局部进行白平衡控制，即使在面部和背景是用不同的照明照亮的时候，也能够分别最佳地进行白平衡控制。
上述一系列处理可以用硬件执行，也可用软件执行。当利用软件执行所述一系列处理时，构成所述软件的程序被安装在计算机中。这里，计算机包括嵌入专用硬件中的计算机，通过安排各种程序，能够执行各种功能的通用个人计算机，等等。
计算机的结构例子
图15表示利用程序，执行上述一系列处理的计算机的硬件的结构例子。
在计算机400中，中央处理器(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403通过总线404相互连接。
输入和输出接口405也被连接到总线404。输入单元406、输出单元407、存储单元408、通信单元409和驱动器410连接到输入和输出接口405。
输入单元406由键盘、鼠标、麦克风等构成。输出单元407由显示器、扬声器等构成。存储单元408由硬盘、非易失性存储器等构成。通信单元409由网络接口等构成。驱动器410驱动可拆卸记录介质411，比如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，上述一系列处理由通过输入和输出接口405和总线404，把保存在存储单元408中的程序载入RAM403中，并执行所述程序的CPU401进行。
由计算机(CPU410)执行的程序可作为套装介质等被记录在可拆卸记录介质411中，并提供。另外，可通过有线或无线传输介质，比如局域网、因特网和数字卫星广播，提供所述程序。
计算机可通过把可拆卸记录介质411装在驱动器410上，把程序安装在存储单元408上。另外，通过经有线或无线传输介质，利用通信单元409接收程序，可把程序安装在存储单元408中。另外，程序可被预先安装在ROM402或存储单元408中。
计算机执行的程序可以是依据其，以与在本说明书中描述的顺序，时序地进行处理的程序，或者可以是依据其，并行地或者在必要的定时，比如当程序被调用时进行处理的程序。
尽管用于描述上述一系列处理的各个步骤当然包括按这里说明的顺序，时序地进行的处理，不过所述各个步骤不一定按时序进行，在本说明书中，所述各个步骤包括并行地或者单独地进行的处理。
另外，本公开的实施例并不局限于上述实施例，可以作出各种修改，而不脱离本公开的要旨。
例如，可以云计算的形式构成本技术，其中多个设备通过网络，分担并且协同地处理某项功能。
另外，在上述流程图中描述的各个步骤可由一个设备执行，或者可由多个设备分担地执行。
此外，当一个步骤包括多个处理过程时，包括在所述步骤中的多个处理过程可由一个设备执行，或者可由多个设备分担地执行。
另外，上面描述成一个设备(或处理单元)的结构可被分割和构成为多个设备(或处理单元)。相反地，上面描述成多个设备(或处理单元)的结构可被全体地构成为一个设备(或处理单元)。另外，当然可以向各个设备(或各个处理单元)的结构中增加除上述结构以外的结构。此外，某个设备(或处理单元)的结构的一部分可被包括在另一个设备(或另一个处理单元)的结构中，只要系统的结构和操作实质相同。即，本技术并不局限于上述实施例，可以作出修改，而不脱离本技术的要旨。
尽管上面参考附图，详细说明了本公开的优选实施例，不过本公开并不局限于这样的例子。对本领域的普通技术人员来说，在权利要求书公开的技术思想内，可以实现各种变更和修正，应明白这样的变更和修正也属于本公开的技术范围。
另外，本技术可以采用以下结构。
(1)一种图像处理设备，包括：眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
(2)按照(1)所述的图像处理设备，其中图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整作为上述至少部分区域的图像中的被摄对象的面部区域的白平衡。
(3)按照(1)或(2)所述的图像处理设备，其中图像处理单元根据整个图像的颜色信息，调整除图像中的被摄对象的面部区域以外的区域中的白平衡。
(4)按照(1)-(3)任意之一所述的图像处理设备，其中图像处理单元通过按照设定的成像模式，利用由白平衡调整量计算单元计算的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡
(5)按照(1)-(3)任意之一所述的图像处理设备，其中图像处理单元通过按照图像的明亮度，利用由白平衡调整量计算单元计算的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡。
(6)按照(1)所述的图像处理设备，其中当眼部区域检测单元未检测到被摄对象的眼部区域，或者高亮度像素检测单元未检测到高亮度像素时，白平衡调整量计算单元根据整个图像的颜色信息，计算白平衡调整量。
(7)按照(1)-(6)任意之一的图像处理设备，其中当图像中的被摄对象的面部区域的大小小于预定大小时，白平衡调整量计算单元根据整个图像的颜色信息，计算白平衡调整量。
(8)一种由图像处理设备进行的图像处理方法，包括：检测图像中的被摄对象的眼部区域；根据检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；根据检测的高亮度像素，估计光源的颜色信息；根据估计的光源的颜色信息，计算白平衡调整量；和通过利用计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
(9)一种程序，所述程序使图像处理设备起以下作用：眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
本公开包含与在2012年9月10日向日本专利局提交的日本优先权专利申请JP2012-198544中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

Claims (9)

1.一种图像处理设备，包括：
眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；
高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测到的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；
光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测到的高亮度像素，估计光源颜色的信息；
白平衡调整量计算单元，所述白平衡调整量计算单元基于利用光源颜色估计单元估计的光源颜色的信息，计算白平衡调整量；以及
图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算出的白平衡调整量，调整图像中的至少部分区域的白平衡。
2.按照权利要求1所述的图像处理设备，
其中图像处理单元通过利用由白平衡调整量计算单元计算出的白平衡调整量，调整作为所述至少部分区域的图像中的被摄对象的面部区域的白平衡。
3.按照权利要求2所述的图像处理设备，
其中图像处理单元基于整个图像的颜色信息，调整除图像中的被摄对象的面部区域以外的区域中的白平衡。
4.按照权利要求2所述的图像处理设备，
其中图像处理单元根据设定的成像模式，利用由白平衡调整量计算单元计算出的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡。
5.按照权利要求2所述的图像处理设备，
其中图像处理单元根据图像的明亮度，利用由白平衡调整量计算单元计算出的白平衡调整量，只调整图像中的被摄对象的面部区域的白平衡。
6.按照权利要求1所述的图像处理设备，
其中当眼部区域检测单元未检测到被摄对象的眼部区域，或者高亮度像素检测单元未检测到高亮度像素时，白平衡调整量计算单元基于整个图像的颜色信息，计算白平衡调整量。
7.按照权利要求1所述的图像处理设备，
其中当图像中的被摄对象的面部区域的大小小于预定大小时，白平衡调整量计算单元基于整个图像的颜色信息，计算白平衡调整量。
8.一种由图像处理设备执行的图像处理方法，包括：
检测图像中的被摄对象的眼部区域；
基于检测到的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；
根据所检测到的高亮度像素，估计光源颜色的信息；
基于估计的光源颜色的信息，计算白平衡调整量；以及
通过利用计算出的白平衡调整量，调整图像中的至少部分区域的白平衡。
9.一种程序，所述程序使图像处理设备起以下作用：
眼部区域检测单元，所述眼部区域检测单元检测图像中的被摄对象的眼部区域；
高亮度像素检测单元，所述高亮度像素检测单元根据利用眼部区域检测单元检测的眼部区域中的像素，检测亮度高于预定亮度的高亮度像素；
光源颜色估计单元，所述光源颜色估计单元根据利用高亮度像素检测单元检测的高亮度像素，估计光源的颜色信息；
白平衡调整量计算单元，所述白平衡调整量计算单元根据利用光源颜色估计单元估计的光源的颜色信息，计算白平衡调整量；和
图像处理单元，所述图像处理单元通过利用由白平衡调整量计算单元计算的白平衡调整量，调整图像中的至少部分区域的白平衡。
CN201310393432.9A 2012-09-10 2013-09-03 图像处理设备、方法和程序 Pending CN103686114A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012198544A JP2014053855A (ja) 2012-09-10 2012-09-10 画像処理装置および方法、並びにプログラム
JP2012-198544 2012-09-10

Publications (1)

Publication Number Publication Date
CN103686114A true CN103686114A (zh) 2014-03-26

Family

ID=50232917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310393432.9A Pending CN103686114A (zh) 2012-09-10 2013-09-03 图像处理设备、方法和程序

Country Status (3)

Country Link
US (1) US20140071310A1 (zh)
JP (1) JP2014053855A (zh)
CN (1) CN103686114A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208364A (zh) * 2014-06-27 2015-12-30 联想(北京)有限公司 一种图像白平衡控制方法、装置及电子设备
CN105827977A (zh) * 2016-04-27 2016-08-03 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN105915875A (zh) * 2016-06-01 2016-08-31 广东欧珀移动通信有限公司 白平衡校准方法和装置及其校准参数获得方法和装置
CN106488114A (zh) * 2015-08-26 2017-03-08 奥林巴斯株式会社 图像处理装置以及图像处理方法
WO2017096858A1 (zh) * 2015-12-08 2017-06-15 乐视控股（北京）有限公司 图像白平衡的调整方法和装置
CN106878695A (zh) * 2017-02-13 2017-06-20 广东欧珀移动通信有限公司 白平衡处理的方法、装置和计算机设备
CN106973278A (zh) * 2014-11-11 2017-07-21 怀效宁 一种参照人脸色彩特征的自动白平衡装置及方法
CN108965845A (zh) * 2018-08-16 2018-12-07 Oppo广东移动通信有限公司 图像白平衡校准方法、装置、存储介质及终端
WO2019041493A1 (zh) * 2017-08-31 2019-03-07 广东欧珀移动通信有限公司 白平衡调整方法和装置
CN109561291A (zh) * 2018-10-23 2019-04-02 Oppo广东移动通信有限公司 色温补偿方法、装置、存储介质及移动终端

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170626A (ja) * 2015-03-12 2016-09-23 株式会社リコー 画像処理装置、画像処理方法、及び画像処理プログラム
JP6786850B2 (ja) * 2016-04-07 2020-11-18 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN106375610B (zh) * 2016-11-30 2020-05-01 瑞安市任想科技有限责任公司 一种照片处理方法和终端
KR102397396B1 (ko) 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
CN107635123B (zh) * 2017-10-30 2019-07-19 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN107801012B (zh) 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
EP3493539B1 (en) * 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN109032125B (zh) * 2018-05-31 2021-09-10 上海工程技术大学 一种视觉agv的导航方法
CN113255412B (zh) * 2020-02-13 2023-11-24 北京小米松果电子有限公司 文档图像的处理方法、装置及介质
WO2022118475A1 (ja) * 2020-12-04 2022-06-09 三菱電機株式会社 乗員温度推定装置、乗員状態検出装置、乗員温度推定方法、および、乗員温度推定システム
US20230017498A1 (en) * 2021-07-07 2023-01-19 Qualcomm Incorporated Flexible region of interest color processing for cameras
WO2024118403A1 (en) * 2022-11-30 2024-06-06 Qualcomm Incorporated Image sensor with multiple image readout

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270802A (en) * 1989-04-14 1993-12-14 Hitachi, Ltd. White balance adjusting device for video camera
JPH03238992A (ja) * 1990-02-15 1991-10-24 Sony Corp ビデオカメラ装置
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
JPH0823473A (ja) * 1994-07-05 1996-01-23 Canon Inc 撮像装置
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6870567B2 (en) * 2000-12-22 2005-03-22 Eastman Kodak Company Camera having user interface with verification display and color cast indicator
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7920723B2 (en) * 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8102465B2 (en) * 2006-11-07 2012-01-24 Fujifilm Corporation Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP5398156B2 (ja) * 2008-03-04 2014-01-29 キヤノン株式会社 ホワイトバランス制御装置およびその制御方法並びに撮像装置
KR100983037B1 (ko) * 2008-07-25 2010-09-17 삼성전기주식회사 자동 화이트 밸런스 조정 방법
US8908062B2 (en) * 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208364A (zh) * 2014-06-27 2015-12-30 联想(北京)有限公司 一种图像白平衡控制方法、装置及电子设备
CN106973278A (zh) * 2014-11-11 2017-07-21 怀效宁 一种参照人脸色彩特征的自动白平衡装置及方法
CN106488114A (zh) * 2015-08-26 2017-03-08 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN106488114B (zh) * 2015-08-26 2019-06-21 奥林巴斯株式会社 图像处理装置以及图像处理方法
WO2017096858A1 (zh) * 2015-12-08 2017-06-15 乐视控股（北京）有限公司 图像白平衡的调整方法和装置
CN105827977A (zh) * 2016-04-27 2016-08-03 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN105827977B (zh) * 2016-04-27 2019-01-04 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN105915875A (zh) * 2016-06-01 2016-08-31 广东欧珀移动通信有限公司 白平衡校准方法和装置及其校准参数获得方法和装置
CN106878695A (zh) * 2017-02-13 2017-06-20 广东欧珀移动通信有限公司 白平衡处理的方法、装置和计算机设备
WO2019041493A1 (zh) * 2017-08-31 2019-03-07 广东欧珀移动通信有限公司 白平衡调整方法和装置
CN108965845A (zh) * 2018-08-16 2018-12-07 Oppo广东移动通信有限公司 图像白平衡校准方法、装置、存储介质及终端
CN109561291A (zh) * 2018-10-23 2019-04-02 Oppo广东移动通信有限公司 色温补偿方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
US20140071310A1 (en) 2014-03-13
JP2014053855A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
CN103686114A (zh) 图像处理设备、方法和程序
CN105430367B (zh) 一种自动白平衡的方法和装置
CN105187810B (zh) 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
US9460521B2 (en) Digital image analysis
CN102572211B (zh) 估计光源的方法和设备
CN109729332B (zh) 一种自动白平衡矫正方法和系统
US6594384B1 (en) Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight
CN108551576B (zh) 一种白平衡方法及装置
CN107483906B (zh) 图像的白平衡处理方法、装置和终端设备
Jakubiec et al. Improving the accuracy of measurements in daylit interior scenes using high dynamic range photography
KR20000038213A (ko) 칼라 조명색 온도 검출 방법 및 장치
CN102104785A (zh) 摄像设备及其控制方法
CN109147005A (zh) 一种用于红外图像的自适应染色方法、系统、存储介质、终端
CN111800585A (zh) 一种智能照明控制系统
CN105718922B (zh) 虹膜识别的适应性调节方法和装置
CN112243120A (zh) 3d摄影模组镜头精度的标定方法、装置及设备
CN105611184A (zh) 数码影像装置白平衡调试方法及调试系统
US20050134702A1 (en) Sampling images for color balance information
JP4310317B2 (ja) 可視成分割合算出方法、およびそれを用いた光学機器
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법
JP2015092643A (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
US20070041064A1 (en) Image sampling method for automatic white balance
JP6525503B2 (ja) 画像処理装置および撮像装置
CN106454140A (zh) 一种信息处理方法及电子设备
CN115049530A (zh) 用于调试图像信号处理器的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140326