JP2014053855A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2014053855A
JP2014053855A JP2012198544A JP2012198544A JP2014053855A JP 2014053855 A JP2014053855 A JP 2014053855A JP 2012198544 A JP2012198544 A JP 2012198544A JP 2012198544 A JP2012198544 A JP 2012198544A JP 2014053855 A JP2014053855 A JP 2014053855A
Authority
JP
Japan
Prior art keywords
white balance
image
balance adjustment
light source
adjustment amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012198544A
Other languages
English (en)
Inventor
Hiroshige Kai
裕成 甲斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012198544A priority Critical patent/JP2014053855A/ja
Priority to US13/975,546 priority patent/US20140071310A1/en
Priority to CN201310393432.9A priority patent/CN103686114A/zh
Publication of JP2014053855A publication Critical patent/JP2014053855A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】最適なホワイトバランス制御を行うことができる。
【解決手段】高輝度領域検出部は、目領域情報取得部により取得された目領域全体のRGB情報から、眼球に写り込んでいる光源部分の画素情報のみを抽出するために、所定の輝度より高い高輝度領域を検出する。検出された高輝度領域の画素情報は、光源部分の画素情報として、光源色推定部に供給される。光源色推定部は、入力となる画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。本開示は、例えば、撮像した画像のホワイトバランスを調整する撮像装置に適用することができる。
【選択図】図２

Description

本開示は、画像処理装置および方法、並びにプログラムに関し、特に、最適なホワイトバランス制御を行うことができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、人物の白目部分からホワイトバランスの調整量を求める技術は存在していた。例えば、特許文献１には、撮像画像内において、人物の白目部分の色情報を検出し、検出された色情報からホワイトバランスの調整値を演算し、撮影画像のホワイトバランスの調整を行うことが記載されている。
また、例えば、特許文献２には、撮影画像内において、人物の白目部分が複数検出された場合に、複数の白目領域の色情報に基づき、画像のホワイトバランス補正係数を決定する方法が記載されている。
特開２００８−１８２３６９号公報 特開２０１１−１０９４１１号公報
上述した特許文献１および特許文献２は、白目領域の色情報からホワイトバランス補正量を算出するものである。しかしながら、白目の色情報は、個人差や充血などによる変動が大きく、ホワイトバランス補正量を算出するには、正確さを欠くことが多かった。
本開示は、このような状況に鑑みてなされたものであり、最適なホワイトバランス制御を行うことができるものである。
本開示の一側面の画像処理装置は、画像から被写体の目領域を検出する目領域検出部と、前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部とを備える。
前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行うことができる。
前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行うことができる。
前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行うことができる。
前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行うことができる。
前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算することができる。
前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算することができる。
本開示の一側面の画像処理方法は、画像処理装置が、画像から被写体の目領域を検出し、検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、検出された高輝度画素から、光源の色情報を推定し、推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う。
本開示の一側面のプログラムは、画像処理装置を、画像から被写体の目領域を検出する目領域検出部と、前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部として機能させる。
本開示の一側面においては、画像から被写体の目領域が検出され、検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素が検出され、検出された高輝度画素から、光源の色情報が推定される。そして、推定された光源の色情報に基づいて、ホワイトバランス調整量が計算され、計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整が行われる。
本開示によれば、最適なホワイトバランス制御を行うことができる。
本技術を適用した画像処理装置としての撮像装置の構成例を示す図である。 画像解析部およびホワイトバランス調整量決定部の構成を示すブロック図である。 撮像画像における顔領域および目領域を説明する図である。 目領域における光源の写り込み領域を説明する図である。 判別分析法を説明する図である。 判別分析法を用いた光源の写り込み領域の抽出を説明する図である。 画像記録処理を説明するフローチャートである。 ホワイトバランス処理の例を説明するフローチャートである。 顔局所ホワイトバランス処理の例を説明するフローチャートである。 顔局所ホワイトバランス処理の他の例を説明するフローチャートである。 通常ホワイトバランス処理の例を説明するフローチャートである。 ホワイトバランス処理の他の例を説明するフローチャートである。 ホワイトバランス処理のさらに他の例を説明するフローチャートである。 ホワイトバランス処理の他の例を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
[本技術の撮像装置の構成]
図１は、本技術を適用した画像処理装置としての撮像装置の構成例を示す図である。
図１の例において、撮像装置１０１は、画像撮像部１１１、操作入力部１１２、制御部１１３、画像処理部１１４、記録制御部１１５、記憶部１１６、表示制御部１１７、および表示部１１８を含むように構成されている。
画像撮像部１１１は、撮像した画像のRGBデータを、制御部１１３および画像処理部１１４に出力する。画像撮像部１１１は、入射光を集光するレンズ群、光量調整を行う絞り、露光時間を調整するシャッタ、入射した光の光電変換を行うイメージセンサ、読み出し回路、増幅回路、およびA/D変換器などにより構成されている。
操作入力部１１２は、ダイヤル、およびボタンなどにより構成され、ユーザによる設定、選択、または操作などに対応する信号を制御部１１３に入力する。例えば、操作入力部１１２は、撮影時に、ユーザにより選択された撮像モードや設定されたホワイトバランス処理方法（ホワイトバランスモード）を示す信号を制御部１１３に入力する。なお、ホワイトバランスモードがＭＷＢ（マニュアルホワイトバランス）モードを示している場合、操作入力部１１２は、ユーザの操作に対応してホワイトバランスの調整量も制御部１１３に入力する。
制御部１１３は、画像撮像部１１１から入力される画像のRGBデータを解析して、ホワイトバランスの調整量を求める。その際、制御部１１３は、操作入力部１１２を介して入力されるユーザにより選択された撮像モードやホワイトバランスモードを示す信号に応じた処理方法で、ホワイトバランスの調整量を求める。あるいは、制御部１１３は、画像撮像部１１１から入力される画像の明るさレベルに応じた処理方法で、ホワイトバランスの調整量を求める。
なお、制御部１１３における色の解析処理は、RGB信号のまま行ってもよいが、例えば、YCrCb信号など、解析の都合に合わせて変換して行ってもよい。
制御部１１３は、撮像モードやホワイトバランスモードを示す信号やホワイトバランスの調整量を画像処理部１１４に供給する。
画像処理部１１４は、画像撮像部１１１から入力される撮像画像に対して、ホワイトバランスやトーンカーブなど被写体に適応した画像信号処理を行い、画像処理が施された画像を、記録制御部１１５および表示制御部１１７に出力する。
ここで、制御部１１３からのホワイトバランスモードを示す信号がＡＷＢ（オートホワイトバランス）モードを示している場合、制御部１１３により求められたホワイトバランスの調整量が入力される。したがって、画像処理部１１４は、制御部１１３からの撮像モードやホワイトバランスの調整量に基づいて、画像撮像部１１１から入力される撮像画像の少なくとも一部の領域に対してホワイトバランスの調整を行う。
また、制御部１１３からのホワイトバランスモードを示す信号がＭＷＢ（マニュアルホワイトバランス）モードを示している場合、ユーザの操作に対応してホワイトバランスの調整量も制御部１１３から入力される。したがって、画像処理部１１４は、ユーザの操作に対応したホワイトバランスの調整量に基づいて、画像撮像部１１１から入力される撮像画像に対してホワイトバランスの調整を行う。
記録制御部１１５は、画像処理部１１４により画像処理が施された画像を、例えば、JPEG画像ファイルに変換して、記憶部１１６に記録する。記憶部１１６は、例えば、メモリカードなどで構成され、JPEG画像ファイルなどを記憶する。
表示制御部１１７は、画像処理部１１４により画像処理が施された画像を、表示部１１８に表示させる。表示部１１８は、LCD(Liquid Crystal Display)などで構成され、表示制御部１１７からの画像を表示する。
さらに、制御部１１３は、ＷＢ（ホワイトバランス）制御部１２１、画像解析部１２２、およびホワイトバランス調整量決定部１２３を含むように構成されている。画像撮像部１１１から入力される画像は、画像解析部１２２に入力され、また、必要に応じて、ＷＢ制御部１２１にも供給される。
ＷＢ制御部１２１は、操作入力部１１２を介して入力されるユーザにより選択された撮像モードやホワイトバランスモードを示す信号に応じて、画像解析部１２２の動作を制御する。あるいは、ＷＢ制御部１２１は、画像撮像部１１１から入力される画像の明るさレベルに応じて、画像解析部１２２の動作を制御する。また、ＷＢ制御部１２１は、撮像モードやホワイトバランスモードを示す信号を、画像処理部１１４に供給する。
画像解析部１２２は、ＷＢ制御部１２１からの制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域および目領域を検出し、目領域に写り込んだ光源に該当する領域を、画素データを用いた判別方法により検出する。また、画像解析部１２２は、ＷＢ制御部１２１からの制御のもと、撮像画像情報全体から無彩色領域を検出する。画像解析部１２２は、光源に該当する領域のRGBデータ、および無彩色領域のRGBデータの少なくとも一方を、ホワイトバランス調整量決定部１２３に供給する。
また、画像解析部１２２は、検出した顔領域の情報を、画像処理部１１４に供給する。
ホワイトバランス調整量決定部１２３は、入力されたR,G,Bそれぞれのデジタルデータから、撮影時の光源色を推定して、ホワイトバランスゲイン（調整量）を求める。ホワイトバランス調整量決定部１２３は、求めたホワイトバランス調整量を、画像処理部１１４に供給する。
[画像解析部およびホワイトバランス調整量決定部の構成]
図２は、画像解析部とホワイトバランス調整量決定部の構成例を示すブロック図である。なお、図２の構成例の説明には、適宜、図３および図４が参照される。
画像解析部１２２は、顔領域検出部１３１、目領域情報取得部１３２、高輝度領域検出部１３３、および無彩色領域検出部１３４を含むように構成される。
ホワイトバランス調整量決定部１２３は、光源色推定部１４１、およびホワイトバランス調整量計算部１４２を含むように構成される。
顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出し、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。すなわち、顔領域検出部１３１においては、図３に示される撮像画像２０３から、人物の顔領域２０１が検出される。
目領域情報取得部１３２は、顔領域検出部１３１により検出された顔領域の領域内における目領域を検出し、検出した目領域の画素情報を取得し、取得した目領域における画素情報（画素毎のRGB情報）を、高輝度領域検出部１３３に供給する。すなわち、目領域情報取得部１３２においては、図３に示される顔領域２０１から、目領域２０２が検出される。
ここで、複数の目領域が検出された場合、各領域のRGBデータを積分して、光源色の推定に用いてもよいし、顔や目の大きさ情報などから主要被写体を選出し、それに対して光源推定を行ってもよい。あるいは、各目領域において光源の推定を行い、個別にホワイトバランス処理を行ってもよい。
高輝度領域検出部１３３は、目領域情報取得部１３２により取得された目領域全体のRGB情報から、眼球に写り込んでいる光源部分の画素情報のみを抽出するために、所定の輝度より高い高輝度領域を検出する。
すなわち、高輝度領域検出部１３３においては、RGB情報やYCbCr情報を基にして、目領域全体から、図４に示される白目部分２１１、黒目部分２１２、および肌色部分２１３の画素情報を除外していく。これにより、図４に示される光源部分２１４の画素情報が抽出される。
例えば、画素の輝度情報Ｙをパラメータとして分散を基にしたに２値化処理を繰り返すことにより、肌色部分、黒目部分、白目部分の除外を行うことができる。なお、この分散を用いた２値化処理については、図５および図６を参照して詳しく後述される。
検出された高輝度領域の画素情報は、光源部分２１４の画素情報として、光源色推定部１４１に供給される。
顔領域検出部１３１において顔領域が検出されなかった場合、または、目領域情報取得部１３２において目領域が検出されなかった場合、顔領域検出部１３１または目領域情報取得部１３２は、無彩色領域検出部１３４に無彩色領域の検出を行わせる。さらに、高輝度領域検出部１３３において高輝度領域が検出されなかった場合、高輝度領域検出部１３３は、無彩色領域検出部１３４に無彩色領域の検出を行わせる。すなわち、画像解析部１２２においては、通常のホワイトバランス処理が行われる。
無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、無彩色領域を検出し、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
光源色推定部１４１には、高輝度領域検出部１３３からの高輝度領域の画素情報と無彩色領域検出部１３４からの無彩色領域の画素情報との少なくともどちらか一方が入力される。光源色推定部１４１は、入力となる画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。なお、光源推定方法は、これに限定されない。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、R=G=Bとなるようなゲイン（調整量）を計算し、計算したホワイトバランス調整量を、画像処理部１１４に供給する。
画像処理部１１４においては、画像の対象となる部分に対して、このホワイトバランス調整量をかけることで、ホワイトバランス制御を行う。
例えば、通常のホワイトバランス処理を行う場合、画像全体における無彩色領域の画素情報から、光源色が推定されて調整量が求められ、画像処理部１１４においては、無彩色領域から求められた調整量が撮像画像全体に対してかけられる。
一方、例えば、本技術のホワイトバランス処理を行う場合、目領域から検出された高輝度領域の画素情報から、光源色が推定されて調整量が求められ、画像処理部１１４においては、高輝度領域から求められた調整量が撮像画像における顔領域に対してかけられる。
なお、以下、この本技術のホワイトバランス処理を、顔局所ホワイトバランス処理とも称する。
これにより、顔を照らす光源に対して適切なホワイトバランス制御を行うことが可能となる。この結果、撮像シーンにおいて、光源推定不可能な無彩色被写体が存在していたとしても、顔領域のホワイトバランスの色ずれを抑制することができる。
なお、顔領域にホワイトバランスの調整量をかける際、無彩色領域の画素情報から光源色推定も行っておき、画像処理部１１４において、無彩色領域から求められた調整量を撮像画像における顔領域以外の領域に対してかけるようにしてもよい。
これにより、撮像画像において、顔領域とそれ以外の領域とで異なる照明があたっていたとしても、最適なホワイトバランス制御を行うことができる。
以上のように、本技術によれば、目領域に写り込んだ光源の色情報を用いて、最適なホワイトバランス調整を行うことができる。
なお、白目の画素情報に光源の写り込みが検出されない場合、白目領域の画素の積算値から光源推定を行うようにすることができる。このようにすることで、日陰などにおける撮影で光源の白目への写り込みがない場合においても、ホワイトバランス調整量を算出することができる。ただし、この場合、個人差や充血の影響がある。
[高輝度領域検出方法]
次に、図５を参照して、高輝度領域検出部１３３における高輝度領域検出方法の１つとして行われる分散を用いた２値化処理について説明する。
分散を用いた２値化処理とは、判別分析法(discriminnant analysis method)のことであり、分離度(separation metrics)という値が最大になる閾値を求め、自動的に２値化を行う手法である。判別分析法は、また、大津の２値化とも呼ばれている。
例えば、図５に示されるように、目領域情報取得部１３２により取得された目領域の画素単位の輝度Ｙを基にプロットを行い、閾値ｔで２値化したとき、閾値ｔよりも輝度値が小さい側（暗クラス）の画素数をω１、平均をｍ１、分散をσ１とする。また、輝度値が大きい側（明クラス）の画素数をω２、平均をｍ２、分散をσ２とし、画像全体の画素数をωｔ、平均をｍｔ、分散をσｔとする。このとき、クラス内分散σｗ ２は、次の式（１）で表わされる。
Figure 2014053855
クラス間分散σｂ ２は、次の式（２）で表わされる。
Figure 2014053855
ここで、全分散σｔは、次の式（３）で表わすことができることから、求めるクラス間分散とクラス内分散との比である分離度は、次の式（４）となり、この分離度が最大となる閾値ｔを求めればよい。
Figure 2014053855
Figure 2014053855
なお、実際には、全分散σｔは閾値に関係なく一定なので、クラス間分散σｂ ２は分離度が最大となる閾値を求めればよい。さらに、クラス間分散の式（２）の分母も閾値に関係なく一定なので、クラス間分散の分子ω１ω２（ｍ１−ｍ２）２が最大となる閾値を求めればよい。
以上のような判別分析法を繰り返し行うことで、光源の写り込みを特定することができる。例えば、判別分析法１回目においては、図６のＡに示されるように、目領域の画素情報から、閾値ｔを求めて、暗い領域と明るい領域に分けることができる。これにより、白目領域や光源の写り込み領域を抽出することができる。
さらに、判別分析法２回目を行うことで、図６のＢに示されるように、１回目で判別された明るい領域の画素情報から、閾値ｔ´を求めて、白目領域と光源の写り込み領域とに分けることができる。これにより、光源推定処理に必要な光源の写り込み領域を抽出することができる。
[画像記録処理]
次に、図７のフローチャートを参照して、撮像装置１０１の画像記録処理について説明する。
ステップＳ１１１において、画像撮像部１１１は、画像を撮像する。すなわち、画像撮像部１１１において、イメージセンサによって受光されて光電変換された画像信号は、所定の信号処理が施されて、制御部１１３および画像処理部１１４に出力される。
ステップＳ１１２において、制御部１１３および画像処理部１１４は、ホワイトバランス処理を行う。このホワイトバランス処理については、図８を参照して後述される。ステップＳ１１２の処理により、画像撮像部１１１からの画像に対して、ホワイトバランス処理が行われ、処理が行われた撮像画像が記録制御部１１５に出力される。
ステップＳ１１３において、記録制御部１１５は、画像処理部１１４からの撮像画像を、JPEG画像ファイルに変換して、記憶部１１６に記録する。
[ホワイトバランス処理の例]
次に、図８のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
なお、図８の例においては、既存の撮像モードに応じたホワイトバランス処理について説明する。すなわち、本技術の顔局所ホワイトバランス処理を行う場合、撮像シーン内に人物が存在する必要がある。そこで、図８の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、ユーザが人物ありの撮像モードを意図的に選択したか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
ＷＢ制御部１２１は、ステップＳ１３１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ１３１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ１３２に進む。
ステップＳ１３２において、ＷＢ制御部１２１は、撮像モードが、該当シーンモードであるか否かを判定する。ユーザが意図的にシーンモード選択で、ポートレートモードや夜景＋人物モードなどを選択している場合は、本技術のホワイトバランス処理に見合うシーンであると判定され、処理は、ステップＳ１３３に進む。なお、該当シーンモードとしてのポートレートモードや夜景＋人物モードとしたのでは、人物への光源と背景への光源が異なる場合が多いからである。また、ポートレートモードや夜景＋人物モードは一例であり、人物ありの撮像モードであれば、他の撮像モードであってもよい。なお、このホワイトバランス処理においては、このステップＳ１３２自体を設けないようにしてもよい。
ステップＳ１３３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
ステップＳ１３４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ１３４において、顔領域があると判定された場合、処理は、ステップＳ１３５に進む。
ステップＳ１３５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ１３５において、目領域があると判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
ステップＳ１３７において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ１３７において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ１３８に進む。
ステップＳ１３８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して後述される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
また、ステップＳ１３２において、該当シーンではないと判定された場合、すなわち、ユーザが意図的に、人物なしの撮像モードとして、例えば、風景／夜景モードや料理モード、花火モードなどを選択している場合、処理は、ステップＳ１３９に進む。
ステップＳ１３４において、顔領域がないと判定された場合、処理は、ステップＳ１３９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
また、ステップＳ１３５において、目領域がない場合、処理は、ステップＳ１３９に進む。なお、ステップＳ１３５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
ステップＳ１３７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、処理は、ステップＳ１３９に進む。
ステップＳ１３９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して後述する。これにより、撮像画像全体にホワイトバランス補正が行われる。
一方、ステップＳ１３１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ１４０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う。このような場合、ステップＳ１３１において、ＡＷＢモードではないと判定され、処理は、ステップＳ１４０に進む。
ステップＳ１４０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
[顔局所ホワイトバランス処理の例]
次に、図９のフローチャートを参照して、図８のステップＳ１３８における顔局所ホワイトバランス処理を説明する。
図８のステップＳ１３７により、高輝度領域の情報が、光源部分の画素情報として、光源色推定部１４１に供給される。
これに対応して、ステップＳ１６１において、光源色推定部１４１は、入力となる高輝度領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求める。そして、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
ステップＳ１６２において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域内のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
また、ステップＳ１６３において、無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、無彩色領域を検出し、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
ステップＳ１６４において、光源色推定部１４１は、入力となる無彩色領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
ステップＳ１６５において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域外のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
画像処理部１１４は、ステップＳ１６６において、顔領域検出部１３１からの顔領域の情報に基づき、顔領域内および顔領域外のホワイトバランス調整量を用いて、撮像画像の顔領域内外のホワイトバランス調整を行う。
すなわち、画像処理部１１４は、顔領域内については、ステップＳ１６２により算出された顔領域内のホワイトバランスゲインが用いられて、ホワイトバランスが調整される。一方、顔領域外については、ステップＳ１６５により算出された顔領域以外のホワイトバランスゲインが用いられて、ホワイトバランスが調整される。
以上により、撮像画像において、顔領域とそれ以外の領域とで異なる照明があたっていたとしても、最適なホワイトバランス制御を行うことができる。
なお、次に説明するように、顔領域のみにホワイトバランス調整を行うようにしてもよい。
[顔局所ホワイトバランス処理の例]
次に、図１０のフローチャートを参照して、図８のステップＳ１３８における顔局所ホワイトバランス処理の他の例を説明する。
図８のステップＳ１３７により、高輝度領域の情報が、光源部分の画素情報として、光源色推定部１４１に供給される。
これに対応して、ステップＳ１８１において、光源色推定部１４１は、入力となる高輝度領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求める。そして、入力となる画素毎のRGB信号が、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
ステップＳ１８２において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域内のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
画像処理部１１４は、ステップＳ１８３において、顔領域検出部１３１からの顔領域の情報に基づき、顔領域内のホワイトバランス調整量を用いて、撮像画像の顔領域内のホワイトバランス調整を行う。
以上により、顔を照らす光源に対して適切なホワイトバランス制御を行うことが可能となる。この結果、撮像シーンにおいて、光源推定不可能な無彩色被写体が存在していたとしても、顔領域のホワイトバランスの色ずれを抑制することができる。
[通常ホワイトバランス処理の例]
次に、図１１のフローチャートを参照して、図８のステップＳ１３９における通常ホワイトバランス処理の他の例を説明する。
ステップＳ１９１において、無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、あるいは、顔領域検出部１３１、目領域情報取得部１３２、または高輝度領域検出部１３３からの各検出結果に応じて、撮像画像のRGBデータから、無彩色領域を検出する。無彩色領域検出部１３４は、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
ステップＳ１９２において、光源色推定部１４１は、入力となる無彩色領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
ステップＳ１９３において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、ホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
画像処理部１１４は、ステップＳ１９４において、ホワイトバランス調整量を用いて、撮像画像のホワイトバランス調整を行う。
以上のように、顔局所ホワイトバランス処理が必要ではない撮像モードの場合や、顔領域、目領域、または、高輝度領域が検出されない場合には、通常のホワイトバランス調整処理が行われる。
[ホワイトバランス処理の他の例]
次に、図１２のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
なお、図１２の例においては、発光撮影か否かに応じたホワイトバランス処理について説明する。すなわち、人物を前にした発光撮影の場合、ストロボが照射された人物に対する適切なホワイトバランス調整量と、ストロボが届かないような背景に対する適切なホワイトバランス調整量とは異なる。これを同一のホワイトバランス調整量でフレーム全体のホワイトバランス処理を行うことにより、人物に対する色被りが発生する場合がある。そこで、図１２の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、ストロボ発光したか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
ＷＢ制御部１２１は、ステップＳ２１１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２１１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ２１２に進む。
ステップＳ２１２において、ＷＢ制御部１２１は、発光撮影を行ったか否かを判定する。ユーザが強制的に発光を選択したか、あるいは、ストロボが自動発光して撮像が行われた場合、ステップＳ２１２において、発光撮影が行われたと判定され、処理は、ステップＳ２１３に進む。
ステップＳ２１３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
ステップＳ２１４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２１４において、顔領域があると判定された場合、処理は、ステップＳ２１５に進む。
ステップＳ２１５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２１５において、目領域があると判定された場合、処理は、ステップＳ２１６に進む。ステップＳ２１６において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
ステップＳ２１７において、高輝度領域検出部１３３は、発光（ストロボ）光源の写り込みがあるか否かを判定する。すなわち、ステップＳ２１７においては、目領域の画素情報の中に、予め設定されたストロボ光源の色情報に該当する高輝度領域があるか否かが判定される。ステップＳ２１７において、発光光源の写り込みがある、すなわち、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２１８に進む。
ステップＳ２１８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して上述した処理と基本的に同様な処理であるため、繰り返しになるので、その説明は省略されるが、この場合、ストロボ光源に対する調整量が求められて、顔領域に局所的にホワイトバランス調整が行われる。なお、ストロボ発光の写り込みが存在する場合は、ストロボ光源用のホワイトバランス調整量を予め設定しておき、予め設定されたストロボ光源用のホワイトバランス調整量を利用することも可能である。
また、ユーザが非発光を選択、または、ストロボが自動発光しなかった場合、ステップＳ２１２において、発光撮影ではないと判定され、処理は、ステップＳ２１９に進む。
ステップＳ２１４において、顔領域がないと判定された場合、処理は、ステップＳ２１９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
また、ステップＳ２１５において、目領域がない場合、処理は、ステップＳ２１９に進む。なお、ステップＳ２１５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
ステップＳ２１７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２１９に進む。
ステップＳ２１９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様であるため、繰り返しになるので、その説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
一方、ステップＳ２１１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２２０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う。この場合、ステップＳ２１１において、ＡＷＢモードではないと判定され、処理は、ステップＳ２２０に進む。
ステップＳ２２０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
[ホワイトバランス処理の例]
次に、図１３のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理の他の例について説明する。
なお、図１３の例においては、新たに準備された顔局所ホワイトバランスモードの選択に応じたホワイトバランス処理について説明する。すなわち、本技術の顔局所ホワイトバランス処理を行う顔局所ホワイトバランスモードを、数あるホワイトバランスモードの１つの選択肢として予めユーザが選択可能な状態として準備する。図１３の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、顔局所ホワイトバランスモードがユーザによって選択されているか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
ＷＢ制御部１２１は、ステップＳ２４１において、撮像時のホワイトバランスモードが顔局所ＷＢモードであるか否かを判定する。ステップＳ２４１において、顔局所ＷＢモードであると判定された場合、処理は、ステップＳ２４２に進む。
ステップＳ２４２において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
ステップＳ２４３において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２４３において、顔領域があると判定された場合、処理は、ステップＳ２４４に進む。
ステップＳ２４４において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２４４において、目領域があると判定された場合、処理は、ステップＳ２４５に進む。ステップＳ２４５において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
ステップＳ２４６において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ２４６において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２４７に進む。
ステップＳ２４７において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して上述した処理と基本的に同様の処理を行うのでその説明は繰り返しになるので省略される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
一方、ステップＳ２４１において、顔局所ＷＢモードではないと判定された場合、処理は、ステップＳ２４８に進む。ステップＳ２４８において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２４８において、ＡＷＢモードであると判定された場合、処理は、ステップＳ２４９に進む。
ステップＳ２４３において、顔領域がないと判定された場合、処理は、ステップＳ２４９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
また、ステップＳ２４４において、目領域がない場合、処理は、ステップＳ２４９に進む。なお、ステップＳ２４４においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
ステップＳ２４６において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２４９に進む。
ステップＳ２４９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様の処理を行うのでその説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
また、ステップＳ２４８において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２５０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う場合、ステップＳ２４８において、ＡＷＢモードではないと判定され、処理は、ステップＳ２５０に進む。
ステップＳ２５０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
[ホワイトバランス処理の他の例]
次に、図１４のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
なお、図１４の例においては、撮影シーンの明るさレベルに応じたホワイトバランス処理について説明する。すなわち、発光させずに夜景と人物とを撮像する場合や、広い屋内で人物を撮像する場合、前景の人物に対する適切なホワイトバランス調整量と、背景に対する適切なホワイトバランス調整量とは異なる。特に、夜景は、様々な光源が混在し、また、光源を有効に推定する画素領域が不足することも少なくないが、これを、同一のホワイトバランス調整量でフレーム全体のホワイトバランス処理を行うことで、人物に対する色被りが発生する恐れがある。
そこで、図１４の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、撮影シーンが屋内や夜景時である場合の明るさレベルか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
ＷＢ制御部１２１は、ステップＳ２６１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２６１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ２６２に進む。
ステップＳ２６２において、ＷＢ制御部１２１は、画像撮像部１１１からの画像の明るさレベルに基づいて、撮影シーンが屋内／夜屋外か否かを判定する。画像の明るさレベル値を予め設定された閾値と比較した結果、ステップＳ２６２において、シーンが屋内環境または夜の屋外であると判定された場合、処理は、ステップＳ２６３に進む。
ステップＳ２６３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
ステップＳ２６４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２６４において、顔領域があると判定された場合、処理は、ステップＳ２６５に進む。
ステップＳ２６５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２６５において、目領域があると判定された場合、処理は、ステップＳ２６６に進み、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
ステップＳ２６７において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ２６７において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２６８に進む。
ステップＳ２６８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して後述される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
また、ステップＳ２６２において、日中屋外での撮影ように、明るさレベルが十分に高い場合、屋内／夜屋外ではないと判定され、処理は、ステップＳ２６９に進む。
ステップＳ２６４において、顔領域がないと判定された場合、処理は、ステップＳ２６９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
また、ステップＳ２６５において、目領域がない場合、処理は、ステップＳ２６９に進む。なお、ステップＳ２６５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
ステップＳ２６７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２６９に進む。
ステップＳ２６９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様であるため、繰り返しになるので、その説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
一方、ステップＳ２６１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２７０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う場合、ステップＳ２６１において、ＡＷＢモードではないと判定され、処理は、ステップＳ２７０に進む。
ステップＳ２７０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
以上のように、本技術においては、眼球への光源の写り込み（高輝度領域）を利用することで、肌色や目の色味などの個人差に影響を受けないホワイトバランス調整量を求めることが可能となる。
また、光源の写り込み情報を利用してホワイトバランス調整量（ゲイン）の計算を行うことにより、複雑な光源色推定手法を用いずとも、より高精度な光源色推定とホワイトバランスの処理を行うことができる。
さらに、ホワイトバランス制御を、顔領域とそれ以外の領域に分けて局所的に行うことにより、顔と背景で異なる照明が当っている場合にも、それぞれに最適なホワイトバランス制御が可能となる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
[コンピュータの構成例]
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
コンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。
入力部４０６は、キーボード、マウス、マイクロホンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
を備える画像処理装置。
（２） 前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行う
前記（１）に記載の画像処理装置。
（３） 前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行う
前記（１）または（２）に記載の画像処理装置。
（４） 前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６） 前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
前記（１）に記載の画像処理装置。
（７） 前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
前記（１）または（６）に記載の画像処理装置。
（８） 画像処理装置が、
画像から被写体の目領域を検出し、
検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、
検出された高輝度画素から、光源の色情報を推定し、
推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、
計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う
画像処理方法。
（９） 画像処理装置を、
画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
して機能させるプログラム。
１０１ 撮像装置， １１１ 画像撮像部， １１２ 操作入力部， １１３ 制御部， １１４ 画像処理部， １１５ 記録制御部， １１６ 記憶部， １１７ 表示制御部， １１８ 表示部， １２１ ＷＢ制御部， １２２ 画像解析部， １２３ ホワイトバランス調整量決定部， １３１ 顔領域検出部， １３２ 目領域情報取得部， １３３ 高輝度領域検出部， １３４ 無彩色領域検出部， １４１ 光源色推定部， １４２ ホワイトバランス調整量計算部

Claims (9)

  1. 画像から被写体の目領域を検出する目領域検出部と、
    前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
    前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
    前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
    前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
    を備える画像処理装置。
  2. 前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行う
    請求項１に記載の画像処理装置。
  3. 前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行う
    請求項２に記載の画像処理装置。
  4. 前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
    請求項２に記載の画像処理装置。
  5. 前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
    請求項２に記載の画像処理装置。
  6. 前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
    請求項１に記載の画像処理装置。
  7. 前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
    請求項１に記載の画像処理装置。
  8. 画像処理装置が、
    画像から被写体の目領域を検出し、
    検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、
    検出された高輝度画素から、光源の色情報を推定し、
    推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、
    計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う
    画像処理方法。
  9. 画像処理装置を、
    画像から被写体の目領域を検出する目領域検出部と、
    前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
    前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
    前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
    前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
    して機能させるプログラム。
JP2012198544A 2012-09-10 2012-09-10 画像処理装置および方法、並びにプログラム Pending JP2014053855A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012198544A JP2014053855A (ja) 2012-09-10 2012-09-10 画像処理装置および方法、並びにプログラム
US13/975,546 US20140071310A1 (en) 2012-09-10 2013-08-26 Image processing apparatus, method, and program
CN201310393432.9A CN103686114A (zh) 2012-09-10 2013-09-03 图像处理设备、方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012198544A JP2014053855A (ja) 2012-09-10 2012-09-10 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2014053855A true JP2014053855A (ja) 2014-03-20

Family

ID=50232917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012198544A Pending JP2014053855A (ja) 2012-09-10 2012-09-10 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20140071310A1 (ja)
JP (1) JP2014053855A (ja)
CN (1) CN103686114A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170626A (ja) * 2015-03-12 2016-09-23 株式会社リコー 画像処理装置、画像処理方法、及び画像処理プログラム
CN106375610A (zh) * 2016-11-30 2017-02-01 努比亚技术有限公司 一种照片处理方法和终端
CN109032125A (zh) * 2018-05-31 2018-12-18 上海工程技术大学 一种视觉agv的导航方法
JP2020528703A (ja) * 2017-10-30 2020-09-24 オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体
JPWO2022118475A1 (ja) * 2020-12-04 2022-06-09

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208364A (zh) * 2014-06-27 2015-12-30 联想(北京)有限公司 一种图像白平衡控制方法、装置及电子设备
CN106973278B (zh) * 2014-11-11 2018-08-28 深圳瑞尔图像技术有限公司 一种参照人脸色彩特征的自动白平衡装置及方法
JP6569176B2 (ja) * 2015-08-26 2019-09-04 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法
CN105872500A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 图像白平衡的调整方法和装置
JP6786850B2 (ja) * 2016-04-07 2020-11-18 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN105827977B (zh) * 2016-04-27 2019-01-04 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN105915875B (zh) * 2016-06-01 2017-10-13 广东欧珀移动通信有限公司 白平衡校准方法和装置及其校准参数获得方法和装置
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN106878695A (zh) * 2017-02-13 2017-06-20 广东欧珀移动通信有限公司 白平衡处理的方法、装置和计算机设备
WO2019041493A1 (zh) * 2017-08-31 2019-03-07 广东欧珀移动通信有限公司 白平衡调整方法和装置
KR102397396B1 (ko) 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
CN107801012B (zh) 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
EP3493539B1 (en) * 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN108965845B (zh) * 2018-08-16 2019-10-01 Oppo广东移动通信有限公司 图像白平衡校准方法、装置、存储介质及终端
CN109561291A (zh) * 2018-10-23 2019-04-02 Oppo广东移动通信有限公司 色温补偿方法、装置、存储介质及移动终端
CN113255412B (zh) * 2020-02-13 2023-11-24 北京小米松果电子有限公司 文档图像的处理方法、装置及介质
US12052516B2 (en) * 2021-07-07 2024-07-30 Qualcomm Incorporated Flexible region of interest color processing for cameras
WO2024118403A1 (en) * 2022-11-30 2024-06-06 Qualcomm Incorporated Image sensor with multiple image readout

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270802A (en) * 1989-04-14 1993-12-14 Hitachi, Ltd. White balance adjusting device for video camera
JPH03238992A (ja) * 1990-02-15 1991-10-24 Sony Corp ビデオカメラ装置
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
JPH0823473A (ja) * 1994-07-05 1996-01-23 Canon Inc 撮像装置
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6870567B2 (en) * 2000-12-22 2005-03-22 Eastman Kodak Company Camera having user interface with verification display and color cast indicator
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7920723B2 (en) * 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8102465B2 (en) * 2006-11-07 2012-01-24 Fujifilm Corporation Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP5398156B2 (ja) * 2008-03-04 2014-01-29 キヤノン株式会社 ホワイトバランス制御装置およびその制御方法並びに撮像装置
KR100983037B1 (ko) * 2008-07-25 2010-09-17 삼성전기주식회사 자동 화이트 밸런스 조정 방법
US8908062B2 (en) * 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170626A (ja) * 2015-03-12 2016-09-23 株式会社リコー 画像処理装置、画像処理方法、及び画像処理プログラム
CN106375610A (zh) * 2016-11-30 2017-02-01 努比亚技术有限公司 一种照片处理方法和终端
CN106375610B (zh) * 2016-11-30 2020-05-01 瑞安市任想科技有限责任公司 一种照片处理方法和终端
JP2020528703A (ja) * 2017-10-30 2020-09-24 オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． ホワイトバランス処理方法、電子機器、およびコンピュータ可読記憶媒体
CN109032125A (zh) * 2018-05-31 2018-12-18 上海工程技术大学 一种视觉agv的导航方法
JPWO2022118475A1 (ja) * 2020-12-04 2022-06-09
WO2022118475A1 (ja) * 2020-12-04 2022-06-09 三菱電機株式会社 乗員温度推定装置、乗員状態検出装置、乗員温度推定方法、および、乗員温度推定システム

Also Published As

Publication number Publication date
US20140071310A1 (en) 2014-03-13
CN103686114A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
JP2014053855A (ja) 画像処理装置および方法、並びにプログラム
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US9460521B2 (en) Digital image analysis
CN110798592B (zh) 基于视频图像的物体移动侦测方法、装置、设备及存储介质
TWI532385B (zh) 白平衡處理方法及其處理裝置
CN103699877A (zh) 提高人脸识别效果的方法和系统
Ismail et al. Development of a webcam based lux meter
US20200404149A1 (en) Automatic exposure module for an image acquisition system
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN111654643B (zh) 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN108875625B (zh) 一种识别方法和电子设备
KR20120069539A (ko) 광원 추정 장치 및 광원 추정 방법
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
US9992847B2 (en) Self-adjusting sensor for sensing daylight
JP6525503B2 (ja) 画像処理装置および撮像装置
CN111666869B (zh) 一种基于宽动态处理的人脸识别方法、装置及电子设备
US20140327796A1 (en) Method for estimating camera response function
CN111160299A (zh) 活体识别方法及装置
US20220375131A1 (en) Camera device and image processing method
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
CN114143420A (zh) 双传感器摄像系统及其隐私保护摄像方法
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
US11711619B2 (en) Controlling exposure based on inverse gamma characteristic
CN112752031A (zh) 图像采集检测方法、装置、电子设备及存储介质
JP6188360B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに判別装置