JP2014014044A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2014014044A
JP2014014044A JP2012151343A JP2012151343A JP2014014044A JP 2014014044 A JP2014014044 A JP 2014014044A JP 2012151343 A JP2012151343 A JP 2012151343A JP 2012151343 A JP2012151343 A JP 2012151343A JP 2014014044 A JP2014014044 A JP 2014014044A
Authority
JP
Japan
Prior art keywords
white balance
balance gain
ambient light
light
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012151343A
Other languages
English (en)
Inventor
Takuji Yoshida
卓司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012151343A priority Critical patent/JP2014014044A/ja
Priority to US13/894,685 priority patent/US20140009683A1/en
Priority to CN201310264506.9A priority patent/CN103533316A/zh
Publication of JP2014014044A publication Critical patent/JP2014014044A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】補助光を発光させて撮像した画像の色合いを自然な色合いに調整する。
【解決手段】環境光ホワイトバランスゲイン生成部は、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する。合成ホワイトバランスゲイン生成部は、補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する。ホワイトバランスゲイン補正部は、前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正する。
【選択図】図２

Description

本技術は、画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、ホワイトバランス処理を行う画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。
撮像装置においては、撮像時の光源の下で色が正確に表現されるように画像の色合いを調整するホワイトバランス処理がよく用いられる。このホワイトバランス処理においては、撮像装置は、撮影環境における光である環境光の色温度に合わせて、適切なホワイトバランスゲインを決定し、そのホワイトバランスゲインにより色合いを調整する。この色温度は、様々な光源からの光の色を温度により表わしたものである。
ここで、撮像装置がフラッシュ光などの補助光を発光させて撮像する場合には、環境光以外に、補助光も撮像装置に入射されるため、環境光におけるホワイトバランスゲインをそのまま使用すると適切な調整をすることができないおそれがある。そこで、補助光を発光させて撮像する場合に、補助光および環境光の光量の比率を求めて、その比率から適正なホワイトバランスゲインを決定する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１０−１９３００２号公報
上述の従来技術では、環境光および補助光の各々の光量の比率で補助光におけるホワイトバランスゲインと環境光におけるホワイトバランスゲインとを合成し、合成したゲインを、補助光を発光させて撮像した画像に対する適正なゲインとしている。しかしながら、上述の従来技術では、補助光を発光させて撮像した画像の色合いが不自然となるおそれがある。例えば、環境光の光量や色温度が補助光と比較して非常に低い場合には、補助光と比較して環境光が暗く見えるため、光量の比率により合成したゲインでは、環境光の色合いが十分に出ないおそれがある。一方、環境光の色合いが不足していると、環境光の雰囲気が損なわれた不自然な色合いの画像となってしまう。
本技術はこのような状況に鑑みて生み出されたものであり、補助光を発光させて撮像した画像の色合いを自然な色合いに調整することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成部と、補助光の色温度に対応する補助光ホワイトバランスゲインと上記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成部と、上記補助光に対する上記環境光の比率に応じて上記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正部とを具備し、上記補正後の合成ホワイトバランスゲインを上記補助光および上記環境光を含む混合光の下で撮影された画像に適用する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、補助光に対する上記環境光比率に応じた補正が合成ホワイトバランスゲインに対して行われるという作用をもたらす。
また、この第１の側面において、上記ホワイトバランスゲイン補正部は、前記ホワイトバランスゲイン補正部は、前記補助光に対する前記環境光の光量の比率に応じて基準色温度を増減する補正を前記合成ホワイトバランスゲインに対して行ってもよい。これにより、補助光に対する環境光の光量の比率に応じて基準色温度を増減する補正が行われるという作用をもたらす。
また、この第１の側面において、上記ホワイトバランス補正部は、上記ホワイトバランス補正部は、上記環境光ホワイトバランスゲインから上記環境光の色温度を生成して上記補助光に対する上記取得した環境光の色温度の比率に応じて基準色温度を増減する補正を上記合成ホワイトバランスゲインに対して行ってもよい。これにより、環境光ホワイトバランスゲインから上記環境光の色温度が生成され、補助光に対する環境光の色温度の比率が低いほど基準色温度を高くする補正が行われるという作用をもたらす。
また、この第１の側面において、上記ホワイトバランスゲイン補正部は、前記ホワイトバランスゲイン補正部は、前記環境光の下で撮像された画像内の被写体までの奥行きが小さいほど前記補助光に対する前記環境光の比率が低いと判断してもよい。これにより、奥行きが小さいほど補助光に対する環境光の比率が低いと判断されるという作用をもたらす。
また、この第１の側面において、上記画像は複数の領域を有し、上記ホワイトバランスゲイン補正部は、上記複数の領域の各々において上記補助光に対する上記環境光の比率を求めて上記複数の領域の各々において上記合成ホワイトバランスを補正してもよい。これにより、複数の領域の各々において合成ホワイトバランスが補正されるという作用をもたらす。
また、この第１の側面において、上記補正後のホワイトバランスゲインを使用して上記混合光の下で撮像された画像に対してホワイトバランス処理を実行するホワイトバランス処理部をさらに具備してもよい。これにより、補正後のホワイトバランスゲインを使用して混合光の下で撮像された画像に対してホワイトバランス処理が実行されるという作用をもたらす。
本技術によれば、補助光を発光させて撮像した画像の色合いを自然な色合いに調整することができるという優れた効果を奏し得る。
第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態における環境光ホワイトバランスゲイン生成部の一構成例を示すブロック図である。 第１の実施の形態における合成ホワイトバランスゲイン生成部の一構成例を示すブロック図である。 第１の実施の形態におけるホワイトバランスゲイン補正部の一構成例を示すブロック図である。 第１の実施の形態におけるホワイトバランス処理部の一構成例を示すブロック図である。 第１の実施の形態におけるライブビュー画像データの一例を示す図である。 第１の実施の形態における複数のブロックに分割したライブビュー画像データの一例を示す図である。 第１の実施の形態における環境光寄与率と露出値の差分との間の関係の一例を示す図である。 第１の実施の形態における補正係数と環境光露出値との間の関係の一例を示す図である。 第１の実施の形態における補正前後のホワイトバランスゲインの一例を示す図である。 第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 第２の実施の形態における画像処理装置の一構成例を示すブロック図である。 第２の実施の形態におけるホワイトバランスゲイン補正部の一構成例を示すブロック図である。 第２の実施の形態の変形例における補正係数と色温度との間の関係の一例を示す図である。 第３の実施の形態における画像処理装置の一構成例を示すブロック図である。 第３の実施の形態におけるホワイトバランスゲイン補正部の一構成例を示すブロック図である。 第３の実施の形態における補助光の届く範囲の一例を示す図である。 第３の実施の形態の変形例における補正係数と奥行情報との間の関係の一例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（環境光の光量に応じてホワイトバランスゲインを補正する例）
２．第２の実施の形態（環境光の色温度に応じてホワイトバランスゲインを補正する例）
３．第３の実施の形態（奥行きから得られる環境光の光量または色温度に応じてホワイトバランスゲインを補正する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、撮像素子１２０、測光測距センサ１３０、信号処理部１４０、画像メモリ１５０、レンズ制御部１６０、フラッシュ１７０、発光制御部１８０および操作部１９０を備える。また、撮像装置１００は、画像処理装置２００およびカメラ制御装置３００を備える。
撮像レンズ１１０は、撮像対象の像を撮像素子１２０に結像するレンズである。撮像レンズ１１０は、フォーカスレンズやズームレンズなどのレンズを含む。この撮像レンズ１１０には、フラッシュ１７０が発光していない場合に環境光が入射され、フラッシュ１７０が発光した場合に混合光が入射される。ここで、環境光は、フラッシュ１７０以外の光源からの光であり、混合光は、フラッシュ１７０からの光である補助光と、環境光とが混合された光である。
撮像素子１２０は、撮像レンズ１１０からの光を光電変換して電気信号を信号処理部１４０に信号線１２９を介して出力するものである。この撮像素子１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどにより、実現することができる。
測光測距センサ１３０は、撮像素子１２０を介して入射される光の量をカメラ制御装置３００の制御に従って測定するものである。測定された光量は、露出値や被写体までの奥行きを求めるために用いられる。測光測距センサ１３０は、光量の測定値をカメラ制御装置３００に信号線１３９を介して供給する。
信号処理部１４０は、撮像素子１２０から供給された電気信号に対して、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Automatic Gain Control）処理を行うものである。ＣＤＳ処理は信号ノイズ比（Ｓ／Ｎ比）を良好に保つための処理であり、ＡＧＣ処理は利得を制御するための処理である。信号処理部１４０は、このようにして得られた信号に対してＡ／Ｄ（Analog／Digital）変換を行って、デジタル信号による画像データを形成し、その画像データを画像処理装置２００に信号線１４９を介して出力する。
画像処理装置２００は、信号処理部１４０からの画像データに対して、ホワイトバランス処理を含む各種の画像処理を施すものである。画像処理装置２００は、カメラ制御装置３００から露出値を受け取り、その露出値を用いてホワイトバランス処理を実行する。このホワイトバランス処理の詳細については後述する。画像処理装置２００は、画像処理を施した画像データを画像メモリ１５０に信号線２０９を介して出力する。画像メモリ１５０は、画像データを記憶するものである。
レンズ制御部１６０は、カメラ制御装置３００の制御に従って、撮像レンズ１１０の位置を制御するものである。撮像レンズ１１０の位置は、例えば、ズーム倍率や合焦位置の変更に応じて制御される。
フラッシュ１７０は、発光制御部１８０の制御に従って発光することにより補助光を生成するものである。この補助光の光量は固定値であるものとする。発光制御部１８０は、カメラ制御装置３００の制御に従ってフラッシュ１７０の発光動作を制御するものである。
操作部１９０は、タッチパネルやシャッターボタンなどに対するユーザの操作に応じて操作信号を生成し、カメラ制御装置３００に信号線１９９を介して出力するものである。
カメラ制御装置３００は、撮像装置１００全体を制御するものである。このカメラ制御装置３００は、フラッシュ１７０の発光時と非発光時とのそれぞれにおいて、測光測距センサ１３０を制御して測光させる。そして、カメラ制御装置３００は、測光測距センサ１３０により測定された光量に応じて、適切な露出値を決定する。測光領域が複数である場合には、それらの測光量の統計量（例えば、平均値）から露出値を決定する。カメラ制御装置３００は、この露出値から、シャッタースピードや絞り量を決定する。カメラ制御装置３００は、フラッシュ１７０の発光時と非発光時とにおけるそれぞれの光量に応じた露出値を画像処理装置２００に信号線３０９を介して供給する。
また、カメラ制御装置３００は、フラッシュ１７０の非発光時に測光測距センサ１３０により測定された光量から、被写体までの奥行きを求める。カメラ制御装置３００は、その奥行きに基づいて撮像レンズ１１０の合焦位置を決定し、レンズ制御部１６０に撮像レンズ１１０の位置を変更させる。
さらに、カメラ制御装置３００は、シャッターボタンが押下されたか否かを操作部１９０からの操作信号に基づいて判断する。カメラ制御装置３００は、フラッシュ１７０を発光すべき場合、具体的にはシャッターボタンが押下された場合などに発光制御部１８０を制御してフラッシュ１７０を発光させる。そして、カメラ制御装置３００は、フラッシュ１７０の発光時または非発光時に撮像された画像データを画像メモリ１５０から読み出し、表示装置や記録装置などに出力する。
なお、撮像装置１００は、Ａ／Ｄ変換後の画像データに対してホワイトバランス処理を実行しているが、信号処理部１４０において、Ａ／Ｄ変換前のアナログの電気信号に対してホワイトバランス処理を実行してもよい。
また、画像処理装置２００を撮像装置１００内に設ける構成としているが、この構成に現礼されない。画像処理装置２００は、パーソナルコンピュータなどの情報処理装置内に設けてもよい。
［画像処理装置の構成例］
図２は、第１の画像処理装置２００の一構成例を示すブロック図である。この画像処理装置２００は、環境光ホワイトバランスゲイン生成部２１０、環境光ホワイトバランスゲイン保持部２２０、環境光露出値保持部２３０、混合光露出値保持部２４０、および、補助光ホワイトバランスゲイン記憶部２５０を備える。また、画像処理装置２００は、合成ホワイトバランスゲイン生成部２６０、ホワイトバランスゲイン補正部２７０およびホワイトバランス処理部２８０を備える。
環境光ホワイトバランスゲイン生成部２１０は、環境光の色温度を基準色温度とするホワイトバランスゲインを環境光ホワイトバランスゲインＷＢ_ｅとして生成するものである。この環境光ホワイトバランスゲイン生成部２１０は、信号処理部１４０からの画像データのうち、環境光の下で撮像された画像データを取得する。例えば、環境光ホワイトバランスゲイン生成部２１０は、ライブビューモードで撮像された画像データであるライブビュー画像データを取得する。そして、環境光ホワイトバランスゲイン生成部２１０は、このライブビュー画像データにおいて輝度値の統計量（例えば、合計値や平均値）を色ごとに算出し、それらの統計量から環境光ホワイトバランスゲインＷＢ_ｅを算出する。ただし、統計量の算出において、彩度の高い被写体の輝度値を統計対象とすると、色が偏ってしまうカラーフェリア現象が発生するおそれがある。このため、環境光ホワイトバランスゲイン生成部２１０は、彩度がある程度高い被写体の輝度値は統計対象から除外してもよい。
例えば、Ｒ（Red）、Ｇ(Green)、Ｂ(Blue)の３色からなる画像において、環境光ホワイトバランスゲイン生成部２１０は、色ごとの輝度値の合計値をＲｓｕｍ、Ｇｓｕｍ、および、Ｂｓｕｍとして算出する。そして、環境光ホワイトバランスゲイン生成部２１０は、これらの合計値のいずれか（例えば、Ｇｓｕｍ）を基準値として、ゲインで増幅した値が基準値に等しくなるように、各色のゲインであるＲゲイン、ＧゲインおよびＢゲインを算出する。具体的には、環境光ホワイトバランスゲイン生成部２１０は、次の式１および式２を使用して環境光ホワイトバランスゲインにおけるＲゲインＷＢＲ_ｅおよびＢゲインＷＢＲ_ｅを求める。Ｇゲインは、「１」とする。Ｇ成分の統計量を基準とするのは、画像において他の色より大部分を占めることが多いためである。
ＷＢＲ_ｅ＝Ｇｓｕｍ／Ｒｓｕｍ 式１
ＷＢＢ_ｅ＝Ｇｓｕｍ／Ｂｓｕｍ 式２
環境光ホワイトバランスゲイン生成部２１０は、求めたＲゲインＷＢＲ_ｅおよびＢゲインＷＢＲ_ｅからなる環境光ホワイトバランスゲインＷＢ_ｅを環境光ホワイトバランスゲイン保持部２２０に保持させる。
環境光ホワイトバランスゲイン保持部２２０は、環境光ホワイトバランスゲイン生成部２１０により生成された環境光ホワイトバランスゲインＷＢ_ｅを保持するものである。
環境光露出値保持部２３０は、カメラ制御装置３００から供給された環境光露出値ＥＶ_ｅを保持するものである。ここで、環境光露出値ＥＶ_ｅは、フラッシュ１７０の非発光時に測定された光量、すなわち環境光の光量に応じた露出値である。
混合光露出値保持部２４０は、カメラ制御装置３００から供給された混合光露出値ＥＶ_ｍを保持するものである。ここで、混合光露出値ＥＶ_ｍは、フラッシュ１７０の発光時に測定された光量、すなわち混合光の光量に応じた露出値である。
これらの環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍは、環境光および混合光の各々の光量に応じた値である。露出値は光量が半分になるたびに、値が「１」上昇するため、環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍから、混合光における環境光および補助光の各々の光量の比率が求められる。
補助光ホワイトバランスゲイン記憶部２５０は、予め設定された補助光の色温度を基準色温度とする補助光ホワイトバランスゲインＷＢ_ｆを記憶するものである。例えば、６０００Ｋを基準色温度とするホワイトバランスゲインが補助光ホワイトバランスゲインＷＢ_ｆとして設定される。
合成ホワイトバランスゲイン生成部２６０は、環境光および補助光の各々の光量の比率で環境光ホワイトバランスゲインＷＢ_ｅおよび補助光ホワイトバランスゲインＷＢ_ｆを合成するものである。具体的には、この合成ホワイトバランスゲイン生成部２６０は、環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍを環境光露出値保持部２３０および混合光露出値保持部２４０から読み出す。また、合成ホワイトバランスゲイン生成部２６０は、環境光ホワイトバランスゲインＷＢ_ｅおよび補助光ホワイトバランスゲインＷＢ_ｆを環境光ホワイトバランスゲイン保持部２２０および補助光ホワイトバランスゲイン記憶部２５０から読み出す。
そして、合成ホワイトバランスゲイン生成部２６０は、環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍから、環境光および補助光の各々の光量の比率を求める。合成ホワイトバランスゲイン生成部２６０は、その光量の比率で環境光ホワイトバランスゲインＷＢ_ｅおよび補助光ホワイトバランスゲインＷＢ_ｆを合成する。合成ホワイトバランスゲイン生成部２６０は、合成したホワイトバランスゲインを合成ホワイトバランスゲインＷＢ_ｍとしてホワイトバランスゲイン補正部２７０に信号線２６９を介して供給する。
ホワイトバランスゲイン補正部２７０は、補助光に対する環境光の光量の比率に応じて合成ホワイトバランスゲインＷＢ_ｍを補正するものである。例えば、ホワイトバランスゲイン補正部２７０は、補助光に対する環境光の光量の比率が低いほど基準色温度を高くする補正を、合成ホワイトバランスゲインＷＢ_ｍに対して行う。このホワイトバランスゲイン補正部２７０は、環境光ホワイトバランスゲインＷＢ_ｅを環境光ホワイトバランスゲイン保持部２２０から読み出し、環境光露出値ＥＶ_ｅを環境光露出値保持部２３０から読み出す。前述したように、補助光の光量は固定値であるため、ホワイトバランスゲイン補正部２７０は、環境光露出値ＥＶ_ｅのみから、補助光に対する環境光の相対的な光量を求めることができる。
ホワイトバランスゲイン補正部２７０は、環境光の相対的な光量が低いほど基準色温度を高くする補正を、合成ホワイトバランスゲインＷＢ_ｍに対して行う。ただし、環境光の相対的な光量が閾値以上である場合には、環境光が十分に明るく、補正の必要性に乏しい。このため、環境光の光量が閾値以上である場合には、ホワイトバランスゲイン補正部２７０は、環境光の光量に関らず、補正量を固定値とする。
補正においてホワイトバランスゲイン補正部２７０は、Ｂゲインに対するＲゲインの比率が増加するようにＲゲインおよびＢゲインの少なくとも一方を補正することにより基準色温度を上昇させる。光量の低い環境光は、一般に、補助光よりも色温度が低く、補助光と比べて赤に近い色合いである。このため、Ｂゲインに対するＲゲインの比率を増加させることにより、環境光の赤に近い色合いが強調される。ホワイトバランスゲイン補正部２７０は、補正後のゲインを、混合光の下で撮像された画像データに適用すべき適正ホワイトバランスゲインＷＢ_ｐとしてホワイトバランス処理部２８０に信号線２７８および２７９を介して供給する。この適正ホワイトバランスゲインＷＢ_ｐは、ＢゲインＷＢＢ_ｐおよびＲゲインＷＢＲ_ｐを含む。
環境光の相対的な光量が低い場合には、環境光の明るさの不足により環境光の色合いが画像において不足するおそれがあるが、基準色温度を高くする補正により環境光の色合いが強調されるため、画像の色合いが自然なものとなる。
なお、ホワイトバランスゲイン補正部２７０は、環境光の色温度が補助光より低いことを前提として補正を行っているが、逆に、環境光の色温度が補助光の色温度より高い場合もある。例えば、青色のイルミネーション光が環境光のときは、補助光の色温度の方が補助光より低くなる。環境光の色温度が補助光の色温度より高いか否かは、環境光ホワイトバランスゲインＷＢ_ｅに対応する色温度から、ホワイトバランスゲイン補正部２７０が判断する。環境光の色温度が補助光の色温度より高いと判断した場合には、ホワイトバランスゲイン補正部２７０は、補助光に対する環境光の光量の比率が低いほど基準色温度を低くする補正を、合成ホワイトバランスゲインＷＢ_ｍに対して行う。これにより、環境光の色合いが強調され、画像の色合いが自然なものとなる。
ホワイトバランス処理部２８０は、適正ホワイトバランスゲインＷＢ_ｐを使用するホワイトバランス処理を、混合光の下で撮像された画像データに対して実行するものである。ホワイトバランス処理部２８０は、ホワイトバランス処理後の画像データを画像メモリ１５０に保持させる。
なお、画像処理装置２００は、ＲＧＢカラーモデルの画像データを処理対象としているが、ＲＧＢ以外のカラーモデル、例えば、ＣＭＹＫ（Cyan, Magenta, Yellow, blacK）カラーモデルの画像データを処理対象としてもよい。
また、画像処理装置２００は、露出値から環境光および補助光の各々の光量の比率を求めているが、他のパラメータから光量の比率を求めてもよい。例えば、画像処理装置２００は、照度や輝度から光量の比率を求めてもよい。
また、画像処理装置２００は、ホワイトバランス処理のほか、ガンマ補正処理やデモザイク処理などの画像処理をさらに実行することもできる。この場合、ホワイトバランス処理は、デモザイク処理などの他の処理の前に行ってもよく、また、他の処理の後に行ってもよい。
［環境光ホワイトバランスゲイン生成部の構成例］
図３は、第１の実施の形態における環境光ホワイトバランスゲイン生成部２１０の一構成例を示すブロック図である。この環境光ホワイトバランスゲイン生成部２１０は、ブロック内合計輝度値算出部２１１、ブロック内彩度算出部２１２、合計輝度値算出部２１３、および、環境光ホワイトバランスゲイン算出部２１４を備える。
ブロック内合計輝度値算出部２１１は、ライブビュー画像データにおいてブロックごとに各色の輝度値の合計値を算出するものである。ブロックは、ライブビュー画像データを複数の領域に分割した場合における各領域の名称である。例えば、行方向にｒ個、列方向にｃ個の画素が２次元格子状に配列された画像データにおいて、行方向のｒ個の画素がＭ個のブロックに分割され、列方向のｃ個の画素がＮ個のブロックに分割される。ここで、ｒおよびｃは、２以上の整数である。Ｍは、ｒ未満かつ１以上の整数であり、Ｎは、ｃ未満かつ１以上の整数である。ブロック内合計輝度値算出部２１１は、それぞれのブロックにおいてＲ、ＧおよびＢの色ごとに輝度値の合計値を求め、ＢＲ（i，ｊ）、ＢＧ（i，ｊ）およびＢＢ（i，ｊ）としてブロック内彩度算出部２１２および合計輝度値算出部２１３に供給する。ここで、ｉは、１乃至Ｍの整数であり、ｊは、１乃至Ｎの整数である。
ブロック内彩度算出部２１２は、ブロック毎に彩度を算出するものである。ブロック内彩度算出部２１２は、ＢＲ（i，ｊ）、ＢＧ（i，ｊ）およびＢＢ（i，ｊ）から、例えば、次の式３乃至式５を使用して各ブロックの彩度Ｓｂ（ｉ，ｊ）を算出する。
Ｍｂ（ｉ，ｊ）＝ｍａｘ｛ＢＲ（ｉ，ｊ），ＢＧ（ｉ，ｊ），ＢＢ（ｉ，ｊ）｝ 式３
ｍｂ（ｉ，ｊ）＝ｍｉｎ｛ＢＲ（ｉ，ｊ），ＢＧ（ｉ，ｊ），ＢＢ（ｉ，ｊ）｝ 式４
Ｓｂ（ｉ，ｊ）＝｛Ｍｂ（ｉ，ｊ）−ｍｂ（ｉ，ｊ）｝／Ｍｂ（ｉ，ｊ） 式５
式３において「ｍａｘ（）」は、かっこ内の値のうち最大値を返す関数である。式４において「ｍｉｎ（）」は、かっこ内の値のうち最小値を返す関数である。式５においてＭｂ（ｉ，ｊ）およびｍｂ（ｉ，ｊ）の値がいずれも「０」のときは、右辺が不定となるため、例外処理としてＳｂ（ｉ，ｊ）に「０」が設定される。
そして、ブロック内彩度算出部２１２は、彩度Ｓｂ（ｉ，ｊ）が小さいほど値が大きくなる係数を、彩度係数Ｋｓ（ｉ，ｊ）として生成する。例えば、ブロック内彩度算出部２１２は、彩度Ｓｂ（ｉ，ｊ）が所定の閾値より小さい場合には、「１」となり、彩度Ｓｂ（ｉ，ｊ）が、その閾値以上である場合には「０」となる係数を彩度係数Ｋｓ（ｉ，ｊ）として生成する。ブロック内彩度算出部２１２は、生成した彩度係数Ｋｓ（ｉ，ｊ）を合計輝度値算出部２１３に供給する。
合計輝度値算出部２１３は、各ブロックの合計輝度値および彩度係数から、画像データにおける色ごとの合計輝度値を算出するものである。合計輝度値算出部２１３は、各ブロックの合計輝度値ＢＲ（i，ｊ）、ＢＧ（i，ｊ）およびＢＢ（i，ｊ）と、彩度係数Ｋｓ（ｉ，ｊ）とから、例えば、次の式６乃至式８を使用して合計輝度値を算出する。合計輝度値算出部２１３は、算出した合計輝度値を環境光ホワイトバランスゲイン算出部２１４に供給する。
Figure 2014014044
Figure 2014014044
Figure 2014014044
環境光ホワイトバランスゲイン算出部２１４は、各色の合計輝度値から環境光ホワイトバランスゲインＷＢ_ｅを算出するものである。環境光ホワイトバランスゲイン算出部２１４は、合計輝度値Ｒｓｕｍ、ＧｓｕｍおよびＢｓｕｍから、式１および式２を使用して環境光ホワイトバランスゲインＷＢ_ｅを算出して環境光ホワイトバランスゲイン保持部２２０に保持させる。
［合成ホワイトバランスゲイン算出部の構成例］
図４は、第１の実施の形態における合成ホワイトバランスゲイン生成部２６０の一構成例を示すブロック図である。この合成ホワイトバランスゲイン生成部２６０は、環境光寄与率生成部２６１および合成ホワイトバランスゲイン算出部２６２を備える。
環境光寄与率生成部２６１は、環境光露出値ＥＶ_ｅと混合光露出値ＥＶ_ｍとから、混合光に対する環境光の光量の比率を環境光寄与率Ｋｅとして算出するものである。環境光寄与率生成部２６１は、例えば、次の式９により環境光寄与率Ｋｅを算出する。環境光寄与率生成部２６１は、算出した環境光寄与率Ｋｅを合成ホワイトバランスゲイン算出部２６２に供給する。なお、環境光寄与率生成部２６１は、露出値の差分と、式９などにより算出した環境光寄与率Ｋｅとを対応付けてテーブルに記憶しておき、そのテーブルから差分に対応する環境光寄与率Ｋｅを読み出してもよい。
Ｋｅ＝１／｛２＾（ＥＶ_ｅ−ＥＶ_ｍ）｝ 式９
合成ホワイトバランスゲイン算出部２６２は、合成ホワイトバランスゲインＷＢ_ｍを算出するものである。合成ホワイトバランスゲイン算出部２６２は、環境光ホワイトバランスゲインＷＢ_ｅ、補助光ホワイトバランスゲインＷＢ_ｆおよび環境光寄与率Ｋｅから、例えば、次の式１０および式１１を用いて合成ホワイトバランスゲインＷＢ_ｍを算出する。合成ホワイトバランスゲイン算出部２６２は、算出した合成ホワイトバランスゲインＷＢ_ｍをホワイトバランスゲイン補正部２７０に供給する。
ＷＢＲ_ｍ＝Ｋｅ×ＷＢＲ_ｅ＋（１−Ｋｅ）×ＷＢＲ_ｆ 式１０
ＷＢＢ_ｍ＝Ｋｅ×ＷＢＢ_ｅ＋（１−Ｋｅ）×ＷＢＢ_ｆ 式１１
式１０において、ＷＢＲ_ｍは、合成ホワイトバランスゲインＷＢ_ｍにおけるＲゲインである。また、式１１において、ＷＢＢ_ｍは、合成ホワイトバランスゲインＷＢ_ｍにおけるＢゲインである。
例えば、環境光と補助光との光量の比が１：２であった場合、環境光寄与率Ｋｅは、１／３となる。この場合、式１０および式１１より、環境光ホワイトバランスゲインＷＢ_ｅと補助光ホワイトバランスゲインＷＢ_fとは、１：２の比で合成される。
［ホワイトバランスゲイン補正部の構成例］
図５は、第１の実施の形態におけるホワイトバランスゲイン補正部２７０の一構成例を示すブロック図である。このホワイトバランスゲイン補正部２７０は、補正係数生成部２７１および合成ホワイトバランスゲインシフト部２７２を備える。
補正係数生成部２７１は、補助光に対する環境光の相対的な光量が小さいほど大きな補正係数Ｋｍを生成するものである。この補正係数Ｋｍは、合成ホワイトバランスゲインＷＢ_ｍの基準色温度を高くする補正の補正量を求める際に用いられる係数であり、この補正係数Ｋｍが大きいほど、基準色温度の上昇量が大きくなる。補正係数生成部２７１は、例えば、環境光露出値ＥＶ_ｅを環境光露出値保持部２３０から読み出す。補正係数生成部２７１は、環境光露出値ＥＶ_ｅが閾値ＥＶ_ｔｈより大きい場合には、例えば、次の式１２を用いて、補正係数Ｋｍを算出する。一方、環境光露出値ＥＶ_ｅが閾値ＥＶ_ｔｈ以下である場合には、補正係数Ｋｍを固定値とする。この固定値は、例えば、式１２にＥＶ_ｔｈを代入して得られた値である。
Ｋｍ＝ａ×ＥＶ_ｅ＋ｂ 式１２
式１２において、ａは正の実数であり、ｂは所定の実数である。
なお、補正係数生成部２７１は、環境光の相対的な光量に応じて増減する係数を算出することができるのであれば、式１２以外の式により補正係数Ｋｍを算出してもよい。例えば、補正係数生成部２７１は、２次式や対数関数式などにより補正係数を算出してもよい。また、補正係数生成部２７１は、計算式により補正係数Ｋｍを算出しているが、この構成に限定されない。例えば、補正係数生成部２７１は、環境光露出値ＥＶ_ｅと、その値から式１２などにより算出した補正係数Ｋｍとを対応付けたテーブルを記憶しておき、そのテーブルから補正係数Ｋｍを読み出す構成としてもよい。
合成ホワイトバランスゲインシフト部２７２は、補助光に対する環境光の光量の比率が低いほど基準色温度が高いゲインにシフトする補正を、合成ホワイトバランスゲインＷＢ_ｍに対して行うものである。この合成ホワイトバランスゲインシフト部２７２は、合成ホワイトバランスゲインＷＢ_ｍ、環境光ホワイトバランスゲインＷＢ_ｅおよび補正係数Ｋｍから、例えば、次の式１３および式１４を使用して、適正ホワイトバランスゲインＷＢ_ｐを算出する。
ＷＢＲ_ｐ＝ＷＢＲ_ｍ＋Ｋｍ×（ＷＢＲ_ｍ−ＷＢＲ_ｅ） 式１３
ＷＢＢ_ｐ＝ＷＢＢ_ｍ＋Ｋｍ×（ＷＢＢ_ｍ−ＷＢＢ_ｅ） 式１４
式１３において、ＷＢＲ_ｐは、適正ホワイトバランスゲインＷＢ_ｐにおけるＲゲインである。式１４において、ＷＢＢ_ｐは、適正ホワイトバランスゲインＷＢ_ｐにおけるＢゲインである。合成ホワイトバランスゲインシフト部２７２は、算出した適正ホワイトバランスゲインＷＢ_ｐをホワイトバランス処理部２８０に供給する。
なお、ホワイトバランスゲイン補正部２７０は、画像全体に適用するための適正ホワイトバランスゲインＷＢ_ｐを生成しているが、画像データ内のブロックごとに、そのブロックに適用するための適正ホワイトバランスゲインＷＢ_ｐを生成してもよい。例えば、補正係数生成部２７１は画像データ内のブロック（ｉ,ｊ）のそれぞれについて環境光露出値ＥＶ_ｅ（ｉ,ｊ）を取得する。そして、補正係数生成部２７１は、それらの環境光露出値ＥＶ_ｅ（ｉ,ｊ）から、ブロックごとの補正係数Ｋｍ（ｉ,ｊ）を生成する。合成ホワイトバランスゲインシフト部２７２は、それらの補正係数Ｋｍ（ｉ,ｊ）から、ブロックごとの適正ホワイトバランスゲインＷＢ_ｐ（ｉ,ｊ）を生成する。
［ホワイトバランス処理部の構成例］
図６は、第１の実施の形態におけるホワイトバランス処理部２８０の一構成例を示すブロック図である。このホワイトバランス処理部２８０は、分離部２８１と、ゲイン可変アンプ２８２および２８３とを備える。
分離部２８１は、画像データにおける画素のそれぞれの輝度値を色ごとに分離するものである。また、分離部２８１は、画素（ｘ，ｙ）のＲの輝度値ＶＲ（ｘ，ｙ）をゲイン可変アンプ２８２に供給し、画素（ｘ，ｙ）のＢの輝度値ＶＢ（ｘ，ｙ）をゲイン可変アンプ２８３に供給する。分離部２８１は、画素（ｘ，ｙ）のＧの輝度値ＶＧ（ｘ，ｙ）をゲイン可変アンプ２８２または２８３を介さずに、画像メモリ１５０へ出力する。ここでｘは、１乃至ｒの整数であり、ｙは１乃至ｃの整数である。
ゲイン可変アンプ２８２および２８３は、適正ホワイトバランスゲインＷＢ_ｐにより、ＲおよびＢの輝度値を増幅するものである。ゲイン可変アンプ２８２は、適正ホワイトバランスゲインＷＢ_ｐにおけるＲゲインＷＢＲ_ｐにより、輝度値ＶＲ（ｘ，ｙ）を増幅して画像メモリ１５０へ出力する。一方、ゲイン可変アンプ２８３は、適正ホワイトバランスゲインＷＢ_ｐにおけるＢゲインＷＢＢ_ｐにより、輝度値ＶＢ（ｘ，ｙ）を増幅して画像メモリ１５０へ出力する。
図７は、第１の実施の形態における複数のブロックに分割したライブビュー画像データの一例を示す図である。このライブビュー画像データには、フラッシュ１７０以外の光源として蝋燭が写されている。蝋燭からの環境光の光量は、補助光の光量と比べてかなり小さいことが多い。この場合には、光量比に応じて決定した合成ホワイトバランスゲインＷＢ_ｍでは、明るさの不足により、環境光の色合いが不足するおそれがある。
図８は、第１の実施の形態における複数のブロックに分割したライブビュー画像データの一例を示す図である。図８に示すように、ライブビュー画像データは、Ｍ×Ｎ個のブロックに分割される。そして、ブロックごとに、輝度値の統計量および彩度が求められ、それらから、環境光ホワイトバランスゲインＷＢ_ｅが求められる。
図９は、第１の実施の形態における環境光寄与率と露出値の差分との間の関係の一例を示す図である。図９において、縦軸は環境光寄与率Ｋｅであり、横軸は環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍの差分、すなわちＥＶ_ｅ−ＥＶ_ｍである。
環境光寄与率Ｋｓは、環境光露出値ＥＶ_ｅおよび混合光露出値ＥＶ_ｍの差分が大きくなるほど小さくなる。例えば、環境光露出値ＥＶ_ｅが混合光露出値ＥＶ_ｍより「１」大きい場合、環境光の光量は混合光の光量の半分である。したがって、混合光に対する環境光の比率である環境光寄与率Ｋｓは、「１／２」となる。また、環境光露出値ＥＶ_ｅが混合光露出値ＥＶ_ｍより「２」大きい場合は、環境光の光量は混合光の光量の「１／４」であり、環境光寄与率Ｋｓは、「１／４」となる。このように、露出値の差分が「１」大きくなるたびに、環境光寄与率Ｋｓは半分になる。なお、環境光の光量が、その環境光を含む混合光の光量より多くなることはないため、環境光寄与率Ｋｓが「１」を超えることはない。
露出値から得られる光量の比率により、環境光ホワイトバランスゲインＷＢ_ｅと補助光ホワイトバランスゲインＷＢ_ｆとが合成される。
図１０は、第１の実施の形態における補正係数Ｋｍと環境光露出値ＥＶ_ｅとの間の関係の一例を示す図である。図１０において、縦軸は、補正係数Ｋｍであり、横軸は環境光露出値ＥＶ_ｅである。図１０に例示するように、環境光の光量が少なくなるほど、すなわち閾値ＥＶ_ｅが大きくなるほど、大きな値が補正係数Ｋｍに設定される。そして、補正係数Ｋｍが大きいほど基準色温度を高くする補正が、合成ホワイトバランスゲインＷＢ_ｍに対して実行される。ただし、環境光露出値ＥＶ_ｅが閾値ＥＶ_ｔｈ以下である場合には、環境光が十分に明るいため補正の必要性が低くなり、補正係数Ｋｍに固定値が設定される。これにより、過剰な補正が抑制される。
図１１は、第１の実施の形態における補正前後のホワイトバランスゲインの一例を示す図である。図１１において縦軸は、ホワイトバランスゲインのうちのＢゲインＷＢＢであり、横軸はＲゲインＷＢＲである。曲線は、基準色温度に対応するＲゲインおよびＢゲインの組合せの軌跡である。Ｂゲインに対するＲゲインの比率が大きいほど、ホワイトバランスゲインの基準色温度が高くなる。
補助光と比べて環境光の光量が小さい場合を想定する。比較的光量の小さい環境光は、一般に、補助光より色温度が低くなる。言い換えれば、環境光の色は補助光より赤に近くなる。このため、赤に近い色を白に調整するためにＢゲインに対するＲゲインの比率が小さい環境光ホワイトバランスゲインＷＢ_ｅが設定される。一方、補助光は、青に近い色合いであるため、Ｂゲインに対するＲゲインの比率が大きな補助ホワイトバランスゲインＷＢ_ｆが設定される。
画像処理装置２００は、補助光ホワイトバランスゲインＷＢ_ｆと環境光ホワイトバランスゲインＷＢ_ｅとは、混合光における補助光および環境光のそれぞれの光量の比率で合成する。合成した値ＷＢ_ｍは、補助光ホワイトバランスゲインＷＢ_ｆおよび環境光ホワイトバランスゲインＷＢ_ｅの中間の値となる。
環境光の色温度が補助光より低い場合、環境光の相対的な光量が小さいほど、合成ホワイトバランスゲインＷＢ_ｍは環境光ホワイトバランスゲインＷＢ_ｅに近い値となり、Ｂゲインに対するＲゲインの比率が小さくなる。この結果、赤に近い環境光の色合いが不足するおそれがある。そこで、画像処理装置２００は、補助光に対する環境光の光量の比率が小さいほど基準色温度を高くする補正を行う。言い換えれば、画像処理装置２００は、合成ホワイトバランスゲインＷＢ_ｍは、Ｂゲインに対するＲゲインの比率を増大させた値ＷＢ_ｐに合成ホワイトバランスゲインＷＢ_ｍをシフトする補正を行う。これにより、赤に近い環境光の色合いが強調され、環境光の雰囲気が表現された自然な色合いの画像が得られる。逆に、環境光の色温度が補助光より高い場合には、画像処理装置２００は、補助光に対する環境光の光量の比率が小さいほど基準色温度を低くする補正を行う。これにより、青に近い環境光の色合いが強調され、環境光の雰囲気が表現された自然な色合いの画像が得られる。
［画像処理装置の動作例］
図１２は、第１の実施の形態における画像処理装置２００の動作の一例を示す図である。この動作は、例えば、画像処理装置２００にライブビュー画像データが入力されたときに開始される。
画像処理装置２００は、ライブビュー画像データから、式１乃至式８を使用して、環境光ホワイトバランスゲインＷＢ_ｅを生成する（ステップＳ９０１）。画像処理装置２００は、フラッシュ撮影が行われたか否かを判断する（ステップＳ９０２）。フラッシュ撮影が行われていない場合には（ステップＳ９０２：Ｎｏ）、画像処理装置２００は、ステップＳ９０１に戻る。
フラッシュ撮影が行われた場合には（ステップＳ９０２：Ｙｅｓ）、画像処理装置２００は、式９乃至式１１を使用して合成ホワイトバランスゲインＷＢ_ｍを生成する（ステップＳ９０３）。そして、画像処理装置２００は、式１２を使用して補正係数Ｋｍを生成する（ステップＳ９０４）。
画像処理装置２００は、式１３および式１４を使用して適正ホワイトバランスＷＢ_ｐを生成する（ステップＳ９０５）。そして、画像処理装置２００は、その適正ホワイトバランスＷＢ_ｐを使用して、フラッシュ撮影した画像データに対してホワイトバランス処理を実行する（ステップＳ９０６）。ステップＳ９０６の後、画像処理装置２００は、動作を終了する。
このように本技術の第１の実施の形態によれば、画像処理装置２００は、補助光に対する環境光の比率に応じて合成ホワイトバランスゲインＷＢ_ｍを補正することができる。これにより、比率に応じて環境光の色合いが強調される。したがって、画像処理装置２００は、画像データの色合いを自然な色合いに調整することができる。
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１３は、第２の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第１の実施の形態においては、画像処理装置２００は、環境光の色温度が、補助光に対する環境光の光量の比率に応じて増減するとの前提の下で、光量の比率に応じて基準色温度を増減する補正を行っていた。しかし、環境光の色温度が、補助光に対する環境光の光量の比率に応じて増減しない場合もある。例えば、蛍光灯などの人工的な光源からの環境光である場合、補助光に対する環境光の光量の比率が小さくとも、環境光の色温度が補助光と比べてあまり低くないことがある。その場合に基準色温度を高くする補正を行うと、色温度が高くなりすぎてしまうおそれがある。このような過剰な補正を防止するためには、補助光に対する環境光の色温度の比率が低いほど基準色温度を高くする補正を行うことが望ましい。第２の実施の形態の画像処理装置２００は、環境光の色温度を求め、補助光に対する環境光の色温度の比率から補正係数を生成する点において第１の実施の形態と異なる。
第２の実施の形態のホワイトバランスゲイン補正部２７０は、環境光ホワイトバランスゲインＷＢ_ｅを環境光ホワイトバランスゲイン保持部２２０から読み出す。そして、その環境光ホワイトバランスゲインＷＢ_ｅから環境光の色温度を求める。補助光の色温度は、一般に固定値であるため、環境光の色温度から、補助光に対する環境光の色温度の比率が求められる。ホワイトバランスゲイン補正部２７０は、環境光の相対的な色温度が低いほど補正係数Ｋｍを大きくして、合成ホワイトバランスゲインＷＢ_ｍを補正する。なお、環境光の色温度が補助光より高い場合には、ホワイトバランスゲイン補正部２７０は、環境光の相対的な色温度が高いほど補正係数Ｋｍを小さくして、合成ホワイトバランスゲインＷＢ_ｍを補正してもよい。
［ホワイトバランスゲイン補正部の構成例］
図１４は、第２の実施の形態におけるホワイトバランスゲイン補正部２７０の一構成例を示すブロック図である。第２の実施の形態のホワイトバランスゲイン補正部２７０は、色温度変換部２７３をさらに備える点において第１の実施の形態と異なる。
色温度変換部２７３は、環境光ホワイトバランスゲインＷＢ_ｅを環境光の色温度に変換するものである。具体的には、色温度変換部２７３は、環境光ホワイトバランスゲインＷＢ_ｅが基準色温度とする色温度を環境光の色温度として求める。例えば、図１１における曲線上のＷＢ_ｅに対応する基準色温度が環境光の色温度に該当する。色温度変換部２７３は、環境光の色温度を補正係数生成部２７１に供給する。
第２の実施の形態の補正係数生成部２７１は、補助光に対する環境光の色温度の比率が低いほど大きな補正係数Ｋｍを生成して、合成ホワイトバランスゲインシフト部２７２に供給する。第２の実施の形態の合成ホワイトバランスゲインシフト部２７２の構成は、第１の実施の形態と同様である。
なお、ホワイトバランスゲイン補正部２７０は、画面全体に適用するための適正ホワイトバランスゲインＷＢ_ｐを生成しているが、画像データ内のブロックごとに、そのブロックに適用するための適正ホワイトバランスゲインＷＢ_ｐを生成してもよい。
ブロック毎に適正ホワイトバランスゲインＷＢ_ｐを生成する場合、例えば、環境光ホワイトバランスゲイン生成部２１０は、次の式１５および式１６を使用してブロックごとの環境ホワイトバランスゲインＷＢ_e（ｉ,ｊ）を算出する。
ＷＢＲ_ｅ（ｉ,ｊ）＝ＢＧ（ｉ,ｊ）／ＢＲ（ｉ,ｊ） 式１５
ＷＢＢ_ｅ（ｉ,ｊ）＝ＢＧ（ｉ,ｊ）／ＢＢ（ｉ,ｊ） 式１６
補正係数生成部２７１は、環境ホワイトバランスゲインＷＢ_e（ｉ,ｊ）から、ブロックごとの補正係数Ｋｍ（ｉ,ｊ）を生成する。合成ホワイトバランスゲインシフト部２７２は、それらの補正係数Ｋｍ（ｉ,ｊ）から、ブロックごとの適正ホワイトバランスゲインＷＢ_ｐ（ｉ,ｊ）を生成する。
図１５は、第２の実施の形態における補正係数Ｋｍと環境光の色温度Ｔとの間の関係の一例を示す図である。図１５において、縦軸は、補正係数Ｋｍであり、横軸は環境光の色温度Ｔである。色温度Ｔの単位は、例えば、ケルビン（Ｋ）である。図１５に例示するように、環境光の色温度Ｔが低くなるほど大きな値が補正係数Ｋｍに設定され、基準色温度が高くなるように補正される。
このように本技術の第２の実施の形態によれば、画像処理装置２００は、補助光に対する環境光の色温度の比率に応じて合成ホワイトバランスゲインＷＢ_ｍを補正することができる。これにより、補助光に対する環境光の色温度の比率に応じて、その環境光の色合いが強調される。したがって、画像処理装置２００は、画像データの色合いを自然な色合いに調整することができる。
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図１６は、第３の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第１の実施の形態においては、画像処理装置２００は、補助光に対する環境光の光量または色温度の比率を環境光の露出値から求めていた。しかし、画像処理装置２００は、補助光に対する環境光または色温度の比率は、露出値以外の値からも求めることができる。具体的には、被写体までの奥行きが小さいほど、補助光に対する環境光の比率が小さくなるため、奥行きから、光量の比率が得られる。第３の実施の形態の画像処理装置２００は、被写体までの奥行きを求め、その奥行きから補助光に対する環境光の比率を判断する点において第１の実施の形態と異なる。
具体的には、第３の実施の形態のホワイトバランスゲイン補正部２７０は、カメラ制御装置３００から、奥行情報をさらに受け取る。この奥行情報は、画像データ内のブロックごとの奥行きを示す情報である。一般に、奥行きが小さいほどフラッシュ１７０に近いため、補助光の光量または色温度が比較的大きくなる。言い換えれば、奥行きが小さいほど、環境光の相対的な光量または色温度が小さくなる。したがって、ホワイトバランスゲイン補正部２７０は、奥行きに応じて基準色温度を補正する。例えば、ホワイトバランスゲイン補正部２７０は、奥行きが小さいほど補正係数Ｋｍを大きくして、基準色温度を高くする。なお、環境光の色温度が補助光より高い場合もある。この場合には、奥行きが小さいほど環境光の相対的な色温度が大きくなるため、ホワイトバランスゲイン補正部２７０は、奥行きが小さいほど補正係数Ｋｍを小さくして、基準色温度を低くする。
［ホワイトバランスゲイン補正部の構成例］
図１７は、第３の実施の形態におけるホワイトバランスゲイン補正部２７０の一構成例を示すブロック図である。第３の実施の形態の補正係数生成部２７１は、ブロックの（ｉ，ｊ）について、奥行情報の示すブロックの奥行きが小さいほど大きな補正係数Ｋｍ（ｉ，ｊ）を生成する。第３の実施の形態の合成ホワイトバランスゲインシフト部２７２は、補正係数Ｋ（ｉ，ｊ）を使用して、ブロックの（ｉ，ｊ）について適正ホワイトバランスゲインＷＢ_ｐ（ｉ，ｊ）を求める。
図１８は、第３の実施の形態における補助光の届く範囲の一例を示す図である。図１８の楕円は、画像データにおいて補助光が届いた範囲である。この範囲内のブロック５０１には、比較的手前にある机が写っている。一方、補助光が届かないブロック５０２には、比較的奥にある壁が写っている。
この場合、奥行きの小さいブロック５０１の被写体には、補助光が届くため、相対的な環境光の光量または色温度は小さくなる。一方、奥行きの小さいブロック５０２の被写体には、補助光が届かないため、環境光の相対的な光量または色温度が大きくなる。このため、奥行きの小さいブロック５０１の補正係数Ｋｍは、奥行きの大きなブロック５０２よりも大きく設定される。
図１９は、第３の実施の形態の変形例における補正係数と奥行情報との間の関係の一例を示す図である。図１９において縦軸は、ブロック（ｉ，ｊ）の補正係数Ｋｍ（ｉ，ｊ）である。横軸は、ブロック（ｉ，ｊ）の奥行情報ｄ（ｉ，ｊ）である。奥行きｄ（ｉ，ｊ）が閾値ｄ_ｔｈ２以上である場合には、環境光の相対的な光量または色温度が十分に大きいため、補正の必要性が低い。このため、補正係数Ｋｍ（ｉ，ｊ）に固定値（例えば、「０」）が設定される。
奥行きｄ（ｉ，ｊ）が閾値ｄ_ｔｈ２より小さく、閾値ｄ_ｔｈ１以上である場合には、奥行きが小さいほど、大きな補正係数が設定される。奥行きｄ（ｉ，ｊ）が閾値ｄ_ｔｈ１より小さい場合には、これ以上補正係数を大きくすると、過剰な補正となるおそれがあるため、補正係数Ｋｍ（ｉ，ｊ）に固定値が設定される。この固定値には、例えば、ｄ_ｔｈ１のときの補正係数Ｋｍ（ｉ,ｊ）が設定される。
このように本技術の第３の実施の形態によれば、画像処理装置２００は、奥行きが小さいほど補助光に対する環境光の比率が小さいと判断して、その比率に応じて合成ホワイトバランスゲインＷＢ_ｍを補正することができる。これにより、補助光に対する環境光の比率に応じて、環境光の色合いが強調される。したがって、画像処理装置２００は、画像データの色合いを自然な色合いに調整することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成部と、
補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成部と、
前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正部と
を具備し、
前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する画像処理装置
（２）前記ホワイトバランスゲイン補正部は、前記補助光に対する前記環境光の光量の比率に応じて基準色温度を増減する補正を前記合成ホワイトバランスゲインに対して行う
前記（１）記載の画像処理装置。
（３）前記ホワイトバランス補正部は、前記環境光ホワイトバランスゲインから前記環境光の色温度を生成して前記補助光に対する前記取得した環境光の色温度の比率に応じて基準色温度を増減する補正を前記合成ホワイトバランスゲインに対して行う
前記（１）または（２）記載の画像処理装置。
（４） 前記ホワイトバランスゲイン補正部は、前記環境光の下で撮像された画像内の被写体までの奥行きが小さいほど前記補助光に対する前記環境光の比率が低いと判断する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記画像は複数の領域を有し、
前記ホワイトバランスゲイン補正部は、前記複数の領域の各々において前記補助光に対する前記環境光の比率を求めて前記複数の領域の各々において前記合成ホワイトバランスを補正する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記補正後のホワイトバランスゲインを使用して前記混合光の下で撮像された画像に対してホワイトバランス処理を実行するホワイトバランス処理部をさらに具備する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）環境光ホワイトバランスゲイン生成部が、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成手順と、
合成ホワイトバランスゲイン生成部が、補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成手順と、
ホワイトバランスゲイン補正部が、前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正手順と、
前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する手順と
を具備する画像処理方法。
（８）環境光ホワイトバランスゲイン生成部が、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成手順と、
合成ホワイトバランスゲイン生成部が、補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成手順と、
ホワイトバランスゲイン補正部が、前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正手順と、
前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する手順と
をコンピュータに実行させるためのプログラム。
１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像素子
１３０ 測光測距センサ
１４０ 信号処理部
１５０ 画像メモリ
１６０ レンズ制御部
１７０ フラッシュ
１８０ 発光制御部
１９０ 操作部
２００ 画像処理装置
２１０ 環境光ホワイトバランスゲイン生成部
２１１ ブロック内合計輝度値算出部
２１２ ブロック内彩度算出部
２１３ 合計輝度値算出部
２１４ 環境光ホワイトバランスゲイン算出部
２２０ 環境光ホワイトバランスゲイン保持部
２３０ 環境光露出値保持部
２４０ 混合光露出値保持部
２５０ 補助光ホワイトバランスゲイン記憶部
２６０ 合成ホワイトバランスゲイン生成部
２６１ 環境光寄与率生成部
２６２ 合成ホワイトバランスゲイン算出部
２７０ ホワイトバランスゲイン補正部
２７１ 補正係数生成部
２７２ 合成ホワイトバランスゲインシフト部
２７３ 色温度変換部
２８０ ホワイトバランス処理部
２８１ 分離部
２８２、２８３ ゲイン可変アンプ
３００ カメラ制御装置

Claims (8)

  1. 環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成部と、
    補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成部と、
    前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正部と
    を具備し、
    前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する画像処理装置。
  2. 前記ホワイトバランスゲイン補正部は、前記補助光に対する前記環境光の光量の比率に応じて基準色温度を増減する補正を前記合成ホワイトバランスゲインに対して行う
    請求項１記載の画像処理装置。
  3. 前記ホワイトバランス補正部は、前記環境光ホワイトバランスゲインから前記環境光の色温度を生成して前記補助光に対する前記取得した環境光の色温度の比率に応じて基準色温度を増減する補正を前記合成ホワイトバランスゲインに対して行う
    請求項１記載の画像処理装置。
  4. 前記ホワイトバランスゲイン補正部は、前記環境光の下で撮像された画像内の被写体までの奥行きが小さいほど前記補助光に対する前記環境光の比率が低いと判断する
    請求項１記載の画像処理装置。
  5. 前記画像は複数の領域を有し、
    前記ホワイトバランスゲイン補正部は、前記複数の領域の各々において前記補助光に対する前記環境光の比率を求めて前記複数の領域の各々において前記合成ホワイトバランスを補正する
    請求項１記載の画像処理装置。
  6. 前記補正後のホワイトバランスゲインを使用して前記混合光の下で撮像された画像に対してホワイトバランス処理を実行するホワイトバランス処理部をさらに具備する
    請求項１記載の画像処理装置。
  7. 環境光ホワイトバランスゲイン生成部が、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成手順と、
    合成ホワイトバランスゲイン生成部が、補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成手順と、
    ホワイトバランスゲイン補正部が、前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正手順と、
    前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する手順と
    を具備する画像処理方法。
  8. 環境光ホワイトバランスゲイン生成部が、環境光の下で撮像された画像から環境光ホワイトバランスゲインを生成する環境光ホワイトバランスゲイン生成手順と、
    合成ホワイトバランスゲイン生成部が、補助光の色温度に対応する補助光ホワイトバランスゲインと前記環境光ホワイトバランスゲインとを合成して合成ホワイトバランスゲインを生成する合成ホワイトバランスゲイン生成手順と、
    ホワイトバランスゲイン補正部が、前記補助光に対する前記環境光の比率に応じて前記合成ホワイトバランスゲインを補正するホワイトバランスゲイン補正手順と、
    前記補正後の合成ホワイトバランスゲインを前記補助光および前記環境光を含む混合光の下で撮影された画像に適用する手順と
    をコンピュータに実行させるためのプログラム。
JP2012151343A 2012-07-05 2012-07-05 画像処理装置、画像処理方法、および、プログラム Pending JP2014014044A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012151343A JP2014014044A (ja) 2012-07-05 2012-07-05 画像処理装置、画像処理方法、および、プログラム
US13/894,685 US20140009683A1 (en) 2012-07-05 2013-05-15 Apparatus, method and program for image processing
CN201310264506.9A CN103533316A (zh) 2012-07-05 2013-06-28 图像处理设备、方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012151343A JP2014014044A (ja) 2012-07-05 2012-07-05 画像処理装置、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2014014044A true JP2014014044A (ja) 2014-01-23

Family

ID=49878282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012151343A Pending JP2014014044A (ja) 2012-07-05 2012-07-05 画像処理装置、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US20140009683A1 (ja)
JP (1) JP2014014044A (ja)
CN (1) CN103533316A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016144042A (ja) * 2015-02-02 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019087547A1 (ja) * 2017-11-02 2019-05-09 ソニー株式会社 画像処理装置、画像処理方法、プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015151747A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN103973992B (zh) * 2014-05-21 2017-06-06 深圳英飞拓科技股份有限公司 一种针对led白光灯的自动曝光方法和装置
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
CN104320642B (zh) * 2014-10-11 2016-08-24 广东欧珀移动通信有限公司 一种图片处理的方法及装置
CN105657283A (zh) * 2014-11-11 2016-06-08 索尼公司 图像生成方法、装置以及终端设备
CN105278689A (zh) * 2015-10-16 2016-01-27 深圳市金立通信设备有限公司 一种环境光颜色获取方法及终端
CN105611265B (zh) * 2016-02-16 2017-08-04 上海斐讯数据通信技术有限公司 一种白平衡调节装置及方法
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
JP6818463B2 (ja) * 2016-08-08 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109510974A (zh) * 2018-12-20 2019-03-22 天津天地伟业信息系统集成有限公司 一种基于hsv域上的白平衡处理方法
JP2022135677A (ja) * 2021-03-05 2022-09-15 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
CN114554170B (zh) * 2022-03-08 2024-06-11 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847680A (en) * 1986-09-24 1989-07-11 Canon Kabushiki Kaisha Image pickup apparatus with white balance control
JP4439767B2 (ja) * 2001-08-09 2010-03-24 キヤノン株式会社 撮像装置およびホワイトバランスの調整方法およびその動作処理プログラム
WO2004010711A1 (ja) * 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
US8040391B2 (en) * 2007-08-06 2011-10-18 Panasonic Corporation White balance adjustment device, image capture device, white balance adjustment method, storage medium, and integrated circuit
JP5761946B2 (ja) * 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016144042A (ja) * 2015-02-02 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019087547A1 (ja) * 2017-11-02 2019-05-09 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JPWO2019087547A1 (ja) * 2017-11-02 2020-11-12 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US11190745B2 (en) 2017-11-02 2021-11-30 Sony Corporation Image processing apparatus and image processing method
JP7156302B2 (ja) 2017-11-02 2022-10-19 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
CN103533316A (zh) 2014-01-22
US20140009683A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
JP2014014044A (ja) 画像処理装置、画像処理方法、および、プログラム
JP6083897B2 (ja) 撮像装置及び画像信号処理装置
KR101388130B1 (ko) 화상처리장치 및 화상처리방법
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
WO2013065442A1 (ja) 画像処理装置、撮像装置および画像処理プログラムを格納した記憶媒体
JP4757927B2 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
JP4894907B2 (ja) 撮像装置、撮像処理方法及びプログラム
JP2013093914A (ja) 画像入力装置
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2013121132A (ja) 撮像装置及び撮像方法
JP2017022610A (ja) 画像処理装置、画像処理方法
WO2016117137A1 (ja) 撮像装置、撮像方法、および画像表示装置
JP2009055077A (ja) 撮像装置
JP2006333113A (ja) 撮像装置
JP5803233B2 (ja) 撮像装置および撮像方法
JP5330291B2 (ja) 信号処理装置及び撮像装置
Brown Color processing for digital cameras
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP5754929B2 (ja) 画像処理装置及び画像処理方法
JP3865127B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP6021885B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015118320A (ja) 撮像装置、画像処理方法及びプログラム
JP2024026649A (ja) 撮像装置および撮像方法
JP6483351B2 (ja) 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム
JP2018207429A (ja) 撮像装置