JP2014120813A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】フラッシュ発光時のホワイトバランスゲインが不明な場合でも、適正なホワイトバランスゲインを算出する。
【解決手段】フラッシュ非発光時の第１画像と発光時の第２画像の露光制御値の差分から露光差分値を算出し、露光差分値を乗算した第２画像と第１画像の信号値と比較して所定ブロック単位で第１フラッシュ混合率を算出し、第１フラッシュ混合率の最大値と所定しきい値の間に第１フラッシュ混合率が収まるブロック領域を選択し、第２画像のうち選択した領域のカラーバランスを算出し、前記最大値を１とする係数を全ブロックの第１フラッシュ混合率に乗算して第２フラッシュ混合率を算出し、第２フラッシュ混合率と、第２画像のうち選択した領域のカラーバランスと、定常光のカラーバランスとに基づいて、ブロック単位でホワイトバランスゲインを算出するマルチＡＷＢ処理部１０６を備える。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラ（Digital Still Camera）などの電子的撮像装置において、白色のバランスを補正するホワイトバランス（White Balance）補正処理が広く知られている。従来のホワイトバランス補正処理は、全ての画素に同じホワイトバランスゲイン（White Balance Gain）を適用する処理である。

例えば定常光が暗いシーン（Scene）では、露光不足を解消するためにフラッシュ（Flash）を発光させて撮影を行うが、この時、定常光とフラッシュ光が混合されているシーンでのホワイトバランスゲインは、フラッシュの発光量等に応じて算出することになる。その際に、デジタルスチルカメラに近い距離にある被写体はフラッシュ光の依存度が高いため、適切なホワイトバランスとすることができる。

一方、デジタルスチルカメラから離れた遠い距離にある被写体は定常光の依存度が高くなる。この場合、定常光が蛍光灯などの場合だとフラッシュ光との色温度差が大きくなるため、白い被写体が黄色く写るなど不適切なホワイトバランスとなる問題が発生する。

このため、特許文献１に記載されているように、画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像を比較することでフラッシュ混合率を算出し、そのフラッシュ混合率から最適なホワイトバランスゲインを画素単位に算出し適用する技術が知られている。

特許文献１に記載された技術では、フラッシュ光の光源色と定常光の光源色をフラッシュ混合率で線形補間して、ホワイトバランスゲインを算出する。フラッシュ光の光源色は事前に測定したフラッシュ光が１００％被写体に当たる場合の値を使用することで、フラッシュ混合率に応じてホワイトバランスゲインを算出している。

また、特許文献２には、フラッシュ発光画像とフラッシュ非発光画像とを、画素毎の輝度値に基づいて、所定の閾値、所定の合成比率に従って合成して画像を生成する撮像装置が記載されている。また、特許文献３には、フラッシュ発光画像とフラッシュ非発光画像との輝度を比較し、その輝度差が予め定められた閾値を超えるフラッシュ発光画像中の領域の画像データに基づき、被写体に対するホワイトバランスゲインを算出することが記載されている。また、特許文献４には、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても正確にホワイトバランスゲインを算出する技術が記載されている。

特許第３５６９３５２号号公報 特開２００７−１２４２９２号公報 特開２０１０−１８７１１３号公報 特願２０１２−１３４６７８号公報

しかしながら、特許文献１に記載された技術では、フラッシュ光の光源色は事前に測定して得られた、フラッシュ光が１００％被写体に当たる場合の値を使用するため、フラッシュ光の光源色が事前に判明していることが前提となる。

このため、フラッシュ光を壁などにバウンス（Bounce）させて発光した場合は、フラッシュ光を直接被写体に照射する場合と比べてフラッシュ光の光源色が変化するため、適正なホワイトバランスを算出することができない問題がある。また、ホワイトバランスゲインが不明な、カメラと別体の外付けのフラッシュを使用する場合など、フラッシュの光源色を予め取得できない場合も、適正なホワイトバランスゲインを算出することが困難となる。

同様に、特許文献２〜４に記載された技術においても、フラッシュ光を壁などにバウンス（Bounce）させて発光した場合や、ホワイトバランスゲインが不明な外部フラッシュを使用する場合はホワイトバランスゲインを算出することができず、適切なホワイトバランスに補正できないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、外付けのフラッシュを使用する場合、またはバウンス発光など直接フラッシュ光を被写体に照射しない場合など、フラッシュのホワイトバランスゲインが不明となる場合であっても、適正なホワイトバランスゲインを算出することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、フラッシュ非発光時に撮像された第１の画像の露光制御値とフラッシュ発光時に撮像された第２の画像の露光制御値の差分から露光差分値を算出する露光差分値算出部と、前記露光差分値を乗算した前記第２の画像の信号値と前記第１の画像の信号値との比較から所定のブロック単位で第１のフラッシュ混合率を算出するフラッシュ混合率算出部と、前記第１のフラッシュ混合率が最大値となるブロックを選択し、当該最大値と所定のしきい値の間に前記第１のフラッシュ混合率が収まるブロックからなる領域を選択する被写体領域選択部と、フラッシュ発光時の前記第２の画像のうち前記選択した前記領域のカラーバランスを算出するフラッシュ光カラーバランス算出部と、前記フラッシュ混合率の前記最大値を１とする係数を算出し、当該係数を全ブロックの前記第１のフラッシュ混合率に乗算して第２のフラッシュ混合率を算出するフラッシュ混合率補正部と、前記第２のフラッシュ混合率と、前記フラッシュ光カラーバランス算出部が算出した前記カラーバランスと、定常光のカラーバランスとに基づいて、前記ブロック単位でホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、を備える撮像装置が提供される。

上記構成によれば、第１のフラッシュ混合率の最大値と所定のしきい値の間に第１のフラッシュ混合率が収まるブロックからなる領域が選択されて、その領域のフラッシュ発光時の第２の画像のカラーバランスと定常光のカラーバランスとに、第２のフラッシュ混合率を適用してホワイトバランスゲインを算出することができるため、フラッシュによるホワイトバランスゲインが不明な場合であっても、適正なホワイトバランスゲインを算出することができる。

また、前記ブロックは１画素からなり、前記フラッシュ混合率算出部は、画素毎に前記第１のフラッシュ混合率を算出し、前記ホワイトバランスゲイン算出部は、画素毎に前記ホワイトバランスゲインを算出する。この構成によれば、画素毎にホワイトバランスゲインを算出することができるため、画素毎にホワイトバランスを制御することができる。

また、前記ブロックは複数の画素から構成される特定の領域であり、前記フラッシュ混合率算出部は、前記特定の領域毎に前記第１のフラッシュ混合率を算出し、前記ホワイトバランスゲイン算出部は、前記特定の領域毎に前記ホワイトバランスゲインを算出する。この構成によれば、特定の領域毎にホワイトバランスゲインを算出することができるため、特定の領域毎にホワイトバランスを制御することができる。

また、前記ホワイトバランスゲインを前記第２の画像に前記ブロック毎に適用するホワイトバランスゲイン制御部を更に備える。この構成によれば、算出したホワイトバランスゲインが第２の画像にブロック毎に適用されるため、ホワイトバランスを最適に制御することができる。

また、フラッシュ発光時の前記第２の画像のうち前記選択した領域の前記カラーバランスと、フラッシュ非発光時の前記第１の画像の前記カラーバランスとを、前記第２のフラッシュ混合率に基づいて線形補間してブロック単位でカラーバランスを算出する推定光源色算出部を更に備え、前記ホワイトバランスゲイン算出部は、前記ブロック単位で算出された前記カラーバランスに基づいて、前記ブロック単位で前記ホワイトバランスゲインを算出する。この構成によれば、フラッシュ発光時の第２の画像のうち選択した領域のカラーバランスと、フラッシュ非発光時の第１の画像のカラーバランスとが、第２のフラッシュ混合率に基づいて線形補間されてブロック単位でカラーバランスが算出されるため、フラッシュ発光によるホワイトバランスゲインが不明な場合であっても、ブロック単位でカラーバランスを高精度に算出することができる。

また、上記課題を解決するために、本発明の別の観点によれば、フラッシュ非発光時に撮像された第１の画像の露光制御値とフラッシュ発光時に撮像された第２の画像の露光制御値の差分から露光差分値を算出するステップと、前記露光差分値を乗算した前記第２の画像の信号値と前記第１の画像の信号値との比較から所定のブロック単位で第１のフラッシュ混合率を算出するステップと、前記第１のフラッシュ混合率が最大値となるブロックを選択し、当該最大値と所定のしきい値の間に前記第１のフラッシュ混合率が収まるブロックからなる領域を選択するステップと、フラッシュ発光時の前記第２の画像のうち前記選択した領域のカラーバランスを算出するステップと、前記フラッシュ混合率の前記最大値を１とする係数を算出し、当該係数を全ブロックの前記第１のフラッシュ混合率に乗算して第２のフラッシュ混合率を算出するステップと、前記第２のフラッシュ混合率と、前記カラーバランスを算出するステップで算出した前記カラーバランスと、定常光のカラーバランスとに基づいて、前記ブロック単位でホワイトバランスゲインを算出するステップと、備える撮像方法が提供される。

上記構成によれば、第１のフラッシュ混合率の最大値と所定のしきい値の間に第１のフラッシュ混合率が収まるブロックからなる領域が選択されて、その領域のフラッシュ発光時の第２の画像のカラーバランスと定常光のカラーバランスとに、第２のフラッシュ混合率を適用してホワイトバランスゲインを算出することができるため、フラッシュによるホワイトバランスゲインが不明な場合であっても、適正なホワイトバランスゲインを算出することができる。

また、前記ブロックは１画素の領域であり、前記第１のフラッシュ混合率を算出するステップにおいて、画素毎に前記第１のフラッシュ混合率を算出し、前記ホワイトバランスゲインを算出するステップにおいて、画素毎に前記ホワイトバランスゲインを算出する。この構成によれば、画素毎にホワイトバランスゲインを算出することができるため、画素毎にホワイトバランスを制御することができる。

また、前記ブロックは複数の画素から構成される特定の領域であり、前記第１のフラッシュ混合率を算出するステップにおいて、前記特定の領域毎に前記第１のフラッシュ混合率を算出し、前記ホワイトバランスゲインを算出するステップにおいて、前記特定の領域毎に前記ホワイトバランスゲインを算出する。この構成によれば、特定の領域毎にホワイトバランスゲインを算出することができるため、特定の領域毎にホワイトバランスを制御することができる。

また、前記ホワイトバランスゲインを前記第２の画像に前記ブロック毎に適用するステップを更に備える。この構成によれば、算出したホワイトバランスゲインが第２の画像にブロック毎に適用されるため、ホワイトバランスを最適に制御することができる。

また、フラッシュ発光時の前記第２の画像のうち前記選択した領域の前記カラーバランスと、フラッシュ非発光時の前記第１の画像のカラーバランスとを、前記第２のフラッシュ混合率に基づいて線形補間してブロック単位でカラーバランスを算出するステップを更に備え、前記ホワイトバランスゲインを算出するステップにおいて、前記ブロック単位で算出された前記カラーバランスに基づいて、前記ブロック単位で前記ホワイトバランスゲインを算出する。この構成によれば、フラッシュ発光時の第２の画像のうち選択した領域のカラーバランスと、フラッシュ非発光時の第１の画像のカラーバランスとが、第２のフラッシュ混合率に基づいて線形補間されてブロック単位でカラーバランスが算出されるため、フラッシュ発光によるホワイトバランスゲインが不明な場合であっても、ブロック単位でカラーバランスを高精度に算出することができる。

本発明によれば、外付けのフラッシュを使用する場合、またはバウンス発光など直接フラッシュ光を被写体に照射しない場合など、フラッシュのホワイトバランスゲインが不明となる場合であっても、適正なホワイトバランスゲインを算出することが可能となる。

本発明の一実施形態に係る本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。 ホワイトバランスゲインの算出処理を示すフローチャートである。 フラッシュ非発光撮影により撮像される画像を示した説明図である。 フラッシュ発光撮影により撮像される画像を示した説明図である。 ベイヤ型配列を有する撮像素子を示した説明図である。 被写体領域選択部によって選択される領域を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図１を参照しながら簡単に説明する。図１は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。

本実施形態に係る撮像装置１０は、図１に示したように、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、マルチＡＷＢ処理部１０６、後処理部１０７、ＲＧＢ−ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０及びメモリカード１１１を主に備える。

撮像部１０１は、図１に示したように、被写体からの光を集光するレンズ１２１と、絞り１２２と、シャッター１２３と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２４と、露光制御部１２５と、フラッシュ１２６と、を主に備える。

レンズ１２１を透過した光は、絞り１２２及びシャッター１２３の動作タイミングに合わせて撮像素子１２４に結像し、撮像素子１２４の各画素から、結像した光に関する出力信号が出力される。また、露光制御部１２５は、絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の動作タイミングを制御しており、フラッシュ１２６を発光させながら被写体を撮像したり、フラッシュ１２６を発光させないで被写体を撮像したりする制御を行っている。

信号処理部１０２は、撮像部１０１の撮像素子１２４から出力された出力信号に対して信号処理を行う処理部である。この信号処理部１０２は、出力信号に対して色分離処理を行う色分離部１３１と、出力信号に対してＡ／Ｄ変換処理を行うＡ／Ｄ変換部１３２と、を主に備える。色分離部１３１とＡ／Ｄ変換部１３２とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子１２４から出力された出力信号はＲＧＢ画像信号となる。

前処理部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部である。この前処理部１０３は、図１に示したように、黒レベル補正部１４１、欠陥画素補正部１４２、シェーディング補正部１４３及びＡＥ評価値算出部１４４を主に備える。信号処理部１０２から出力されたＲＧＢ画像信号は、黒レベル補正部１４１による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部１４２により、画素欠陥がＲＧＢ画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部１０２から出力されたＲＧＢ画像信号は、シェーディング補正部１４３により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。ＡＥ評価値算出部１４４は、これらの補正が行われたＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値算出部１４４により算出されたＡＥ評価値は、適正ＡＥ算出部１０５に出力される。また、上述の補正が行われたＲＧＢ画像信号は、画像メモリ１０４及び後処理部１０７に出力される。

画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部の一例である。この画像メモリ１０４は、フラッシュ非発光時に撮像された撮像画像を記憶する第１撮像記憶部１５１と、フラッシュ発光時に撮像された撮像画像を記憶する第２撮像記憶部１５２と、を有している。後述するマルチＡＷＢ（オートホワイトバランス）処理部１０６及び後処理部１０７は、かかる画像メモリ１０４が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。

適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部１４４から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出する。適正ＡＥ算出部１０５は、算出したＡＥ値を、撮像部１０１の露光制御部１２５及びマルチＡＷＢ処理部１０６に出力する。これにより、露光制御部１２５は、取得したＡＥ値に基づいて絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の露光制御を行うことが可能となる。

マルチＡＷＢ処理部１０６は、適正ＡＥ算出部１０５が算出したＡＥ値と、画像メモリ１０４に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチＡＷＢ処理部１０６は、算出したホワイトバランスゲインを、後述する後処理部１０７のホワイトバランス制御部１７６に出力する。

このマルチＡＷＢ処理部１０６は、図１に示したように、露光差分値算出部１６１、フラッシュ混合率算出部１６２、被写体領域選択部１６３、フラッシュ光のカラーバランス算出部１６４、フラッシュ混合率補正部１６５、推定光源色算出部１６６、及びホワイトバランスゲイン算出部１６７を有している。

マルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。

後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部である。この後処理部１０７は、ＲＧＢ画像信号に対してデモザイク処理（ベイヤ色補間処理）を実施するデモザイク処理部１７１と、ＲＧＢ画像信号に対してエッジ強調処理を実施するエッジ強調処理部１７２と、ＲＧＢ画像信号に対して色補正処理を実施する色補正処理部１７３と、ＲＧＢ画像信号に対してガンマ補正を実施するガンマ補正処理部１７４と、ＲＧＢ画像信号のノイズリダクション処理（ノイズ低減処理）を実施するノイズリダクション処理部１７５と、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部１７６と、を更に備える。ここで、ホワイトバランス制御部１７６には、本実施形態に係るマルチＡＷＢ処理部１０６により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部１７６は、算出されたホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。

これらの処理部により各種の後処理を施されたＲＧＢ画像信号は、ＲＧＢ−ＹＣＣ変換部１０８に出力される。ＲＧＢ−ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がＲＧＢ色空間からＹＣＣ（ＹＣｒＣｂ）色空間へと変換されることとなる。変換後のＹＣＣ画像信号は、データ圧縮部１０９へと出力される。

データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。

以上、図１を参照しながら、本実施形態に係る撮像装置１０の画像処理パイプラインについて、簡単に説明した。

次に、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。図２は、ホワイトバランスゲインの算出処理を示すフローチャートである。

先ず、ステップＳ１０では、フラッシュ非発光時の画像を取得する。ここでは、フラッシュ非発光時に行う第１の撮影によって、図３に示すように、フラッシュ発光前の定常光で照射されているＲＧＢ画像信号となる第１の画像を取得する。次のステップＳ１２では、第１の画像が画像メモリ１０４の第１の撮像記憶部１５１に記憶される。

次に、ステップＳ１４では、フラッシュを発光時の画像を取得する。ここでは、フラッシュ発光時の第２の撮像によって、図４のようなフラッシュ発光後のＲＧＢ画像信号となる第２の画像を取得する。次のステップＳ１６では、第２の画像が画像メモリ１０４の第２の撮像記憶部１５２に記憶される。

次のステップＳ１８では、画素単位でフラッシュ混合率を算出する。ステップＳ１８では、第１の画像と第２の画像の露光制御値の差分を算出し、差分に基づいてフラッシュ混合率を算出する。次のステップＳ２０では、全ての画素のフラッシュ混合率を算出したか否かを判定し、全ての画素のフラッシュ混合率の算出が完了した場合は、ステップＳ２２へ進む。一方、全ての画素のフラッシュ混合率を算出していない場合は、ステップＳ１８へ戻り、画素単位でのフラッシュ混合率の算出を引き続き行う。

ステップＳ２２では、全ての画素で算出したフラッシュ混合率について、その最大値を求める。次のステップＳ２４では、ステップＳ２０で求めた最大値と、最大値よりも小さい所定のしきい値との間にフラッシュ混合率を有する画素を選択する。

次のステップＳ２６では、ステップＳ２４で選択した選択画素のみでフラッシュ光源色を算出する。次のステップＳ２８では、フラッシュ混合率の最大値を１００％として、画素単位で補正値を算出し、フラッシュ混合率に補正値を乗算して新たなフラッシュ混合率を算出する。次のステップＳ３０では、補正値の乗算が全ての画素について終了したか否かを判定し、全ての画素について終了した場合はステップＳ３２へ進む。一方、補正値の乗算が全ての画素について終了していない場合は、ステップＳＳ２８へ戻り、画素単位の新たな補正値の乗算を引き続き行う。

次のステップＳ３２では、フラッシュ光と定常光の推定光源色を線形補間する。次のステップＳ３４では、画素単位でホワイトバランスゲインを算出する。次のステップＳ３６では、画素単位でのホワイトバランスゲインの算出が全画素について終了したか否かを判定し、全画素について終了した場合は処理を終了する（ＥＮＤ）。一方、ホワイトバランスゲインの算出が全ての画素で終了していない場合は、ステップＳ３２以降の処理を再度行う。

次に、図２の処理について詳細に説明する。まず、図３、図４及び図５を参照しながら、マルチＡＷＢ処理部１０６に入力される撮像画像及び当該撮像画像における画素の取り扱いについて、簡単に説明する。図３は、フラッシュ非発光撮影により撮像される画像を示した説明図であり、図４は、フラッシュ発光撮影により撮像される画像を示した説明図である。図５は、ベイヤ型配列を有する撮像素子を示した説明図である。

本実施形態に係るマルチＡＷＢ処理部１０６には、入力信号として、第１の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像（以下、フラッシュ非発光撮像画像とも称する。）と、第２の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像（以下、フラッシュ発光撮像画像とも称する。）と、が入力される。ここで、図３に示したようなフラッシュ非発光撮像画像は、ライブビュー画像のように間引き処理等によって、図４に示したようなフラッシュ発光撮像画像よりも画像サイズが小さい画像となっている。

また、マルチＡＷＢ処理部１０６は、後述するように、入力された撮像画像の画像信号から推定光源色を算出するが、マルチＡＷＢ処理部１０６は、かかる処理において、フラッシュ非発光撮像画像のＲＧＢ画像信号を、ＲＧＢ別（色別）に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。また、マルチＡＷＢ処理部１０６は、フラッシュ発光時撮像画像のＲＧＢ画像信号を、フラッシュ混合率が最大値から所定のしきい値の範囲内の領域で、ＲＧＢ別（色別）に当該領域内で積分し、フラッシュ混合率が最大値から所定のしきい値の範囲内の領域の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。

ここで、本実施形態に係るマルチＡＷＢ処理部１０６では、画素単位ごとにホワイトバランスゲインが算出されることとなる。この際、マルチＡＷＢ処理部１０６は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなしたり、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成したりする。

図１において、マルチＡＷＢ処理部１０６への入力値は、画像メモリ１０４から入力される、フラッシュ非発光時のＲＧＢ画像信号とフラッシュ発光時のＲＧＢ画像信号である。マルチＡＷＢ処理部１０６からの出力値のホワイトバランスゲインは、全画素数分のホワイトバランスゲインであり、画素単位がホワイトバランスゲインを適用するブロックとなる。

図２のステップＳ１８では、第１の撮像記憶部１５１に保持されたフラッシュ非発光時のＲＧＢ画像信号と、第２の撮像記憶部１５２に保持されたフラッシュ発光時のＲＧＢ画像信号に基づいてフラッシュ混合率の計算を行う。図２では、フラッシュ混合率の計算を画素毎に行っており、以下の説明でもフラッシュ混合率の計算を画素単位で行うものとするが、上述したように、フラッシュ混合率の計算は、複数の画素からなるブロック単位で行うこともできる。例えば、フラッシュ混合率の計算は、図５に示すように、Ｒ，Ｇ，Ｇ，Ｂの４画素を一組としたベイヤユニット２３を１画素として行うことができ、また、Ｂａｙｅｒ色補間(Ｄｅ−ｍｏｓａｉｃ)処理により、周辺の画素から補間して得られる１画素（Ｒ，Ｇ，Ｂ）として行うこともできる。

図３に示したようなフラッシュ非発光撮像画像を撮像するときの露光制御値と、図４に示すようなフラッシュ発光撮像画像を撮像するときの露光制御値が一致していない場合には、露光差分値算出部１６２は、各露光制御値の差分を考慮する。ここで、露光制御値には、以下の式１０１に示す関係があることが知られている。ここで、以下の式１０１において、ＴＶはシャッタースピードを表し、ＡＶは絞り値を表し、ＳＶは感度を表し、ＢＶは被写体輝度を表している。また、下記式１０１のそれぞれの値は、ＡＰＥＸ値で表現されている。

そこで、露光差分値算出部１６２は、各撮像画像の露光制御値が異なる場合には、以下の式１０２及び式１０３を用いて、被写体輝度を算出する。ここで、以下に示した式１０２は、フラッシュ非発光撮像画像の被写体輝度値ＢＶｌを算出するための式であり、以下に示した式１０３は、フラッシュ発光縮小画像の被写体輝度値ＢＶＳを算出するための式である。

露光差分値算出部１６２は、式１０２及び式１０３に基づく被写体輝度値の算出を終了すると、得られた算出結果を利用して、以下の式１０４に基づいて差分ＢＶｄｉｆｆを算出する。このとき、フラッシュ非発光撮像画像の露光制御値とフラッシュ発光撮像画像の露光制御値とが一致している場合には、以下の式１０４に示す差分ＢＶｄｉｆｆの値は０となる。

露光差分値算出部１６２は、差分ＢＶｄｉｆｆを算出すると、続いて以下の式１０５を利用して、露光差分値Ｌｆを算出する。

露光差分値算出部１６２は、露光差分値Ｌｆを算出すると、得られた算出結果をフラッシュ混合率算出部１６２に出力する。

フラッシュ混合率算出部１６２は、フラッシュ非発光撮像画像の信号値と、露光差分値を乗算したフラッシュ発光縮小画像の信号値とに基づいて、画素単位で第１のフラッシュ混合率（Ｒａｔｉｏ）を算出する。この第１のフラッシュ混合率（Ｒａｔｉｏ）は、フラッシュ非発光撮像画像における定常光量を１としたときの相対値として算出されるものであり、信号値として輝度値を利用した場合には以下の式１０６で表される。

ここで、式１０６において、Ｙｌは、フラッシュ非発光撮像画像における各画素の輝度値であり、ＹＳは、フラッシュ発光縮小画像における各画素の輝度値である。

また、色信号値の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、フラッシュ混合率算出部１６２は、上記式１０６において輝度値Ｙの代わりにＧ信号値を利用して、第１のフラッシュ混合率を算出してもよい。また、フラッシュ混合率算出部１６２は、算出した第１のフラッシュ混合率を０．０〜１．０の間でクリップ（Ｃｌｉｐ）する。

また、フラッシュ混合率算出部１６２は、ノイズ、またはフラッシュ非発光画像とフラッシュ発光画像の位置ずれを考慮（補正）して第１のフラッシュ混合率を算出する。第１のフラッシュ混合率は、フラッシュ混合率算出部１６２から被写体領域選択部１６３へ送られる。

図６は、被写体領域選択部１６３によって選択される領域を示す模式図である。被写体領域選択部１６３は、画素単位で算出された第１のフラッシュ混合率の中で一番大きな値であるフラッシュ混合率の最大値（Ｒａｔｉｏ_ＭＡＸ）を選択し、図６の斜線部の領域Ａ１のように、フラッシュ混合率の最大値が位置するブロックＢを中心に、フラッシュ混合率が最大値から所定のしきい値Ｔまでの範囲内に存在するブロックを選択する。この時、全画像内で第１のフラッシュ混合率が最大値からしきい値Ｔまでの範囲内に存在する全てのブロックを選択しても良いし、フラッシュ混合率が最大値からしきい値Ｔまでの範囲内に存在するブロックのうち、最大値のブロックから連続しているブロックのみを選択しても良い。一例として、しきい値Ｔとしては、最大値を１００％とした場合に、最大値から１０％〜２０％減少させた値、すなわち、しきい値Ｔとして最大値の８０％〜９０％の値を用いることができる。

次に、フラッシュ光カラーバランス算出部１６４は、被写体領域選択部１６３によって選択された領域（図６に示す斜線部の領域Ａ１）において、フラッシュ発光時のカラーバランス（ＣＢ：Color Balance）を算出する。フラッシュ光カラーバランス算出部１６４は、領域Ａ１内の画素をＲ，Ｇ，Ｂ毎に積算し、Ｒ／Ｇ（＝ＣＢ_ｆｒ）、Ｂ／Ｇ（ＣＢ_ｆｂ）を計算する。ここで、ホワイトバランスゲイン（White Balance Gain）はＧ／Ｒ，Ｇ／Ｂであるが、カラーバランスＣＢはホワイトバランスゲインの逆数となるため、フラッシュ光カラーバランス算出部１６４は、Ｒ／Ｇ，Ｂ／Ｇを算出する。

フラッシュ光カラーバランス算出部１６４によるカラーバランスの算出方法は、オートホワイトバランスのＧｒａｙ Ｗｏｒｌｄによるものであるが、別のホワイトバランスゲインの算出手法を用いてもよい。例えば、領域Ａ１内のブロック（Block）のカラーバランスから色を判断し、有彩色と思われるブロックを選択から外すことで、光源色に近いブロックのみを選択しても良い。これにより、有彩色の影響を排除して、より正確なカラーバランスを算出することができる。

フラッシュ光カラーバランス算出部１６４が算出したカラーバランスは、フラッシュ混合率補正部１６５へ送られる。フラッシュ混合率補正部１６５は、以下の式１０７により、被写体領域選択部１６３で求めたフラッシュ混合率の最大値を１００％とするための係数（１／Ｒａｔｉｏ_ＭＡＸ）を算出し、全ブロックの第１のフラッシュ混合率（Ｒａｔｉｏ）に乗算することで第２のフラッシュ混合率（Ｒａｔｉｏ’）を算出する。

フラッシュ混合率補正部１６５が算出した第２のフラッシュ混合率（Ｒａｔｉｏ’）は、推定光源色算出部１６６へ送られる。推定光源色算出部１６６は、フラッシュ光カラーバランス算出部１６４で算出したフラッシュ光の推定光源色（ＣＢｆ）と、定常光の推定光源色（ＣＢｓ）を線形補間し、以下の式１０８及び式１０９により画素の推定光源色（ＣＢ）を求める。なお、定常光の推定光源色（カラーバランス）は、予め撮像装置１０が取得して保持しておくことができる。ここで、推定光源色（ＣＢ）はＲ，Ｂのそれぞれで個別に求める。これにより、Ｒの推定光源色（ＣＢ_ｒ）とＧの推定光源色（ＣＢ_ｂ）が算出される。

式１０８で求めたＲとＧの推定光源色は、推定光源色算出部１６６からホワイトバランスゲイン算出部１６７へ送られる。ホワイトバランスゲイン算出部１６７は、以下の式１１０及び式１１１により対象画素のホワイトバランスゲイン（WBGainR、WBGainB）を算出する。

そして、ホワイトバランスゲイン算出部１６７は、式１１０、式１１１の演算を全画素について行うことで、フラッシュ光と定常光が混合（Mix）しているシーン（風景）について適切なホワイトバランスゲインを画素単位に求めることができる。

ホワイトバランスゲイン算出部１６７が画素単位に求めたホワイトバランスゲインは、後処理部１０７のホワイトバランス制御部１７６に送られる。ホワイトバランス制御部１７６は、以下の式１１２及び式１１３により、画素単位に求められたホワイトバランスゲインを各画素値に対して乗算する。これにより、ホワイトバランス制御部１７６は、フラッシュ光と定常光とが混在している撮像環境下で撮像された撮像画像に対しても、適切なホワイトバランス補正処理を実施することが可能となる。

以上説明したように、フラッシュ光のカラーバランスが不明な場合において、従来は規定のフラッシュ光のカラーバランスを使用していたために不適切なホワイトバランスゲインが算出される問題があった。本実施形態によれば、フラッシュ混合率に基づいて被写体領域Ａ１を選択し、被写体領域Ａ１内でカラーバランスを算出して第２のフラッシュ混合率でフラッシュ光と定常光のカラーバランスを最適化することで、バウンス撮影時や外付けのフラッシュを使用した場合など、フラッシュ光のホワイトバランスゲインが予め判明しない場合においても、適切なホワイトバランスゲインを算出することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１６１ 露光差分値算出部
１６２ フラッシュ混合率算出部
１６３ 被写体領域選択部
１６４ フラッシュ光カラーバランス算出部
１６５ フラッシュ混合率補正部
１６７ ホワイトバランスゲイン算出部

Claims (10)

1. フラッシュ非発光時に撮像された第１の画像の露光制御値とフラッシュ発光時に撮像された第２の画像の露光制御値の差分から露光差分値を算出する露光差分値算出部と、
   前記露光差分値を乗算した前記第２の画像の信号値と前記第１の画像の信号値との比較から所定のブロック単位で第１のフラッシュ混合率を算出するフラッシュ混合率算出部と、
   前記第１のフラッシュ混合率が最大値となるブロックを選択し、当該最大値と所定のしきい値の間に前記第１のフラッシュ混合率が収まるブロックからなる領域を選択する被写体領域選択部と、
   フラッシュ発光時の前記第２の画像のうち前記選択した前記領域のカラーバランスを算出するフラッシュ光カラーバランス算出部と、
   前記フラッシュ混合率の前記最大値を１とする係数を算出し、当該係数を全ブロックの前記第１のフラッシュ混合率に乗算して第２のフラッシュ混合率を算出するフラッシュ混合率補正部と、
   前記第２のフラッシュ混合率と、前記フラッシュ光カラーバランス算出部が算出した前記カラーバランスと、定常光のカラーバランスとに基づいて、前記ブロック単位でホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
   を備えることを特徴とする、撮像装置。
2. 前記ブロックは１画素からなり、
   前記フラッシュ混合率算出部は、画素毎に前記第１のフラッシュ混合率を算出し、
   前記ホワイトバランスゲイン算出部は、画素毎に前記ホワイトバランスゲインを算出することを特徴とする、請求項１に記載の撮像装置。
3. 前記ブロックは複数の画素から構成される特定の領域であり、
   前記フラッシュ混合率算出部は、前記特定の領域毎に前記第１のフラッシュ混合率を算出し、
   前記ホワイトバランスゲイン算出部は、前記特定の領域毎に前記ホワイトバランスゲインを算出することを特徴とする、請求項１に記載の撮像装置。
4. 前記ホワイトバランスゲインを前記第２の画像に前記ブロック毎に適用するホワイトバランスゲイン制御部を更に備えることを特徴とする、請求項１〜３のいずれかに記載の撮像装置。
5. フラッシュ発光時の前記第２の画像のうち前記選択した領域の前記カラーバランスと、フラッシュ非発光時の前記第１の画像のカラーバランスとを、前記第２のフラッシュ混合率に基づいて線形補間してブロック単位でカラーバランスを算出する推定光源色算出部を更に備え、
   前記ホワイトバランスゲイン算出部は、前記ブロック単位で算出された前記カラーバランスに基づいて、前記ブロック単位で前記ホワイトバランスゲインを算出することを特徴とする、請求項１〜４のいずれかに記載の撮像装置。
6. フラッシュ非発光時に撮像された第１の画像の露光制御値とフラッシュ発光時に撮像された第２の画像の露光制御値の差分から露光差分値を算出するステップと、
   前記露光差分値を乗算した前記第２の画像の信号値と前記第１の画像の信号値との比較から所定のブロック単位で第１のフラッシュ混合率を算出するステップと、
   前記第１のフラッシュ混合率が最大値となるブロックを選択し、当該最大値と所定のしきい値の間に前記第１のフラッシュ混合率が収まるブロックからなる領域を選択するステップと、
   フラッシュ発光時の前記第２の画像のうち前記選択した領域のカラーバランスを算出するステップと、
   前記フラッシュ混合率の前記最大値を１とする係数を算出し、当該係数を全ブロックの前記第１のフラッシュ混合率に乗算して第２のフラッシュ混合率を算出するステップと、
   前記第２のフラッシュ混合率と、前記カラーバランスを算出するステップで算出した前記カラーバランスと、定常光のカラーバランスとに基づいて、前記ブロック単位でホワイトバランスゲインを算出するステップと、
   を備えることを特徴とする、撮像方法。
7. 前記ブロックは１画素の領域であり、
   前記第１のフラッシュ混合率を算出するステップにおいて、画素毎に前記第１のフラッシュ混合率を算出し、
   前記ホワイトバランスゲインを算出するステップにおいて、画素毎に前記ホワイトバランスゲインを算出することを特徴とする、請求項６に記載の撮像方法。
8. 前記ブロックは複数の画素から構成される特定の領域であり、
   前記第１のフラッシュ混合率を算出するステップにおいて、前記特定の領域毎に前記第１のフラッシュ混合率を算出し、
   前記ホワイトバランスゲインを算出するステップにおいて、前記特定の領域毎に前記ホワイトバランスゲインを算出することを特徴とする、請求項６に記載の撮像方法。
9. 前記ホワイトバランスゲインを前記第２の画像に前記ブロック毎に適用するステップを更に備えることを特徴とする、請求項６〜８のいずれかに記載の撮像方法。
10. フラッシュ発光時の前記第２の画像のうち前記選択した領域の前記カラーバランスと、フラッシュ非発光時の前記第１の画像のカラーバランスとを、前記第２のフラッシュ混合率に基づいて線形補間してブロック単位でカラーバランスを算出するステップを更に備え、
    前記ホワイトバランスゲインを算出するステップにおいて、前記ブロック単位で算出された前記カラーバランスに基づいて、前記ブロック単位で前記ホワイトバランスゲインを算出することを特徴とする、請求項６〜９のいずれかに記載の撮像方法。

Images