JP2011135377A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】フラッシュ非発光時の画像において間引かれている画素について適切に補間を行い、画像全体を適切なホワイトバランスに調整することが可能な撮像装置及び撮像方法を提供する。
【解決手段】画素数が少ないフラッシュ非発光時の第一の画像の第一の被写体輝度を算出し、フラッシュ発光時の第二の画像が第一の画像のサイズと同一となるように間引かれた第三の画像の第二の被写体輝度を算出し、画素毎の第一及び第二の被写体輝度との被写体輝度差分に基づく第一のフラッシュ反射量に対して、第三の画像の画素単位の輝度値から、第一の画像と第三の画像の位置ずれの影響を軽減する補間をして第二のフラッシュ反射量を算出し、第二の画像の画素単位の輝度値から、第二のフラッシュ反射量に対して、第三の画像を第二の画像のサイズに拡大する補間をして第三のフラッシュ反射量を算出し、第三のフラッシュ反射量から画素単位にホワイトバランスゲインを算出する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラなどの電子的撮像装置において、従来のホワイトバランス補正処理は、一つのホワイトバランスゲインを画像全体に一律に適用する処理である。

例えば照明光（環境光）が暗いシーンでは露光不足を解消するために、フラッシュを発光して撮影を行う。フラッシュを発光して撮影したとき、ホワイトバランスゲインは、フラッシュの発光量等に応じて算出される。その際、環境光とフラッシュ光が混合されているシーンで撮影した場合、デジタルスチルカメラに近い距離にある被写体は、適切なホワイトバランスとすることができる。しかし、遠い距離にある被写体は、フラッシュ光よりも環境光の依存度が高くなる。そのため、環境光が蛍光灯などの場合、環境光とフラッシュ光との色温度差が大きくなる。その結果、ホワイトバランス補正処理を画像全体に適用すると、遠い距離にある白い被写体が黄色くなるなど不適切なホワイトバランスとなる問題が発生する。

このため、画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像を比較することでフラッシュ反射量を算出し、そのフラッシュ反射量から最適なホワイトバランスゲインを画素単位に算出し適用する技術が開示されている。

特許文献１では、フラッシュ発光画像とフラッシュ非発光画像の画像サイズが違う場合に、補間することにより最適なホワイトバランスゲインを算出する技術が開示されている。フラッシュ発光画像とフラッシュ非発光画像の全体を複数のブロックに分割し、対応するブロックの比較によりホワイトバランスゲインを求め、それを該ブロックの中心画素に対するホワイトバランスゲインとする。非中心画素のホワイトバランスゲインは、隣り合うブロックの中心画素からの距離により補間し求める

また、特許文献２では、特許文献１と異なる方式で補間する方法も開示されている。間引きを行って画素数を減らしたフラッシュ非発光画像と、フラッシュ発光画像を取得し、画素単位に色温度条件を算出する。フラッシュ非発光画像が間引かれた画像の場合、間引かれた画素を補間することによりホワイトバランスゲインを求めている。補間対象画素の色温度条件は、補間対象画素に近い３画素を選択し、補間対象画素の輝度値に近い画素の色温度条件を補間対象画素の色温度条件とする。この色温度条件から補間対象画素のホワイトバランスゲインを求める。

特開２００５−３４７８１１号公報 特開２００２−３６９２１１号公報

ところで、特許文献１では、エッジなどの境界がある被写体において、その境界で色温度が大きく変化する場合、中心画素からの距離での補間では、境界付近において不適切なホワイトバランスゲインとなるという問題がある。

また、特許文献２では、エッジなどの境界がある被写体においては適切に補間が行われるが、ホワイトバランスゲインが滑らかに変化するような被写体においては、段差が発生し滑らかとはならない補間となるという問題がある。

ライブビュー画像などフラッシュ発光画像より画素数の少ないフラッシュ非発光画像を用いた場合、間引かれた画素は補間によりホワイトバランスゲインを求めなければならない。このような方法において、画素間の距離による補間、または近傍画素の値のままでは、適切なホワイトバランスゲインを求めることができないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画素数の少ないフラッシュ非発光時の画像と、画素数が多い本撮影画像であるフラッシュ発光時の画像とを比較し、画素単位にホワイトバランスゲインを算出する方法において、間引かれている画素について適切に補間を行うことによって、画像全体を適切なホワイトバランスに調整することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、間引き処理によって画素数が少ないフラッシュ非発光時の第一の画像を取得し、第一の画像より画素数が多いフラッシュ発光時の第二の画像を取得する撮像部と、第二の画像が第一の画像のサイズと同一となるように第二の画像に対して間引き処理し第三の画像を取得する画像間引き部と、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第三の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度算出部と、被写体輝度差分から画素単位に第一のフラッシュ反射量を算出するフラッシュ反射量算出部と、第三の画像の画素単位の輝度値を使用して、画素毎の第一のフラッシュ反射量に対して、第一の画像と第三の画像の位置ずれの影響を軽減する補間処理をして第二のフラッシュ反射量を算出する第一のフラッシュ反射量補間部と、第二の画像の画素単位の輝度値を使用して、画素毎の第二のフラッシュ反射量に対して、第三の画像を第二の画像のサイズに拡大する補間処理をして第三のフラッシュ反射量を算出する第二のフラッシュ反射量補間部と、第三のフラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える、撮像装置が提供される。

画素数が少ないフラッシュ非発光時の第一の画像の第一の被写体輝度が算出され、フラッシュ発光時の第二の画像が第一の画像のサイズと同一となるように間引かれた第三の画像の第二の被写体輝度が算出される。そして、画素毎の第一及び第二の被写体輝度との被写体輝度差分に基づく第一のフラッシュ反射量に対して、第三の画像の画素単位の輝度値から、第一の画像と第三の画像の位置ずれの影響を軽減する補間をして第二のフラッシュ反射量が算出される。また、第二の画像の画素単位の輝度値から、第二のフラッシュ反射量に対して、第三の画像を第二の画像のサイズに拡大する補間をして第三のフラッシュ反射量が算出される。そして、第三のフラッシュ反射量から画素単位にホワイトバランスゲインが算出される。その結果、間引かれている画素について適切に補間が行われるため、画像全体を適切なホワイトバランスに調整することができる。

上記ホワイトバランスゲインを第二の画像の全画素に画素単位で適用して、画素単位でホワイトバランスを制御するホワイトバランス制御部を更に備える。この構成により、ホワイトバランスゲインが第二の画像の全画素に画素単位で適用されて、画素単位でホワイトバランスが制御される。

被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出する露光制御値算出部と、第一の露光制御値と第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部とを更に備え、撮像部は、第一の露光制御値に基づいて撮影し第一の画像を取得し、第二の露光制御値に基づいて撮影し第二の画像を取得し、被写体輝度算出部は、露光制御値差分と、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出する。

上記第一の露光制御値と第二の露光制御値は、露光制御値算出部によって個別に算出され、第一の露光制御値と第二の露光制御値が一致する必要がない。

上記撮像部は、露光制御値算出部によって算出された第一の露光制御値のうち、絞り値を一致させた第二の露光制御値で撮影し第二の画像を取得する。

上記フラッシュ反射量算出部によって算出された第一のフラッシュ反射量に基づいて、環境光のカラーバランスとフラッシュ光のカラーバランスを線形補間し、対象画素のカラーバランスを算出するカラーバランス算出部を更に備え、ホワイトバランスゲイン算出部は、カラーバランスに基づいてホワイトバランスゲインを算出する。

上記第一のフラッシュ反射量補間部は、中心に位置する補間対象となる画素の上下左右の補間元画素の輝度値と第一のフラッシュ反射量を基に、第二のフラッシュ反射量を算出する。

上記第一のフラッシュ反射量補間部は、中心に位置する補間対象となる画素と、上下方向、左右方向それぞれの補間元画素との距離は一定である。

また、上記課題を解決するために、本発明の別の観点によれば、間引き処理によって画素数が少ないフラッシュ非発光時の第一の画像を取得し、第一の画像より画素数が多いフラッシュ発光時の第二の画像を取得するステップと、第二の画像が第一の画像のサイズと同一となるように第二の画像に対して間引き処理し第三の画像を取得するステップと、取得された第一の画像の全画素について第一の被写体輝度を算出し、取得された第三の画像の全画素について第二の被写体輝度を算出するステップと、画素毎の第一の被写体輝度と、画素毎の第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、被写体輝度差分から画素単位に第一のフラッシュ反射量を算出するステップと、第三の画像の画素単位の輝度値を使用して、画素毎の第一のフラッシュ反射量に対して、第一の画像と第三の画像の位置ずれの影響を軽減する補間処理をして第二のフラッシュ反射量を算出するステップと、第二の画像の画素単位の輝度値を使用して、画素毎の第二のフラッシュ反射量に対して、第三の画像を第二の画像のサイズに拡大する補間処理をして第三のフラッシュ反射量を算出するステップと、第三のフラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップとを備える、撮像方法が提供される。

以上説明したように本発明によれば、画素数の少ないフラッシュ非発光時の画像と、画素数が多い本撮影画像であるフラッシュ発光時の画像とを比較し、画素単位にホワイトバランスゲインを算出する方法において、間引かれている画素について適切に補間を行うことによって、画像全体を適切なホワイトバランスに調整することができる。

本発明の一実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置１００のホワイトバランスゲインの算出動作を示すフローチャートである。 同実施形態に係る撮像装置１００のホワイトバランスゲインの算出動作を示すフローチャートである。 ベイヤユニットを示す説明図である。 間引き処理を示す説明図である。 フラッシュ発光撮影で取得される画像を示す説明図である。 フラッシュ非発光撮影で取得される画像を示す説明図である。 フラッシュ非発光画像に対して露光制御値差分を適用した画像を示す説明図である。 補間対象画素及び補間元画素を示す説明図である。 補間処理の概念を示す説明図である。 補間処理の概念を示す説明図である。 補間対象画素及び補間元画素を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本実施形態に係る撮像装置１００においての画像処理パイプラインのブロック図を示す。図２は、本実施形態に係る撮像装置１００のホワイトバランスゲインの算出動作を示すフローチャートである。

レンズ１０２を通過した光は、ＣＣＤイメージセンサー１０８又はＣＭＯＳイメージセンサーなどの撮像素子に結像する。その結果、ＣＣＤイメージセンサー１０８から信号処理部１１０を経てＲＧＢ画像信号が得られる。信号処理部１１０は、ＣＣＤイメージセンサー１０８からの信号に対して色分離処理、Ａ／Ｄ変換等をする。

信号処理部１１０で得られたＲＧＢ画像信号は、前処理部１１２による欠陥画素補正、黒レベル補正、シェーディング補正などの処理が施される。前処理部１１２は、ＡＥ評価値算出部１２４を有し、ＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値は、適正ＡＥ算出部１５０に送られる。実際に撮影が行われると、適正ＡＥ算出部１５０で算出されたＡＥ値に基づいて、露光制御部１５２は、絞り１０４、シャッター１０６を調整する。

また、前処理部１１２で処理された画像信号は、後処理部１１４によるホワイトバランス補正処理、ベイヤ色補間（デモザイク）処理、色補正処理、エッジ強調処理、ガンマ補正処理、ノイズ低減処理などの種々の画像処理が施される。その後、ＲＧＢ→ＹＣＣ変換部１１６において、ＲＧＢ信号がＹＣＣ信号に変換され、データ圧縮部１１８において、ＪＰＥＧ等の形式で圧縮処理される。そして、インターフェースであるメモリーカード接続部１２０を介して、メモリーカード１２２に画像データが記録される。

本実施形態は、フラッシュ１６０を発光して撮影することで取得されるフラッシュ発光画像に対し、画素単位に適切なホワイトバランスゲインを算出することを特徴とする。

以下、本実施形態に係る撮像装置１００の撮影動作について説明する。ユーザーによって、シャッターボタンが押圧されることで、撮影が開始される。以下では、露光条件によってフラッシュ発光が必要な場合について説明する。フラッシュ発光が必要な露光条件の場合、１回の撮影は、フラッシュ１６０を発光しないフラッシュ非発光撮影とフラッシュ１６０を発光するフラッシュ発光撮影を行う。

まず、フラッシュ１６０を発光せずに撮影を行って、フラッシュ非発光時の画像を取得する（ステップＳ１０１）。この時、フラッシュ１６０を発光しない撮影である第一の撮像によって、図６のようなフラッシュ発光前の環境光のみのＲＧＢ画像信号からなる第一の画像が取得される。第一の画像は、第一の撮像記憶部１３２によって画像メモリ１３０などの記憶手段に保持される（ステップＳ１０２）。この第一の画像は、ライブビュー画像のように間引き処理等によって、本撮影画像のサイズと比較して画像サイズが小さい画像となる。

続けて、フラッシュ１６０を発光する撮影である第二の撮像によって、図５のようなフラッシュ発光後のＲＧＢ画像信号からなる第二の画像が取得される（ステップＳ１０３）。第二の画像は、第二の撮像記憶部１３４によって画像メモリ１３０などの記憶手段に保持される（ステップＳ１０４）。

マルチＡＷＢ処理部１４０のカラーバランス算出部１４４は、入力された画像信号からカラーバランスを算出する。カラーバランス算出部１４４は、フラッシュ非発光画像のＲＧＢ画像信号を色別（ＲＧＢ別）に全画面分積算し、フラッシュ１６０が発光されていない環境光のみの場合のカラーバランスＣＢｅｒ（＝Ｒ／Ｇ）、ＣＢｅｂ（＝Ｂ／Ｇ）を算出する。同時に、環境光がなくフラッシュ光だけで撮像した場合のカラーバランスＣＢｆｒ，ＣＢｆｂを既知の値としてＲＯＭにあらかじめ保持しておいたものを、ＲＯＭから読み出す。

図１は、本発明の実施形態に係る撮像装置１００においての画像処理パイプラインのブロック図を示す。マルチＡＷＢ処理部１４０の入力値は、フラッシュ非発光時のＲＧＢ画像信号と、フラッシュ発光時のＲＧＢ画像信号になっており、出力値のホワイトバランスゲインは全画素数分のホワイトバランスゲインとなる。ホワイトバランス制御部１２６が、全画素において、画素単位でホワイトバランスゲインを適用する。

まずは、入力値となる画像メモリ１３０などの記憶手段に保持されたフラッシュ非発光時のＲＧＢ画像信号と、フラッシュ発光時のＲＧＢ画像信号を基に、画素単位の被写体輝度が算出される。画素単位の被写体輝度の算出は、図３のようにＲ，Ｇ，Ｇ，Ｂの四つの画素１２を一組としたベイヤユニット１４を１画素とみなすか、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成して行う。

次に、フラッシュ発光画像である第二の画像が、フラッシュ非発光画像である第一の画像と同一サイズに変更される（ステップＳ１０５）。第一の画像サイズへの変更は、画像間引き処理によって行われ、第三の画像が算出される。図４は、間引き処理を示す概念図である。図４の左図が間引き前の画像を示す。間引き処理とは、間引き前の画像を縦横２分の１に間引く場合、太線枠内の四つの画素のうち左上の画素２２のみを抜き出し、右図のような画像とすることである。間引き処理は、間引き前の画像を縦横３分の１、４分の１に間引く場合でも同様の手順となる。

第二の画像に対して間引き処理する際、フラッシュ非発光画像である第一の画像がどのように間引かれているかによって、間引き方法を変える必要がある。図４では、太線枠内の左上画素２２を残すような間引きを行ったが、第一の画像の間引き方法が図４の太線枠内の画素すべての平均値とするような間引きの場合は、第三の画像も同様に平均値を算出するように間引きを行う必要がある。

第一の画像、第三の画像の各画素について、マルチＡＷＢ処理部１４０が画素単位の被写体輝度値を算出する。算出式は以下の通りである。式１、式２において、Ｙは各画素の輝度値Ｙである。また、Ｇの信号値は、輝度値Ｙとほぼ同じ値になるため、輝度値Ｙの代わりにＧの信号値を使用することも可能である。ＡＥは、露出制御値を算出する適正ＡＥ算出部１５０が目標としている目標輝度信号値である。この計算で、画素単位で、第一の画像の第一の被写体輝度値ＢＶｌｐと、第三の画像の第二の被写体輝度値ＢＶｓｐを求める。ここで、ＢＶｌｐとＢＶｓｐは対数で表した信号値であり、ＡＰＥＸ値に単位系を揃えている。

この時、図６に示すような第一の画像を撮影するときの露光制御値と、図５に示すような第二の画像を撮影するときの露光制御値が一致していない場合は、各露光制御値の差分を考慮する。露光制御値には式３の関係がある。ここでＴＶはシャッタースピード、ＡＶは絞り値、ＳＶは感度、ＢＶは被写体輝度となり、それぞれＡＰＥＸ値で表現されている。

フラッシュ非発光時のＴＶ、ＡＶ、ＳＶから算出される被写体輝度値ＢＶを第一の露光制御値ＢＶｌ、フラッシュ発光時のＴＶ、ＡＶ、ＳＶから算出される被写体輝度値ＢＶを第二の露光制御値ＢＶｓとし、それぞれ式３により求める。第一の画像の場合、それぞれＴＶｌ、ＡＶｌ、ＳＶｌとし式４のように、第二の画像の場合、それぞれＴＶｓ、ＡＶｓ、ＳＶｓとし式５のようになる。

式４と式５から求めたＢＶｌとＢＶｓの差分ＢＶdiffを、式６により求める。この時、第一の画像と第二の画像の露光制御値が一致している場合は、差分ＢＶdiffは０となる。

このようにして求めた画素単位の第一の画像の第一の被写体輝度値ＢＶｌｐと、露光制御値の差分ＢＶdiffを考慮して、フラッシュ非発光被写体輝度差分ＢＶｌｐdiffを式７により求める。図６の適正露光で撮影されたフラッシュ非発光画像に対し、式７の計算を適用すると、図７のように画像全体に適正な明るさとなった画像となる。

画素単位の第三の画像の第二の被写体輝度値ＢＶｓｐと、画素単位のフラッシュ非発光被写体輝度差分ＢＶｌｐdiffとの差分を、式８によって、マルチＡＷＢ処理部１４０がフラッシュ発光画像被写体輝度差分ＢＶdiffpを求める。

式８で求めたＢＶdiffpからフラッシュ反射量算出部１４１が、フラッシュ発光画像である第三の画像の各画素の第一のフラッシュ反射量を求める（ステップＳ１０６）。第三の画像の光量Ｌｆは式９のようになる。

第三の画像の光量Ｌｆから、フラッシュ非発光画像である第一の画像における環境光量を１とした時の第一のフラッシュ反射量（Ｒａｔｉｏ）を求めると式１０のようになる。そして、第三の画像の全ての画素について第一のフラッシュ反射量を算出する（ステップＳ１０７）。

第三の画像の各画素の輝度値と、式１０で求めた第一のフラッシュ反射量に基づいて、第一のフラッシュ反射量補間部１４２が補間を行い、第三の画像の各画素について、第二のフラッシュ反射量を求める（ステップＳ１０８、Ｓ１０９）。なお、各画素のＧの信号値は輝度値とほぼ同じ値になるため、輝度値の代わりにＧの信号値を使用することも可能である。第一のフラッシュ反射量補間部１４２が補間を行って第二のフラッシュ反射量を算出する目的は、そもそも第一の画像と第三の画像は、撮像のタイミングが同時ではないためブレなどの影響により、ずれている可能性があり、そのずれによって間違った第一のフラッシュ反射量を算出している可能性があるためである。周辺画素の値から補間することによって、ずれの影響を軽減することができる。

ここで、図８において第三の画像における補間対象画素をＣ５５とすると、上下左右の画素Ｃ１５、Ｃ９５、Ｃ５１、Ｃ５９を補間元の画素とする。この時、補間対象画素から１画素離れた画素を補間元の画素としたが、隣り合う画素でも２画素以上離れていてもいい。

式１０などから補間元の画素の輝度値Ｙ１、Ｙ２と第一のフラッシュ反射量Ｒａｔｉｏ１、Ｒａｔｉｏ２が既知であり、また、補間対象画素Ｙの輝度値も既知である。この補間の概念図は図９のようになる。これらの値から式１１において第三の画像の補間対象画素の第二のフラッシュ反射量を求める。

式１１は２点間の補間となるため、上下方向のフラッシュ反射量Ｒａｔｉｏ＿ｖと左右方向のフラッシュ反射量Ｒａｔｉｏ＿ｈをそれぞれ式１１により求め、第二のフラッシュ反射量Ｒａｔｉｏ＿ｒｅｓｕｌｔを式１２のように平均値として算出する。

また、式１２のように平均値を算出するのではなく、全画素について上下方向の補間を行った後に、左右方向の補間を行うというように、上下方向と左右方向の補間を分離してもいい。

上記のような補間計算を行えば、図１０のように補間対象画素Ａ〜Ｅが補間元画素１、２間に複数あり、補間対象画素の輝度値が滑らかに推移する場合でも、また被写体にエッジがあるような色温度差の大きい境界が発生する場合でも適切に補間し、フラッシュ反射量を適切に算出することができる。

次に、第三の画像の画像サイズから第二の画像の画像サイズへ拡大を行う。図１１のように、上下左右方向の画素を参照し、第二の画像に基づいて既知の間引かれた画素の輝度値から、式１１、式１２を用いて第二のフラッシュ反射量補間部１４３が補間を行う（ステップＳ１１０）。このようにして第二の画像の画像サイズの全画素について補間を行い、第三のフラッシュ反射量を算出する（ステップＳ１１１）。

この第三のフラッシュ反射量を基にカラーバランス算出部１４４が、フラッシュ光のカラーバランス（ＣＢｆ）と環境光のカラーバランス（ＣＢｅ）を線形補間し、対象画素のカラーバランス（ＣＢ）を求める（ステップＳ１１２）。カラーバランスＣＢはＲ、Ｂそれぞれ個別に求める。

式１３で求めたＲとＢのカラーバランスから式１４によって、ホワイトバランスゲイン算出部１４５が対象画素のホワイトバランスゲイン（ＷＢＧａｉｎＲ、ＷＢＧａｉｎＢ）を算出する（ステップＳ１１３）。

式１３、式１４を全画素について行うことで（ステップＳ１１４）、フラッシュ非発光画像とフラッシュ発光画像の画像サイズが違う場合でも、フラッシュ光と環境光が混在しているシーンについて適切なホワイトバランスゲインを画素単位に求めることができる。

すべての画素のホワイトバランスゲインを算出した後に、ホワイトバランス制御部１２６によってフラッシュ発光画像の該当画素にホワイトバランスゲインを適用することで、適切なホワイトバランス処理を行うことができる。

従来は、フラッシュ非発光画像とフラッシュ発光画像の画像サイズが違っていた場合に、適正なホワイトバランスゲインを算出できない問題があった。一方、本実施形態では、画像サイズの違うフラッシュ非発光画像でも、画素の輝度値を基に補間することで、環境光とフラッシュ光が混在されたシーンに対しても画素単位で適切なホワイトバランスゲインを算出することが可能となる。

即ち、ライブビュー画像等の画素数の少ないフラッシュ非発光時の画像と、画素数が多いフルサイズの本撮影画像であるフラッシュ発光時の画像とを比較し、画素単位に適切なホワイトバランスゲインを算出する方法において、間引かれている画素について適切に補間を行うことによって、画像全体を適切なホワイトバランスに調整することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１０２ レンズ
１０４ 絞り
１０６ シャッター
１０８ ＣＣＤイメージセンサー
１１０ 信号処理部
１１２ 前処理部
１１４ 後処理部
１１６ ＲＧＢ→ＹＣＣ変換部
１１８ データ圧縮部
１２０ メモリーカード接続部
１２２ メモリーカード
１２４ ＡＥ評価値算出部
１２６ ホワイトバランス制御部
１３０ 画像メモリ
１３２ 第一の撮像記憶部
１３４ 第二の撮像記憶部
１４０ マルチＡＷＢ処理部
１４１ フラッシュ反射量算出部
１４２ 第一のフラッシュ反射量補間部
１４３ 第二のフラッシュ反射量補間部
１４４ カラーバランス算出部
１４５ ホワイトバランスゲイン算出部
１５０ 適正ＡＥ算出部
１５２ 露光制御部
１６０ フラッシュ

Claims (9)

1. 間引き処理によって画素数が少ないフラッシュ非発光時の第一の画像を取得し、前記第一の画像より画素数が多いフラッシュ発光時の第二の画像を取得する撮像部と、
   前記第二の画像が前記第一の画像のサイズと同一となるように前記第二の画像に対して間引き処理し第三の画像を取得する画像間引き部と、
   取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第三の画像の全画素について第二の被写体輝度を算出する被写体輝度算出部と、
   画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出する被写体輝度算出部と、
   前記被写体輝度差分から画素単位に第一のフラッシュ反射量を算出するフラッシュ反射量算出部と、
   前記第三の画像の画素単位の輝度値を使用して、画素毎の前記第一のフラッシュ反射量に対して、前記第一の画像と前記第三の画像の位置ずれの影響を軽減する補間処理をして第二のフラッシュ反射量を算出する第一のフラッシュ反射量補間部と、
   前記第二の画像の画素単位の輝度値を使用して、画素毎の前記第二のフラッシュ反射量に対して、前記第三の画像を前記第二の画像のサイズに拡大する補間処理をして第三のフラッシュ反射量を算出する第二のフラッシュ反射量補間部と、
   前記第三のフラッシュ反射量から画素単位にホワイトバランスゲインを算出するホワイトバランスゲイン算出部と
   を備える、撮像装置。
2. 前記ホワイトバランスゲインを前記第二の画像の全画素に画素単位で適用して、画素単位でホワイトバランスを制御するホワイトバランス制御部を更に備える、請求項１に記載の撮像装置。
3. 被写体から受光した光に基づいて、フラッシュを発光せずに撮影して取得される第一の画像の明るさが適正となる第一の露光制御値と、前記フラッシュを発光して撮影して取得される第二の画像の明るさが適正となる第二の露光制御値を算出する露光制御値算出部と、
   前記第一の露光制御値と前記第二の露光制御値との差分である露光制御値差分を算出する露光制御値差分算出部と
   を更に備え、
   前記撮像部は、前記第一の露光制御値に基づいて撮影し前記第一の画像を取得し、前記第二の露光制御値に基づいて撮影し前記第二の画像を取得し、
   前記被写体輝度算出部は、前記露光制御値差分と、画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出する、請求項１又は２に記載の撮像装置。
4. 前記第一の露光制御値と前記第二の露光制御値は、前記露光制御値算出部によって個別に算出され、前記第一の露光制御値と前記第二の露光制御値が一致する必要がない、請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮像部は、前記露光制御値算出部によって算出された前記第一の露光制御値のうち、絞り値を一致させた前記第二の露光制御値で撮影し前記第二の画像を取得する、請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記フラッシュ反射量算出部によって算出された前記第一のフラッシュ反射量に基づいて、環境光のカラーバランスとフラッシュ光のカラーバランスを線形補間し、対象画素のカラーバランスを算出するカラーバランス算出部を更に備え、
   前記ホワイトバランスゲイン算出部は、前記カラーバランスに基づいて前記ホワイトバランスゲインを算出する、請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第一のフラッシュ反射量補間部は、中心に位置する補間対象となる画素の上下左右の補間元画素の輝度値と前記第一のフラッシュ反射量を基に、前記第二のフラッシュ反射量を算出する、請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記第一のフラッシュ反射量補間部は、前記中心に位置する補間対象となる画素と、前記上下方向、左右方向それぞれの補間元画素との距離は一定である、請求項７に記載の撮像装置。
9. 間引き処理によって画素数が少ないフラッシュ非発光時の第一の画像を取得し、前記第一の画像より画素数が多いフラッシュ発光時の第二の画像を取得するステップと、
   前記第二の画像が前記第一の画像のサイズと同一となるように前記第二の画像に対して間引き処理し第三の画像を取得するステップと、
   取得された前記第一の画像の全画素について第一の被写体輝度を算出し、取得された前記第三の画像の全画素について第二の被写体輝度を算出するステップと、
   画素毎の前記第一の被写体輝度と、画素毎の前記第二の被写体輝度との差分である被写体輝度差分を全画素について算出するステップと、
   前記被写体輝度差分から画素単位に第一のフラッシュ反射量を算出するステップと、
   前記第三の画像の画素単位の輝度値を使用して、画素毎の前記第一のフラッシュ反射量に対して、前記第一の画像と前記第三の画像の位置ずれの影響を軽減する補間処理をして第二のフラッシュ反射量を算出するステップと、
   前記第二の画像の画素単位の輝度値を使用して、画素毎の前記第二のフラッシュ反射量に対して、前記第三の画像を前記第二の画像のサイズに拡大する補間処理をして第三のフラッシュ反射量を算出するステップと、
   前記第三のフラッシュ反射量から画素単位にホワイトバランスゲインを算出するステップと
   を備える、撮像方法。
   
   

Images