JP2011128212A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】逆光状態と誤判定していたコントラストの高い撮影シーンにおいて、画面全体のヒストグラムの分布が本来検出したい逆光状態に近い場合でも、逆光判定を正確に行う。
【解決手段】撮影された画像信号から撮影画像の輝度情報を取得する手段、輝度ヒストグラムを取得した輝度情報から生成する手段、生成した輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、設定された複数の閾値のそれぞれに対応する重み係数を設定し、設定された複数の閾値および重み係数基づいて輝度ヒストグラムから逆光状態を判定するための逆光評価値を算出する手段とを備える画像処理装置。
【選択図】図３

Description

本発明は、画像処置装置、方法およびプログラムに係わり、特に撮像装置で撮影した画像から逆光状態を判定するための画像処理装置、方法及びプログラムに関する。

従来、デジタルスチルカメラ、デジタルカムコーダなどの撮像装置において、撮像素子に撮影された画面情報に基づき測光を行い、得られた測光値に基づいて自動的に露出を決定する自動露出制御（ＡＥ）機能を具備するものがある。このＡＥ機能を有する撮像装置では、ＡＥ機能により露出制御された適正露出時のＡＥパラメータ（アイリス、ＮＤ（neutral density）、シャッタースピード、ゲイン等）を変更することにより撮像された画像情報全体の輝度値の補正を行うことが可能である。

しかしながら、逆光状態など高輝度な被写体を撮像した場合、前記ＡＥ機能では高輝度な被写体を含め撮像画面全体が適正になるように露出制御を行うため、画面全体の輝度値を小さくなるように制御してしまう。このため、高輝度部以外の被写体の輝度値が小さくなり、人物など本来撮影を目的とした主被写体が黒潰れしてしまい、意図した露出で撮影することが困難になる。

そこで、従来、この逆光状態の黒潰れを防ぐ方法が提案されている。この方法では、撮像装置で撮影された画像から逆光状態を自動で判定し、撮影を目的とする主被写体の露出を明るく補正している。ここで、逆光状態とは、撮像画面の背景に存在している高輝度被写体を適正露出に制御してしまうことで画面全体の輝度値が小さくなり、画面全体が暗くなってしまう状態である（以後、同様とする）。

例えば、画面全体の輝度ヒストグラムを取得し、そのヒストグラムが示す画面全体の輝度分布から輝度のコントラストを算出し、得られた結果から逆光か否かを判定する。その後、ＡＥ制御、または、ガンマ曲線の補正により、黒潰れしている領域の輝度値を持ち上げる(明るくする)ことで明るさの補正を行う。この方法では、ヒストグラムを大まかに低輝度部、中輝度部、高輝度部の３領域に分割し、各々の領域の画素割合を比較することで逆光状態のシーンを判定し、ガンマ曲線を補正することで逆光補正を行っている（特許文献１）。また、逆光状態をより精度よく検出するための別の方法もある。すなわち、画面全体の平均輝度値と予め平均輝度値から一定距離の領域に設定された高輝度部領域、低輝度部境域の２領域の画素割合を検出し、その画素割合から輝度値のコントラストを算出し、高コントラストの状態を検出する方法である（特許文献２）。

特開平６−３０３６３３ 特開２００９−６０４００

しかしながら、前記従来技術では、撮像素子から得られたヒストグラムにより画面全体の輝度分布を算出し、得られたコントラストの状態により逆光状態を判定していることから、撮影シーンによっては、逆光状態ではないにも関わらず補正を行うことで撮像画像の過補正による弊害が発生することが考えられる。それは、画面内に高輝度の被写体、低輝度の被写体が混在する場合に顕著に発生する。図２に示すように、例えば、撮影を目的とする主被写体は適正であるが背景に色が黒い、または、暗い被写体が多い場合、また、画面全体の露出は適正であるが、主被写体の色が黒い場合が挙げられる。このようなシーンでは、画面全体のヒストグラムの分布が本来検出したい逆光状態に近いため、ヒストグラムでは切り分けることが困難である。また、このようなシーンで逆光判定による補正を行った場合、撮像画面内の低輝度部の領域が明るく補正され白浮きしたコントラストの無い画になってしまう。また、ガンマ曲線により黒潰れした領域を明るく補正する場合などは、被写体の階調が失われたり、電気的に補正することなるためノイズが発生の原因にもなってしまう。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、撮影シーンから逆光状態を判定する際、本来逆光状態との切り分けが困難であった逆光状態ではない前記コントラストの高いシーンを適切に判別することを可能とする画像処理装置、方法及びプログラムを提供することである。

上記目的を達成するため、本件発明によれば、画像処理装置は、撮影された画像信号から撮影画像の輝度情報を取得する輝度情報取得手段と、輝度情報取得手段が取得した輝度情報から輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、輝度ヒストグラム生成手段により生成した輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、設定された複数の閾値のそれぞれに対応する重み係数を設定し、設定された複数の閾値および重み係数基づいて輝度ヒストグラムから逆光状態を判定するための逆光評価値を算出する制御手段とを備える。

上記のように、本発明では、輝度ヒストグラムの低輝度部に設定した複数の閾値と各閾値間に設定した重みに基づいて逆光評価値を算出して逆光状態を判定している。これにより、逆光状態により黒潰れしている状態と、黒い被写体によりヒストグラムの低輝度部に多く画素が存在している状態とを精度よく判定することができる。従って、本件発明によれば、従来逆光状態と誤判定していたコントラストの高い撮影シーンにおいても判別することが可能であり逆光状態を精度よく判定して、適切な輝度補正をすることが可能となる。

本発明の実施形態に係る撮像装置の概略構成の一例を示すブロック図である。 逆光状態と誤判定され易い撮影シーンを示す図である。 本発明で設定するヒストグラムの閾値を説明するための図である。 本発明の第１の実施形態に係る撮像装置の制御方法に係わるフローチャートを示す図である。

図１は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示すブロック図である。図１に示すように、撮像装置１００は、いわゆるデジタルスチルカメラやデジタルカムコーダなどであり、被写体像を撮像するための撮像素子８を有する構成である。

レンズ１は、撮像装置１００の外部から入射した光を撮像装置１００の内部に導く。なお、図１では簡略化して１枚のレンズを図示しているが、通常、レンズ１は、複数枚のレンズから構成される。

絞り２は、入射する光量を調整する絞り羽根などである。絞り駆動モータ３は、絞り機構駆動部１３より供給される駆動電力に応じて絞り２を駆動させる。絞り状態検出回路４は、絞り２の駆動状態を検出し、その検出結果をマイクロコンピュータ１２に出力する。なお、本実施形態では絞り駆動モータ３により絞り２が駆動される撮像装置を例示するが、絞りが固定された撮像装置や絞りがない撮像装置であってもよい。このような撮像装置は絞り駆動モータ３や絞り状態検出回路４を設けなくてよい。

ＮＤフィルタ５はレンズ１から入射する光を減衰させる。ＮＤフィルタ駆動モータ６は、ＮＤフィルタ機構駆動部１５により供給される駆動電力に応じてＮＤフィルタ５を駆動させる。ＮＤフィルタ駆動検出回路７は、ＮＤフィルタ５の駆動状態を検出し、その検出結果をマイクロコンピュータ１２に出力する。なお、本実施形態ではＮＤフィルタ駆動モータ６によりＮＤフィルタ５が駆動される撮像装置を例示するが、ＮＤフィルタ５が固定された撮像装置やＮＤフィルタ５がない撮像装置であってもよい。このような撮像装置はＮＤフィルタ駆動モータ６やＮＤフィルタ駆動検出回路７を設けなくてよい。

撮像素子８は、光電変換による被写体の撮像を行う。本実施形態に用いる撮像素子８は、ＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成される。ＣＤＳ／ＡＧＣ回路９は、撮像素子８の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅する。なお、サンプリングでは相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）が、増幅では自動利得調整（ＡＧＣ：Auto Gain Control）が行われる。Ａ／Ｄ変換器１０は、ＣＤＳ／ＡＧＣ回路９から出力された画像情報（アナログ信号）をデジタル信号に変換する。デジタル信号処理回路１１は、Ａ／Ｄ変換器１０から出力された画像情報（デジタル信号）に対して種々の信号処理を行う。

マイクロコンピュータ１２は、マイクロコントローラや単にコントローラと称される回路であり、撮像装置１００の動作を、予め装置内に記憶されている各種プログラムに従って統括的に制御する。例えば、マイクロコンピュータ１２は、デジタル信号処理回路１１からの輝度・色等の情報を受けて、各種の演算処理を行う。なお、マイクロコンピュータ１２が行う制御の詳細については後述する。

絞り機構駆動部１３は、マイクロコンピュータ１２による制御に基づき、絞り駆動モータ３へ駆動電力を供給する。例えば、絞り機構駆動部１３は、撮像素子８により撮像された画像の測光値（輝度値）に応じたマイクロコンピュータ１２の制御により、絞り２を絞る又は開放するための駆動電力を供給する。これにより、撮像装置では、撮像素子８に適正な光量が入射するように絞り調整を行うことが可能となる。

撮像素子駆動部１４は、マイクロコンピュータ１２による制御に基づき、撮像素子８を駆動するための駆動パルス等を撮像素子８へ供給し、撮像素子８で撮像した画像の読み出しや露出時間の調整を行う。例えば、撮像素子駆動部１４は、撮像素子８により撮像された画像の測光値に応じたマイクロコンピュータ１２の制御により、所定の露出時間で撮像素子８の露出を行うための駆動パルスを供給する。これにより、撮像装置では、撮像された画像の測光値に応じて撮像素子８の露出時間を調整し、その画像を読み出すことが可能となる。

ＮＤフィルタ機構駆動部１５は、マイクロコンピュータ１２による制御に基づき、ＮＤフィルタ駆動モータ６へ駆動電力を供給する。例えば、ＮＤフィルタ機構駆動部１５は、撮像素子８により撮像された画像の測光値に応じたマイクロコンピュータ１２の制御により、ＮＤフィルタ５において入射する光の減衰量を増加又は減少するための駆動電力を供給する。これにより、撮像装置では、撮像された画像の測光値に応じて撮像素子８に入射する光の減衰量を調整することが可能となる。なお、絞りが固定された撮像装置や絞りがない撮像装置の場合、絞り機構駆動部１３は設けなくてもよい。同様に、ＮＤフィルタ５が固定された撮像装置やＮＤフィルタ５がない撮像装置の場合、ＮＤフィルタ機構駆動部１５は設けなくてもよい。

輝度情報検出回路１６は、マイクロコンピュータ１２から出力されたデジタルの画像データに基づいて測光値を検出する。輝度情報演算回路１７は、輝度情報検出回路１６で検出した測光値を演算処理して正規化し、マイクロコンピュータ１２で演算し易い測光値に変換する。輝度情報演算回路１７により正規化した測光値から輝度ヒストグラム生成回路１８により輝度ヒストグラムを生成する。マイクロコンピュータ１２は、輝度ヒストグラム生成回路１８により生成された輝度ヒストグラムの低輝度部に複数の閾値を設定し、設定した各閾値間ごとに異なる重みを設定する。マイクロコンピュータ１２はさらに、この各閾値間ごとの重みとその領域に含まれる輝度値の画面全体の画素に対する割合を用いて逆光状態を判定するための逆光評価値を算出する。算出した逆光評価値が逆光状態と判定するため閾値より大きい場合、逆光状態と判定する。このとき、判定結果がユーザに知らせるために表示装置２１にアイコンやメッセージを表示する。

マイクロコンピュータ１２により逆光状態が判定された場合、逆光状態により黒潰れした画素領域が明るくなるように補正を行う。ここで、輝度値の補正としては、ガンマ制御回路１９によりガンマ曲線の低輝度部の曲線を持ち上げる方法がある。あるいは、露出補正回路２０により補正する露出量を算出し、算出した補正量を基にマイクロコンピュータ１２により絞り２、ＮＤフィルタ５を制御することで画面全体の露出を補正する方法であってもよい。なお、マイクロコンピュータ１２による上記処理の詳細は、図４を参照して、後で説明する。

記憶媒体２２は、ＲＡＭ（Random Access Memory）などであり、一時的にデータを保存する。例えば、記憶媒体２２は、撮像素子８で撮像されてデジタル信号処理回路１１で処理された後の画像データなどを一時的に保存する。なお、記録媒体２２へのデータの記録又は記録媒体２２に記録されたデータの読み出しは、マイクロコンピュータ１２の制御の下で駆動する光学ドライブや接続インタフェースなど（いずれも図示しない）を介して行われる。

＜第１の実施形態＞
上記撮像装置１００に対して本件発明の画像処理を適用したときの実施形態について説明する。本実施形態での動作では、撮像素子８で撮像する被写体を感知する。そして、撮像素子駆動部１４の駆動パルスに応じて撮像素子８の各画素に蓄えられた電荷が画像信号として出力される。撮像素子８から出力された画像信号はＣＤＳ／ＡＧＣ回路９でサンプリング及び増幅される。サンプリング及び増幅後にＣＤＳ／ＡＧＣ回路９から出力された画像信号はＡ／Ｄ変換器１０でデジタル信号に変換されてデジタル信号処理回路１１へ送られる。デジタル信号処理回路１１では、Ａ／Ｄ変換器１０から出力されたデジタルの画像信号に対して種々の信号処理を行う。

輝度情報検出回路１６により測光された画面全体の測光値を輝度情報演算回路１７により正規化した輝度値に変換し、輝度ヒストグラム生成回路１８により変換した輝度値から輝度ヒストグラムを生成する。同時に、マイクロコンピュータ１２により輝度情報演算回路１７により変換された輝度値から画面全体の明るさの値を表すＢｖ値を算出する。輝度ヒストグラムの低輝度部にマイクロコンピュータ１２により２つの閾値を設定する。輝度ヒストグラムに設定した各閾値間ごとに異なる重みを設定する。この各閾値間ごとの重みとその領域に含まれる輝度値の画面全体の画素に対する割合を用いて逆光状態を判定する逆光評価値を算出する。マイクロコンピュータ１２により、撮像画面を中央とそれ以外の領域に分割する。分割した領域内の画素の輝度値を取得し、平均輝度を算出する。算出した輝度平均値の分割領域間でのコントラストを算出し、そのコントラスト状態の結果を基に前記で算出した逆光評価値を増減することで補正する。算出した逆光評価値が逆光状態と判定するための閾値より大きい場合、逆光状態と判定する。このとき、判定結果がユーザに知らせるために表示装置２１にアイコンやメッセージを表示する。

また、顔検出回路２３により撮像情報から人物の顔位置、顔の大きさを検出する。検出した顔位置の輝度値を取得し、顔の輝度値が一定以上の明るさ（黒潰れていない状態）である場合、逆光評価値により逆光状態と判定している場合においても逆光状態と判定しない。顔が検出されている場合は、顔の輝度値が小さく、かつ、逆光評価値により逆光状態と判定された場合にのみ逆光状態とする。

マイクロコンピュータ１２により逆光状態が判定された場合、逆光状態により黒潰れした画素領域が明るくなるように補正を行う。輝度値の補正は、ガンマ制御回路１９によりガンマ曲線の低輝度部の曲線を持ち上げることで黒潰れしている画素領域を明るく補正する。

本実施形態では、図１に示すように、全て独立した回路部の構成を示している。しかしながら、全ての構成又はその一部はマイクロコンピュータ１２内に構成するようにする形態であってもよい。

以上、概説したように、本件発明による逆光状態の判定機能を有する画像処理装置は以下の構成要素を備える。
撮影された画像信号から撮影画像の輝度情報を取得する輝度情報取得手段。
取得した輝度情報から輝度ヒストグラムを生成する輝度ヒストグラム生成手段。
生成した輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、設定された複数の閾値のそれぞれに対応する重み係数を設定し、設定された複数の閾値および重み係数基づいて輝度ヒストグラムから逆光状態を判定するための第１の逆光評価値を算出する制御手段。なお、本実施形態においては、複数の閾値は第１および第２の閾値（図３の閾値１および閾値２）を含む。

また、本実施形態に係わる撮像装置は、被写体を撮影して画像信号を出力する撮像手段、撮像手段から出力された画像信号に基づいて露出制御を行う露出制御手段、および上記画像処理装置を備える構成をとる。

次に、本実施形態の撮像装置１００においてマイクロコンピュータ１２が行う制御方法について図４を参照して説明する。本制御方法は、撮像装置内に予め記憶されたコンピュータプログラムをマイクロコンピュー１２がロードして実行することにより達成される。図４は、本発明の実施形態に係る撮像装置１００の制御方法を示すフローチャートである。具体的に上記の補正制御方式による撮像素子の動作を表す図である。

本実施形態では、ステップＳ１０１において、前記輝度情報検出回路１７により画面全体の測光値を取得する。次いで、取得した画面全体の測光値を輝度情報演算回路１８による演算で正規化する。正規化した画面全体の測光値から、マイクロコンピュータ１２により画面全体の明るさを表すＢｖ（Brightness Value）値を算出する。逆光状態が発生する場合、太陽など高輝度被写体が撮影する画角に入ることが多いため、画面全体の輝度値は大きくなる傾向がある。反対に画面全体の輝度値が小さい場合は逆光になりえない。そのため算出したＢｖ値が、逆光状態でありうる可能性が高い一定の明るさ以上の値を持つ場合のみ逆光判定を行う。そこで、ステップＳ１０１でＢｖ値が予め設定した閾値より大きいか否かの判定を行い、その判定の結果、Ｂｖ値が閾値未満と判断された場合は、ステップＳ１１２において、逆光ではないと判定する。その後、当該フローチャートにおける処理を終了する。すなわち、本実施形態の画像処理装置は、輝度情報取得手段で取得された輝度情報から画像全体の明るさを演算する画像輝度演算手段をさらに備えている。そして、制御手段は画像全体の明るさを判定するための閾値(第４の閾値)を設定し、演算された画像全体の明るさと設定された第４の閾値とに基づいて逆光状態評価値による逆光判定の要不要を決定している。

一方、ステップＳ１０１での判定の結果、Ｂｖ値が予め設定した閾値以上と判断された場合には、ステップＳ１０２に進む。そして、ステップＳ１０２において、逆光状態を判定する逆光評価値の一つとして、Ｂｖ値による逆光評価値Ｅｖ１を算出する。ここでは、Ｂｖ値が大きい値を取るほど逆光評価値を大きくするようにその値を設定する。そして、ステップＳ１０３において、測光により取得した輝度値から前記ヒストグラム生成回路１８により輝度ヒストグラムを生成する。すなわち、制御手段は、画像輝度演算手段で演算された画像全体の明るさと設定された第４の閾値とに基づいて第１の逆光状態評価値による逆光判定が必要であると決定したときは、画像全体の明るさに基づいて第２の逆光評価値を算出している。

その後、マイクロコンピュータ１２により輝度ヒストグラムの低輝度部に複数の閾値を設定する。ここでは、閾値１、閾値２の２つの閾値を設定する。ここで、閾値１を輝度ヒストグラムの輝度値の一番左端の領域に設定する。すなわち、逆光状態のように明るい被写体を撮影する場合、ＡＥ制御により輝度値が小さくなるように制御されるので、図３（a）に示すように画面中に存在した低輝度画素が左端に遷移してしまう。この領域の画素が多い場合、逆光状態に黒潰れが発生している可能性が大きい。また、閾値２を閾値１より輝度値の明るい領域に設定する。すなわち、本来黒い被写体を撮影した場合、ＡＥ制御により輝度値が大きくなるように制御されるので、図３（b）に示すように、黒い被写体の画素が本来存在していた輝度ヒストグラムの左端から明るい方向へ遷移してしまう。この領域の画素が多い場合、黒い被写体がＡＥ制御により明るくなっている可能性が大きい。次に、各閾値ごとの領域に重みを設定する。重みはより逆光の特性を示す場合に大きくする必要があるため、前記の理由から閾値１の重みを閾値２に対して大きく設定する。上記のように、本実施形態の閾値１及び２は、高輝度被写体の撮影画像信号に施される露出制御に基づいて設定されている。

そして、ステップＳ１０５において、ステップＳ１０３で生成した輝度ヒストグラムの閾値を設定した領域ごとに含まれる全体画面内の総画素に対する割合を算出する。次にステップＳ１０６において、領域ごとの画素の割合に、前記で設定した領域ごとの重みを考慮することで逆光評価値Ｅｖ２を算出する。例えば、各領域について算出された割合に対応する重みを乗算して各領域の逆光評価値Ｅｖ２を算出する。算出方法は、前述した方法に限らず他の方法を適宜設定してもよい。また、設定する閾値の数および対応する重みも適宜変更してもよい。さらに、第１および第２の閾値は、撮像装置に設定された撮影モードに応じて変更してもよい。撮影モードとしては、例えば人物撮影モード、風景撮影モードなど、撮像装置において周知の撮影モードを用いることができる。このような変更によって、撮影モードに従ってガンマ特性が変更されても、これによる低輝度部の輝度値への影響を考慮することができる。すなわち、撮影された画像信号の撮影モードに応じて、複数の閾値および重み係数を変更するよう制御手段を構成してもよい。

ステップＳ１０７において、マイクロコンピュータ１２により画面を複数の領域に分割する。ここでは、画面中央とそれ以外の領域に分割する。それは、画面中央に撮影を意図する主被写体が存在することが多いためである。その分割した中央領域およびそれ以外の領域ごとに輝度情報演算回路１８により得られた測光値から平均輝度を算出する。そして、ステップＳ１０８において、ステップＳ１０７で取得した各領域の平均輝度からコントラストを計算する。コントラストの計算には以下の式を使用する。コントラスト値＝ｆ（中央領域の平均輝度/それ以外の領域の平均輝度）。前記の式で算出されたコントラスト値を用いて、図４に示すように、中央領域の平均輝度値が、中央領域以外の領域の平均輝度値より大きい場合には（逆光状態でない可能性がある）、コントラスト値に応じた評価値Ｅｖ３（負数）を生成する。これを逆光評価値に加算することで逆光評価値の−（マイナス）補正を行うことができる。他方、それ以外の周辺の平均輝度値のほうが大きい場合は（逆光状態である可能性が大きい）、同様に評価値Ｅｖ３（正数）を生成する。これにより、逆光評価値に＋（プラス）補正を加えることがきる。すなわち、輝度情報取得手段は、撮影画像を複数の領域に分割し、分割された複数の領域のそれぞれの平均輝度を算出している。そして、制御手段は算出された分割領域それぞれの平均輝度から分割領域間のコントラストを算出し、算出したコントラストに基づいて逆光評価値の補正値を生成している。この補正値とともに第１の逆光評価値は逆光状態の判定に使用される。

そして、ステップＳ１０９において、画面中央領域内の低輝度画素を抽出し、抽出した低輝度画素の平均輝度値がステップＳ１０４で設定した閾値２と比較し、その範囲に含まれているか否かを判定する。閾値２以上の場合は、主被写体が黒潰れしていないと判断し、ステップＳ１１３において、逆光ではないと判定する。その後、当該フローチャートにおける処理を終了する。

一方、ステップＳ１０９の結果、閾値２未満と判断された場合には、ステップＳ１１０に進む。ステップＳ１１０では、以前のステップで算出した逆光評価値Ｅｖ１〜Ｅｖ３を加算し、最終的な逆光評価値を算出する。最後にステップＳ１１１により、逆光評価値が逆光状態と判定するための閾値以上であると判断された場合、ステップＳ１１３において逆光状態であると判定し逆光の判定を終了する。また、閾値以下であると判断された場合、ステップＳ１１２において逆光状態ではないと判定し逆光判定を終了する。すなわち、制御手段は、分割された複数の領域のうちの所定の領域(中央領域)の平均輝度と輝度ヒストグラムに設定された閾値とに基づいて、被写体の逆光状態を判定している。そして、被写体が逆光状態と判定されたときに輝度ヒストグラムから算出された逆光評価値に基づいた最終的な逆光状態の判定を行っている。制御手段は、この最終的な逆光状態を判定するために閾値(第３の閾値)を設定し、生成された補正値、第１の逆光評価値および画面全体の明るさから算出された第２の逆光評価値とから第３の逆光評価値を算出する。この算出された第３の逆光評価値と第３の閾値とに基づいて逆光状態が最終的に判定される。最終的に逆光状態と判定されたときは、撮影された画像信号に逆光補正が行われる。

ところで、図４のフローチャートには示していないが、顔検出回路２３で人物の顔が検出された場合、ステップＳ１０７、ステップＳ１０８、ステップＳ１０９と同様に顔の平均輝度を用いた逆光状態の判定を追加してもよい。この場合、顔の平均輝度を閾値２と比較し、閾値２以下の場合、主被写体が黒潰れしていると判断し、逆光と判定する。反対に、閾値２以上の場合、主被写体は黒潰れしていないと判断する。後者の判定が成されたときは、逆光評価値の判定により逆光状態と判定される場合でも、逆光状態と判定しない処理を行う。すなわち、本実施形態の画像処理装置は、撮影画像から人物の顔の画像を検出する顔検出手段をさらに備え、検出された顔画像の輝度情報を輝度情報取得手段により取得する構成とすることができる。この場合、制御手段は、顔画像の輝度情報と輝度ヒストグラムの低輝度領域に設定した閾値とに基づいて被写体の逆光状態の判定を行うよう構成される。

マイクロコンピュータ１２により逆光状態が判定された後は、逆光状態により黒潰れした画素領域が明るくなるように補正を行う。輝度値を補正する手段としては、ガンマ制御回路１９を用いることができる。すなわち、当該回路によりガンマ曲線の低輝度部の曲線を持ち上げることで黒潰れしている画素領域が明るくなるよう補正する。

この逆光判定制御により、従来輝度ヒストグラムによる逆光判定が困難であったコントラストが高いシーンに対しても、ヒストグラムの低輝度部に複数の閾値および各閾値ごとに異なる重みを設定することで、精度よく逆光状態を判定することが可能である。

以上のステップＳ１０１〜ステップＳ１１３の一連の処理により、撮像装置１００において、顔の平均輝度値に基づく補正を含む本実施形態の逆光判定に従った露出制御を実現することが可能となる。

最後に、本実施形態の撮像素子１００における特徴的な動作について説明する。

まず、ヒストグラムの低輝度部に設定した複数の閾値間に設定した重みにより逆光評価値を算出し逆光状態を判定を行う。これにより、逆光状態により黒潰れしている状態と、黒い被写体によりヒストグラムの低輝度部に多く画素が存在している状態とを精度よく判定することができる。よって、従来逆光状態と誤判定していたコントラストの高い撮影シーンに対しても逆光状態を精度よく判定することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、マイクロコンピュータ１２による制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

８：撮像素子
９：ＣＤＳ/ＡＧＣ回路
１０：Ａ/Ｄ変換回路
１１：デジタル信号処理回路
１２：マイクロコンピュータ
１４：撮像素子駆動部（電子シャッター機能を含む）
１６：輝度情報検波回路
１７：輝度情報演算回路
１８：輝度ヒストグラム生成回路
１９：ガンマ制御回路
２０：露出補正回路
２１：表示装置
２３：顔検出回路
１００：撮像装置

Claims (13)

1. 撮影された画像信号から撮影画像の輝度情報を取得する輝度情報取得手段と、
   前記輝度情報取得手段が取得した前記輝度情報から輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、
   前記輝度ヒストグラム生成手段により生成した前記輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、前記設定された複数の閾値のそれぞれに対応する重み係数を設定し、前記設定された複数の閾値および重み係数に基づいて前記輝度ヒストグラムから逆光状態を判定するための第１の逆光評価値を算出する制御手段とを備えることを特徴とする画像処理装置。
2. 前記複数の閾値は第１および第２の閾値を含み、当該第１および第２の閾値は高輝度被写体の撮影画像信号に施される露出制御に基づいて設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記撮影された画像信号の撮影モードに応じて、前記複数の閾値および重み係数を変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、さらに逆光状態を判定するための第３の閾値を設定し、前記算出された第１の逆光評価値と前記第３の閾値とに基づいて逆光状態を判定するとともに、逆光状態と判定したときは、前記撮影された画像信号に逆光補正を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記輝度情報取得手段で取得された前記輝度情報から画像全体の明るさを演算する画像輝度演算手段をさらに備え、前記制御手段は画像全体の明るさを判定するための第４の閾値を設定し、前記画像輝度演算手段で演算された前記画像全体の明るさと前記設定された第４の閾値とに基づいて前記第１の逆光評価値に基づく逆光判定の要不要を決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記制御手段は、前記画像輝度演算手段で演算された前記画像全体の明るさと前記設定された第４の閾値とに基づいて前記第１の逆光評価値による逆光判定が必要であると決定したときは、前記画像全体の明るさに基づいて第２の逆光評価値を算出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記輝度情報取得手段は、前記撮影画像を複数の領域に分割し、分割された前記複数の領域のそれぞれの平均輝度を算出し、前記制御手段は前記輝度情報取得手段で算出された前記分割領域それぞれの平均輝度から前記分割領域間のコントラストを算出し、前記算出したコントラストに基づいて前記第１の逆光評価値の補正値を生成し、前記補正値と前記第１の逆光評価値に基づいて逆光状態を判定することを特徴とする請求項１ないし６項のいずれか一項に記載の画像処理装置。
8. 前記制御手段は、前記分割された前記複数の領域のうちの所定の領域の平均輝度と前記輝度ヒストグラムの低輝度領域に設定された閾値とに基づいて、被写体の逆光状態を判定し、前記被写体が逆光状態であると判定されたときに前記補正値、前記第１の逆光評価値および前記画像全体の明るさに基づいて算出された前記第２の逆光評価値とに基づいて第３の逆光評価値を算出し、当該算出された第３の逆光評価値と前記第３の閾値とに基づいて逆光判定を行うことを特徴とする請求項７項に記載の画像処理装置。
9. 前記撮影画像から人物の顔の画像を検出する顔検出手段をさらに備え、前記輝度情報取得手段は、前記顔検出手段に検出された顔画像の輝度情報を取得し、前記制御手段は、前記顔画像の輝度情報と前記輝度ヒストグラムの低輝度領域に設定した閾値とに基づいて逆光状態の判定を行うことを特徴とする請求項１ないし８のいずれか一項に記載の画像処理装置。
10. 被写体を撮影して画像信号を出力する撮像手段と、
    前記撮像手段から出力された前記画像信号に基づいて露出制御を行う露出制御手段と、および
    請求項１ないし９のいずれか一項に記載の画像処理装置を備えることを特徴とする撮像装置。
11. 撮影された画像信号から撮影画像の輝度情報を取得する輝度情報取得ステップと、
    前記輝度情報取得ステップで取得された前記輝度情報から輝度ヒストグラムを生成する輝度ヒストグラム生成ステップ、
    前記輝度ヒストグラム生成ステップで生成された前記輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、前記設定された複数の閾値のそれぞれに対応する重み係数を設定し、前記設定された複数の閾値および重み係数に基づいて前記輝度ヒストグラムから逆光状態を判定するための逆光評価値を算出する制御ステップを備えることを特徴とする画像処理方法。
12. コンピュータを、
    撮影の逆光状態を判定する機能を備える画像処理装置において、
    撮影された画像信号から撮影画像の輝度情報を取得する輝度情報取得手段、
    前記輝度情報取得手段が取得した前記輝度情報から輝度ヒストグラムを生成する輝度ヒストグラム生成手段、および
    前記輝度ヒストグラム生成手段により生成した前記輝度ヒストグラムの低輝度領域に複数の閾値を設定するとともに、前記設定された複数の閾値のそれぞれに対応する重み係数を設定し、前記設定された複数の閾値および重み係数に基づいて前記輝度ヒストグラムから逆光状態を判定するための逆光評価値を算出する制御手段
    として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images