JP2011130226A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像の撮影シーンをより正確に判別する。
【解決手段】積分値算出部４１は、各積分領域の画素値に基づいて、各積分領域の輝度値の積分値を算出する。保持部４２は、積分値を保持する。低輝度集合度検出部４３は、積分値と積分領域の画面上の位置に基づいて、積分値が閾値dark_th以下である積分領域の撮像画像における集合度を検出する。高輝度集合度検出部４４は、積分値と積分領域の画面上の位置に基づいて、積分値が閾値bright_th以上である積分領域の撮像画像における集合度を検出する。判別部４５は、これらの集合度に基づいて撮像画像の撮影シーンを判別し、判別結果を出力する。本発明は、例えば、撮像装置に適用することができる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像画像の撮影シーンをより正確に判別することができるようにした画像処理装置、画像処理方法、およびプログラム置に関する。

従来、人物や風景等の被写体の撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。このような撮像装置としては、撮像画像の画像信号から被写体の反射輝度や輝度のヒストグラムを特徴量パラメータとして生成し、その特徴量パラメータを用いて撮影シーンを推定し、推定されたシーンに応じて撮像条件を設定する撮像装置がある。

また、撮像画像の画像信号について、画面上で分割した領域ごとに高輝度割合と低輝度割合を検出し、高輝度割合と低輝度割合のそれぞれについてシーン推定用重みデータを用いた加重平均を行って複数の評価値を算出し、評価値と基準値を比較することによりシーンを推定する撮像装置も提案されている（例えば、特許文献１参照）。

特開２００９−１４７５２０号公報

しかしながら、上述した特徴量パラメータを用いて撮影シーンを推定する撮像装置では、被写体にスポットライトのような強い照明光が照射され、撮像画像において被写体が白とびする場合がある撮影シーンであるスポットライトシーンや、逆光の撮影シーンである逆光シーン等の高輝度または低輝度の少なくとも一方が集合する撮影シーンの正確な判別は困難である。

具体的には、例えば、このような撮像装置では、高輝度と低輝度が両方とも集合するスポットライトシーンの撮像画像の特徴量パラメータと、低輝度の中に高輝度が点在する夜景シーンの撮像画像の特徴量パラメータには差がほとんど表れない。従って、撮像画像の撮影シーンが、スポットライトシーンであるか、または、夜景シーンであるかを正確に判別することは困難である。

その結果、このような撮像装置では、撮影シーンに応じた最適な撮像条件での撮像を行い、高品質な撮像画像を記録することができない。

本発明は、このような状況に鑑みてなされたものであり、撮像画像の撮影シーンをより正確に判別することができるようにするものである。

本発明の一側面の画像処理装置は、撮像画像の画面を複数の領域に分割することにより得られる１以上の画素からなる複数の評価領域のそれぞれの画素値に基づいて、前記評価領域の評価値を算出する算出手段と、前記評価値を保持する保持手段と、前記評価値と前記評価領域の前記画面上の位置に基づいて、前記評価値が所定の範囲内の値である評価領域の前記撮像画像における集合度を検出する検出手段と、前記集合度に基づいて前記撮像画像の撮影シーンを判別し、判別結果を出力する判別手段とを備える画像処理装置である。

本発明の一側面の画像処理方法およびプログラムは、本発明の一側面の画像処理装置に対応する。

本発明の一側面においては、撮像画像の画面を複数の領域に分割することにより得られる１以上の画素からなる複数の評価領域のそれぞれの画素値に基づいて、評価領域の評価値が算出され、評価値が保持され、評価値と評価領域の画面上の位置に基づいて、評価値が所定の範囲内の値である評価領域の撮像画像における集合度が検出され、集合度に基づいて撮像画像の撮影シーンが判別され、判別結果が出力される。

以上のように、本発明の一側面によれば、撮像画像の撮影シーンをより正確に判別することができる。

本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 コントローラの機能的構成例を示すブロック図である。 積分領域の例を示す図である。 処理単位領域の例を示す図である。 各処理単位領域の中心領域を示す図である。 処理単位領域の各積分領域の積分値を示す図である。 コントローラによるスポットライトシーン判別処理を説明するフローチャートである。 図７のステップＳ１３の低輝度集合度検出処理の詳細を説明するフローチャートである。 図７のステップＳ１４の高輝度集合度検出処理を説明するフローチャートである。

＜一実施の形態＞
［撮像装置の一実施の形態の構成例］
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。

図１の撮像装置１０は、レンズ１１、絞り１２、撮像素子１３、アナログ信号処理回路１４、A/D（Analog/Digital）変換回路１５、コントローラ１６、レンズドライバ１７、タイミングジェネレータ（ＴＧ）１８、システムコントローラ１９、および記憶部２０により構成される。撮像装置１０は、被写体を撮像し、その結果得られる画像信号に基づいて撮影シーンを判別し、その判別結果に応じて露出制御を行う。

具体的には、撮像装置１０のレンズ１１は、レンズドライバ１７によって駆動される。レンズ１１は、被写体からの光を集光し、その光を絞り１２に入力する。

絞り１２は、レンズドライバ１７によって駆動される。絞り１２は、レンズ１１から入力される光の光量を調節し、その結果得られる光を撮像素子１３に入力する。これにより、撮像素子１３の撮像面に光学像が形成される。

撮像素子１３は、CCD（Charge Coupled Device）やCMOS（Coplementary Metal-Oxide Semiconductor）などの固体撮像素子である。撮像素子１３は、ＴＧ１８から供給されるタイミング信号に応じて、絞り１２からの光により撮像面に形成された光学像を撮像し、その結果得られる画像信号を撮像信号Ｓ１としてアナログ信号処理回路１４に供給する。

より詳細には、撮像素子１３は、半導体基板上に画素がマトリクス状に配列されるとともに、これらの画素を駆動する垂直走査回路および水平走査回路、並びに画像信号出力回路が設けられることにより構成される。各画素は、補色系又は原色系のカラーフィルタ、フォトダイオード（フォトゲート）、転送ゲート（シャッタートランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などにより構成される。

撮像素子１３の各画素では、絞り１２からの光がフィルタリングされ、光電変換が行われる。そして、その光電変換の結果得られるRGB信号やYCbCr信号が、撮像信号Ｓ１として、ラスタ走査の順で順次アナログ信号処理回路１４に出力される。

アナログ信号処理回路１４は、システムコントローラ１９からの制御にしたがって、撮像素子１３から出力される撮像信号Ｓ１を相関二重サンプリングし、その後、自動利得制御を行うことにより信号レベルを補正する。アナログ信号処理回路１４は、その結果得られる撮像信号をA/D変換回路１５に供給する。

A/D変換回路１５は、アナログ信号処理回路１４から供給される撮像信号をアナログデジタル変換処理し、これにより得られた各画素の輝度や色度を表す画素値からなる画像データＤ１を、コントローラ１６に供給する。

コントローラ１６は、例えばデジタルシグナルプロセッサにより形成される。コントローラ１６は、記憶部２０に記憶されている処理プログラムを、システムコントローラ１９を介して取得し、その処理プログラムを実行することにより、各種の処理を実行する。

具体的には、コントローラ１６は、システムコントローラ１９からの制御にしたがって、A/D変換回路１５から供給される画像データＤ１に対して、ホワイトバランス調整、ガンマ調整、フリッカ低減処理等の各種の信号処理を施す。コントローラ１６は、信号処理が施された画像データＤ１を、例えばフィールド周波数６０ＨｚのNTSC（National Television Standards Committee）方式のビデオ信号ＳＶに変換して出力する。このようにして出力されたビデオ信号ＳＶは、例えば、図示せぬ外部の光ディスク、磁気ディスク、メモリカード等の記録媒体に記録される。

また、コントローラ１６は、A/D変換回路１５から供給される画像データＤ１を用いて撮影シーンを判別し、その判別結果をシステムコントローラ１９に供給する。

レンズドライバ１７は、システムコントローラ１９の制御にしたがってレンズ１１を駆動し、レンズ１１の倍率を変更する。また、レンズドライブ１７は、システムコントローラ１９の制御にしたがって絞り１２を駆動し、絞り１２の状態を変更する。

ＴＧ１８は、システムコントローラ１９の制御にしたがって撮像素子１３にタイミング信号を出力することにより、電子シャッタ速度を制御する。

システムコントローラ１９は、記憶部２０に記憶されている所定の処理プログラムを実行することにより、各種の処理を行う。例えば、システムコントローラ１９は、ユーザの指示にしたがってコントローラ１６を制御し、画像データＤ１に対してフリッカ低減処理を施す。これにより、画像データＤ１のフリッカが低減される。

また、システムコントローラ１９は、コントローラ１６から供給される撮影シーンの判別結果に応じて、レンズドライバ１７およびＴＧ１８を制御することにより、適正な露出制御を行う。さらに、システムコントローラ１９は、アナログ信号処理回路１４を制御する。

なお、コントローラ１６およびシステムコントローラ１９により実行される処理プログラムは、予め記憶部２０に記憶されていてもよいし、インターネット等のネットワークを介して撮像装置１０にダウンロードされ、記憶部２０にインストールされてもよい。また、処理プログラムは、各種のリムーバブルメディアにより提供されるようにしてもよい。ここで、リムーバブルメディアとしては、例えば、光ディスク、磁気ディスク、メモリカード等がある。

[コントローラの機能構成例]
図２は、コントローラ１６の機能的構成例を示すブロック図である。

図２のコントローラ１６は、シーン判別部３１と信号処理部３２により構成される。シーン判別部３１は、積分値算出部４１、保持部４２、低輝度集合度検出部４３、高輝度集合度検出部４４、および判別部４５により構成される。

積分値算出部４１は、A/D変換回路１５から供給される画像データＤ１に基づいて、積分領域（評価領域）ごとの輝度値の積分値（評価値）を算出する。なお、積分領域とは、撮像画像の画面の有効領域を複数の領域に分割することにより得られる１以上の画素からなる領域である。積分値算出部４１は、算出された積分領域ごとの積分値を保持部４２に供給する。保持部４２は、積分値算出部４１から供給される積分値を保持する。

低輝度集合度検出部４３は、保持部４２に保持されている積分値を読み出す。低輝度集合度検出部４３は、読み出された積分値と、その積分値に対応する積分領域の画面上の位置とに基づいて、積分値が低輝度である積分領域の撮像画像における集合度を検出し、その検出結果を判別部４５に供給する。

高輝度集合度検出部４４は、保持部４２に保持されている積分値を読み出す。高輝度集合度検出部４４は、読み出された積分値と、その積分値に対応する積分領域の画面上の位置とに基づいて、積分値が高輝度である積分領域の撮像画像における集合度を検出し、その検出結果を判別部４５に供給する。

判別部４５は、低輝度集合度検出部４３による検出結果と、高輝度集合度検出部４４による検出結果とに基づいて、画像データＤ１の撮影シーンの判別を行う。判別部４５は、判別結果をシステムコントローラ１９に出力する。

信号処理部３２は、A/D変換回路１５から供給される画像データＤ１に対して、ホワイトバランス調整、ガンマ調整、フリッカ低減処理等の各種の信号処理を施す。信号処理部３２は、信号処理が施された画像データＤ１をビデオ信号ＳＶに変換して出力する。

[積分領域の説明]
図３は、積分領域の例を示す図である。

図３に示すように、積分領域は、撮像画像の画面５０内の有効領域５１を複数の領域に分割することにより得られる１以上の画素からなる領域である。図３の例では、有効領域５１が６３分割され、画面５０に７（縦）×９（横）の６３個の積分領域が設けられている。

[低輝度集合度および高輝度集合度の説明]
図４乃至図６は、低輝度集合度および高輝度集合度を説明する図である。

まず、低輝度集合度検出部４３と高輝度集合度検出部４４は、例えば、図４に示すように、有効領域５１内の３（縦）×３（横）の９個の積分領域をラスタ走査の順に処理単位領域とする。

具体的には、まず、最も左上の３×３の９個の積分領域６１−１乃至６９−１が処理単位領域６０−１とされる。次に、処理単位領域６０−１の中心の積分領域６５−１の右隣の積分領域６６−１を中心とする３×３の積分領域が処理単位領域とされる。それ以降順に処理単位領域の中心の積分領域が右隣に移るようにして処理単位領域が設定され、最も右上の処理単位領域が設定されると、次に、処理単位領域６０−１の中心の積分領域６５−１の直下の積分領域６８−１を中心とする３×３の積分領域が処理単位領域とされる。そして、以降も同様に順に処理単位領域が設定され、最後に、最も右下の３×３の９個の積分領域６１−３５乃至６９−３５が処理単位領域６０−３５とされる。

以上により、低輝度集合度検出部４３および高輝度集合度検出部４４では、図５に示すように、積分領域６５−１が左上の角となり、積分領域６５−３５が右下の角となる長方形の領域に含まれる３５個の積分領域をそれぞれ中心の積分領域とする、３５個の処理単位領域が設定される。

ここで、図６に示すように、１つの処理単位領域の中心の積分領域(以下、中心領域という)の積分値をＬｃと表し、中心領域の左上、真上、右上、左隣、右隣、左下、真下、右下の積分領域（以下、これらの積分領域を総称して周辺領域という）の積分値を、それぞれ、Ls_1，Ls_2，Ls_3，Ls_4，Ls_5，Ls_6，Ls_7，Ls_8と表すとすると、低輝度集合度検出部４３は、処理単位領域ごとに、中心領域の積分値Lｃが閾値dark_th以下であるかどうかを判定する。そして、積分値Lcが閾値dark_th以下であるとき、低輝度集合度検出部４３は、８個の周辺領域のうち、積分値が閾値dark_th以下となる周辺領域（以下、低輝度周辺領域という）の数を検出する。低輝度集合度検出部４３は、検出された低輝度周辺領域の総数Cs_Lを、中心領域の積分値Lcが閾値dark_th以下である処理単位領域（以下、低輝度領域という）の総数Cc_Lで除算することにより、処理単位領域当たりの低輝度周辺領域の数の平均値を求め、低輝度の集合度Cs_darkとする。

従って、低輝度の集合度Cs_darkは、積分値が閾値dark_th以下の領域がどの程度集合しているかを表している。例えば、１つの積分領域の積分値も閾値dark_th以下にならない場合、低輝度の集合度Cs_darkは最小値０となり、全ての積分領域の積分値が閾値dark_th以下になる場合、低輝度の集合度Cs_darkは最大値８となる。

一方、高輝度集合度検出部４４は、処理単位領域ごとに、中心領域の積分値Lｃが閾値bright_th以上であるかどうかを判定する。そして、積分値Lcが閾値bright_th以上であるとき、高輝度集合度検出部４４は、８個の周辺領域のうち、積分値が閾値bright_th以上となる周辺領域（以下、高輝度周辺領域という）の数を検出する。高輝度集合度検出部４４は、検出された高輝度周辺領域の総数Cs_Hを、中心領域の積分値Lcが閾値bright_th以上である処理単位領域（以下、高輝度領域という）の総数Cc_Hで除算することにより、処理単位領域当たりの高輝度周辺領域の数の平均値を求め、高輝度の集合度Cs_brightとする。

従って、高輝度の集合度Cs_brightは、積分値が閾値bright_th以上の領域がどの程度集合しているかを表している。

[コントローラの処理の説明]
図７は、撮像装置１０のコントローラ１６によるスポットライトシーン判別処理を説明するフローチャートである。このスポットライトシーン判別処理は、撮像素子１３により撮像が行われ、A/D変換回路１５から画像データＤ１が入力されたとき、開始される。

ステップＳ１１において、コントローラ１６の低輝度集合度検出部４３は、低輝度領域の総数Cc_Lおよび低輝度周辺領域の総数Cs_Lを０に初期化し、高輝度集合度検出部４４は、高輝度領域の総数Cc_Hおよび高輝度周辺領域の総数Cs_Hを０に初期化する。

ステップＳ１２において、積分値算出部４１は、積分領域ごとに画像データＤ１の積分値を求め、その積分値を保持部４２に供給し、保持させる。

ステップＳ１３において、低輝度集合度検出部４３は、保持部４２に保持されている積分値を用いて、低輝度の集合度Cs_darkを検出する低輝度集合度検出処理を行う。この低輝度集合度検出処理の詳細は、図８を参照して後述する。

ステップＳ１４において、高輝度集合度検出部４４は、保持部４２に保持されている積分値を用いて、高輝度の集合度Cs_brightを検出する高輝度集合度検処理を行う。この高輝度集合度検出処理の詳細は、図９を参照して後述する。

ステップＳ１５において、判別部４５は、ステップＳ１３で検出された低輝度の集合度Cs_darkが所定の閾値Cth_dark以上であり、かつ、ステップＳ１４で検出された高輝度の集合度Cs_brightが所定の閾値Cth_bright以上であるかどうかを判定する。

ステップＳ１５で、低輝度の集合度Cs_darkが所定の閾値Cth_dark以上であり、かつ、高輝度の集合度Cs_brightが所定の閾値Cth_bright以上である場合、ステップＳ１６で、判別部４５は、撮影シーンはスポットライトシーンであると判別する。そして、判別部４５は、その判別結果をシステムコントローラ１９に出力する。システムコントローラ１９は、この判別結果に応じて、レンズドライバ１７およびＴＧ１８を制御することにより絞り１２の状態および電子シャッタ速度を制御し、スポットライトシーンに適した露出制御を行う。これにより、撮像画像において被写体の白とびの発生が抑制される。

一方、ステップＳ１５で、低輝度の集合度Cs_darkが所定の閾値Cth_dark以上であり、かつ、高輝度の集合度Cs_brightが所定の閾値Cth_bright以上ではないと判定された場合、処理は終了する。

図８は、図７のステップＳ１３の低輝度集合度検出処理の詳細を説明するフローチャートである。

ステップＳ３１において、低輝度集合度検出部４３は、まだ処理の対象とされていない処理単位領域を処理の対象とし、その処理単位領域の中心領域の積分値Lcが閾値dark_th以下であるかどうかを判定する。

ステップＳ３１で処理単位領域の中心領域の積分値Lcが閾値dark_th以下であると判定された場合、ステップＳ３２において、低輝度集合度検出部４３は、低輝度領域の総数Cc_Lを１だけインクリメントする。

ステップＳ３３において、低輝度集合度検出部４３は、カウント値ｉを１に設定する。ステップＳ３４において、低輝度集合度検出部４３は、処理単位領域のｉ番目の周辺領域の積分値Ls_iが閾値dark_th以下であるかどうかを判定する。周辺領域の番号は、例えば、中心領域の左上、真上、右上、左隣、右隣、左下、真下、右下の領域の順に付される。

ステップＳ３４で積分値Ls_iが閾値dark_th以下であると判定された場合、ステップＳ３５において、低輝度集合度検出部４３は、低輝度周辺領域の総数Cs_Lを１だけインクリメントし、処理をステップＳ３６に進める。

一方、ステップＳ３４で積分値Ls_iが閾値dark_th以下ではないと判定された場合、ステップＳ３５の処理はスキップして、処理はステップＳ３６に進む。

ステップＳ３６において、低輝度集合度検出部４３は、カウント値ｉが８であるかどうか、即ち全ての周辺領域に対してステップＳ３４の処理が行われたかどうかを判定する。

ステップＳ３６でカウント値ｉが８ではないと判定された場合、ステップＳ３７において、低輝度集合度検出部４３は、カウント値ｉを１だけインクリメントする。そして、処理はステップＳ３４に戻り、カウント値ｉが８になるまで、ステップＳ３４乃至Ｓ３７の処理が繰り返される。

一方、ステップＳ３６でカウント値ｉが８であると判定された場合、処理はステップＳ３８に進む。

また、ステップＳ３１で処理単位領域の中心領域の積分値Lcが閾値dark_th以下ではないと判定された場合、ステップＳ３２乃至Ｓ３７の処理はスキップされる。即ち、中心領域の積分値Lcが閾値dark_thより大きい場合、低輝度領域の総数Cc_Lと低輝度周辺領域の総数Cs_Lは変化しない。そして、処理はステップＳ３８に進む。

ステップＳ３８において、低輝度集合度検出部４３は、１画面内の全ての処理単位領域についてステップＳ３１乃至Ｓ３７の処理を行ったかどうかを判定する。ステップＳ３８でまだ１画面内の全ての処理単位領域についてステップＳ３１乃至Ｓ３７の処理を行っていないと判定された場合、処理はステップＳ３１に戻る。そして、１画面内の全ての処理単位領域についてステップＳ３１乃至Ｓ３７の処理が行われるまで、ステップＳ３１乃至Ｓ３８の処理が繰り返される。

一方、ステップＳ３８で１画面内の全ての処理単位領域についてステップＳ３１乃至Ｓ３７の処理を行ったと判定された場合、ステップＳ３９において、低輝度集合度検出部４３は、低輝度周辺領域の総数Cs_Lを低輝度領域Cc_Lで除算し、その結果得られる処理単位領域当たりの低輝度周辺領域の数の平均値を低輝度の集合度Cs_darkとする。そして処理は図７のステップＳ１３に戻り、ステップＳ１４以降の処理が行われる。

図９は、図７のステップＳ１４の高輝度集合度検出処理を説明するフローチャートである。

ステップＳ５１において、高輝度集合度検出部４４は、まだ処理の対象とされていない処理単位領域を処理の対象とし、その処理単位領域の中心領域の積分値Lcが閾値bright_th以上であるかどうかを判定する。

ステップＳ５１で処理単位領域の中心領域の積分値Lcが閾値bright_th以上であると判定された場合、高輝度集合度検出部４４は、ステップＳ５２において、高輝度領域の総数Cc_Hを１だけインクリメントする。

ステップＳ５３において、高輝度集合度検出部４４は、カウント値ｉを１に設定する。ステップＳ５４において、高輝度集合度検出部４４は、処理単位領域のｉ番目の周辺領域の積分値Ls_iが閾値bright_th以上であるかどうかを判定する。

ステップＳ５４で積分値Ls_iが閾値bright_th以上であると判定された場合、ステップＳ５５において、高輝度集合度検出部４４は、高輝度周辺領域の総数Cs_Hを１だけインクリメントし、処理をステップＳ５６に進める。

一方、ステップＳ５４で積分値Ls_iが閾値bright_th以上ではないと判定された場合、ステップＳ５５の処理はスキップして、処理はステップＳ５６に進む。

ステップＳ５６において、高輝度集合度検出部４４は、カウント値ｉが８であるかどうかを判定する。ステップＳ５６でカウント値ｉが８ではないと判定された場合、ステップＳ５７において、高輝度集合度検出部４４は、カウント値ｉを１だけインクリメントする。そして、処理はステップＳ５４に戻り、カウント値ｉが８になるまで、ステップＳ５４乃至Ｓ５７の処理が繰り返される。

一方、ステップＳ５６でカウント値ｉが８であると判定された場合、処理はステップＳ５８に進む。

また、ステップＳ５１で処理単位領域の中心領域の積分値Lcが閾値bright_th以上ではないと判定された場合、ステップＳ５２乃至Ｓ５７の処理はスキップする。即ち、中心領域の積分値Lcが閾値bright_thより小さい場合、高輝度領域の総数Cc_Hと高輝度周辺領域の総数Cs_Hは変化しない。そして、処理はステップＳ５８に進む。

ステップＳ５８において、高輝度集合度検出部４４は、１画面内の全ての処理単位領域についてステップＳ５１乃至Ｓ５７の処理を行ったかどうかを判定する。ステップＳ５８でまだ１画面内の全ての処理単位領域についてステップＳ５１乃至Ｓ５７の処理を行っていないと判定された場合、処理はステップＳ５１に戻る。そして、１画面内の全ての処理単位領域についてステップＳ５１乃至Ｓ５７の処理が行われるまで、ステップＳ５１乃至Ｓ５８の処理が繰り返される。

一方、ステップＳ５８で１画面内の全ての処理単位領域についてステップＳ５１乃至Ｓ５７の処理を行ったと判定された場合、ステップＳ５９において、高輝度集合度検出部４４は、高輝度周辺領域の総数Cs_Hを高輝度領域Cc_Hで除算し、その結果得られる処理単位領域当たりの高輝度周辺領域の数の平均値を高輝度の集合度Cs_brightとする。そして処理は図７のステップＳ１４に戻り、ステップＳ１５以降の処理が行われる。

以上のように、撮像装置１０は、積分領域の画素値に基づき、積分領域の画素値の積分値を算出して保持し、その積分値と積分領域の画面上の位置に基づいて、積分値が所定の範囲内の値である積分領域の撮像画像における集合度を検出し、集合度に基づいて撮像画像の撮影シーンを判別し、判別結果を出力する。従って、撮像装置１０は、スポットライトシーンと夜景シーンのような高輝度の領域の集合の度合いが異なる撮影シーンを正確に判別することができる。

即ち、撮影シーンがスポットライトシーンである場合、撮像画像内に低輝度の領域と高輝度の領域が両方集合しているが、夜景シーンである場合、撮像画像内に低輝度の領域は集合しているが、高輝度の領域は集合していない。従って、撮像装置１０は、高輝度の集合度Cs_brightに基づいて、撮影シーンがスポットライトシーンであることを正確に判別することができる。

また、撮像装置１０は、高輝度の集合度Cs_brightだけでなく、低輝度の集合度Cs_darkにも基づいて、撮影シーンを判別する。従って、明るい室内で撮影したシーンや屋外で撮影したシーン等の高輝度シーンを、誤ってスポットライトシーンであると判別することを防止することができる。

なお、上述した説明では、判別対象とする撮影シーンをスポットライトシーンとしたが、閾値dark_thや閾値bright_thを変更することにより、他の撮影シーンも判別することができる。例えば、閾値dark_thの値を、スポットライトシーンの判別時の値より小さくし、閾値bright_thの値を、スポットライトシーンの判別時の値より大きくすることにより、逆光の撮影シーンを判別することができる。

また、判別対象とする撮影シーンは、複数あってもよい。例えば、閾値dark_thと閾値bright_thを２種類ずつ設け、大きい方の閾値dark_th1と小さい方の閾値bright_th1を用いてスポットライトシーンを判別し、小さい方の閾値dark_th2と大きい方の閾値bright_th2を用いて逆光の撮影シーンを判別するようにしてもよい。

さらに、上述した説明では、シーン判別部３１は、輝度値の積分値を用いて高輝度や低輝度の集合度を算出したが、色度値の積分値を用いて所定の色度の集合度を算出するようにしてもよい。この場合、例えば、シーン判別部３１は、緑の集合度と青の集合度が高い場合、撮像画像に山や空の画像が含まれていると推測し、撮影シーンが屋外で撮影したシーンであると判別する。

また、上述した説明では、シーン判別部３１は、２つの集合度を用いて撮影シーンを判別したが、１つの集合度を用いて撮影シーンを判別したり、３以上の集合度を用いて撮影シーンを判別するようにしてもよい。例えば、シーン判別部３１は、緑の集合度が高い場合、撮像画像に山の画像が含まれていると推測し、撮影シーンが屋外であると判別するようにしてもよい。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 撮像装置, １３ 撮像素子， １６ コントローラ， １９ システムコントローラ， ４１ 積分値算出部, ４２ 保持部, ４３ 低輝度集合度検出部, ４４ 高輝度集合度検出部, ４５ 判別部

Claims (8)

1. 撮像画像の画面を複数の領域に分割することにより得られる１以上の画素からなる複数の評価領域のそれぞれの画素値に基づいて、前記評価領域の評価値を算出する算出手段と、
   前記評価値を保持する保持手段と、
   前記評価値と前記評価領域の前記画面上の位置に基づいて、前記評価値が所定の範囲内の値である評価領域の前記撮像画像における集合度を検出する検出手段と、
   前記集合度に基づいて前記撮像画像の撮影シーンを判別し、判別結果を出力する判別手段と
   を備える画像処理装置。
2. 前記算出手段は、前記評価領域の画素値の積分値を前記評価値として算出する
   請求項１に記載の画像処理装置。
3. 前記検出手段は、複数の前記評価領域からなる処理単位領域ごとに、前記処理単位領域の中心の評価領域である中心領域が前記所定の範囲内の値である場合に、その中心領域以外の前記処理単位領域内の評価領域である周辺領域のうち、前記所定の範囲内の値である周辺領域の数を検出し、その周辺領域の数の前記処理単位領域当たりの平均値を前記集合度として検出する
   請求項１に記載の画像処理装置。
4. 前記算出手段は、複数の前記評価領域それぞれの各画素の輝度値に基づいて、前記評価領域の評価値を算出し、
   前記検出手段は、前記評価値が第１の値以上である評価領域の前記撮像画像における集合度を高輝度の集合度として検出し、前記評価値が第２の値以下である第２の領域の前記撮像画像における集合度を低輝度の集合度として検出し、
   前記判別手段は、前記低輝度の集合度と前記高輝度の集合度に基づいて、前記撮像画像の撮影シーンが、被写体にスポットライトを照射して撮影したシーンであるかどうかを判別し、判別結果を出力する
   請求項１に記載の画像処理装置。
5. 前記算出手段は、複数の前記評価領域それぞれの各画素の色度値に基づいて、前記評価領域の評価値を算出し、
   前記判別手段は、前記集合度に基づいて、前記撮像画像の撮影シーンが屋外で撮影したシーンであるかどうかを判別し、判別結果を出力する
   請求項１に記載の画像処理装置。
6. 前記撮像画像を取得する撮像手段と、
   前記撮像手段の露出制御を行う制御手段と
   をさらに備え、
   前記制御手段は、前記判別結果に応じて前記露出制御を行う
   請求項１に記載の画像処理装置。
7. 画像処理装置が、
   撮像画像の画面を複数の領域に分割することにより得られる１以上の画素からなる複数の評価領域のそれぞれの画素値に基づいて、前記評価領域の評価値を算出する算出ステップと、
   前記評価値を保持させる保持制御ステップと、
   前記評価値と前記評価領域の前記画面上の位置に基づいて、前記評価値が所定の範囲内の値である評価領域の前記撮像画像における集合度を検出する検出ステップと、
   前記集合度に基づいて前記撮像画像の撮影シーンを判別し、判別結果を出力する判別ステップと
   を含む画像処理方法。
8. コンピュータに、
   撮像画像の画面を複数の領域に分割することにより得られる１以上の画素からなる複数の評価領域のそれぞれの画素値に基づいて、前記評価領域の評価値を算出する算出ステップと、
   前記評価値を保持させる保持制御ステップと、
   前記評価値と前記評価領域の前記画面上の位置に基づいて、前記評価値が所定の範囲内の値である評価領域の前記撮像画像における集合度を検出する検出ステップと、
   前記集合度に基づいて前記撮像画像の撮影シーンを判別し、判別結果を出力する判別ステップと
   を含む処理を実行させるためのプログラム。

Images