JP2011188496A

JP2011188496A - 逆光検知装置及び逆光検知方法

Info

Publication number: JP2011188496A
Application number: JP2011050702A
Authority: JP
Inventors: Xun Yuan; シュヌユアヌ; Zhongchao Shi; ジョォンチャオシ; Cheng Zhong; ジョォンチョン; Tong Liu; リィウトォン; Gane Wang; ガンワン
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-03-09
Filing date: 2011-03-08
Publication date: 2011-09-22
Also published as: CN102196182A; US20110221933A1

Abstract

【課題】逆光状態の画像を検知する逆光検知装置及び逆光検知方法を提供する。
【解決手段】本発明による逆光検知装置は、画像における各画素の画素値を取得する画素値取得装置と、前記画像における集光位置を決定する集光位置決め装置と、領域成長により前記集光位置から、前記画像の画素値に基づいて対象領域を決定し、前記画像を対象領域と背景領域に分ける対象領域決定装置と、前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算装置と、前記輝度差から、前記逆光状態の画像を判断する逆光判断装置とを有する。
【選択図】図１

Description

本発明は、逆光状態の画像を検知する逆光検知装置及び逆光検知方法に関する。

デジタルカメラや高周波ビデオカメラ等の撮像装置による画像形成においては、逆光撮影の場合、背景部分が過度に明るくなり、本来の関心対象としての被写体部分が過度に暗くなってしまうことが多い。このため、逆光検知は、デジタルカメラやビデオカメラ等の撮像装置における知能シーン認識や自動露光制御等の機能に幅広く用いられている。

非特許文献１（Masayuki Murakami, and Nakaji Honda, An Exposure Control System of Video Cameras Based on Fuzzy Logic Using Color Information, Proceedings of the Fifth IEEE International Conference on Fuzzy Systems, 1996）には、逆光検出の技術が開示されている。該技術は、一般的な画像の特徴、即ち、主要対象領域が画像の中央下部に位置し、背景領域が画像の上部に位置することから、画像の中央下部を主要対象領域と、画像の上部を背景領域と判定し、主要対象領域と背景領域との間のメイン輝度差を算出し、該メイン輝度差が所定閾値を越えると、画像が逆光状態であると判断し、逆の場合は、非逆光状態であると判断する。

非特許文献２（June-Sok Lee, You-Young Jung, Byung-Soo Kim, and Sung-Jea Ko, An Advanced Video Camera System with Robust AF, AE, and AWB Control, IEEE Transactions on Consumer electronics, 2001）には、ビデオカメラに用いる自動逆光検出技術が開示されている。該技術は、所定フォームにより主要対象領域と背景領域を決定し、主要対象領域と背景領域との間の輝度差が高い場合は、画像が逆光状態であると判断する。

米国特許第5,339,163号には、先ず、画像感知面上の一部に所定の検知領域を設け、次に、該検知領域内外にそれぞれ対応する画像輝度レベルにより光検知を行い、最後に、光検知結果から逆光状態を判断する逆光検出方法が開示されている。

米国特許第6,879,345号には、先ず、結像表面の分割に応じて検知フレームを設け、次に、各検知フレームの輝度レベルを検出し、その後、最低検知輝度レベルの検知フレームにより検出された輝度レベルと、最低検知輝度レベルの検知フレーム以外のフレームにより検出された輝度レベルとの平均値間の比率を算出し、最後に、該比率が所定値以上の場合は、画像が逆光状態であると判断する逆光検出方法が開示されている。該特許には、最低輝度領域が必ずしも対象領域ではないため、対象領域への誤判断による逆光状態への誤判断が生じうるという問題が存在している。

前記従来の逆光検出技術に多く存在している問題として、所定の対象領域や背景領域等の画像の具体的状況に関係なく、対象領域と背景領域の分割が固定しているため、本当の目標対象が所定の対象領域やフォームの対象領域に存在しない場合は、逆光検出を行うことができない。或いは、輝度のみによる対象領域決定は、対象領域の誤判断につながり、逆光検出性能を著しく損なうことになる。

本発明の目的は、従来技術における前記問題点を鑑みてなされており、逆光状態の画像を検知する逆光検知装置及び逆光検知方法を提供することにある。

本発明の逆光検知装置及び逆光検知方法は、デジタルカメラやビデオカメラ等の撮像装置に用いることができ、予め対象領域と背景領域を決定することなく、換言すると、固定不変の対象領域と背景領域がない状態で、自動的に逆光状態を検知する。本発明の実施例においては、輝度のみによる対象領域決定は行っていない。本発明の実施例において、対象領域は、集光位置からの領域成長により、自動的に位置決められる。また、対象領域と背景領域との間の輝度差から逆光状態を判断することが可能となる。

本発明の１局面によると、逆光状態の画像を検知する逆光検知装置は、画像における各画素の画素値を取得する画素値取得装置と、前記画像における集光位置を決定する集光位置決め装置と、領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、前記画像を対象領域と背景領域に分割する対象領域決定装置と、前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算装置と、前記輝度差から前記逆光状態の画像を判断する逆光判断装置と、を有する。

本発明の他の局面によると、逆光状態の画像を検知する逆光検知方法は、画像における各画素の画素値を取得する画素値取得ステップと、前記画像における集光位置を決定する集光位置決めステップと、領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、前記画像を対象領域と背景領域に分割する対象領域決定ステップと、前記対象領域と前記背景領域間の輝度差を算出する輝度差演算ステップと、前記輝度差から前記逆光状態の画像を判断する逆光判断ステップと、を有する。

さらに、集光位置の決定前に、輝度ヒストグラムから初歩的な判断を行い、逆光状態の画像ではないことが明らかな場合は、直接排除し以降の処理は行わないことで、検知の加速化を図るようにしてもよい。

本発明の実施例による、逆光状態の画像を検知可能な逆光検知装置及び逆光状態の画像を検知可能な逆光検知方法は、各種撮像装置の逆光判断に用いることができ、最終画像形成前に実施されてもよく、最終画像形成後の後処理中に実施されてもよい。

本発明は、逆光状態の画像を検出する逆光検知装置及び逆光検知方法を提供することができる。

本発明の実施例における逆光検知装置全体のブロック図である。本発明の実施例における集光位置決め装置の構成概略図である。本発明の実施例における対象領域決定装置による、画像への対象領域と背景領域の分割を示す図である。本発明の実施例における対象領域決定装置による、画像への対象領域と背景領域の分割を示す図である。本発明の実施例における初歩的判断装置の機能概略図である。逆光状態の画像の輝度ヒストグラムの例を示す図ある。逆光状態の画像の輝度ヒストグラムの例を示す図ある。非逆光状態の画像の輝度ヒストグラムの例を示す図ある。非逆光状態の画像の輝度ヒストグラムの例を示す図ある。

以下、図面を参照しながら、本発明の例示的な実施例について説明する。

図１は、本発明の実施例における逆光検知装置全体のブロック図である。本発明の実施例における逆光状態の画像を検知する逆光検知装置は、画像における各画素の画素値を取得する画素値取得装置１１と、前記画像における集光位置を決定する集光位置決め装置１２と、領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、前記画像を対象領域と背景領域に分割する対象領域決定装置１３と、前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算装置１４と、前記輝度差から前記逆光状態の画像を判断する逆光判断装置１５と、を有する。また、処理負担を軽減し検知速度を加速化するために、初歩的判断装置２０をさらに設けてもよい。

本発明の実施例における逆光検知装置は、テジタルカメラやビデオカメラ等の撮像装置から形成される階層的カラー画像を処理することができ、画素値取得装置１１は、階層的カラー画像の各画素の４つのチャネル値である、画素の輝度チャネル値Ｌ、レッドチャネル値Ｒ、グリーンチャネル値Ｇ、ブルーチャネル値Ｂを取得することができる。Ｒ、Ｇ、Ｂは、それぞれ、レッド、グリーン、ブルーの輝度値であり、Ｒ、Ｇ、Ｂ及びＬ値は、従来の撮像装置において従来技術により画像取得過程で自動的に得られる。

画素値取得装置１１は、画像における各画素の画素値の信号を取得し、以降の逆光検知工程に用いる。逆光検知を目的とするため、撮像装置により最終的に形成された画像の解像度よりも低いモニタ信号画像に対して処理を行うことができる。これにより、例えば、撮像装置へのリアルタイム処理の要求を満足することができる。低解像度のモニタ信号画像は、例えば、カメラ、ビデオカメラ等の撮像装置による自動的かつ直接的な測定により得られ、現実における例として、例えば、デジタルカメラ、ビデオカメラの撮像前の液晶画面上に表示される画像であり、その解像度が前記撮像装置の同等条件下で撮影される画像よりも低くなっている。もちろん、本発明の実施例は、撮像装置の最終的な撮影画像に対して実施することができる。

図２は、本発明の実施例における集光位置決め装置の構成概略図である。集光位置決め装置１２は、画像における人間の顔の有無を判断し、顔ありの場合は、顔領域を検知して集光位置とする顔検知装置１２１と、前記顔検知装置１２１による判断結果が顔なしの場合は、自動集光プロセスを実行し、自動集光領域を取得して集光位置とする自動集光装置１２２と、を有する。顔検知装置１２１は、従来の顔検知技術により、顔の位置とサイズを取得することができ、検知した顔数が０の画像を、顔なしと判断してもよく、サイズに関する閾値を予め設定し、検知した顔領域が該閾値未満の場合は、無視してもよく、再度画像から検知した顔領域が該閾値未満の場合は、依然として顔なしと判断する。

顔検知装置１２１は、様々な従来の顔検知技術を用いて顔の判断と検知を行うことができる。例えば、米国特許出願第US2008/0232693号明細書に開示された顔検知方法や、非特許文献３（Paul Viola, and Michael J. Jones, Robust Real−Time Face Detection, International Journal of Computer Vision, 2004）や、非特許文献４（SZ Li, L Zhu, ZQ Zhang, A Blake, HJ Zhang, and Harry Shum, Statistical Learning of Muti-View Face Detection, Proceedings of the 7th European Conference on Computer Vision, 2002）に開示された顔検知技術等がある。

顔検知装置１２１は、画像中に顔なしと判断すると、画像を自動集光装置１２２に転送し、自動集光装置１２２により、画像への自動集光を行い、自動集光領域を得ている。自動集光は、従来の撮像装置により従来の技術を用いて行うことができる。

対象領域決定装置１３は、従来の領域成長演算法により、画像における対象領域の位置決めを行うことができる。例えば、対象領域決定装置１３は、先ず、ｍ行ｎ列のマトリックスＭ（ｍ、ｎとも自然数）を構築し、マトリックスＭのサイズと処理される画像のサイズは同じであり、即ち、マトリックスＭにおける各要素は、処理される画像の各画素にそれぞれ対応される。マトリックスＭにおける各要素の初期値は、０と設定する。さらに、マトリックスＭと同等のサイズのｍ×ｎのマトリックスｂを構築し、これにより、マトリックスｂにおける各要素も、処理される画像の各画素にそれぞれ対応される。集光位置決め装置１２の集光結果に応じて、マトリックスｂの、画像における集光位置にある画素に対応する要素を、１に初期設定し、他の要素を、０に初期設定する。

次に、領域成長プロセスを行う。マトリックスｂにおける各要素を、ｂ（ｘ、ｙ）と標記し、マトリックスＭにおける各要素を、Ｍ（ｘ、ｙ）と標記し、ｘとｙは、それぞれ、要素のマトリックスにおける行位置と列位置を表し、ｘ、ｙとも、自然数である。マトリックスｂにおける各要素ｂ（ｘ、ｙ）を順次検査し、ｂ（ｘ、ｙ）値が１で、かつＭ（ｘ、ｙ）値が０の場合は、Ｍ（ｘ、ｙ）値を１と設定し、かつ（ｘ、ｙ）を開始点とし、その隣接点に向けて成長プロセスを開始する。ある開始点を、（ｘ₀、ｙ₀）とした場合、下記式（１）さえ満足すれば、該開始点（ｘ₀、ｙ₀）と隣接点（ｘ_i、ｙ_i）を融合すべきと判断する。ここで、ｉは、索引であり、１〜８の自然数である。

ここで、ｄは、予め設定された閾値であり、abc()は、絶対値を表し、R()、G()、B()は、それぞれ、対応する位置の画素のＲ、Ｇ、Ｂチャネル値を表す。ある開始点からの領域成長が完了すると、該開始点に近接しかつ類似の色表現の画素は、マトリックスＭにおいて１と設定される。マトリックスｂにおける全要素への検査が全て完了すると、対象領域決定装置１３は、マトリックスＭを対象領域位置決めの結果として出力する。ここで、値が１の要素に対応する画素で対象領域が構成され、値が０の元素に対応する画素で背景領域が構成される。

前記プロセスは、以下のプログラムの形式で表示することができる。
ステップ１：ｍ*ｎマトリックスＭを構築し、ここで、要素値を０に初期化し、即ち、Ｍ（ｉ、ｊ）＝０
ステップ２：スタックＳを構築し、空スタックに初期化する。
ステップ３：ｘ＝０、ｙ＝０．閾値ｄを設定する。
ステップ４：if(M(x,y)==0 AND b(x,y)==1)
ステップ４．１：M(x,y)=1
ステップ４．２：S.push(x,y)
ステップ４．３：Ｓが空であると、ステップ５に進み、空でないと、(x₀,y₀)=S.pop()
ステップ４．４：Ｍ（ｘ₀、ｙ₀）の対応画素ｂ（ｘ₀、ｙ₀）に対し、その８つの隣接画素ｂ（ｘ_i、ｙ_i）（ｉ＝１,…,８）を考慮する。
ステップ4．４．１：

ステップ4.4.2：：if(Diff＜ｄ AND M(x_i,y_i)==0)
M(x_i,y_i)=1; S.push(x_i,y_i)
ステップ４．５：ステップ4.3に進む。
ステップ５：ｘ＝ｘ+1
ステップ６：if(x＞＝ｍ)：ｘ＝0,ｙ＝y+1
ステップ７：if(ｙ＞＝ｎ)エスケープし、そうでないと、ステップ４に進む。

図３Ａ、３Ｂは、本発明の実施例における対象領域決定装置による、例示的な画像への対象領域と背景領域の分割を例示的に示した図であり、図３Ａは、例示的な画像を示し、図３Ｂは、図３Ａの例示的な画像への対象領域と背景領域の分割結果を示す。図３Ａにおける矩形フレーム内の部分が集光位置で、図３Ｂにおける白い部分が背景領域で、黒い部分が対象領域である。

輝度差演算装置１４は、前記対象領域と前記背景領域との間の輝度差を算出し、前記逆光判断装置１５は、前記対象領域と前記背景領域との間の輝度差が所定閾値または所定値を超えると、前記画像が逆光状態の画像或いは逆光画像と判断し、そうでなければ、前記画像が非逆光状態の画像或いは非逆光画像と判断する。

例示的な実施例への更なる改善として、図１に示されているように、集光位置決め装置１２は、集光位置の決定プロセスの前に、初歩的判断装置２０を用いて明らかに非逆光状態の画像を排除することで、検知速度の高速化を図ることができる。

例えば、初歩的判断装置２０は、画素値取得装置１１により取得された画像における各画素の画素値における輝度値を用いることができ、該画像の輝度ヒストグラムから、前記画像を候補逆光画像または非候補逆光画像に初歩的に判断し、前記画像が候補逆光画像と初歩的に判断されると、該画像を前記集光位置決め装置へ出力し、前記画像が非候補逆光画像と初歩的に判断されると、該画像への処理を終了する。前記初歩的判断装置２０は、複数の既存の逆光状態であるサンプル画像及び既存の非逆光状態であるサンプル画像を用いてトレーニングを行い、分類関数を取得する。

図４は、本発明の実施例における初歩的判断装置の機能概略図であり、破線の左側が、サンプル画像により行うトレーニングプロセスを表し、破線の右側が、処理される画像へのテストプロセスを表す。トレーニングプロセスにおいて、初歩的判断装置２０は、処理２０１に各サンプル画像の輝度値から各画像の輝度ヒストグラムを抽出し、例えば、可能な輝度値範囲は、０〜１０２０であり、１６個の輝度レベルに量子化する。輝度ヒストグラムにおける１６個の輝度レベルにそれぞれ対応する画素数の初期値は、０とする。各画像画素については、その輝度値は１６個の輝度レベルのいずれか一つに入ることになる。この場合、該輝度レベルに対応する画素数は、１加算される。画像における各画素への走査により、該画像における全ての画素から最終的に抽出した輝度ヒストグラムが得られ、該画像の特徴として用いることができる。

図５Ａ、５Ｂは、逆光状態の画像の輝度ヒストグラムの例を示した図ある。図６Ａ、６Ｂは、非逆光状態の画像の輝度ヒストグラムの例を示した図ある。各輝度ヒストグラムにおいて、横軸が輝度レベルを示し、縦軸が１つの例示的画像における各輝度レベルに対応する画素数を示し、各ヒストグラムは、単なる例として示される。図５Ａ、５Ｂから分かるように、逆光画像の場合、その輝度ヒストグラムは、通常、輝度レベルの両端にそれぞれピーク値を有する。また、図６Ａ、６Ｂから分かるように、非逆光画像の場合の輝度ヒストグラムは、前記逆光画像の輝度ヒストグラムの特性を有しない。このため、トレーニング処理２０２において、分類器は、逆光画像と非逆光画像のヒストグラムの相違を学習し、分類判断のための分類関数を形成する。分類器に対してトレーニング処理２０２を行い、分類関数を形成する意図としては、大部分の明らかに非逆光画像の場合を排除し、候補逆光画像を保留して以降の処理を行うためである。本実施例においては、従来の線形カーネルサポートベクトルマシン（ＳＶＭ）技術により分類関数を構築する。ＳＶＭは、従来の演算法であり、非特許文献５（Ｖ．Ｖａｐｎｉｋ，ＴｈｅＮａｔｕｒｅｏｆＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎｇＴｈｅｏｒｙ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，ＮｅｗＹｏｒｋ，１９９５）にその関連記載がある。

テスト処理プロセスにおいて、初歩的判断装置２０は、処理されるテスト画像への処理を行い、処理２１１において、テスト画像の輝度ヒストグラムを抽出し、該画像の特徴とする。初歩的判断処理２１１において、トレーニングにより得られた分類関数を用いて、テスト画像の輝度ヒストグラム特徴への演算を行い、該テスト画像が逆光画像であるか否かを初歩的に判断する。初歩的判断であるため、ここで、逆光画像だと初歩的に判断した画像を候補逆光画像と呼ぶ。非候補逆光画像だと初歩的に判断されると、該テスト画像への処理を終了し、候補逆光画像だと初歩的に判断されると、該テスト画像を集光位置決め装置１２へ転送し、以降の処理を行う。

具体的には、サポートベクトルマシン（ＳＶＭ）方法により、トレーニングプロセスにおいて、既にマークした逆光画像と非逆光画像をそれぞれプラスサンプル（正のサンプル）とマイナスサンプル（負のサンプル）とする。各サンプルについて、特徴ベクトルf_iを抽出し、iはサンプルの索引で、自然数であり、特徴サンプルは、例えば、輝度ヒストグラムである。ｐ個のプラスサンプルとｑ個のマイナスサンプルを用い、総量ｋ＝ｐ+ｑで、ｋ、ｐ、ｑは、自然数であると仮定すると、特徴ベクトル集合F={f_i},i=1…kが得られ、フラグ集合Y={y_i},i=1…kが得られる。ここで、ｙ_ｉは、特徴ベクトルf_iに対応するフラグであり、下記式（２）で定義される。

トレーニング処理２０２の前は、先ず、カーネル関数Ｋを選択する。本実施例においては、下記式（３）で定義される線形カーネルを選択する。

即ち、ｇ、ｈの２つのベクトルに対し、カーネル関数Ｋは、その内積を求める。

トレーニング処理中は、ＳＶＭトレーニング演算法により、特徴ベクトル集合Ｆから、ｎｖ個ベクトルを選出し、サポートベクトル集合V={v_i}を構成し、分類関数の決定に用いる。ここで、iは索引で、i＝１〜ｎｖであり、該演算法により、各ベクトルＶｉに１つの重み付きａｉを割り当てる。

テスト処理プロセスでは、初歩的判断操作２１２において、処理されるテスト画像の特徴ベクトルｖ（ヒストグラム抽出処理２１１で抽出した輝度ヒストグラム）に対し、下記式（４）で定義される分類関数ｆｕｎ（）により判断を行う。

ここで、y_iは、特徴ベクトルＶ_ｉに対応するフラグであり、ｂは、該ＳＶＭトレーニング演算法により算出された定数である。

線形カーネルを用いる場合、前記分類関数は、下記方式で導き出し、下記式（５）が得られる。

ここで、y_i,a_i,v_i,nvともトレーニング中の既知量であるため、

をｗに表示し、ｗは予め演算可能であるため、テスト処理における判断時間に影響を及ぼさない。

処理されるテスト画像の特徴ベクトルｖについて、そのフラグｙ_ｖは、下記式（６）で定義することができる。

分類関数ｆｕｎ（）の特徴ベクトルｖへの演算結果が、０以上であると、特徴ベクトルｖのフラグは、１となり、特徴ベクトルｖに対応するテスト画像をプラスサンプルに分類可能なことを示し、本実施例においては、該画像が候補逆光画像だと初歩的に判断することを表し、以降の一連の判断処理を行うことになる。分類関数ｆｕｎ（）の特徴ベクトルｖへの演算結果が、０未満であると、特徴ベクトルｖのフラグは、０となり、特徴ベクトルｖに対応するテスト画像をマイナスサンプルに分類可能なことを示し、本実施例においては、該画像が非候補逆光画像だと初歩的に判断することを表し、該画像への処理を終了し、以降の一連の判断処理は行わない。

前述のサポートベクトルマシン（ＳＶＭ）方法は、単なる１つの例として、どのようにトレーニングを行い、どのように処理される画像への初歩的な分類への判断を行うかを説明したもので、当業者はその他のマシン学習方法を用いてもよいことを理解することができる。例えば、ｋ−ＮＮ、adaboost等の従来方法により、分類器のトレーニングを行い、逆光画像の初歩的な判断を行ってもよい。

本発明は、さらに、画像における各画素の画素値を取得する画素値取得装置１１による画素値取得ステップと、画像における集光位置を決定する集光位置決め装置１２による集光位置決めステップと、領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、画像を対象領域と背景領域に分ける対象領域決定装置１３による対象領域決定ステップと、前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算装置１４による輝度差演算ステップと、前記輝度差から前記逆光状態の画像を判断する逆光判断装置１５による逆光判断ステップと、を有する、逆光状態の画像を検知する逆光検知方法として実施することができる。

ここで、前記画像は、階層的カラー画像であってもよく、前記画素値は、画素の輝度チャネル値、レッドチャネル値、グリーンチャネル値、ブルーチャネル値を含んでもよい。なお、前記画像は、撮像装置からの最終形成画像よりも解像度の低いモニタ信号画像であってもよい。

前記集光位置決めステップは、画像における顔の有無を判断し、顔ありの場合は、顔領域を検知して集光位置とする顔検知装置１２１による顔検知ステップと、前記顔検知装置による判断結果が顔なしの場合は、自動集光プロセスを実行し、自動集光領域を取得して集光位置とする自動集光装置１２２による自動集光ステップを含む。

前記逆光判断ステップは、前記対象領域と前記背景領域との間の輝度差が所定閾値を超えていると、前記画像が逆光状態である画像と判断する。

本発明の実施例の逆光検知方法は、前記画像の輝度ヒストグラムから、前記画像が候補逆光画像または非候補逆光画像であるかを初歩的に判断する初歩的判断装置２０による初歩的判断ステップがさらに含み、前記画像が候補逆光画像だと初歩的に判断されると、該画像を前記集光位置決めステップへ出力し、前記画像が非候補逆光画像だと初歩的に判断されると、該画像の処理を終了する。

ここで、前記初歩的判断ステップにおいては、複数の既存の逆光状態であるサンプル画像及び既存の非逆光状態であるサンプル画像を用いてトレーニングを行い、分類関数を取得する。

前述の一連の操作は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせにより行うことができる。ソフトウェアにより一連の操作を行う場合は、その中のコンピュータプログラムを、専用のハードウェアを内蔵したコンピュータの記憶装置にインストールし、コンピュータに該コンピュータプログラムを実行させることができる。あるいは、コンピュータプログラムを、多様な種類の処理が実行可能な汎用コンピュータにインストールし、該コンピュータにコンピュータプログラムを実行させることができる。

例えば、コンピュータプログラムを予め記録媒体であるハードディスクやＲＯＭ等に記憶しておいてもよく、一時的に或いはいは永久的にフロッピディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ディスク、半導体メモリ等の移動可能な記録媒体に、コンピュータプログラムを記憶しておいてもよい。このような移動可能な記録媒体は、パッケージソフトウェアとして提供することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。

Claims

逆光状態の画像を検知する逆光検知装置であって、
画像における各画素の画素値を取得する画素値取得装置と、
前記画像における集光位置を決定する集光位置決め装置と、
領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、前記画像を対象領域と背景領域に分ける対象領域決定装置と、
前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算装置と、
前記輝度差から前記逆光状態の画像を判断する逆光判断装置と、
を有する、逆光検知装置。
前記画像は、階層的カラー画像であり、前記画素値は、画素の輝度チャネル値、レッドチャネル値、グリーンチャネル値、ブルーチャネル値を含む、請求項１に記載の逆光検知装置。
前記画像が、撮像装置からの最終形成画像よりも解像度の低い画像である、請求項１に記載の逆光検知装置。
前記集光位置決め装置は、
前記画像における顔の有無を判断し、顔ありの場合は、顔領域を検知して前記集光位置とする顔検知装置と、
前記顔検知装置による判断結果が顔なしの場合は、自動集光プロセスを実行し、自動集光領域を取得して前記集光位置とする自動集光装置と、
を有する、請求項１に記載の逆光検知装置。
前記逆光判断装置は、前記対象領域と前記背景領域との間の輝度差が所定閾値を超えると、前記画像が逆光状態の画像であると判断する、請求項１に記載の逆光検知装置。
前記逆光検知装置は、前記画像の輝度ヒストグラムから、前記画像が候補逆光画像または非候補逆光画像であるかを初歩的に判断する初歩的判断装置をさらに有し、前記画像が候補逆光画像であると初歩的に判断されると、前記画像を前記集光位置決め装置へ出力し、前記画像が非候補逆光画像であると初歩的に判断されると、前記画像への処理を終了する、請求項１に記載の逆光検知装置。
前記初歩的判断装置は、複数の既存の逆光状態であるサンプル画像及び既存の非逆光状態であるサンプル画像を用いてトレーニングを行い、分類関数を取得する、請求項６に記載の逆光検知装置。
逆光状態の画像を検知する逆光検知方法であって、
画像における各画素の画素値を取得する画素値取得ステップと、
前記画像における集光位置を決定する集光位置決めステップと、
領域成長により、前記集光位置から、前記画像の画素値に応じて対象領域を決定し、前記画像を対象領域と背景領域に分ける対象領域決定ステップと、
前記対象領域と前記背景領域との間の輝度差を算出する輝度差演算ステップと、
前記輝度差から前記逆光状態の画像を判断する逆光判断ステップと、を有する、逆光検知方法。
前記集光位置決めステップは、
前記画像における顔の有無を判断し、顔ありの場合は、顔領域を検知して前記集光位置とする顔検知ステップと、
前記顔検知ステップによる判断結果が顔なしの場合は、自動集光プロセスを実行し、自動集光領域を取得して前記集光位置とする自動集光ステップと、
を有する、請求項８に記載の逆光検知方法。
前記逆光検知方法は、前記画像の輝度ヒストグラムから、前記画像が候補逆光画像または非候補逆光画像であるかを初歩的に判断する初歩的判断ステップをさらに有し、前記画像が候補逆光画像であると初歩的に判断されると、前記画像を前記集光位置決めステップへ出力し、前記画像が非候補逆光画像であると初歩的に判断されると、前記画像への処理を終了する、請求項８に記載の逆光検知方法。