JP2007074142A - 撮像装置及びその制御方法、及び画像処理装置及び方法 - Google Patents

Abstract

【課題】 撮像装置で検出した所定の認識対象の検出情報を、その後の画像処理において再利用できるようにすること。
【解決手段】 画像を撮像して該画像の画像信号を出力する撮像部（１０２）と、複数の検出方法を用いて前記画像から被写体を検出する被写体検出部（１０３）と、
前記被写体検出部の検出結果と、該検出結果を得るために使用した検出方法とを前記画像に関連づけて記憶する記憶手段（１０１、１０７、１０８）とを有する。
【選択図】 図１

Description

本発明は、像装置及びその制御方法、及び画像処理装置及び方法に関し、更に詳しくは、撮影した画像から所定の認識対象（被写体）を検出する撮像装置及びその制御方法、及び画像処理装置及び方法に関する。

デジタルカメラやデジタルビデオにおいて、入力画像中の人物や顔といった特定の被写体を検出する手段を有し、検出された被写体に適した撮像処理を行うものが提案されている。

特許文献１には、被写体が人物であることを判断する人物判断手段と被写体までの距離を検出する距離検出手段を備えるカメラが提案されている。このカメラでは、検出した被写体までの距離に基づいて焦点距離と焦点位置と絞りを調節し、人物の顔面全体が被写界深度内にほぼ入るように制御する手段を具備する。

また、特許文献２には、被写体検出処理に常に同じ被写体検出手法を使用するのではなく、撮影モードに応じて被写体検出手法を選択し、精度良く被写体検出をするカメラが提案されている。なお、被写体検出手法としては、非特許文献１にまとめられているように、いくつかの手法が提案されている。

非特許文献２では、色情報、特に肌色情報を使用して顔を検出する手法が提案されている。一般的に肌色情報を使用する手法は、背景に存在する肌色に近い色を持つ領域と顔の領域を区別するのが困難である。

より検出精度の高い方法として、小領域の輝度パターンを使用する手法もあり、例えば、非特許文献３では高速な顔検出方式が提案されている。

ただし、輝度パターンを使用する手法は、色情報を使用する手法と比較すると、検出できるパターンが制限されている。例えば、色情報を使用する手法では、顔が面内に回転しても、顔の位置を検出するのには影響は少ない。また、奥行き方向の回転に関しても、横顔程度であれば検出精度への影響は少ない。これに対し、輝度パターンを使用する手法は、正面向きの顔を検出するように設定されると、面内回転した顔や横顔の検出精度は劣化する。そのため、面内回転した顔を検出するために、通常は、検出に使用される画像を離散的に回転させて検出が行われている。また、奥行き方向に回転して横向きになった顔を検出するためには、通常は、横顔検出手段を別途使用する。例えば、非特許文献４では、正面顔検出器と横顔検出器の２つの検出器の組み合わせが利用されている。

しかしながら、面内回転や奥行き回転に対応するためには、その分処理が増加し、より高性能な演算手段が必要になったり、処理時間がかかることとなる。

このように、デジタルカメラ等の限られた性能の演算手段を使用する場合に、誤検出が少ない高精度な検出処理を、あらゆる方向の被写体に対して高速に行うことは困難であった。

なお、サイズ変動に対しては、一般的には、図１０に示すような、ピラミッド画像と呼ばれる、入力画像を離散的に解像度変換した画像を複数用意し、各解像度の画像に対して検出処理を行うことで対応している。

また、顔検出処理だけではなく、顔画像を使用した個人認識処理手法もいくつか提案されている。一般的な個人認識処理手法は、対象領域を示す特徴ベクトルとあらかじめ登録された人物を示す特徴ベクトルとの類似度を調査するものである。例えば、非特許文献５では、正規直交基底を使用して、次元圧縮をした特徴ベクトルを使用する、個人認識技術が提案されている。

一般的に、個人認識手法は、認識対象の登録者の数が増加すると、各登録者を示す特徴ベクトルを保持するために必要なメモリ量と、認識処理時間が増加する。そのため、デジタルカメラ等の限られたリソースを使用する場合には、登録可能な人数は限定されることになる。

また、画像データをプリントアウトする際に顔検出処理を行い、検出された顔領域の肌色をきれいに出力したり、また赤目を検出して補正して出力するという技術も提案されている。

また、画像の撮影時に検出された被写体検出結果をカメラの制御に使用するだけではなく、プリント時にも使用するプリントシステムが、提案されている。例えば、特許文献３には、画像中の人物座標情報をメモリカードに記録し、プリンタでは、そのメモリカードの人物座標情報に基づいて、所定の位置や大きさになるように、画像を補正するプリントシステムが提案されている。

特許第３１６４６９２号公報 特開２００１−３３０８８２号公報 特開２００４−２０７９８７号公報 "コンピュータによる顔の認識―サーベイ−" 赤松, 電子情報通信学会論文誌D-2 Vol.J80-D-2 No.8 pp.2031-2046 "Skin Color-Based Video Segmentation under Time-Varying Illumination", L. Sigal, S. Sclaroff, V. Athitsos, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 7, pp. 862-877 , July 2004 "Rapid object Detection using a Boosted Cascade of Simple Features", P.Viola, M.Jones, Proc. of IEEE Conf. CVPR,1,pp.511-518,2001 "Face Detection and Tracking in a Video by Propagating Detection Probabilities" R. Verma, C. Schmid, K. Mikolajczyk, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 10, pp.1215- 1228, October 2003 "Face recognition using eigenfaces" M.A.Turk, A.P.Pentland, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991

しかしながら、上記従来例においては、撮像装置で検出した被写体の検出情報を撮像装置内の撮像処理に利用することは提案されているが、撮像が終了し、一旦記憶媒体に記憶された画像に対して行う画像処理において利用されていなかった。

本発明は上記問題点を鑑みてなされたものであり、撮像装置で検出した所定の認識対象の検出情報を、その後の画像処理において再利用できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像を撮像して該画像の画像信号を出力する撮像素子と、複数の検出方法を用いて前記画像から特定の認識対象を検出する検出手段と、前記検出手段の検出結果と、該検出結果を得るために使用した検出方法とを前記画像に関連づけて記憶する記憶手段とを有する。

また、本発明の撮像装置の制御方法は、画像を撮像して該画像の画像信号を出力する撮像ステップと、複数の検出方法を用いて前記画像から特定の認識対象を検出する検出ステップと、前記検出ステップでの検出結果と、該検出結果を得るために使用した検出方法とを前記画像に関連づけて記憶する記憶ステップとを有する。

また、本発明の画像処理装置及び方法は、上記撮像装置及びその制御方法により記憶された画像とその画像の検出結果に基づいて、所定の画像処理を行う。

本発明によれば、撮像装置で検出した所定の認識対象の検出情報を、その後の画像処理において再利用することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
本実施の形態では、撮像装置で撮影された画像をプリントアウトするプリントシステムについて説明する。本第１の実施形態におけるプリントシステムは、撮像装置と、撮像装置からデータを受け取って処理するＰＣなどの情報処理装置（以下、「ＰＣ」と呼ぶ。）と、ＰＣに接続されたプリンタとから構成される。また、撮像装置と、撮像装置と直接データの受け渡しが可能なプリンタとから構成しても良い。なお、各装置間のデータの受け渡しは、メモリカードなどの記録媒体を介して行っても、装置間の有線または無線接続により行っても良い。ただし、以下の説明では、メモリカードを介して行う場合について説明する。

まず、撮像装置について説明する。

図１は本第１の実施形態における撮像装置の構成を示すブロック図である。図１において、１０１は制御部、１０２は撮像部、１０３は被写体検出部、１０４は被写体検出メモリ、１０５は画像変換部、１０６は画像圧縮部、１０７はメモリカードインタフェース（Ｉ／Ｆ）、１０８は記録部となるメモリカードである。また、１１０はシャッタスイッチ、１１１はメモリ、１１２は表示回路、１１３は表示部である。

制御部１０１は、撮像装置全体の制御を行う手段である。制御部１０１には、撮像部１０２、被写体検出部１０３、被写体検出メモリ１０４、画像変換部１０５、画像圧縮部１０６、メモリカードＩ／Ｆ１０７、シャッタスイッチ１１０、メモリ１１１、表示回路１１２が接続されている。そして、制御部１０１は、各部が適切なタイミングで動作するように制御する。

撮像部１０２は、撮像レンズ１２０と、撮像レンズ１２０を通過した被写体光学像をアナログの電気信号に変換する撮像センサ１２１と、変換されたアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換器１２２と、撮像回路１２３とから構成されている。撮像回路１２３は、Ａ／Ｄ変換器１２２によりＡ／Ｄ変換されたデジタル信号に対してホワイトバランス補正やガンマ変換等、所定の処理を行うことで、適切な映像信号を作成する。なお、撮像部１０２は、制御部１０１からの制御信号に基づいて撮像処理を行う。

被写体検出部１０３は、高速検出部１３１と、詳細検出部１３２と、特徴検出部１３３とを含み、被写体検出メモリ１０４に保持されている画像に対して特定パターン（被写体）を検出する検出処理を、複数の手法を用いて行う。なお、本第１の実施形態においては、検出する被写体は顔であるものとし、被写体検出部１０３では顔を検出するものとして説明を行うが、本発明は被写体が顔である場合に限定されるものではない。

高速検出部１３１は、詳細検出部１３２と比較して、処理時間が短いが、検出位置精度が悪いという特性を持ち、また、回転した被写体の検出が可能である（回転ロバスト性が高い）という特性を持ち、詳細検出部１３２よりも優先順位が低いものとする。つまり、検出位置は正解の位置と比較するとズレを生じることもあるが、回転ロバスト性が高く、未検出になることが少ない。この高速検出部１３１で使用するアルゴリズムには、例えば、村瀬, V.V.Vinodによる「局所色情報を用いた高速物体探索−アクティブ探索法」 信学論D-II Vol.J81-D-II No.9 pp.2035-2042, 1998で提示されている手法を採用することができる。この手法では、特徴照合に色ヒストグラムを使用するため、回転に対応することができるが、検出位置が正解位置と異なることがある。このずれ量は、色ヒストグラムを作成する局所領域の大きさに依存する。また、理論的な上限値を用いて探索を省略することにより、高速な検出を実現している。

詳細検出部１３２は、高速検出部１３１と比較して、処理時間が必要だが、検出位置精度が高い反面、正面向きの被写体だけが検出可能である（回転ロバスト性が低い）という特性を持ち、高速検出部１３１よりも優先順位が高いものとする。つまり、面内回転や奥行き回転のある顔は未検出となることが多い。この詳細検出部１３２で使用するアルゴリズムには、例えば、M.Matsugu, K.Mori, et.al,による“Convolutional Spiking Neural Network Model for Robust Face Detection”,2002,Internatinal Conference On Neural Information Processing (ICONIP02) に記述がされている神経回路網を採用することができる。この神経回路網は、並列階層処理により画像認識を行うものである。ここで、図３を使用してこの階層処理アルゴリズムを簡単に説明する。

図３は、局所特徴を階層的に検出し、その検出結果を統合し、次の階層の局所特徴を検出する、という処理を繰り返して、最終的に被写体である顔を検出する動作を、模式的に示すものである。最初にプリミティブな特徴である１次特徴を検出し、その１次特徴の検出結果（検出レベルと位置関係）を用いて２次特徴を検出する。そして、２次特徴の検出結果を用いて３次特徴を検出し、最後にその３次特徴の検出結果を用いて４次特徴である顔を検出する。

図３（ａ）に検出すべき１次特徴の例を示す。最初に、縦特徴１０１、横特徴１０２、右上がり斜め特徴１０３、右下がり斜め特徴１０４といった特徴を検出する。なお、縦特徴１０１は縦方向の、横特徴１０２は横方向の、また、右上がり斜め特徴１０３は右上がり斜め方向の、右下がり斜め特徴１０４は右下がり斜め方向のエッジセグメントを表す。この１次特徴の検出結果は、各特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。つまり、この例であれば４種類の検出結果画像が得られ、各特徴の検出結果画像の各位置の値から、入力画像の任意の位置に各特徴が存在するか否かを判断することができる。

図３（ｂ）は２次特徴の例を示す。２次特徴の検出では、右空きＶ字特徴２０１、左空きＶ字特徴２０２、水平平行線特徴２０３、垂直平行線特徴２０４を検出する。この際に、右空きＶ字特徴２０１の検出は、右上がり斜め特徴１０３と右下がり斜め特徴１０４の検出結果を利用して行われる。また、左空きＶ字特徴２０２の検出は、右下がり斜め特徴１０４と右上がり斜め特徴１０３の検出結果を利用して行われる。また、水平平行線特徴２０３の検出は横特徴１０２の検出結果を、垂直平行線特徴２０４の検出は縦特徴１０１の検出結果をそれぞれ利用して行われる。

図３（ｃ）は３次特徴の例を示す。３次特徴の検出では、眼特徴３０１、口特徴３０２を検出する。この際に、眼特徴３０１の検出は、右空きＶ字特徴２０１と左空きＶ字特徴２０２と水平平行線特徴２０３と垂直平行線特徴２０４の検出結果を利用して行われる。また、口特徴３０２の検出は、右空きＶ字特徴２０１と左空きＶ字特徴２０２と水平平行線特徴２０３の検出結果を利用して行われる。

図３（ｄ）は４次特徴の例を示す。４次特徴の検出では、顔特徴４０１を検出する。この際に、眼特徴３０１と口特徴３０２の検出結果を利用して検出を行う。

また、詳細検出部１３２のアルゴリズムとして、非特許文献３を使用することも可能である。この手法では、弱判別器と呼ばれる検出器をカスケード接続して検出を行う。一般的に、この弱判別器の数を増加させると検出時間は増加するが、検出精度は向上する。

特徴検出部１３３は、検出された被写体の顔の眼の位置を検出する機能を有する。目の検出手法は特に限定はしないが、例えば、検出された顔の位置に基づいて、顔の上半分の領域を設定し、目（瞳）の検出を行う。瞳の検出には、分離度フィルタ（例えば、「形状抽出とパターン照合の組合せによる顔特徴点抽出」、福井和広、山口修、信学論(D-II), Vol.J80-D-II, No.8,pp.2170-2177, 1997年8月参照）を使用することもできる。また、詳細顔検出手法として、前述の並列階層処理により画像認識を行う神経回路網を使用した場合は、検出された顔の位置と、図３（ｃ）に示した３次特徴の眼特徴３０１の検出結果から、両目の位置を求めることもできる。

被写体検出メモリ１０４は、被写体検出に使用する画像を保持する。

画像変換部１０５は、撮像部１０２で撮像された画像の解像度を変換し、図１０を参照して背景技術で示したようなピラミッド画像（複数の異なる解像度の画像）を作成する。解像度変換して得られた画像は、被写体検出メモリ１０４に保持される。

画像圧縮部１０６は、撮像された画像に対してJPEG等の圧縮処理を行う。なお、圧縮方法はJPEGに限られるものではなく、画像の使用目的や装置の構成に合わせるなど、適宜圧縮方法を選択することができる。

メモリカードＩ／Ｆ１０７は、画像圧縮部１０６で圧縮されたデータを、メモリカード１０８に保持するように制御を行う。メモリカード１０８は、画像圧縮部１０６で圧縮されたデータを保持する。

シャッタスイッチ１１０は、開放状態、半押し状態、全押し状態の３つの状態を持ち、各状態を検出するセンサが内蔵されている。

メモリ１１１は、制御部１０１のためのプログラムや制御に使用されるデータ等を保持する。また、撮像部１０２で撮像した画像を保持する。

表示回路１１２は、所望の画面の表示を行うように表示部１１３を制御する。表示部１１３には、撮像部１０２で撮像した画像、メモリ１１１に保持されている画像、被写体検出部１０３で検出した被写体等、撮像に有用な情報を表示する。

続いて、図２のフローチャートを使用して、本第１の実施形態における撮像処理を説明する。基本的に以下の処理は、制御部１０１によって制御される。

ステップＳ１１では、シャッタスイッチ１１０が半押し状態であるか否かを判定し、半押し状態になると、ステップＳ１２に進む。

ステップＳ１２では、予め決められた第１の露出条件（絞り値、露出時間）及びフォーカス位置となるように撮像部１０２を制御した状態で、第１の画像を撮影する。

ステップＳ１３では、ステップＳ１２で得られた第１の画像の画像信号の内、デフォルトとして設定された特定領域から得られる画像信号を基に、第２の露出条件及びフォーカス位置を決定する。

ステップＳ１４では、ステップＳ１３で決定された第２の露出条件及びフォーカス位置となるように撮像部１０２を制御した状態で、第２の画像を撮影する。撮影された第２の画像は、画像変換部１０５で上述したように解像度変換され、被写体検出メモリ１０４に保持される。

次に、ステップＳ１５では、高速検出部１３１で使用するパラメータが設定されているかを判定する。このパラメータとは、前述の「局所色情報を用いた高速物体探索−アクティブ探索法」で提示されているアルゴリズムを使用する場合は、検出対象の色ヒストグラムとなる。なお、この高速検出部１３１で使用するパラメータは、後述するステップＳ２３において被写体検出部１０３の結果に基づく色ヒストグラムにて設定される。つまり、過去にステップＳ１９で被写体検出に成功していないと、高速検出部１３１で使用するパラメータが設定されないことになる。このパラメータが設定されていればステップＳ１６に進んで高速検出部１３１において被写体検出を行う。そして、ステップＳ１７において、ステップＳ１６の検出結果に基づいて、詳細検出部１３２で検出処理を行う範囲を限定する。ただし、あらかじめ高速検出部１３１で使用するデフォルトのパラメータを設定しておき、過去に被写体検出が行われていないのであれば、高速検出部１３１でこのデフォルトのパラメータを使用するよう構成してもよい。

一方、ステップＳ１５でパラメータが設定されていなければステップＳ１８に進んで、画像中心から所定の範囲のデフォルトの領域を、詳細検出部１３２で検出処理を行う範囲として設定する。

ステップＳ１９では、ステップＳ１７またはステップＳ１８で設定された領域に対して、詳細検出部１３２で被写体検出を行う。ステップＳ２０では、ステップＳ１９で被写体が検出されたかを判定する。被写体が検出されていればステップＳ２１に、検出されていなければ直接ステップＳ２２に進む。

ステップＳ２１では、詳細検出部１３２で検出された顔の中の目特徴を、特徴検出部１３３で検出する。

ステップＳ２２では、ステップＳ２０で顔が検出されていると判定された場合は、詳細検出部１３２で検出された顔領域に基づいて測光領域に重み付けを行い、更に、ステップＳ２１で検出された両目の領域を中心とした領域を焦点調節領域として設定する。一方、ステップＳ１９で顔が検出されていないと判定された場合は、高速検出部１３１で検出された顔領域に基づいて測光領域に重み付けを行い、またその顔領域を焦点調節領域として設定する。なお、ステップＳ１９で顔が検出されていないと判定され、かつステップ１５の分岐により高速検出処理を行わない場合は、ステップＳ１３で使用したデフォルトの特定領域を焦点調節領域として設定する。

ステップＳ２３では、ステップＳ２０で顔が検出されていると判定された場合は、詳細検出部１３２で検出された顔領域に基づいて、また、顔が検出されていないと判定された場合は、高速検出部１３１で検出された顔領域に基づいて、色ヒストグラムを作成する。そして、作成した色ヒストグラムを高速検出パラメータとして更新する。このように、高速検出部１３１で使用されるパラメータを更新することにより、検出精度が向上する。なお、ステップＳ１９で顔が検出されていないと判定され、かつステップ１５の分岐により高速検出処理を行わない場合は、高速検出パラメータの設定は行われない。

ステップＳ２４では、シャッタスイッチ１１０が全押し状態か否かを判定する。全押し状態ではなく（ステップＳ２４でＮＯ）、半押し状態である場合は（ステップＳ２５でＹＥＳ）、ステップＳ２３に戻る。半押し状態も解除されていれば（ステップＳ２５でＮＯ）、この処理を終了する。シャッタスイッチ１１０が全押し状態である場合は（ステップＳ２４でＹＥＳ）、ステップＳ２６に進む。

ステップＳ２６では、最新の測光領域が最適な輝度となるように、また最新の焦点調節領域に焦点が合うように、撮像部１０２を制御し、撮像を行い、得られた画像をメモリ１１１に保持する。そして、画像圧縮部１０６で圧縮符号化し、メモリカードＩ／Ｆ１０７を介して、メモリカード１０８に書き込む。また、同時に、その画像と関連付けて、検出被写体個数、被写体検出手法、検出被写体座標、特徴検出手法、検出特徴個数、検出特徴座標から構成される６種類の検出情報を保存する。

検出被写体個数は、ステップＳ２６で記録された画像中の被写体の個数で、ステップＳ１６で検出された被写体の個数である。

被写体検出手法は、被写体が高速検出手法（高速検出部１３１）と詳細検出手法（詳細検出部１３２）のどちらで検出されたかを示す。なお、ステップＳ１６で検出された被写体が、ステップＳ１９でも検出されれば詳細検出手法となり、ステップＳ１９で検出されなければ、高速検出手法となる。

検出被写体座標は、被写体の画像中の座標を示す。詳細検出手法で検出された被写体は、詳細検出手法で検出された座標に、高速検出手法で検出された被写体は、高速検出手法で検出された座標になる。

特徴検出手法は、ステップＳ２１で特徴検出部１３３により実際に検出がされれば「実行」に、検出処理がされなければ「未実行」となる。

検出特徴個数は、ステップＳ２１で検出された特徴の個数を示す。

検出特徴座標は、ステップＳ２１で検出された特徴の画像中の座標を示す。実際の検出で求めた座標になる。

図４に、２人の被写体を撮影して記録した場合の、画像と検出情報の一例を示す。

図４（ａ）の画像中の被写体４０１の顔は正面向きであるので、ステップＳ１６で高速検出部１３１により顔が検出された後、ステップＳ１９で詳細検出部１３２により詳細な位置座標が検出される。そして、ステップＳ２１で特徴検出部１３３により両目が検出される。また、被写体４０２の顔は面内回転があるので、ステップＳ１６で高速検出部１３１により顔が検出されるが、ステップＳ１９の詳細検出部１３２による詳細検出処理では未検出となる。この場合、検出情報は図４（ｂ）に示すようになる。

次に、撮像装置で上記処理を行って得られる画像及び検出情報を用いたプリントアウト時の制御について、図５のフローチャートを参照して説明する。なお、この処理で行われる画像処理は、プリントシステムを構成するどの装置で実行するようにしても構わない。ただし、以下の説明では、プリントシステムが撮像装置、ＰＣ、プリンタから構成されることを想定し、画像処理はメモリカード１０８に記録された情報をＰＣで読み取って実行するものとする。

まず、ステップＳ５１で、プリントする画像とその画像の検出情報を、メモリカード１０８から読み出す。次に、ステップＳ５２において、読み出した画像内で被写体が検出されているか、即ち、検出被写体個数が０かどうかを判定する。検出被写体個数が０であれば、ステップＳ５９に進んで従来の方式による画像補正処理を行う。

一方、検出被写体個数が０でなければステップＳ５３に進む。ステップＳ５３において、画像内で検出された１つの被写体について、その被写体検出手法を判定する。詳細検出であればステップＳ５８に進み、高速検出であればステップＳ５４に進む。

ステップＳ５４では、高速検出されている領域に対して、全ての回転に対応した詳細検出を行う。ステップＳ５５では、ステップＳ５４で検出された顔領域に対して、特徴の検出を行う。上記ステップＳ５３からステップＳ５５の処理は、検出された画像内の全被写体に対して（ステップＳ５６でＹＥＳとなるまで）順に行う。

ステップＳ５７では、ステップＳ５４及びステップＳ５５で検出された情報に基づいて、その画像の検出情報を更新する。

ステップＳ５８では、検出情報に基づいて、画像中の顔の肌色がきれいに見えるように補正し、また、両目が赤目が否かを判定し、赤目であれば補正する処理を行う。

ステップＳ６０では、ステップＳ５８または５９で補正された画像を、プリンタによりプリントアウトする。

このように、本第１の実施形態によれば、撮影時に行われた被写体検出結果を画像に関連づけて保存しておくことで、プリント時の処理を軽減することが可能になる。特に、被写体の検出結果だけでなく、検出処理に付帯する情報（第１の実施形態の例では被写体検出手法及び特徴検出手法）も検出情報として記録しておくため、後のプリント処理において、必要な検出処理だけを行うことが可能になる。

なお、本第１の実施形態では、撮像装置の詳細検出部１３２による詳細検出は、正面向きの顔のみが検出可能として説明したが、本発明は詳細検出部１３２の対応角度が正面のみである場合に限定されるものではない。例えば、正面に対して90度、180度、270度回転した顔を検出するように設定したり、360度対応するようにしてもよい。例えば、検出情報に、「詳細検出検出可能角度」という項を設け、そこに詳細検出手法が対応している角度を示すようにし、プリンタ側で認識するようにしても良い。

なお、上記第１の実施形態ではプリントシステムについて説明したが、本発明はプリントシステムに限るものではなく、プリントを行わない場合でも、撮像装置により撮影された画像を処理する画像処理装置に適用することが可能である。例えば、撮影された画像を表示装置に表示する際に、検出情報を利用して、被写体が表示に適した明るさや色となるように補正するようにすることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、撮像装置で撮影された画像から検出した被写体を分類する場合について説明する。

まず、撮像装置について説明する。

図６は、本第２の実施形態における撮像装置の構成を示すブロック図である。図６において、図１と同様の構成には同じ参照番号を付し、説明を省略する。図１に示す構成と比較して、被写体検出認識部２０３、個人認識パラメータ保持部２４１が異なる。被写体検出認識部２０３は、高速検出部１３１、詳細検出部１３２、特徴検出部１３３に加えて、個人認識部２４２を更に有する。

個人認識パラメータ保持部２４１は、個人認識部２４２で使用するパラメータを保持する。なお、個人認識パラメータとは、背景技術で説明した、各登録者を示す特徴ベクトル等、個人認識処理で使用するパラメータのことである。前述の通り、登録者の数が増加すると、各登録者を示す特徴ベクトルを保持するために必要なメモリ量と、認識処理時間が増加する。そのため、デジタルカメラ等で限られたリソースを使用する場合には、多人数の登録は困難であるため、限定された人のみを認識することになる。

個人認識部２４２は、被写体検出認識部２０３で検出された被写体を認識する。認識手法は特に限定はしないが、背景技術で説明した、Eigenface と呼ばれる手法を使用することも可能である。その場合は、個人認識パラメータ保持部２４１で保持するパラメータは、平均顔と固有顔、及び各登録者毎に得られた特徴ベクトルである。個人認識部２４２は、被写体検出部認識で検出された両目座標に基づいて、顔領域に対し、回転、サイズの正規化及びヒストグラム補正等による輝度補正を行い、正規化顔画像を得る。そして、その正規化顔画像に対して、平均顔と固有顔から、その正規化画像の特徴ベクトルを得る。そして、個人認識パラメータ保持部２４１に保持されている、各登録者を示す特徴ベクトルと得られた正規化画像の特徴ベクトルの類似度を調査し、類似度が最も近く、かつある閾値を超えた場合に、被写体をその登録者とするように動作する。

続いて、図７のフローチャートを使用して、本第２の実施形態における撮像処理を説明する。基本的に以下の処理は、制御部２０１によって制御される。

ステップＳ１１〜Ｓ２１までの処理は、図２を参照して上記第１の実施形態で説明した処理と同様であるので、説明を省略する。

ステップＳ２１において、特徴検出部１３３による顔の中の目特徴の検出処理を行い、ステップＳ３１において、両目特徴が検出されたかを判定する。両目特徴が検出されていればステップＳ３２に進み、検出されていなければＳ３３に進む。

ステップＳ３２では、ステップＳ２１の特徴の検出結果に基づいて、個人認識部２４２で認識処理を行う。

ステップＳ３３では、ステップＳ３２が実行され、登録された被写体が認識されている場合は、認識した被写体の顔領域に基づいて測光領域に重み付けを行い、更に、認識した被写体の両目の領域を中心とした領域を焦点調節領域として設定する。また、登録被写体は認識されなかったが、ステップＳ２１で両目特徴が検出されている場合は、詳細検出部１３２により検出された顔領域に基づいて測光領域に重み付けを行い、更に、検出された両目の領域を中心とした領域を焦点調節領域として設定する。一方、ステップＳ２１で両目特徴が検出されなかった場合は、高速検出手法で検出された顔領域に基づいて測光領域に重み付けを行い、またその顔領域を焦点調節領域として設定する。なお、ステップＳ１５で高速検出高速検出部１３１で使用するパラメータが設定されていないと判定され、高速検出処理を行わない場合は、ステップＳ１３で使用したデフォルトの特定領域を焦点調節領域として設定する。

ステップＳ２４では、シャッタスイッチ１１０が全押し状態か否かを判定する。全押し状態ではなく（ステップＳ２４でＮＯ）、半押し状態である場合は（ステップＳ２５でＹＥＳ）、ステップＳ２３に戻る。半押し状態も解除されていれば（ステップＳ２５でＮＯ）、この処理を終了する。シャッタスイッチ１１０が全押し状態である場合は（ステップＳ２４でＹＥＳ）、ステップＳ２６に進む。

ステップＳ２６では、最新の測光領域が最適な輝度となるように、また最新の焦点調節領域に焦点が合うように、撮像部１０２を制御し、撮像を行い、得られた画像をメモリ１１１に保持する。そして、画像圧縮部１０６で圧縮符号化し、メモリカードＩ／Ｆ１０７を介して、メモリカード１０８に書き込む。また、同時に、その画像と関連付けて、検出認識情報を保存する。この検出認識情報は、検出被写体個数、被写体検出手法、検出被写体座標、認識個数、認識処理手法、認識結果、認識パラメータＩＤを含む。

検出被写体個数は、被写体検出手法、検出被写体座標は、上記第１の実施形態で説明したものと同様である。

認識個数は、ステップＳ３２で認識された被写体の個数を示す。

認識処理手法は、実際に認識処理が行われれば「実行」、行わなければ「未実行」となる。

認識結果は、認識された結果、つまり個人を示すＩＤを示す。

認識パラメータＩＤは、認識処理に使用したパラメータのバージョンを示すＩＤを示す。このＩＤから、使用した認識パラメータに登録されている個人を調査することができる。

図８に、３人の被写体を撮影して記録した場合の、画像と検出認識情報の一例を示す。

図８（ａ）の画像中の被写体８０１と８０３は、使用している認識パラメータファイルに登録され、被写体８０２は認識パラメータファイルに登録されていないものとする。

被写体８０１、８０２は共に顔が正面向きであるので、ステップＳ１９で詳細検出部１３２により詳細な位置座標が検出され、ステップＳ２１で特徴検出部１３３の特徴検出処理により両目が検出される。そして、ステップＳ３２で個人認識部２４２により認識処理が行われ、被写体８０１は「Aさん」と認識され、被写体８０２は「未登録者」と認識される。また、被写体８０３は、顔が面内回転しているため、ステップＳ２０で、詳細検出処理で未検出となり、認識処理は行われない。この場合、検出認識情報は図８（ｂ）に示すようになる。

次に、撮像装置で上記処理を行って得られる画像及び検出認識情報を用いた画像分類処理について、図９のフローチャートを参照して説明する。なお、この画像分類処理は、上述した撮像装置により得られた画像データ及び検出認証情報を利用可能な装置において行うことが可能である。例えば、撮像装置自身や、撮像装置とデータの受け渡し可能なＰＣ等の情報処理装置（以下、「ＰＣ」と呼ぶ。）で実行可能である。ただし、以下の説明では、撮像装置とＰＣからシステムが構成されることを想定し、画像分類処理はメモリカード１０８に記録された情報をＰＣで読み取って実行するものとする。

ステップＳ９１では、認識対象、つまり登録者を設定する。

ステップＳ９２では、認識する画像とその画像の検出認識情報を、メモリカード１０８から読み出す。次に、ステップＳ９３では、検出認識情報の認識パラメータＩＤから、この画像に対して撮像装置で行われた認識処理の認識対象の中に、ステップＳ９１で設定された認識対象が含まれているかを判定する。含まれていればステップＳ９４に進み、含まれていなければステップＳ９５に進む。

ステップＳ９４では、認識パラメータにステップＳ９１で設定された認識対象が含まれている場合に、検出された全ての被写体に対して認識処理が行われたかを判定する。検出された全ての被写体に対して認識処理が行われていれば、認識パラメータに、ステップＳ９１で設定された認識対象が含まれ、認識処理も行われているため、新たな認識処理は不要となり、ステップＳ１００に進む。認識処理が行われていない被写体が存在していれば、図８の被写体８０３のように、顔が面内回転している等の理由により詳細検出で未検出であった被写体が存在するということであるので、ステップＳ９６に進む。

ステップＳ９５では、認識パラメータにステップＳ９１で設定された認識対象が含まれていない場合に、検出された全ての被写体に対して認識処理が行われたかを判定する。検出された全ての被写体に対して認識処理が行われていれば、認識パラメータに、ステップＳ９１で設定された認識対象が含まれていないため、認識に失敗したと考えれる。そこで、認識処理をやり直すためにステップＳ９８に進む。認識処理が行われていない被写体が存在していれば、図８の被写体８０３のように、顔が面内回転している等の理由により詳細検出で未検出になった被写体が存在するということであるので、ステップＳ９６に進む。

ステップＳ９６では、高速検出されている領域に対して、全ての回転に対応した詳細検出を行う。ステップＳ９７では、ステップＳ９６で検出された顔領域に対して、特徴の検出を行う。

ステップＳ９８では、認識処理を行う。ステップＳ９６で高速検出されている領域に対して全ての回転に対応した詳細検出を行ったため、このステップでは顔が面内回転している被写体８０３に対しても認識処理を行うことができる。また、メモリカード１０８に、撮像装置の個人認識部２４２に比較して、より多く表情や顔の向きに応じた特徴ベクトルを記憶させておけば、ステップＳ３２で認識に失敗した被写体でもこのステップＳ９８で認識に成功する場合がある。更に、撮像装置の個人認識部２４２に登録されていない人物の特徴ベクトルをメモリカード１０８に保持させておけば、このステップにて新たな被写体の認識に成功することが考えられる。例えば、撮像装置の個人認識部２４２には被写体８０２の特徴ベクトルは保持されていなかったが、メモリカード１０８に被写体８０２の特徴ベクトルが保持されていれば、このステップで被写体８０２の認識に成功することになる。ただし、検出認識情報から被写体８０１は認識されたことがわかるため、このステップでは改めて被写体８０１の認識処理は行わない。

ステップＳ９９では、ステップＳ９６及びステップＳ９７で検出された情報、ステップＳ９８で認識された情報に基づいて、検出認識情報を更新する。

ステップＳ１００では、検出認識情報に基づいて、画像を分類する処理が行われる。

このように、検出を失敗したり、撮像装置で使用した認識パラメータが所望の登録者に対応していないときのみ、検出処理や認識処理を行うことで、画像分類処理の処理コストを軽減することができる。

上記説明したように本第２の実施形態では、撮影装置で行われる検出認証処理の結果だけでなく検出認証処理で使用された手法や認識処理が実行されたか否かの情報を、画像と関連付けて保存する。これにより、後の画像分類処理において、必要な検出処理や認識処理だけを行うことができる。例えば、撮像装置の認識処理では自分の子供の認識用の認識パラメータを使用して認識処理を行う。そして、画像分類処理の認識では、自分の子供の他に子供の友人も含んだ認識パラメータを使用して認識処理を行う。このようにすることにより、撮像装置における処理では、顔が面内回転している等の理由により詳細検出で未検出となった自分の子供の画像でも、画像分類処理では詳細検出と認識が行える。さらに、撮像装置における処理では、認識対象として設定されていなかった友人の画像でも、画像分類処理では認識が行えることとなる。この認識処理においては、正面向きの自分の子供の認識処理は撮像装置における処理で行われているため、画像分類処理の認識では、顔が面内回転している自分の子供と友人の認識という必要な処理だけを行うことができる。

なお、本実施の形態では、カテゴリ認識を顔に基づく個人認識として説明したが、認識処理のカテゴリは、他にも、例えば、年齢、性別、動作等があり、本実施の形態は個人認識に限定されるものではない。

また、本実施の形態における撮像装置は、例えば、デジタルスチルカメラ、デジタルカメラ、スキャナ等を含むが、これらに限るものではなく、入射する光学像を光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。

＜他の実施形態＞
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図５または図９に示すフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態における撮像装置の概略機能構成を示すブロック図である。 本発明の第１の実施形態における撮像処理を示すフローチャートである。 階層的被写体検出方法を示す模式図である。 本発明の第１の実施形態における画像及び検出情報の一例を示す図である。 本発明の第１の実施形態におけるプリントアウト時の制御を示すフローチャートである。 本発明の第２の実施形態における撮像装置の概略機能構成を示すブロック図である。 本発明の第２の実施形態における撮像処理を示すフローチャートである。 本発明の第２の実施形態における画像及び検出認識情報の一例を示す図である。 本発明の第２の実施形態における画像分類処理を示すフローチャートである。 従来のピラミッド画像を説明する図である。

符号の説明

１０１、２０１ 制御部
１０２ 撮像部
１０３ 被写体検出部
１０４ 被写体検出メモリ
１０５ 画像変換部
１０６ 画像圧縮部
１０７ メモリカードＩ／Ｆ
１０８ メモリカード
１１０ シャッタスイッチ
１１１ メモリ
１１２ 表示回路
１１３ 表示部
１２０ 撮像レンズ
１２１ 撮像センサ
１２２ Ａ／Ｄ変換器
１２３ 撮像回路
１３１ 高速検出部
１３２ 詳細検出部
１３３ 特徴検出部
２４１ 個人認識パラメータ保持部
２４２ 個人認識部
４０１、４０２、８０１、８０２、８０３ 被写体

Claims (16)

1. 画像を撮像して該画像の画像信号を出力する撮像素子と、
   複数の検出方法を用いて前記画像から特定の認識対象を検出する検出手段と、
   前記検出手段の検出結果と、該検出結果を得るために使用した検出方法とを前記画像に関連づけて記憶する記憶手段と
   を有することを特徴とする撮像装置。
2. 前記複数の検出方法は優先順位を有し、前記記憶手段は、優先順位の高い検出方法で得られた検出結果を、優先順位の低い検出方法により得られた検出結果に優先して記憶することを特徴とする請求項１に記載の撮像装置。
3. 前記優先順位の高い検出方法は、前記優先順位の低い検出方法と比較して、位置検出精度が高く、回転ロバスト性は低い特性を有することを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段により検出された特定の認識対象を認識する認識手段を更に有し、
   前記記憶手段は、前記認識手段による認識結果を更に記憶することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 請求項１乃至４のいずれかに記載の撮像装置により記憶された画像とその画像の検出結果に基づいて、所定の画像処理を行う画像処理装置。
6. 前記所定の画像処理は、画像の色及び、または明るさを補正する処理を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記所定の画像処理は、前記画像に含まれる所定の認識対象を分類する処理を含むことを特徴とする請求項５または６に記載の画像処理装置。
8. 画像を撮像して該画像の画像信号を出力する撮像ステップと、
   複数の検出方法を用いて前記画像から特定の認識対象を検出する検出ステップと、
   前記検出ステップでの検出結果と、該検出結果を得るために使用した検出方法とを前記画像に関連づけて記憶する記憶ステップと
   を有することを特徴とする撮像装置の制御方法。
9. 前記複数の検出方法は優先順位を有し、前記記憶ステップでは、優先順位の高い検出方法で得られた検出結果を、優先順位の低い検出方法により得られた検出結果に優先して記憶することを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記優先順位の高い検出方法は、前記優先順位の低い検出方法と比較して、位置検出精度が高く、回転ロバスト性は低い特性を有することを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記検出ステップで検出された特定の認識対象を認識する認識ステップを更に有し、
    前記記憶ステップでは、前記認識ステップの認識結果を更に記憶することを特徴とする請求項８乃至１０のいずれかに記載の撮像装置の制御方法。
12. 請求項８乃至１１のいずれかに記載の制御方法により記憶された画像とその画像の検出結果に基づいて、所定の画像処理を行う画像処理方法。
13. 前記所定の画像処理は、画像の色及び、または明るさを補正する処理を含むことを特徴とする請求項１２に記載の画像処理方法。
14. 前記所定の画像処理は、前記画像に含まれる所定の認識対象を分類する処理を含むことを特徴とする請求項１２または１３に記載の画像処理方法。
15. 請求項１２乃至１４のいずれかに記載の画像処理方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
16. 請求項１５に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。

Images