JP2008148262A - 撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】過去の撮像情報の履歴を通知することで、撮影者の撮像を決定する際の負担を低減する。
【解決手段】被写体候補管理情報を管理する被写体候補情報管理手段と、画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出手段と、被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング手段と、通知手段を備え、被写体候補情報管理手段は、抽出された被写体候補情報を、マッチング手段での判定に従って対応する被写体候補管理情報に累積的に記憶することで被写体候補管理情報として管理し、通知手段は、撮像手段であらたに撮像する画像データに含まれる被写体の被写体候補情報が被写体候補管理情報に含まれるときは、その旨を通知するように構成される。
【選択図】図１

Description

本発明は、撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体に関し、被写体候補の情報履歴を撮影者に提示することによって、撮影者の撮像を決定する際の負担を減少させる撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体に関する。

従来、撮像する画像データから被写体に関する情報を抽出して蓄積し、その蓄積した被写体に関する情報を撮影者に提示する撮像装置及びその制御方法が提案されている。また、撮像した被写体の撮像履歴情報を保持し、その被写体の撮像回数を撮影者に提示する撮像装置及びその制御方法が提案されている。
特開２００６−２９５８８８号公報

しかしながら、従来技術における撮像装置は、被写体の認識を行って撮像回数を記録して表示することであり、認識した被写体の詳細な情報を撮影者が知ることは出来なかった。記録した被写体の情報や画像データの内容などを確かめるためには、撮影者がその都度直接蓄積された画像データを目視することで確認するほかはなく、このことが撮影者の撮像を決定する際の負担となっていた。

したがって、本発明の目的は、過去の被写体の属性情報等の履歴を通知することで、撮影者の撮像を決定する際の負担を低減可能な撮像装置を提供することにある。

上記の目的を達成するため、本発明の実施形態に係る撮像装置は、
画像データを出力する撮像手段と、
被写体候補管理情報を管理する被写体候補情報管理手段と、
前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出手段と、
前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング手段と、
通知手段と、を備え、
前記被写体候補情報管理手段は、抽出された前記被写体候補情報を、前記マッチング手段での判定に従って対応する被写体候補管理情報に累積的に記憶することで前記被写体候補管理情報として管理し、
前記通知手段は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知するように構成されることを特徴とする。

上記の目的を達成するため、本発明の他の実施形態に係る撮像装置の制御方法は、
画像データを出力する撮像手段を備える撮像装置の制御方法であって、
被写体候補情報管理手段により、被写体候補管理情報を管理する被写体候補情報管理工程と、
被写体候補情報抽出手段により、前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
マッチング手段により、前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
通知手段による通知工程と、を備え、
前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知するように構成される、ことを特徴とする。

上記の目的を達成するため、本発明のさらに他の実施形態に係るプログラムは、
画像データを出力する撮像手段を備える撮像装置の制御方法の手順をコンピュータに実行させるためのプログラムであって、
コンピュータに、
被写体候補管理情報を管理する被写体候補情報管理工程と、
前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
通知工程と、を実行させ、
前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知する、コンピュータに実行させる。

上記の目的を達成するため、本発明のさらに他の実施形態に係る記憶媒体は、
画像データを出力する撮像手段を備える撮像装置の制御方法の手順をコンピュータに実行させるためのプログラムを記憶した記憶媒体であって、
コンピュータに、
被写体候補管理情報を管理する被写体候補情報管理工程と、
前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
通知工程と、を実行させ、
前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知する、コンピュータに実行させるためのプログラムを記憶している。

本発明によれば、撮影者が撮像しようとする画像データに含まれる被写体および関連する情報の履歴をより詳しく参照することが可能になり、撮影者の撮像を決定する際の負担を低減することが可能になる。

＜実施形態１＞
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。図１は、本発明の実施形態を適用可能な撮像装置１００の構成を示すブロック図である。図１に示すように、撮像装置１００は、結像光学系１、撮像部２、結像光学系制御部３、撮像制御部４、画像データ記憶部５、画像データ記録部６、被写体候補情報抽出部７、被写体候補情報管理部８、通知部９及び操作部１３を含む。通知部９は後述するように、表示部１０、音響発生部１１及び振動発生部１２が備えられる。

結像光学系１は、ズーム機構を備えた光学レンズで構成される。また結像光学系１は、図示はしないが、パン及びティルト軸方向の駆動機構を備える。撮像部２は、図示はしないが、画像センサ、センサ信号処理回路、センサ駆動回路等を含む映像入力ユニットとして構成される。画像センサとしては、ＣＣＤまたはＣＭＯＳ等の半導体イメージセンサが用いられる。映像入力ユニットとしては、不図示のセンサ駆動回路からの読み出し制御信号により所定の画像データ（例えば、サブサンプリング、ブロック読み出し、さらにはＡＤ変換して得られる信号）が出力されるものとする。

撮像制御部４は、操作部１３から入力される撮影者からの指示（画角調整指示、シャッタ押下等）、結像光学系制御部３および通知部９からの情報を基に、撮像部２のセンサ駆動回路に対する読み出し制御信号を出力し、撮像動作を制御する。

結像光学系制御部３は、撮影者からの指示や、後述する撮像制御部４からの情報に基づき、結像光学系１のズーム機構又は結像光学系１に含まれる駆動装置のパン及びティルト軸方向の駆動制御を行う。

画像データ記憶部５は半導体メモリ等で構成され、撮像部２から転送された画像データを一時的に保持し、画像データ記録部６、被写体候補情報抽出部７、通知部９、操作部１３等からの要求に応じて、所定のタイミングで画像データを出力する。

画像データ記録部６は、画像データ記憶部５に一時的に保持された画像データおよび被写体候補情報管理部８で管理される被写体候補管理情報を取り外し可能な記憶媒体に記録する。画像データ記憶部５で一時的に保持された画像データはまだ、撮像された画像データではなく、最終的に画像データを画像データ記録部６で記録することで撮像動作は完了する。画像データ記憶部５は、画像データ記録部６で記録された画像データおよび被写体候補情報管理部８で管理される被写体候補管理情報を読み出すことができる。

被写体候補情報抽出部７は、撮像部２からの画像データに含まれる被写体から、後述する被写体候補の抽出処理を行い、さらにその被写体候補の被写体候補情報を出力する。被写体候補情報には、カテゴリ情報と、その属性情報が含まれる。被写体候補情報抽出部７は、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵ等）内部において実行されるプログラムとして存在する。また、予め又は所定の手順に従って登録することにより、被写体の特定のカテゴリを抽出するプログラムモジュールを複数備え、プログラムモジュールをダイナミックにロードし、実行して被写体候補情報を抽出するような構成にすることも可能である。

被写体候補情報管理部８は、半導体メモリ等による記憶部と、記憶された情報を操作・管理する専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）内部において実行されるプログラムによって構成することができる。被写体候補情報管理部８は、被写体候補情報抽出部７で抽出された被写体候補の被写体候補情報を累積的に蓄積し、被写体候補管理情報として管理する。また管理されている被写体候補管理情報を通知部９の要求にしたがって、所定の通知形式である表示形式で通知部９に出力することができる。当然にして、被写体候補管理情報も複数の被写体候補のカテゴリ情報およびその属性情報が含まれる。

通知部９は、予め定めた通知形式で、被写体候補情報管理部８で管理される被写体候補管理情報を、撮影者に通知するためのものである。典型的には、液晶モニタなどの表示部１０を含む。別の通知形式として、電子式ファインダ（ＥＶＦ）のような構成をとっても良い。また、撮影者が撮像モード等の選択を行うための操作部１３と連動してメニュー表示を行う別の表示部を備えてもよい。通知部９に含まれる表示部１０には、例えば、撮像部２から出力される画像データに、被写体候補情報抽出部７および被写体候補情報管理部８の被写体候補情報、被写体候補管理情報が、その被写体候補の近傍、若しくは重畳されて表示される。典型的には、被写体候補情報抽出部７からの被写体候補情報として、被写体候補の位置、大きさ等の情報をマーカ表示し、被写体候補情報管理部８で管理する被写体候補管理情報として被写体候補の複数の状態のおける撮像回数の表示等が行われる。また、別の形態として、音響発生部１１の音声スピーカーから電子音、または音声によって撮影者に被写体候補情報や被写体候補管理情報に含まれる撮像回数を提示する構成も考えられる。さらに別の形態として、撮像装置１００本体の一部、例えばグリップ部などを振動発生部１２で振動させることによって、撮像しようとする画像データに含まれる被写体候補の被写体候補情報や被写体候補管理情報を提示する構成も可能である。通知部９は、通知形式を指定する指定手段として、撮影者が操作部１３を操作して各種の通知形式及びその内容を指定することが可能である。

図２は、本実施形態１に係る撮像装置１００の処理のフローチャート図の一例を表したものである。図２を参照しながら、この撮像装置１００が被写体候補の被写体候補管理情報としてその履歴の情報を通知する際に実行される処理について説明する。なおこの処理は、撮影者が操作部１３のシャッタを押したタイミングでなされても良いし、撮像装置１００が動作している間、継続的に行われていても良い。

始めに、処理の開始後のステップＳ２００において、被写体候補情報管理部８が、結像光学系の焦点距離、画角、歪み係数、パン及びティルト方向、さらには撮像モードなどのカメラパラメータを撮像制御部４あるいは結像光学系制御部３から取得する。続いて、ステップＳ２０１において、撮像部２による撮像と画像データ記憶部５による画像データの一時記憶が行われる。ステップＳ２０１において画像データ記憶部５に蓄えられた画像データは、ステップＳ２０２に示すように被写体候補情報抽出部７に供給されて被写体候補情報抽出処理が実行される。

次に、ステップＳ２０２での被写体候補情報抽出処理から出力されたカテゴリ情報およびその属性情報を含む被写体候補情報のデータが、ステップＳ２０３で、被写体候補情報管理処理による管理のための処理が成される。このステップＳ２０３における被写体候補情報管理処理での処理は、被写体候補情報管理部８により実行されるもので、後に改めて詳しく説明する。ステップＳ２０４では、全ての被写体候補について被写体候補情報管理処理が終了したかを調べる。全ての被写体候補について被写体候補情報管理処理が終了していない場合は、ステップＳ２０３に戻り、この被写体候補情報管理処理を繰り返す。

全ての被写体候補について被写体候補情報管理処理が行われたならばステップＳ２０５に進み、所定の条件判定が行われる。ここで所定の条件を満たす場合には、ステップＳ２０６に進み、撮影者に後述の通知処理が行われて処理を終了する。ここで、所定の条件とは、例えば撮影者が撮像装置１００を操作することによって、被写体候補管理情報の提示要求をした場合など、主に操作部１３から入力される操作等の外部的な条件である。また、その他被写体候補管理情報が所定の条件、例えば笑っている顔の撮像回数がある値を超えた、など自動若しくは予め設定しておいた条件に達した等の内部的な条件でもよい。この所定の条件については、後にさらに具体的に説明する。

次に、図２で示したステップＳ２０２の被写体候補情報抽出処理の内容について詳しく説明する。この処理は、被写体候補情報抽出部７で実行される処理である。図３は、この被写体候補情報抽出処理のフローチャート図を表した一例である。まずステップＳ３１０において後述するフレームバッファ７１は、画像データ記憶部５から画像データを読み出す。続いてステップＳ３１１に進み、読み出した画像データに対して、後述の特徴抽出部７２で特徴抽出処理が行われる。そしてステップＳ３１２では、モデルデータ記憶部７３に予め登録された被写体の特定のカテゴリのモデルデータを読み出す。そしてステップＳ３１３では、ステップＳ３１１で得られた画像データの特徴データと、ステップＳ３１２で読み出されたモデルデータとのマッチング処理（例えば、類似度算出）が行われる。当然にしてモデルデータは被写体候補としてのカテゴリ情報と属性記憶部７５に記憶されたその属性情報を含む。

このマッチング処理を繰り返し行い、ステップＳ３１４の判断で登録済みの全モデルデータとのマッチング処理が完了したら、ステップＳ３１５に進む。ステップＳ３１３のマッチング処理においては、例えば、全モデルデータとのマッチング処理を行った中で、類似度が最も高く、かつ所定の閾値より高いものがあれば、そのモデルデータに対応する被写体候補が画像データ中に検出されたと判定する。したがってこのマッチング処理の結果から、被写体候補の属するカテゴリが分かる。続いて、ステップＳ３１５では、検出された被写体候補の属するカテゴリに応じた検出すべき属性を選択する。ここで選択される属性は複数であっても良く、そしてステップＳ３１６で、選択された全ての属性情報について、属性検出部７６で属性検出処理が行われる。このようにして、画像データに含まれる被写体の被写体候補情報としてカテゴリ情報およびその属性情報が抽出される。

さらに、この被写体候補情報抽出部７で実行される被写体候補情報抽出処理について、図４を参照して詳しく説明する。図４は、撮像装置１００の被写体候補情報抽出部７の主な構成要素を表したブロック図である。フレームバッファ７１は、画像データ記憶部５から読み出された画像データを時系列に保持する。特徴抽出部７２は、読み出された画像データ中の各場所（サンプリング点）において、幾何学的特徴またはその他の特徴（色、輝度分布、高次局所自己相関、主成分分析や独立成分分析などによって得られる所定の特徴ベクトルデータ等）を抽出する。また、これらの特徴量を時系列データとして抽出し、新たな特徴量としても良い。被写体候補となる特定カテゴリの物体に関するモデルデータ（自動車、人物、建築物など）は、モデルデータ記憶部７３に格納されている。特徴抽出部７２から取得した特徴量と、モデルデータ記憶部７３から読み出されたモデルデータの特徴量とのマッチング処理（類似度算出など）をマッチング処理部７４で行う。ここで、検出される特定カテゴリの大きさ等の属性は可変としてもよい。即ち、カテゴリの種類としては、例えば人物、車、建築物等のような大分類から、人物の中での老若男女に類する中程度の分類クラス、更には特定人物レベルまでの細分化したクラスを用意する。

マッチング処理部７４で行う処理としては、例えば特開平９−１３０７１４号公報に記載の画像情報抽出装置で用いる方法を利用することが出来る。この画像情報抽出装置では、被写体距離に応じたテンプレートモデル画像を生成し、それを用いて画面内を走査しながら、各場所で正規化相関係数などを計算することにより画像データの局所部分とモデルデータとの類似度分布を算出する。特許３０７８１６６号公報に記載の局所的特徴の空間配置関係に基づくアルゴリズムや、特開２００２−８０３２号公報に記載の畳み込み神経回路網をベースにしたアルゴリズムなどを用いても良い。一般的には類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。

なお、本実施形態で行われるマッチング処理部７４の処理は、上記処理方法に限られるものではなく、公知の方法を適宜利用可能であることは言うまでもない。

属性記憶部７５には、マッチング処理部７４によって決定された被写体候補の属するカテゴリに対応付けられた属性が記憶されており、属性検出部７６で検出する。例えば、被写体候補が人物であった場合には、検出する属性として身長、性別、年齢、顔、表情、視線方向、髪型等が記憶されている。また、被写体候補が自動車の場合には、大きさ、色、車種、ナンバープレート、乗車人数等が、テーブルとして属性記憶部７５に保持されている。また属性として、被写体候補の動き情報による属性、即ち人物の場合は動作、自動車の場合は速度等であっても良い。

属性検出部７６では、属性記憶部７５から読み出した検出すべき属性を被写体候補情報から検出する処理が行われる。例えば、被写体候補が人物だとして上述のように属性記憶部７５から読み出された属性、即ち、身長、性別、年齢、顔、表情、視線方向、髪型等の検出が行われる。これらの属性の検出には、それぞれ公知の画像認識技術を用いればよい。例えば、マッチング処理部７４で行った処理と同様の処理を行っても良い。この場合、モデルデータ記憶部７３には、カテゴリの属性について、更に細分化された形で記憶されていることが望ましい。

ここで、被写体候補が人物の顔であった場合には、モデルデータとして例えば顔の向き（パン方向、ティルト方向、ロール方向）、大きさ、年齢、表情等に細分化されている。例えば、顔の大きさを検出したい場合には、様々な大きさの顔のモデルデータとのマッチング処理を行って、最も類似度が高いモデルデータの値を、その顔の大きさとすればよい。また、類似度に比例した重み付き平均をとっても良い。以上のようにすることで、精度良く顔の大きさを検出することが可能になる。

動き情報を用いた人物の状態検出には、例えば特開２００５−１８６５５号公報又は特開２００５−１８６５６号公報に開示されているような、人物の行動および状態推定の方法を用いることが出来る。なお、マッチング処理等の処理の具体的な手法は、上述のように公知の画像認識技術を用いればよく、特定の手法に限定されるものではない。

次に、図２のステップＳ２０３で説明した、被写体候補情報管理部８により実行される被写体候補情報管理処理について説明する。図５は、被写体候補情報管理処理のフローチャート図である。まずステップＳ５２０において、被写体候補情報抽出部７で抽出された被写体候補情報を取得する。ここで、被写体候補情報には、カメラパラメータが含まれていても良い。カメラパラメータとは、結像光学系の焦点距離や、結像光学系制御部３の制御パラメータ、撮像制御部４の制御パラメータ、撮像済み情報等である。撮像制御部４の制御パラメータは、典型的には、撮像モード（風景モード、ポートレートモード、マクロモード）や、自動露出制御（ＡＥ）、自動焦点制御（ＡＦ）のパラメータ等である。また、撮像された時刻が含まれていても良い。

次にステップＳ５２１に進み、取得した被写体候補情報から属性情報を読み出す。続いてステップＳ５２２では、読み出した被写体候補情報の属性及びその履歴を管理する属性管理情報を生成する。この属性管理情報及びその生成処理については、後に詳しく説明する。そして、ステップＳ５２３では、被写体候補情報管理部８にすでに登録されている被写体候補管理情報のなかに、あらたに登録する被写体候補情報に対応する情報があるかを、マッチング処理で調べる。もし既に登録されていれば、その対応する被写体候補管理情報にあらたに登録する被写体候補情報をステップＳ５２４で累積的に追加記憶する。なければ、あらたな被写体候補管理情報として被写体候補情報管理部８に記憶し、管理することとなる。

以上の被写体候補情報管理処理について、さらに図６を参照して詳しく説明する。図６は、図１における被写体候補情報管理部８の主な構成要素を表したブロック図である。被写体候補情報バッファ８１は、被写体候補情報抽出部７の出力する被写体候補情報を時系列に保持するためのバッファである。属性管理情報生成部８２は、被写体候補情報およびその属性を管理するための属性管理情報を生成する。例えば、被写体候補情報を検索するための索引生成処理等である。マッチング処理部８３は、すでに被写体管理情報記憶部８４に登録されている被写体候補管理情報のなかに、あらたに登録する被写体候補情報に対応する情報があるかを、マッチング処理で調べる。もし既に登録されていれば、その対応する被写体候補管理情報にあらたに登録する被写体候補情報を累積的に追加記憶する。なければ、あらたな被写体候補管理情報として被写体管理情報記憶部８４に記憶し、管理することとなる。

被写体管理情報記憶部８４は、典型的には半導体メモリなどで構成され、属性管理情報生成部８２によって生成された属性管理情報を含む被写体候補管理情報として累積的に記憶する。記憶される際のデータ構造は、例えば木構造やハッシュテーブルなどの、高速に挿入可能でかつ高速アクセスも可能な構造が望ましい。

被写体候補情報操作部８５は、図１に示した通知部９からの要求にしたがって、被写体候補管理情報に含まれる被写体候補情報およびその履歴を所定の通知形式に変換した後、通知部９に出力する処理を行う。所定の表示形式に変換する際には被写体候補管理情報に含まれる属性管理情報が用いられる。この通知形式の所定の表示形式への変換処理については、後で詳しく説明する。

図７は、図６の被写体管理情報記憶部８４に格納されている、被写体候補管理情報の一例である。データはテーブル７００としてテーブル形式で格納され、被写体候補の番号、撮像されたフレームの情報、カメラパラメータ、被写体候補のカテゴリ、その識別子、その他属性等が格納されている。

図７のテーブル７００において、被写体候補の番号は蓄積されている全ての被写体候補についてユニークな値が与えられる。フレームＩＤは、撮像された画像データの情報を識別するためのもので、静止画像データの場合は、外部の記録媒体等に記録される際のファイル名に対応させてもよい。動画像データの場合は、同じく外部の記録媒体等に記録されるフレーム番号に対応させても良い。被写体候補が記録されていない場合には、フレームＩＤは空白になる。フレームＩＤに代えて、撮像時刻を記録しても良い。

カテゴリは、図１の被写体候補情報抽出部７で抽出された被写体候補が属するカテゴリについて記録される。識別子は、同じカテゴリに属する被写体候補でその個体を区別するためのものである。例えば人物の場合、個人を特定するラベルである。この識別子は、被写体候補情報管理部８における独自形式でもよいが、例えば撮影者が指定するものを用いても良い。具体的には、人物の場合、撮影者が入力した人物の名前であっても良い。テーブルには、その他身長、顔の大きさ、向き、表情等の被写体候補情報抽出部７による結果が格納されている。図７には示されていないが、被写体候補管理情報のテーブル７００に、属性管理情報生成部８２によって生成された属性管理情報へのメモリアクセスポイントを含めても良い。属性管理情報へのメモリアクセスポイントを含めることで、複数のテーブルが被写体管理情報記憶部８４に存在する場合にも、高速なアクセスが可能になる。

次に、属性管理情報生成部８２によって生成される属性管理情報と、被写体候補情報操作部８５での処理について説明する。後述するように、図１の通知部９は被写体管理情報記憶部８４の被写体候補管理情報のデータを、被写体候補情報操作部８５を介して取得し、撮影者に通知する。この被写体候補情報操作部８５のデータ操作処理を高速かつ効率的に行えるような情報を、属性管理情報生成部８２で予め生成しておく。具体的には、被写体候補管理情報の索引情報の作成等である。図７では、被写体候補番号で整列していたが、例えば属性管理情報生成部８２が、違う項目で整列した場合の情報を予め複数作成しておけばよい。具体的には、ある特定の人物に関するデータだけを抽出しておいて、その属性テーブルを別個に作成しておく等が考えられる。このように、通知部９から被写体候補管理情報の、あるデータを要求された際に、データリストの整列及び抽出処理にかかる時間を省くことが出来る。

図６の被写体候補情報操作部８５は、通知部９の要求にしたがって被写体候補管理情報を操作して抽出したのち、例えば属性についてその一覧をリスト形式として通知部９に出力する。ここで、具体的に被写体候補が複数の人物で、抽出した属性が個人識別情報、姿勢、顔、表情、カメラパラメータである場合について説明する。通知部９から個人別に撮像した表情について被写体候補管理情報のデータの要求がされると、被写体候補情報操作部８５はその要求に基づき、被写体管理情報記憶部８４で記憶されている被写体候補管理情報から必要なデータを取得する。問い合わせの際には、人物の識別情報をキーにして前述の属性管理情報生成部８２によって作成された特定人物の属性テーブルを取得する。そしてテーブル７００から、その表情データを取得して通知部９に出力する。

図８は、通知部９が備える表示部１０を使用し、被写体候補管理情報が上記の人物の例である場合の通知例である。表示画面８００には、撮像部２からの画像データが表示され、被写体候補である２名の人物８０１及び８０２の近傍に、その被写体候補管理情報が表示されている。図において、８４１における表示項目には、人物８０１の人物の名前と、撮像済み、未撮像の大項目と、撮像された内容について表情の種類とその撮像枚数が表示されている。さらに笑顔の場合については、その撮像画角の分類や撮像枚数も表示されている。図において８４２における表示では、同じく人物８０２の人物名と、撮像済み情報、表情、その姿勢についてそれぞれ撮像枚数が階層的に表示されている。

このような、被写体候補管理情報の表示は撮像中に連続的に行われても良いし、撮影者が操作部１３等から指示することによって行われても良い。また、被写体候補全てに対して被写体候補管理情報を表示しても良いが、撮影者が予め指定した被写体候補のみについて表示してもよい。さらには、画面中での主たる被写体候補と言える被写体候補、例えば画面中で最も大きな面積を占める被写体候補についてのみ被写体候補管理情報の表示を行うようにしても良い。

なお、上記の例では、表示の内容について主となる被写体候補である人物の属性と撮像枚数の表示について説明したが、本実施形態はこれに限定されるものではない。被写体候補は人物以外でも良いし、表示する属性情報も画像データから抽出可能なものであれば、どのようなものであっても良い。

なお、ここでは、通知部９の説明として表示部１０を使用した例を挙げたが、本実施形態が、これに限定されないことは前述した通りである。通知部９は他の通知形式、例えば音声スピーカーからの電子音、音声による音響発生部１１や、撮像装置１００のグリップ部を振動させる振動発生部１２を用いることが可能である。すなわち、撮影者に画像データの被写体候補管理情報の係る通知をすることができる手段ならば、どのような手段を用いても良い。通知手段、通知形式は、撮影者が操作部１３を指定手段として使用して指定することが可能である。

以上の説明にあるように、本発明の実施形態１に係る撮像装置１００では、撮像する画像データに含まれる被写体に対応する被写体候補管理情報を抽出する。そして、この被写体に対応する被写体候補管理情報に含まれる履歴情報を、各種の通知形式で撮影者に提示することで、撮影者の撮像を決定する際の負担を低減することが可能になる。

＜実施形態１の変形例＞
上記の実施形態１では、通知部９が表示手段の場合に、その表示が文字列である場合について説明したが、被写体候補管理情報を構成する履歴情報を象徴的に表すアイコン等や、履歴情報をグラフ表示する形式であっても良い。本変形例では、そのように、履歴情報を象徴的に表すアイコン等や、履歴情報をグラフ表示する表示形式を使用する変形例について説明する。なお、撮像装置１００の基本的な構成及び処理は上述した第１の実施形態と同様であるため、第１の実施形態と異なる部分について説明する。

図９は、本変形例での被写体候補管理情報の通知例１である。図９の表示画面９００には、被写体候補である人物９０１の被写体候補管理情報である属性データがグラフ形式で表示されている。図において、９５１の属性統計表示には、人物名と、被写体候補となった人物９０１の撮像枚数をヒストグラム表示したグラフが示されている。ヒストグラムには、この人物９０１のデータが強調表示されていている。この人物が、他の被写体候補である人物と比べてどれくらい撮像されたか、撮影者がすぐに分かるように表示される。９５１の属性統計表示においては、人物Ａが人物９０１であって、人物Ｂ乃至Ｄが他の人物を表す。

このように被写体候補管理情報を通知のために表示することで、撮影者の撮像を決定する際の負担を低減することが出来る。図において、９５２の属性統計表示には、人物の名前、その表情と撮像枚数を表すチャートが示されている。このようなチャート形式で示すことにより、人物９０１の人物Ａ氏を撮像した際の、表情（図では、緊張、笑顔、微笑み、感動及び通常）と、その撮像枚数の関係が視覚的に分かるようになり、撮影者の撮像を決定する際の負担を低減することが出来る。動画像データの場合には、チャートおよびヒストグラムは撮像枚数ではなく、撮像時間で表示すればよい。また、上記のように１つの被写体に対して複数の属性統計表示を行っても良い。これは撮像装置１００が設定された撮像モードなどから自動的に判断して行っても良いし、撮影者が操作部１３などを介して、表示するグラフを予め指定しておいても良い。

図１０は、本変形例での被写体候補管理情報の通知例２である。通知例１とは表示している属性とグラフの形式が異なる。表示画面９００の９５１は、ある一定間隔の撮像時刻における被写体である人物９０１、即ち人物Ａの撮像枚数を示したものである。このグラフに、例えば人物９０１の属性をキャプション表示してもよい。表示する属性は、その画像データから抽出された属性情報のなかで、頻度が最も高い属性を選ぶなどすればよい。このように、撮像時間と撮像枚数のグラフを撮影者に通知することによって、例えば時間的な撮像の偏りを確認できるなど、撮影者の撮像を決定する際の負担を低減することが可能になる。

図において９６２は、被写体である人物９０１と、他の人物との組み合わせが何枚撮像されたかヒストグラムで表示したものである。さらに、詳細に人物の組み合わせと、表情や姿勢について分類した結果をヒストグラム表示しても良い。このように、人物の組み合わせについて撮影者に通知することで、例えば人物の組み合わせにおける偏りを少なくできるなど、撮影者の撮像を決定する際の負担を低減可能になる。

図１１は、本変形例での被写体候補管理情報の通知例３である。通知例１および通知例２とは、表示する内容が特定の被写体に関してではなく、撮像したもの全ての統計データとなっている点が異なる。表示画面９００の撮像データ統計表示９７１は、撮影者が撮像した内容について統計データを示したものである。撮像枚数と被写体候補のカテゴリで分類して、その内訳を表示している。さらに、撮像に要した時間を被写体候補のカテゴリに関してそれぞれ表示している。更に被写体候補だけでなく、カメラパラメータ等も考慮して、その画像データがポートレートなのか、風景写真なのか分類することによって、撮像カテゴリの内訳を表示している。この例では、全て文字列で表示されているが、他の変形例のように、グラフ等を用いて視覚的に表示しても良い。

このように、特定の被写体候補についてだけではなく、撮像する画像データ全体の被写体候補管理情報を統計データで表示することにより、撮影者の撮像を決定する際の負担を低減することが可能になる。

＜実施形態２＞
本実施形態２では、実施形態１と比較して以下の点が異なる。即ち、図２で説明した撮像制御部４が、被写体候補情報管理部８の管理する被写体候補管理情報を用いて撮像部２の撮像動作を制御する点が異なる。

以下、本実施形態２に係る撮像装置１００の具体的な動作を説明する。なお重複を避けるため、以下の説明において、前の実施形態１と同じ部分はその詳しい説明を省略する。図１２は、本実施形態２に係る撮像装置１００の処理のフローチャート図の一例を表したものである。この図１２を参照しながら、この撮像装置１００が、撮像しようとする画像データから抽出した被写体候補情報をもとに撮像制御を行う際の処理について説明する。

図１２は、図２のステップＳ２０５で説明した所定条件の判定について、本実施形態２の場合における処理の流れを表したフローチャート図である。まずステップＳ１２３０において、被写体候補管理情報に含まれる被写体候補の累積的な属性情報を抽出する。ここで、累積的な属性情報とは、例えば被写体候補が人物である場合には、同一人物での撮像枚数等である。また同一人物でも、表情や姿勢、更には画角等のカメラパラメータ等より詳細な属性情報で分類し、その累積情報を用いても良い。人物以外の場合でも、同一種類の植物を何枚撮像したか等の情報を用いても良い。

続いてステップＳ１２３０で取得した累積的属性情報が所定の条件を満たしているかをステップＳ１２３１で判定する。典型的には、この処理は、撮像しようとする画像データからの被写体候補情報の属性情報と対応する累積的属性情報とのマッチング処理が行われる。これらの所定条件は、撮影者が所定の操作をすることによって予め指定することが可能である。

ステップＳ１２３１において、撮像しようとする画像データからの被写体候補情報の属性情報と対応する累積的属性情報が所定の条件を満たしている場合にはステップＳ１２３２に進み、累積的な属性情報を撮影者に通知する準備をする。しかし、被写体候補の累積的属性が所定の条件を満たしていない場合には、ステップＳ１２３３に進み、撮像装置１００の撮像モードによって異なった動作が行われる。具体的には、自動撮像を許可するモードになっているか否かで動作が異なる。ステップＳ１２３３の判断で自動撮像を許可している場合には、ステップＳ１２３４に進み、撮像制御部４に、現在の画像データの撮像を行う信号が出力され、実際の撮像が実行される。

撮像が終わったら、ステップＳ１２３５に進み、自動撮像を行ったこと及び撮像した被写体候補情報等を撮影者に通知する準備を行う。しかし、ステップＳ１２３３で自動撮像を許可しないモードである場合には、ステップＳ１２３６に進み、現在の画像データの撮像を促す通知を行う準備をする。ステップＳ１２３２、ステップＳ１２３５及びステップＳ１２３６で準備された通知情報は、図２のステップＳ２０６で撮影者に通知される。なお図２では、所定の条件を満たす場合にのみ撮影者に通知を行うようになっているが、本実施形態２では、所定条件を満たしていない場合でも、撮影者に通知を行う点が異なっていることに注意されたい。また、自動撮像が許可されている場合には、上記の一連の処理において、被写体候補管理情報に含まれる累積的属性が所定の条件を満たすまで繰り返される。

上記の説明では、ステップＳ１２３１において、累積的属性が所定の条件を満たした場合には累積的属性を通知するのみであったが、別の形態として撮像の動作を禁止してしまう構成も考えられる。この場合に撮影者には、撮像を禁止している理由と被写体候補管理情報について通知するようにしても良い。累積的属性の所定条件を満たす被写体候補の撮像を禁止することによって、例えば被写体候補およびその被写体候補管理情報に含まれる属性に関して偏りを確認できるなど、撮影者の撮像を決定する際の負担を低減することが可能になる。

自動撮像は、被写体候補管理情報に含まれる累積的属性の所定条件を満たさない被写体候補が画像データの画角中に存在した場合、即座に撮像を行っても良いが、より好適な撮像範囲を選んで撮像を行うようにしても良い。具体的には、撮像制御部４が結像光学系制御部３に対して通知を行い、結像光学系１のズーム機構パン及びティルト軸方向の駆動機構を制御して画角調整を行った後に撮像部２で撮像を行う。この場合、画角調整は以下のように行うと良い。図１３は、画角調整の処理の一例を示した処理のフローチャート図である。まずステップＳ１３４０において、被写体候補管理情報に含まれる累積属性情報およびカメラパラメータを取得する。

続いてステップＳ１３４１に進み、画像データに含まれる被写体候補のうち、累積的属性が所定条件を満たさないものを選出する。次に、ステップＳ１３４２では、画像データから選出された被写体候補が、画角が変わることによって所定条件を満たす方向を探す。具体的には、画像処理により画像データに対して画角調整を行った場合の画像データを仮想的に作り出して、被写体候補の大きさや、向き、位置などが所定の条件を満たすかを判定すればよい。そして、ステップ１３４３で選ばれた方向にパン、ティルト、ズームなどの制御信号を結像光学系制御部３に出力し、撮像しようとしている画像データの画角の調整を行う。

図１４は、本実施形態２に係る撮像装置１００において、通知部９の表示部１０が液晶モニタ等の表示手段であった場合の表示の一例である。表示画面１４００には、被写体候補管理情報に基づき、カテゴリ名（この場合は、「民家」）と、被写体候補に関する累積的属性表示１４８１として、過去にどのような構図で撮像されているか撮像枚数をヒストグラム表示している。さらに、撮像枚数が少ない構図についての情報をメッセージ表示している。ここで構図とは、画像データに含まれる被写体候補の大きさや位置など、撮像画面全体における被写体候補の構成に関する情報を意味している。図の１４８２は、上述の過去の撮像の履歴情報から判断して、現在の構図が撮像に適したものであるとの情報を撮影者に通知しているメッセージ表示である。

構図の判定は、被写体候補情報管理部８で管理される被写体候補管理情報から判定する。具体的には、被写体候補のカテゴリおよび属性（大きさや、向き、位置）と、カメラパラメータ（撮像モード、画角等）等の情報を全ての被写体候補について取得して総合的に判定する。典型的には、被写体候補の大きさと位置関係からおおよその構図が判定できる。図１４の例で説明すると、画像データにおいて、画角が広く、民家１４８３である被写体候補が小さい場合には、遠景の構図であると判定できる。このようして判定した構図情報を被写体候補管理情報に含まれる被写体候補の属性情報として、被写体候補情報管理部８で累積的に蓄積し、管理するものである。

図１５は、画像データの構図が撮像に適した構図であるかを判定する処理の一例を示した処理のフローチャート図である。まずステップＳ１５５０で、上述した手順により、いま撮像しようとする画像データの構図の判定を行う。次にステップＳ１５５１に進み、構図情報をキーとして被写体候補情報管理部８で管理している被写体候補管理情報に含まれる構図の情報から、同じ構図の撮像が行われたか否かの検索を行う。続いて、ステップＳ１５５２で所定条件の判定を行う。ここで、所定の条件とは、撮像モードや撮影者が操作部１３を通じて予め設定する条件であるが、典型的には指定する構図の撮像回数などである。

例えば撮像モードが「風景」で、条件として、所定の大きさより小さい人物が入った構図での撮像を所定枚数行う等とする指定を行う場合について説明する。まず被写体候補情報管理部８の被写体候補管理情報から、実際の撮像が行われた画像データに対して、構図情報として人物の情報を調べて所定の大きさより小さいものを抽出する。さらに、抽出された所定大きさより小さい人物の存在する画像データの情報から、上述したような遠景に分類される画像データを選別し、枚数をカウントする。最後に、撮像枚数が所定枚数に達していない場合には、撮像しようとしている画像データの撮像を促す通知を行う。また、条件によっては自動撮像を行っても良い。

撮像を促す通知形式としては、別の形態として、メッセージ表示ではなく音声や電子音による音響発生部１１や、撮像装置１００の一部を振動させるような振動発生部１２を組み合わせて用いても良い。これは、既に説明したとおりである。自動で撮像を行った際には、表示部１０に「自動撮像を行いました」等の情報を提示しても良い。この場合の通知も表示だけでなく、音声や振動といった別の手段を用いても良い。ステップ１５２２で所定の条件を満たさない場合には、ステップＳ１５５４に進み、撮像しようとしている画像データの撮像を抑止する通知を行えばよい。

このように、本発明の実施形態２に係る撮像装置１００においては、撮像装置１００に被写体候補の撮像予定枚数などを設定しておき、被写体候補管理情報に含まれる被写体候補の履歴情報に従って、撮像装置１００が自動的にシャッタを切る構成を採用する。これにより、例えば被写体に関して偏りを確認できるなど、撮影者の撮像を決定する際の負担を低減することが可能になる。

＜実施形態３＞
本実施形態３では、第１および第２の実施形態に対して、以下の点が異なる。即ち、被写体候補管理情報に含まれる属性情報に含まれる履歴情報の管理を行う被写体候補を撮影者が指定し、追加ができる管理対象被写体情報追加部を持つ点が異なる。管理対象被写体情報追加部を備えることによって、撮影者がきめ細かく履歴情報の管理を行う対象の被写体候補の指定及び追加が可能になる。

以下、本発明の実施形態３に係る撮像装置１００’の構成及び動作を具体的に説明する。なお、重複を避けるため、以下の説明において上記の実施形態１の実施形態と同じ部分は、同じ参照番号を使用し、詳しい説明は省略する。図１６は本実施形態３に係る撮像装置１００’の構成要素の一例を表したブロック図である。実施形態１の撮像装置１００と比較すると、実施形態１の被写体候補情報管理部８とは多少異なる構成を備えた被写体候補情報管理部８’と、管理対象被写体情報追加部１４が新たに加えられている。

この管理対象被写体情報追加部１４は、撮影者が、撮像装置１００’にある操作部１３に含まれるものであってよい。また、メニューから選ぶ形式であっても良い。さらには、所定の手順に従って新たに履歴情報を管理対象に加えたい被写体候補情報を撮像装置１００’に指定する形式であっても良い。後者は、具体的には予め撮影者が撮像した画像データから被写体候補を指定して、登録しても良い。また、別の形態として、外部記録媒体からの読み取り機能を持つ画像データ記録部６から、予め撮像済みの画像データの被写体候補情報を入力する形態をとっても良い。また、所定の形式で外部記録媒体に記録済みの被写体候補情報管理部８’で管理されていた被写体候補管理情報を読み取るようにしても良い。

このような構成をとることで、撮像時には被写体候補情報管理部８’に存在しなかった過去の被写体候補管理情報に含まれる履歴情報を参照可能となる。そのため、例えばより長期の履歴情報をもとに、被写体候補に関しての偏りを確認できるなど、撮影者の撮像を決定する際の負担を低減することが可能になる。また、撮像時には未知であった被写体候補に関しても、過去の被写体候補管理情報に含まれる累積的な情報を参照可能となるので、より精度の高い情報を撮影者に提供できる。

図１７は、管理対象被写体情報追加部１４が、モニタ表示によるメニュー形式である場合の一例である。表示画像１７００中の被写体候補である人物１７０１を指定して、登録したいカテゴリ情報（この場合、人物）とその属性情報（特定の個人等）を選択するメニュー１７９１が表示される。撮影者は、このメニュー１７９１から、操作部１３の管理対象被写体情報追加部１４を使用して、例えば識別したい人物と更にその属性等を選択することが出来る。

図のメニュー１７９１の「１、この個体を識別して登録」を選択した場合は、特定の個人としての識別情報が被写体候補管理情報として、被写体候補情報管理部８’に登録される。「２、この個体を識別して、属性を登録」を選択した場合は、被写体候補情報管理部８’に、個人の識別情報だけでなく、表情、姿勢などの属性も一緒に登録される。「３、この個体を識別して、他の物体との組み合わせを登録」を選択した場合には、個人の識別情報と、背景にある物体などや他の人物との組み合わせ情報が、被写体候補情報管理部８’に登録される。以下同様に、カテゴリと属性を組み合わせた指定によって、撮像する画像データまたは、予め記録しておいた画像データ等から登録したい情報を抽出し、被写体候補管理情報として登録することが出来る。

次に、被写体候補情報管理部８’の構成について説明する。図１８は、本実施形態３での被写体候補情報管理部８’の一構成例を表すブロック図である。これは、実施形態１の被写体候補情報管理部８に対して、被写体候補特徴抽出部８６を持つ点が異なる。この被写体候補特徴抽出部８６は、上述したように撮影者が新たに被写体候補情報管理部８’に被写体候補を登録しようとした場合に、その被写体候補から特徴となる属性情報を抽出する処理を行う。

次に、被写体候補特徴抽出部８６での特徴抽出処理について、さらに詳しく説明する。なお、ここでは、新たに登録する被写体候補を「特定の人物」として説明する。なお、当然のことであるが、本実施形態は、人物の個人識別について限定されるものではない。

図１９は、被写体候補特徴抽出部８６で行われる被写体候補特徴抽出処理のフローを表したものである。始めに処理の開始後ステップＳ１９１０において、画像データに含まれる被写体候補情報、カメラパラメータ等が取得される。被写体候補情報は、被写体候補情報抽出部７によって得られたカテゴリ情報などである。続いてステップＳ１９１１に進み、被写体候補の状態検出が行われる。被写体候補のカテゴリが人物であった場合には、典型的には顔検出が行われる。角度によっては、顔が正面から見えない場合があるが、その場合には、頭部から肩にかけてのシルエットなど、その人固有の特徴が抽出されるような処理が行われる。人物の場合には、顔の傾き、大きさなどが検出された後、さらに性別や個人、表情などを表す特徴量となる、目、鼻、口などの形状や位置関係、などが検出され、それらの情報から顔の状態を調べる。

ステップＳ１９１２においては、後述する検出された状態に基づく特徴抽出用の処理モジュールが選択されてステップＳ１９１３に進み、特定部位での輝度ベクトル抽出やＦＦＴ（高速フーリエ変換）による特定周波数の成分抽出等の特徴抽出処理が行われる。そしてステップＳ１９１４で、抽出された特徴量は、その人物固有の情報としてカテゴリ情報、属性情報である属性値とともに、ステップＳ１９１４のマッチング処理後に被写体候補情報として被写体管理情報記憶部８４に供給される。それにより、被写体候補管理情報として情報が累積的に更新されて管理されることとなる。このステップＳ１９１４のマッチング処理は、図５のステップＳ５２３でのマッチング処理と同じ動作となる。

図２０は、被写体候補特徴抽出部８６の一構成例を表すブロック図である。図において、状態検出部８６１では、撮影者または本実施形態３の撮像装置１００’の撮像モードにより指定されたカテゴリ（「顔」など）に関する状態クラスの検出を行う。状態クラスは、撮影者または本実施形態３の撮像装置１００’の撮像モードにより指定されたカテゴリを大分類の状態クラスとし、中分類、小分類のレベルで状態検出を行う。状態カテゴリとしては、検出される被写体候補の種類に応じて、例えば本実施形態３のように人物であれば、表情、顔の向き、などが予め分類され、所定のメモリに格納され、顔の表情や向きの検出を行う。

図２１に、所定のメモリに格納される被写体候補である物体の種類ごとに木構造で分類された状態クラスの例を示す。図２１に示すように、顔の向きとしてはパン方向、ティルト方向に細分化されたクラスが予め定められている。顔の状態クラスを検出する場合、まず顔の目尻、口元など性別や表情、顔の向きの検出に有効な部位の特徴点の検出を行う。その結果、状態クラスとしては、「斜め向き」、「男性」、「無表情」などのようなカテゴリが検出される。

次に、特徴抽出部８６２について説明する。特徴抽出部８６２は状態検出部８６１で検出された顔の状態クラスでの特徴抽出処理を行う。図２２に特徴抽出部８６２の一構成例を示す。ここでは、状態クラスは（Ａクラス、Ｂクラス、、、、Ｘクラス）の形式で木構造に予め分類され、各クラスごとに一つの処理モジュール群がまとまって配列している。Ａクラスは、例えば「顔」、Ｂクラスは「正面」などの顔の向き、Ｘクラスは「年齢」などのような状態を示す。

なお、状態クラスの分類形式は、このような木構造以外のほかの形式であっても良いことは言うまでもない。状態検出部８６１より検出された状態クラスに特化した特徴抽出処理モジュールを選択する制御部および選択されるべき特徴抽出処理モジュール群は被写体候補特徴抽出部８６に内蔵される。あるいは、所定のメモリに格納されるプログラムとして、若しくはハードＩＰコアとして予め本撮像装置１００’のシステムＬＳＩ内等に格納されている。

例えば、顔の状態が「正面」、「男性」を状態クラスとして状態検出部８６１により検出されたとすると、特徴抽出部８６２はその状態クラスに対応する特徴抽出モジュールを選択する。各状態クラスに対応した特徴抽出モジュールは、「正面」、「男性」を識別する際に有効な特徴を抽出する。例えば、正面顔であれば、両目、鼻、口、ひげなどの位置、輝度情報などを用いる。仮に状態クラスが「横顔」、「女性」であった場合には、両目の特徴を捉えることは不可能であり、ひげが検出される可能性も低く、異なった特徴抽出の選択が必要である。

上記のようにして特徴を抽出した後に、例えば特定の状態カテゴリにある特定の二人の顔を識別する情報を生成する。これは、例えばサポートベクトルマシンを用いた学習により生成する。学習は、例えば特定状態カテゴリ（ここでは、「正面」、「笑顔）を中心とするある範囲の特定の二人に関する顔データセット用いて、その二人を識別するようにサポートベクトルマシンをトレーニングする。例えば、正面から±２０度の範囲で顔の向きが横向きになっている顔など、様々な年代の男性の顔を含むある程度広範であってよい。なお、いわゆるｏｎｅ−ａｇａｉｎｓｔ−ａｌｌタイプのサポートベクトルマシンを生成してもよい。この場合、識別する個体数だけサポートベクトルマシンをトレーニングにより生成すればよい。

また、この特定のカテゴリの状態クラスについてこのようなバイナリの識別を行うサポートベクトルマシンを全てのペアの組み合わせ数だけ学習により生成してもよい。マッチング処理の時には、全てのペアの組み合わせについて実行するのではなく、２本木認識方式を用いれば、クラス数−１回の比較をすればよい。

２本木認識方式は、文献、Guo, Li, and Chan “Face Recognition by Support Vector Machines, in Proc. of 14th International Conf. on Automatic Face and Gesture Recognition, 2000に示される。但し、このような識別モジュールの生成を全ペアの全状態クラスについて予め行っておくのは困難である場合がある。

そこで、識別モジュールの生成は、状態クラスの検出を行った結果、識別できなかった人物について事後的にかつ蓄積的に生成するようにしてもよい。例えば、検出されたある特定の状態カテゴリについて識別ができない場合（若しくは、識別結果の信頼度が低いと推定される場合）、その状態クラスの同一人物の顔画像データを用いて学習を行うなどの方法による識別モジュールの生成を試みてもよい。

また、変動に強い識別を行うために、画像データのサンプルは多いほど良い。時系列データを用いて、姿勢や照明の変動を含んだ学習データを作ることで、後のマッチング処理の際に、ロバストな個体識別が可能になる。

次に、これを検出してマッチング処理する（以下、個体マッチング処理）場合について説明する。個体マッチング処理では、特徴抽出と同じように、被写体の状態クラス検出が、予め行われる。状態クラスが検出されたのち、状態クラスに対応した識別モジュールが起動される。状態クラスと識別モジュールの構成は、例えば図２１の特徴抽出モジュールの場合と同一の構成をとることが望ましい。

個体マッチング処理の各モジュールとしては、前述のサポートベクトルマシンをベースにした方法のほかに階層的神経回路網や統計的パターン認識の手法を用いても良い。例えば、階層的神経回路網として畳み込み神経回路網を用いた方法をベースしてもよい。

畳み込み神経回路網を用いた方法は、文献：Lawrence et al., “Face Recognition: A Convolutional Neural-Network Approach, IEEE Transactions on Neural Networks, vol.8, pp.98-113, 1997に記載されている。この場合、状態クラス毎に学習用顔画像データを用意する特徴抽出モジュールと、個体認識用処理モジュールの生成が必要である。

このように顔の識別時と学習時ともに先ず状態クラス（顔の向きや性別など）を判定し、その結果に基づいて特定の状態クラスに特化した識別モジュールの生成を行う。或いは学習済みの特定の識別モジュールを選択的に起動（必ずしも一つの識別モジュールとは限らない）して個体の識別動作を行う。選択的起動の仕方としては、検出された状態クラスを中心としてその近傍にあるクラスに対応する個体認識モジュールの起動を行っても良い。

以上のように、予め設定された種類の状態クラス（性別、顔の向きなど）の何れに属するかの判定（比較的軽い処理）を個体認識に先立って行うことにより、特徴空間内での個体識別のための探索範囲が効率的に絞り込まれる。そして、その後に検出された状態クラスに特化して生成された識別モジュールによる識別動作を実行することにより、全ての状態クラスを含む集合の中で個体識別を行う場合と比べて、より効率的にかつ高い精度での認識が可能となる。

以上のように、画像データから、撮影者が新たに管理対象の被写体候補及び履歴管理される属性情報等を指定し追加する場合にも、被写体候補に対して、特徴の抽出とマッチング処理を行うことにより登録が可能となる。また、外部記憶メディア等から、予め撮像しておいた画像データを入力して、撮像時には未知である被写体候補についても過去の履歴を参照可能になる。

このようにして、累積的に管理された被写体候補管理情報を使用することで、撮像しようとする画像データの被写体候補についてより精度の高い情報を撮影者に通知することが可能になる。時間的または、空間的にも、より広い範囲での撮像の偏りを確認できるなど、撮影者の撮像を決定する際の負担を低減することが出来る。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。

さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る撮像装置の全体の構成図である。 本発明の実施形態に係る撮像装置における処理の一例を示すフローチャート図である。 本発明の実施形態に係る撮像装置における被写体抽出処理の一例を示すフローチャート図である。 本発明の実施形態に係る撮像装置における被写体候補情報抽出部の一構成例を表すブロック図である。 本発明の実施形態に係る撮像装置における被写体候補情報管理処理の一例を示すフローチャート図である。 本発明の実施形態に係る撮像装置の被写体候補情報管理部の主な構成要素を示すブロック図である。 本発明の実施形態に係る撮像装置における被写体候補情報管理部に格納される、被写体候補管理情報を参照テーブルで表した一例の図である。 本発明の実施形態に係る撮像装置における通知部の通知の例として、表示部に被写体候補情報の表示を行う場合の画面を示す図である。 本発明の実施形態に係る撮像装置の変形例における通知部の通知の例として、表示部にグラフ表示を行う場合の画面を示す図である。 本発明の実施形態に係る撮像装置の変形例における通知部の他の通知の例として、表示部にグラフ表示を行う場合の画面を示す図である。 本発明の実施形態に係る撮像装置の変形例における通知部の他の通知の例として、表示部にグラフ表示を行う場合の画面を示す図である。 本発明の第２の実施形態に係る撮像装置における処理の一例を示すフローチャート図である。 本発明の第２の実施形態に係る撮像装置における画角調整の処理の一例を示すフローチャート図である。 本発明の第２の実施形態に係る撮像装置における通知部の一例として、表示部を使用する場合の画面を示す図である。 本発明の第２の実施形態に係る撮像装置における構図の適・不適を判定する処理の一例を示すフローチャート図である。 本発明の第３の実施形態に係る撮像装置の全体の構成図である。 本発明の第３の実施形態に係る撮像装置における管理対象被写体情報追加部の動作が、表示部でのメニュー表示形式を使用する場合の画面を示す図である。 本発明の第３の実施形態に係る撮像装置における被写体候補情報管理部の一構成例を表すブロック図である。 本発明の第３の実施形態に係る撮像装置における被写体候補特徴抽出部で行われる処理の一例を示すフローチャート図である。 本発明の第３の実施形態に係る撮像装置における被写体候補特徴抽出部の一構成例を表すブロック図である。 本発明の第３の実施形態に係る撮像装置における状態検出部の物体の種類ごとに木構造で分類された状態クラスの例を示す図である。 本発明の第３の実施形態に係る撮像装置の特徴抽出部の一構成例を表すブロック図である。

符号の説明

１ 結像光学系
２ 撮像部
３ 結像光学系制御部
４ 撮像制御部
５ 画像データ記憶部
６ 画像データ記録部
７ 被写体候補情報抽出部
８、８’ 被写体候補情報管理部
９ 通知部
１０ 表示部
１１ 音響発生部
１２ 振動発生部
１３ 操作部
１４ 管理対象被写体情報追加部
７１ フレームバッファ
７２ 特徴抽出部
７３ モデルデータ記憶部
７４ マッチング処理部
７５ 検出属性記憶部
７６ 属性検出部
８１ 被写体候補情報バッファ
８２ 属性管理情報生成部
８３ マッチング処理部
８４ 被写体管理情報記憶部
８５ 被写体候補情報操作部
８６ 被写体候補特徴抽出部
８６１ 状態検出部
８６２ 特徴抽出部

Claims (21)

1. 画像データを出力する撮像手段と、
   被写体候補管理情報を管理する被写体候補情報管理手段と、
   前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出手段と、
   前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング手段と、
   通知手段と、を備え、
   前記被写体候補情報管理手段は、抽出された前記被写体候補情報を、前記マッチング手段での判定に従って対応する被写体候補管理情報に累積的に記憶することで前記被写体候補管理情報として管理し、
   前記通知手段は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知するように構成される、ことを特徴とする撮像装置。
2. 前記通知手段は、前記被写体候補管理情報を予め定めた通知形式で通知する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記予め定めた通知形式で通知される情報は、前記被写体候補管理情報に含まれる前記カテゴリ情報およびその属性情報を含む、ことを特徴とする請求項２に記載の撮像装置。
4. 撮像モードを指定する撮像モード指定手段をさらに備え、
   前記通知手段は、前記撮像モードに基づいて前記予め定めた通知形式を選択するように構成される、ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記予め定めた通知形式を指定する指定手段を更に備える、ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記通知形式は、前記カテゴリ情報およびその属性情報からなるグラフの表示を含む、ことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記グラフは、前記被写体候補管理情報のヒストグラムの表示を含む、ことを特徴とする請求項６に記載の撮像装置。
8. 前記グラフは、前記被写体候補管理情報の時系列の表示を含む、ことを特徴とする請求項６に記載の撮像装置。
9. 前記通知手段は、表示手段を含み、
   前記表示手段は、前記被写体候補管理情報に基づいて前記被写体候補管理情報を前記被写体候補の近傍に、若しくは重畳して表示する、ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮像制御手段をさらに備え、
    前記撮像制御手段は、前記被写体候補管理情報に基づき、前記撮像手段の動作を制御する、ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記被写体候補管理情報は、撮像枚数を含むことを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像制御手段は、前記撮像枚数が予め定めた撮像枚数に達した場合には、前記撮像手段の撮像動作を禁止する、ことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像制御手段は、前記撮像枚数が予め定めた撮像枚数に達するまで、前記撮像手段による撮像動作を自動的に実行する、ことを特徴とする請求項１１に記載の撮像装置。
14. 前記表示手段は、前記被写体候補管理情報に前記被写体候補として人物が含まれる場合には、前記被写体候補の人物毎に、対応する前記被写体候補管理情報を、前記被写体候補の人物の近傍に、若しくは重畳して表示する、ことを特徴とする請求項９に記載の撮像装置。
15. 記録手段をさらに備え、
    前記記録手段は、前記あらたに撮像する画像データとともに、対応する前記被写体候補管理情報に含まれる前記カテゴリ情報とその属性情報の一部又は全てを記録する、ことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記被写体候補情報抽出手段は、前記記録手段で記録された前記あらたに撮像する画像データとともに、対応する前記被写体候補管理情報を取り込み、前記被写体候補の前記カテゴリ情報および属性情報の抽出を行う、ことを特徴とする請求項１５に記載の撮像装置。
17. 管理対象被写体情報追加手段をさらに備え、
    前記管理対象被写体情報追加手段は、前記被写体候補情報管理手段の管理対象となる前記被写体候補管理情報を追加する、ことを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 前記通知手段は、前記被写体候補管理情報に含まれる前記カテゴリ情報およびその属性情報の累積の値を調べることにより、前記累積の値が予め設定した量よりも少ない場合には、前記あらたに撮像する画像データの撮像を促すように通知する、ことを特徴とする請求項１５に記載の撮像装置。
19. 画像データを出力する撮像手段を備える撮像装置の制御方法であって、
    被写体候補情報管理手段により、被写体候補管理情報を管理する被写体候補情報管理工程と、
    被写体候補情報抽出手段により、前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
    マッチング手段により、前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
    通知手段による通知工程と、を備え、
    前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
    前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知するように構成される、ことを特徴とする撮像装置の制御方法。
20. 画像データを出力する撮像手段を備える撮像装置の制御方法の手順をコンピュータに実行させるためのプログラムであって、
    コンピュータに、
    被写体候補管理情報を管理する被写体候補情報管理工程と、
    前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
    前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
    通知工程と、を実行させ、
    前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
    前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知する、コンピュータに実行させるためのプログラム。
21. 画像データを出力する撮像手段を備える撮像装置の制御方法の手順をコンピュータに実行させるためのプログラムを記憶した記憶媒体であって、
    コンピュータに、
    被写体候補管理情報を管理する被写体候補情報管理工程と、
    前記画像データに含まれる被写体から、被写体候補となる被写体のカテゴリ情報とその属性情報を含む被写体候補情報を抽出する被写体候補情報抽出工程と、
    前記被写体候補情報と前記被写体候補管理情報とのマッチング処理を実行するマッチング工程と、
    通知工程と、を実行させ、
    前記被写体候補情報管理工程は、抽出された前記被写体候補情報を、前記マッチング工程での判定に従って対応する被写体候補管理情報に累積的に記憶して前記被写体候補管理情報として管理し、
    前記通知工程は、前記撮像手段であらたに撮像する画像データに含まれる被写体の前記被写体候補情報が前記被写体候補管理情報に含まれるときは、その旨を通知する、コンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images