JP2010039795A - 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法 - Google Patents

Abstract

【課題】複数の撮影画像の各々から同一被写体の認識用データを容易に生成することのできるようにする。
【解決手段】動画ファイルを構成する静止画内に人物像があるか否かを判断する（ステップＳ９）。人物像がある場合には、人物像が複数あるか否かを判断し（ステップＳ１０）、複数ある場合には、人物選択指示が検知されたならば、表示させている移動させて、別の人物に枠を重ねて表示する（ステップＳ１５）。決定指示を検知した場合には、枠が重なっている人物像の特徴情報を抽出し、認識用データとしてデータベースに登録する（ステップＳ１８）。また、コマ送り指示が検知されると（ステップＳ２１→ＹＥＳ）、表示する静止画を次コマに切り替えて（ステップＳ２２）、ステップＳ９からの処理を繰り返す。
【選択図】図３

Description

本発明は、被写体を認識するための認識用データを生成する認識用データ生成装置及びこれを用いた電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法に関するものである。

従来、顔認識データに基づき、被写体中における人物を認識してＡＦ制御等を行う電子カメラが知られている。このようなカメラにおいては、認識すべき人物の顔認識データを予め当該電子カメラに記憶させておく必要がある。

そこで、撮影操作に応答して画像を撮影記録するととともに、これと同時にが画像中における人物の顔認識用データを生成して記憶する電子カメラが知られている（例えば、特許文献１）。したがって、この電子カメラによれば、別途、顔認識用データの生成及び記憶のみを目的とした撮影を行う必要がなく、スナップ写真などの通常の撮影により顔認識用データが生成されることとなり、顔認識用データを容易に記憶させることができる。
特開２００７−２８１７６０号公報

ところで、撮影時における被写体人物のカメラに対する顔の向きは多様であることから、顔認識精度を高めるためには、複数の撮影画像から各々当該人物の顔認識用データを生成して記憶しておき、これら複数の顔認識データを用いて認識を行うことが好ましい。より具体的には、複数の方向から撮影された同一人物の撮影画像から各々生成された顔認識用データを用いれば、当該人物の向き等拘わらず精度よく顔認識することができる。無論、人物の顔を認識する場合に限らず、他の被写体の認識精度を向上させる場合も同様であり、複数の撮影画像から各々生成された同一被写体の認識用データを用いれば、当該被写体の向き等拘わらず精度よく被写体認識を行うことができる。

しかしながら、前述した電子カメラにおいては、１回の撮影操作に応答した撮影毎に認識用データを生成することから、被写体の認識精度を高めるためには、同一被写体を複数回、しかも異なる方向から撮影する必要がある。このため、結果的には、別途、顔認識用データの生成及び記憶のみを目的とした撮影を行う場合と同様の事前撮影作業が必要となり、認識用データの生成容易化を期待できるものではなかった。

本発明は、かかる従来の課題に鑑みてなされたものであり、複数の撮影画像の各々から同一被写体の認識用データを容易に生成することのできる認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法を提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る認識用データ生成装置にあっては、動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出手段と、この検出手段により検出された特定の被写体の各々から特徴情報を取得する取得手段と、この取得手段により取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成手段とを備えることを特徴とする。

また、請求項２記載の発明に係る認識用データ生成装置にあっては、前記動画データを構成する複数の静止画データの中から、任意の静止画データを選択する第１の選択手段を備え、前記検出手段は、前記第１の選択手段により選択された静止画データに基づく静止画像の各々から、特定の被写体を検出することを特徴とする。

また、請求項３記載の発明に係る認識用データ生成装置にあっては、動画データを構成する複数の静止画データに基づく複数の静止画像を表示する表示手段と、前記表示手段に表示されている静止画像を指定する指定手段とを備え、前記第１の選択手段は、前記指定手段により指定された静止画像を選択することを特徴とする。

また、請求項４記載の発明に係る認識用データ生成装置にあっては、前記動画データを構成する複数の静止画データの中から、所定の削除条件を満たす静止画データを削除する削除手段を備え、前記第１の選択手段は、前記動画データにおいて前記削除手段により削除されることなく残存する複数の静止画データの中から、任意の静止画データを選択することを特徴とする。

また、請求項５記載の発明に係る認識用データ生成装置にあっては、前記所定の削除条件を設定する第１の設定手段を備えることを特徴とする。

また、請求項６記載の発明に係る認識用データ生成装置にあっては、前記動画データを構成する複数の静止画データの中から、所定の抽出条件を満たす静止画を抽出する抽出手段を備え、前記第１の選択手段は、前記動画データにおいて前記抽出手段により抽出された複数の静止画データの中から、任意の静止画データを選択することを特徴とする。

また、請求項７記載の発明に係る認識用データ生成装置にあっては、前記所定の抽出条件を設定する第２の設定手段を備えることを特徴とする。

また、請求項８記載の発明に係る認識用データ生成装置にあっては、前記検出手段は、動画データを構成する静止画データに基づく静止画像の中に前記特定の被写体が複数存在する場合、既に前記認識用データの生成に用いられている特徴情報を含む被写体を検出することを特徴とする。

また、請求項９記載の発明に係る認識用データ生成装置にあっては、前記動画データを構成する静止画データに基づく静止画像の中に、前記検出手段により検出された特定の被写体が複数存在する場合、これら複数の特定の被写体からいずれかを選択する第２の選択手段を備え、前記取得手段は、前記第２の選択手段により選択された被写体から前記特徴情報を取得することを特徴とする。

また、請求項１０記載の発明に係る認識用データ生成装置にあっては、前記特定の被写体とは、人物であることを特徴とする。

また、請求項１１記載の発明に係る認識用データ生成装置にあっては、前記認識用データ生成手段により生成された前記認識用データを記憶する記憶手段を備えることを特徴とする。

また、請求項１２記載の発明に係る認識用データ生成装置にあっては、前記認識用データ生成手段により生成された認識用データに優先度を設定する第３の設定手段を備え前記記憶手段は、前記第３の設定手段により設定された優先度とともに前記認識用データを記憶することを特徴とする。

また、請求項１３記載の発明に係る電子カメラにあっては、請求項１から１２にいずれか記載の認識用データ生成装置を備えるとともに、前記認識用データ生成手段により生成された認識用データに基づき、被写体を認識する認識手段を備えることを特徴とする。

また、請求項１４記載の発明に係る電子カメラにあっては、請求項１２記載の認識用データ生成装置を備え、被写体像を撮像して画像データを得る撮像手段と、前記記憶手段から読み出した認識用データとその他のデータとを保持する保持手段と、前記優先度に基づき、少なくとも一つの認識用データを前記保持手段に保持させる保持制御手段と、この保持制御手段により前記保持手段に保持された認識用データに基づき、当該メモリに保持されている前記画像データ内の被写体を認識する認識手段とを備えることを特徴とする。

また、請求項１５記載の発明に係る電子カメラにあっては、前記保持手段は、前記撮像手段により得られた画像データを、前記記憶手段から読み出した認識用データとともに保持することを特徴とする。

また、請求項１６記載の発明に係る認識用データ生成プログラムにあっては、認識用データ生成装置が有するコンピュータを、動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出手段と、この検出手段により検出された特定の被写体の各々から特徴情報を取得する取得手段と、この取得手段により取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成手段として機能させることを特徴とする。

また、請求項１７記載の発明に係る認識用データ生成方法にあっては、動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出ステップと、この検出ステップにより検出された特定の被写体の各々から特徴情報を取得する取得ステップと、この取得ステップにより取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成ステップとを含むことを特徴とする。

本発明によれば、動画データを構成する複数の静止画データに基づく複数の静止画像の各々から定の被写体を認識するための認識用データを生成する認識用データ生成することから、１回の動画撮影より得られた動画データにより、同一被写体に対して複数の認識用データを生成することができる。したがって、同一被写体に対して複数の認識用データを生成するに際して、１回の動画撮影を行えばよく、これにより、顔認識精度を高めるために必要となる同一被写体に対する複数の認識用データを容易に生成することが可能となる。

以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通するデジタルカメラ１の電子回路構成を示す図である。このデジタルカメラ１は、撮影モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズ２を構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１を備えていている。また、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、画像処理部２７、保存メモリ２８を備えているとともに、顔検出部２９−１、顔認識部２９−２、データベース２９−３、及びキー入力部３０を備えている。

撮影モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて、図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。また、ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。そして、前記撮像レンズ２を構成するレンズ光学系１２の撮影光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期ごとに結像した光像に対応する光電変換出力を１フレーム分出力する。

ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分ごとに適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。

制御部２２は、このデジタルカメラ１全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するフローチャートに示す処理を実行するためのプログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成される。そして、前記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。

また、制御部２２は、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１の各機能の実行制御、具体的には撮影動作や、光学ズーム時のズームレンズの動作制御や、デジタルズーム、スルー表示、自動合焦、撮影、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。

デジタルビデオエンコーダ２５は、前記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して前記表示部２６に出力する。表示部２６は、上述したように撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取り込んでいる画像情報に基づく画像をリアルタイムに表示する。

撮影モードにおける静止画撮影モードにおいて、制御部２２は撮影指示に応じてその時点でＣＣＤ１３から取り込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。

この保存記録の状態では、制御部２２がＤＲＡＭ２１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインターフェイス２０を介して画像処理部２７に書込み、この画像処理部２７でデータ圧縮する。そして得た符号データを１画像の静止画ファイルとして画像処理部２７から読出し、保存メモリ２８に記録保存する。また、１フレーム分の圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

また、静止画再生モード時には、制御部２２が保存メモリ２８に記録されている画像データを選択的に読出し、画像処理部２７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。

なお、表示部２６には、透明のタッチパネル３１が積層されており、タッチパネル３１はタッチ位置を検出して制御部２２に入力する。

また、撮影モードにおける動画撮影モード時には、撮影開始指示に応じて制御部２２がＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、動画記録保存の状態に遷移する。

この動画保存記録の状態では、制御部２２がＤＲＡＭ２１に書き込まれている複数フレーム分の輝度及び色差信号をＤＲＡＭインターフェイス２０を介して、画像処理部２７に書込み、データ圧縮する。そして得た複数フレーム分の符号データを１動画の動画ファイルとして画像処理部２７から読出し、保存メモリ２８に記録保存する。また、１動画分の全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

また、動画再生モード時には、制御部２２が保存メモリ２８に記録されている動画ファイルを選択的に読出し、画像処理部２７で動画撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。

保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり画像データや撮影情報等を保存記録する。

顔検出部２９−１は、１フレーム分の画像から顔（顔領域を含む）を検出し、顔の特徴情報を抽出する。顔が複数あった場合、すなわち、１フレーム内に複数の顔が写っている場合は複数の人物の顔をそれぞれ検出し、それぞれの顔の特徴情報を抽出する。顔の検出方法は公知の方法を用いることもできる。例えば、特開２００３−２７４２７１号公報に記載の技術や特開２０００―３００３３号公報に記載の技術のように１フレーム中から人物の顔領域を検出する技術等を適宜採用することができる。なお、この顔検出処理のために専用の回路を設けても良いし制御部２２で顔検出用プログラムを実行させるようにしてもよい。

顔認識部２９−２は、顔検出部２９−１で抽出された顔の特徴情報とデータベース２９−３に記憶されている特徴情報と比較して類似度を判定し、検出された顔がどの個人の顔であるかを特定して当該個人を特定する。類似度の判定には、例えば、検出した顔の特徴情報と登録済みの人物の顔の特徴情報の差分から距離を求め、距離が所定閾値以下の場合に当該人物と判定する。

データベース２９−３は、個人の顔認識データや画質パラメータ等からなる顔認識レコードを複数記憶してなる顔認識テーブルや照合用画像データを格納してなり、顔認識部２９−２によって参照される。

キー入力部３０は、モードダイアル、カーソルキー、ＳＥＴキー、ズームボタン（Ｗボタン、Ｔボタン）、優先度設定キー、コマ送り指示キー、シャッタキー、及び電源ボタン等と、それらのキーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。

モードダイアルは撮影モードや再生モードの選択を行うものである。ユーザはモードダイアルを操作して、通常撮影モード、後述する撮影回数カウントモード等の撮影モードを選択することができる。カーソルキーはモード設定やメニュー選択等に際して表示部２６に表示されるメニューやアイコン等をカーソルでポイントを指定する際に操作するキーであり、カーソルキーの操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキーはカーソルキーによってカーソル表示されている項目を選択設定する際に押されるキーである。ズームボタンは、ズーム操作に用いられ、光学ズームの場合はズームボタン（Ｗボタン又はＴボタン）の操作に対応してズームレンズ（可変焦点距離レンズ）１２−１がワイド側またテレ側に移動されズームボタンの操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、表示部２６にはワイド（広角）画像又はテレ（望遠）画像が表示される。

シャッタキーは、撮影時にレリーズ操作を行うもので、静止画撮影モードにおいては撮影指示キーとして機能し、動画撮影モードにおいては、１回目の操作が撮影開始指示キーとして機能し、２回目の操作が撮影終了指示キーとして機能する。

以上の構成に係る本実施の形態において、前述のようにユーザが予め動画撮影モードで撮影を行うと、その都度保存メモリ２８には、動画ファイルが記録保存される。このように、予め複数の動画ファイルが保存メモリ２８に記録保存されている状態において、表示部２６に表示されるメニューから認識用データ作成モードを選択すると、制御部２２は、プログラムに従って図２及び図３のフローチャートに示すように処理を実行する。すなわち、まず削除条件の設定処理を行う（ステップＳ１）。この削除条件とは、複数の静止画データで構成される動画ファイルにおいて、この認識用データ作成モードにおいては再生（使用）することなく削除する静止画データ（ただし、保存メモリ２８に記憶されている当該動画ファイルそのものから静止画データを削除するのでない）の条件である。

この削除条件の設定に際しては、図４（Ａ）に示すように、削除条件設定画面２６１を表示させる。この削除条件設定画面２６１は、図示のようにチェックボックスに対応して「顔が無い」、「顔全体が無い」、「非合焦データ」等の削除すべき画像の特性を示す選択肢で構成され、チェックボックスに対するタッチ等によりチェックが入力された選択肢を今回の認識用データ作成モードにおける削除条件として設定する。

次に、抽出条件の設定処理を行う（ステップＳ２）。この抽出条件とは、動画データを構成する複数の静止画データに基づく静止画像中から抽出する人物の顔の表情に関する条件である。

この抽出条件の設定に際しては、図４（Ｂ）に示すように、表示部２６に抽出条件設定画面２６２を表示させる。この抽出条件設定画面２６２は、図示のようにチェックボックスに対応して「スマイル」、「真剣」、「怒り」等の顔の表情を示す選択肢で構成され、チェックボックスに対するタッチ等によりチェックが入力された選択肢を今回の認識用データ作成モードにおける抽出条件として設定する。
したがって、ユーザが選択した表情の人物像を有する静止画から後述するように特徴情報を取得して登録することができる。

引き続き、動画ファイルの選択を行う（ステップＳ３）。この動画ファイルの選択に際しては、保存メモリ２８に記憶されている動画ファイルのリストを表示部２６に表示し、このリストからタッチ等によりいずれかの動画ファイルが選択されると、当該動画ファイルを今回の認識用データ作成モードにおける対象動画ファイルして決定する。

そして、このステップＳ３で選択された動画ファイルから、前記ステップＳ１で設定された削除条件を満たす静止画データを削除する（ステップＳ４）。この静止画データの削除に際しては、選択された動画ファイルをＤＲＡＭ２１に展開し、このＤＲＡＭ２１に展開した複数の静止画データで構成される動画ファイルにおいて、削除条件を満たす静止画データを削除する。

したがって、ユーザが不要と判断して削除条件とした画像に対して、後述する特徴情報を抽出する処理がなされることがなく、無用な特徴情報抽出処理等の発生を未然に防止することができる。

なお、保存メモリ２８に記憶されている当該動画ファイルそのものから静止画データが削除されることはないので、保存メモリ２８に記憶されている当該動画ファイルが変改されるようなことはない。

さらに、このステップＳ４で静止画データが削除処理された後における動画ファイル、つまり削除後に残存する静止画データで構成される動画ファイルに、前記ステップＳ２で設定された抽出条件を満たす静止画データがあるか否かを判断する（ステップＳ５）。この削除処理後の動画ファイルに抽出条件を満たす静止画データがない場合には、表示部２６に抽出条件を満たす静止画がない旨の表示を行って（ステップＳ６）、エンドに進む。

また、動画ファイルに抽出条件を満たす静止画データが残存している場合には、当該削除処理された後のＤＲＡＭ２１内の動画ファイルから、前記抽出条件を満たす静止画データを抽出する（ステップＳ７）。したがって、ユーザが任意に選択した抽出条件を満たす静止画データのみが抽出されて、後述する特徴情報を抽出する処理がなされることから、結果としてユーザが特徴情報を抽出する条件を設定できることとなる。そして、この抽出した静止画データの１コマ目を表示部２６に表示する（ステップＳ８）。このステップＳ８での処理より、前記抽出条件を満たす１コマ目の静止画データに基づく静止画が表示部２６に表示される。

次に、この表示部２６に表示された静止画内に人物像（人物被写体）があるか否かを判断する（図３、ステップＳ９）。人物像がない場合には、後述するステップＳ２１に進む。人物像がある場合には、現在表示部２６に表示されている静止画内に人物像が複数あるか否かを判断する（ステップＳ１０）。人物像が複数ではなく、単一の人物像が表示されている場合には、当該人物像に枠を重ねて表示し（ステップＳ１６）、後述するステップＳ１７に進む。

また、人物像が複数ある場合には、データベース２９−３に既に顔の特徴情報登録されている登録人物像が当該静止画内にあるか否かを判断する（ステップＳ１１）。登録人物像がある場合には、直近にデータベース２９−３に登録した人物、つまり表示されている複数の人物像のうち、最も新しくデータベース２９−３に顔の特徴情報が登録された人物像に枠を重ねて表示する（ステップＳ１２）。また、当該静止画内に登録人物像がない場合には、一番右の人物像に枠を重ねて表示する（ステップＳ１３）。

引き続き、人物選択指示を検知したか否かを判断する（ステップＳ１４）。この人物選択指示は、キー入力部３０でのカーソルキーの操作により前記枠の移動を指示する操作である。そして、この操作よる人物選択指示が検知されたならば、表示部２６に表示させている枠を移動させて、別の人物に重ねて表示する（ステップＳ１５）。

したがって、現在表示部２６に表示されている静止画内に人物像が複数ある場合には、選択指示により、認識しようとする任意の人物像を選択して、後述する特徴情報を登録することができる。

さらに、決定指示を検知したか否かを判断する（ステップＳ１７）。この決定指示は、キー入力部３０でのＳＥＴキーの操作であり、この操作を検知しない場合には、後述するステップＳ２１に進む。また、前記操作により決定指示を検知した場合には、枠が重なっている人物像の特徴情報を抽出し、認識用データとしてデータベース２９−３に登録する（ステップＳ１８）。

このステップＳ１８での処理に際して制御部２２は、枠が重なっている人物像の顔の特徴を検出する。この顔の特徴は、例えば顔の各部位（目、鼻、口、耳、額顎、・・・等）の位置、各部位のサイズ、各部分の角度、顔の各部位間の相対関係等である。そして、これら検出した特徴を示す特徴情報を当該人物の認識用データとして、顔の画像とともにデータベース２９−３記憶する。

次に、キー入力部３０でのキー操作による優先度設定指示を検知したか否かを判断し（ステップＳ１９）、検知しない場合にはステップＳ２０の処理を行うことなく、ステップＳ２１に進む。優先度設定指示を検知した場合には、前記ステップＳ１８でデータベース２９−３に登録した特徴情報に対して、被写体認識に使用する優先度を設定する（ステップＳ２０）。

この優先度の設定に際しては、前記ステップＳ８で表示させた静止画像上に、優先度設定指示の検知に応答して、図４（Ｃ）に示すように、表示部２６に優先度設定画面２６３を表示させる。この優先度設定画面２６２は、図示のようにチェックボックスに対応して「高」、「中」、「低」の顔のレベル示す選択肢で構成され、チェックボックスに対するタッチ等によりチェックが入力された選択肢を今回の特徴情報の優先度として設定する。そして、この設定した優先度をデータベース２９−３において、前記ステップＳ１８で登録した特徴情報に対応して記憶させた後、前記優先度設定画面２６３を消去する。

なお、この優先度の設定に際してユーザは、後述する撮影モードにおいて確実に認識しされることを望む人物の優先度を高くして設定する。あるいは、当該人物像の顔部分が正面であるか横向き、下向き等の正面以外であるかを考慮して、最も当該人物の特徴が明瞭に撮影されている画像の優先度を高く設定する。

引き続き、キー入力部３０でのキー操作によるコマ送り指示を検知したか否かを判断する（ステップＳ２１）。コマ送り指示を検知しない場合には、終了指示を検知したか否かを判断し（ステップＳ２３）、終了指示を検出しない場合には、ステップＳ９に戻る。したがって、選択された動画ファイルに当該コマに複数の人物像が存在する場合には、２回目以降におけるステップＳ１２で直近に登録した人物像に枠が重ねて表示される。

よって、ユーザは枠の位置を視認することにより、直近に登録された人物像であること、つまり当該コマ（静止画）において既に登録を完了した人物であることを認識することができる。

そして、前述したように、人物選択指示により別の人物像に枠が移動し（ステップＳ１５）、決定指示により、当該人物像の特徴情報が識別用データとして、優先度を付加されあるいは付加されることなくデータベース２９−３に登録されることとなる。したがって、１コマ内に複数の人物像が存在する場合には、その全員を各々データベース２９−３に登録することもでき、そのうちの１名のみを登録することもできる。

そして、当該コマ（静止画）において所望の人物像の特徴情報の登録を完了したならば、キー入力部３０にてコマ送り指示を行う。これにより、ステップＳ２１の判断がＹＥＳとなり、ステップＳ２１からステップＳ２２に進んで、表示する静止画を次コマに切り替えて、ステップＳ９からの処理を繰り返す。

したがって、コマ送り指示を行えば、前記抽出条件を満たすコマの静止画を順次表示させて、特徴情報を登録することができ、ユーザは所望のコマ（静止画）から特徴情報を記憶させることができる。

また、終了指示を行うと、ステップＳ２３の判断がＹＥＳとなり、エンドに進んで選択された当該画像ファイルから抽出した静止画から特徴情報のデータベース２９−３への登録を終了する。

したがって、この認識用データ作成モードが実行されることにより、１回の動画撮影より得られた動画データにより、同一の人物被写体に対して複数の認識用データを生成することができる。したがって、同一人物被写体に対して複数の認識用データを生成するに際して、１回の動画撮影を行えばよく、これにより、顔認識精度を高めるために必要となる同一人物被写体に対する複数の認識用データを容易に生成してデータベース２９−３に記録するとが可能となる。

このようにして、特徴情報や優先度をデータベース２９−３に登録した後、ユーザが静止画撮影を行うべく撮影モードを設定すると、制御部２２は、プログラムに従って図５のフローチャートに示すように処理を実行する。まず、表示部２６にてスルー画像の表示を開始する（ステップＳ１０１）。次に、メモリ（ＤＲＡＭ２１等）の空き容量が所定値以下であるか否かを判断する（ステップＳ１０２）。

メモリ（ＤＲＡＭ２１等）の空き容量が所定値を超えており、充分な空き容量がある場合には、前述のようにしてデータベース２９−３に登録されている特徴情報の全てをメモリ（ＤＲＡＭ２１等）に展開する（ステップＳ１０３）。しかし、メモリ（ＤＲＡＭ２１等）の空き容量が所定値以下であって、空き容量が少ない場合には、データベース２９−３に登録されている特徴情報のうち、優先度の高いものだけ、例えば優先度「高」のものだけ、あるいは優先度「高」と「中」のものだけメモリ（ＤＲＡＭ２１等）に展開する（ステップＳ１０４）。

したがって、制限されたメモリ空き容量内において、優先度の高い特徴情報を用いて後述する被写体認識を行うことができる。

また、データベース２９−３に多数の人物の特徴情報が記憶されている場合、あるいは、個人毎に多数の特徴情報が記憶されている場合において、優先度の高い特徴情報を後述する被写体認識に用いることができる。

しかる後に、前記ステップＳ１０３又はＳ１０４で展開された特徴情報を基に、ＤＲＡＭ２１に一時的に保存されている１フレーム分の画像中における被写体を認識する（ステップＳ１０５）。すなわち、顔検出部２９−１により１フレーム分の画像から顔（顔領域を含む）を検出して、顔の特徴情報を抽出し、顔認識部２９−２によりメモリ（ＤＲＡＭ２１等）に展開されている特徴情報と比較して類似度を判定し、検出された顔がどの個人の顔であるかを特定して当該個人と認識する。

そして、この認識した当該個人である被写体に対してＡＦ、ＡＥ処理を実行する（ステップＳ１０６）。さらに、シャッタキーの操作による撮影指示が検知されたか否かを判断し（ステップＳ１０７）、撮影指示を検知したならば、撮影処理を実行してＤＲＡＭ２１に書き込まれている１フレーム分の撮影画像データを画像処理部２７にて処理させて、撮影画像データを生成する（ステップＳ１０８）。引き続き、この生成された撮影画像データを保存メモリ２８に記録する（ステップＳ１０９）。
これにより、認識した人物被写体にＡＦ、ＡＥが施されて、当該人物被写体が明瞭な撮影画像データを保存メモリ２８に記録することができる。

なお、実施の形態では、この発明をデジタルカメラに適用した場合を例にして説明しているが、デジタルカメラばかりでなく、光学系及び撮像素子を介して取り込んだ画像データを記録する機能を備えた装置、例えば、カメラ付携帯電話や撮像機能を備えた電子機器にも適用できる。また、この実施の形態では、被写体として「人物像」を例に挙げているが、動物、建造物などを被写体としてこの発明を適用してもよい。

本発明の一実施の形態に係るデジタルカメラの電子回路構成を示す図である。 認識用データ作成モードにおける処理手順を示すフローチャートである。 図２に続くフローチャートである。 表示画面例を示す図である。 撮影モードにおける処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
１３ ＣＣＤ
１５ 垂直ドライバ
１７ Ａ／Ｄ変換器
１８ カラープロセス回路
１９ ＤＭＡコントローラ
２１ ＤＲＡＭ
２２ 制御部
２４ ＶＲＡＭ
２５ デジタルビデオエンコーダ
２６ 表示部
２７ 画像処理部
２８ 保存メモリ
２９−１ 顔検出部
２９−２ 顔認識部
２９−３ データベース
３０ キー入力部
３１ タッチパネル
２６１ 削除条件設定画面
２６２ 優先度設定画面
２６２ 抽出条件設定画面
２６３ 優先度設定画面

Claims (17)

1. 動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出手段と、
   この検出手段により検出された特定の被写体の各々から特徴情報を取得する取得手段と、
   この取得手段により取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成手段と
   を備えることを特徴とする認識用データ生成装置。
2. 前記動画データを構成する複数の静止画データの中から、任意の静止画データを選択する第１の選択手段を備え、
   前記検出手段は、前記第１の選択手段により選択された静止画データに基づく静止画像の各々から、特定の被写体を検出する
   ことを特徴とする請求項１記載の認識用データ生成装置。
3. 動画データを構成する複数の静止画データに基づく複数の静止画像を表示する表示手段と、
   前記表示手段に表示されている静止画像を指定する指定手段とを備え、
   前記第１の選択手段は、前記指定手段により指定された静止画像を選択する
   ことを特徴とする請求項２記載の認識用データ生成装置。
4. 前記動画データを構成する複数の静止画データの中から、所定の削除条件を満たす静止画データを削除する削除手段を備え、
   前記第１の選択手段は、前記動画データにおいて前記削除手段により削除されることなく残存する複数の静止画データの中から、任意の静止画データを選択する
   ことを特徴とする請求項２又は３記載の認識用データ生成装置。
5. 前記所定の削除条件を設定する第１の設定手段を備えることを特徴とする請求項４記載の認識用データ生成装置。
6. 前記動画データを構成する複数の静止画データの中から、所定の抽出条件を満たす静止画を抽出する抽出手段を備え、
   前記第１の選択手段は、前記動画データにおいて前記抽出手段により抽出された複数の静止画データの中から、任意の静止画データを選択する
   ことを特徴とする請求項２から５にいずれか記載の認識用データ生成装置。
7. 前記所定の抽出条件を設定する第２の設定手段を備えることを特徴とする請求項６記載の認識用データ生成装置。
8. 前記検出手段は、動画データを構成する静止画データに基づく静止画像の中に前記特定の被写体が複数存在する場合、既に前記認識用データの生成に用いられている特徴情報を含む被写体を検出することを特徴とする請求項１から７いずれか記載の認識用データ生成装置。
9. 前記動画データを構成する静止画データに基づく静止画像の中に、前記検出手段により検出された特定の被写体が複数存在する場合、これら複数の特定の被写体からいずれかを選択する第２の選択手段を備え、
   前記取得手段は、前記第２の選択手段により選択された被写体から前記特徴情報を取得することを特徴とする請求項１から７いずれか記載の認識用データ生成装置。
10. 前記特定の被写体とは、人物であることを特徴とする請求項１から９にいずれか記載の認識用データ生成装置。
11. 前記認識用データ生成手段により生成された前記認識用データを記憶する記憶手段を備えることを特徴とする請求項１から１０にいずれか記載の認識用データ生成装置。
12. 前記認識用データ生成手段により生成された認識用データに優先度を設定する第３の設定手段を備え
    前記記憶手段は、前記第３の設定手段により設定された優先度とともに前記認識用データを記憶することを特徴とする請求項１０記載の認識用データ生成装置。
13. 請求項１から１２にいずれか記載の認識用データ生成装置を備えるとともに、
    前記認識用データ生成手段により生成された認識用データに基づき、被写体を認識する認識手段を備えることを特徴とする電子カメラ。
14. 請求項１２記載の認識用データ生成装置を備え、
    被写体像を撮像して画像データを得る撮像手段と、
    前記記憶手段から読み出した認識用データとその他のデータとを保持する保持手段と、
    前記優先度に基づき、少なくとも一つの認識用データを前記保持手段に保持させる保持制御手段と、
    この保持制御手段により前記保持手段に保持された認識用データに基づき、当該メモリに保持されている前記画像データ内の被写体を認識する認識手段と
    を備えることを特徴とする電子カメラ。
15. 前記保持手段は、前記撮像手段により得られた画像データを、前記記憶手段から読み出した認識用データとともに保持することを特徴とする請求項１４記載の電子カメラ。
16. 認識用データ生成装置が有するコンピュータを、
    動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出手段と、
    この検出手段により検出された特定の被写体の各々から特徴情報を取得する取得手段と、
    この取得手段により取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成手段と
    して機能させることを特徴とする認識用データ生成プログラム。
17. 動画データを構成する複数の静止画データに基づく複数の静止画像の各々から、特定の被写体を検出する検出ステップと、
    この検出ステップにより検出された特定の被写体の各々から特徴情報を取得する取得ステップと、
    この取得ステップにより取得された複数の特徴情報を用いて、前記特定の被写体を認識するための認識用データを生成する認識用データ生成ステップと
    を含むことを特徴とする認識用データ生成方法。

Images