JP2010004357A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写体に含まれる人物が、撮像中の動画像から検出されている時間を提示できる撮像装置を提供すること。
【解決手段】撮像装置１００は、被写体の動画像を撮像して撮像データを得るイメージセンサ２３と、照合用の顔認識情報を記憶するデータベース２８と、撮像データから人物の顔を認識し、当該人物の顔の特徴を示す顔認識情報を生成する顔検出ブロック２７とを有する。顔検出ブロック２７が生成した顔認識情報と一致する顔認識情報が、データベース２８から検出されと、当該人物の顔認識情報が検出されている積算時間が計測される。計測された積算時間は、表示装置１４に表示される。
【選択図】 図１

Description

本発明は、顔認識機能を有する撮像装置及び撮像方法に関する。

従来、画像中から人間の顔を識別、抽出する顔認識技術が実用化されている。顔認識では、画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。特徴点としては、顔を形成する目や鼻、唇の端点等が用いられる。検出した顔の特徴点に基づいて、顔を識別するための顔認識情報が生成される。人物の顔を撮像した撮像画像データから顔認識情報を生成し、当該生成された顔認識情報を予め登録してある顔認識情報と比較し、人物を照合することも行われている。

特許文献１には、このような顔認識技術を利用する電子カメラが記載されている。この電子カメラでは、人物毎に顔認識データと、当該人物を撮影する際の処理設定が予め登録されている。ユーザによって指定された認識対象の顔が、撮像データから検出された場合に、その人物に対応する設定で撮影時の各種処理が行われる。登録される人物には予め優先順位が設定されており、複数の認識対象が撮影された場合には、優先順位が最も高い人物に対応する設定で撮影が行われる。
特開２００７−１５０６０３号公報（段落００５５、図４）

上述の電子カメラでは、撮影された回数が多い人物の順に、優先順位を付すこともできる。このため、撮影回数が多い人物に合わせた設定で撮影が可能となる。

しかしながらこの電子カメラでは、動画像の撮像において、人物が撮像される時間の長さを、撮像中に確認するようなことはできない。従って、複数の人物を含む被写体の動画撮像の際に人物間に登場時間の偏りがあっても、撮影者が撮像中にその偏りを認識できない。このため、動画像の撮像が終了して当該動画像を再生した際に始めて、登場時間の偏りに気が付くことがある。

本発明は、前記のような問題に鑑みなされたもので、被写体に含まれる人物が撮像中の動画像から検出される時間を提示できる撮像装置を提供することを目的とする。

本発明の一実施形態に係る撮像装置は、被写体の動画像を撮像して撮像データを得る撮像手段と、照合用顔認識情報を記憶するデータベースと、前記撮像データから人物の顔を認識し、当該人物の顔の特徴を示す顔認識情報を生成する顔認識手段と、前記顔認識手段が生成した顔認識情報と一致する照合用顔認識情報を、前記データベースから検出する検出手段と、当該人物の顔認識情報が前記検出手段によって検出されている積算時間を計測する計測手段と、前記計測手段によって計測された積算時間を表示部に表示させる表示制御手段とを具備する。

本発明の一実施形態に係る撮像装置によれば、被写体の動撮像データから得られた顔認識情報と一致する照合用顔認識情報がデータベースから検出される。一致する照合用顔認識情報が検出された顔認識情報について、検出されている検出時間の積算値が積算検出時間として計測される。計測された積算検出時間は、表示制御手段によって表示部に表示される。従って、被写体に含まれる人物が撮像中の動画像から検出される時間を提示することが可能となる。

以下、図面を参照して本発明による撮像装置の実施形態を説明する。

図１は本発明の一実施形態に係る撮像装置の構成を示すブロック図である。

撮像装置１００の各構成要素は、バスを介してＣＰＵ１１に接続されている。ＣＰＵ１１と各構成要素との間では、バスを介して信号の入出力が行われる。ＣＰＵ１１は図示しないＲＯＭに記憶されているプログラムに従い、撮像装置１００全体の動作を制御する。ＣＰＵ１１には、タイマ・カウンタが内蔵されている。

撮像装置１００は、光学レンズ系２１を備える。光学レンズ系２１は、ズームレンズやフォーカスレンズを含む複数のレンズ群からなる。レンズ駆動部２２は、ＣＰＵ１１の制御に基づいて光学レンズ系２１のレンズ群を駆動する。

光学レンズ系２１を介して結像される被写体の光学像は、イメージセンサ２３によって電気信号（撮像データ）に変換される。イメージセンサ２３は、例えばＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ等のイメージセンサである。

画像処理部２４は、撮像データに対してアナログ・デジタル変換を行ってデジタル信号に変換し、シャープネス処理、コントラスト処理、ガンマ補正、ホワイトバランス処理、ノイズ除去処理等の画像処理を行う。

ズーム処理部２５は、画像処理部２４から出力された撮像データに対して、設定されているズーム倍率に応じて画素補間処理や画素間引き処理等の電子的なズーム処理を行う。ズーム処理部２５によってズーム処理された撮像データは、適切な画像フォーマットに変換されたうえで、メモリ２６に記憶される。

この撮像装置１００は更に、入出力インタフェース１２を有する。入力装置１３及び表示装置１４は、入出力インタフェース１２を介してＣＰＵ１１と信号のやり取りを行う。

入力装置１３は、ＪＯＧダイヤル、十字キー、ＲＥＣキー等を含む操作キー群を有する。操作キー群は、撮像装置１００本体に設置されている。ユーザが操作キー群のいずれかのキーを操作すると、操作に応じた入力情報がＣＰＵ１１に伝達される。ユーザはキー操作によって、撮像装置１００の機能（例えば、再生の開始や停止、撮像の停止や一時停止など）の選択及び実行を指示することができる。また、動画像の再生中にＪＯＧダイヤルが操作されると、その操作に応じて再生速度が調整される。また、ユーザは、キー操作によって、ズーム倍率を設定することができる。ユーザがＲＥＣキーを押下すると、動画像記録の開始指示がＣＰＵ１１に入力する。

メモリ２６に記憶された撮像データは、表示装置１４に適合したフォーマットに変換されて表示装置１４にプレビュー画像として表示される。表示装置１４は、例えば液晶ディスプレイ（ＬＣＤ）等の表示装置である。表示装置１４には、撮像データに限らず、画像データを編集するための編集制御情報や、撮像データの表示を変更するための表示制御情報等も表示可能である。

入出力インタフェース１２には、外部接続端子を介して図示しない外部装置が接続されてもよい。外部出力端子は例えば、コンポジット端子、Ｓ端子、コンポーネント端子、Ｄ端子及びＨＤＭＩ端子等を含んでもよい。パーソナルコンピュータ（ＰＣ）やＤＶＤプレーヤ等の外部装置に撮像データを送信して再生させることもできる。

また撮像装置１００は、画像データを記録するための記憶装置としてハードディスクドライブ（ＨＤＤ）１５を有する。ＨＤＤ１５は、内蔵するハードディスク（ＨＤ）に圧縮された画像データを記録する。撮像された画像データの記憶（録画処理）は、記録制御部１６によって制御される。ＨＤＤ１５は、内蔵ハードディスクに対するランダムアクセスが可能である。ＨＤＤ１５は、撮像装置１００に内蔵されずに、外付けされていてもよい。ＨＤＤ１５に換えて、フラッシュメモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等が用いられてもよい。画像データ及び音声データは、ＳＤメモリカード、メモリスティック、ＦＬＡＳＨ ＲＯＭ等の外部記録装置１７に記憶されてもよい。また撮像装置１００は、ＨＤＤ１５あるいは外部記録装置１７に記憶されている画像データを読み出して再生することも可能である。

撮像装置１００は、図示しないＬＡＮ端子を備え、ＤＶＤレコーダやＨＤＤレコーダ、パーソナルコンピュータ等の外部装置とＬＡＮで接続されてもよい。撮像データはＬＡＮ端子を介して接続された外部装置に転送されて、再生又は記憶される。あるいは、外部装置に記憶された画像データや音声データがＬＡＮ端子を介して撮像装置１００に入力し、再生又は記憶されてもよい。また、撮像装置１００はＬＡＮ端子に換えて、あるいはＬＡＮ端子に加えてＵＳＢ端子を備え、撮像装置１００と外部装置とがＵＳＢ接続されてもよい。

本実施形態による撮像装置１００は、顔検出ブロック２７を備えている。顔検出ブロック２７は、周知の顔認識技術を用いて顔認識を行う。顔認識ブロック２７は、メモリ２６に記憶された撮像データから顔の特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。特徴点としては、顔を形成する目、鼻、唇の端点等が用いられる。顔認識ブロック２７は、検出した顔の特徴に基づいて、被写体となった人物の顔を識別するための顔認識情報を生成する。また、顔検出ブロック２７は、顔認識データベース（記憶手段）２８にアクセスして、生成された顔認識情報と一致するデータを検索、照合する。

顔認識情報ベース２８は、予め、人物ごとの顔認識情報を登録しておくことができる記憶装置である。図１に示すように顔認識データベース２８には、人物ごとに「識別情報」「画像データ」「顔認識情報」等のデータが登録される。また、メモリ２６に記憶された撮像データから生成された顔認識情報を、ユーザの指示に応じてデータベース２８に登録することも可能である。

以下では、撮像データから生成された顔認識情報を顔認識データベース２８に登録する処理について説明する。

図２は、本発明の一実施形態に係る顔認識情報登録処理のフローチャートである。

顔認識情報を登録する場合は、まず、登録対象となる人物の顔を撮像する（ブロックＢ２２）。イメージセンサ２３から出力された画像データは、画像処理部２４によって各種の画像処理が施され、ズーム処理部２５によってズーム処理が施された後、メモリ２６に記憶される。顔検出ブロック２７は、メモリ２６に記憶された画像データから特徴点等、顔の特徴を抽出し、顔認識情報を生成する（ブロックＢ２４）。顔検出ブロック２７は、生成した顔認識情報を顔認識データベース２８に送信して、登録対象人物の氏名（あるいはニックネーム等）といった識別情報と関連付けて登録する（ブロックＢ２６）。顔認識情報と関連付けられる識別情報は、予めユーザによって入力されていてもよいが、ブロックＢ２６の処理に際してユーザに識別情報の入力を促してもよい。顔認識情報の他に、撮像された画像データもまた、識別情報と関連付けられて登録される。

また、顔検出ブロック２７は、上記と同様の処理によって、ＨＤＤ１５又は外部記録装置１７に記録されている画像データに対して顔認識処理を行い、生成した顔認識情報をデー顔認識データベース２８に登録することもできる。

図１に示す例では、人物Ａ、Ｂ、Ｃ…それぞれの顔認識情報が登録されている。

本実施形態に係る撮像装置１００は、撮像データから生成された顔認識情報と、顔認識データベース２８に登録された顔認識情報とを照合する顔照合機能を有する。以下では、この機能を利用した動画像撮像処理について説明する。

図３は、本発明の一実施形態に係る顔照合機能を利用した動画像撮像処理のフローチャートである。

図３の動画像撮像処理が起動すると、所定の時間間隔で被写体の撮像処理が行われる（ブロックＢ３１）。イメージセンサ２３から出力された画像データは、画像処理部２４によって各種の画像処理が施され、ズーム処理部２５によってズーム処理が施された後、メモリ２６に記憶される。顔検出ブロック２７は、メモリ２６に記憶された撮像データから特徴点等、顔の特徴を抽出し、顔認識情報を生成する（ブロックＢ３２）。複数の人物を含む被写体が撮像されている場合は、それぞれの人物について特徴点が抽出され、それぞれの人物の顔認識情報が生成される。

次に、生成された顔認識情報と、顔認識データベース２８に記憶されている顔認識情報とが照合される（ブロックＢ３３）。複数の人物の顔認識情報が撮像データから生成された場合は、それぞれの人物について照合が行われる。

照合の結果、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されていないと判断された場合は（ブロックＢ３４でＮｏ）、ブロックＢ３１に戻り、所定の時間間隔での撮像処理が繰り返される。

一方、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されている場合には（ブロックＢ３４でＹｅｓ）、当該人物が撮像され検出されている時間をタイマ・カウンタにより計測し積算する（ブロックＢ３５）。複数の人物について、顔認識情報の一致が認められることがあるが、この場合には、当該複数の人物それぞれについて、検出時間の計測及び積算が行われる。

図４は、タイマ・カウンタによる人物ごとの検出時間の計測を概略的に示す図である。図４の例では、合計記録時間Ｔの間、人物Ａは期間ａ１，ａ２，ａ３にわたって撮像されて検出されており、タイマ・カウンタはこの期間ａ１，ａ２，ａ３を計測している。また人物Ｂは期間ｂ１，ｂ２，ｂ３にわたって撮像、検出され、人物Ｃは期間ｃ１，ｃ２において撮像されて検出されている。

図５は、検出時間の積算結果の一例を概略的に示す図である。図４の例で検出された検出時間は人物ごとにそれぞれ積算されて、図５に示すように合計の積算時間が得られる。人物Ａの検出積算時間はα＝ａ１＋ａ２＋ａ３によって算出される。また、人物Ｂの検出積算時間はβ＝ｂ１＋ｂ２＋ｂ３によって算出される。同様に、人物Ｃの検出積算時間はγ＝ｃ１＋ｃ２によって算出される。このようにして人物毎に顔検出時間の管理を行うことが可能となる。

続いて、積算、算出された検出積算時間を、人物ごとに表示装置１４の表示画面上に表示する（ブロックＢ３６）。図６は、検出積算時間表示の一例を示す図である。図６では、人物Ａ、Ｂ及びＣそれぞれの識別情報（それぞれの名前）と検出積算時間（Ａさん：５１１秒、Ｂさん：１５５秒、Ｃさん：５７６秒）が、プレビュー画像に重ね合わされて表示されている。このためユーザは、どの人物がどれくらいの時間にわたって記録されているかを、容易に知ることができる。

次に、撮像、検出されている人物のうち、検出積算時間が所定の閾時間に満たない人物がいるか否かが判断される（ブロックＢ３７）。すなわち、被写体に含まれる人物の中で、撮像された時間が少ない人物がいるか否かが判断される。ここで、閾時間は合計録画時間Ｔに対する比率で表すことができ、例えば合計録画時間Ｔの５０％、６０％…等を閾時間として設定することができる。閾時間はユーザによって設定されていてもよいが、デフォルトで設定されていてもよい。検出積算時間が閾時間に満たない人物は、記録中の動画像に出現する頻度が少ない人物であると見なすことができる。

検出積算時間が所定の閾値に満たない人物がいない場合は（ブロックＢ３７でＮｏ）、ブロックＢ３１に戻り、所定の間隔での撮像処理が繰り返される。

一方、検出積算時間が所定の閾値に満たない人物がいる場合は（ブロックＢ３７でＹｅｓ）、当該人物をもっと長く撮影するようユーザに促すメッセージを表示する（ブロックＢ３８）。図７は、メッセージ表示の一例を示す図である。図７では、表示されている各人物の検出積算時間の下に、メッセージ「Ｂさんを重点的に撮影してください」が表示されている。このメッセージにより、ユーザは撮像時間が短い人物がいることを知ることができる。従って、メッセージを参照して当該人物を重点的に撮像することもでき、人物間での撮像時間の偏りを低減することができるようになる。

複数の人物の検出積算時間が閾時間に満たないと、ブロックＢ３７で判断された場合には、これら複数の人物全てについて検出積算時間が短い旨を示すメッセージを表示してもよい。あるいは、これら複数の人物のうち最も検出積算時間が短い人物についてのみ、メッセージを表示してもよい。

続いて、ユーザにより動画像撮像処理の終了が指示されたか否かが判断される（ブロックＢ３９）。終了指示がない場合は（ブロックＢ３９でＮｏ）、ブロックＢ３１に戻り、所定の間隔での撮像処理が繰り返される。一方、ユーザが撮像処理の終了を指示した場合には（ブロックＢ３９でＹｅｓ）、本動画像撮像処理が終了する。

以上説明したように、本実施形態に係る動画像撮像処理では、顔認識ブロック２７は、被写体に含まれる人物の顔を認識する。認識の結果に基づいて、人物ごとに撮像され検出された時間を計測して積算し、積算された検出時間を表示装置１４に表示した。このためユーザは、表示を参照して、人物ごとの撮像時間の長短を認識することができる。また、検出積算時間が所定の閾時間に満たない人物について、検出積算時間が短いことを通知するメッセージ（当該人物を重点的に撮像するよう促すメッセージ）が、表示装置１４に表示された。このためユーザは、表示を参照して、検出積算時間が短い人物を重点的に撮像することができる。

従って、本実施形態に係る動画像撮像処理によって、人物間での撮像時間の偏りを低減できるようになる。

なお上述の説明では、検出積算時間が所定の閾時間に満たない人物がいるか否かを判断し、検出積算時間が所定の閾時間に満たない人物について所定のメッセージを表示するようにした。しかしながら、検出積算時間と閾時間との関係を判断せず、最も検出積算時間が短い人物について当該メッセージを表示するようにしてもよい。

変形例
本発明は上述した実施の形態に限定されず、種々変形して実施可能である。例えば、上述の説明では、顔認識処理によって顔が検出された時間を計測、積算して人物ごとに管理していた。しかしながら、検出時間に限らず、顔検出時の焦点情報等、撮影状態を表す情報や、表情情報と関連付けて顔検出時間を管理することもできる。

（１）焦点情報との関連付け
図８は、焦点情報と関連付けて顔検出時間を管理する場合の動画像撮像処理のフローチャートである。

図８の動画像撮像処理が起動すると、所定の時間間隔で被写体の撮像処理が行われる（ブロックＢ８１）。顔検出ブロック２７は、メモリ２６に記憶された撮像データから特徴点等、顔の特徴を抽出し、顔認識情報を生成する（ブロックＢ８２）。複数の人物を含む被写体が撮像されている場合は、それぞれの人物について特徴点が抽出され、それぞれの人物の顔認識情報が生成される。

次に、生成された顔認識情報と、顔認識データベース２８に記憶されている顔認識情報とが照合される（ブロックＢ８３）。撮像データから、複数の人物の顔認識情報が生成された場合は、それぞれの人物について照合が行われる。

照合の結果、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されていないと判断された場合は（ブロックＢ８４でＮｏ）、ブロックＢ８１に戻り、所定の時間間隔での撮像処理が繰り返される。

一方、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されている場合には（ブロックＢ８４でＹｅｓ）、当該人物に光学レンズ系２１の焦点が合っているか否かが判断される（ブロックＢ８５）。当該人物が合焦状態にない場合（ブロックＢ８５でＮｏ）には、ブロックＢ８１に戻り、所定の時間間隔での撮像処理が繰り返される。

一方、この人物に焦点が合っている場合には（ブロックＢ８５でＹｅｓ）、当該人物が合焦状態にある合焦時間をタイマ・カウンタにより計測し積算する（ブロックＢ８６）。複数の人物が合焦状態にある場合には、当該複数の人物それぞれについて、合焦時間の計測及び積算が行われる。

続いて、積算された合焦積算時間を、人物ごとに表示装置１４の表示画面上に表示する（ブロックＢ８７）。

次に、撮像されている人物のうち、合焦積算時間が所定の閾時間に満たない人物がいるか否かが判断される（ブロックＢ８８）。ここで、閾時間は合計録画時間Ｔに対する比率で表すことができ、例えば合計録画時間Ｔの５０％、６０％…等を閾時間として設定することができる。閾時間はユーザによって設定されていてもよいが、デフォルトで設定されていてもよい。合焦積算時間が閾時間に満たない人物は、いわゆるピンぼけの状態で写っていることの多い人物であると見なすことができる。

合焦積算時間が所定の閾値に満たない人物がいない場合は（ブロックＢ８８でＮｏ）、ブロックＢ８１に戻り、所定の間隔での撮像処理が繰り返される。一方、合焦積算時間が所定の閾値に満たない人物がいる場合は（ブロックＢ８８でＹｅｓ）、当該人物に焦点を合わせるようユーザに促すメッセージを表示する（ブロックＢ８９）。

図９は、メッセージ表示の一例を示す図である。図９では、人物Ａ、Ｂ及びＣそれぞれの識別情報と合焦積算時間（Ａさん：４６０秒、Ｂさん：５１秒、Ｃさん：４４５秒）が、プレビュー画像に重ね合わされて表示されている。このためユーザは、どの人物が焦点から外れていることが多いかを、容易に知ることができる。また、各人物の合焦積算時間の下に、メッセージ「Ｂさんに対するフォーカスが甘いようです」が表示されている。従ってユーザは、メッセージを参照して当該人物に重点的に焦点を合わせて撮像することもでき、人物間での合焦状態の偏りを低減することができるようになる。

続いて、ユーザにより動画像撮像処理の終了が指示されたか否かが判断される（ブロックＢ９０）。終了指示がない場合は（ブロックＢ９０でＮｏ）、ブロックＢ８１に戻り、所定の間隔での撮像処理が繰り返される。一方、ユーザが撮像処理の終了を指示した場合には（ブロックＢ９０でＹｅｓ）、本動画像撮像処理が終了する。

このような動画像撮像処理によって、人物間での合焦状態の偏りを低減できるようになる。

なお上述の説明では、合焦積算時間が所定の閾時間に満たない人物がいるか否かを判断し、合焦積算時間が所定の閾時間に満たない人物について所定のメッセージを表示するようにした。しかしながら、合焦積算時間と閾時間との関係を判断せず、最も合焦積算時間が短い人物について当該メッセージを表示するようにしてもよい。

（２）表情情報との関連付け
一般の顔認識処理では、画像データから抽出される人物の顔が笑顔であるか等、人物の表情を認識することもできる。表情は、検出された特徴点に基づいて、目や口唇の角度を算出して判断される。以下では、このような表情情報と関連付けて顔検出時間を管理する動画撮影について説明する。

図１０は、表情情報と関連付けて顔検出時間を管理する場合の動画像撮像処理のフローチャートである。

図１０の動画像撮像処理が起動すると、所定の時間間隔で被写体の撮像処理が行われる（ブロックＢ１０１）。顔検出ブロック２７は、メモリ２６に記憶された撮像データから特徴点等、顔の特徴を抽出し、顔認識情報を生成する（ブロックＢ１０２）。このとき顔の特徴から当該人物の表情情報も検出される。複数の人物を含む被写体が撮像されている場合は、それぞれの人物について特徴点が抽出され、それぞれの人物の顔認識情報が生成される。

次に、生成された顔認識情報と、顔認識データベース２８に記憶されている顔認識情報とが照合される（ブロックＢ０１３）。撮像データから、複数の人物の顔認識情報が生成された場合は、それぞれの人物について照合が行われる。

照合の結果、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されていないと判断された場合は（ブロックＢ１０４でＮｏ）、ブロックＢ１０１に戻り、所定の時間間隔での撮像処理が繰り返される。

一方、顔認識データベース２８の登録内容と一致する顔認識情報を有する人物が撮像されている場合には（ブロックＢ１０４でＹｅｓ）、当該人物の表情が笑顔であるか否かが、表情情報に基づいて判断される（ブロックＢ１０５）。当該人物が笑顔ではない場合（ブロックＢ１０５でＮｏ）には、ブロックＢ１０１に戻り、所定の時間間隔での撮像処理が繰り返される。

一方、この人物に笑顔である場合には（ブロックＢ１０５でＹｅｓ）、当該人物が笑顔を維持している笑顔時間をタイマ・カウンタにより計測し積算する（ブロックＢ１０６）。複数の人物が笑顔を維持している場合には、当該複数の人物それぞれについて、笑顔時間の計測及び積算が行われる。

続いて、積算された笑顔積算時間を、人物ごとに表示装置１４の表示画面上に表示する（ブロックＢ１０７）。

次に、撮像されている人物のうち、笑顔積算時間が所定の閾時間に満たない人物がいるか否かが判断される（ブロックＢ１０８）。ここで、閾時間は合計録画時間Ｔに対する比率で表すことができ、例えば合計録画時間Ｔの５０％、６０％…等を閾時間として設定することができる。閾時間はユーザによって設定されていてもよいが、デフォルトで設定されていてもよい。合焦積算時間が閾時間に満たない人物は、撮影中にあまり笑顔を見せていない人物であると見なすことができる。

笑顔積算時間が所定の閾値に満たない人物がいない場合はに（ブロックＢ１０８でＮｏ）、ブロックＢ１０１に戻り、所定の間隔での撮像処理が繰り返される。一方、笑顔積算時間が所定の閾値に満たない人物がいる場合は（ブロックＢ１０８でＹｅｓ）、当該人物に笑ってもらうよう促すメッセージを表示する（ブロックＢ１０９）。

図１１は、メッセージ表示の一例を示す図である。図１１では、人物Ａ、Ｂ及びＣそれぞれの識別情報と笑顔積算時間（Ａさん：０２２秒、Ｂさん：５４秒、Ｃさん：２３３秒）が、プレビュー画像に重ね合わされて表示されている。このためユーザは、どの人物が笑顔が少ないかを、容易に知ることができる。また、各人物の笑顔積算時間の下に、メッセージ「Ａさんにもっと笑顔になってもらいましょう」が表示されている。従ってユーザは、メッセージを参照して当該人物に笑うよう促すことができるようになる。

続いて、ユーザにより動画像撮像処理の終了が指示されたか否かが判断される（ブロックＢ１１０）。終了指示がない場合は（ブロックＢ１１０でＮｏ）、ブロックＢ１０１に戻り、所定の間隔での撮像処理が繰り返される。一方、ユーザが撮像処理の終了を指示した場合には（ブロックＢ１１０でＹｅｓ）、本動画像撮像処理が終了する。

なお、上述の説明では、撮像された人物が笑顔を維持している時間を計測して積算したが、笑顔ではなく、他の表情について同様の処理が行われてもよい。

なお上述の説明では、笑顔積算時間が所定の閾時間に満たない人物がいるか否かを判断し、笑顔積算時間が所定の閾時間に満たない人物について所定のメッセージを表示するようにした。しかしながら、笑顔積算時間と閾時間との関係を判断せず、最も笑顔積算時間が短い人物について当該メッセージを表示するようにしてもよい。

上述の（１）では、顔検出時間を焦点情報と関連付けて管理し、（２）では、顔検出時間を表情情報と関連付けて管理した。しかしながら、これに限らず、上記と同様の処理によって、ズーム設定等の撮影設定情報、顔角度情報等と顔検出時間が関連付けられて管理されてもよい。これにより、所定の撮影状態に応じたズーム制御が可能となる。例えばズーム倍率と関連付けて管理する場合には、高倍率での撮影が多い人物について、その識別情報と共にもう少し接近して撮影するのが望ましい旨をユーザに通知することができる。

なお、図３のブロックＢ３８、図８のブロックＢ８９、図１０のブロックＢ１０９で表示されるメッセージは、上記のメッセージには限られない。どのようなメッセージを表示するかを、ユーザが任意に設定できるような構成を取ることも可能である。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

また、本発明は、コンピュータに所定の手段を実行させるため、コンピュータを所定の手段として機能させるため、コンピュータに所定の機能を実現させるため、あるいはプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。

また、上述の説明は個々の実施例それぞれについて行ったが、複数の実施例を適宜組み合わせてもよい。

本発明の一実施形態に係る撮像装置の構成を示すブロック図。 本発明の一実施形態に係る顔認識情報登録処理のフローチャート。 本発明の一実施形態に係る、顔照合機能を利用した動画像撮像処理のフローチャート。 タイマ・カウンタによる人物ごとの検出時間の計測を概略的に示す図 検出時間の積算結果の一例を概略的に示す図。 検出積算時間の表示の一例を示す図。 メッセージ表示の一例を示す図。 焦点情報と関連付けて顔検出時間を管理する場合の動画像撮像処理のフローチャート。 メッセージ表示の他の一例を示す図。 表情情報と関連付けて顔検出時間を管理する場合の動画像撮像処理のフローチャート。 メッセージ表示の更に他の一例を示す図。

符号の説明

１１…ＣＰＵ、１２…入出力インタフェース、１３…入力装置、１４…表示装置、１５…ハードディスクドライブ、１６…記録制御部、１７…外部記録装置、２１…光学レンズ系、２２…レンズ駆動部、２３…イメージセンサ、２４…画像処理部、２５…ズーム処理部、２６…メモリ、２７…顔検出ブロック、２８…データベース。

Claims (12)

1. 被写体の動画像を撮像して撮像データを得る撮像手段と、
   照合用顔認識情報を記憶するデータベースと、
   前記撮像データから人物の顔を認識し、当該人物の顔の特徴を示す顔認識情報を生成する顔認識手段と、
   前記顔認識手段が生成した顔認識情報と一致する照合用顔認識情報を、前記データベースから検出する検出手段と、
   当該人物の顔認識情報が前記検出手段によって検出されている積算時間を計測する計測手段と、
   前記計測手段によって計測された積算時間を表示部に表示させる表示制御手段と、
   を具備する撮像装置。
2. 前記計測手段によって計測された積算時間が、所定の閾時間未満であるか否かを判断する判断手段と、
   前記積算時間は前記所定の閾時間未満であると前記判断手段が判断した場合に、前記積算時間が前記所定の閾時間未満である旨をユーザに通知する通知手段と、
   を更に具備する請求項１に記載の撮像装置。
3. 前記通知手段は、前記人物の識別情報と所定のメッセージを前記表示部に表示させる、請求項２に記載の撮像装置。
4. 前記顔認識手段は、撮像データに含まれる複数の人物の顔を認識して、前記複数の人物それぞれの顔認識情報を生成し、
   前記検出手段は、前記複数の人物それぞれの顔認識情報について、一致する照合用顔認識情報を前記データベースから検出し、
   前記計測手段は、前記複数の人物のそれぞれについて、顔認識情報が前記検出手段によって検出されている積算時間を計測し、
   前記表示制御手段は、前記計測手段が計測した積算時間を、前記複数の人物ごとに表示部に表示させる、
   請求項１に記載の撮像装置。
5. 前記計測手段によって計測された積算時間が、所定の閾時間未満であるか否かを判断する判断手段と、
   前記積算時間のうち、前記所定の閾時間未満であると前記判断手段によって判断された積算時間について、当該積算時間が前記所定の閾値未満である旨をユーザに通知する通知手段と、
   を更に具備する請求項４に記載の撮像装置。
6. 前記判断手段は、前記所定の閾時間未満であると判断された一以上の積算時間のうち、最小の積算時間を検出し、
   前記通知手段は、当該最小の積算時間に対応する人物の識別情報と、所定のメッセージを前記表示部に表示させる、請求項５に記載の撮像装置。
7. 前記計測手段は、前記検出手段によって前記一致する顔認識情報が前記データベースから検出されると、当該人物が所定の撮影状態の下にある積算時間を計測し、
   前記表示制御手段は、前記計測手段によって計測された積算時間を撮影状態ごとに前記表示部に表示させる、
   請求項１に記載の撮像装置。
8. 前記計測手段によって計測された積算時間が、所定の閾時間未満であるか否かを判断する判断手段と、
   前記積算時間は前記所定の閾時間未満であると前記判断手段が判断した場合に、前記積算時間が前記所定の閾時間未満である旨をユーザに通知する通知手段と、
   を更に具備する請求項７に記載の撮像装置。
9. 前記顔認識手段は、当該人物の表情情報を検出し、
   前記計測手段は、前記検出手段によって前記一致する顔認識情報が前記データベースから検出されると、当該人物が所定の表情を維持している積算時間を前記表情情報に基づいて計測し、
   前記表示制御手段は、前記計測手段によって計測された積算時間を前記表示部に表示させる、
   請求項１に記載の撮像装置。
10. 前記計測手段によって計測された積算時間が、所定の閾時間未満であるか否かを判断する判断手段と、
    前記積算時間は前記所定の閾時間未満であると前記判断手段が判断した場合に、前記積算時間が前記所定の閾時間未満である旨をユーザに通知する通知手段と、
    を更に具備する請求項９に記載の撮像装置。
11. 被写体の動画像を撮像して撮像データを得る撮像手段と、照合用顔認識情報を記憶するデータベースとを有する撮像装置を用いた撮像方法であって、
    前記撮像データから人物の顔を認識して、当該人物の顔の特徴を示す顔認識情報を生成し、
    前記生成された顔認識情報と一致する照合用顔認識情報を、前記データベースから検出し、
    前記一致する顔認識情報が検出されている積算時間を計測し、
    前記計測された積算時間を表示部に表示させる、
    撮像方法。
12. 前記計測された積算時間が、所定の閾時間未満であるか否かを判断し、
    前記積算時間が前記所定の閾時間未満であると判断された場合に、前記積算時間が前記所定の閾時間未満である旨をユーザに通知する、
    請求項１１に記載の撮像方法。

Images