JP2009223580A - 優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】ユーザの希望する適切な撮影対象を識別し、優先する対象として決定することができる優先対象決定装置を実現する。
【解決手段】複数の元画像に含まれる顔画像の中から優先的な顔画像を決定する撮影機器１であって、複数の元画像から顔画像とその位置情報とを検出する顔検出部２２と、検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔識別部２４と、照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する優先情報登録部１４とを備え、顔検出部２２が検出した顔画像の位置が、前記元画像において設定された中央の領域外である場合、顔検出部２２が当該顔画像を送出しないか、顔識別部２４が該顔画像に関する照合を実行しないか、或いは、優先情報登録部１４が前記顔画像同士の数から当該顔画像の数を除外している。
【選択図】図１

Description

本発明は、撮像された顔画像のデータを照合して優先する対象であるか否かを決定する優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体に関するものである。

従来、デジタルカメラなどの撮影機器において、被写体に応じて顔を認識し、オートフォーカス、オートアイリス、オートフレーミングといった撮影のためのカメラの各種設定や制御処理などを自動で行わせる試みがなされてきた。

また、近時、被写体を識別し、識別された特定の被写体に対して特定の設定および制御処理を行って撮影を補助する機能について研究がなされている。

特許文献１では、過去に撮影された撮影フレームから、撮影頻度の多い被写体を今回撮影する撮影対象者候補として特定するカメラ装置およびプログラムについて開示されている。

また、特許文献２では、検出された顔の検出履歴から検出頻度を算出し、検出頻度が最も高い顔を登録し、フォーカス等の撮影制御の対象とする顔として選択する対象決定装置、撮像装置、および監視装置について開示されている。
特開２００５−３４１０１７号公報（２００５年１２月８日公開） 特開２００７−００６０３３号公報（２００７年１月１１日公開）

しかしながら、上記従来の構成では、頻度を計算する被写体は撮影フレームのどの位置にあっても同じ重みで計算しており、フレームの端に小さく写っている顔と真ん中に大きく写っている顔とを同様に扱うことになり、ユーザが意図しない人物が自動的に登録されてしまうという問題を生じる。

上記従来の構成では、被写体が登場する頻度に基づいて選択対象を決定しているので、本来選択対象としたい被写体以外が撮影画像内に複数回、登場している場合であっても撮影対象候補として計上してしまい、選択対象として相応しくない対象を選択してしまう。

本発明は、上記の問題点に鑑みてなされたものであり、ユーザの希望する適切な撮影対象を識別し、優先する対象として決定することができる優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体を実現することにある。

本発明に係る優先対象決定装置は、複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定装置であって、前記複数の元画像から顔画像とその位置情報とを検出する顔検出手段と、前記顔検出手段が検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合手段と、該顔照合手段が照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定手段とを備えており、前記顔検出手段が検出した顔画像の位置が、前記画像において設定された領域外である場合、前記顔検出手段は、当該顔画像を送出しないか、前記顔照合手段は、当該顔画像に関する前記照合を実行しないか、或いは、前記決定手段は、前記顔画像同士の数から、当該顔画像の数を除外することを特徴としている。

また、本発明に係る優先対象決定方法は、複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定方法であって、前記複数の元画像から顔画像とその位置情報とを検出する顔検出ステップと、前記顔検出ステップにおいて検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合ステップと、該顔照合ステップにより照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定ステップとを備えており、前記顔検出ステップにおいて検出した顔画像の位置が、前記画像において設定された領域外である場合、前記顔検出ステップ、前記顔照合ステップ、或いは、前記決定ステップでは、処理の対象外とすることを特徴としている。

上記の構成によれば、位置情報に基づいて、対象の顔画像が優先する対象であるか否かを決定するので、例えば、画面端に小さく写っているが高い頻度で撮影範囲に入っているといった、優先対象ではないが撮影されている顔画像を優先する対象と判断してしまうことを避け、ユーザが希望する優先対象をより正確に登録することができるという効果を奏する。

通常のデジタルカメラ、デジタルビデオカメラの利用状況を考えると、ユーザは家族・親族等、ユーザにとって優先的にオートフォーカス等の処理を行いたい人物をフレームの真ん中付近にもってきて撮影しようとする。したがって、フレームの真ん中付近に写った人物の顔認識の類似度結果を用い、人物の出現頻度を計算することで、ユーザがどの人物を優先したいと思っているかを自動的に推定することが可能であると考える。

この出現頻度が高い人物の顔を自動的に登録することで、特定人物へのオートフォーカス等で必要となる登録処理を自動化することができる。これにより、機械の操作に不慣れなユーザでも特殊な操作を強いることなく、特定人物に対するオートフォーカス等の撮影制御を実現することが可能となる。

なお、上述の顔画像の位置情報については、顔の中心座標に基づいて判断してもよいし、顔を囲む矩形のいずれかの頂点を基準にしてもよい。また、顔の輪郭線や境界線、目や鼻や口などのパーツの位置を基準にしてもよい。画像領域に対して顔が存在する位置を把握することができれば、どのような基準を用いてもよい。

上記の優先対象決定装置では、前記決定手段は、特徴が一致する顔画像同士の数が所定数に達し、かつ、当該顔画像のサイズ情報または頻度情報のうち少なくとも一方が所定の値に達しない場合に、当該顔画像を優先的な顔画像から除外することを特徴としている。

上記の構成によれば、顔画像の位置情報が所定の範囲内に存在することに加えて、顔画像の大きさや登場頻度に基づいて優先対象か否か判断するので、ユーザが優先対象として希望しない小さな顔画像や、登場頻度が低い顔画像、登録してから時間が経過してしまった顔画像などを優先対象として判断してしまう可能性を低減し、より正確に優先対象であるか否か判断することができるという効果を奏する。

なお、「顔サイズ」は、所定の値以上のサイズを持つ顔画像を優先する対象として登録するか否か判断するために用いる情報であり、例えば、画素単位の距離情報でもよいし、ベクトルやデータサイズを用いてもよい。頻度情報は、当該レコードが登録された時刻を示すデータから算出する情報であり、例えば、所定の期間内に当該分類に顔情報が登録された頻度を時刻情報から計算して算出してもよい。

上記の優先対象決定装置では、前記顔画像または当該顔画像の特徴を示す特徴量と当該顔画像の位置の情報とを対応付けて登録する顔画像登録手段をさらに備え、前記決定手段は、前記顔画像登録手段に登録された位置情報に基づいて優先的な顔画像から除外するか否かを決定することを特徴としている。

上記の構成によれば、位置情報を顔情報データベースに登録し、優先情報データベースに登録する際に位置情報に基づいて優先対象であるか否かを判断しているので、リアルタイムに位置情報の計算を行わなくても登録されている顔情報データベースに基づいて位置情報を取得できるので、優先対象か否かより高速に判断することができるという効果を奏する。

上記の優先対象決定装置では、顔画像の特徴量から類似度を計算する類似度検出手段をさらに備え、前記決定手段は、前記顔検出手段が検出した顔画像と、前記優先的な顔画像との類似度が高い場合に、当該検出した顔画像を優先的な顔画像として決定するための前記所定数を少なく設定することを特徴としている。

上記の構成によれば、類似度の高い顔画像の対象について、優先的な顔画像として決定するための所定数を少なく設定するので、類似度の高い対象、例えば、親子や親族などを優先対象である可能性が高いと判断して、優先対象としての登録条件を低く設定することで、より短期間に優先対象の判断を行うことができるという効果を奏する。なお、上記の処理は、前記顔照合手段が対象の顔画像を同一の人物ではないと識別した対象について行われる。

上記の優先対象決定装置を備えることで、同様の効果を奏する電子機器を構成することができる。

また、被写体を撮影する撮像手段と、前記優先的な顔画像の特徴を示す特徴量を記憶する優先情報記憶部と、前記優先情報記憶部に記憶された優先的な顔画像と、前記顔検出手段が検出した顔画像とを認証する顔認証手段と、前記顔認証手段の認証結果に基づいて、前記撮像手段によって撮影された被写体が優先対象であるか否かを判断し、前記撮像手段の撮像条件を設定する撮像条件設定手段とを備えることができる。

上記の構成によれば、より正確に登録された優先対象に基づいて被写体を識別し、撮影条件を変更することができるので、優先対象をより正確に判断し、適切な撮影条件を設定することができるという効果を奏する。

なお、上記優先対象決定装置および電子機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記優先対象決定装置および電子機器をコンピュータにて実現させる優先対象決定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る優先対象決定装置は、複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定装置であって、前記複数の元画像から顔画像とその位置情報とを検出する顔検出手段と、前記顔検出手段が検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合手段と、該顔照合手段が照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定手段とを備えており、前記顔検出手段が検出した顔画像の位置が、設定された領域外である場合、前記顔検出手段は、当該顔画像を送出しないか、前記顔照合手段は、当該顔画像に関する前記照合を実行しないか、或いは、前記決定手段は、前記顔画像同士の数から、当該顔画像の数を除外することを特徴としている。

また、本発明に係る優先対象決定方法は、複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定方法であって、前記複数の元画像から顔画像とその位置情報とを検出する顔検出ステップと、前記顔検出手段が検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合ステップと、該顔照合ステップにより照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定ステップとを備えており、前記顔検出ステップにおいて検出した顔画像の位置が、設定された領域外である場合、前記顔検出ステップでは、当該顔画像を送出しないか、前記顔照合ステップでは、当該顔画像に関する前記照合を実行しないか、或いは、前記決定ステップでは、前記顔画像同士の数から、当該顔画像の数を除外することを特徴としている。

上記の構成によれば、位置情報に基づいて優先する対象となる顔画像を決定するので、誤った優先対象の決定を低減し、優先対象をより正確に決定することができるという効果を奏する。

本発明の一実施形態について図１から５に基づいて説明すると以下の通りである。

図１は、本実施形態における登録処理部、認識処理部、および撮像処理部を含む撮影装置の要部構成を示すブロック図である。なお、本実施形態では、撮影部を備えた撮影装置として説明するが、これに限るものではない。入力された画像データを記録する記録装置であってもよいし、入力された顔画像を印刷する印刷装置であってもよい。入力された顔画像を送信する通信装置であってもよいし、入力された顔画像を編集する画像処理装置であってもよい。

撮影機器（電子機器）１は、登録処理部１０、認識処理部２０、撮像処理部３０、顔情報データベース４０、および優先情報データベース５０を備えている。登録処理部１０は、顔登録部１２（顔画像登録手段）、優先情報登録部（決定手段）１４、および配置情報参照部１６を備えている。認識処理部２０は、顔検出部２２（顔検出手段）、および顔識別部（顔照合手段、顔認証手段）２４を備えている。撮像処理部３０は、撮像条件変更部（撮像条件設定手段）３２、撮像部（撮像手段）３４、および画像記録部３６を備えている。

画像記録部３６には、撮像部３４により撮像されてフレームメモリに格納された画像データが記録される。画像記録部３６はフラッシュメモリ等の不揮発性メモリや、ハードディスクなどの磁気ディスクを用いて構成される。

顔情報データベース４０は、分類情報（ＩＤ）４１、配置情報４２、識別情報４３、サイズ情報４４、および時間情報４５を対応付けて記憶している。優先情報データベース５０は、分類情報（ＩＤ）５１および識別情報５２を対応付けて記録している。なお、顔情報データベース４０および優先情報データベース５０は、同じ記憶装置に別のデータベースとして記録されていてもよいし、別々の記憶装置に記録されていてもよい。また、画像記録部３６の記憶領域の一部を用いて各データベースを保存していてもよい。

ユーザによって撮影が行われた場合の各部の動作について、順に説明する。まず、ユーザによって撮影が行われた場合、撮像部３４から顔画像を含む任意の撮影画像が入力される。ここでは、入力される画像はリアルタイムで表示部（図示せず）へ出力され、表示が更新されるライブビュー画像として説明するが、これに限るものではない。画像記録部３６に記録されている撮影画像を対象にデータ処理を行ってもよい。

撮像部３４は、撮像レンズ、撮像素子、フレームメモリ、メカ機構、モータ等から構成される。撮像レンズは、例えば、ズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子が用いられる。

撮像部３４から入力された撮影画像は認識処理部２０に出力され、顔検出部２２で撮影画像に含まれる顔領域の検出が行われる。顔検出部２２は、入力された画像から人の顔を検出し、検出された顔の数や位置などを出力する。顔検出部２２は、撮影画像から顔領域を所定の方法で切り出し、切り出した顔画像を撮影対象が誰か判別するために顔識別部２４に出力する。さらに、顔検出部２２は、分類情報４１、顔画像の配置情報（位置情報）４２、および切り出した顔画像のサイズ情報４４を顔情報データベース４０に登録させるために、登録処理部１０の顔登録部１２に切り出した顔画像を出力する。

なお、顔画像の位置情報は、顔の中心座標に基づいて判断してもよいし、顔を囲む矩形のいずれかの頂点を基準にしてもよい。また、顔の輪郭線や境界線、目や鼻や口などのパーツの位置を基準にしてもよい。画像領域に対して顔が存在する位置を相対的に把握することができれば、どのような基準を用いてもよい。また、顔画像のサイズ情報４４は、画素単位の距離情報でもよいし、ベクトルやデータサイズであってもよい。ここでは、配置情報４２には顔の中心座標を用い、サイズ情報４４には顔画像の幅のピクセル数を用いるものとして説明する。

顔識別部２４は、顔検出部２２から出力された顔画像から所定の特徴量を算出し、顔情報データベース４０に登録されている各顔情報、特に識別情報４３と照合し、顔画像の対象が誰であるのか判断して、識別情報４３として登録処理部１０の顔登録部１２に出力する。さらに、顔識別部２４は、優先情報データベース５０を参照して、検出された顔画像の人物の照合を行い、照合結果を撮像条件変更部３２に対して出力する。

具体的には、顔識別部２４は、検出された顔の特徴情報を抽出し、検出された顔の特徴情報と顔情報データベース４０に記録されている顔の特徴情報を顔識別部２４で比較し、検出された顔の検出履歴（目視確認用のサムネイル画像、検出された日時、顔サイズ、顔位置、顔認証用登録データなど）を顔情報データベース４０に登録する。

登録処理部１０の顔登録部１２は、顔検出部２２から入力された顔画像、配置情報４２、およびサイズ情報４４、ならびに、顔識別部２４から出力された識別情報４３を対応付けて、現在の時間情報４５と共に顔情報データベース４０に登録する。顔情報データベース４０は、顔識別部２４で識別された顔の検出履歴として、検出された日時、顔サイズ、顔位置、顔認証用登録データを保持する。

優先情報登録部１４は、顔情報データベース４０に記録されている検出履歴から、フレーム内の中央付近に特定のサイズ以上で撮影された人物の頻度が一定の閾値以上であれば優先情報データベース５０に顔認証用の登録データ（分類情報５１、識別情報５２）を登録する。すなわち、優先情報登録部１４は、顔情報データベース４０が更新される毎に、配置情報参照部１６を介して、当該顔情報の配置情報４２が所定の範囲に含まれるか否かを判断する。

なお、以下では、配置情報参照部１６が参照する配置情報４２の所定の範囲を、撮影画像の中央付近の範囲（例えば、撮影画像の上下左右の両端から２０％以上内側）の領域として説明するが、これに限るものではない。所定の範囲が、ユーザにとって優先する対象が多く含まれるような領域であれば、どのような範囲であってもよい。

顔情報データベース４０に登録されたデータのうち、配置情報参照部１６によって配置情報４２が所定の範囲に含まれると判断された分類情報４１が所定の数を越した場合、優先情報登録部１４は、当該分類情報４１が優先する対象である人物の顔画像であると決定し、優先情報データベース５０に分類情報５１および識別情報５２を登録する処理を行う。

顔識別部２４は、優先情報データベース５０に登録された分類情報５１および識別情報５２から、撮像部３４から入力された画像に含まれる顔画像が、優先する対象であるか否かを照合する。撮像条件変更部３２は、顔識別部２４で照合された優先対象の情報に基づいて、撮像条件を変更する。具体的には、撮像条件変更部は、撮像部を制御し、特定の被写体に対して焦点を合わせる、シャッタースピードや絞りを制御して露出を合わせるまたはズームレンズを制御して画角を変える等の制御を撮像部３４に対して行う。

次に、図２を参照して、顔情報データベース４０に各種情報を登録する処理の流れについて説明する。図２は、上記の撮像機器において、顔画像を識別しデータベースへの登録を行う際の処理の流れについて示したフロー図である。

処理が開始されると、まず、Ｓ１０１において、ユーザは撮影機器１の撮像部３４を被写体に向けて構え、撮像が開始される。撮像された画像は、プレビュー画像として図示しない表示部（ファインダー画面）にライブビューでリアルタイム表示される。

次に、Ｓ１０２において、撮像部３４で撮像された画像は、認識処理部２０の顔検出部２２で処理され、顔画像を含む領域が切り出されると共に、顔画像を含む領域の撮像された画像内における位置を示す位置情報が取得される。切り出された顔画像および取得された位置情報は、顔識別部２４および登録処理部１０の顔登録部１２に出力される。

次に、Ｓ１０３において、Ｓ１０２の処理で切り出された顔画像から特徴量を計算して識別情報とし、対象の顔画像がどの人物であるのか識別する。Ｓ１０５において、特徴量が計算された顔画像の対象の識別情報と、優先情報データベース５０に登録されている顔画像とを照合して、優先する対象であるか否かを判断する。

照合する対象が登録済であった場合（Ｓ１０５でＹＥＳ）、その顔画像の対象は優先する対象として登録されているということなので、撮影条件を変更する処理を行い（Ｓ１０６）、その後処理はＳ１０１に戻る。照合する対象が登録されていない場合（Ｓ１０５でＮＯ）、その顔画像の対象を優先する対象として登録するか否かを判断するために、顔情報データベース４０に登録されているデータと照合する（Ｓ１０７）。

顔情報データベース４０に、Ｓ１０７で照合を行う対象の顔画像が登録されている場合（Ｓ１０８でＹＥＳ）、処理はＳ１０９に進む。顔情報データベース４０に、Ｓ１０７で照合を行う対象の顔画像が登録されていない場合には（Ｓ１０８でＮＯ）、処理はＳ１１０に進む。

Ｓ１０９において、顔登録部１２は、顔情報データベース４０に既に識別され、分類して登録されている照合対象の顔画像の登録を行い、処理はＳ１１１に進む。また、Ｓ１１０において、顔登録部１２は、顔情報データベース４０に対して新規の分類を作成し、顔画像の登録を行い、処理はＳ１１に進む。

なお、Ｓ１０９およびＳ１１０の登録処理では、Ｓ１０２の処理で切り出し、取得された顔画像、当該顔画像の配置情報４２に加え、当該顔画像の識別情報４３、サイズ情報４４や、登録した時間を示す時間情報４５も併せて登録する。これらの各情報は、優先情報データベース５０に登録する優先対象であるか否かの判断に用いられる。

Ｓ１１１において、優先情報登録部１４は、顔情報データベース４０に登録された対象が優先する対象であるか否かを判断する。具体的には、画面の中央に位置する、所定の期間内に登録された数が所定の数を越した対象を選択する。

なお、本実施形態では、画面の中央に位置するか否かについては、配置情報参照部１６が、顔情報データベース４０に登録された配置情報４２を参照することで判断しているが、これに限るものではない。顔検出部２２が、所定の領域に含まれる顔画像だけを顔識別部２４に出力してもよいし、顔登録部１２が、所定の領域に含まれる顔画像に関する情報だけを顔情報データベース４０に登録する構成であってもよい。

また、ここでは、画像の中央付近にある顔画像を優先する対象であるか否かの判断に用いたが、所定の範囲内として中央以外の範囲を用いてもよい。特定の領域に存在する顔画像が、優先対象として選ばれることが多ければ、どのような領域であってもよい。ただし、一般的に優先する対象は撮影領域の中央に位置することが多いので、所定の領域として中央を用いれば、より正確に優先対象を選別することができる。

また、優先情報データベース５０に登録する分類情報５１および識別情報５２は、顔情報データベース４０に登録されている分類情報４１および識別情報４３をそのまま優先情報データベース５０に分類情報５１および識別情報５２として登録してもよいが、顔情報から計算した特徴量のみを各データベースに登録する構成としてもよい。

最後に、Ｓ１１２において、優先情報登録部１４はＳ１１１で選択した対象の顔画像および識別情報を対応付けて優先情報データベース５０に登録し、処理はＳ１０１に戻る。

以上の処理手順を繰り返すことによって、顔情報データベース４０に新たな対象を分類して登録し、所定の領域に含まれる登録対象の数が一定の数を超えた対象を優先対象として決定する処理が行われる。

次に、図３を参照して、撮像条件変更部３２において、撮影条件が変更される処理の流れについて説明する。図３は、撮影機器１において、優先する対象の情報が登録された優先情報データベース５０を参照し、撮像条件変更部３２が撮影条件を変更する処理の流れについて示したフロー図である。

まず、初期状態において、ユーザは撮影機器１の撮像部３４を被写体に向けて構え、撮影を行おうとしている。その際、撮像された画像は、プレビュー画像として図示しない表示部（ファインダー画面）にライブビューでリアルタイム表示されている。ユーザは撮影機器１の図示しない撮影ボタン（シャッター）を半分押さえる動作によって、撮影対象にフォーカスを合わせる操作を行う。

Ｓ２０１において、撮影機器１の撮像処理部３０は、撮影ボタンが半押しされたか否かを判断する。撮影ボタンが半押しされた場合（Ｓ２０１でＹＥＳ）、処理はＳ２０２に進む。撮影ボタンが半押しされていない場合（Ｓ２０１でＮＯ）、処理は終了する。

Ｓ２０２において、顔識別部２４は、撮像部３４で撮影された画像から、優先情報データベース５０に優先対象として登録された対象の分類情報５１または識別情報５２を含む顔画像の領域の座標を取得する。なお、顔画像の座標は顔検出部２２が算出して顔識別部２４に渡してもよいし、配置情報参照部１６を認識処理部２０内に備えることで、配置情報参照部１６を介して位置情報を取得する構成であってもよい。

次に、Ｓ２０３において、Ｓ２０２で座標を取得した顔画像に対して焦点を合わせ、明るさ調整を最適化するよう撮影条件の設定を行う。その後、撮影ボタンが完全に押されたことを検出すると（Ｓ２０４でＹＥＳ）、撮像処理部３０はＳ２０３で設定された撮像条件を用いて撮影を行い、画像記録部３６に撮影した画像を記録して（Ｓ２０５）、撮影条件の変更処理を終了する。撮影ボタンが完全に押されなかった場合（Ｓ２０４でＮＯ）、撮像条件の変更は行わずに、処理はそのまま終了する。

以上の一連の処理を行うことで、優先情報データベース５０に登録された優先対象の情報を用いて、撮像条件を変更し撮影を行うことができる。

次に、図４および図５を用いて、本実施形態の撮影機器１で用いられる顔情報データベース４０および優先情報データベース５０のデータ構造の具体例を示す図である。

図４は、顔情報データベース４０のデータ構造の一例を示す表である。図５は、優先情報データベースのデータ構造の一例を示す表である。

図４では、識別する対象として、ＡさんとＢさんという２人の人物に分類されて分類情報４１が登録されている。Ａさんの顔情報には、Ａさんという人物を識別するためのサムネイル画像が１枚、分類情報４１と対応付けられて記録されている。このＡさんの分類には、時間情報４５を含む複数の顔情報とＡを示す分類情報４１とが対応付けられたレコードが複数、登録されている。また、Ｂさんの顔情報には、Ｂさんという人物をユーザが確認するためのサムネイル画像が１枚記録されており、複数の顔情報が分類情報４１およびサムネイル画像と対応付けられて登録されている。

まず、分類Ａの１行目には、時刻情報４５が「２００７／１０／１２ １０：２２」、サイズ情報４４が「３２ピクセル」、配置情報４２が「（１２８、１２５）」の分類情報４１を示す登録データ「Ａ_１」がレコードとして登録されている。また、分類Ａの２行目には、「２００７／１０／１４ １８：１９」、「２０ピクセル」、「（１３２、９５）」、「Ａ_２」が、分類Ａの３行目には「２００７／１１／１６ １７：４５」、「８０ピクセル」、「（２０４、１５０）」、「Ａ_３」が、それぞれ対応するレコードとして登録されている。

「日時」は、当該レコードが登録された時刻を示すデータであり、当該分類に顔情報が登録された頻度を算出する際に用いる。「顔サイズ」は、所定の値以上のサイズを持つ顔画像を優先する対象として登録するか否か判断するために用いる。「顔位置」は、所定の領域、例えば中央付近に存在する顔画像に対して優先する対象として登録するか否かを判断するために用いる。「登録データ」は、入力された顔画像がどの分類に属するかを判断するために用いるデータであり、顔画像から計算した特徴量を識別情報４３として用いてもよいし、切り出した顔画像データそのものであってもよい。

分類Ｂの１行目には、時刻情報４５が「２００７／１１／１３ １８：５２」、サイズ情報４４が「２４ピクセル」、配置情報４２が「（３２、９２）」の分類情報４１を示す登録データ「Ｂ_１」がレコードとして登録されている。また、分類Ｂの２行目には、「２００８／１／３０ ９：３４」、「３０ピクセル」、「（１００、９８）」、「Ｂ_２」が、分類Ｂの３行目には「２００８／２／１４ １３：３８」、「６０ピクセル」、「（１２０、１１０）」、「Ｂ_３」が、それぞれ対応するレコードとして登録されている。

これに対して、図５では、優先する対象として決定された人物の識別情報５２が、各人物ごとに分類されて登録されている。図５では、図４と同様に識別する対象として、ＡさんとＢさんという２人の人物に分類されて分類情報５１が登録されている。

Ａさんの顔情報には、Ａさんという人物をユーザが確認するためのサムネイル画像が１枚、記録されている。このＡさんの分類には、複数の分類情報５１と識別情報５２とが対応付けられたレコードが複数、登録されている。まず、分類Ａの１行目には、識別情報５２を示す登録データ「Ａ_１」がレコードとして登録されている。また、分類Ａの２行目には、「Ａ_２」が、分類Ａの３行目には「Ａ_３」が、分類Ａの４行目には「Ａ_４」が、それぞれ対応するレコードとして登録されている。

Ｂさんの顔情報には、Ｂさんという人物をユーザが確認するためのサムネイル画像が１枚、記録されている。このＢさんの分類には、複数の分類情報５１と識別情報５２とが対応付けられたレコードが複数、登録されている。まず、分類Ｂの１行目には、識別情報５２を示す登録データ「Ｂ_１」がレコードとして登録されている。また、分類Ａの２行目には、「Ｂ_２」が、分類Ａの３行目には「Ｂ_３」が、分類Ｂの４行目には「Ｂ_４」が、それぞれ対応するレコードとして登録されている。

上記の優先対象を識別するための登録データである「Ａ_１」「Ａ₂」…、「Ｂ_１」「Ｂ₂」…は、図４で示した登録データをそのまま利用してもよいし、図４で示した登録データに対応する顔画像などを用いて新たに特徴量を計算し、識別情報５２として用いてもよい。

以上のように、本実施形態の撮影機器１は、複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する撮影機器１であって、複数の画像から顔画像とその位置情報である配置情報４２とを検出する顔検出部２２と、顔検出部２２が検出した顔画像の特徴である識別情報５２を、過去に検出した顔画像の特徴である識別情報５２と照合する顔識別部２４と、顔識別部２４が照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定し、優先情報データベース５０に登録する優先情報登録部１４とを備えており、顔検出部２２が検出した顔画像の位置が、前記元画像において設定された中央の領域外である場合、優先情報登録部１４は、前記顔画像同士の数から、当該顔画像の数を除外している。

上記の構成によれば、位置情報に基づいて、対象の顔画像が優先する対象であるか否かを決定するので、画面端に小さく写っているが高い頻度で撮影範囲に入っているといった、優先対象ではないが撮影されている顔画像を優先する対象と判断してしまうことを避け、ユーザが希望する優先対象をより正確に登録することができる。

なお、上述の顔画像の位置情報については、本実施形態では、顔の中心座標に基づいて判断してもよいし、顔を囲む矩形のいずれかの頂点を基準にしてもよい。また、顔の輪郭線や境界線、目や鼻や口などのパーツの位置を基準にしてもよい。画像領域に対して顔が存在する位置を相対的に把握することができれば、どのような基準を用いてもよい。

本実施形態の撮影機器１では、優先情報登録部１４は、特徴が一致する顔画像同士の数が所定数に達し、かつ、当該顔画像のサイズ情報４４または時刻情報４５から求められる頻度情報のうち少なくとも一方が所定の値以上の場合に、当該顔画像を優先的な顔画像から除外している。

上記の構成によれば、顔画像の位置情報が所定の範囲内に存在することに加えて、顔画像の大きさや登場頻度に基づいて優先対象か否か判断するので、ユーザが優先対象として希望しない小さな顔画像や、登場頻度が低い顔画像、登録してから時間が経過してしまった顔画像などを優先対象として判断してしまう可能性を低減し、より正確に優先対象であるか否か判断することができる。

なお、「顔サイズ」は、所定の値以上のサイズを持つ顔画像を優先する対象として登録するか否か判断するために用いる情報であり、例えば、画素単位の距離情報でもよいし、ベクトルやデータサイズを用いてもよい。頻度情報は、当該レコードが登録された時刻を示すデータから算出する情報であり、例えば、所定の期間内に当該分類に顔情報が登録された頻度を時刻情報から計算して算出してもよい。

本実施形態の撮影機器１では、前記顔画像と当該顔画像の位置の情報とを対応付けて登録する顔登録部１２をさらに備え、前記決定手段は、前記顔画像登録手段に登録された顔画像および位置の情報に基づいて優先的な顔画像から除外するか否かを決定している。

上記の構成によれば、配置情報４２を顔情報データベースに登録し、優先情報データベースに登録する際に位置情報に基づいて優先対象であるか否かを判断しているので、リアルタイムに位置情報の計算を行わなくても登録されている顔情報データベースに基づいて位置情報を取得できるので、優先対象か否かより高速に判断することができる。

本実施形態の撮影機器１では、顔画像の特徴量から類似度を計算する類似度検出部を顔識別部２４がさらに備え、優先情報登録部１４は、前記顔検出部２２が検出した顔画像と、前記優先的な顔画像との類似度が高い場合に、当該検出した顔画像を優先的な顔画像として決定するための前記所定数を少なく設定している。

上記の構成によれば、類似度の高い顔画像の対象について、優先的な顔画像として決定するための所定数を少なく設定するので、親子や親族などの類似度の高い対象を優先対象である可能性が高いと判断して、優先対象としての登録条件を低く設定することで、より短期間に優先対象の判断を行うことができる。なお、上記の処理は、前記顔照合手段が対象の顔画像を同一の人物ではないと識別した対象について行われる。

上記の登録処理部１０を備えることで、上述の効果を奏する撮影機器１を構成することができる。

また、被写体を撮影する撮像部３４と、前記優先的な顔画像の特徴を示す特徴量を記憶する優先情報データベース５０と、優先情報データベース５０に記憶された優先的な顔画像と、顔検出部２２が検出した顔画像とを認証する顔識別部２４と、顔識別部２４の照合結果に基づいて、撮像部３４によって撮影された被写体が優先対象であるか否かを判断し、撮像部３４の撮像条件を設定する撮像条件変更部３２とを備えることで、撮像した顔画像に対して同様の効果を奏する撮影機器１を構成している。

なお、上述の説明では、配置情報参照部１６は登録処理部１０に存在し、配置情報参照部１６が顔情報データベース４０に登録された配置情報４２を参照して、優先情報登録部１４が優先対象を決定する場合について説明したが、これに限るものではない。図６は、本発明の別の実施形態を示すものであり、登録処理部１０、認識処理部２０、および撮像処理部３０を含む撮影機器２の要部構成を示すブロック図である。

図６の撮影機器２では、配置情報参照部１６が顔検出部２２から出力された位置情報を参照し、顔登録部１２が顔情報データベース４０にデータを分類して登録する際に、検出された顔画像の配置情報に基づいて顔情報データベース４０に顔情報を登録するか否かを決定している。この場合、顔情報データベース４０に配置情報４２を登録する必要がないので、顔情報データベース４０のデータサイズを抑え、優先情報登録部１４が優先情報データベース５０に優先対象を登録するまでの処理を高速化することができる。

なお、図６では、顔検出部２２から顔登録部１２に対して出力される、顔画像の配置情報に基づいてデータを出力するか否かを決定したが、これに限るものではない。認識処理部２０内に配置情報参照部１６を備え、顔検出部２２から顔識別部２４にデータを出力する際に、所定の領域に顔画像が収まっているか否かを判断し、データを出力するか否かを決定してもよい。この場合も、顔情報データベース４０に配置情報４２を登録する必要がないので、上述と同様の効果を奏することができる。

最後に、本発明の撮影機器１、２の各ブロック、特に優先情報登録部１４、配置情報参照部１６、および顔識別部２４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、撮影機器１、２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである優先対象決定装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記撮影機器１、２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、撮影機器１、２を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

以上のように、本発明の撮影機器１、２は、位置情報に基づいて、最終的に優先対象としてデータベースに登録する対象を決定するため、ユーザが希望する優先対象をより正確に登録することができるので、撮影機器、印刷装置、通信装置、画像編集装置などの画像処理を行う装置に好適に利用することができる。

本発明の一実施形態を示すものであり、登録処理部、認識処理部、および撮像処理部を含む撮影装置の要部構成を示すブロック図である。 上記の撮像機器において、顔画像を識別しデータベースへの登録を行う際の処理の流れについて示したフロー図である。 上記の撮像機器において、登録されたデータベースを参照し、撮影条件を変更する処理の流れについて示したフロー図である。 上記識別装置で用いられる顔情報データベースのデータ構造の一例を示す図である。 上記識別装置で用いられる優先情報データベースのデータ構造の一例を示す図である。 本発明の別の実施形態を示すものであり、登録処理部、認識処理部、および撮像処理部を含む撮影機器の要部構成を示すブロック図である。

符号の説明

１、２ 撮像機器（優先対象決定装置、電子機器）
１０ 登録処理部（優先対象決定装置）
１２ 顔登録部（顔画像登録手段）
１４ 優先対象登録部（決定手段、類似度検出手段）
１６ 配置情報参照部
２０ 認識処理部
２２ 顔検出部（顔検出手段）
２４ 顔識別部（顔照合手段、顔認証手段）
３０ 撮像処理部
３２ 撮像条件変更部（撮像条件設定手段）
３４ 撮像部（撮影手段）
３６ 画像記録部
３８ 画像データ
４０ 顔情報データベース
４１ 分類情報
４２ 配置情報
４３ 識別情報
４４ サイズ情報
４５ 時間情報
５０ 優先情報データベース（優先情報記憶部）
５１ 分類情報
５２ 識別情報

Claims (9)

1. 複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定装置であって、
   前記複数の元画像から顔画像とその位置情報とを検出する顔検出手段と、
   前記顔検出手段が検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合手段と、
   該顔照合手段が照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定手段とを備えており、
   前記顔検出手段が検出した顔画像の位置が、前記元画像において設定された領域外である場合、前記顔検出手段は、当該顔画像を送出しないか、前記顔照合手段は、当該顔画像に関する前記照合を実行しないか、或いは、前記決定手段は、前記顔画像同士の数から、当該顔画像の数を除外することを特徴とする優先対象決定装置。
2. 前記決定手段は、特徴が一致する顔画像同士の数が所定数に達し、かつ、当該顔画像のサイズ情報または頻度情報のうち少なくとも一方が所定の値に達しない場合に、当該顔画像を優先的な顔画像から除外することを特徴とする請求項１に記載の優先対象決定装置。
3. 前記顔画像または当該顔画像の特徴を示す特徴量と当該顔画像の位置の情報とを対応付けて登録する顔画像登録手段をさらに備え、
   前記決定手段は、前記顔画像登録手段に登録された位置情報に基づいて優先的な顔画像から除外するか否かを決定することを特徴とする請求項１または２に記載の優先対象決定装置。
4. 顔画像の特徴量から類似度を計算する類似度検出手段をさらに備え、
   前記決定手段は、前記顔検出手段が検出した顔画像と、前記優先的な顔画像との類似度が高い場合に、当該検出した顔画像を優先的な顔画像として決定するための前記所定数を少なく設定することを特徴とする請求項１から３のいずれか１項に記載の優先対象決定装置。
5. 請求項１から４のいずれか１項に記載の優先対象決定装置を備えた電子機器。
6. 被写体を撮影する撮像手段と、
   前記優先的な顔画像の特徴を示す特徴量を記憶する優先情報記憶部と、
   前記優先情報記憶部に記憶された優先的な顔画像と、前記顔検出手段が検出した顔画像とを認証する顔認証手段と、
   前記顔認証手段の認証結果に基づいて、前記撮像手段によって撮影された被写体が優先対象であるか否かを判断し、前記撮像手段の撮像条件を設定する撮像条件設定手段とを備えることを特徴とする請求項５に記載の電子機器。
7. 複数の元画像中に含まれる複数の顔画像の中から優先的な顔画像を決定する優先対象決定方法であって、
   前記複数の元画像から顔画像とその位置情報とを検出する顔検出ステップと、
   前記顔検出ステップにおいて検出した顔画像の特徴を、過去に検出した顔画像の特徴と照合する顔照合ステップと、
   該顔照合ステップにより照合した結果、特徴が一致する顔画像同士の数が所定数に達した場合、当該顔画像同士を優先的な顔画像として決定する決定ステップとを備えており、
   前記顔検出ステップにおいて検出した顔画像の位置が、前記画像において設定された領域外である場合、前記顔検出ステップ、前記顔照合ステップ、或いは、前記決定ステップでは、処理の対象外とすることを特徴とする優先対象決定方法。
8. 請求項１から４のいずれか１項に記載の優先対象決定装置、または、請求項５または６に記載の電子機器を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images