JP2007150602A - 電子カメラ - Google Patents

Abstract

【課題】 顔認識処理の演算量を状況に応じて適切に調整できる電子カメラを提供する。
【解決手段】 電子カメラは、撮像素子と、顔検出部と、記録部と、制御部と、顔認識部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する。制御部は、顔認識対象の登録人物に関する顔認識データ群に含まれる顔認識データの数に基づいて、顔認識データ群から判定用顔認識データを選択する。顔認識部は、顔検出部の抽出した特徴点および判定用顔認識データに基づいて、撮影人物が顔認識対象の登録人物か否かを判定する。
【選択図】 図１

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平６−２５９５３４号公報

ところで、撮影画面内で多数の顔が検出された場合や顔認識の判定に使用される顔認識データの総数が多い場合には、顔認識処理の演算量が非常に大きくなる。上記の場合には顔認識処理の演算時間が長くなるため、ユーザーの快適な撮影が妨げられるとともにシャッターチャンスを逃すおそれも高まる点でなお改善の余地があった。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔認識処理の演算量を状況に応じて適切に調整できる電子カメラを提供することである。

第１の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、制御部と、顔認識部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する。制御部は、顔認識対象の登録人物に関する顔認識データ群に含まれる顔認識データの数に基づいて、顔認識データ群から判定用顔認識データを選択する。顔認識部は、顔検出部の抽出した特徴点および判定用顔認識データに基づいて、撮影人物が顔認識対象の登録人物か否かを判定する。

第２の発明は、第１の発明において、制御部は、顔認識データの数および顔領域の数の積に対応する評価値が顔認識部の処理能力で規定される閾値を下回るように判定用顔認識データを選択することを特徴とする。
第３の発明は、第１または第２の発明において、制御部は、顔認識対象の登録人物が複数の場合に、各登録人物に設定された優先順位に基づいて判定用顔認識データを重み付けして選択することを特徴とする。

第４の発明は、第１から第３のいずれかの発明において、制御部は、顔認識対象の登録人物が複数の場合に、顔認識データの記録数が多い登録人物を優先して判定用顔認識データを選択することを特徴とする。
第５の発明は、第１から第４のいずれかの発明において、制御部は、同一の登録人物に関して複数の顔認識データが記録されている場合に、取得時期が新しい顔認識データを優先して判定用顔認識データを選択することを特徴とする。

第６の発明は、第１から第５のいずれかの発明において、制御部は、同一の登録人物に関して取得時の撮影条件が異なる複数の顔認識データが記録されている場合に、取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して判定用顔認識データを選択することを特徴とする。
第７の発明は、第１から第６のいずれかの発明において、制御部は、同一の登録人物に関して顔の向きが異なる複数の顔認識データが記録されている場合に、顔正面に対応する顔認識データを優先して判定用顔認識データを選択することを特徴とする。

第８の発明は、第１から第７のいずれかの発明において、記録部は、登録人物ごとの撮影回数を示す撮影回数データをさらに記録する。そして、制御部は、撮影回数データに基づいて、撮影回数が多い登録人物を優先して判定用顔認識データを選択することを特徴とする。
ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。

本発明の電子カメラでは、顔認識処理の演算量を状況に応じて適切に調整することができる。

図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。
揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。

像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。

撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。

画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。

また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。

入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。

一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。

さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。

閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。

さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３２は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部３２は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。

なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。
顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。

また、顔登録メモリ２７には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。

上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。

上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。
また、顔登録メモリ２７には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。

上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ２４に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。

「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。

また、顔登録メモリ２７には、各登録人物ごとの撮影回数を示す撮影回数データも記録される。この撮影回数データの撮影回数は、ＣＰＵ２６が顔認識撮影モードでの顔認識の結果に応じてインクリメントする。なお、上記の撮影回数は、ユーザーが編集画面などで手動で入力するようにしてもよい。
以下、本実施形態の電子カメラの「顔認識撮影モード」の動作を説明する。

図２は本実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。
ステップ１０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔認識撮影モード」に設定する。

例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図３参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔認識撮影モード」の起動を指示する。これにより、ＣＰＵ２６は「顔認識撮影モード」の一連の動作を開始する。

ステップ１０２：ＣＰＵ２６は、登録人物の選択画面（図４参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。
ここで、「登録人物の選択画面」では、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

ステップ１０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ１０４：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。

ステップ１０５：ＣＰＵ２６はＳ１０４で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ１０６に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ１１４に移行する。
ステップ１０６：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算を実行する。なお、顔領域を複数検出した場合には、ＣＰＵ２６は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してＡＦ演算を実行する。

ステップ１０７：ＣＰＵ２６は、顔認識対象の登録人物に関するすべての顔認識データ（顔認識データ群）の数をカウントする。具体的には、顔登録メモリ２７のうちで、顔認識対象の登録人物のグループフォルダに記録されている顔認識データがカウントの対象となる。
ステップ１０８：ＣＰＵ２６は、撮影画面内で検出された顔領域の数（Ｓ１０４）と、顔認識データ群に含まれる顔認識データの数（Ｓ１０７）とを乗じて、今回の顔認識処理の最大演算量を示す評価値を求める。上記の評価値は、今回検出された全ての顔領域に、顔認識データ群に含まれる顔認識データをすべて適用して顔認識処理を行なう場合の演算量に対応する。

ステップ１０９：ＣＰＵ２６は、所定の閾値から評価値（Ｓ１０８）を減じた差の値を求める。上記の閾値は、顔認識部３２が所定の制限時間内に実行できる顔認識処理の演算量に基づいて設定される。そのため、閾値の具体的な数値は顔認識部３２の演算能力に応じて左右される。
ステップ１１０：ＣＰＵ２６は、差の値（Ｓ１０９）が負であるか否かを判定する。差の値が負である場合（ＹＥＳ側）にはＳ１１１に移行する。一方、差の値が０以上である場合（ＮＯ側）にはＳ１１２に移行する。なお、Ｓ１１０でＮＯ側の場合には、顔認識部３２は、顔認識データ群の顔認識データがすべて判定用顔認識データとなる。

ステップ１１１：この場合には、評価値（Ｓ１０８）が閾値を上回っており、顔認識データ群の顔認識データをすべて適用すると制限時間内に顔認識処理が完了しない可能性が高い。そのため、ＣＰＵ２６は、顔認識データ群のうちから今回の顔認識処理に適用する判定用顔認識データを絞り込む。
具体的には、まず、ＣＰＵ２６は、上記の差の値（Ｓ１０９）に基づいて判定用顔認識データの上限値を演算する。次に、ＣＰＵ２６は、以下の（１）および（２）のアルゴリズムによって、顔認識データ群のうちから判定用顔認識データを上限値未満となるように選択する。

（１）顔認識対象の登録人物が複数人の場合には、ＣＰＵ２６は、各登録人物ごとの判定用顔認識データの分配数を上記の上限値に基づいて設定する。基本的には、ＣＰＵ２６は顔認識対象の登録人物について分配数をいずれも同じに設定する。
もっとも、ＣＰＵ２６は各登録人物に設定された優先順位に基づいて分配数の重み付けを行い、優先順位の高さに比例して判定用顔認識データの数が多くなるようにしてもよい。この場合には、優先順位の高い登録人物ほど多くの顔認識データに基づいて顔認識処理が行われるので、優先順位の高い登録人物については高い精度で顔認識を行うことができる。例えば、ＣＰＵ２６は、顔登録メモリ２７の撮影回数データに基づいて、撮影回数がより多い登録人物の優先順位を高く設定することもできる。

また、ＣＰＵ２６は各グループフォルダの顔認識データの数をそれぞれ比較し、顔認識データの数が所定値以上の登録人物は分配数が高くなるように設定してもよい。顔認識データの登録数が多い登録人物ほど、ユーザーにとって優先的に撮影したい登録人物である可能性が高いからである。
（２）ＣＰＵ２６は、上記（１）で設定した分配数の範囲内で、顔認識対象の登録人物ごとにグループフォルダの顔認識データから判定用顔認識データを選択する。ここで、グループフォルダの顔認識データが分配数以下の場合には、ＣＰＵ２６はグループフォルダ内のすべての顔認識データを判定用顔認識データとして選択する。なお、この場合においてＣＰＵ２６は余剰分の分配数を他の登録人物に再配分してもよい。

一方、グループフォルダの顔認識データが分配数を超える場合には、ＣＰＵ２６は以下のいずれかの基準（またはこれらの組み合わせ）で判定用顔認識データを選択する。
第１に、ＣＰＵ２６は、グループフォルダの「顔認識データの登録時期」のデータを参照し、登録時期が新しい順に判定用顔認識データを選択する。登録時期が古い顔認識データほど、今回の撮影における信頼性は低くなると考えられるからである。

第２に、ＣＰＵ２６は、グループフォルダの「顔認識データの取得時の撮影条件」のデータを参照する。そして、ＣＰＵ２６は、複数の顔認識データのうちから、上記した取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して判定用顔認識データを選択する。今回の撮影条件と近い条件で取得された顔認識データの方が、より顔認識の精度向上に寄与するからである。

例えば、撮影条件の各パラメータの変化量を点数化するテーブルを予め作成しておき、ＣＰＵ２６が顔認識データの撮影条件の点数を今回の撮影条件を基準として求める。そして、ＣＰＵ２６は上記の点数を比較して判定用顔認識データを選択する。これにより、撮影時に閃光発光を行う場合、ＣＰＵ２６はフラッシュ発光有りの顔認識データを優先して判定用顔認識データを選択する。一方、撮影時に閃光発光を行わない場合、ＣＰＵ２６はフラッシュ発光無しの顔認識データを優先して判定用顔認識データを選択する。同様に、ＣＰＵ２６は、露出条件やホワイトバランスの設定がより近い顔認識データを優先して判定用顔認識データを選択する。

第３に、ＣＰＵ２６は、グループフォルダの顔認識データのうちで顔正面に対応する顔認識データを優先して判定用顔認識データを選択する。通常は、顔を正面から撮影することが多いからである。ここで、顔認識データの顔向きの検出は以下のようにして行われる。例えば、顔認識データに予め顔の向きに関する識別情報を記録し、ＣＰＵ２６が上記識別情報を参照して顔の向きを判断してもよい。また、ＣＰＵ２６は顔認識データでの目、鼻、口等の特徴点の抽出状態から顔の向きを類推するようにしてもよい。

ステップ１１２：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ１０４）に対して判定用顔認識データによる顔認識処理を実行する。そして、顔認識部３２は、認識対象の顔（Ｓ１０２）が含まれるか否かを判定する。認識対象の顔が含まれる場合（ＹＥＳ側）にはＳ１１３に移行する。一方、認識対象の顔が含まれない場合（ＮＯ側）にはＳ１１５に移行する。

ステップ１１３：ＣＰＵ２６は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ１１５に移行する
ここで、認識対象の顔が撮影画面内に複数検出されている場合には、ＣＰＵ２６は所定のアルゴリズムで登録人物の優先順位を決定する。そして、ＣＰＵ２６は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ１１６に移行して登録人物を自動的に撮影する。

ステップ１１４：一方、この場合には、ＣＰＵ２６はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでＡＦエリアを選択してＡＦ演算を実行する。
ステップ１１５：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１１６に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ１１６：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、顔認識対象の登録人物が撮影されている場合には、画像処理部２０はＳ１１３で設定された画像処理を撮影画像データに施す。
ステップ１１７：ＣＰＵ２６は撮影画像データを記録媒体２９に記録する。また、顔認識対象の登録人物が撮影されている場合、ＣＰＵ２６は顔登録メモリ２７で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。

さらに、ＣＰＵ２６は、Ｓ１１２の顔認識の結果に基づいて顔登録メモリ２７の撮影回数データの撮影回数をインクリメントする。このとき、ＣＰＵ２６は認識された全ての登録人物の撮影回数をインクリメントしてもよく、優先順位に応じて選択された登録人物のみ撮影回数をインクリメントするようにしてもよい。以上で、「顔認識撮影モード」での一連の動作が終了する。

以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる（Ｓ１１２）。そして、認識対象の顔が検出された場合には、撮影時の各種処理がその登録人物に対応する設定で行われる（Ｓ１１３、Ｓ１１６、Ｓ１１７）。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。

また、上記の顔認識撮影モードでは、制限時間内に顔認識処理が完了しない可能性が高い場合には、所定のアルゴリズムで判定用顔認識データを絞り込む（Ｓ１０７〜Ｓ１１１）。そのため、顔認識処理の演算時間を制限時間内に収めることができ、ユーザーが快適に撮影を行うことができる。
（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。

（１）顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
（２）「顔認識撮影モード」の顔認識処理（Ｓ１１２）では、顔認識部３２は撮影光学系１１の焦点距離のデータから演算したディストーションの度合いに応じて、顔認識データを補正するようにしてもよい。

（３）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。

（４）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。
（５）上記実施形態では、顔認識データの数と顔領域の数とに基づいて顔認識データ群から判定用顔認識データを選択する。しかし、本発明では、検出された顔領域の数を考慮することなく、選択された登録人物に関する顔認識データの数のみに基づいて顔認識データ群から判定用顔認識データを取捨選択するようにしてもよい。

本実施形態の電子カメラの構成を示すブロック図 本実施形態の「顔認識撮影モード」の動作を示す流れ図 モード選択画面の一例を示す図 登録人物の選択画面の一例を示す図

符号の説明

１１…撮影光学系、１６…撮像素子、２６…ＣＰＵ、２７…顔登録メモリ、３１…顔検出部、３２…顔認識部

Claims (8)

1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
   登録人物の顔の特徴点に基づいて予め生成された顔認識データを記録する記録部と、
   顔認識対象の登録人物に関する顔認識データ群に含まれる前記顔認識データの数に基づいて、前記顔認識データ群から判定用顔認識データを選択する制御部と、
   前記顔検出部の抽出した特徴点および前記判定用顔認識データに基づいて、前記撮影人物が顔認識対象の登録人物か否かを判定する顔認識部と、
   を備えることを特徴とする電子カメラ。
2. 前記制御部は、前記顔認識データの数および前記顔領域の数の積に対応する評価値が前記顔認識部の処理能力で規定される閾値を下回るように前記判定用顔認識データを選択することを特徴とする請求項１に記載の電子カメラ。
3. 前記制御部は、顔認識対象の登録人物が複数の場合に、各登録人物に設定された優先順位に基づいて前記判定用顔認識データを重み付けして選択することを特徴とする請求項１または請求項２に記載の電子カメラ。
4. 前記制御部は、顔認識対象の登録人物が複数の場合に、前記顔認識データの記録数が多い登録人物を優先して前記判定用顔認識データを選択することを特徴とする請求項１から請求項３のいずれか１項に記載の電子カメラ。
5. 前記制御部は、同一の登録人物に関して複数の前記顔認識データが記録されている場合に、取得時期が新しい顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項１から請求項４のいずれか１項に記載の電子カメラ。
6. 前記制御部は、同一の登録人物に関して取得時の撮影条件が異なる複数の前記顔認識データが記録されている場合に、前記取得時の撮影条件が現在の撮影条件に近似する顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項１から請求項５のいずれか１項に記載の電子カメラ。
7. 前記制御部は、同一の登録人物に関して顔の向きが異なる複数の前記顔認識データが記録されている場合に、顔正面に対応する顔認識データを優先して前記判定用顔認識データを選択することを特徴とする請求項１から請求項６のいずれか１項に記載の電子カメラ。
8. 前記記録部は、前記登録人物ごとの撮影回数を示す撮影回数データをさらに記録し、
   前記制御部は、前記撮影回数データに基づいて、前記撮影回数が多い登録人物を優先して前記判定用顔認識データを選択することを特徴とする請求項１から請求項７のいずれか１項に記載の電子カメラ。
   
   

Images