JP2010259088A

JP2010259088A - 撮像装置

Info

Publication number: JP2010259088A
Application number: JP2010144116A
Authority: JP
Inventors: Tsutomu Mukai; 務向井; Akio Nishiyama; 明雄西山; Atsushi Watanabe; 淳渡邊; Yasutoshi Yamamoto; 靖利山本
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-01-26
Filing date: 2010-06-24
Publication date: 2010-11-11
Also published as: US20130120632A1; US20100188494A1; JP2010220199A; US9197818B2; US8339448B2; JP4634527B2

Abstract

【課題】識別対象とする被写体（例えば、顔）の登録をより容易に行うことができる撮像装置を提供する。
【解決手段】撮像装置は、識別対象として登録されている特定の被写体を識別できる撮像装置であって、撮像手段（１４０）と、撮像手段により被写体が撮像されると、識別対象としての登録に関する操作を使用者に促す画面を表示する表示手段（２２０）と、を備える。
【選択図】図１

Description

本発明は撮像装置に関し、特に、被写体（例えば、顔）の識別機能を有する撮像装置に関する。

特許文献１は、人物の顔認識機能を備えた電子カメラを開示している。この電子カメラは、人物の顔を撮影する顔登録モードを有し、顔登録モードにおいて顔を撮影して、顔を認識するための顔認識データを生成し、登録している。電子カメラは、登録された顔認識データに基づいて、撮影する被写体の中から登録された顔を抽出する。

特開２００７−１５０６０１号公報

上述したように、特許文献１に開示されている電子カメラでは、識別対象とする顔を登録するためには、顔登録モードを選択して顔の登録撮影を行う必要があった。そのため、識別対象の顔を登録する度に、顔登録モードにおいて顔を撮影しなければならず、操作が煩雑であった。

本発明は、識別対象とする被写体（例えば、顔）の登録をより容易に行うことができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明にかかる撮像装置は、識別対象として登録されている特定の被写体を識別できる撮像装置であって、撮像手段と、撮像手段により被写体が撮像されると、識別対象としての登録に関する操作を使用者に促す画面を表示する表示手段とを備える。
また、本発明にかかる第２の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、撮像手段により撮像された画像データから、被写体の特徴を示す特徴量情報を抽出する抽出手段と、抽出手段により抽出された特徴量情報を登録候補として記憶する記憶手段と、記憶手段に登録候補として記憶されている特徴量情報によって示される被写体と、抽出手段によって抽出された特徴量情報によって示される被写体とが同一かどうかを判断する判定手段と、判定手段が、記憶手段に登録候補として記憶されている特徴量情報によって示される被写体と、抽出手段によって抽出された特徴量情報によって示される被写体とが同一であると判断した回数に応じて、使用者による登録に関する操作を促す画面を表示する表示手段と、を備える。

使用者による登録に関する操作を促す画面は、所定の回数、同一であると判断された顔を示す情報を登録するか否かを選択させる画面であってもよい。

使用者による登録に関する操作を促す画面は、所定の回数、同一であると判断された顔をもつ被写体に関する情報を入力させる画面であってもよい。

撮像手段を１回の撮像を行う単写モードと複数回の撮像を連続して行う連写モードとに設定可能な場合、撮像手段が単写モードに設定されているときは、表示手段は使用者による登録に関する操作を促す画面の表示を実行し、撮像手段が連写モードに設定されているときは、表示手段は使用者による登録に関する操作を促す画面の表示を実行しなくてもよい。

上記撮像装置は、フラッシュと、周囲の明るさを検出する検出手段と、フラッシュを使用して撮影された場合に、検出手段による検出結果に応じて、使用者による登録に関する操作を促す画面を表示するか否かを切り替えるように表示手段を制御する制御手段と、をさらに備えてもよい。

上記制御手段は、検出手段が、周囲の明るさが所定値以上であると判断したときは、使用者による登録に関する操作を促す画面を表示するように表示手段を制御し、検出手段が、周囲の明るさが所定値未満であると判断したときは、使用者による登録に関する操作を促す画面を表示しないように表示手段を制御してもよい。

上記撮像装置が、抽出手段により抽出された特徴量情報が示す被写体が正面を向いているか否かを検出する検出手段をさらに有する場合、検出手段により検出された被写体が正面を向いていることが検出された場合は、抽出手段により抽出された特徴量情報を登録候補として記憶手段に記憶し、検出手段により検出された被写体が所定量以上横を向いていることが検出された場合は、抽出手段により抽出された特徴量情報を登録候補として記憶手段に記憶しないようにしてもよい。

撮像手段がオートブラケット撮影を行っているときは、表示手段は使用者による登録に関する操作を促す画面の表示を実行しなくてもよい。

本発明によれば、撮影モードにおいて、所定回数、同一の顔の特徴量が抽出されると、自動で、登録に関する操作を促す画面を表示しているため、識別対象とする被写体（例えば、顔）の登録をより容易に行うことができる。

本発明の実施形態１及び２のデジタルカメラを示すブロック図本発明の実施形態１における識別対象とする顔を事前に手動で登録する方法を示すフローチャート識別対象とする顔を事前に手動で登録する場合の画面の表示例を示す図顔識別機能を使った撮影の例を説明するための模式図本発明の実施形態１における識別対象を登録する画面を自動で表示する方法を示すフローチャート登録候補の特徴量情報を概念的に示す図識別対象を登録するか否かの選択を使用者に促す画面を示す図本発明の実施形態２における識別対象を登録する画面を自動で表示する方法を示すフローチャート

〔１．実施形態１〕
〔１−１．概要〕
本実施形態にかかる撮像装置はデジタルカメラである。本実施形態のデジタルカメラは、被写体の顔を識別し、識別した被写体の顔を登録することができる。本実施形態のデジタルカメラは、撮影しようとする被写体の中から予め登録した顔を識別して、例えば、登録した顔に優先的にフォーカスを合わせることができる。特に、本実施形態のデジタルカメラは、撮影した画像データの中から、所定回数、抽出された顔を登録するか否かの画面を自動で表示して、使用者に顔の登録を促させることにより、識別対象とする顔の登録を容易に行うことを可能にする。

〔１−２．構成〕
〔１−２−１．電気的構成〕
本実施形態にかかるデジタルカメラの電気的構成について、図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤイメージセンサ１４０で撮像する。ＣＣＤイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理を施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズやフォーカスレンズにより構成される。ズームレンズを光軸に沿って移動させることにより、被写体像を拡大又は縮小することができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えば、ズームレンズを駆動するズームモータ、又はフォーカスレンズを駆動するフォーカスモータである。

絞り３００は、使用者の設定に応じて又は自動で、開口部の大きさを調整し、透過する光の量を調整する。

シャッタ１３０は、ＣＣＤイメージセンサ１４０に透過させる光を遮光する。

ＣＣＤイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＣＤイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＣＤイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成する。例えば、画像処理部１６０は、ＣＣＤイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤイメージセンサ１４０で生成された画像データを、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

コントローラ１８０は、デジタルカメラ全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。コントローラ１８０は、被写体を撮影する撮影モードと、手動で被写体の顔を事前に登録する顔登録モードとを含む制御モードで、デジタルカメラ１００を制御する。本実施形態においては、撮影モードで被写体が撮影されたときに、撮影された被写体の顔の登録の要否を示す画面を自動で表示させる（詳細は後述する）。

コントローラ１８０は、画像処理部１６０で生成された画像データが示す画像の中から顔を検出する機能を有する（顔認証機能）。具体的には、内部メモリ２４０は、標準的な人物等の顔における目の位置、鼻の位置、口の位置等を記憶している。コントローラ１８０は、画像処理部１６０で生成された画像データが示す画像の中に、内部メモリ２４０に記憶されている目、鼻、口等の位置関係と類似する位置関係を有する部分があるか否かを判断する。コントローラ１８０は、類似する位置関係を有する部分があると判断すると、その部分を中心とする一定の範囲を顔として検出する。

コントローラ１８０は、画像処理部１６０で生成された画像データが示す被写体の顔が、内部メモリ２４０に事前に登録されている顔と同一の顔か否かを識別する機能を有する（個人認証機能）。具体的には、コントローラ１８０は、画像処理部１６０で生成された画像データが示す画像の中から顔を検出する。コントローラ１８０は、顔を検出した際に、その顔のうちの目、鼻、口の位置関係、顔の色、顔の輪郭、眉毛等から顔の特徴を示す特徴量情報を数値化して抽出する。コントローラ１８０は、顔の特徴量情報を抽出すると、抽出した特徴量情報が内部メモリ２４０に事前に登録されている顔の特徴量情報と類似しているか否かを判断する。具体的には、コントローラ１８０は、抽出した特徴量情報を示す数値と、内部メモリ２４０に記憶されている顔の特徴量情報を示す数値とを比較して、その差が所定の範囲内かどうかで類似しているかどうかを判断する。類似していると判断すると、コントローラ１８０は、検出した顔が内部メモリ２４０に事前に登録されている顔と同一の顔であると識別する。一方、類似していないと判断すると、コントローラ１８０は、検出した顔が内部メモリ２４０に事前に登録されている顔とは別の顔であると識別する。

コントローラ１８０は、ＣＣＤイメージセンサ１４０により撮像された画像データの輝度情報を解析することにより自機の周囲の明るさを認識することができる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムや、顔検出に用いられる標準的な顔の目、鼻、口の位置関係に関する情報や、顔を識別するために事前に登録する顔に関する情報等を記憶している。特に、本実施形態においては、内部メモリ２４０は、自動登録の候補となる顔の特徴量情報を集めた登録候補データベース２４１（第１のデータベース）と、手動登録及び自動登録により事前に登録された顔の特徴量情報を集めた登録済みデータベース２４２（第２のデータベース）とを記憶する。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キー又は決定釦等である。

表示モニタ２２０は、ＣＣＤイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等を表示可能である。

フラッシュ２６０は、被写体を照射するための光を発光する。フラッシュ２６０は、充電している電圧を放電することにより、フラッシュ２６０内部に封入されているキセノンガスを発光させる。すなわち、フラッシュ２６０は、充電された電圧を放電することにより被写体を照射する光を発光する。

〔１−２−２．用語の対応〕
ＣＣＤイメージセンサ１４０は、撮像手段の一例である。コントローラ１８０は、抽出手段、判定手段、検出手段、及び制御手段の一例である。内部メモリ２４０は記憶手段の一例である。表示モニタ２２０は表示手段の一例である。

〔１−３．顔識別機能〕
上述したように、デジタルカメラ１００は、事前に登録されている顔とＣＣＤイメージセンサ１４０で撮像している被写体の顔とが同一の顔であるかを識別する機能である顔識別機能（個人認証機能）を有する。デジタルカメラ１００は、登録されている顔の特徴量と、撮像している画像に含まれる顔の特徴量とが類似しているか否かを判断する。類似していると判断した場合に、デジタルカメラ１００は、登録されている顔と撮像している顔とが同一の顔であると判断する。

デジタルカメラ１００は、被写体の撮像を行う際に、撮像している被写体の中に登録されている顔が存在するか否かを識別する。登録している顔が存在すると識別した場合に、デジタルカメラ１００は、登録している顔に優先的にフォーカスを合わせる等の動作を行う。例えば、図２における最も左側の被写体である少年が識別対象として事前に登録されているとする。この場合、表示モニタ２２０は、識別対象である少年の顔の周辺に顔枠２３０を表示する。ここで、使用者がデジタルカメラ１００に対してオートフォーカス操作を行った場合、デジタルカメラ１００は、識別対象の少年の顔にフォーカスを合わせる。

この機能によって、優先的にフォーカスを合わせたい被写体がいるような場合には、その被写体の顔を事前にデジタルカメラ１００に登録しておけば、その被写体に対して優先的にフォーカスを合わせることができる。

デジタルカメラ１００において、識別対象とする顔の登録は、手動と自動とで行うことができる。以下、それぞれの方法について説明する。

〔１−３−１．識別対象の手動登録〕
識別対象とする顔を事前に手動で登録する方法について図３及び図４を用いて説明する。図３は、識別対象とする顔を事前に手動で登録する方法を示すフローチャートである。図４は、識別対象とする顔を事前に手動で登録する方法を説明するための模式図である。

使用者が操作部材２１０を操作して、識別対象とする顔を事前に登録するための顔登録モードを選択することにより、手動の顔登録モードが開始される。デジタルカメラ１００のコントローラ１８０は、対象とする顔を撮影するモードを開始する（Ｓ１１０）。顔登録モードにおいて撮影が開始されると、例えば、表示モニタ２２０は図４（ａ）に示されるような画像を表示する。

コントローラ１８０は、使用者により、識別対象とする顔が撮影されたかどうかを判断する（Ｓ１２０）。コントローラ１８０は、使用者により識別対象とする顔が撮影されるまで待機する。

使用者により識別対象とする顔が撮影されると、表示モニタ２２０は、登録する識別対象についての各種情報の入力を促す画面を表示する（Ｓ１３０）。例えば、表示モニタ２２０は、図４（ｂ）に示されるような、識別対象の名前、生年月日、及び識別優先度に関する情報の入力を促す画面を表示する。ここで、識別優先度とは、事前に登録されている顔が複数ある場合に、それらの複数の顔を撮影するような場面において、どの顔を優先的に識別するかを決定するパラメータである。

コントローラ１８０は、使用者により、各種情報が入力されたかどうかを判断する（Ｓ１４０）。コントローラ１８０は、使用者により各種情報が入力されるまで待機する。

各種情報が入力されると、コントローラ１８０は、登録された各種情報と顔の特徴量情報とを関連付けて内部メモリ２４０に記憶させて、顔登録モードを終了する。

このような方法によって、使用者は、識別したい顔とその顔に関連する人に関する情報をデジタルカメラ１００に登録することができる。

〔１−３−２．識別対象の自動登録〕
次に、識別対象を自動で登録する方法について図５及び図６を用いて説明する。図５は、識別対象を自動で登録する方法を示すフローチャートである。図６は、識別対象の登録候補を示す模式図である。本実施形態において、識別対象の自動登録とは、デジタルカメラ１００を、手動で顔を登録する顔登録モードに設定せず、通常の撮影モードに設定した状態で顔の登録の要否を示す画面を自動で表示することを意味する。また、以下の説明において、類似は同一の概念も含むものとする。

使用者が、操作部材２１０を操作することにより、デジタルカメラ１００を撮影モードに設定すると、撮影モードが開始される。コントローラ１８０は、撮影モードに設定されると、撮影が行われたかどうかを判断する（Ｓ２１０）。コントローラ１８０は、使用者によって撮影操作が行われるまで待機する。

撮影が行われると、コントローラ１８０は、その撮影が単写モードで行われたものか連写モードで行われたものかを判断する（Ｓ２２０）。ここで、単写モードとは、１回の撮影動作によって、被写体の撮像を１回だけ行うモードである。一方、連写モードとは、１回の撮影動作によって、被写体の撮像を複数回行うことが可能なモードである。

本実施形態において、識別対象として登録するための操作を促す表示（すなわち、顔の登録画面の自動表示）は、連写モードのときは行わず、単写モードのときだけ行う。よって、コントローラ１８０は、連写モードで撮影が行われたと判断すると、ステップ２１０に戻り、使用者により次の撮影操作が行われるまで待機する。

一方、コントローラ１８０は、単写モードで撮影が行われたと判断すると、撮影した被写体の顔の特徴量を抽出する（Ｓ２３０）。このとき、被写体として人物が１人しか写っていないときは、その人の顔の特徴量を抽出し、複数の人物が同時に撮影された場合は、コントローラ１８０は、ピントが合っている人物の顔について特徴量を抽出する。

顔の特徴量を抽出すると、コントローラ１８０は、抽出した特徴量が登録候補データベース２４１に記憶されている特徴量と類似するか否かを判断する（Ｓ２３５）。

ステップＳ２３０で抽出した特徴量が内部メモリ２４０の登録候補データベース２４１に記憶されている特徴量と類似しないと判断すると（ステップＳ２３５でＮＯ）、コントローラ１８０は、抽出した特徴量を既に記憶している特徴量とは関連付けず、独立した特徴量として、内部メモリ２４０の登録候補データベース２４１に記憶させる（Ｓ２５０）。その後、コントローラ１８０は、ステップＳ２１０に戻り、使用者により次の撮影操作が行われるまで待機する。

一方、ステップＳ２３０で抽出した特徴量が内部メモリ２４０の登録候補データベース２４１に記憶されている特徴量と類似すると判断すると（ステップＳ２３５でＹＥＳ）、コントローラ１８０は、抽出した特徴量が既に識別対象として登録済みデータベース２４２に登録済みか否かを判断する（Ｓ２４０）。具体的には、抽出した特徴量と類似の特徴量が登録済みデータベース２４２内に登録されているか否かを判断する。

抽出した特徴量が既に識別対象として登録済みデータベース２４２に登録済みの場合（ステップＳ２４０でＹＥＳ）、抽出した特徴量を用いて登録済みデータベース２４２を更新する（Ｓ２４５）。このとき、例えば、登録済みの特徴量を、抽出した特徴量で置換しても良いし、登録済みの特徴量と抽出した特徴量の平均値を新たな特徴量としてもよい。なお、抽出した特徴量が既に識別対象として登録済みデータベース２４２に登録済みの場合、必ずしも、ステップＳ２４５のように登録済みデータベース２４２を更新しなくてもよい。

一方、抽出した特徴量が既に識別対象として登録済みデータベース２４２に登録されていない場合（ステップＳ２４０でＮＯ）、コントローラ１８０は、抽出した特徴量を内部メモリ２４０に記憶されている特徴量と関連付けて、登録候補データベース２４１に登録する（Ｓ２６０）。このとき、コントローラ１８０は、登録した特徴量と関連付けて記憶させている特徴量の数ｋをカウントする。

図６は、内部メモリ２４０内の登録候補データベース２４１の構成例を示した図である。図６において、特徴量Ｘ_１、Ｘ_２、Ｘ_３はそれぞれ類似する。また、特徴量Ｚ_１、Ｚ_２はそれぞれ類似する。但し、その他の特徴量間（例えば、Ｘ_１とＹ_１、Ｘ_１とＺ_１）において類似関係は存在しない。類似する特徴量はそれぞれ関連付けて記憶されている。例えば、Ｘ_１とＸ_２とＸ_３とはそれぞれ関連付けて記憶されている。これは、Ｘ_１とＸ_２とＸ_３とが同一のＡさんの顔を撮影した際に抽出された特徴量であると考えられるからである。また、Ｙ_１は他のどの特徴量とも関連付けて記憶されていない。これは、Ｙ_１はＢさんの顔を撮影した際に抽出された特徴量であるが、Ｂさんの顔は１度しか撮影されていないからである。また、Ｚ_１とＺ_２とはそれぞれ関連付けて記憶される。これは、Ｚ_１とＺ_２とが同一のＣさんを撮影した際に抽出された特徴量であると考えられるからである。このように、抽出された顔の特徴量が他の特徴量と類似していれば、類似している特徴量と関連付けて記憶される。このとき、コントローラ１８０は、関連付けて記憶されている特徴量の数をカウントする。例えば、今回撮影された被写体がＡさんであり、特徴量Ｘ_３が抽出された場合、コントローラ１８０は、特徴量Ｘ_３を特徴量Ｘ_１及び特徴量Ｘ_２と関連付けて内部メモリ２４０の登録候補データベース２４１に記憶すると共に、特徴量Ｘに関連する特徴量が３つ目であることをカウントする。

本実施形態においては、関連付けて記憶されている特徴量が所定数ｎを越えると、その特徴量が示す被写体の顔を登録するか否かを問い合わせる画面を自動で表示する。すなわち、図５のステップＳ２７０のように、コントローラ１８０は、関連付けて記憶させている特徴量の数ｋが所定数ｎ以上であるか否かを判断する（Ｓ２７０）。本実施形態では、所定数ｎ＝３とする。

コントローラ１８０は、特徴量の数ｋが所定数ｎ未満（ｋ＜ｎ）であると判断すると、ステップ２１０に戻り、使用者により次の撮影操作が行われるまで待機する。

一方、コントローラ１８０が、特徴量の数ｋは所定数ｎ以上（ｋ≧ｎ）であると判断すると、表示モニタ２２０は、所定数ｎ以上の数の特徴量が示す被写体の顔を登録するか否かを問い合わせる画面を自動で表示する（Ｓ２８０）。例えば、図７に示すような登録画面を表示する。図７の例では、最近に撮像された顔写真すなわち第３番目の特徴量（例えば、Ｘ_３）に関連付けて記憶している顔写真が表示されている。

登録画面が表示されると、コントローラ１８０は、使用者により登録の要否が入力されたかどうかを判断する（Ｓ２９０）。すなわち、コントローラ１８０は、使用者が登録するか否かを選択するまで待機する。使用者は、操作部材２１０を操作することにより、図７に示す選択枠２５０を移動させることで、登録画面に表示されている顔を登録するか否かを選択することができる。ここで、使用者は、「はい」を選択することにより、顔を識別対象として登録することができ、「いいえ」を選択することにより、顔を識別対象として登録することを拒否することができる。また、使用者は、「はい」若しくは「いいえ」を選択する前に、名前、生年月日、優先度等の情報を入力することができる。

図５に戻り、使用者によって登録をする旨の選択がされると、コントローラ１８０は、登録画面に表示されている顔を、以後、撮影モードで識別する対象の顔として登録済みデータベース２４２に登録する（Ｓ３００）。例えば、登録画面に表示されている顔の特徴量の平均値（図６のＡさんの場合、Ｘ_１、Ｘ_２、及びＸ_３の平均値）を、顔の画像と関連づけて登録済みデータベース２４２に登録するとともに、登録候補データベース２４１から特徴量（例えば、Ｘ_１、Ｘ_２、及びＸ_３）を削除する。これにより、識別対象の自動登録が終了する。このようにして、コントローラ１８０は、ｎ回識別された対象（顔）を、以後、識別対象とする。なお、顔の特徴量の平均値の代わりに、３つの登録候補のいずれか１つを顔の画像と関連づけて登録済みデータベース２４２に登録してもよい。

一方、使用者によって登録をしない旨の選択がされると、コントローラ１８０は、ステップＳ２１０に戻り、使用者により次の撮影操作が行われるまで待機する。なお、このとき、コントローラ１８０は、識別回数であるｋをリセットし、ｋ＝０にしてもよい。これにより、使用者が１度登録を拒否した被写体の顔の登録を再度すぐに促すようなことがなくなる。

〔１−４．まとめ〕
本実施形態にかかるデジタルカメラ１００は、撮影モード時に、同一の顔を示す特徴量の抽出を所定の回数行うと、その顔を以後識別する対象として登録するための操作を使用者に促す画面（例えば、図７に示すような「登録画面」）を自動で表示する。これにより、使用者は、識別対象を登録するために、わざわざデジタルカメラ１００を手動の顔登録モードに設定して新たに写真を撮影する必要がなくなる。本実施形態によれば、頻繁に撮影する被写体像のみを効率的に識別対象として登録することができる。

また、本実施形態にかかるデジタルカメラ１００は、同一の顔を示す特徴量の抽出を所定の回数行うと、その顔を以後識別する対象として登録するか否かの入力を使用者に促す表示を行っている。すなわち、使用者が、実際に登録するか否かを決定することができる。よって、本実施形態のデジタルカメラ１００は、使用者が識別対象として登録したいと思わない被写体の顔まで勝手に登録されるような事態を防止することができる。

また、本実施形態にかかるデジタルカメラ１００は、同一の顔を示す特徴量の抽出を所定の回数行うと、その顔を以後識別する対象として登録するために、他の様々な情報の入力を使用者に促す表示を行っている。これにより、以後、特徴量を用いて顔識別を行った際に、他の様々な情報を用いてより使い勝手の良い機能を実現することができる。例えば、他の情報として名前が入力されている場合、スルー画像中に識別対象が表示されているときに、識別対象の名前を表示することが可能となる。

連写モードにおいては、複数枚の画像が瞬間的に撮像される。連写撮影を行う度に、登録画面が表示モニタ２２０に表示されると、使い勝手が悪くなる。一方、本実施形態にかかるデジタルカメラ１００においては、単写モードで、識別対象を所定回数識別した場合には、その顔を以後識別する対象として登録するための操作を使用者に促す表示（登録画面の表示）を行うが、連写モードでは、識別対象の特徴量の抽出を行わず、登録画面の表示を行わないようにしている。よって、連写撮影のときに、撮影の都度、顔の登録画面が表示されることを防ぐことができる。これにより、より使い勝手がよくなる。

〔２．実施形態２〕
本実施形態のデジタルカメラ１００は、撮影モード時に、フラッシュが発光されたときの周囲の明るさに応じて、被写体の顔の特徴量を抽出するか否かを決定する。周囲が明るいときは、フラッシュが発光されたときと発光されないときとで、抽出される被写体の顔の特徴量はほとんど変化しない。しかし、周囲が暗いときは、フラッシュが発光されたときと発光されないときとで、抽出される被写体の顔の特徴量が変化してしまい、同一人物であっても、異なった特徴量となる可能性がある。よって、周囲が暗いときにフラッシュが発光された場合は、被写体の顔の特徴量を抽出しない。これにより、同一人物に対して、同一の又は類似の特徴量が抽出されるようにする。なお、本実施形態のデジタルカメラ１００の構成は、実施形態１の構成と同一であるため、その共通の構成についての説明を省略する。

〔２−１．識別対象の自動登録〕
本実施形態にかかるデジタルカメラ１００が識別対象を自動で登録する方法について図８を用いて説明する。図８は、実施形態２の識別対象を自動で登録する方法を示すフローチャートである。図８において、実施形態１の図５と異なる点は、ステップＳ４３０及びＳ４４０を追加した点である。図８において、ステップＳ４３０及びＳ４４０を除く、ステップＳ４１０〜ステップＳ５２０は、図５のステップＳ２１０〜Ｓ３００と同一であるため、その詳細な説明は省略する。以下、ステップＳ４３０及びＳ４４０について説明する。

コントローラ１８０は、ステップＳ４２０において単写モードで撮影が行われたと判断すると、撮影の際にフラッシュ２６０が発光したか否かを判断する（Ｓ４３０）。コントローラ１８０は、フラッシュ２６０が発光したと判断すると、周囲の明るさが所定値以上であるか否かを判断する（Ｓ４４０）。コントローラ１８０は、記録画像の撮影を行う前に、ＣＣＤイメージセンサ１４０により撮像されているスルー画像の輝度情報を解析することで周囲の明るさを認識できる。コントローラ１８０は、明るさが所定値未満であったと判断すると（ステップ４４０でＮｏ）、ステップＳ４１０に戻り、使用者により次の撮影操作が行われるまで待機する。

一方、コントローラ１８０は、明るさが所定値以上であったと判断すると（ステップ４４０でＹｅｓ）、撮影した被写体の顔の特徴量を抽出する（Ｓ４５０）。また、コントローラ１８０は、フラッシュ２６０を発光させていないと判断すると（Ｓ４３０でＮｏ）、撮影した被写体の顔の特徴量を抽出する（Ｓ４５０）。以後、コントローラ１８０は、実施形態１にかかるデジタルカメラ１００における図５のステップＳ２４０〜ステップＳ３００と同一の制御を行う（ステップＳ４６０〜ステップＳ５２０）。

以上のように、本実施形態にかかるデジタルカメラ１００は、フラッシュ２６０の発光を伴う撮影を行った場合、周囲が所定値以上明るくないときは、被写体の顔の特徴量を抽出しない。すなわち、被写体の顔を識別対象として登録するための操作を使用者に促す画面（登録画面）を表示しない。この理由について以下に述べる。

本実施形態にかかるデジタルカメラ１００は、被写体を撮像する際に、フラッシュ２６０を発光させる場合がある。また、デジタルカメラ１００は、ＣＣＤイメージセンサ１４０が撮像している顔が識別対象として登録している顔と同一の顔であるかを識別するために、スルー画像が示す顔の特徴量を抽出する。しかし、スルー画像を撮像するときは、デジタルカメラ１００は、フラッシュ２６０の発光を行わない。また、デジタルカメラ１００は、周囲の明るさが明るい場合には、フラッシュ２６０を発光して画像を撮像した場合と、フラッシュ２６０を発光しないで画像を撮像した場合とであまり変わらない画像を撮像することができる。一方、デジタルカメラ１００は、周囲の明るさが暗い場合には、フラッシュ２６０を発光して画像を撮像した場合と、フラッシュ２６０を発光しないで画像を撮像した場合とでまったく異なる画像を撮像することとなってしまう。従って、次のような問題が生じる。

周囲の明るさが所定値未満の状態で、フラッシュ２６０を発光させて同一の顔の撮影を所定回数行った際に、その顔を以後識別する対象として登録した場合は、フラッシュ２６０を発光させて撮像した明るい画像が示す顔の特徴量が、以後に識別する対象として登録される。この場合に、周囲の明るさが所定値未満の状態で、登録した顔と同一の顔のスルー画像を撮像したとしても、スルー画像の顔は、フラッシュ２６０を発光して撮像した顔よりもかなり暗いものとなってしまうため、デジタルカメラ１００は、登録している特徴量と類似する特徴量をスルー画像の顔から抽出することができない。その結果、デジタルカメラ１００は、今まさに登録した顔を次の瞬間に識別できないこととなってしまう。このようなことが生じると、使用者は、デジタルカメラ１００が故障したのではないかと混乱してしまう。

一方、周囲の明るさが所定値以上の状態でフラッシュ２６０を発光させて同一の顔の撮影を所定回数行った際に、その顔を以後識別する対象として登録しても、デジタルカメラ１００は、スルー画像が示す同一の顔から登録済みの特徴量と類似する特徴量を抽出できる可能性が高い。

そこで、本実施形態にかかるデジタルカメラ１００は、フラッシュ２６０の発光を伴う撮影を行った場合、周囲が所定値以上明るくないときは、その顔を以後識別する対象として登録するための操作を使用者に促す画面を表示しない。これにより、上記のような事態を回避することができる。

なお、本実施形態では、フラッシュ撮影を行いかつ周囲の明るさが所定値以上でないときに、被写体の顔を識別する対象として登録するための操作を使用者に促す画面（登録画面）を表示しないようにした。しかし、これに限らず、周囲の明るさに関わらず、フラッシュ撮影を行う場合には必ず、登録画面を表示しないようにしてもよい。周囲が明るい場合でも、フラッシュ発光の有無で被写体の写りが変わってしまう場合があるからである。

〔３．他の実施形態〕
以上により、本発明の実施形態として、実施形態１及び実施形態２を説明した。しかし、本発明は、これらには限定されない。例えば、以下に示す形態であってもいい。

実施形態１及び２においては、連写モードのときに、被写体の特徴量を抽出せず、被写体の識別回数をカウントしなかった。しかしながら、必ずしもこのような構成である必要はない。例えば、連写モードのときにおいても被写体の特徴量を抽出するが、関連付けて記憶されている特徴量の数ｋが所定数ｎを越えても、登録画面を表示しないように構成してもよい。また、例えば、連写モードにおいて、複数の画像データが連続して撮像された場合に、そのうちの１つの画像データの中から特徴量を抽出して記憶し、特徴量の数ｋのカウントを１つだけ増やすようにしても良い。これにより、連写モードによる撮影においても、頻繁に撮影する被写体を識別対象として登録しやすくすることができる。

実施形態１及び２においては、図７に示す登録画面のように、顔を登録する際に名前等を入力できるようにしたが、登録画面はこれに限定されない。例えば、同一の顔を示す特徴量の抽出が所定の回数行われたときに表示する登録画面には、顔写真と登録の要否を問うための「はい」及び「いいえ」の選択ボタンのみを表示し、登録（「はい」）が選択された後に、名前などを入力する画面を表示してもよい。

実施形態１及び２においては、デジタルカメラ１００は、所定回数、同一の顔を撮影したときに、その顔を識別対象として登録するか否かの選択を促す画面を表示したが、必ずしもこのような構成である必要はない。例えば、ｎ回以上類似する特徴量を抽出した際に、その特徴量によって示される顔を自動的に識別対象として登録してもよい。この場合、識別対象として登録するか否かの選択を使用者に促す表示を行わず、その特徴量が示す顔に関する名前や生年月日等の情報の入力を促す画面だけを表示するようにしてもよい。

なお、識別対象として登録候補データベース２４１及び／又は登録済みデータベース２４２に登録できる人数は、内部メモリ２４０の容量が許す限り、何人であってもよい。この場合、内部メモリ２４０の容量がなくなった際に自動的に、登録候補データベース２４１及び／又は登録済みデータベース２４２に登録できなくなるようにしてもよい。例えば、図５のステップＳ２２０〜Ｓ３００の処理を行わないようにしてもよい。また、予め識別対象として、登録候補データベース２４１及び／又は登録済みデータベース２４２に登録できる人数を所定の人数と決めておいてもよい。予め登録できる人数を決めている場合において、登録可能な人数を超えた場合に、最も過去に登録した識別対象から順番に登録を自動的に消去してもよい。これにより、内部メモリ２４０を識別対象の登録で埋め尽くすことを防止した上で、その時々においてよく被写体として撮影する顔を識別対象として登録することができる。

なお、実施形態１又は２では、登録済みデータベース２４２に記録されている特徴量と同一又は類似の特徴量を抽出した際には、その抽出した特徴量を登録候補データベース２４１に登録しないようにした。しかし、この方法に限定されず、登録済みデータベース２４２に記録されている特徴量と同一又は類似の特徴量を抽出した場合であっても、登録候補データベース２４１に登録してもよい。但し、この場合は、登録済みデータベース２４２に記録されている特徴量が所定数ｎを越えた場合であっても、登録画面を表示モニタ２２０に表示しないようにする。これにより、登録済みの人については、再度、登録を促す画面を表示しなくなるため、同一の顔を複数登録してしまうという事態を回避することができる。これにより、内部メモリ２４０の容量の無駄遣いを防止することができる。なお、登録済みデータベース２４２に記録されている特徴量と同一又は類似の特徴量を抽出したときであっても、その特徴量を登録候補データベース２４１に登録し、登録された数が所定数ｎを越えたときに登録画面を自動で表示するようにしてもよい。

実施形態１又は実施形態２にかかる撮像装置は、関連付けて記憶されている特徴量が所定数ｎ（例えばｎ＝３）となった場合に識別対象として登録を促す登録画面を表示した。しかしながら、必ずしもこのような構成である必要はない。コントローラ１８０が、内部メモリ２４０に記憶されている特徴量情報によって示される顔と同一の顔を示すとみなされる特徴量情報を抽出した回数が所定の回数に達するのに応じて、使用者による登録に関する操作を促す画面を表示してもよい。例えば、内部メモリ２４０に記憶する特徴量を１つにし、同一の顔と識別できる特徴量を抽出した回数をカウントしておき、所定回数に達したときに、識別対象としての登録を促す画面を表示するような構成であってもよい。また、この場合に、特徴量情報を抽出する毎に、同一とみなされる特徴量情報を新たに抽出した特徴量情報に基づいて補正してもよい。

また、実施形態１又は２にかかる撮像装置は、所定の回数であるｎを３とした。しかしながら必ずしもこのような構成である必要はない。ｎはどのような回数であってもよい。例えば、ｎは２であっても４であってもよい。

また、実施形態１又は２にかかる撮像装置は、識別対象を自動で登録する際に第３回目に撮像された顔の画像を特徴量と関連づけて登録することとした。しかしながら、必ずしもこのような構成である必要はない。任意の撮像タイミングの画像を特徴量と関連づけて登録してもよい。例えば、第２回目または第１回目に撮像された画像を用いてもよい。

また、実施形態１又は２にかかる撮像装置は、被写体像から類似する特徴量を抽出して行った撮影が所定の回数に達した際に、その抽出した類似する特徴量が示す顔を以後に識別する対象として登録するか否かの選択を促す画面を表示した。しかしながら、必ずしもこのような構成である必要はない。例えば、類似する特徴量が示す顔に所定の回数、オートフォーカスをして撮影をした場合に、その抽出した類似する特徴量が示す顔を以後に識別する対象として登録するか否かの選択を促す表示を行うこととしてもよい。また、スルー画像を表示モニタ２２０に表示している際に、所定の期間内に、類似する特徴量を所定の回数抽出した場合に、その抽出した類似する特徴量が示す顔を以後に識別する対象として登録するか否かの選択を促す表示を行うこととしてもよい。また、動画像を記録する際に、所定期間内に、類似する特徴量を所定の回数抽出した際に、その抽出した類似する特徴量が示す顔を以後に識別する対象として登録するか否かの選択を促す表示を行うこととしてもよい。

なお、実施形態１及び実施形態２においては、同時に複数の被写体を撮影した場合に、ピントが合わされた人物の顔について、顔の特徴量を抽出したが、複数の被写体の顔の特徴量を同時に抽出して、図５又は図８の処理を行ってもよい。

また、実施形態１又は２にかかる撮像装置は、ＣＣＤイメージセンサ１４０により撮像された画像データの輝度情報を解析することにより自機の周囲の明るさを認識することとしたが、必ずしもこのような構成である必要はない。周囲の明るさを検出する構成であれば何でもよい。例えば、周辺の光量を検出するための専用のセンサを備えてもよい。

また、実施形態１又は２にかかる撮像装置は、類似する特徴量情報を所定の回数抽出した際に、その特徴量情報が示す顔を識別対象として登録することとした。しかしながら常にこのように制御する必要はない。例えば、コントローラ１８０は、被写体の顔が正面を向いているか否かを検出し、検出した顔が所定量以上横を向いている場合には、その特徴量情報を識別対象の登録候補として登録しないようにしてもよい。このようにした場合のメリットについて以下に説明する。正面を向いている顔と横を向いている顔とでは、同一の顔であったとしても特徴量情報が非類似となることが多い。従って、正面を向いた顔だけでなく、横を向いた顔も登録候補とすると、同一の顔であるが向きだけが異なる複数の顔を、識別対象として登録するおそれがでてくる。被写体の顔が正面を向いているか否かを検出し、検出した顔が所定量以上横を向いている場合には、その特徴量情報を識別対象の登録候補としないようにすることにより、このような事態を回避することができる。また、検出した顔が上下方向に所定量以上傾いている場合にも、その特徴量情報を識別対象の登録候補として登録しないようにしてもよい。要するに、被写体の顔が正面を向いていない場合に登録しないようにすればよい。また、検出した顔が正面を向いていない場合に、検出した顔を正面向きの顔に補正し（すなわち、検出した顔から正面向きの顔を予想し）、補正（予想）した顔の画像に基づき特徴量を抽出するようにしてもよい。

また、実施形態１又は２にかかる撮像装置は、連写撮影を行う際に顔の特徴量を抽出したとしても特徴量の抽出回数としてカウントしなかった。しかしながら、連写撮影の場合だけでなくオートブラケット撮影を行う際に顔の特徴量を抽出した場合においても、特徴量の抽出回数をカウントしないようにしてもよい。これにより、１度の撮影若しくは瞬時に行われる複数回の撮影で特徴量の抽出回数が複数回カウントされ、頻繁に登録画面が表示モニタに表示されるという事態を回避できる。

また、実施形態１又は２では、撮像手段として、ＣＣＤイメージセンサ１４０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサで構成してもよく、ＮＭＯＳイメージセンサで構成してもよい。

また、実施形態１及び２において、画像処理部１６０とコントローラ１８０とは、１つの半導体チップで構成してもよく、別々の半導体チップで構成してもよい。

また、実施形態１又は２では、コントローラ１８０が顔検出及び顔識別を行う構成としたが、必ずしもこのような構成とする必要はない。例えば、顔検出及び顔識別を行うチップをコントローラ１８０とは別のチップとしてもよい。また、顔検出を行うチップと顔識別を行うチップとを別のチップとしてもよい。

また、実施の形態１及び２において、撮影モードが特定の撮影モードである場合には、特徴量を抽出しないようにしてもよい。特定の撮影モードは、例えば、シワを無くしたり、顔の色を加工したり、輪郭を加工したりする画像エフェクトモードを含む。

また、実施の形態１及び２においては、被写体の顔が同一か否かに基づいて、登録するか否かを決定した。しかし、登録の要否を判断する、画像の識別単位は顔でなくてもよい。所定の条件を満たすオブジェクトを画像から抽出し、オブジェクトの特徴が同一か否かを判断し、登録するか否かを決定するようにしてもよい。これにより、人物のみではなく、動物や物についても登録するか否かを判断できるようになる。

本発明は、識別対象とする顔の登録をより容易に行うことができるという効果を有し、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置や、カメラ機能付き携帯電話等に適用できる。

１００デジタルカメラ
１１０光学系
１２０レンズ駆動部
１３０シャッタ
１４０ＣＣＤイメージセンサ
１５０Ａ／Ｄコンバータ
１６０画像処理部
１７０バッファ
１８０コントローラ
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内部メモリ
２６０フラッシュ
３００絞り

Claims

識別対象として登録されている特定の被写体を識別できる撮像装置であって、
撮像手段と、
前記撮像手段により被写体が撮像されると、前記識別対象としての登録に関する操作を使用者に促す画面を表示する表示手段と、を備える、
撮像装置。