JP2013134570A - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】本発明は、認証する人物を登録するための撮影時に撮像装置がどのような姿勢で撮影されても、登録された人物の顔画像の向きを閲覧性を考慮して補正することができる撮像装置を提供する。
【解決手段】カメラ１００では、認証情報として登録する人物の顔画像を登録する際に、顔画像内の頭頂部が顔画像の上下方向にあるときは、頭頂部が顔画像の上方向になるように顔画像を登録する。そして、顔画像内の頭頂部が顔画像の左右方向にあるときは、頭頂部が顔画像の上方向または頭頂部がある方向に応じた方向に向くように登録する。
【選択図】図８

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、撮影された画像データから人物の顔を検出して個人認証を行う技術に関する。

個人認証技術において、ある人物が特定の個人であるかを判定するには、その個人の顔の特徴に基づいて判定する方法、指紋や声紋等に基づいて判定する方法がある。いずれの方法であっても事前にその個人の特徴を認証装置に記憶させることが前提となる。

顔の特徴に基づいて認証を行う場合、事前にその個人の顔を撮影して撮影画像から顔の特徴情報を抽出し、記憶媒体に記憶しておく。その後、撮影した人物画像から認証を行う際に、取得した人物画像から抽出した顔の特徴情報と予め記憶媒体に記憶されている特徴情報とを比較して類似度を算出し、類似度が所定以上であることをもって登録済みの個人と同一人物かを判定する。このような事前に登録した特徴情報との一致／不一致により認証を行う方法では、認証装置にどのような情報が登録されているかを使用者が把握する手段として、特徴情報と共にその個人の顔画像を関連付けて記憶する方法が挙げられる。使用者が登録状況を確認したい場合、表示装置に顔画像を表示することで、誰が、どんな表情、どんな状況で登録されているのかを使用者が容易に確認することができる。登録可能な個人の人数は、その認証装置の仕様で任意に設定できる。

また、認証装置によっては、特定の個人に対して複数の顔の特徴情報を登録することも可能となっている。これは、ある個人に対して真顔、笑顔、横顔、屋内、屋外など、様々な表情や環境での顔の特徴データを登録し、それらを使用して認証することで認証精度向上を狙ったものである。このように、認証装置に複数の人物の特徴情報を登録したり、特定の個人に対して複数の特徴情報を登録した場合、使用者が顔画像を閲覧して登録状況を確認する際に、登録された顔画像の顔の大きさや位置、向きなどが全て揃っていると閲覧性が向上する。一覧表示に限ったものではないが、例えば、特許文献１では証明写真などの用途において、撮影対象の人物顔の位置が左右や上下に寄ったり傾いたりといった課題への対応が提案されている。

特開２００３−０９２７２６号公報

人物の顔の大きさと位置を揃えた顔画像を生成するには、元の撮影画像から適切なサイズで顔画像を切り出す必要があることから、顔サイズ情報、顔位置情報が必要となる。人物の顔の向きと同様に頭頂部が上に揃っていることが望まれるが、例えば寝顔など、登録対象人物が実際に横たわっている顔画像を登録する際は、顔画像閲覧時に人物が横たわっていたことを想起しやすいように、横向きのまま顔画像を閲覧できることが望まれる。

このように、人物顔の傾きを任意の方向で登録する際、撮像素子から取得された画像データ内における顔の傾きと共に、撮影機器の縦横姿勢も考慮する必要がある。撮影機器が正位置に設置されている場合、撮像素子から取得された画像データの上部を撮影時の上部として取り扱って差し支えない。一方、例えば撮影機器が９０度傾けられた縦位置に設置されている場合、画像データの左右側のいずれかが撮影時の上部となる。こういった姿勢での撮影への対応として、スチルカメラのように機器自体の姿勢が正位置以外で撮影されることが想定されるものは、カメラの姿勢検知手段を備えることが一般的になっている。

検知可能な姿勢は、機器の縦横方向（正位置または縦位置（９０度回転））や天地方向（上向きまたは下向き）などがあるが、姿勢検知手段による検知結果を信頼できない状況がありうることを考慮する必要がある。例えば、仰向け状態の人物を撮影する場合、機器を下に向けて設置することになるが、このとき機器の縦横方向は重力に対していずれも垂直方向となるため、縦横の判定が不能となる。この場合、天地方向の姿勢検知手段があれば、その結果をもって縦横方向の姿勢検知手段による結果を使用しない選択もできるが、天地方向であることが不明な場合、信頼できない縦横方向の姿勢情報を使用してしまう課題がある。

上記特許文献１では、画像枠の垂直と顔の中心線が平行になるように画像を切り出す方法が提案されている。しかしながれ、人物の頭頂部が画像に対して下方向に反転している場合が考慮されていない。また、人物が横向きに寝ているかといったことも考慮されていないため、寝顔も頭頂部方向が上方向に登録されてしまう課題がある。

本発明は、認証する人物を登録するための撮影時に撮像装置がどのような姿勢で撮影されても、登録された人物の顔画像の向きを閲覧性を考慮して補正することができる撮像装置及びその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像手段にて撮影された画像から人物の顔を検出する検出手段と、前記検出手段により検出された人物の顔の特徴情報を抽出して登録すると共に、当該人物の顔画像を登録する登録手段と、前記登録手段により登録された特徴情報に基づいて認証を行う認証手段と、前記登録手段により登録された顔画像を一覧表示することが可能な表示手段とを備え、前記登録手段は、人物の顔画像を登録する際に、顔画像内の頭頂部が顔画像の上下方向にあるときは、頭頂部が顔画像の上方向になるように顔画像を登録し、顔画像内の頭頂部が顔画像の左右方向にあるときは、頭頂部が顔画像の上方向または頭頂部がある方向に応じた方向に向くように登録することを特徴とする。

本発明によれば、認証する人物を登録するための撮影時に撮像装置がどのような姿勢で撮影されても、登録された人物の顔画像の向きを閲覧性を考慮して補正することができる。

（ａ）及び（ｂ）は本発明の実施形態に係る撮像装置の外観を示す図である。 カメラ１００のハードウェア構成を示す概略図である。 カメラ１００において、認証を許可する人物の顔画像の登録方法の概要を示す図である。 カメラ１００に登録された人物の顔画像の表示部５０における表示例を示す図である。 天地方向にカメラを向けて使用する場合の一例を示す図である。 カメラの姿勢と顔角度の組み合わせ例を示す図である。 登録対象人物が寝ていない場合の顔画像の角度の決定方法を説明するための図である。 登録対象人物が寝ている場合の顔画像の角度の決定方法を説明するための図である。 天地方向の姿勢検知手段を搭載したカメラにおける顔画像の角度の決定方法を説明するための図である。 カメラ１００における登録データの管理形態の概要を示す図である。 （ａ）〜（ｆ）登録可能な人物顔の一例を示す図である。 認証用の特徴情報と顔画像を登録する処理の流れを示すフローチャートである。 認証用の特徴情報と顔画像を登録する処理の流れを示すフローチャートである。 図１１のステップＳ１１１における登録可能顔の有無判定処理の詳細を示すフローチャートである。 顔画像の角度補正処理の流れを示すフローチャートである。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

図１（ａ）及び図１（ｂ）は、本発明の実施形態に係る撮像装置の外観を示す図である。

カメラ１００は、レンズユニット１０、ストロボユニット３０、操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８を備える撮像装置である。カメラ１００の前面にはレンズユニット１０が配置され、被写体像をとらえることができる。レンズユニット１０の同一面にはストロボユニット３０が配置されている。主被写体が暗い場合にストロボユニット３０を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。

操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８は、カメラ１００の電源投入、撮影モード切り替え、各種設定などのユーザ操作を受け付けるためのスイッチやダイヤル、ボタン等で構成される。

図２は、カメラ１００のハードウェア構成を示す概略図である。

レンズユニット１０は、被写体からの光を撮像部２０（内の撮像素子）に集光するためのレンズ群である。メカ駆動回路１４は、レンズユニット１０を光軸方向に沿って駆動して焦点や画角を調節する。また、メカ駆動回路１４は、手ぶれ補正手段として、レンズユニット１０を光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。なお、手ぶれ補正手段は、撮像部２０を動かして手ぶれを補正する構造であってもよい。

レンズユニット１０を通過した光は、光量調節機構１２によりその光量が調節され、撮像部２０に入射する。光量調節方法は、口径を変化させる光彩絞り、光透過量を落とすＮＤフィルター、全閉により遮光するメカシャッターなど様々な形態があるが、用途に応じて使い分けるものが好ましい。

撮像部２０は、撮像駆動回路２２からの駆動指示により動作し、撮像素子への露光、露光量の調節、露光データの読み出し、読み出した画像信号の増幅／減衰、画像信号のＡ／Ｄ変換などを行う。撮像部２０から出力された画像データは画像処理回路４０に投入されるか、あるいはＲＡＭ４６に一時記憶される。

画像処理回路４０は、撮像部２０から直接あるいはＲＡＭ４６を経由して入力された画像データの画像処理や画像解析など様々な処理を行う。例えば、画像処理回路４０は、撮像部２０から順次出力される画像データを用いて輝度成分や周波数成分を抽出し、これらを評価値として用いることでＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）動作、ＡＦ（ＡｕｔｏＦｏｃｕｓ）動作を行う。

また、画像処理回路４０は、撮像部２０から得られた画像データを現像処理して画質を調節することができ、色合い、階調、明るさなどを適切に設定して鑑賞に適した画像に仕上げる。さらに、画像処理回路４０は、入力された画像から人物の顔を検出することができ、画像内における人物の顔のサイズ、位置、傾き情報などを得ることができる。

また、画像処理回路４０は、検出した人物顔の特徴情報を抽出し、特定の個人であるかを認証することができる。認証にあたっては、ＲＯＭ４８に記憶されている個人の特徴情報を読み出し、画像処理回路４０で特徴情報を比較して、登録済みの個人と一致するか否かを判定する。

表示部５０は、ＬＣＤ等で構成され、画像処理回路４０で現像処理された画像を表示したり、文字やアイコンを表示することで機器使用者に対する情報伝達手段として機能する。

カメラ１００に対して外部メモリ９０の挿入や外部機器９２を接続することができる。外部メモリ９０や外部機器９２を接続することで、画像の授受や互いの機器を動作させるコマンド情報などをやりとりすることができる。外部メモリ９０は、外部メモリＩ／Ｆ５２を介してシステム制御部４２に接続される。外部機器９２は、外部機器Ｉ／Ｆ５４を介してシステム制御部４２に接続される。

操作部４４は、操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８を含む操作手段として機能する。発光制御回路３２は、システム制御部４２からの指示に応じてストロボユニット３０の発光を制御する。姿勢検知部６０は、カメラ１００の姿勢を検知する機能を有する。

次に、画像処理回路４０における個人認証の事前準備となる人物画像の登録方法について説明する。

図３は、カメラ１００において、認証を許可する人物の顔画像の登録方法の概要を示す図である。

認証を許可する人物をカメラ１００に登録する場合、まず、撮影した画像や既に撮影済みの画像から、登録対象となる人物の顔位置と顔サイズに基づき、顔の特徴情報の抽出に適したサイズで顔画像を切り出す（３００）。このとき、図示例では、登録する顔が傾いており、頭頂部が画像の真上方向ではない状態である。このように顔が傾いている場合、頭頂部が画像の真上方向になるように顔画像の回転処理を行い（３０２）、角度補正を行った後の顔画像を用いて特徴情報Ａを生成する（３０４）。

一方、認証時において、認証対象となる人物の顔が傾いていたときは（３１０）、登録時と同様に顔画像の角度補正を行い（３１２）、頭頂部が真上方向を向くように顔画像を回転してから特徴情報Ｂを生成する（３１４）。特徴情報Ａと特徴情報Ｂは、互いに頭頂部が真上方向になるように、角度が補正された顔画像から抽出されているので、角度に依存した認証精度の低下要因を除くことができる。

図示例では、登録用の特徴情報Ａと認証用の特徴情報Ｂの元となる顔画像の角度を頭頂部が真上方向に向くように向きを揃えたが、この限りではない。人物顔の向きが揃っていることが重要であるため、例えば登録された顔画像の角度補正を行うことなく、認証時に取得した顔画像を、登録された顔画像の向き（角度）に合わせて補正する、といった方法であってもよい。いずれにせよ、本実施形態では、顔画像の向きを揃えた状態で生成した特徴情報どうしを比較する構成にする。画像処理回路４０は、特徴情報Ａ，Ｂを用いて認証判定を行い、登録した個人であるか否かを判定し（３２０）、その判定結果を出力する（３３０，３３２）。

特徴情報生成に関しては、登録時と認証時の顔角度を一致させて認証を行うことが重要であるのに対し、特徴情報と共に記憶する顔画像は、閲覧性を考慮して顔の角度を適切に設定することが重要となる。

図４は、上述した登録方法でカメラ１００に登録された人物の顔画像の表示部５０における表示例を示す図である。

図４において、表示部５０には、名前４００と、生年月日４０２と、登録時の顔画像４１０，４１２，４１４，４１６，４１８の一覧とが表示されている。

人物の顔画像を生成する場合、その個人の表情が確認できる顔サイズであること、表示領域おける顔サイズと顔位置が各画像間で揃っていること、カメラの姿勢が正位置か縦位置かを問わず、頭頂部が表示画像の上方向に揃って一覧表示されることが望ましい。

しかしながら、例外的に、頭頂部が表示画像の上方向でなくてもよいケース、上方向でない方が好ましいケースもある。図中の顔画像４１６は、人物が横向きに寝ている画像から認証用の顔画像を登録したことを示している。このように表示するのは、人物が横向きに寝ている状態の顔の画像であることをユーザが容易に確認しやすくするためであり、もし横向きに寝ている顔画像を頭頂部が上方向となるように一覧表示した場合、ユーザに対して不自然な印象を与える懸念がある。

図示のように、各顔画像の傾きを最適に設定するには、登録画像を撮影した際のカメラの縦横姿勢と、取得した画像内における顔角度を取得する必要がある。一般的なカメラでは、正（横）位置での使用または縦位置での使用が想定されることから、縦横姿勢検知手段を搭載していることが一般的となっている。図５に示すような天地方向にカメラを向けて使用する場合は、頻度としてはそれほど多くないと判断され、天地方向の姿勢検知手段が搭載されていない場合が多い。また、図５のような姿勢で撮影した場合、重力方向に対してカメラの縦横方向とも垂直方向になるため、カメラの縦横姿勢検知手段による検知結果が信頼できない状態となってしまう。

一般的な使用方法としては、カメラは正位置か縦位置、人物顔は正位置に対して±９０度程度を想定していればよい。しかしながら、図５のような姿勢での撮影時、正しく姿勢を検知できないことを踏まえ、図６に示すように、カメラの姿勢と顔角度のあらゆる組み合わせを考慮して登録画像の補正角度を決定する必要がある。

次に、カメラの縦横姿勢検知手段による検知結果が信頼できないことを考慮して、登録対象人物が寝ているかどうかといった表情に応じて登録する顔画像における顔の角度の決定方法を図７、図８に詳細に説明する。

まず、登録対象人物が寝ていない場合の顔画像の角度の決定方法を図７を参照して説明する。

図７において、まず、カメラ１００の上下左右の各範囲を設定する。カメラ上方向を角度７１６〜７１０のカメラ上範囲７２０とし、カメラ右方向を角度７１０〜７１２のカメラ右範囲７２２とし、カメラ下方向を角度７１２〜７１４のカメラ下範囲７２４とし、カメラ左方向を角度７１４〜７１６のカメラ左範囲７２６と定義する。

カメラ１００で撮影された登録対象人物の顔画像から得られた顔角度がカメラ上範囲７２０に含まれる場合、カメラ上方向に対して登録対象も直立していることが想定される。この場合、まったく角度補正をしないか、頭頂部が０度（顔画像の上方向）になるように微補正する程度でよいことから、登録する画像は登録顔画像７３０となる。

顔角度がカメラ右範囲７２２に含まれる場合、カメラ上方向に対して横たわっている人物を登録しようとしているケースと、仰向けの人物を上から撮影しようとしてカメラ側の姿勢検知手段が誤作動あるいは縦横判定不能なケースが考えられる。後者の姿勢検知手段の誤作動あるいは判定不能なケースに対しては、人物顔の頭頂部を０度方向（顔画像の上方向）に角度補正して登録画像とすることが好ましい。一方、前者の横たわっている人物のケースに対しては、角度補正せずに横向き画像のまま登録してもよいが、非寝顔であれば頭頂部を０度方向に角度補正しても違和感は少ないと考えられる。このように、顔角度がカメラ右範囲７２２に含まれる場合には、非寝顔であれば必ず０度方向へ角度補正する。例えば、登録する画像は登録顔画像７３２となる。カメラ左方向も、カメラ右方向と同様に考えられることから、登録する画像は登録顔画像７３６となる。

顔角度がカメラ下範囲７２４に含まれる場合、カメラ上方向に対して逆立ちしている人物を登録しようとしているケースと、仰向けの人物を上から撮影しようとしてカメラ側の姿勢検知手段が誤作動あるいは縦横判定不能なケースが考えられる。いずれのケースにおいても、登録する顔画像の顔角度が天地逆さまになっていると登録画像としては著しく閲覧性が落ちるため、必ず頭頂部を０度方向に向くように角度補正する必要がある。登録する画像は登録顔画像７３４となる。

次に、登録対象人物が寝ている場合の顔画像の角度の決定方法を図８を参照して説明する。

図８では、図７と同様に、カメラ１００の上下左右の各範囲を設定する。カメラ上方向を角度８１６〜８１０のカメラ上範囲８２０とし、カメラ右方向を角度８１０〜８１２のカメラ右範囲８２２とし、カメラ下方向を角度８１２〜８１４のカメラ下範囲８２４とし、カメラ左方向を角度８１４〜８１６のカメラ左範囲８２６と定義する。

図７で示した非寝顔時と図８で示した寝顔時の顔角度の決定方法の差異は、左右方向の顔を登録しようとした場合となる。

上述したように、顔角度がカメラ右範囲８２２に含まれる場合、カメラ上方向に対して横たわっている人物を登録しようとしているケースと、仰向けの人物を上から撮影しようとしてカメラ側の姿勢検知手段が誤作動あるいは縦横判定不能なケースが考えられる。前者の場合、人物が横たわり、かつ寝ている状況であれば、そのまま横向きの顔画像を登録画像とするのが自然である。そのため、登録する画像は登録顔画像８３２となる。一方、後者のカメラの縦横姿勢が正確に把握できないケースにおいても、寝顔であれば、そのまま横向きの顔画像を登録してもなんら不自然なものではない。そのため、登録する画像は登録顔画像８３２となる。

左方向の寝顔の顔角度がカメラ左範囲８２６に含まれる場合も同様になり、その登録する画像は登録顔画像８３６となる。

以上のように、本実施形態におけるカメラ１００では、カメラの縦横姿勢検知結果がいかなるものであっても、非寝顔であれば顔画像内の頭頂部を０度方向になるように補正が行われて顔画像が登録される。また、寝顔であれば、カメラ左右方向の顔が検出された場合はその検出角度のまま登録画像とすることで、顔画像が一覧表示されたときに他の顔画像と比較して違和感のない登録画像となる。

次に、天地方向の姿勢検知手段を搭載したカメラにおける顔画像の角度の決定方法について図９を参照して説明する。

図９において、水平方向（角度０°）に対して角度９０１〜９０３の範囲内では、カメラの縦横姿勢を正しく検知することが可能である。この場合、図７で示したカメラの左右方向の非寝顔を、図８で示した寝顔時と同様に、そのまま横向きの顔画像で登録してもよい。

また、水平方向に対して角度９０１〜９０３の範囲外では、そもそもカメラの縦横を定義することが困難であるという考えに基づくと、登録人物の顔画像内の頭頂部の方向を非寝顔／寝顔によらず、常に０度方向へ補正して登録するとよい。

次に、カメラ１００における認証情報の管理方法について図１０を参照して説明する。

カメラ１００では、認証の際に必要な個人の認証情報が不揮発性メモリであるＲＯＭ４８に格納されている。なお、認証情報が外部メモリ９０に格納される形態であってもよい。

登録データ１０００は、図１０に示すようなツリー構造で管理されており、管理情報、個人情報、及び特徴情報から構成されている。管理情報１００２には、現在何人登録されているか、各個人にいくつ特徴情報が登録されているかといった全体の登録状況等の情報が含まれる。

個人情報Ａ１０１０，Ｂ１０２０には、登録する個人の属性情報が含まれており、登録した人数分存在する。属性情報の代表的なものとして、名前１０５２、生年月日１０５４が含まれる。また、属性情報には、妻、子、父などの登録対象となる個人との関係を示すカテゴリー１０５６、家族やサークルといったある単位の集まりを示すグループ１０５８等の情報が含まれていてもよい。さらに、撮影効果１０６０が含まれていてもよい。この撮影効果１０６０とは、その個人が認証できた場合にのみ明るめな露出で撮影したり、暖色系の色合いで撮影するなど、どのような撮影効果で撮影するかといった情報である。

個人情報には、複数の特徴情報が含まれる場合がある。例えば、個人情報Ａ１０１０には、特徴情報Ａ０＿１０１２、特徴情報Ａ１＿１０１４、特徴情報Ａ２＿１０１６が含まれている。個人情報Ｂ１０２０には、特徴情報Ｂ０＿１０２２、特徴情報Ｂ１＿１０２４、特徴情報１０２６が含まれている。

特徴情報には、認証時に使用する、その個人の特徴情報１０７４が必ず含まれる。撮影情報１０７２には、その特徴情報１０７４を抽出した元画像を撮影した際の撮影情報として、露出値や輝度情報、ピント情報などが含まれる。

また、特徴情報には、特徴情報抽出時の顔画像１０７８が格納される。この顔画像１０７８は、画像表示するときに画像の回転処理しなくていいように回転補正を行った画像が登録されていてもよい。さらに、回転処理していない顔画像と共に、顔画像の表示時の回転方向情報を登録し、顔画像の表示時に当該回転方向情報に基づいて顔画像を回転して表示するように構成してもよい。この場合、画像を回転する角度（回転方向情報）は、顔情報１０７６に格納することができる。

次に、上述した認証用の特徴情報と顔画像を登録する処理について図１１〜図１５を参照して説明する。

図１２及び図１３は、認証用の特徴情報と顔画像を登録する処理の流れを示すフローチャートである。

図１２において、まず、操作部４４上の不図示の電源スイッチがＯＮされるとシステムが起動する（ステップＳ１０１）。このシステム起動により、図１のシステム制御部４２、ＲＡＭ４６、ＲＯＭ４８などへの電力やクロック信号の供給が行われる。その後、撮像部２０、撮像駆動回路２２、メカ駆動回路１４、画像処理回路４０といった撮像系デバイスや鏡筒系デバイスが起動する（ステップＳ１０３）。カメラから繰り出し／沈胴する方式の鏡筒の場合、ここで繰り出し処理が行われ、撮像部２０へ外光が導かれる。撮像系、鏡筒系が起動したのち、撮像する画像の明るさ、ピント、色合いを好適に調節するためにＡＥ、ＡＦ、ＡＷＢが開始され（ステップＳ１０５）、ライブ映像を出力する準備を整える。ライブ映像の出力開始と同時期に、画像に対して人物顔検出処理を開始する（ステップＳ１０７，Ｓ１０９）。このとき、顔検出ができていれば、その人物の目瞑り度合いも取得し、目瞑り状態が連続していることをもって寝顔であると判定する処理を開始しておく（ステップＳ１３１）。

次に、顔検出結果を得て、登録可能な人物顔が画像内に存在しているかを判定する（ステップＳ１１１）。登録可能な人物顔について図１１（ａ）〜図１１（ｆ）を参照して説明する。

図１１（ａ）は、ライブ映像にガイド枠１１０１を重畳表示し、そのガイド枠内に登録対象人物が写っている様子を示している。顔画像の登録においては、ユーザの意思でどの個人を登録したいのかを明確に指示してもらう必要があるため、このようなガイド枠１１０１を表示しておき、ユーザが登録対象人物をその枠内になるようにフレーミングする。このとき、画像処理回路４０は、ガイド枠１１０１に対してどのように顔がレイアウトされているかによって、登録可能か否かを判定する。

図１１（ｂ）は、ガイド枠１１０１に対して適切な顔位置、顔サイズになっている様子を示している。これに対して、図１１（ｃ）はガイド枠１１０１に対して顔サイズが小さすぎる様子を示している。顔画像登録時の特徴情報を抽出する際、その人物の特徴を正しく抽出するために、ある程度の画像解像度を必要としており、その要件を満たせないような小さい顔画像を登録できないようにする。

図１１（ｄ）は、ガイド枠１１０１に対して顔サイズが大きすぎて登録できない様子を示している。顔画像登録時には、特徴情報とセットで顔画像も記憶するが、図１１（ｄ）のように顔サイズが大きすぎる場合、頭部や胸元がフレームアウトしてしまい、登録する顔画像の閲覧性が低下してしまう可能性がある。

図１１（ｅ）は、ガイド枠１１０１に対して顔画像がはみ出している様子を示している。同様に、図１１（ｆ）は、二人の人物の顔がガイド枠に入っており、いずれを登録したいのかが不明瞭である。このように登録対象が不明瞭な場合は登録できない旨をユーザに警告表示する構成とすることもできる。また、図１１（ｆ）の場合、ガイド枠内の顔１１２１と顔１１２３のうち、いずれを登録するかをユーザに問い合わせた後に登録を行うように構成してもよい。

図１４は、図１１のステップＳ１１１における登録可能顔の有無判定処理の詳細を示すフローチャートである。

まず、画像処理回路４０は、顔検出結果を顔サイズの大きい順にソートする（ステップＳ３０１）。この時点で画像内に人物の顔が無い場合は登録可能顔が無いと判定する（ステップＳ３１３）。

顔サイズの大きい順にソートされた顔画像に対して、各顔ごとに顔サイズ判定（ステップＳ３０３）、顔位置判定（ステップＳ３０５）、顔重複判定（ステップＳ３０７）を行う。顔サイズ判定は、図１１（ａ）〜図１１（ｆ）を参照して説明した通りである。顔重複判定とは、図１１（ａ）〜図１１（ｆ）で説明したガイド枠１１０１と顔領域の重複面積が所定以上かを判定するものである。これらの判定がすべてＯＫの顔画像が見つかれば登録可能顔があると判定される（ステップＳ３１１）。これ以降に顔サイズの小さいほかの顔が検出されていたとしても、ステップＳ３０３，Ｓ３０５，Ｓ３０７による登録可能条件を満たしているかの判定を行わない。

図１２に戻り、ステップＳ１１１で登録可能顔があると判定した場合、画像処理回路４０は、その旨を表示部５０に表示するための表示処理を実施する（ステップＳ１１５）。例えば、図１１で示したガイド枠１１０１の色を変更することで、登録可能顔がガイド枠内に存在することをユーザに知らせるように構成してもよい。

次に、画像処理回路４０は、操作部４４におけるシャッタースイッチＳＷ１が押下されたか否かを判定する（ステップＳ１１７）。押下されたと判定した場合は、ガイド枠内の登録対象人物に対してＡＥ、ＡＦ処理を行い、登録に適した露出とピント合わせを行う（ステップＳ１１９）。さらに、シャッタースイッチＳＷ２が押下されたと判定した場合は（ステップＳ１２１でＹＥＳ）、図１３に示すステップＳ２０１以降の登録用の撮影処理を開始する。

図１３において、ステップＳ２０１では、画像処理回路４０は、図１２のステップＳ１１９で決定した絞り値とシャッター速度で撮影するために、図２に示すカメラ１００内の各デバイスに露出制御指示を出す。次に、画像処理回路４０は、カメラ姿勢を登録撮影時の姿勢として確定する（ステップＳ２０３）。本実施形態では、撮影直前にカメラ姿勢を確定しているが、撮影中や撮影直後の姿勢を確定させてもよい。いずれにせよ撮影の露光時点から時間的なズレが少ない方が登録用画像とする。

次に、カメラ１００は、登録用の人物を撮影するために撮像、現像を行い、現像後の画像を用いて顔検出を行う（ステップＳ２０５，Ｓ２０７，Ｓ２０９）。シャッタースイッチＳＷ２の押下前のライブ映像出力時に既に顔検出は行っているため、撮影前に登録対象の顔の大きさや位置は分かっている。しかしながら、実際に特徴情報を抽出する画像を再度顔検出にかけ、正確な顔位置、顔サイズを求め、それを使用したほうが正確な特徴情報抽出が可能となる。ただし、登録対象人物が寝ているか否かは、ライブ映像出力中に判定した結果を用いるものとし、ここでは寝顔判定を行わない。撮影した一枚の画像から、その人物が本当に寝ているのか、まばたきをした瞬間なのかを判定することは困難であり、登録用の撮影前に人物の眼が閉じている状態が所定時間以上あることをもって寝ているか否かを判定する構成とする。

次に、図１４のステップＳ１１１と同様に、登録可能顔有無判定が行行われる（ステップＳ２１１）。ステップＳ２１１で登録可能顔が無いと判定した場合、登録できなかった旨を表示部５０に表示して（ステップＳ２１３）、登録を中止する。

一方、ステップＳ２１１で登録可能顔が有ると判定した場合、画像処理回路４０は、特徴情報抽出用に、その顔領域を切り出すと共に、顔サイズを正規化する（ステップＳ２１５９。顔サイズの正規化とは、画像処理回路４０内の不図示の認証登録エンジン自体の仕様に準拠して適した画像サイズに変倍することを意味する。特徴情報は、認証実施時に抽出した特徴情報生成時と顔の角度が一致していることが重要なため、登録時には顔画像内の頭頂部の方向を必ず上部に揃えるように画像回転処理を行い、特徴情報を抽出する（ステップＳ２１７，Ｓ２１９）。

一方、登録する顔画像については、特徴情報抽出時に実行される顔画像の回転処理とは異なり、登録画像の閲覧を考慮した顔角度補正が行われる（ステップＳ２２１，Ｓ２２３）。顔画像の角度補正については、カメラ姿勢、登録対象人物の表情（寝顔）を考慮して、上述した方法により決定される。顔画像の角度補正処理の流れを図１５に示す。本処理は、図７、図８を参照して説明した方法に基づくものである。

図１５において、画像処理回路４０は、得られた画像内で人物の顔画像の頭頂部方向が上下方向を向いているか、左右方向を向いているかを判定する（ステップＳ４０１）。上下方向を向いていると判定した場合、さらに上向きか下向きかを判定する（ステップＳ４０３）。判定した顔画像の顔向きが上向きの場合、そのまま角度補正無しで登録顔画像とする（ステップＳ４０５）。一方、判定した顔画像の顔向きが下向きの場合、顔が上向きとなるように０度へ角度補正する（ステップＳ４０７）。なお、ステップＳ４０５では角度補正無しとしたが、図７に示したように、カメラ上範囲７２０が有る程度の幅を持っているため、上方向と判定されても０度でない顔角度を０度へ補正するようにしてもよい。

ステップＳ４０１で人物の顔画像の頭頂部方向が左右を向いていると判定した場合、画像処理回路４０は、天地方向の姿勢検知手段を搭載していれば、カメラ姿勢が天地方向を向いているか否かを判定する（ステップＳ４０９）。なお、ステップＳ４０９は、カメラ１００が天地方向を検出可能な姿勢検知手段を有している場合に実施可能な処理であり、天地方向の姿勢検知手段が無い場合には、このステップＳ４０９はなくてもよい。

ステップＳ４０９で天地方向のいずれかを向いていると判定された場合、画像処理回路４０は、人物の顔画像の頭頂部方向を０度に補正する。これは、カメラを上に向けたり、下に向けたりした状態で撮影された画像に対して縦横向きを定義づけるのは無意味だからである。

ステップＳ４０９で天地方向を向いていないと判定された場合は、図１２のステップＳ１３１のライブビュー状態で人物顔の目瞑り状態が所定期間続いたことをもって寝顔と判定された結果を用いて寝顔判定を行う（ステップＳ４１３）。非寝顔と判定した場合、カメラ１００の姿勢検知手段の誤作動も考慮し、画像処理回路４０は、頭頂部方向を０度へ補正する（ステップＳ４１１）。実際には、姿勢検知手段は誤作動しておらず、非寝顔で横たわっているだけの場合もあるが、非寝顔であれば０度方向へ補正した顔画像であっても、閲覧時の違和感はさほど感じられないと考えられる。

一方、ステップＳ４１３で寝顔と判定した場合、画像処理回路４０は、左右方向の頭頂部方向を角度補正無しで登録顔画像とする。この場合も、カメラ１００の姿勢検知手段の誤作動によって頭頂部方向が左右方向であると判定されている可能性があるが、寝顔であれば左右方向のまま登録しても、閲覧時の違和感はさほど感じられないと考えられる。

このように登録対象人物の特徴情報と顔画像を決定したのち、画像処理回路４０は、図１３のステップＳ２２５にてカメラ１００内のＲＯＭ４８に特徴情報と顔画像を記憶する。このとき、画像処理回路４０は、個人情報として、名前や生年月日をユーザに入力してもらうように促し、特徴情報や顔画像と関連付けて個人情報を記憶する（ステップＳ２２７）。つづいて、画像処理回路４０は、一連の登録処理の終了をユーザに知らせるための登録完了表示を行う。このあと、別の個人の登録や、続けて同一人物に対して複数の特徴情報を行わせる場合、図１２のステップＳ１０５からの処理を繰り返し行う。

上記実施形態によれば、認証情報として登録する人物の顔画像を登録する際に、顔画像内の頭頂部が顔画像の上下方向にあるときは、頭頂部が顔画像の上方向になるように顔画像を登録する。そして、顔画像内の頭頂部が顔画像の左右方向にあるときは、頭頂部が顔画像の上方向または頭頂部がある方向に応じた方向に向くように登録する。これにより、認証する人物を登録するための撮影時に撮像装置がどのような姿勢で撮影されても、登録された人物の顔画像の向きを閲覧性を考慮して補正することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０ 撮像部
４０ 画像処理回路
４２ システム制御部
４８ ＲＯＭ
５０ 表示部
６０ 姿勢検知部
１００ カメラ

Claims (7)

1. 撮像手段にて撮影された画像から人物の顔を検出する検出手段と、
   前記検出手段により検出された人物の顔の特徴情報を抽出して登録すると共に、当該人物の顔画像を登録する登録手段と、
   前記登録手段により登録された特徴情報に基づいて認証を行う認証手段と、
   前記登録手段により登録された顔画像を一覧表示することが可能な表示手段とを備え、
   前記登録手段は、人物の顔画像を登録する際に、顔画像内の頭頂部が顔画像の上下方向にあるときは、頭頂部が顔画像の上方向になるように顔画像を登録し、顔画像内の頭頂部が顔画像の左右方向にあるときは、頭頂部が顔画像の上方向または頭頂部がある方向に応じた方向に向くように登録することを特徴とする撮像装置。
2. 前記撮像手段の姿勢を検知する姿勢検知手段と、
   人物の眼が閉じている状態が所定時間以上にある場合には当該人物が寝ていると判定する寝顔判定手段とをさらに備え、
   前記登録手段は、人物の顔画像を登録する際に、前記姿勢検知手段による検知結果が上方向で、顔画像内の頭頂部が顔画像の左右方向にあり、かつ前記寝顔判定手段により寝顔と判定された場合は、頭頂部がある方向に応じた方向で顔画像を登録し、顔画像内の頭頂部が顔画像の左右方向にあり、かつ前記寝顔判定手段により寝顔でないと判定された場合は、顔画像の頭頂部が顔画像の上方向になるよう角度補正して登録することを特徴とする請求項１記載の撮像装置。
3. 前記姿勢検知手段は、前記撮像手段が天地方向を向いているか否かを検知し、
   前記登録手段は、前記姿勢検知手段により前記撮像手段が天地方向を向いていることを検知した場合、顔画像の頭頂部が顔画像の上方向になるように顔画像を登録することを特徴とする請求項２に記載の撮像装置。
4. 前記表示手段は、人物の顔画像を登録する場合は、顔画像内の頭頂部が所定の方向になるように顔画像を回転して登録し、前記登録手段により登録された顔画像を表示する場合は、顔画像を回転せずに表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記表示手段は、人物の顔画像の登録する場合は、回転処理してしない顔画像と共に、顔画像の表示時の回転方向情報を登録し、前記登録手段により登録された顔画像を表示する場合は、前記回転方向情報に基づいて顔画像を回転して表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 撮像手段と表示手段とを備える撮像装置の制御方法において、
   前記撮像手段にて撮影された画像から人物の顔を検出する検出工程と、
   前記検出工程にて検出された人物の顔の特徴情報を抽出して登録すると共に、当該人物の顔画像を登録する登録工程と、
   前記登録工程にて登録された特徴情報に基づいて認証を行う認証工程と、
   前記登録工程にて登録された顔画像を前記表示手段に一覧表示する表示工程とを備え、
   前記登録工程は、人物の顔画像を登録する際に、顔画像内の頭頂部が顔画像の上下方向にあるときは、頭頂部が顔画像の上方向になるように顔画像を登録し、顔画像内の頭頂部が顔画像の左右方向にあるときは、頭頂部が顔画像の上方向または頭頂部がある方向に応じた方向に向くように登録することを特徴とする制御方法。
7. 請求項６に記載の制御方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images