JP2020072356A - 顔認証装置、その制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】ズームのワイドへの操作中に所望の人物を認証しても、ズーム操作の停止が遅れるなどして認証した人物の検出ができなくなることを防止すること。【解決手段】撮像手段と、ズーム制御手段と、顔検出手段と、認証手段と、認証結果判断手段と、探索している探索状態か否かを判定する探索状態判定手段と、を備え、探索状態判定手段は、認証結果判断手段が特定の被写体を認証できたと判断しておらず、且つ、ズーム制御手段が広角側へ変倍動作を実行している場合に探索状態であると判断し、探索状態判定手段が探索状態であると判断している時に、認証結果判断手段が特定の被写体を認証できたと判断した場合にズーム制御手段が変倍動作を停止する。【選択図】図５

Description

本発明は、画像から人物の顔を検出して、検出した顔に対して個人認証を行う顔認証装置に関する。

近年、ビデオカメラ等の撮像装置では、撮像素子等により被写体像を光電変換して得られた映像信号中より周期的に顔を検出し、予め保持している顔の特徴情報と比較を行うことで、特定の人物であるかどうかを判断する顔認証技術が搭載されている。顔認証技術により、特定の人物の顔に対してオートフォーカス（ＡＦ）制御や自動露出（ＡＥ）制御を実行することができるため、よりユーザーの意図を反映した撮影が可能となってきた。

また、高倍率のズーム機能を備える撮像装置において、より広角から望遠までの撮影が可能で、撮像素子の高画素化によって、拡大倍率を高くしても十分な撮像間の得られる撮影が可能になってきている。

高倍率のズーム機能を備える撮像装置では、望遠状態での画角合わせの際、被写体のわずかな移動でフレームアウトが起こりうる。また、カメラを少し動かすだけで画角が大きくずれてしまう。そこで、所定の操作スイッチの押下中は被写体を探索しやくするために画角をズームアウトさせ、該操作スイッチが開放されると元のズーム位置までズームインするフレーミングアシスト機能（ＦＡズーム機能）が開示されている。

しかしながら、ＦＡズーム機能において自動でズーム動作を行う場合に、必要以上のズーム動作を行ってしまう可能性がある。特許文献１には、広角側の所定のズーム位置より望遠側のズーム位置に達した状態で、所定時間内に被写体が検出された場合には、広角側へのズーム動作を停止する方法が提案されている。

特開２０１５−７６７０７号公報

しかしながら、特許文献１の場合、広角側の所定のズーム位置より望遠側のズーム位置に一度達した状態で、所望の被写体が検出されるかどうかを判定するため、ズームが一度停止する。したがって、動画撮影中である場合は、一度ズームが停止する動作が記録されてしまうため、違和感の映像となってしまう可能性がある。

本発明の目的は、望遠状態での画角合わせの際、被写体のわずかな移動でフレームアウトしても、動画として違和感のない映像となるようにズームを制御しつつ、所望の人物を認証して特定の人物の顔に対して適切にオートフォーカス（ＡＦ）制御や自動露出（ＡＥ）制御を実行することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
ズームレンズを含む撮像光学系による光学像を光電変換する撮像素子と、前記ズームレンズを駆動して変倍動作を行うズーム制御手段と、前記撮像素子から出力される映像信号から人物の顔領域を検出する顔検出処理を行う顔検出手段と、前記顔領域から顔の特徴情報を抽出する抽出手段と、前記特徴情報を記憶する記憶手段と、予め前記記憶手段に記憶してある第一の特徴情報と、前記顔検出手段で検出した顔領域から前記抽出手段によって抽出した第二の特徴情報の類似度を算出し、前記類似度が所定の閾値以上であるか否かに応じて、顔を認証できたか否かを判断する認証結果判断手段と、撮影者の操作によらずに前記ズーム制御手段に対して変倍動作の停止を指示するズーム強制停止指示手段とを備え、前記ズーム制御手段の広角側への変倍動作において、前記認証結果判断手段が前記特定の被写体を認証していないと判断している状態から前記特定の被写体を認証できたと判断した状態に変化した場合に、前記ズーム強制停止指示手段は、前記ズーム制御手段に対して前記変倍動作の停止を指示することを特徴とする。

本発明に係る撮像装置によれば、所望の被写体がフレームアウト後に再びフレーム内に収めるべくズームをワイドに操作した場合でも、所望の被写体を見つけたにもかかわらずズームをワイドに引きすぎることを防止できる。さらに、再度認証した顔の検出が再びできなくなってしまうことを防ぐこともでき、所望の人物に対するＡＦ制御やＡＥ制御を実行し続けることが可能になる。

本発明の一実施例であるビデオカメラの構成を示すブロック図 本発明の一実施例であるＦＡズーム機能の処理を示すフローチャート 本発明の一実施例であるＦＡズーム開始判定処理を示すフローチャート 本発明の一実施例における顔データテーブルの一例を示す表 本発明の一実施例におけるＦＡズーム停止判定処理を示すフローチャート

以下、本発明の実施の形態について図面を参照しながら説明する。

＜撮像装置の構成＞
本発明の特徴は、顔認証制御において、顔認証処理の結果、カメラに登録している登録人物と同一人物であるか否かを判定する閾値を撮影状況に応じて変更を行うことで、登録人物であると判定するまでの時間を短縮化する。

本発明の顔認証装置及び方法は、課題を解決するための手段のところで述べた様な基本的な構成を有する。

＜ビデオカメラの構成＞
以下、本発明の実施例を説明する。図１は、本発明の実施例である撮像装置を含むビデオカメラ（撮像装置１０）の構成を示す。以下の実施例では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の他の撮像装置にも適用できる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。１０４は第２固定レンズである。１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えた、撮像用の光学系の焦点調節のためのフォーカスコンペンセータレンズ（以下、フォーカスレンズまたは焦点調節部材ともいう）である。

第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は、撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化するＣＤＳ／ＡＧＣ／ＡＤコンバータである。１０８は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成するカメラ信号手段（撮像手段を構成する）である。

１０９は、カメラ信号手段１０８からの映像信号を表示する表示装置、１１０は、カメラ信号手段１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録装置である。１１１は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートであり、後述のカメラマイコン１１４で設定された領域（ＡＦ枠）について焦点信号を生成できるように構成されている。

１１２は、焦点信号生成手段を構成する焦点信号手段であり、ＡＦゲート１１１を通過した信号から焦点信号を生成する。焦点信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表す値でもよいし、焦点検出用の画像信号の位相差から被写体までの距離またはデフォーカス量を表す値でも良い。

１１３は、画像信号に対して公知の顔検出処理を施し、撮影画面内の人物の顔領域の位置及び大きさ、角度（ロール、ピッチ、ヨー）を検出する顔検出手段（被写体検出手段を構成する）である。公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が開示されている。顔検出手段１１３は、その検出結果を後述のカメラマイコン１１４及び後述する顔認証手段１１７に送信する。

カメラマイコン１１４は、上記検出結果及び後述する認証結果に基づき、撮影画面内の顔領域を含む位置にＡＦ枠を設定するようにＡＦゲート１１１へ情報を送信する。

１１４は、焦点信号手段１１２の出力信号に基づいて、後述の変倍レンズ駆動源１１５およびフォーカスレンズ駆動源１１６を制御しフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力するカメラマイコンである。前述したＡＦ枠の設定や主顔の選択処理、及び各種ＡＦ制御処理もカメラマイコン１１４で実行される。なお、これらの処理はカメラマイコン１１４にて、所定の周期（例えば映像信号の垂直同期信号の発生周期）毎に繰り返し実行される。本実施の形態では、この周期をＶ周期、タイミングをＶタイミングと呼ぶ事にする。

１１５は、変倍レンズ１０２を移動させるためのアクチュエータ及びその駆動回路を含む変倍レンズ駆動源、１１６は、フォーカスレンズ１０５を移動させるためのアクチュエータ及びその駆動回路を含むフォーカスレンズ駆動源である。変倍レンズ駆動源１１５及びフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１７は、カメラマイコン１１４に記録されている認証の対象となる人物の顔（以下、登録人物または登録顔画像）と、顔検出手段１１３で検出した顔とを比較し、登録人物と類似する人物がいるか否かを判定する顔認証手段である。

顔認証手段１１７は、顔検出手段１１３によって検出した顔と、カメラマイコン１１４に記録されている登録顔画像との類似度を算出する。次に、顔認証手段１１７は、算出した類似度が認証閾値を超えているか否かを判定し、認証閾値を超えている場合は顔検出手段１１３によって検出した顔が登録人物の顔であると判断する（認証する）。

類似度の算出方法としては、例えば、顔画像の大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法を用いる方法がある。あるいは、検出した顔画像データを顔の大きさで正規化し、マッチングを行う方法などがある。なお、本実施形態の説明において、予め登録されている登録顔画像とは、圧縮されて保存されている顔画像データそのもの、もしくは目、鼻、口、眉毛など、顔に関する特徴量を示す情報である。

以下に、本発明の一実施形態について、図２〜５を用いて詳細に説明する。但し、後述するフローチャートは、前述の１回のＶ周期にて実行される処理について記述している。

なお、本実施形態によって実現される機能は、撮影者によるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能（以下、ＦＡズーム機能と略記する）と呼ぶこととする。

＜ＦＡズーム機能＞
次に、図２のフローチャートを用いて第一の実施形態にかかる撮像装置の処理について説明する。

次に、Ｓ２０１において、顔検出手段１１３は取得した映像信号から顔領域を抽出する処理を実行し、顔領域が抽出できた場合はカメラマイコン１１４に対して顔領域の数、及びそれぞれの顔領域の位置、大きさ、角度に関する顔情報を出力する。

次に、Ｓ２０２において、カメラ／マイコン１１４は、Ｓ２０１にて取得した顔情報に基づいて顔データテーブルを更新する。

ここで、顔データテーブルの例について図４を用いて詳しく説明する。

顔データテーブル４０１は、カメラマイコン１１４が識別している人物一人について一つの系列データを管理する。系列データは、顔データテーブル４０１の各行に表されるデータの組であり、顔ＩＤ４０２、顔位置４０３、顔サイズ４０４、顔角度４０５、更新フラグ４０６、認証フラグ４０７をデータとして保持している。

図４に示した顔データテーブル４０１において、顔ＩＤ４０２はカメラマイコン１１４が識別している人物をそれぞれ区別するための識別番号である。カメラマイコン１１４によって所定の人物が追従されている間、同一の識別番号を割り当て続ける。

例えば、Ｓ２０１にて取得した顔情報を各系列データの顔位置４０３及び顔サイズ４０４と比較し、位置及びサイズの差分が所定範囲以内である場合は追従されていると判断する。

カメラマイコン１１４は、追従されていると判断された系列データについて、顔位置４０３、顔サイズ４０４、顔角度４０５をＳ２０１にて取得した顔情報で更新し、更新フラグ４０６を「更新」に変更する。

追従されているか否かの判断は、Ｓ２０１にて取得した顔情報の中に系列データに該当する顔情報ない場合でも、図示しない顔追尾手段によって各顔の色情報や輝度情報に基づいて推定した顔領域を顔情報として比較しても良い。

顔位置４０３、顔サイズ４０４、顔角度４０５は、それぞれ、映像信号から抽出した顔領域の位置座標情報、サイズ情報、角度情報を示している。但し、図４に示す例では顔サイズ４０４は大／中／小の３段階で示しているが、映像信号のピクセル数を記録するなど別の形式でもよい。また、顔角度４０５は、０°／４５°／９０°の３段階で示しているが、例えば１°刻みの情報を−１８０°から＋１８０°の情報で記録するなど別の形式でもよい。

更新フラグ４０６は、カメラマイコン１１４がＳ２０１で取得した顔情報を顔データテーブル４０１の各系列データと比較し、同一の人物であると判断したかどうかに応じて、顔位置４０３、顔サイズ４０４、顔角度４０５をＳ２０２で取得した最新の顔情報で更新したかどうかを表すフラグである。したがって、所定の系列データと同一人物であると判断できた顔情報がない場合、更新フラグ４０６は「未更新」のままとなる。カメラマイコン１１４は、各系列データの更新フラグが所定の期間「未更新」となり続けている場合は、当該系列データの人物がいなくなったと判断し、顔データテーブル４０１から削除する。

また、顔データテーブル４０１内の更新フラグ４０６は、Ｓ２０３の処理を開始する前に全て「未更新」に変更する。

認証フラグ４０７は、Ｓ２０２で顔認証手段１１７が顔認証処理を実行した結果、顔認証が成功したと判断した場合に「ＯＮ」とするフラグである。認証フラグが一度ＯＮとなった顔は、カメラマイコン１１４が追従していると判断している間は認証済みの顔であると判断することができるため、その後認証処理を実施しなくても認証フラグを「ＯＮ」のままとする。したがって、認証済みの顔が横を向くなどして登録顔画像との類似度が低くなったとしても認証済みの状態を継続することが可能になる。

また、後述するＳ２１２の処理において、認証フラグ４０７が「ＯＦＦ」から「ＯＮ」に切り替わったか否かを判断するため、更新前の情報も保持しているものとする。

図２のフローチャートの説明に戻る。

Ｓ２０４では、ＦＡズームアウト開始判定処理を行いＳ２０５に進む。ＦＡズームアウト判定処理については、図３を用いて後述する。

次に、Ｓ２０５では、Ｓ２０４において、カメラマイコン１１４はＦＡズーム中状態と判定したか通常状態と判定したかを判断し、ＦＡズーム中状態と判定した場合はＳ２０６に進み、通常状態と判定した場合はＳ２１４に進む。

次に、Ｓ２０６では、Ｓ２０４において、カメラマイコン１１４がＦＡズーム中状態と判定した場合において、前回のＶ周期の処理における判定では通常状態であったか否かを判断する。つまり、通常状態からＦＡズーム中状態に変化したのか、ＦＡズーム中状態が継続しているのかを判断する。通常状態からＦＡズーム中状態に変化している場合はＳ２０７に進み、ＦＡズーム中状態が継続している場合にはＳ２１０進む。

次に、Ｓ２０７及びＳ２０８は、ＦＡズームアウト機能が開始した時の最初に実行する処理である。

Ｓ２０７では、ＦＡズームアウト機能を開始するときのズーム位置、つまり現在のズーム位置をカメラマイコン１１４内の図示しないＲＡＭに記憶する。

次に、Ｓ２０８では、ＦＡズームアウト機能を実行するときのワイド側の目標ズーム位置を設定する。目標ズーム位置は、あらかじめユーザーに設定されるものでも良いし、パンニングやチルティングの量や認証していた被写体を見失った時の顔サイズに応じて変更しても良い。例えば、パンニングやチルティングの振れ量が大きい場合には、目標ズーム位置をよりワイド側に設定し、振れ量が小さい場合には目標ズーム位置をよりテレ側に設定することが考えられる。また、認証指定は被写体を見失った時の顔サイズが大きい場合には、目標ズーム位置をよりワイド側に設定し、振れ量が小さい場合には目標ズーム位置をよりテレ側に設定することが考えられる。

次に、Ｓ２０９では、カメラマイコン１１４はズーミング駆動源１１５に対してＳ２０８にて設定したズームアウト目標位置まで変倍動作を行うように指示する。

次に、Ｓ２１０では、Ｓ２０６においてカメラマイコン１１４がＦＡズーム中状態が継続していると判断した場合、Ｓ２０９にて実行している変倍動作によってＳ２０８にて設定したズームアウト目標位置に達したか否かを判断する。

Ｓ２０８にて設定したズームアウト目標位置に達している場合は、Ｓ２１１に進み、ズームアウト目標位置に達していない場合はＳ２１２に進む。

次に、Ｓ２１１では、カメラマイコン１１４は、Ｓ２０９で実行していたズームアウト制御を停止するようにズーミング駆動源１１５に指示を出し、ズーミング駆動源１１５はズーム駆動を停止する。

次に、Ｓ２１２では、Ｓ２１０にてズームアウト位置に到達していないと判断した場合、カメラマイコン１１４はズームアウト停止判定処理を実行し、Ｓ２１３に進む。

ズームアウト停止判定処理については図５を用いて後述する。

次に、Ｓ２１３では、Ｓ２１２の処理においてズームアウトを停止すると判定したか継続すると判断したかに応じて処理を変更する。Ｓ２１２においてズームアウトを停止すると判断した場合は、Ｓ２１１に進みズームアウト処理を停止し、ズームアウトを継続すると判断した場合は、Ｓ２０９に進みズームアウト処理を継続する。

次に、Ｓ２１４では、Ｓ２０４において、カメラマイコン１１４が通常状態と判断した場合の処理であり、Ｓ２０７にて記憶した開始ズーム位置の情報がカメラマイコン１１４内の図示しないＲＡＭに記憶されているか削除されているかを判断する。開始ズーム位置が記憶されている場合はＳ２１５に進み、開始ズーム位置が記憶されていない場合には処理を終了する。開始ズーム位置が記憶されている場合、ＦＡズーム機能により所望の被写体を見つけるなどして元のズーム位置に戻そうと後述するＦＡズームボタンを離したか、パンニングやチルティングを停止した場合と考えられる。したがって、開始ズーム位置が記憶されているか削除されているかに応じて、ＦＡズーム機能を継続するか、何も実行せずに終了するかを変更する。

次に、Ｓ２１５では、カメラマイコン１１４は現在のズーム位置と前述のＲＡＭに記憶している開始ズーム位置を比較し、現在のズーム位置が開始ズーム位置に到達しているか否かを判断する。現在のズーム位置が開始ズーム位置に達していると判断した場合はＳ２１６に進み、達していないと判断した場合はＳ２１７に進む。Ｓ２１７において、カメラマイコン１１４はズーミング駆動源１１５に対してズーム動作の継続を指示し、ズーミング駆動源１１５はズーム動作を継続する。

次に、Ｓ２１６では、現在のズーム位置が開始ズーム位置に達したため、カメラマイコン１１４内の図示しないＲＡＭに記憶されていた開始ズーム位置の情報を削除し、Ｓ２１８に進む。Ｓ２１８において、カメラマイコン１１４はズーミング駆動源１１５に対してズーム動作の停止を指示し、ズーミング駆動源１１５はズーム動作を停止する。

＜ＦＡズームアウト開始判定処理＞
次に、図３のフローチャートを用いて、図２のＳ２０４に記載のＦＡズームアウト開始判定について詳しく説明する。

まず、Ｓ３０１では、カメラマイコン１１４は撮影モードの設定が自動ＦＡモードであるか手動ＦＡモードであるかを判定する。自動ＦＡモードである場合はＳ３０２に進み、手動ＦＡモードである場合はＳ３０５に進む。

次に、Ｓ３０２では、カメラマイコン１１４はパンニング及びチルティングを検出し、パンニングやチルティングの振れ量が所定以上であるか否かを判断する。振れ量が所定以上であると判断した場合はＳ３０３に進み、所定以下であると判断した場合は、Ｓ３０４に進む。

次に、Ｓ３０３では、カメラマイコン１１４はＦＡズーム中状態であるか通常状態であるかの内部状態をＦＡズーム中状態として処理を終了する。

次に、Ｓ３０４では、カメラマイコン１１４はＦＡズーム中状態であるか通常状態であるかの内部状態を通常状態として処理を終了する。

次に、Ｓ３０５では、撮影者によって図示しない操作部からＦＡズームの実行の指示を受け付けたか否かを判断する。ＦＡズームの実行の指示を受け付けた場合はＳ３０６に進み、受け付けていない場合はＳ３０７に進む。

次に、Ｓ３０６では、Ｓ３０３と同様の処理であるため、説明を省略する。

次に、Ｓ３０７では、Ｓ３０４と同様の処理であるため、説明を省略する。

＜ＦＡズームアウト停止判定処理＞
次に、図５のフローチャートを用いて、図２のＳ２１２に記載のＦＡズームアウト停止判定について詳しく説明する。

まず、Ｓ５０１では、カメラマイコン１１４は図４に示した顔データテーブル４０１内に系列データがあるか否かを判断する。系列データがある場合はＳ５０２に進み、系列データが一つもない場合にはＳ５０４に進む。

次に、Ｓ５０２では、カメラマイコン１１４は、Ｓ２０２の顔認証処理によって認証された顔があり、かつＳ２０３の処理において、前回の処理周期では認証フラグが「ＯＦＦ」であったにもかかわらず今回の処理周期では認証フラグが「ＯＮ」に変わったか否かを判断する。

今回の処理周期で認証フラグが「ＯＦＦ」から「ＯＮ」に変わった場合はＳ５０３に進み、前回の処理周期で認証フラグが既に「ＯＮ」であり、「ＯＮ」の状態が継続していると判断している場合はＳ５０４に進む。

次に、Ｓ５０３では、Ｓ５０２にて認証フラグが「ＯＦＦ」から「ＯＦＦ」に変化したときに、カメラマイコン１１４はズーミング駆動源１１５に対してズーム動作の停止を指示し、ズーミング駆動源１１５はズーム動作を停止する。

Ｓ５０２及びＳ５０３は本発明の特徴的な処理であり、ＦＡズーム開始前に認証していた顔をロストした状態において、ＦＡズームが開始されることによって、撮影者が認証していた顔（所望の顔）を探している状態であると判断する。撮影者が所望の顔を探している状態をカメラが判断することで、所望の顔を再度見つけ、認証された段階でズームアウト動作を停止することで、ズームアウトしすぎてしまうことによって再認証できた顔が再度検出できなくなってしまうほど小さくなってしまうことを防止することができるようになる。また、余計なズーム動作を削減することができるため、ズームアップして撮影した被写体に対して、よりズームアップして撮影する時間を長くすることができるようになる。

次に、Ｓ５０４では、顔検出手段１１３が顔を検出していないため、現在実行中のＦＡズームにおいて、ＦＡズーム開始前に認証していた顔をまだ見つけていないことは明らかである。したがって、ＦＡズームアウト動作を継続するよう判定する。

以下では、Ｓ５０１〜Ｓ５０４の処理は図５（ａ）と同じであるため、同じ番号を付して説明を省略する。

Ｓ５０５では、Ｓ２０３の処理において認証フラグが「ＯＦＦ」から「ＯＮ」に変わった系列データに対応する顔のサイズが閾値以下であるか否かを判断し、閾値以下であると判断した場合はＳ５０３に進み、閾値以上である場合はＳ５０６に進む。

次に、Ｓ５０６では、Ｓ２０３の処理において認証フラグが「ＯＦＦ」から「ＯＮ」に変わった系列データに対応する顔の位置が所定の領域内であるか否かを判断し、所定の領域内であると判断した場合はＳ５０３に進み、所定の領域内でないと判断した場合はＳ５０４に進む。

Ｓ５０５の判断により、認証した顔のサイズが閾値以上である場合に、ズームのワイドへの駆動を継続することができる。つまり、ズームの駆動によってＳ５０６で判断する所定領域内へ所望の顔を引き込みやすくなる。しかしながら、ズームのワイドへの駆動を継続することによって認証した顔が検出できなくなってしまうと再び認証するまでの間に別の顔にＡＦ及びＡＥ制御を実施してしまう可能性がある。したがって、上述した顔のサイズに関する閾値を、検出可能な顔のサイズに設定することによって、再び認証した顔を再度見失ってしまうことを防止できる。また、顔のサイズに関する閾値は、ズームのワイドへの駆動を停止するまでのタイムラグを考慮して、検出可能な顔のサイズに対して、ズームを停止するまでに駆動してしまうズーム倍率を掛け合わせたサイズとしても良い。例えば、ズームの駆動の停止を指示したタイミングをズーム倍率１倍と仮定すると、ズームの駆動を実際に停止するときのズーム倍率の最悪値が０．８倍と仮定し、検出可能な顔のサイズを１４０ピクセルとすると、閾値は１４０×（１÷０．８）＝１７５ピクセルとなる。また、ズームの駆動速度によっても閾値を変更しても良い。例えば、ズーム速度が速い場合は、顔を認証してからズームの駆動の停止を指示するまでの間や、ズームの駆動停止の指示をしてから実際に駆動停止するまでの間の駆動量は、ズーム速度が遅い場合に比べて大きくなる。したがって、ズームの駆動速度が大きい場合は、大きい値を設定し、ズームの駆動速度が小さい場合は、小さい値を設定する。

次に、Ｓ５０６の判断により、認証した顔の位置が所定領域内である場合に、ズームのワイドへの駆動を継続することができる。つまり、Ｓ５０５と同様に、ズームの駆動によって所定領域内へ所望の顔を引き込むことによって、再度認証した顔が再び画面外にフレームアウトしてしまうことを防止することができる。また、Ｓ５０５と同様に、ズームのワイドへの駆動を停止するまでのタイムラグを考慮して、設定する領域を変更しても良い。例えば、ズームの駆動が遅い場合は、ズームの駆動の停止を指示してから実際にズームの駆動が停止するまでの駆動量が大きいため、所望の顔を所定領域内に引き込みやすくなる。したがって、ズームの速度が速い場合は所定領域を広く（ズームの駆動を継続すると判断する領域を狭く）設定し、ズームの速度が遅い場合は、所定領域を狭く（ズームの駆動を継続すると判断する領域を広く）設定する。

以上のような、顔サイズに関する閾値及び所定領域に関する閾値を設定することにより、ズームの駆動を必要以上に実行せず、且つ、所望の顔を画面の中心に捕え易くすることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０５ フォーカスレンズ、１０６ 撮像素子、１１１ ＡＦゲート、
１１２ 信号手段、１１３ 顔検出手段、１１４ カメラマイコン、
１１７ 顔認証手段

Claims (7)

1. ズームレンズを含む撮像光学系による光学像を光電変換する撮像素子と、
   前記ズームレンズを駆動して変倍動作を行うズーム制御手段と、
   前記撮像素子から出力される映像信号から人物の顔領域を検出する顔検出処理を行う顔検出手段と、
   前記顔領域から顔の特徴情報を抽出する抽出手段と、
   前記特徴情報を記憶する記憶手段と、
   予め前記記憶手段に記憶してある第一の特徴情報と、前記顔検出手段で検出した顔領域から前記抽出手段によって抽出した第二の特徴情報の類似度を算出し、前記類似度が所定の閾値以上であるか否かに応じて、顔を認証できたか否かを判断する認証結果判断手段と、
   撮影者の操作によらずに前記ズーム制御手段に対して変倍動作の停止を指示するズーム強制停止指示手段と、
   を備え、
   前記ズーム制御手段の広角側への変倍動作において、
   前記認証結果判断手段が前記特定の被写体を認証していないと判断している状態から前記特定の被写体を認証できたと判断した状態に変化した場合に、
   前記ズーム強制停止指示手段は、前記ズーム制御手段に対して前記変倍動作の停止を指示することを特徴とする撮像装置。
2. ズームレンズを含む撮像光学系による光学像を光電変換する撮像素子と、
   前記ズームレンズを駆動して変倍動作を行うズーム制御手段と、
   前記撮像素子から出力される映像信号から人物の顔領域を検出する顔検出処理を行う顔検出手段と、
   前記顔領域から顔の特徴情報を抽出する抽出手段と、
   前記特徴情報を記憶する記憶手段と、
   予め前記記憶手段に記憶してある第一の特徴情報と、前記顔検出手段で検出した顔領域から前記抽出手段によって抽出した第二の特徴情報の類似度を算出し、前記類似度が所定の閾値以上であるか否かに応じて、顔を認証できたか否かを判断する認証結果判断手段と、
   撮影者の操作によらずに前記ズーム制御手段に対して変倍動作の停止を指示するズーム強制停止指示手段と、
   を備え、
   前記顔検出手段は、検出した顔領域の大きさ及び前記映像信号内における位置に関する情報の少なくとも一方を出力し、
   前記ズーム制御手段の広角側への変倍動作において、
   前記認証結果判断手段が前記特定の被写体を認証していないと判断している状態から前記特定の被写体を認証できたと判断した状態に変化している状態であり、
   且つ前記特定の被写体の顔領域の大きさが所定の大きさ閾値以下であるか、又は、前記特定の被写体の顔領域の位置が所定の領域内である場合、
   前記ズーム強制停止指示手段は、前記ズーム制御手段に対して前記変倍動作の停止を指示することを特徴とする撮像装置。
3. 前記撮像装置のパンニング動作及びチルティング動作を検出するパンチルト検出手段をさらに備え、
   前記パンチルト検出手段によってパンニング及びチルティング動作の少なくとも何れか一方が検出されている場合に、前記ズーム強制停止指示手段が前記ズーム制御手段に対して前記変倍動作の停止を指示することを許可することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記所定の領域を変更する領域変更手段をさらに備え、
   前記領域変更手段は、
   前記パンチルト検出手段によって検出されるパンニング及びチルティングの振れ量に応じて前記所定の領域を変更することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
5. 前記所定の領域を変更する領域変更手段をさらに備え、
   前記領域変更手段は、
   前記ズーム制御手段が行う変倍動作の速度に応じて前記所定の領域を変更することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
6. 前記所定の大きさ閾値を変更する大きさ閾値変更手段をさらに備え、
   前記大きさ閾値変更手段は、
   前記ズーム制御手段が行う変倍動作の速度に応じて前記所定の大きさ閾値を変更することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
7. 前記ズーム制御手段に対してズーム制御の実行を指示する指示手段と、
   ズーム位置を記憶する記憶手段と、
   をさらに備え、
   前記ズーム制御手段は、
   前記指示手段によりズーム制御の実行が指示された場合、前記記憶手段にズーム位置を記憶するとともに、前記ズームレンズを広角側に制御し、
   前記指示手段によるズームの実行の指示が終了した場合、前記記憶手段に記憶したズーム位置へ前記ズームレンズを制御することを特徴とする請求項１乃至６の何れか一項に記載の撮像装置。