JP2006235718A - 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】記憶すべきデータ量を少なくして、装置を小型化でき、携帯電話など小型機器への搭載を可能とする。
【解決手段】人などの生体の顔を撮影するカメラ部４と、このカメラ部４から入力された顔画像により顔認証処理を行う顔認証部３とを含んで構成される顔認証装置において、前記顔認証部３は、顔表情抽出部４２が、前記顔画像からその特徴点を取り出し、生体判別部４１がその特徴点が生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、顔認証処理部３３がその顔画像に対して顔認証処理を行なうことを特徴とする。
【選択図】 図１

Description

本発明は、なりすまし防止した顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器に関し、特にバイオメトリクス認証の一つである顔認証において、顔写真などを使ったなりすまし防止した顔認装置、その顔認証方法、その顔認証装置を組み込んだ電子機器に関する。

従来、バイオメトリクス認証の一つである顔認証システムでは、顔写真やビデオを使ったなりすましが問題となっており、顔認証システムとしては、そのためなりすまし防止対策を講じる必要があった。

一般に、顔認証システムは、あるシステムを使用しようとする利用者に対して、使用権限があるかどうかをチェックし、利用者が使用できるようにアクセスコントロールするシステムである。従来のアクセスコントロールは、例えば、利用者の所有物、秘密情報またはバイオメトリクス等を単独若しくは組み合わせることによって実現されている。具体的には、所有物によるアクセスコントロールとしては、物理的な鍵、カードなどを用いた方法がある。また、秘密情報によるアクセスコントロールとしては、暗証番号などによる方法がある。さらに、バイオメトリクスによるアクセスコントロールとしては、指紋、虹彩、顔などを利用した方法がある。

従来のアクセスコントロールにおいて、各種方法を複数組み合わせる必場合は、それに伴って利便性を損なうことになる。この利便性をできるだけ損なわずにセキュリティを高めるため、例えば、特許文献１に示された技術（従来例１）がある。この技術は、ＩＣカード等に記憶された情報とカメラ等により撮像された顔画像とを組み合わせて利用者の認証を行うものである。しかし、この技術は、ＩＣカード等の記憶情報と顔画像の組み合わせにより利用者の認証を行う場合、例えば、顔の特徴のよく似た利用者同士について顔特徴の単純な認識処理のみで本人であるか否かを認証することは難しかった。また例えば、写真や人形等の模造物によるなりすましを排除することも困難であった。

これを解決する従来技術（従来例２）としては、特許文献２に示された技術があげられるが、これは照明装置を使用して照明環境を変化させることでなりすましを排除する方法である。この技術は、照明環境を変更制御する照明手段が必要となり、小型装置（携帯電話など）への搭載が困難になっていた。

さらに、アクセスをする利用者の顔の時間的な変化を利用することにより、本人認証を高い精度で行いセキュリティ性の向上を図った従来技術（従来例３）がある。この従来例３は、特許文献３に示された技術であり、この技術を図８，図９により説明する。

図８は従来例３のアクセスコントロールシステムの構成を示すブロック図である。図において、本システムは、例えば、撮像手段としてのカメラ４ａと、記憶部１１と、顔検出部１２と、表情識別部１３と、本人認証部１４およびアクセス権判定部１５と、アクセスコントロール部１６とを備えている。

記憶部１１は、利用者の顔の特徴に関する登録情報（以下、登録顔データ）Ｆと、利用者の表情の変化パターンに関する登録情報（以下、登録表情変化パタンデータ）Ｅと、利用者に認められたアクセス権に関する登録情報（以下、アクセス権データ）Ａとを含んだ個人登録データが予め記憶された記憶媒体である。この記憶部１１の具体的な構成としては、例えば複数の利用者Ａ，Ｂ，Ｃ，…についての個人登録データがまとめて格納された所要の容量を有するメモリでもよい。この場合、メモリに格納された各登録データが本人認証部１４およびアクセス権判定部１５によって読み取られることになる。また、例えば、各利用者が個人登録データを記憶させた非接触ＩＣカード等の携行型の記憶媒体をそれぞれ所持するようにしてもよい。この場合、その非接触ＩＣカード等をシステム側に設けられたカード読み取り部に近づけることで個人登録データを読み取らせることも可能である。

登録顔データＦは、本人認証用として予め取得した顔画像をそのまま登録データとして用いてもよい。また、本人認証用の顔画像を基に顔特徴量を算出して、その算出結果を登録データとして用いることも可能である。この顔特徴量とは、本人と他人の識別判定が可能な利用者の顔の特徴を数値化したものである。

登録表情変化パターンデータＥは、利用者の表情を示す表情データの時間的な変化パターンを予め決めておき、それを本人認証用のデータとして登録したものである。この表情データとは、本人と他人の識別判定が可能な利用者の表情の特徴を数値化したものである。具体的には、例えば、顔の構成要素（目、鼻、口、眉等）のみを顔画像から切り出して互いの位置関係を数値で表したり、顔の構成要素の形状や互いの位置関係、傾き等を数値で表したりしたもので、その数値によって表情の特徴を示したものである。

また、アクセス権データＡは、正当な所有者に与えられた使用権限に関する情報であって、システム内の資源に対して使用が許可される範囲などを示す情報である。具体的には、例えばドア等におけるアクセスコントロールに用いられる場合には、入室が許可される部屋についての識別情報などがアクセス権データとなる。

カメラ４ａは、アクセスを希望する利用者の主に顔を撮像することが可能であり、取得した映像を顔検出部３に出力する。このカメラ４ａは、複数台のカメラを切り替えて使用するようにしても構わない。

顔検出部１２は、カメラ４ａからの映像を連続した画像として処理し、各画像から利用者の顔の検出処理を実行する。そして、利用者の顔を検出した場合には顔画像Ｆｉを切り出し、その顔画像Ｆｉを表情識別部１３および本人認証部１４にそれぞれ送る。表情識別部１３は、例えば、表情データ作成回路および表情データ変化判定回路を有する。表情データ作成回路は、顔検出部１２から連続して送られてくる顔画像Ｆｉｎを基に表情データを作成し、その表情データを出力する。表情データ変化判定回路は、連続して送られる表情データについて時間的な変化の有無を判別し、時間的変化有りを判別した時の表情データを逐次取り出し、本人認証部１４の表情変化パターン認証部５２に出力する。

本人認証部１４は、例えば、顔認証部５１および表情変化パターン認証部５２を有する（図８）。顔認証部５１は、顔検出部１２から送られてくる顔画像Ｆｉｎと記憶部１１に記憶された登録顔データＦとを照合する。この照合結果の尺度に基づいて、カメラ４ａで撮像された利用者の顔が記憶部１１に登録された利用者の顔と一致するか否かの認証を行い、その認証結果をアクセス権判定部１５に出力する。

この顔認証部５１における顔認証処理は、具体的には、本人認証用として予め取得した顔画像がそのまま登録顔データＦとして登録される。この場合には、まず、顔検出部１２からの顔画像Ｆｉｎについて拡大／縮小処理を施し、登録顔データＦ（複数の顔画像または１つの顔画像）と同等のサイズにする。次に、顔画像Ｆｉｎと登録顔データＦを照合して互いの差分を算出することによって、両顔画像の類似度を求める。この類似度は差分が少ないほど高くなるものとする。そして、求めた類似度が予め設定された閾値を上回れば、顔画像Ｆｉｎと登録顔データＦの一致を判断して利用者が本人であると認証する。

また、本人認証用の顔画像を基に算出した顔特徴量が登録顔データＦとして登録されている場合には、まず、顔検出部１２からの顔画像Ｆｉｎを基に顔認証部５１の顔特徴量算出回路で顔特徴量を算出し、その顔特徴量と登録顔データＦとして示される顔特徴量とを顔特徴量照合回路で照合して類似度を求める。そして、求めた類似度が予め設定された閾値を上回るか否かを顔特徴量認証回路で判定し、類似度が閾値を上回れば利用者が本人であると認証する。

表情変化パターン認証部５２は、表情識別部１３から送られてくる表情データ列｛Ｅｉｎ｝と、記憶部１１に記憶された登録表情変化パタンデータＥとを照合して表情変化パターンの認証を行い、その認証結果をアクセス権判定部１５に出力する。この表情変化パターン認証部５２おける表情変化パターン認証処理は、表情識別部１３からの表情データ列｛Ｅｉｎ｝と記憶部１１からの登録表情変化パタンデータＥに示される表情データの変化パタン（以下、登録表情データ列｛Ｅ｝とする）とが、各々の表情データ列の変化パターンが照合される。その照合結果が表情変化パタンデータ判定回路に出力される。

表情変化パタンデータ判定回路では、例えば、次の認証条件１）〜４）のいずれかの場合には、表情変化パターンの認証処理が行われる。すなわち、認証条件が、１）表情データ列｛Ｅｉｎ｝と登録表情データ列｛Ｅ｝が同等になる場合、２）表情データ列｛Ｅｉｎ｝に登録表情データ列｛Ｅ｝が含まれる場合、３）表情データ列｛Ｅｉｎ｝内に、登録表情データ列｛Ｅ｝にある各表情データが同順で存在する場合、４）登録表情データ列｛Ｅ｝の集合が表情データ列｛Ｅｉｎ｝の集合に含まれる場合には、それぞれ表情データ列｛Ｅｉｎ｝で示される表情変化パターンを認証する。

なお、アクセス権判定部１５は、顔認証部５１および表情変化パターン認証部５２における各認証結果と、記憶部１１に記憶されたアクセス権データＡとに基づいて、利用者のアクセスを許可するか否かを判定する。この判定結果をアクセスコントロール部１６に出力する。このアクセス権判定部１５における判定処理は、顔認証部５１での認証結果がＯＫであり、かつ、表情変化パターン認証部５２での認証結果もＯＫである場合に、記憶部１１からのアクセス権データＡに示される使用権限に応じて判定する。そして、この判定結果を示す信号をアクセスコントロール部１６に伝える。

アクセスコントロール部１６は、アクセス権判定部１５における判定結果に応じて、本人であると認証されると同時に正当なアクセス権を有すると判定された利用者に対して所要のアクセスを許可する。また、それ以外の利用者に対してはアクセスを拒否するアクセスコントロールを実施する。

次に、図９は図８の動作を説明するフローチャートである。このアクセスコントロールシステムによるアクセスコントロールが開始されると、アクセスを希望する利用者がカメラ４ａによって撮像され、その映像が顔検出部１２に送られる。顔検出部１２では、ステップＳ１１で、カメラ４ａから連続して送られてくる画像のなかに利用者の顔に相当する部分が検出されたか否か判別され、顔の部分が検出されるとステップＳ１２に進み、顔画像Ｆｉｎが切り出されて顔認証部５１および表情識別部１３にそれぞれ出力する。

次に、顔検出部１２からの顔画像Ｆｉｎを受ける顔認証部５１では、まず、ステップＳ１３で顔画像Ｆｉｎが入力されたか否かが判別され、顔画像Ｆｉｎの入力があるとステップＳ１４に進み、入力された顔画像Ｆｉｎと記憶部１１に記憶された登録顔データＦとが照合される。このとき、記憶部１１がメモリを使用したものである場合には、メモリに記憶された複数の利用者Ａ，Ｂ，Ｃ，…の登録顔データＦが顔認証部５１によって順次読み取られて、顔画像Ｆｉｎとの照合処理が実行される。また、記憶部１１が非接触ＩＣカードからなる場合には、カメラ４ａで撮像された利用者の提示した非接触ＩＣカードが、読み取られる。そして、受信された個人登録データに含まれる登録顔データＦが顔認証部５１に送られて、顔画像Ｆｉｎとの照合処理が実行される。そして、ステップＳ１５では、照合の結果を示す類似度が閾値を上回って照合一致となったか否かが判別され、照合一致が判別されると、ステップＳ１６に進み、顔認証部５１における認証結果が是であることを示す信号がアクセス権判定部１５に出力される。

また、顔検出部１２からの顔画像Ｆｉｎを受ける表情識別部１３では、まず、ステップＳ１７で顔画像Ｆｉｎが入力されたか否かが判別される。顔画像Ｆｉｎの入力があるとステップＳ１８に進み、入力された顔画像Ｆｉｎについての表情データが表情データ作成回路によって作成される。そして、ステップＳ１９では、作成された時系列の表情データについての変化の有無が表情データ変化判定回路で判定され、変化有りが判定されると、ステップＳ２０に進んで、その時の表情データが表情データ列｛Ｅｉｎ ｝として表情変化パターン認証部５２に出力される。

表情識別部１３からの表情データ列｛Ｅｉｎ ｝を受ける表情変化パターン認証部５２では、まず、ステップＳ２１で表情データ列｛Ｅｉｎ ｝が入力されたか否かが判別される。表情データ列｛Ｅｉｎ ｝の入力があるとステップＳ２２に進み、入力された表情データ列｛Ｅｉｎ ｝と記憶部１に記憶された登録表情データ列｛Ｅ ｝とが照合される。そして、ステップＳ２３では、その照合結果が、前述した認証条件（１）〜（４）のいずれかに従って表情変化パターンの認証処理が行われ、認証条件を満たした場合には、ステップＳ２４に進み、表情変化パターン認証部５２における認証結果が是であることを示す信号がアクセス権判定部１５に出力される。

なお、顔認証部５１および表情変化パターン認証部５２からの出力信号を受けるアクセス権判定部１５では、ステップＳ２５において顔認証部５１および表情変化パターン認証部５２からの各出力信号の双方が認証結果ＯＫであることを示しているか否かが判別される。双方の認証結果が是である場合には、ステップＳ２６に進み、記憶部１１に記憶されたアクセス権データＡに応じて、その利用者に対するアクセス権が判定される。その判定結果を示す信号がステップＳ２７でアクセスコントロール部１６に出力される。そして、ステップＳ２８では、アクセスコントロール部１６において利用者に対するアクセスコントロールが実施される。

特開２０００−０６７１８８号 特開２００３−１７８３０６号 特開２００３−２３３８１６号

しかし、この従来技術３では、記憶部に記憶した顔認証のための登録顔データＦおよび登録表情変化パタンデータＥが、全て画像データであるため、記憶すべき画像量が膨大な量となってしまう問題がある。また、生体判別を各画像データの認証処理を繰り返して実施しているため、処理時間が大幅にかかってしまう問題もある。そのため記憶部が大きくなり、小型装置（携帯電話など）への搭載が困難になるという問題があった。また、記憶部の読み出し、書込み時間がかかり、処理速度が遅くなり、処理時間がかかるという問題もある。

本発明の主な目的は、記憶すべきデータ量を少なくして、装置を小型化でき、携帯電話など小型機器への搭載を可能とし、なりすましを防止する顔認証装置、その顔認証方法、その顔認証装置を用いた電子機器及びプログラムを提供することにある。

本発明の構成は、カメラ部から入力された認証対象者の顔画像により顔認証処理を行う顔認証部を含んで構成される顔認証装置において、前記顔認証部が、前記顔画像からその特徴点を取り出し、その特徴点が任意の生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して前記認証対象者の顔認証処理を行なうことを特徴とする。

本発明の他の構成は、認証対象者の顔を撮影するカメラ部と、このカメラ部から入力された顔画像により顔認証処理を行う顔認証部とを含んで構成される顔認証装置において、前記顔認証部が、前記顔画像からその特徴点を取り出し、その特徴点が任意の生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して認証対象者の顔認証処理を行なうことを特徴とする。

本発明において、顔認証部が、ランダムに、あるいは、所定の規則に従い、顔の部位毎のパターンを選択して組合せて自動生成した顔表情パターンと認証対象者の顔表情パターンとの比較を行って、この認証対象者の顔表情パターンが、生体として動ける所定位置範囲にある場合に認証を行うことができ、また、顔認証部が、認証対象者が予め登録した顔表情パターンと、前記認証対象者に指定された顔表情パターンとの比較を行うことにより、生体判別処理を行うことができ、また、顔認証部が、生体判別処理を、認証処理の繰り返しではなく、顔特徴ポイントの動きに着目した判別処理を使用することができ、また、顔認証部が、入力した動画像が生体であるか否かの判別処理を行う生体判別処理部と、この生体判別処理部が前記動画像を生体であると判定した場合に前記動画像について顔認証処理を行う顔認証処理部と、これら生体判別処理部および顔認証処理部の制御を行う制御部とを含むことができる。

また、本発明において、生体判別処理部が、認証対象者に求める顔表情の動作パターンを特徴ポイント情報として生成する顔表情パターン条件生成部と、入力した動画像に対して顔の特徴ポイント情報を付与し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力する顔表情抽出部と、この顔表情抽出部から得られる顔の特徴ポイント情報と前記顔表情パターン条件生成部から得られる顔の特徴ポイント情報とを比較し、前記動画像が生体であるか否かを判別する生体判別部とを備えることができ、また、生体判別部が、顔表情パターン条件生成部から生成した特徴ポイントの移動情報を取得し、顔表情抽出部から抽出した顔の特徴ポイント情報を、動画像の各フレーム毎に取得し、これらの得られた各情報を比較し、これらの特徴ポイントが所定範囲にあるという条件が満たされれば、生体であると判定することができ、また、顔表情抽出部が、各フレーム毎の動画像に対して、濃淡などの画像情報を利用して、顔の特徴ポイントを付与し、次に、顔の特徴ポイント情報が人の顔として成り立つ位置関係にあるかどうか評価し、これが人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を生体判別部に渡すことができる。

また、本発明において、顔表情パターン条件生成部の代わりに、予めユーザ登録顔表情パターンデータベースを登録したデータベースを備え、このデータベースを生体判別処理の顔のパターンとして使用するようにでき、また、生体判別処理部が、入力した動画像に対して顔の特徴ポイント情報を抽出顔ポイント抽出部と、この顔ポイント抽出部から得られる顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、前記動画像が生体であると判別する生体判別実施部とを備えることができる。

さらに、本発明の構成は、上記顔認証装置を組み込んだ電子機器とすることができる。本発明において、電子機器が、カメラ部と表示部とを含む家庭電気製品または携帯通信端末であることができ、また、携帯通信端末でが、携帯電話機、ＰＨＳ、通信機能をもつＰＤＡまたはモバイルパーソナルコンピュータであることができる。

本発明の構成は、カメラ部により撮影された認証対象者の顔動画像により顔認証処理を行う顔認証方法において、前記顔動画像が任意の人の生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して認証対象者の顔認証処理を行なうことを特徴とする。

本発明において、顔認証が、ランダムに、あるいは、所定の規則に従い、顔の部位毎のパターンを選択して組合せてに生成する顔表情パターンとカメラ部からの認証対象者の顔表情パターンとの比較を行って、この認証対象者の顔表情パターンが所定位置範囲にある場合に認証することができ、また、顔認証が、認証対象者が登録した顔表情パターンとその認証対象者の顔表情パターンとの比較を行うことにより、生体判別処理を行うことができ、また、顔認証が、生体判別処理を、認証処理の繰り返しではなく、顔特徴ポイントの動きに着目した判別処理を使用することができ、また、顔認証が、入力した動画像が生体であるか否かの判別をする生体判別処理を行い、この生体判別処理が前記動画像を生体であると判定した場合に前記動画像について認証対象者の顔認証処理を行うことができる。

本発明において、生体判別処理が、認証対象者に求める顔表情の動作パターンを顔のポイント情報として生成する顔パターン生成手順と、前記動作パターンに従って入力した動画像に対して顔のポイント情報を付与し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力する顔表情抽出手順と、この顔の特徴ポイント情報と前記顔パターン生成手順からの顔のポイント情報とを比較し、これらが前記動画像が生体であると判別する生体判別手順とを含むことができ、また、生体判別手順が、認証対象者に求めて生成した顔のポイント情報と、動画像の各フレーム毎に取得した顔の特徴ポイント情報とを比較し、これらの特徴ポイントが所定範囲にあるという条件が満たされれば、生体であると判定することができ、また、顔表情抽出手順が、各フレーム毎の動画像に対して、濃淡などの画像情報を利用して、顔の特徴ポイントを付与し、次に、顔の特徴ポイント情報が人の顔として成り立つ位置関係にあるかどうか評価し、これが人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力することができ、また、顔パターン生成手順の顔のポイント情報の代わりに、予めユーザ登録顔表情パターンデータベースを登録したデータベースを生体判別処理の顔のパターンとして使用することができ、また、生体判別処理が、入力した動画像に対して顔の特徴ポイント情報を抽出し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、前記動画像が生体であると判別することができる。

本発明の記録媒体の構成は、上記に記載の顔認証方法を実行する顔認証プログラムを記録したことを特徴とする。

以上説明したように、本発明によれば、顔認証装置が、カメラから入力された認証対象者の動画像が生体の顔である否かを、動画像の特徴点を取り出して比較しているので、記憶すべきデータ量を少なくすることができ、かつ、処理時間を短縮できるので、装置小型化を可能とした、なりすまし防止が可能となるという効果がある。

次に図面により本発明の実施形態を説明する。図１は本発明の一実施形態のブロック図である。図１に示すように、本実施形態は、キーボード等の入力装置１と、ディスプレイ装置等の出力装置２と、顔認証処理を行う顔認証装置３と、認証対象者（ユーザ）の動画像を入力するカメラ４とを含んで構成される。また、顔認証装置３は、制御部３１と、生体の顔であるか否かを判定する生体判別処理部３２と、認証対象者の顔であることを認証する顔認証処理部３３とを備えている。
本実施形態の顔認証装置３は、まず生体判別処理部３２で、入力した認証対象者の動画像が（任意の）生体の顔であるか否かを判別することを特徴とする。そして、その動画像が生体の顔であると判別された場合にのみ、顔認証処理部３３が、認証対象者の顔であるか否かを認証するものである。また、顔認証処理部３３は、従来から用いられている顔認証処理であり、認証対象者本人であると判別できる特徴点をデータとして記憶・保持しておき、このデータと撮影した認証対象者の顔画像とを比較して判別し、認証を行う。
また、制御部３１は、カメラ４の制御処理、生体判別処理部３２の制御処理、顔認識処理部３３の制御処理、入力装置１からの入力情報制御、出力装置２への出力情報制御を行う。

また、生体判別処理部３２は、生体判別部４１と、顔表情抽出部４２と、顔表情パターン条件生成部４３とを備えている。カメラ４から入力されている動画像は、制御部３１から生体判別部４１を経由して顔表情抽出部４２に入力される。顔表情抽出部４２は、入力される動画像に対して、生体の人の顔であるか否か、および顔がどのような動きをしているかを抽出する処理を行う。顔表情パターン条件生成部４３は、認証対象者であるユーザに求める顔表情のパターン（眉毛の上下、口の開閉など）を生成する。生体判別部４１は、顔表情抽出部４２から得られる顔の動きと、顔表情パターン条件生成部４３から得られる認証対象者（ユーザ）に求めている顔表情のパターンとを比較し、カメラ４から入力されている動画像が生体であるか否かを判別する処理を行う。

また、顔表情パターン条件生成部４３では、認証対象者に求める顔表情の画像パターンおよびその顔表情の動き（変化）の画像パターンを、ランダムに、あるいは、所定の規則に従って、顔の部位毎の画像パターンを選択して組合せて生成する。この生成された顔の画像パターンは、選択した顔の部位を変化させた時の、顔表情の画像パターンとなる。生成された顔の画像パターンは、制御部３１を通して出力装置２に表示される。この場合の表示タイミングは、所定の入力、例えば、入力装置１の押下、等をトリガにしても良く、また出力装置２に撮像開始タイミング（２秒前、１秒前、開始）を表示しても良い。その表示タイミングで、カメラ４から動画像を取り込み、取り込んだ動画像を、顔表情抽出部４２に渡す。顔表情抽出部４２は、その動画像内の、人の顔の特徴となるポイント（顔の部位の形状など）の有無を判別して生体の人の顔であるか否かを判断する。これが、生体の人の顔であると判断した場合は、さらに生体判別部４１が、顔表情パターン条件生成部４３で生成された認証対象者に求める顔のパターンと、カメラで撮像した動画像の顔パターンの変化、すなわち、顔表情抽出部４２から得られた顔の動き、とを比較する。これら顔のパターンが、一致しているか否かを判定し、これらが顔の動きに対応する所定時間内で一致しない場合は、顔認証処理部３３が、認証を拒否し、一致する場合は認証をする。

生体判別部４１は、人の顔の特徴となるポイント（部位）の画像変化量が大きい場合、カメラ４に写っている対象が差し替えられている可能性があると判断し、認証を拒否する。顔のパターンの変化の一致は、認証対象者に求める顔のパターンの変化とカメラで撮像した動画像の顔パターンの変化を順番に比較することで行う。全ての顔パターン一致した場合、顔認証処理部３３による顔認証処理を実行し、認証された場合は、認証成功とする。

次に、生体判別部４１は、図２（ａ）の構成図に示される。すなわち、まず第１段階で、顔表情パターン条件生成部４３からこの装置内で生成した特徴ポイントの移動情報を取得する。これは、例えば、「眉が動いた」ということは、眉の特徴ポイントがどの程度変位があればいいかという移動情報である。次に、第２段階で、顔表情抽出部４２から顔の特徴ポイント情報を、動画像のフレーム毎に取得する。次に、第３段階で、第１段階と第２段階で得られた各情報を比較する。次に、第４段階で、複数パターンがある場合は、第１段階から第３段階でを繰り返す。そして、第３段階、第４段階で特徴ポイントが所定範囲にあるという条件が満たされれば、生体であると判定する。

また、顔表情抽出部４２は、図２（ｂ）の構成図に示される。すなわち、まず第１段階で、各フレーム毎の動画像に対して、濃淡などの画像情報を利用して、顔の特徴ポイントを付与する。次に、第２段階で、顔の特徴ポイント情報が、人の顔として成り立つ位置関係にあるかどうか評価する。そして第３段階で、第２段階がＯＫである（人の顔として成り立つ）場合、人の顔として判断し、生体判別部４１に特徴ポイント情報を渡す。

図３は図１の動作を説明するフロー図である。この図３と図１を参照して本実施例の動作について詳細に説明する。まず入力装置１の押下をきっかけとし、カメラ４から動画像の取り込みを行う。カメラ４の画像は出力装置２に表示される（図３のステップＳ１）。同時に、顔表情パターン条件生成部４３でユーザに求める顔表情のパターンを生成する。この生成した顔表情パターンは、なりすましを避けるためランダムに生成される。顔表情の情報は、制御部３１と通して出力装置２に表示させ、ユーザに該当する顔表情を行うよう知らせる（図３のステップＳ２，３）。カメラ４から取り込んだ動画像は、顔表情抽出部４２に渡される。

ここで生体判別部４１は、その動画像に含まれる対象に対して、人の顔の特徴となるポイントの有無を判別し、生体の人の顔であるか否かを判断する。またそのポイントの動きを追うことで、顔がどのような動きをしているかを抽出し、顔の表情を判別する。このポイントの動きを追っている際に、動きの変動量が大きい場合、ポイントを追い切れず外れてしまう場合がある。しかし、この場合はカメラ４に写っている対象が差し替えられている可能性があるため、ＮＧと判断し、失敗として処理フローは終了となる（図３のステップＳ４，８）。

生体判別部４１では、顔表情抽出部４２から得られた顔の動きと、顔表情パターン条件生成部４３でユーザに求めている顔表情とを比較し、一致しているかを判定する。ある一定時間内で一致しない場合は、ＮＧと判断し、失敗として処理フローは終了となる（図３のステップＳ５，８）。

顔表情パターン条件生成部４３で複数の顔表情のパターンが生成された場合は、生成された顔表情を順番に比較を行っていく。全ての顔表情の比較が終了するまで図３のステップＳ１〜Ｓ５を繰り返す（図３のステップＳ６）。顔表情パターンが全て一致した場合、顔認証処理部３３による顔認証処理を実行する。この認証がＮＧの場合は、失敗として処理フローは終了となる。認証ＯＫの場合は、認証成功として処理フローは終了となる（図３のステップＳ７，８，９）。この場合、生体判別処理で合格した顔画像を使用して行っているため、なりすましでない生体の人の顔であることを保証することが出来る。

この顔認証処理によれば、顔認証において、顔写真やビデオを使ったなりすましの防止が可能になることである。その理由は、顔認証処理に先立ち、生体判別処理を行うことで、顔認証の対象が顔写真やビデオでないことを判別しているためである。さらに、携帯電話などの型装置への搭載が容易なことである。それは、処理に必要となる入力デバイスはカメラのみであり、カメラは既に小型装置（携帯電話など）への搭載が実現されているため、そのハードウェアを利用するだけで実現可能なためである。

次に、本実施形態の実施例１の動作を具体例により説明する。例えば、顔表情パターン条件生成部４３が、顔表情パターンとして、「口を開ける」「眉を上げる」という２パターンを生成する場合を考える。まず、カメラ４から動画像の取り込みを行う（図３のステップＳ１）。同時に、顔表情パターン条件生成部４３でユーザに求めている顔表情のパターンを生成し、制御部３１を通して出力装置２に表示させる（図３のステップＳ２，３）。

本実施例では、「口を開ける」「眉を上げる」という２パターンを生成しているので、まずは「口を開ける」という顔をユーザに要求するよう出力装置２に表示を行う。カメラ４から取り込んだ動画像は、顔表情抽出部４２に渡される。ここでその動画像に含まれる対象に対して、人の顔の特徴となるポイントの有無を判別し、人の顔であるか否かを判断する。またそのポイントの動きを追うことで、顔がどのような動きをしているかを抽出し、顔の表情を判別する。

認証対象であるユーザが口を開けた場合、カメラ４からその動画像が顔表情抽出部４２に渡され、口が開いた状態であるという情報が抽出される。この結果を生体判別部４１に渡す。生体判別部４１では、顔表情パターン条件生成部４３から渡されている条件と比較を行う。この場合、口を開けるという条件であるため、比較の結果、一致すると判定され、ユーザは要求した通り顔の表情を行っておりパターン１が合格したと判定される。

続いて、「眉を上げる」という顔をユーザに要求するよう出力装置２に表示を行う。カメラ４から取り込んだ動画像は、顔表情抽出部４２に渡され、その動画像に含まれる対象に対して、人の顔の特徴となるポイントの有無を判別し、人の顔であるか否かの判断、及びそのポイントの動きを追うことで、顔がどのような動きをしているかを抽出し、顔の表情を判別する。認証対象であるユーザが眉を上げた場合、カメラ４からその動画像が顔表情抽出部４２に渡され、眉が通常な位置から、上がった状態に変化したことを抽出され、眉を上げたという情報を生体判別部４１に渡す。

生体判別部４１は、顔表情パターン条件生成部４３から眉を上げるという条件であるという情報が渡されている。そのため、その比較の結果が一致すると判定されると、ユーザは要求した通り顔の表情を行っておりパターン２も合格したと判定される。以上により、条件設定された、「口を開ける」「眉を上げる」という２パターンが合格となり、生体判別は成功と判断される。その結果、現在、カメラに写っている対象は、生体の人の顔であると判別される。この判別結果により、顔認証処理が開始されることになるため、生体であるという保証がされている顔画像に対して、顔認証処理を行うことが可能となる。

次に、図４は本発明の第２の実施例のブロック図、図５はその動作を説明するフロー図である。図４を参照すると、本実施例は、図１に示された実施例における顔表情パターン条件生成部４３のかわりに、ユーザ登録顔表情パターンデータベース（ＤＢ）４４を有する点で異なる。生体判別処理として使用する顔表情パターンを、装置が生成するのではなく、ユーザが好みによりユーザ登録顔表情パターンＤＢ４４に登録しておくことにより、ユーザの意図した顔表情パターンを使用した生体判別が可能となり、ユーザの使い勝手を向上させることができる。

次に、本実施例の動作を図５を参照して詳細に説明する。図５のステップＳ１、Ｓ４、Ｓ６〜Ｓ９で示される、本実施例における入力装置１、出力装置２、制御部３１、顔表情抽出部３２２、顔認証処理部３３、カメラ４の操作は、図１で示された実施例の部分の動作と同一のため説明は省略する。図１に示された実施例では、顔表情パターンは、顔表情パターン条件生成部４３が生成する処理となっていた。本実施例では、生体判別処理として使用する顔表情パターンを装置が生成するのではなく、ユーザが意図した顔表情パターンをユーザ登録顔表情パターンＤＢ４４に登録することを可能としている（図５のステップＢ１）。そして、ユーザの顔表情との比較を、ユーザ登録顔表情パターンＤＢ４４に登録された顔表情パターンと行うことより、ユーザは自分の意図した顔表情パターンを使用した生体判別が可能となり、ユーザの使い勝手を向上させることができる（図５のステップＳ２）。

次に、具体例について説明する。例えば、ユーザ登録顔表情パターンＤＢ４４に「右目ウインクをする」「左目ウインクをする」という顔表情パターンを登録した場合を考える。

図５のステップＳ１、Ｓ４、Ｓ６〜Ｓ９で示される、本実施例における入力装置１、出力装置２、制御部３１、顔表情抽出部４２、顔認証処理部４３、カメラ４の操作は、図１で示された実施例の構成の動作と同一のため説明は省略する。

図５の処理では、ステップＳ１の前にステップＳ１ａがある。このステップＳ１ａでは、「右目ウインクをする」「左目ウインクをする」という顔表情パターンを、まず登録する。この登録により、ユーザ登録顔表情パターンＤＢ４４に、その２パターンが登録される。図５のステップＳ１、Ｓ４により、ユーザの顔表情が入力される。これを事前に登録した顔表情パターンのパターン「１」である「右目ウインクをする」と比較して一致するかどうか評価する（図５のステップＳ５ａ）。これが、一致した場合は、図５のステップＳ６、Ｓ１、Ｓ４を行った後、パターン「２である「左目ウインクをする」と比較し一致するかどうか評価する（図５のステップＳ５ａ）。これが一致すれば、生体判別が成功と判断され、顔認証処理に移行する。

この実施例でも、ユーザ登録顔表情パターンＤＢ４４に登録しておくことにより、第１の実施例と同様に、ユーザの意図した顔表情パターンを使用した生体判別が可能となり、ユーザの使い勝手を向上させることができる。

次に、図６は本発明の第３の実施例のブロック図、図７はその動作を説明するフロー図である。図６を参照すると、本実施例は、図１に示された実施例の顔表情パターン条件生成部４３や図５で示した実施例におけるユーザ登録顔表情パターンＤＢ４４を含まないものである。また、図１や図５における生体判別部４１と顔表情抽出部４２のかわりに、図６では生体判別実施部４５と顔ポイント抽出部４６を有している。図１や図５では、ユーザの顔表情と顔表情パターンの一致によって生体判別を行っているが、図６の実施例では顔ポイント抽出部４６で得られた顔ポイントの動き情報のみを利用して、生体判別実施部４５が生体判別を行っている（図７のステップＳ６ａ）。

この実施例では、ビデオなどの動画によるなりすましの可能性が出てくるが、写真などの静止画によるなりすましは防止でき、また顔表情パターンの比較処理が無くなるため、ユーザ側への生体判別処理の意識を極力減らすことが出来、使い勝手の向上が見込まれる。

本発明の構成としては、本発明の顔認証装置を組み込んだ電子機器に適用することが考えられる。すなわち、電子機器としては、カメラと表示部を少なくとも有する家電製品または携帯通信端末を含むことが考えられる。また、携帯通信端末としては、携帯電話機、ＰＨＳ、通信機能を有するＰＤＡやモバイルパーソナルコンピュータを含むことが考えられる。

本発明の第１の実施形態を説明するなりすまし防止顔認証装置のブロック図である。 （ａ）（ｂ）は図１の生体判別処理部を説明する機能ブロック図である。 図１の処理動作を説明するフロー図である。 本発明の第２の実施例を説明するなりすまし防止顔認証装置のブロック図である。 図４の処理動作を説明するフロー図である。 本発明の第３の実施例を説明するなりすまし防止顔認証装置のブロック図である。 図６の処理動作を説明するフロー図である。 従来例の顔認証システムを説明するブロック図である。 図８の処理動作を説明するフロー図である。

符号の説明

１ 入力装置
２ 出力装置
３ 顔認証装置
４，４ａ カメラ（部）
１１ 記憶部
１２ 顔検出部
１３ 表情識別部
１４ 本人認証部
１５ アクセス権判定部
１６ アクセスコントロール部
３１ 制御部
３２ 生体判別処理部
３３ 顔認証処理部
４１ 生体判別部
４２ 顔表情抽出部
４３ 顔表情パターン条件生成部
４４ ユーザ登録顔表情パターンＤＢ
４５ 生体判別実施部
４６ 顔ポイント抽出部
５１ 顔認証部
５２ 表情変化パターン認証部

Claims (25)

1. カメラ部から入力された認証対象者の顔画像により顔認証処理を行う顔認証部を含んで構成される顔認証装置において、前記顔認証部が、前記顔画像からその特徴点の動きを取り出し、その特徴点の動きが任意の生体の顔の動きであるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して前記認証対象者の顔認証処理を行なうことを特徴とする顔認証装置。
2. 認証対象者の顔を撮影するカメラ部と、このカメラ部から入力された顔画像により顔認証処理を行う顔認証部とを含んで構成される顔認証装置において、前記顔認証部が、前記顔画像からその特徴点を取り出し、その特徴点の動きが任意の生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して前記認証対象者の顔認証処理を行なうことを特徴とする顔認証装置。
3. 顔認証部が、ランダムに、あるいは、所定の規則に従い、顔の部位毎のパターンを選択して組合せて自動生成した顔表情パターンと認証対象者の顔表情パターンとの比較を行って、この認証対象者の顔表情パターンが、生体として動くことのできる所定位置範囲にある場合に生体の認証を行う請求項１または２記載の顔認証装置。
4. 顔認証部が、認証対象者が予め登録した顔表情パターンと、前記認証対象者に指定された顔表情パターンとの比較を行うことにより、生体判別処理を行う請求項１，２または３記載の顔認証装置。
5. 顔認証部が、生体判別処理を、認証処理の繰り返しではなく、顔特徴ポイントの動きに抽出した判別処理を使用した請求項１，２、３または４記載の顔認証装置。
6. 顔認証部が、入力した動画像が生体であるか否かの判別処理を行う生体判別処理部と、この生体判別処理部が前記動画像を生体であると判定した場合に前記動画像について認証対象者の顔認証処理を行う顔認証処理部と、これら生体判別処理部および顔認証処理部の制御を行う制御部とを含む請求項１乃至５のうちの１項に記載の顔認証装置。
7. 生体判別処理部が、認証対象者に求める顔表情の動作パターンを特徴ポイント情報として生成する顔表情パターン条件生成部と、入力した動画像に対して顔の特徴ポイント情報を付与し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力する顔表情抽出部と、この顔表情抽出部から得られる顔の特徴ポイント情報と前記顔表情パターン条件生成部から得られる顔の特徴ポイント情報とを比較し、前記動画像が生体であるか否かを判別する生体判別部とを備える請求項６記載の顔認証装置。
8. 生体判別部が、顔表情パターン条件生成部から生成した特徴ポイントの移動情報を取得し、顔表情抽出部から抽出した顔の特徴ポイント情報を、動画像のフレーム毎に取得し、これらの得られた各情報を比較し、これらの特徴ポイントが所定範囲にあるという条件が満たされれば、生体であると判定する請求項７記載の顔認証装置。
9. 顔表情抽出部が、フレーム毎の動画像に対して、濃淡などの画像情報を利用して、顔の特徴ポイントを付与し、次に、顔の特徴ポイント情報が人の顔として成り立つ位置関係にあるかどうか評価し、これが人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を生体判別部に渡す請求項７記載の顔認証装置。
10. 顔表情パターン条件生成部の代わりに、予めユーザ登録顔表情パターンデータベースを登録したデータベースを備え、このデータベースを生体判別処理の顔のパターンとして使用するようにした請求項７または８記載の顔認証装置。
11. 生体判別処理部が、入力した動画像に対して顔の特徴ポイント情報を抽出する顔ポイント抽出部と、この顔ポイント抽出部から得られる顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、前記動画像が生体であると判別する生体判別実施部とを備える請求項６記載の顔認証装置。
12. 請求項１乃至１１のうちの１項に記載の顔認証装置を組み込んだことを特徴とする電子機器。
13. 電子機器が、カメラ部と表示部とを含む家庭電気製品または携帯通信端末である請求項１１記載の電子機器。
14. 携帯通信端末が、携帯電話機、ＰＨＳ、通信機能をもつＰＤＡまたはモバイルパーソナルコンピュータである請求項１２記載の電子機器。
15. カメラ部により撮影された認証対象者の顔動画像により顔認証処理を行う顔認証方法において、前記顔動画像が任意の人の生体の顔であるか否かを判別し、これが生体の顔であると判断された場合にのみ、その顔画像に対して前記認証対象者の顔認証処理を行なうことを特徴とする顔認証方法。
16. 顔認証が、ランダムに、あるいは、所定の規則に従い、顔の部位毎のパターンを選択して組合せて生成する顔表情パターンとカメラ部からの認証対象者の顔表情パターンとの比較を行って、この認証対象者の顔表情パターンが所定位置範囲にある場合に生体と判別する請求項１５記載の顔認証方法。
17. 顔認証が、認証対象者が登録した顔表情パターンとその認証対象者の顔表情パターンとの比較を行うことにより、生体判別処理を行う請求項１５または１６記載の顔認証方法。
18. 顔認証が、生体判別処理を、認証処理の繰り返しではなく、顔特徴ポイントの動きを抽出した判別処理をする請求項１５，１６または１７記載の顔認証方法。
19. 顔認証が、入力した動画像が生体であるか否かの判別をする生体判別処理を行い、この生体判別処理が前記動画像を生体であると判定した場合に前記動画像について認証対象者の顔認証処理を行う請求項１５乃至１８のうちの１項に記載の顔認証方法。
20. 生体判別処理が、認証対象者に求める顔表情の動作パターンを顔のポイント情報として生成する顔パターン生成手順と、前記動作パターンに従って入力した動画像に対して顔のポイント情報を付与し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力する顔表情抽出手順と、この顔の特徴ポイント情報と前記顔パターン生成手順からの顔のポイント情報とを比較し、これらが前記動画像が生体であると判別する生体判別手順とを含む請求項１９記載の顔認証方法。
21. 生体判別手順が、認証対象者に求めて生成した顔のポイント情報と、動画像のフレーム毎に取得した顔の特徴ポイント情報とを比較し、これらの特徴ポイントが所定範囲にあるという条件が満たされれば、生体であると判定する請求項１９記載の顔認証方法。
22. 顔表情抽出手順が、フレーム毎の動画像に対して、濃淡などの画像情報を利用して、顔の特徴ポイントを付与し、次に、顔の特徴ポイント情報が人の顔として成り立つ位置関係にあるかどうか評価し、これが人の顔として成り立つ位置関係にある場合に、その特徴ポイント情報を出力する請求項２０記載の顔認証方法。
23. 顔パターン生成手順の顔のポイント情報の代わりに、予めユーザ登録顔表情パターンデータベースを登録したデータベースを生体判別処理の顔のパターンとして使用する請求項１９または２０記載の顔認証方法。
24. 生体判別処理が、入力した動画像に対して顔の特徴ポイント情報を抽出し、この顔の特徴ポイント情報が人の顔として成り立つ位置関係にある場合に、前記動画像が生体であると判別する請求項１９記載の顔認証方法。
25. 請求項１５乃至２４のうちの１項に記載の顔認証方法を実行する顔認証プログラムを記録したことを特徴とする記録媒体。
    

Images