JP2006146359A - 個人認証装置 - Google Patents

Abstract

【課題】 カメラによる顔面認証を基本とする個人認証装置であって、冗長な二重認証をともなうことなく、認証の容易性や信頼性が確保された個人認証装置を提供する。
【解決手段】 顔面認証用のカメラ１０に接続された画像処理ユニット２０と車両側コントローラ３０の制御によって、顔面認証の一致度が予め設定された判定困難範囲（グレーゾーン）内である場合には、顔面認証とは異なる別認証を行う。別認証は、顔面認証と同じカメラ１０により撮影された画像中の手画像のデータ（手の態様により決まる数）を読み取り、この手画像のデータと予め登録されたデータとを比較し、これらデータが一致していると、被認証者が本人であると判定するものとする。
【選択図】 図１

Description

本発明は、カメラによる個人認証の技術に関する。

個人認証として、カメラにより撮影した被認証者の顔の画像に基づいて認証する顔面認証がある。
顔面認証のメリットは、ユーザがカメラに顔を向けるだけで容易に認証が可能であることが最大のメリットで、これに対して、他のバイオメトリックス認証では以下のような問題がある。
まず、網膜パターン認証の場合、認証装置のカメラ部の極めて近くに目をもって行く必要があるため、装置の設置高さによっては、無理な姿勢を強いられることも考えられる。また、特定の人に合せた場合、体格の異なる人が使用する際には再調整を行う必要を生じる。
次に、指紋照合の場合、冬季において手袋をしている場合に外す必要がある。また、両手に荷物を持っている場合、一旦荷物を置く必要があり、雨天の場合に特に問題となる。

しかし、顔面認証は、認証率が１００％ではない。そこで、暗証番号などの第二の認証を併用する構成や、複数のバイオメトリックスのうちいずれかが認証されれば、認証されたこととする構成を取ることによって信頼性を向上することが考えられている。
例えば、特許文献１には、顔面認証時に常に暗証番号の入力を求める顔形判別装置が記載されている。

また特許文献２には、顔面認証の結果により、入力を求める暗証番号の桁数を変化させる照合装置が記載されている。但し、暗証番号の具体的態様については明記が無い。
また特許文献３には、顔面認証結果がＮＧ（不認証）であった場合に、アクション番号とともに入力される顔表情変化を検出し、その変化とあらかじめ登録された変化とを比較して照合するＩＤ判別装置が開示されている。

特開平１１−３２８４０５号公報 特開平９−２８２２８２号公報 特開平１１−３２８４１６号公報

ところが、上述した従来の個人認証技術は、以下のような解決すべき問題点を有する。
まず、特許文献１や特許文献２の構成では、常に暗証番号の入力を求められるため、冗長であり、顔面認証の良さが失われるという問題があった。
というのは、常に顔による認証の信頼性が低いわけではなく、照合するために登録されている顔に関する情報と、承認のために撮影した画像から抽出した顔に関する情報が極めて高く一致した場合に、更に暗証番号などの重複した認証をすることは冗長と言える。また逆に、登録されている画像のいずれとも一致しない場合に、単純に暗証番号などの第二の認証を行うことは、むしろ、認証装置としての信頼性を低下させることとなる。つまり、暗証番号による認証のみを行っているのと同等であるため、第一の認証である顔認証の存在価値がないからである。

また特許文献３の場合、まず、アクション番号を入力することが求められるため、冗長である。次に、アクション番号を入力するキーボード等が必要となる問題がある。また、キー入力されたアクションに対応した部分に差異を生じたか否かを判断するのみであるため容易と記載されているが、必ずしも容易とは言えない問題がある。何故なら、初回の顔認証がＮＧとなった後に、キーボード等によりアクション番号を入力し再撮影する必要があるため、顔とカメラの位置関係が必ずしも初回の撮影時と再撮影時では一致しない。従って、再撮影した画像から再度顔面領域を認識し、器官抽出することが必要となるので、必ずしも容易とは言えない。

なお、顔面認証結果がＮＧであった場合の第二の認証方法として、被認証者が認証されるべき人であることを特定するＩＤ等を示す携帯機を所持させ、その携帯機の存在が確認できた時に認証する方法、或いは、本人のＩＤを示す二次元バーコードをカメラに撮影させることによって認証させる方法が考えられる。しかしながら、この様な方法を取った場合、ＩＤを示す機器を所持していない時は、本人でありながら認証されないと言う問題がある。

なお、特許文献１等に記載の技術のように、暗証番号など、本人の記憶に基づき認証する場合は所持する必要が無いので上記の様な問題は生じないが、やはり、顔面認証とともに暗証番号の入力を求められるため、冗長であり処理速度が低下する問題がある。
そこで本発明は、カメラによる顔面認証を基本とする個人認証装置であって、冗長な二重認証をともなうことなく、認証の容易性や信頼性が確保された個人認証装置を提供することを目的としている。

本願の個人認証装置は、認証を受ける被認証者の顔を含む画像を撮影可能なカメラと、
認証用顔面データを登録しておく顔面認証データ記憶手段と、
前記カメラにより撮影した前記画像から得られた顔面データと前記顔面認証データ記憶手段に登録された認証用顔面データとを比較して顔面認証（顔面の画像による個人認証）を行う顔面認証処理手段と、を備えた個人認証装置において、
前記顔面認証処理手段は、前記顔面認証の一致度が予め設定された判定困難範囲（即ちグレーゾーン）を超える場合には、被認証者が前記認証用顔面データに対応する本人であると判定し、前記一致度が前記判定困難範囲に達しない場合には、被認証者が前記認証用顔面データに対応する本人でないと判定し、
前記一致度が前記判定困難範囲内である場合には、被認証者に別認証を要求する報知を行なう別認証報知手段と、
この別認証報知手段による報知が行なわれた後に、前記別認証を行う別認証処理手段とを設けたものである。

本願の個人認証装置によれば、基本の認証方法（即ち顔面認証）では信頼性が十分でない時（顔面認証の一致度が判定困難範囲内にあるとき）にのみ、別認証（例えば、手画像による認証）を行うこととなり、冗長性が無く、容易性とともに十分な信頼性を確保できる。
即ち、顔面認証の一致度が判定困難範囲を超えたときには、別認証を行わずに認証合格と判定するため、ユーザは別認証のためのデータ入力をすることなく、極めて容易に認証を受けることができる。また、顔面認証の一致度が判定困難範囲に達しないときには、別認証を行わずに認証不合格と判定するため、別認証のみによって不正に認証を受けることが不可能となり、顔面認証の防犯性の高さが発揮できる。このため、顔面認証の存在価値が十分にあり、顔面認証の良さが最大限に発揮される（従来技術のように実質的に暗証番号入力のみと同等であるということには全くならない）。

また現実問題として、顔面認証を行う場合、照明条件等によっては、認証されるべきユーザが来た場合においても、認証されない場合が発生する。しかし本装置であると、顔面認証の結果が判定困難範囲（グレーゾーン）内である限り、別認証によって認証を受けることができるので、適正なユーザであるにも係わらず、認証を受けられないという不具合の発生可能性が極めて少ない。
なお、本発明の好ましい態様として、別認証用データを登録しておく別認証データ記憶手段を備え、前記別認証が、前記カメラにより撮影された画像中に含まれる手画像のデータを読み取り、この手画像のデータと前記別認証データ記憶手段に登録された別認証用データとを比較し、これらデータが一致していると、被認証者が前記認証用顔面データに対応する本人であると判定し、前記手画像のデータが読み取れないか前記データが一致していないと、被認証者が前記認証用顔面データに対応する本人でないと判定する態様であってもよい。この態様によれば、別認証が、顔面認証用のカメラに手画像を入力することによる手画像のデータに基づいて行われるものであり、基本の認証と別認証で同じ入力手段（カメラ）を用いるため、費用、設置場所などに無駄がなく、大型化やコスト増をともなうこともない。

なお、前記手画像のデータは、手の態様により決まる数のデータであり、前記別認証用データも、これに対応した数のデータであることが望ましい。このような数のデータは、記憶容量が極めて少なく、データの照合も極めて容易であるという利点がある。また、手の態様（例えば、伸ばした指の数）とデータとの対応が明確になる利点もある。
また、上記数のデータは、原理的には一桁の数でもよいが、高い防犯性を確保するためには、被認証者一人に対して所定の順番で複数設定され、被認証者固有の暗証番号を構成している態様が好ましい。

本発明の顔面認証装置によれば、基本の認証方法（即ち顔面認証）では信頼性が十分でない時にのみ、別認証（手画像による認証）を行うこととなり、冗長性が無く処理速度が向上し、容易性とともに十分な信頼性を確保できる。また、基本の認証と別認証で同じ入力手段（カメラ）を用いた場合は、費用、設置場所などに無駄がなく、認証用機器の大型化やコスト増をともなうこともない。

以下、本発明に係る実施の形態の一例を図面に基づいて説明する。
本例は、車両のユーザ（被認証者）の個人認証を行なう個人認証装置を含むスマートエントリシステムであり、図１〜図８により説明する。図１は、個人認証装置を含むシステム構成を示すブロック図である。図２〜５は、システムの機能や動作を示すＰＡＤ（問題分析図）である。図６〜８は、手画像として入力する手の態様例を示す図である。なお、スマートエントリシステムは、キーレスエントリーシステムの発展型であり、リモコン操作をしなくても個人認証した上で自動解錠や自動施錠を行うシステムである。そして本例は、施錠されている車両に乗り込もうとしている人を、基本的に顔面認証により個人認証し、登録されている人だと認証された場合に、自動解錠するシステムである。

本例のシステムは、図１に示すように、カメラ１０と、画像処理ユニット２０と、車両側コントローラ３０とよりなる。車両側コントローラ３０は、車両の他のコントローラ等の車載機器に接続され、これら車載機器からの信号の受信等が可能となっている。この車載機器としては、車両ドアの解錠装置１、スマートエントリのトリガ信号を生成する近接センサ２、スマートエントリコントローラ３、表示装置４がある。
ここで、カメラ１０と画像処理ユニット２０と車両側コントローラ３０は、本発明の個人認証装置を構成する。また、画像処理ユニット２０と車両側コントローラ３０は、本発明の顔面認証処理手段や別認証処理手段を構成する。また、画像処理ユニット２０や車両側コントローラ３０と例えば表示装置４は、本発明の別認証報知手段を構成する。

なお、近接センサ２は、車両のドアへのユーザの接近を検出して前記トリガ信号としての検出信号を出力するセンサである。近接センサ２をドアハンドル付近に取りつけ、乗込もうとする人の手を検知する構成とすることにより、車両の近隣を通過するのみの人に反応する無駄を削減することができる。
また、スマートエントリコントローラ３は、例えば次のようなスマートエントリのための機能を有するコントローラである。即ち、近接センサ２が検出信号（トリガ信号）を出力すると、ユーザが携帯する携帯機に対してリクエスト信号を送信し、この返信として携帯機から送信されたデータ中の暗証コードを予め登録されたものと比較して、一致すれば適正な携帯機を持つ適正なユーザであるとして、解錠装置１を駆動して車両のドアを自動解錠する制御を実行する機能を有していてもよい。但し本システムでは、カメラ１０等よりなる個人認証装置によって、携帯機を持たないユーザもエントリ可能である。

またカメラ１０は、例えばＣＭＯＳカメラ或いはＣＣＤカメラであり、車両に搭乗しようとする車両のユーザの顔を含む画像を撮影できる位置に設置される。なお、顔を含む画像が撮影可能であれば、当然にそのユーザの手の画像も撮影可能である（例えば、ユーザが顔の前に手をかざすことで撮影可能である）。
また画像処理ユニット２０は、マイクロコンピュータ（以下、マイコンという）を構成するＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３と、記憶手段２４と、カメラインターフェース２５とを備える。記憶手段２４は、読み出し書き込み消去可能な不揮発性の記憶手段（例えば、ＥＥＰＲＯＭなどの半導体メモリ又はハードディスク）よりなり、本発明の顔面認証データ記憶手段と別認証データ記憶手段に相当する。この記憶手段２４には、予めその車両の各ユーザの顔面画像を少なくとも１枚登録しておく。カメラインターフェース２５は、カメラ１０と上記マイコン間の信号の入出力を行なう回路である。
また車両側コントローラ３０は、マイコンを構成するＣＰＵ３１、ＲＯＭ３２、及びＲＡＭ３３を備える。この車両側コントローラ３０のマイコンと、画像処理ユニット２０のマイコンは、コマンド（指令）やデータの授受が可能となるように接続されている。

次に、本装置の機能や動作を図２〜５により説明する。図２（ａ）は、画像処理ユニット２０のメイン処理を示すＰＡＤ（問題分析図）であり、図２（ｂ）は、画像処理ユニット２０の顔面認証処理を示すＰＡＤである。図３及び図４は、画像処理ユニット２０の暗証番号入力処理を示すＰＡＤである。図５は、車両側コントローラ３０の処理を示すＰＡＤである。ＰＡＤの各要素（ＰＡＤ箱）は、フローチャートのステップとは異なるが、便宜上以下では、主なＰＡＤ箱に符号Ｓ１、Ｓ２…を付して説明する。
画像処理ユニット２０は、起動すると、図２（ａ）に示すように、まずステップＳ１で、車両側コントローラ３０からの信号を監視し、車両側コントローラ３０から顔面認証処理を指令するコマンドが入力されると、ステップＳ２に進んで顔面認証処理を行い、車両側コントローラ３０から暗証番号入力処理を指令するコマンドが入力されると、ステップＳ３に進んで暗証番号入力処理を実行する。なお、省エネ（バッテリ消耗抑制）の観点から、上記指令がいずれも入力されない状態では、画像処理ユニット２０はいずれの処理も実行せずに待機し、カメラ１０による撮影を行わない。

そして画像処理ユニット２０は、上記ステップＳ２の顔面認証処理においては、図２（ｂ）の処理を行う。
即ち、まずステップＳ４で、カメラ１０による撮影を行い、得られた画像中の顔領域を検出して、ステップＳ５に進む。なお、顔領域が検出できない場合には、認証不成立の信号を車両側コントローラ３０に送信し、この顔面認証処理を終了する。次にステップＳ５では、器官抽出（顔領域中の目や鼻の部分の抽出）を行い、次いでステップＳ６では、器官抽出結果に基づいて顔画像の特徴点を顔面データとして求める。なお、この特徴抽出に必要な顔領域の検出、器官抽出、特徴点の算出などの処理としては、周知の方法（一般的なパターンマッチング法、グラフを用いる方法など）が使用できるので、説明を省略する。

次に画像処理ユニット２０は、ステップＳ７に進み、得られた顔面データと記憶手段２４に登録された全ての認証用顔面データとを比較して、それぞれ一致度を求め、その後ステップＳ８に進む。
次いでステップＳ８では、上記一致度が所定のしきい値を越えたもののうち、最も一致度が高い認証用顔面データに対応する個人を特定する。次にステップＳ９で、その一致度とその個人（車に乗り込もうとする者）の情報を車両側コントローラ３０に返信し、その後顔面認証処理を終了してステップＳ１に戻る。なお、上記一致度が所定のしきい値を越えるものがなかった場合には、認証不成立の信号を車両側コントローラ３０に返信する。

次に、画像処理ユニット２０が実行する上記ステップＳ３の暗証番号入力処理について、図３及び図４により説明する。
処理が開始されると、まずステップＳ１１で、暗証番号入力開始であることを被認証者に報知するために、例えば表示装置４を用いて暗証番号入力開始であることを示す文字表示などを実行する。なお、この報知方法としては、音や光など方法を特に制限されるものではなく、暗証番号入力開始であることが伝えられればそれで足りる。例えば、駐車中に稼働している防犯装置のＬＥＤ（図示省略）の点滅を、暗証番号入力である旨を伝える特定のパターンで点滅させても良い。

次に、ステップＳ１２で、暗証番号バッファをヌルクリアし、数値バッファを０クリアする。なお、暗証番号バッファと数値バッファは、例えばＲＡＭ２３内の特定の記憶領域よりなり、暗証番号バッファは暗証番号としての数字列を記憶し、数値バッファは数値（この場合、０〜９までのデータ）を記憶するものである。また、ヌルクリアとは、無効なデータを上書きすることであり、０クリアとは、数値０のデータを上書きすることを意味する。
その後、ステップＳ１３では、数値バッファが−１になるまで、ステップＳ１４〜Ｓ２０を繰り返し実行する。即ち、ステップＳ２０の処理が終了すると、数値バッファの数値を読み取り、数値バッファの値が−１ならステップＳ１３を終了し、数値バッファの値が−１でない場合にはステップＳ１４に戻って処理を繰り返す。

そして、ステップＳ１４では、手画像の入力タイミングであることを被認証者に報知するために、例えば前記ＬＥＤを点灯させる報知動作を実行する。なお、この報知方法も、音や光など方法を特に制限されるものではない。
次にステップＳ１５では、カメラ１０による撮影動作（静止画をキャプチャする動作）を実行し、その後のステップＳ１６で、前述の報知動作（手画像の入力タイミングを知らせる動作）を停止する（例えば、前記ＬＥＤを消灯させる）。なお、カメラ１０による撮影は、前述の報知動作（例えば、前記ＬＥＤの点灯）を開始した後、所定の時間間隔（被認証者が所定の態様で手をカメラに向ける動作が確実に完了するのを待つための十分な時間）をおいて行うことが望ましい。

次いでステップＳ１７では、数値バッファに−１を上書きする。これは、後述するステップＳ２１（図４）で手画像が検出されなかったときに、後述するステップＳ１９においてステップＳ２５に処理が進まない（暗証番号バッファへの書込みを行わない）ようにするための処理である。
次にステップＳ１８では、図４に示すステップＳ２１〜Ｓ２４の手画像の検出及び読み取り処理（後述する）を２回繰り返した後、ステップＳ１９に進む。なお、２回繰り返すのは、両手による暗証番号のデータ入力を可能とするためである。
次にステップＳ１９では、数値バッファの値を読み取り、数値バッファの値が０以上なら図４に示すステップＳ２５を実行した後にステップＳ２０に進み、数値バッファの値が０未満ならステップＳ２５を実行しないでステップＳ２０に進む。
そしてステップＳ２０では、手画像の入力（暗証番号１桁分の入力）が終了したことを被認証者に報知して所定時間待機するために、例えば前記ＬＥＤを所定時間だけ点灯又は点滅させる。なお、この報知方法も、音や光など方法を特に制限されるものではない。

一方、ステップＳ２１では、ステップＳ１５で撮影した画像中の手領域を一つずつ検出する。手領域の検出とは、画像中の手の部分を検出する処理であり、これにより、手の態様により決まる数のデータ（手画像のデータ）や終了マークの判定が可能となる。この手領域の検出は、例えば記憶手段２４に予め登録しておいた手のパターンを用いて、周知のパターンマッチングにより行うことができる。そして、画像中から対応するパターンが検出された場合は、検出されたパターンに予め対応付けられた数のデータが入力されたものと判定する。また、終了マークに対応するパターンが検出された場合は、終了マークが入力されたものと判定する。

ここで、登録しておく手のパターン例（上記数のデータに対応するもの）としては、例えば最も自然なものとして、伸ばした指の数が上記数のデータに対応するものがあり、本例では、これを採用している。即ち、上記データが１である場合には例えば図６（ａ）に示す態様（人差し指だけを伸ばした態様）、上記データが３である場合には例えば図７（ａ）に示す態様（人差し指、中指、薬指を伸ばした態様）、上記データが４である場合には例えば図８（ａ）に示す態様（親指だけを握った態様）、上記データが５である場合には例えば図８（ｂ）に示す態様（全ての指を開いて伸ばした態様）、上記データが０である場合には例えば全ての指を閉じた握り拳の状態の態様である。なお、このデータ入力（即ち、暗証番号入力）の信頼性を高めるために、同じデータに対応する態様が複数あってもよい。例えば、上記データが３であるものとして、例えば図７（ａ）に示す態様（伸ばした３本の指が離れている態様）と、図７（ｂ）に示す態様（伸ばした３本の指が接触している態様）とが設定されてもよい。

また本例の場合、６以上の数値は、両手の合計として入力するようになっている。例えば、片手が１の態様で、残りの手が５の態様の場合、１＋５＝６と判定される。
また、前記終了マークに対応する手のパターン例としては、例えば親指だけを伸ばした態様があり得る。
なお、図６（ｂ）に示す態様（親指と小指を伸ばした態様）は、通常使用しない手のパターンであるが、前記データが２である場合の手のパターンとしてもよいし、前記終了マークに対応する手のパターンとしてもよい。
また本例において、手画像のデータは、上述したように手の態様により決まる数のデータであり、被認証者一人に対して所定の順番で複数設定され、被認証者固有の暗証番号を構成している。例えば、ユーザ甲は「１４２３」、ユーザ乙は「２１５４３」といったように、複数桁の暗証番号が各ユーザについて設定される。そして、これら暗証番号は、別認証用データとして予め別認証データ記憶手段（この場合、記憶手段２４）にユーザ毎に登録されている。

次にステップＳ２２では、ステップＳ２１の検出により登録された何れかのパターンに一致する手領域が検出されたか否か判定する。そして、検出された場合にはそのままステップＳ２３に進み、検出されない場合には、ステップＳ１８の繰返しループを抜けてステップＳ１８を終了し、ステップＳ１９に進む。
次いでステップＳ２３では、ステップＳ２１で検出されたパターンが前記終了マークに対応するパターンであったか否か判定する。そして、前記終了マークでない場合にはそのままステップＳ２４に進み、前記終了マークであった場合には、数値バッファに−１を上書きした後に、ステップＳ１８の繰返しループを抜けてステップＳ１８を終了し、ステップＳ１９に進む。

そしてステップＳ２４では、数値バッファの値が−１である場合、ステップＳ２１で検出されたパターンに対応する数のデータを数値バッファに代入（上書き）し、数値バッファの値が−１でない場合、ステップＳ２１で検出されたパターンに対応する数のデータを数値バッファに加算して更新設定する。ここで、加算して更新設定するとは、数値バッファの処理前の値にデータを加算して得られるデータ（数値）を、数値バッファに新たに上書きすることである。なお、数値バッファの値が−１でない場合というのは、ステップＳ２１を２回繰返して２個目の手領域が検出できた場合、即ち、残りのもう一つの手が検出された場合であるから、両手分のデータを合計するために、上記加算が行われる。
なお、ステップＳ２４が終了し、ステップＳ２１からこのステップＳ２４までの処理を２回繰返している場合には、ステップＳ１８を終了してステップＳ１９に進み、２回繰返していない場合には、ステップＳ２１に戻って処理を繰返す。

一方、ステップＳ２５では、数値バッファの値（手画像により入力された前記数のデータ）を読み取り、この値を数値ではなく数字（０〜９）として、暗証番号バッファのデータの末尾に追加設定する。追加設定するとは、暗証番号バッファの処理前の数字列の桁を一つずつ繰り上げて、末尾の桁の数字として設定することを意味する。例えば、暗証番号バッファの処理前の数字列が、ヌルデータである場合には、数値バッファの値「２」を暗証番号バッファの末尾の桁として設定し、１桁の数字列である「２」というデータが暗証番号バッファに設定される。或いは、暗証番号バッファの処理前の数字列が、既に２桁のデータ「１４」である場合には、数値バッファの値「２」を暗証番号バッファの末尾の桁として設定し、３桁の数字列である「１４２」というデータが暗証番号バッファに設定される。
この様な構成としたのは、入力した暗証番号が「０１２３」であった場合に、数値として処理を行うと、先頭の「０」が省略され「１２３」と認識されることの対策である。

したがって、ステップＳ１３が終了した時点では、このステップＳ２５が繰返された数に相当する桁数の暗証番号が暗証番号バッファに設定される。
また、画像処理ユニット２０は、ステップＳ１３を終了すると、読み取った暗証番号（暗証番号バッファの数字例のデータ）を車両側コントローラ３０に送信した後に、暗証番号入力処理を終了する。

次に、車両側コントローラ３０が実行する処理について、図５により説明する。
車両側コントローラ３０は、起動すると、まずステップＳ３１で、エンジンが停止中であるか否か判定し、エンジンが停止中であると、以降の処理（ステップＳ３２）を繰り返し、エンジンが停止中でなければ、以降の処理を実行しない。本例は、車両に乗り込もうとしている人を認証する装置であるので、エンジンが停止した状態で必要に応じて個人認証を行えば十分であるからである。

そして、ステップＳ３２では、被認証者であるユーザの接近が検出されたか否か判定し、接近が検出されれば画像処理ユニット２０を起動してステップＳ３３〜Ｓ３４を実行する。接近が検出されなければ、画像処理ユニット２０を起動しないで、エンジンが始動されるまで、ステップＳ３２の判定を繰返す。これは、従来から用いられているメカニカルキーを用いて乗込む場合が想定されるからである。なお、エンジン停止中に、常にカメラ１０などが動作して撮影を行っている場合には、バッテリが短時間で消耗してしまう問題が生じるが、このようにエンジン停止時でかつユーザの接近時にのみ限定すれば、バッテリの消耗の問題が解消される。

なお、ユーザの接近は、車両に取り付けた前述の近接センサ２からの検出信号により判定可能である。但し、この態様に限られず、例えば、スマートエントリシステムの正当な携帯機との無線通信及びこの無線通信による暗証コードの照合が成立すると、スマートエントリコントローラ３からその旨の信号が車両側コントローラ３０に送信され、その時点でユーザが接近したと判定する態様でもよい。この場合は、ユーザは携帯機を携帯する必要が生じる。

次に車両側コントローラ３０は、ユーザの接近を判定してステップＳ３３に進むと、顔面認証処理を指令するコマンドを画像処理ユニット２０に送信し、ステップＳ３４に進む。なお、上記指令を受信した画像処理ユニット２０は、既述した図２（ｂ）の処理を実行する。
次にステップＳ３４では、指令した顔面認証の結果（画像処理ユニット２０から前述のステップＳ９の処理により送信される認証の一致度と個人の情報）を受信する処理を実行した後に、画像処理ユニット２０から送信された顔面認証の一致度を読み取る。

そしてこの一致度が、予め設定された判定困難範囲（グレーゾーン；例えば一致度が９０〜９８％の範囲）を超えて十分高い場合（例えば９８％を越えた場合）には、被認証者が顔面認証で判定された本人（画像処理ユニット２０から送信された個人）であると判定して、ステップＳ３５に進む。
また、前記一致度が前記判定困難範囲に達しない場合（例えば９０％に達しない場合）や、指令した顔面認証の結果が受信できない場合（認証不成立の信号を受信した場合）には、被認証者が顔面認証で判定された本人でない、或いは適正なユーザ本人でないと判定し、画像処理ユニットを停止して、エンジンが停止中であればステップＳ３２に戻り、エンジンが停止中でなければステップＳ３１に戻ってエンジンが停止するまで処理を終了する。また、前記一致度が前記判定困難範囲内である場合には、前記顔面認証とは異なる別認証が必要と判定して、ステップＳ３６に進む。

そして、ステップＳ３５では、解錠装置１のアクチュエータを制御してドアの解錠を行い、認証されたユーザが車両内に乗り込むことを可能とする。なおこの際、更には、認証されたユーザが前回保存した各種設定条件（例えばパワーシートの位置など）を読出し、認証されたユーザが好む設定を自動的に施す処理等を実行してもよい。
またステップＳ３６では、暗証番号入力処理を指令するコマンドを画像処理ユニット２０に送信し、ステップＳ３７に進む。なお、上記指令を受信した画像処理ユニット２０は、既述した図３，４の処理を実行する。

次に、ステップＳ３７では、暗証番号の入力データ（前述の図３の処理終了直前に画像処理ユニット２０から送信される暗証番号のデータ）を受信する処理を実行した後に、画像処理ユニット２０から送信された暗証番号の入力データと、別認証データ記憶手段（この場合、記憶手段２４）に登録された暗証番号のデータ（顔面認証により特定された個人のもの）とを比較し、これらデータが一致していると、被認証者が顔面認証で判定された本人（顔面認証の一致度がグレーゾーンであった個人）であると判定して、ステップＳ３８に進む。また、前記データが一致していないか、暗証番号の入力データが受信できないと、被認証者が顔面認証で判定された本人でないと判定し、画像処理ユニットを停止して、エンジンが停止中であればステップＳ３２に戻り、エンジンが停止中でなければステップＳ３１に戻ってエンジンが停止するまで処理を終了する。

次にステップＳ３８では、ステップＳ３５と同様に、解錠装置１のアクチュエータを制御してドアの解錠を行い、その後ステップＳ３９に進む。
そしてステップＳ３９では、今回の顔面認証処理により得られた顔面データを、特定された個人に対応する他の認証用顔面データ（認証用顔面データにバリエーションを持たせるためのデータ）として記憶手段２４に登録する。なお、上記顔面データは、直ちに登録する構成ではなく、登録候補として蓄積しておき、認証装置の管理者などによって候補画像から取捨選択して登録する構成としても良い。
ステップＳ３９を経ると、画像処理ユニットを停止して、エンジンが停止中であればステップＳ３２に戻り、エンジンが停止中でなければステップＳ３１に戻ってエンジンが停止するまで処理を終了する。

以上説明した本例の個人認証装置を含むシステムによれば、次のような作用効果が奏される。
本装置によれば、基本の認証方法（即ちステップＳ４〜Ｓ９の顔面認証）では信頼性が十分でない時（顔面認証の一致度が例えば９０〜９８％の判定困難範囲内にあるとき）にのみ、別認証（ステップＳ３６、Ｓ３７やステップＳ１１〜Ｓ２５の手画像による認証）を行うこととなり（ステップＳ３４やＳ３６等参照）、冗長性が無く、容易性とともに十分な信頼性を確保できる。

即ち、顔面認証の一致度が判定困難範囲を超えたときには、別認証を行わずに認証合格と判定するため（ステップＳ３４やＳ３５参照）、ユーザは別認証のためのデータ入力をすることなく、極めて容易に認証を受けることができる。また、顔面認証の一致度が判定困難範囲に達しないときには、別認証を行わずに認証不合格と判定するため（ステップＳ３４参照）、別認証のみによって不正に認証を受けることが不可能となり、顔面認証の防犯性の高さが発揮できる。このため、顔面認証の存在価値が十分にあり、顔面認証の良さが最大限に発揮される（従来技術のように実質的に暗証番号入力のみと同等であるということには全くならない）。

また現実問題として、車両で顔面認証を行う場合、照明条件等が安定しないため、認証されるべきユーザが来た場合においても、撮影した画像から特徴点が抽出できず、その結果登録された特徴点との一致度が低くなり、認証されない場合が発生する。しかし本装置であると、顔面認証の結果が判定困難範囲（グレーゾーン）内である限り、別認証によって認証を受けることができるので、適正なユーザであるにも係わらず、認証を受けられないという不具合の発生可能性が極めて少ない。
しかも本装置は、別認証が、顔面認証用のカメラ１０に手画像を入力することによる手画像のデータに基づいて行われるものであり、基本の認証と別認証で同じ入力手段（カメラ１０）を用いるため、費用、設置場所などに無駄がなく、大型化やコスト増をともなうこともない。

また、前記手画像のデータは、手の態様により決まる数のデータであり、別認証用データも、これに対応した数のデータである。このため、別認証に必要な記憶容量が極めて少なく、データの照合も極めて容易であるという利点がある。また、手の態様（伸ばした指の数）とデータとの対応が明確であり、手画像からのデータの読み取り処理が容易になる利点もある。
また、上記数のデータは、被認証者一人に対して所定の順番で複数設定され、被認証者固有の暗証番号を構成している。このため、別認証単独でも通常の暗証番号と同程度の高い防犯性を確保でき、別認証と顔面認証との組み合わせによって、別認証が行われる場合の信頼も高く確保できる。別認証が行われて最終的に認証合格となるためには、その前提として顔面認証の結果がグレーゾーンに到達している必要があり、かつ、別認証における複数の数の列よりなる暗証番号が登録されたものに一致する必要があるからである。

なお本例では、車両の近隣を通過する他人や物などを近接センサ２が検出して顔面認証処理が開始される恐れがあるが、このような場合は、顔面認証の一致度がしきい値を越えることがなく、ステップＳ３４の判定でドアの解錠や別認証（手画像による暗証番号入力）が実行されることはない。
また本例では、別認証が実行された場合（顔面認証結果がグレーゾーンの場合）に顔面認証により得られた顔面データを、特定された個人に対応する他の認証用顔面データ（認証用顔面データにバリエーションを持たせるためのデータ）として記憶手段２４に登録する。このため、次回からの顔面認証の信頼性がより高まることになり、ユーザが使い込むと、顔面認証の信頼性が益々増加する利点が得られる。

また本例では、ＬＥＤ等で暗証番号入力開始をユーザに報知した後（ステップＳ１１）、暗証番号として読み取られる手画像の入力タイミングやその手画像を解析して数値として読み取るタイミングを、やはりＬＥＤ等で逐一ユーザに報知している（ステップＳ１４、Ｓ１６、Ｓ２０）。このため、別認証（手画像による暗証番号入力に基づく認証）を受けるためにユーザが手を出すタイミングと、カメラがその手を撮影して手文字を解析するタイミングとが同期して、手画像の入力と読み取りが無駄無く確実に行われる。

なお、本発明は上述した形態例に限られず、各種の変形や応用があり得る。
例えば、上記形態例では、一度の顔面認証に対して手画像による暗証番号の入力を１回だけ行う構成であるが、手画像による暗証番号の入力を、認証されるまで複数回（例えば最大３回）実行可能としてもよい。そしてこの場合、手画像による暗証番号の入力（不認証）が所定回数以上実行されると、不正の恐れがあるとして、一定時間顔面認証を停止する、警報音等を出力する、或いは撮影した顔画像を設定された送信先に送信するといった動作を実行する構成としてもよい。

また上記形態例では、終了マークに対応した手画像を検出した時、或いは所定の手画像が検出できなくなった時に、数値バッファが−１となって、別認証のための手画像の入力処理が終了する構成である。しかし、暗証番号の桁数を予め固定しておき、対応する桁数が入力された時点で終了する態様でもよいし、予め設定された入力可能時間が経過すると終了する態様でもよい。

また、別認証段階で認証失敗した場合は、登録者に似た第三者が侵入を試みている可能性があるため、別認証段階で失敗した顔画像を後程確認できるように保存する構成としてもよい。
また、制御系の構成や処理機能の分担は、図１及び図２〜５に示したものに限られないこともいうまでもない。例えば、図１に示す構成において、図２〜５に示した制御処理を、画像処理ユニット２０が全て行う態様（車両側コントローラ３０が、車載機器からの信号の伝達と、認証結果に基づくドアの解錠などの制御処理を行うだけの態様）であってもよい。或いは、車両側コントローラが無い構成もあり得ることはいうまでもない。
また本発明は、車両のエントリシステムに限らず、個人認証が必要な各種のシステムに適用可能であることはいうまでもない。
また、本発明の別認証は、手画像によるものに限られず、音声認識やキーボードからのキー入力によるものであってもよい。

個人認証装置を含むシステム構成を示すブロック図である。 システムの機能や動作を示すＰＡＤである。 システムの機能や動作を示すＰＡＤである。 システムの機能や動作を示すＰＡＤである。 システムの機能や動作を示すＰＡＤである。 手画像として入力する手の態様例を示す図である。 手画像として入力する手の態様例を示す図である。 手画像として入力する手の態様例を示す図である。

符号の説明

４ 表示装置（別認証報知手段）
１０ カメラ
２０ 画像処理ユニット（顔面認証処理手段、別認証報知手段、別認証処理手段）
２４ 記憶手段（顔面認証データ記憶手段、別認証データ記憶手段）
３０ 車両コントローラ（顔面認証処理手段、別認証報知手段、別認証処理手段）

Claims (4)

1. 認証を受ける被認証者の顔を含む画像を撮影可能なカメラと、
   認証用顔面データを登録しておく顔面認証データ記憶手段と、
   前記カメラにより撮影した前記画像から得られた顔面データと前記顔面認証データ記憶手段に登録された認証用顔面データとを比較して顔面認証を行う顔面認証処理手段と、を備えた個人認証装置において、
   前記顔面認証処理手段は、前記顔面認証の一致度が予め設定された判定困難範囲を超える場合には、被認証者が前記認証用顔面データに対応する本人であると判定し、前記一致度が前記判定困難範囲に達しない場合には、被認証者が前記認証用顔面データに対応する本人でないと判定し、
   前記一致度が前記判定困難範囲内である場合には、被認証者に別認証を要求する報知を行なう別認証報知手段と、
   この別認証報知手段による報知が行なわれた後に、前記別認証を行う別認証処理手段とを設けたことを特徴とする個人認証装置。
2. 別認証用データを登録しておく別認証データ記憶手段を備え、
   前記別認証は、
   前記カメラにより撮影された画像中に含まれる手画像のデータを読み取り、この手画像のデータと前記別認証データ記憶手段に登録された別認証用データとを比較し、これらデータが一致していると、被認証者が前記認証用顔面データに対応する本人であると判定し、前記手画像のデータが読み取れないか前記データが一致していないと、被認証者が前記認証用顔面データに対応する本人でないと判定するものであることを特徴とする請求項１に記載の個人認証装置。
3. 前記手画像のデータは、手の態様により決まる数のデータであり、前記別認証用データも、これに対応した数のデータであることを特徴とする請求項２に記載の個人認証装置。
4. 前記数のデータは、被認証者一人に対して所定の順番で複数設定され、被認証者固有の暗証番号を構成していることを特徴とする請求項３に記載の個人認証装置。

Images