JP2017142859A - 認証装置、認証方法、制御プログラムおよび記録媒体 - Google Patents

Abstract

【課題】不正な認証をより高度に防止する。【解決手段】被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出部（２２）と、認証許可視線方向を設定する認証許可視線方向設定部（２３）と、検出した視線方向が認証許可視線方向であるか否かを判定して、認証を実行する生体判定部（２４）と、認証許可視線方向設定時には、視線方向の種別を示す画像を表示部（１４）に表示させる一方、認証実行時には、上記画像を表示部（１４）に表示させない表示制御部（２６）と、を備え、生体判定部は、特定された視線角度および視線方向のいずれかを、視線検出部により実施される検出の状況に応じて選択的に用いて認証を実行する。【選択図】図１

Description

本発明は、画像に基づいて認証を実行する認証装置、認証方法、制御プログラムおよび記録媒体に関するものである。

近年、携帯電話機、モバイルコンピュータ、携帯ゲーム機、音楽再生機等の携帯機器の高機能化・多機能化が進んでいる。これに伴い、携帯機器の不正利用を防止するためのセキュリティ対策が重要となってきている。

セキュリティ対策としては、携帯機器に標準搭載になりつつあるカメラを利用する顔認識技術が注目されている。顔認識技術を応用した本人認証（顔認証）は、自然な動作の中から顔を撮影し、持ち主確認を行うことが可能なので、利便性の高いセキュリティとして有効である。

一方、顔認識技術の課題として、写真等を用いた「なりすまし」への対策がある。「なりすまし」とは、本人の顔写真等を用いて別人が認証を受けようとする行為である。特に最近の携帯機器は、メガピクセル級のカメラを備え、オートフォーカス機能や接写機能を有しているため、スナップ写真や免許証のような小サイズの写真からでもなりすましが出来てしまう危険性がある。

そこで、なりすましを防止する技術が開発されている。例えば、特許文献１には、ユーザの視線を誘導する光源にユーザの視線が向いているか否かを判定してなりすましを防止する技術が記載されている。また、特許文献２には、ディスプレイに表示したマークをランダムに動かして、ユーザの視線動作が当該マークの軌道と一致するか否かを判定してなりすましを防止する技術が記載されている。また、特許文献３には、ユーザの視線が表示部に向いているか否かを判定してなりすましを防止する技術が記載されている。また、特許文献４には、ユーザの視線方向を示すポインタを表示し、当該ポインタをユーザの虹彩位置に応じて移動させ、ポインタの軌跡が予め定めた移動パターンと一致するか否かを判定して認証処理を実行する技術が記載されている。また、特許文献５には、ユーザの視線を検出し、ユーザが注視した画像が登録画像であるか否かを判定して認証を実行する技術が記載されている。

特許第３５６２９７０号公報（２００４年９月８日公開） 特許第４４７０６６３号公報（２０１０年６月２日公開） 特許第４８０７１６７号公報（２０１１年１１月２日公開） 特開２００４−２２０３７６号公報（２００４年８月５日公開） 特開２００５−１４９３２６号公報（２００５年６月９日公開）

しかしながら、上述のような従来技術は、なりすまし防止判定時に、入力候補（入力可能な視線方向の種別、誘導マーク、選択肢としての画像等）を表示しているため、認証方法を他人が容易に把握することが可能であった。そのため、不正な認証を防止するためのなりすまし防止判定が有効に機能しない場合があるという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、不正な認証をより高度に防止する認証装置、認証方法、制御プログラムおよび記録媒体を実現することにある。

上記の課題を解決するために、本発明の一態様に係る認証装置は、画像に基づいて認証を実行する認証装置であって、上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出手段と、認証を許可する視線方向を設定する認証許可視線方向設定手段と、上記視線検出手段が検出した視線方向が、上記認証許可視線方向設定手段が設定した認証許可視線方向であるか否かを判定して、認証を実行する認証実行手段と、上記認証許可視線方向設定手段の認証許可視線方向設定時には、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行手段の認証実行時には、上記画像を上記表示部に表示させない表示制御手段と、を備え、上記認証実行手段は、上記視線検出手段によって特定された上記視線角度および上記視線方向のいずれかを、上記視線検出手段により実施される検出の状況に応じて選択的に用いて上記認証を実行する。

また、上記の課題を解決するために、本発明の一態様に係る認証方法は、認証装置が画像に基づいて認証を実行する認証方法であって、上記認証装置が、認証を許可する視線方向を設定する認証許可視線方向設定ステップと、上記認証装置が、上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出ステップと、上記認証装置が、上記視線検出ステップにおいて検出された視線方向が、上記認証許可視線方向設定ステップにおいて設定された認証許可視線方向であるか否かを判定して、認証を実行する認証実行ステップと、を含み、上記認証許可視線方向設定ステップでは、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行ステップでは、上記画像を上記表示部に表示させず、上記認証実行ステップでは、上記視線検出ステップにて特定された上記視線角度および上記視線方向のいずれかを、上記視線検出ステップで実施される検出の状況に応じて選択的に用いて上記認証を実行する。

本発明の一態様によれば、不正な認証を防止することができるという効果を奏する。

本発明の実施形態を示すものであり、認証装置の要部構成を示すブロック図である。 視線角度と視線方向との対応関係を示す視線角度特定情報の一例を示す図である。 表示部に表示される視線角度の種別を示す視線角度種別画像の一例を示す図である。 表示部に表示される視線方向の種別を示唆しない画像の一例を示す図である。 認証装置が実行する認証許可視線方向設定処理の一例を示すフローチャートである。 認証装置が実行する認証処理の一例を示すフローチャートである。 認証装置が実行する認証処理の他の一例を示すフローチャートである。 認証装置が実行する認証処理の他の一例を示すフローチャートである。 認証装置が実行する認証処理の他の一例を示すフローチャートである。

本発明の一実施形態について図１から図５に基づいて説明すると以下の通りである。

〔認証装置の構成〕
認証装置１は、ユーザが、認証装置１または当該装置が搭載された電子機器の所有者であるか否かを画像に基づいて判定して、個人認証を実行するものである。より詳細には、認証装置１は、所有者か否かをユーザの顔画像に基づいて判定するものである。さらに、認証装置１は、個人認証を実行する前に、なりすましを防止するために、ユーザの視線方向を検出して、撮像された画像に写っているユーザが生体であるか否かを判定する。すなわち、認証装置１は、なりすまし防止判定をして生体認証が正しく実行された後に、顔画像に基づいて個人認証を実行する。

本実施形態では、本発明に係る認証方法をなりすまし防止判定に用いる認証方法として説明する。しかしながら、本発明に係る認証方法は、なりすまし防止判定にのみ適用されるものではない。すなわち、本発明に係る認証方法は、個人認証の前に行う生体認証にのみ適用されるものではなく、本発明に係る認証方法は、個人認証そのものに用いてもよい。

認証装置１は、例えば、携帯電話機、スマートフォン、ＰＣ、デジタルカメラ、デジタルビデオカメラ、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などの電子機器に搭載されていてもよい。なお、本実施形態では、認証装置１が携帯電話機に搭載されているものとし、認証対象を当該携帯電話機の所有者とする。

認証装置１の構成を図１に基づいて説明する。図１は、認証装置１の要部構成の一例を示すブロック図である。認証装置１は、図１に示すように、制御部１１、記憶部１２、画像入力部１３および表示部１４を備えている。なお、認証装置１は、操作部、通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

画像入力部１３は、外部の画像提供装置（不図示）から画像を取得するためのインターフェースである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、認証装置１は、画像入力部１３の代わりに、カメラを搭載していてもよい。

表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。なお、認証装置１は表示部１４を備えていなくてもよい。この場合、認証装置１は、別体の表示装置に画像を表示させる。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、認証装置１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、視線検出部（視線検出手段）２２、認証許可視線方向設定部（認証許可視線方向設定手段）２３、生体判定部（認証実行手段）２４、本人判定部２５および表示制御部（表示制御手段）２６を備える構成である。さらに、制御部１１は、図１に示すように、まばたき検出部（まばたき検出手段）２７を備えていてもよい。これらの制御部１１の各機能ブロック（２１〜２７）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、画像入力部１３を介して、ユーザが撮像された画像を取得するものである。画像取得部２１は、取得した画像を視線検出部２２、本人判定部２５、および、まばたき検出部２７に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。

視線検出部２２は、画像取得部２１から画像を取得し、画像に撮像されているユーザの視線方向を検出するものである。具体的には、視線検出部２２は、画像に撮像されているユーザの視線角度を特定し、視線角度と視線方向との対応関係を示す視線方向特定情報３１を参照して、特定した視線角度に対応する視線方向を特定する。視線検出部２２は、特定した視線方向を認証許可視線方向設定部２３および生体判定部２４に出力する。

ここで、視線方向特定情報３１は、例えば、図２に示すようなものである。図２に示す視線方向特定情報３１では、視線方向として９種ある。図２に示すように、左右（水平方向）の視線角度が２０度より大きく、上下（垂直方向）の視線角度が１０度より大きい場合、視線方向は右上となる。また、左右（水平方向）の視線角度が−２０度以上２０度以下であり、上下（垂直方向）の視線角度が−１０度以上１０度以下である場合、視線方向は中央となる。左右（水平方向）の視線角度が−２０度より小さく、上下（垂直方向）の視線角度が−１０度より小さい場合、視線方向は左下となる。

図２に示す視線方向特定情報３１は一例であり、視線角度と視線方向との対応関係は、適宜設定すればよい。例えば、視線方向として上下左右の４種としてもよいし、対応する視線角度の範囲を任意に変更してよい。

視線方向特定情報３１は、予め設定されるものである。ただし、カメラの位置およびユーザの顔に位置に基づいて、視線角度と視線方向との対応関係を設定することが望ましいため、ユーザ毎にまたは認証許可視線方向を設定する度に、視線方向特定情報３１を補正することが望ましい。

また、視線検出部２２は、所定の期間に撮影された複数の画像から、それぞれ複数の視線角度を特定し、その複数の視線角度の平均値、最多頻出角度または中間値等に対応する視線方向を特定してもよい。これにより、ユーザの視線角度が安定しない場合であっても、信頼度の高いユーザの視線方向を特定することができる。

また、視線検出部２２は、画像に撮像されているユーザの視線角度を特定し、特定した視線角度そのものを認証許可視線方向設定部２３および生体判定部２４に出力してもよい。

なお、画像からユーザの視線方向を検出する方法は上記のものに限らず、公知の技術を用いることが可能である。例えば、虹彩の位置に基づいて視線方向を検出してもよい。

認証許可視線方向設定部２３は、なりすまし防止判定（生体認証）を許可するための視線方向を設定するものである。認証許可視線方向設定部２３は、設定した認証許可視線方向を示す認証許可視線情報３２を記憶部１２に格納する。この生体認証を許可する視線方向を認証許可視線方向と称する。

具体的には、認証許可視線方向設定部２３は、ユーザに認証許可視線方向の登録を促して、視線検出部２２が検出した視線方向を認証許可視線方向として設定する。なお、認証許可視線方向設定部２３は、ユーザがキーボードまたはマウス等の操作部を操作して入力された視線方向を認証許可視線方向として設定してもよい。

また、認証許可視線方向設定部２３は、視線検出部２２から視線角度を取得した場合、取得した視線角度を認証許可視線角度として設定する。この場合、設定した認証許可視線角度を示す情報を認証許可視線情報３２として記憶部１２に格納する。

また、認証許可視線方向設定部２３は、複数の認証許可視線方向または認証許可視線角度を所定の順序で設定してもよい。

生体判定部２４は、記憶部１２から認証許可視線情報３２を読み出し、視線検出部２２が検出した視線方向が認証許可視線情報３２の示す認証許可視線方向であるか否かを判定するものである。生体判定部２４は、視線検出部２２が検出した視線方向が認証許可視線方向である場合、正しく認証が行われたものと判定する。つまり、画像に撮像されているユーザが生体であると判定する。そして、生体判定部２４は、生体認証が正しく行われた旨を本人判定部２５に通知する。

一方、生体判定部２４は、視線検出部２２が検出した視線方向が認証許可視線方向ではない場合、正しく認証が行われなかったと判定する。つまり、画像に撮像されているユーザが生体ではないと判定する。このとき、生体判定部２４は、生体認証が正しく行われなかった旨を表示制御部２６に通知してもよい。

また、視線検出部２２が視線角度を出力する場合、生体判定部２４は、視線検出部２２が検出した視線角度と、認証許可視線情報３２の示す認証許可視線角度との差分値（絶対値）が所定の閾値以下であるか否かを判定する。生体判定部２４は、視線検出部２２が検出した視線角度と、認証許可視線角度との差分値が所定の閾値以下である場合、正しく認証が行われたものと判定する。一方、生体判定部２４は、視線検出部２２が検出した視線角度と、認証許可視線角度との差分値が所定の閾値以下ではない場合、正しく認証が行われなかったものと判定する。

例えば、水平方向および垂直方向に関して、それぞれ閾値を５度として設定したとする。また、水平方向および垂直方向の認証許可視線角度がそれぞれ９度、１１度であり、視線検出部２２が検出した水平方向および垂直方向の視線角度が１３度、８度であるとする。この場合、生体判定部２４は、水平方向および垂直方向の差分値がそれぞれ４度、３度であるため、閾値以下であると判定する。

また、視線検出部２２は、視線方向および視線角度を認証許可視線方向設定部２３および生体判定部２４に出力してもよい。この場合、生体判定部２４は、視線方向および視線角度の両方を用いて生体認証を実行してもよい。

例えば、生体判定部２４は、視線検出部２２が検出した視線角度が視線方向を分類する境界付近である場合、視線角度に基づいて判定を行い、それ以外の場合は視線方向に基づいて判定を行ってもよい。ここで、視線方向を分類する境界とは、図２に示す視線方向特定情報３１の場合、水平方向の視線角度が２０度または−２０度であり、垂直方向の視線角度が１０度または−１０度である。

また、例えば、後述する顔検出または視線検出の信頼度（精度）が高い場合、視線方向に基づいて判定を行い、信頼度が低い場合、視線角度に基づいて判定を行ってもよい。

また、認証許可視線方向設定部２３が複数の認証許可視線方向または認証許可視線角度を所定の順序で設定している場合、生体判定部２４は、認証許可視線方向設定部２３が設定した所定の順序で、複数の認証許可視線方向または認証許可視線角度を視線検出部２２が出力したか否かを判定して、認証を実行してもよい。

このとき、視線検出部２２は、所定の期間毎に、視線方向または視線角度を特定して、生体判定部２４に出力する。例えば、視線検出部２２は、後述するまばたき検出部２７がまばたきを検出すると、次の視線方向または視線角度を出力する。また、視線検出部２２は、所定期間、或る視線方向を検出すると、その検出した視線方向を出力してもよい。

本人判定部２５は、生体判定部２４から生体認証が正しく行われたことを示す通知を受信すると、事前に登録された所有者の顔画像を示す本人情報３３を読み出し、画像取得部２１から取得した画像に撮像されているユーザが所有者であるか否かを判定するものである。本人判定部２５は、画像に撮像されているユーザが所有者である場合、個人認証が正しく行われたと判定する。一方、本人判定部２５は、画像に撮像されているユーザが所有者ではない場合、個人認証が正しく行われなかったと判定する。

表示制御部２６は、各部の処理に応じて、所定の画像を生成し、生成した画像を表示部１４に表示させるものである。具体的には、認証許可視線方向設定部２３が認証許可視線方向設定処理を開始すると、表示制御部２６は、ユーザに認証許可視線方向の登録を促す画像を表示部１４に表示させる。例えば、表示制御部２６は、「認証許可視線方向とする方向を見てください」または「認証許可視線方向とする３つの方向を順に見てください」等のテキストを表示部１４に表示させる。このとき、表示制御部２６は、視線方向の種別を示す視線方向種別画像を表示部１４に表示させる。例えば、表示制御部２６は、視線方向種別画像として、図３に示すような各方向を示すマーカ４１を携帯電話機１００の表示部１４に表示させる。また、表示制御部２６は、視線方向種別画像として、図２に示すようなものを表示させてもよい。

また、表示制御部２６は、生体判定部２４による生体認証実行時には、視線方向種別画像を表示させずに、視線方向の種別を示唆しない画像を表示部１４に表示させる。例えば、表示制御部２６は、図４に示すような黒画像を携帯電話機１００の表示部１４に表示させてもよい。また、表示制御部２６は、一色の画像、風景画像、起動時等の背景画像、ユーザが撮像された入力画像、生体認証実行中を示す画像、または、カウント画像（生体認証の実行期間（入力期限）を示す画像）などを表示させてもよい。また、生体認証実行時には、表示制御部２６は、生体認証が開始されたことを示す画像を視線方向の種別を示唆しない画像に重畳して表示させてもよい。

また、表示制御部２６は、複数の視線方向を入力する場合、入力タイミングを示す画像を表示部１４に表示させる。例えば、表示制御部２６は、所定間隔で「次の視線方向を入力してください」等のテキストを表示してもよい。

なお、表示制御部２６が表示部１４に所定の画像を表示して、ユーザに通知しているが、ユーザに対する通知方法はこれに限るものではない。例えば、携帯電話機がスピーカ、振動部またはランプ（ＬＥＤ等）を備えている場合、音、振動または発光（色）によりユーザに通知してもよい。

まばたき検出部２７は、画像取得部２１から画像を取得し、画像に撮像されているユーザのまばたきを検出するものである。まばたき検出部２７は、まばたきを検出すると、その旨を視線検出部２２に通知する。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の視線方向特定情報３１、認証許可視線情報３２、本人情報３３等を格納している。

〔認証許可視線方向設定処理〕
次に、認証装置１が実行する認証許可視線方向設定処理について図５に基づいて説明する。図５は、認証装置１が実行する認証許可視線方向設定処理の一例を示すフローチャートである。

図５に示すように、認証許可視線方向設定部２３が認証許可視線方向設定処理を開始すると、表示制御部２６は、視線方向の種別を示す視線方向種別画像を表示部１４に表示させる（Ｓ１）。そして、画像取得部２１は、画像入力部１３を介して入力画像を取得する（Ｓ２）。次に、視線検出部２２は、入力画像からユーザの視線方向を検出する（Ｓ３）。認証許可視線方向設定部２３は、視線検出部２２が検出した視線方向を認証許可視線方向として設定する（Ｓ４）。

次に、認証許可視線方向設定部２３は、所定数の認証許可視線方向を設定したか否かを判定し（Ｓ５）、所定数の認証許可視線方向が設定されていなければ（Ｓ５でＮＯ）、再度、ユーザに視線方向を入力させる。一方、所定数の認証許可視線方向が設定された場合（Ｓ５でＹＥＳ）、認証許可視線方向設定部２３は、設定した認証許可視線方向を示す認証許可視線情報３２を生成して記憶部１２に格納する（Ｓ６）。

〔生体認証処理〕
（実施例１）
次に、認証装置１が実行する認証処理について図６に基づいて説明する。図６は、認証装置１が実行する認証処理の一例（実施例１）を示すフローチャートである。

図６に示すように、認証処理を開始すると、図５に示す認証許可視線方向設定処理と異なり、表示制御部２６は、視線方向種別画像を表示させない。この状態で、画像取得部２１は、画像入力部１３を介して入力画像を取得する（Ｓ１１）。次に、視線検出部２２は、入力画像からユーザの視線方向を検出する（Ｓ１２）。生体判定部２４は、視線検出部２２が検出した視線方向が認証許可視線方向であるか否かを判定する（Ｓ１３）。

ここで、視線検出部２２が検出した視線方向が認証許可視線方向である場合（Ｓ１３でＹＥＳ）、続いて、生体判定部２４は、認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出されたか否かを判定する（Ｓ１４）。まだ、所定数の認証許可視線方向が検出されていない場合（Ｓ１４でＮＯ）、Ｓ１１〜Ｓ１３を繰り返す。

認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出された場合（Ｓ１４でＹＥＳ）、生体判定部２４は、被写体は生体であると判定する（Ｓ１５）。そして、本人判定部２５は、画像に基づいて、被写体が所有者であるか否かの判定をして、個人認証を実行する（Ｓ１６）。

なお、Ｓ１３において、視線検出部２２が検出した視線方向が認証許可視線方向ではない場合（Ｓ１３でＮＯ）、生体判定部２４は、被写体は生体ではないと判定し（Ｓ１７）、個人認証を実行せずに処理を終了する。また、Ｓ１６において、本人判定部２５は、被写体が所有者ではない場合、被写体は所有者本人ではないと判定する。これらの場合、表示制御部２６は、認証が正しく行われなかったことを示す画像を表示部１４に表示してもよい。

なお、Ｓ１１において、視線方向種別画像は表示させないが、「認証処理を開始します」「生体認証を開始します」等の、処理開始を示すメッセージ等は表示させてもよい。

（実施例２）
次に、認証装置１が実行する生体認証処理の他の実施例について図７に基づいて説明する。図７は、認証装置１が実行する生体認証処理の他の一例（実施例２）を示すフローチャートである。

実施例２は、ユーザがまばたきをすることにより、複数の視線方向を入力する例を示す。実施例２では、実施例１に対して、視線検出部２２が複数の視線方向を特定する方法が異なるだけである。そのため、実施例１と異なる部分を主に説明する。

図７に示すように、実施例１と同様に、表示制御部２６が視線方向種別画像を表示させずに、Ｓ１１〜Ｓ１４の処理を実行する。Ｓ１４において、所定数の認証許可視線方向が検出されていない場合（Ｓ１４でＮＯ）、視線検出部２２は、まばたき検出部２７がまばたきを検出するまで待つ（Ｓ２１）。まばたき検出部２７がまばたきを検出すると（Ｓ２１でＹＥＳ）、画像取得部２１が入力画像を取得して（Ｓ１１）、視線検出部２２は、次の視線方向を検出して、生体判定部２４へ出力する（Ｓ１２）。そして、生体判定部２４は、Ｓ１３の判定処理を実行する。

認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出された場合（Ｓ１４でＹＥＳ）、実施例１と同様に、Ｓ１５およびＳ１６の処理を実行する。

（実施例３）
次に、認証装置１が実行する生体認証処理の他の実施例について図８に基づいて説明する。図８は、認証装置１が実行する生体認証処理の他の一例（実施例３）を示すフローチャートである。

実施例３は、ユーザが同一の視線方向を一定時間注視することにより、１つの視線方向が入力される例を示す。実施例３では、実施例１に対して、視線検出部２２が複数の視線方向を特定する方法が異なるだけである。そのため、実施例１と異なる部分を主に説明する。

図８に示すように、実施例１のＳ１１およびＳ１２と同様に、表示制御部２６が視線方向種別画像を表示させずに、画像取得部２１が入力画像を取得して（Ｓ３１）、視線検出部２２が入力画像からユーザの視線方向を検出する（Ｓ３２）。

ここで、視線検出部２２は、所定期間同じ視線方向を検出した場合にのみ、検出した視線方向を生体判定部２４に出力する（Ｓ３３）。なお、図８に示す例では、視線検出部２２は、所定期間同じ視線方向を検出するまで検出処理を実行しているが、ユーザの視線方向が定まらない場合は、検出処理および認証処理を終了してもよい。

次に、生体判定部２４は、視線検出部２２が検出した視線方向が認証許可視線方向であるか否かを判定する（Ｓ３４）。視線検出部２２が検出した視線方向が認証許可視線方向である場合（Ｓ３４でＹＥＳ）、続いて、生体判定部２４は、認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出されたか否かを判定する（Ｓ３５）。まだ、所定数の認証許可視線方向が検出されていない場合（Ｓ３５でＮＯ）、Ｓ３１〜Ｓ３４を繰り返す。

認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出された場合（Ｓ３５でＹＥＳ）、生体判定部２４は、被写体は生体であると判定する（Ｓ３６）。そして、本人判定部２５は、画像に基づいて、被写体が所有者であるか否かの判定をして、個人認証を実行する（Ｓ３７）。

なお、Ｓ３４において、視線検出部２２が検出した視線方向が認証許可視線方向ではない場合（Ｓ３４でＮＯ）、生体判定部２４は、被写体は生体ではないと判定し（Ｓ３８）、個人認証を実行せずに処理を終了する。

（実施例４）
次に、認証装置１が実行する生体認証処理の他の実施例について図９に基づいて説明する。図９は、認証装置１が実行する生体認証処理の他の一例（実施例４）を示すフローチャートである。

実施例４は、表示部１４に表示された、次の視線方向の入力を指示する画像を見て、ユーザが次の視線方向を入力する例を示す。実施例４では、実施例１に対して、視線検出部２２が複数の視線方向を特定する方法が異なるだけである。そのため、実施例１と異なる部分を主に説明する。

図９に示すように、実施例１と同様に、表示制御部２６が視線方向種別画像を表示させずに、Ｓ１１〜Ｓ１４の処理を実行する。Ｓ１４において、所定数の認証許可視線方向が検出されていない場合（Ｓ１４でＮＯ）、表示制御部２６は、次の視線方向の入力を指示する画像を表示部１４に表示して、ユーザに次の認証許可視線方向の入力タイミングであることを通知する（Ｓ４１）。その後、画像取得部２１が入力画像を取得して（Ｓ１１）、視線検出部２２は、次の視線方向を検出して、生体判定部２４へ出力する（Ｓ１２）。そして、生体判定部２４は、Ｓ１３の判定処理を実行する。

認証許可視線情報３２の示す所定の順序で所定数の認証許可視線方向が検出された場合（Ｓ１４でＹＥＳ）、実施例１と同様に、Ｓ１５およびＳ１６の処理を実行する。

〔ソフトウェアによる実現例〕
認証装置１の制御ブロック（特に制御部１１）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central ProcessingUnit）を用いてソフトウェアによって実現してもよい。

後者の場合、認証装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る認証装置は、画像に基づいて認証を実行する認証装置であって、上記画像に撮像されている被写体の視線方向を検出する視線検出手段と、認証を許可する視線方向を設定する認証許可視線方向設定手段と、上記視線検出手段が検出した視線方向が、上記認証許可視線方向設定手段が設定した認証許可視線方向であるか否かを判定して、認証を実行する認証実行手段と、上記認証許可視線方向設定手段の認証許可視線方向設定時には、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行手段の認証実行時には、上記画像を上記表示部に表示させない表示制御手段と、を備えている。

上記の構成によれば、認証実行時に、視線方向の種別を示す画像を表示しないため、他人が認証方法を把握することが困難である。よって、不正な認証を防止することができるという効果を奏する。

本発明の態様２に係る認証装置は、上記態様１において、上記表示制御手段は、上記認証実行手段の認証実行時に、上記視線方向の種別を示唆しない画像を上記表示部に表示させてもよい。

上記の構成によれば、認証実行時に、上記視線方向の種別を示唆しない画像、例えば、黒画像等を表示する。そのため、他人が認証方法を把握することが困難である。よって、不正な認証を防止することができる。

本発明の態様３に係る認証装置は、上記態様１または２において、上記認証許可視線方向設定手段は、複数の認証許可視線方向を所定の順序で設定し、上記認証実行手段は、上記認証許可視線方向設定手段が設定した所定の順序で、上記複数の認証許可視線方向を上記視線検出手段が検出したか否かを判定して、認証を実行してもよい。

上記の構成によれば、認証するためには、複数の視線方向を所定の順序で入力しなければならない。そのため、不正な認証をより高度に防止することができる。

本発明の態様４に係る認証装置は、上記態様３において、上記被写体のまばたきを検出するまばたき検出手段をさらに備え、上記視線検出手段は、上記まばたき検出手段がまばたきを検出すると、次の視線方向を検出してもよい。

上記の構成によれば、上記視線検出手段は、ユーザのまばたきによって区切られた期間毎に視線方向を検出する。そのため、ユーザは、簡易な動作で複数の視線方向を連続して入力することができる。

本発明の態様５に係る認証装置は、上記態様３において、上記視線検出手段は、所定の期間、或る方向の視線方向を検出すると、次の視線方向を検出してもよい。

上記の構成によれば、ユーザは、或る方向を所定期間注視するという簡易な動作だけで、連続して複数の視線方向を入力することができる。

本発明の態様６に係る認証装置は、上記態様３において、上記視線検出手段は、上記表示制御手段が次の視線方向の入力を促す画像を上記表示部に表示させると、次の視線方向を検出してもよい。

上記の構成によれば、ユーザは上記表示部に表示された上記画像に従うだけで、連続して複数の視線方向を入力することができる。

本発明の態様７に係る認証方法は、画像に基づいて認証を実行する認証方法であって、認証を許可する視線方向を設定する認証許可視線方向設定ステップと、上記画像に撮像されている被写体の視線方向を検出する視線検出ステップと、上記視線検出ステップにおいて検出された視線方向が、上記認証許可視線方向設定ステップにおいて設定された認証許可視線方向であるか否かを判定して、認証を実行する認証実行ステップと、を含み、上記認証許可視線方向設定ステップでは、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行ステップでは、上記画像を上記表示部に表示させない。

本発明の態様８に係る認証装置は、画像に基づいて認証を実行する認証装置であって、上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出手段と、認証を許可する視線方向を設定する認証許可視線方向設定手段と、上記視線検出手段が検出した視線方向が、上記認証許可視線方向設定手段が設定した認証許可視線方向であるか否かを判定して、認証を実行する認証実行手段と、上記認証許可視線方向設定手段の認証許可視線方向設定時には、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行手段の認証実行時には、上記画像を上記表示部に表示させない表示制御手段と、を備え、上記視線検出手段は、所定の期間に撮影された上記被写体の複数の画像から、それぞれ視線角度を特定し、各視線角度の平均値、最多頻出角度または中間値に対応する視線方向を特定する。

本発明の態様９に係る認証方法は、認証装置が画像に基づいて認証を実行する認証方法であって、上記認証装置が、認証を許可する視線方向を設定する認証許可視線方向設定ステップと、上記認証装置が、上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出ステップと、上記認証装置が、上記視線検出ステップにおいて検出された視線方向が、上記認証許可視線方向設定ステップにおいて設定された認証許可視線方向であるか否かを判定して、認証を実行する認証実行ステップと、を含み、上記視線検出ステップでは、所定の期間に撮影された上記被写体の複数の画像から、それぞれ視線角度を特定し、各視線角度の平均値、最多頻出角度または中間値に対応する視線方向を特定し、上記認証許可視線方向設定ステップでは、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行ステップでは、上記画像を上記表示部に表示させない。

本発明の各態様に係る認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記認証装置が備える各手段として動作させることにより上記認証装置をコンピュータにて実現させる認証装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、ユーザの視線を検出して認証を実行する認証装置に利用することができる。

１ 認証装置
１４ 表示部
２１ 画像取得部
２２ 視線検出部（視線検出手段）
２３ 認証許可視線方向設定部（認証許可視線方向設定手段）
２４ 生体判定部（認証実行手段）
２５ 本人判定部
２６ 表示制御部（表示制御手段）
２７ まばたき検出部（まばたき検出手段）
３１ 視線方向特定情報
３２ 認証許可視線情報
３３ 本人情報

Claims (12)

1. 画像に基づいて認証を実行する認証装置であって、
   上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出手段と、
   認証を許可する視線方向を設定する認証許可視線方向設定手段と、
   上記視線検出手段が検出した視線方向が、上記認証許可視線方向設定手段が設定した認証許可視線方向であるか否かを判定して、認証を実行する認証実行手段と、
   上記認証許可視線方向設定手段の認証許可視線方向設定時には、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行手段の認証実行時には、上記画像を上記表示部に表示させない表示制御手段と、を備え、
   上記認証実行手段は、上記視線検出手段によって特定された上記視線角度および上記視線方向のいずれかを、上記視線検出手段により実施される検出の状況に応じて選択的に用いて上記認証を実行することを特徴とする認証装置。
2. 上記認証実行手段は、上記視線検出手段によって特定された上記視線角度における、上記視線方向を分類するための境界となる所定の角度との近さに応じて、上記視線角度および上記視線方向のいずれかを選択的に用いて上記認証を実行することを特徴とする請求項１に記載の認証装置。
3. 上記認証実行手段は、上記視線検出手段により実施される検出の信頼度に応じて、上記視線角度および上記視線方向のいずれかを選択的に用いて上記認証を実行することを特徴とする請求項１に記載の認証装置。
4. 上記視線検出手段は、所定の期間に撮影された上記被写体の複数の画像から、それぞれ視線角度を特定し、各視線角度の平均値、最多頻出角度または中間値に対応する視線方向を特定することを特徴とする請求項１から３までのいずれか１項に記載の認証装置。
5. 上記表示制御手段は、上記認証実行手段の認証実行時に、上記視線方向の種別を示唆しない画像を上記表示部に表示させることを特徴とする請求項１から４までのいずれか１項に記載の認証装置。
6. 上記認証許可視線方向設定手段は、複数の認証許可視線方向を所定の順序で設定し、
   上記認証実行手段は、上記認証許可視線方向設定手段が設定した所定の順序で、上記複数の認証許可視線方向を上記視線検出手段が検出したか否かを判定して、認証を実行することを特徴とする請求項１から５までのいずれか１項に記載の認証装置。
7. 上記被写体のまばたきを検出するまばたき検出手段をさらに備え、
   上記視線検出手段は、上記まばたき検出手段がまばたきを検出すると、次の視線方向を検出することを特徴とする請求項６に記載の認証装置。
8. 上記視線検出手段は、所定の期間、或る方向の視線方向を検出すると、次の視線方向を検出することを特徴とする請求項６に記載の認証装置。
9. 上記視線検出手段は、上記表示制御手段が次の視線方向の入力を促す画像を上記表示部に表示させると、次の視線方向を検出することを特徴とする請求項６に記載の認証装置。
10. 認証装置が画像に基づいて認証を実行する認証方法であって、
    上記認証装置が、認証を許可する視線方向を設定する認証許可視線方向設定ステップと、
    上記認証装置が、上記画像に撮像されている被写体の視線角度を特定し、複数種類に種別化された視線方向のうち、特定した視線角度に対応する視線方向を検出する視線検出ステップと、
    上記認証装置が、上記視線検出ステップにおいて検出された視線方向が、上記認証許可視線方向設定ステップにおいて設定された認証許可視線方向であるか否かを判定して、認証を実行する認証実行ステップと、を含み、
    上記認証許可視線方向設定ステップでは、視線方向の種別を示す画像を表示部に表示させる一方、上記認証実行ステップでは、上記画像を上記表示部に表示させず、
    上記認証実行ステップでは、上記視線検出ステップにて特定された上記視線角度および上記視線方向のいずれかを、上記視線検出ステップで実施される検出の状況に応じて選択的に用いて上記認証を実行することを特徴とする認証方法。
11. 請求項１〜９の何れか１項に記載の認証装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
12. 請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images