JP4899551B2 - 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、被認証者の顔の撮像画像に基づいて本人確認を行う認証装置および認証方法に関するものである。

携帯端末の普及・機能の強化につれて、セキュリティ強化に対するニーズが高まっている。特に、電子マネーのような金融取引に直結する機能を搭載する場合には、セキュリティの確保は絶対条件となる。

このような要求にこたえるべく、従来の暗証番号・パスワードといったセキュリティ対策に加えて、よりセキュリティの確保が容易な生体認証が提案されている。中でも、顔認証は、普段の生活で人がごく普通に行っている識別方法であり、精神的な抵抗が少ないこと、ＣＣＤ（Charge Coupled Device）カメラの普及で撮像可能な装置が増加し、少ない投資で実現可能なこと、などから採用されるケースが増加している。

しかし、他の認証方法と同様に、顔認証においても、本人（本来の被認証者）ではない者が本人になりすますという問題が生じる。すなわち、従来の顔認証装置では、被認証者を正面から撮像することにより認証のための画像が取得されるが、本人を正面から撮像した写真は、比較的簡単に入手できる場合がある。そのため、正面からの写真を利用することにより本人になりすますことができる。

図８は、本人の写真を用いて本人なりすましを行う方法を説明するための図である。図８に示すように、本人の写真を用いて本人なりすましを行う場合には、携帯電話５０のカメラ５１の正面に、本人の顔５３が写っている写真５２を配置し、写真５２を撮像する。このような撮像を行い、本人の顔を撮像しているかのように見せかけることで本人なりすましを行う。

このような問題を解決するために、正面ではない方向から撮像した画像を顔認証に用いることにより、本人なりすましによる誤認証を防ぐ装置が開発されている。

例えば、特許文献１に記載の個人認証装置では、被認証者の顔を予め定められた、正面ではない特定方向から撮像し、その撮像画像を認証辞書に登録している。そして、認証時に、上記特定の方向から撮像された被認証者の顔画像と認証辞書に登録されている画像とを照合することにより、被認証者が本人であるか否かを判断する。

なお、本人確認のための装置ではないが、人物の画像を下方向から撮像することにより人物認証を行う発明として、特許文献２に記載の画像処理装置を挙げることができる。この画像処理装置では、人物の画像を斜め下方向から撮像できる画像入力部を設け、当該画像入力部によって取得された画像に基づいて人物認証を行っている。斜め下方向から撮像することにより、対象者の身長にばらつきがある場合でも、確実に対象者の顔画像を入手することが可能となる。

また、顔認証用の画像から顔の特徴点を抽出する方法の発明として、特許文献３に記載の特徴点抽出方法を挙げることができる。
特開２００３−１７８３０６号公報（２００３年６月２７日公開） 特開２０００−２５９８１４号公報（２０００年９月２２日公開） 特開平９-２５１５３４号公報（１９９７年９月２２日公開）

ところが、上記従来の認証装置は、下方向から撮像するように撮像手段が固定されているものであるのに対し、携帯端末を利用した認証装置では、カメラと被認証者の顔との位置関係は容易に変化してしまう。仮に、常に一定の方向から被認証者の顔を撮像することを携帯端末のユーザに強要すれば、ユーザにとって大きな負担となる。そのため、上記従来の構成を携帯端末のカメラを利用した認証装置に適用することは困難である。

また、上記従来の構成では、定められた撮像方向から撮像した登録画像を登録する必要があり、そのような登録画像を登録することが面倒であるとともに、登録時と認証時の顔向きを一致させる必要があるという問題が生じる。また、撮像方向がどの方向に固定されているのか容易に確認できるため、なりすましが行われるリスクが高いという問題が生じる。

本発明は、上記の問題点を解決するためになされたもので、その目的は、携帯端末を利用した認証装置にも適用できる、本人なりすましに対する耐性の高い認証装置および認証方法を提供することにある。

本発明に係る認証装置は、上記の課題を解決するために、被認証者の顔を撮像することにより本人確認を行う認証装置であって、被認証者の顔を撮像する撮像手段と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像したかどうかを判定する撮像方向判定手段と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像していないと上記撮像方向判定手段が判定した場合に、当該被認証者は本人ではないと判断する判断手段とを備えることを特徴としている。

本発明に係る認証方法は、上記の課題を解決するために、被認証者の顔を撮像することにより本人確認を行う認証装置による認証方法であって、上記認証装置が備える撮像手段によって被認証者の顔を撮像する撮像工程と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像したかどうかを判定する撮像方向判定工程と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像していないと上記撮像方向判定工程において判定した場合、当該被認証者は本人ではないと判断する判断工程とを含むことを特徴としている。

本人（本来の被認証者）の写真を利用して本人なりすましを行う場合には、通常、撮像手段を写真に対して正面に配置する。

上記の構成によれば、撮像方向判定手段は、撮像手段が被認証者の顔を、当該顔に対して斜め下方向から撮像したかどうかを判定する。そして、撮像手段が被認証者の顔を、当該顔に対して斜め下方向から撮像していないと上記撮像方向判定手段が判定した場合に、当該被認証者は本人ではないと判断手段が判断する。

すなわち、被認証者の顔が斜め下方向から撮像されなければ、認証されない。そのため、本人なりすましを行うために本人の写真を正面から撮像した場合には、認証されない。

それゆえ、撮像方向を本人なりすましが行われているか否かを判断する基準として撮像方向を用いることができ、本人なりすましに対する耐性を高めることができる。

なお、上記斜め下方向とは、被認証者が自分の顔を鉛直方向に対して平行にした状態で撮像手段を有する認証装置を保持したときに、撮像手段の撮像方向が水平方向に対して仰角をなした状態で、被認証者の顎をほぼ正面に捉える位置から撮像した場合の撮像方向である。

また、上記認証装置は、上記撮像手段によって取得された、被認証者の顔の画像である認証画像を解析し、上記認証画像における顔の向きを判定する画像解析手段をさらに備え、上記撮像方向判定手段は、上記画像解析手段の解析結果に基づいて上記撮像手段の撮像方向を判定することが好ましい。

上記の構成によれば、画像解析手段が、認証画像を解析することにより被認証者の顔の向きを判定し、その判定結果に基づいて方向判定手段は、撮像手段の撮像方向を判定する。それゆえ、従来の認証装置でも利用されている認証画像を用いて撮像方向を判定できるため、撮像方向判定に必要な情報を新たに取得することなく、撮像方向の判定を行うことができる。

また、上記画像解析手段は、上記認証画像における、顔の複数の構成部分の位置を示す位置情報を抽出する位置検出手段と、上記位置検出手段によって抽出された上記位置情報をもとに、上記構成部分の相対的な位置関係を示す相対位置指標を算出する相対位置算出手段と、上記相対位置算出手段によって算出された上記相対位置指標をもとに上記認証画像における顔の向きを判定する顔方向判定手段とを備えることをことが好ましい。

上記の構成によれば、位置検出手段は、認証画像における顔の複数の構成部分、例えば、顔の輪郭、目、鼻、口の位置を示す位置情報を抽出する。さらに、相対位置算出手段は、位置情報をもとに相対位置指標を算出する。そして、相対位置指標に基づいて、顔方向判定手段は認証画像における顔の向きを判定する。

それゆえ、認証画像における被認証者の顔の向きに基づいて撮像方向を判定することができ、ユーザが撮像方向を自由に変えた場合でも的確に撮像方向を判定することができる。

本発明に係る認証装置は、上記の課題を解決するために、被認証者の顔を撮像することにより本人確認を行う認証装置であって、被認証者の顔を撮像する撮像手段と、上記撮像手段の水平面に対する傾きを検出する傾き検出手段と、被認証者の顔を撮像する時の上記撮像手段の撮像方向が水平面に対して仰角をなしていないことを上記傾き検出手段が検出した場合に、当該被認証者は本人ではないと判断する判断手段とを備えることを特徴としている。

本発明に係る認証方法は、上記の課題を解決するために、被認証者の顔を撮像することにより本人確認を行う認証装置による認証方法であって、上記認証装置が備える撮像手段によって被認証者の顔を撮像する撮像工程と、上記撮像工程における上記撮像手段の水平面に対する傾きを検出する傾き検出工程と、上記撮像工程における上記撮像手段の撮像方向が水平面に対して仰角をなしていないと上記傾き検出手段が判定した場合に、当該被認証者は本人ではないと判断する判断工程とを含むことを特徴としている。

本人（本来の被認証者）の写真を利用して本人なりすましを行う場合には、通常、撮像手段を写真に対して正面に配置する。このとき、撮像手段の撮像方向は、水平面に対して平行になるか、水平面に対して俯角をなすことが多い。

上記の構成によれば、傾き検出手段は、被認証者の顔を撮像する時の撮像手段の水平面に対する傾きを検出し、被認証者の顔を撮像する時の撮像手段の撮像方向が水平面に対して仰角をなしていない場合に、当該被認証者は本人ではないと判断手段が判断する。

それゆえ、撮像方向を本人なりすましが行われているか否かを判断する基準として撮像方向を用いることができ、本人なりすましに対する耐性を高めることができる。

また、上記認証装置を動作させるプログラムであって、コンピュータを上記各手段として機能させるための認証プログラムおよび当該認証プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る認証装置は、以上のように、被認証者の顔を撮像する撮像手段と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像したかどうかを判定する撮像方向判定手段と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像していないと上記撮像方向判定手段が判定した場合に、当該被認証者は本人ではないと判断する判断手段とを備える構成である。

本発明に係る認証装置は、以上のように、被認証者の顔を撮像する撮像手段と、上記撮像手段の水平面に対する傾きを検出する傾き検出手段と、被認証者の顔を撮像する時の上記撮像手段の撮像方向が水平面に対して仰角をなしていないことを上記傾き検出手段が検出した場合に、当該被認証者は本人ではないと判断する判断手段とを備える構成である。

本発明に係る認証方法は、以上のように、上記認証装置が備える撮像手段によって被認証者の顔を撮像する撮像工程と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像したかどうかを判定する撮像方向判定工程と、上記撮像手段が被認証者の顔を当該顔に対して斜め下方向から撮像していないと上記撮像方向判定工程において判定した場合、当該被認証者は本人ではないと判断する判断工程とを含む構成である。

本発明に係る認証方法は、以上のように、認証装置が備える撮像手段によって被認証者の顔を撮像する撮像工程と、上記撮像工程における上記撮像手段の水平面に対する傾きを検出する傾き検出工程と、上記撮像工程における上記撮像手段の撮像方向が水平面に対して仰角をなしていないと上記傾き検出手段が判定した場合に、当該被認証者は本人ではないと判断する判断工程とを含む構成である。

それゆえ、撮像方向を本人なりすましが行われているか否かを判断する基準として撮像方向を用いることができ、本人なりすましに対する耐性を高めることができるという効果を奏する。

本発明の実施の一形態について図１〜図７に基づいて説明すれば、以下のとおりである。なお、以下では、本発明の認証装置の一例として携帯電話１を挙げて説明する。この携帯電話１は、ユーザの認証を行い、認証が成功した場合に、アプリケーションに所定の処理を実行させるものである。

なお、上記アプリケーションは、例えば、電子メール受信用や課金決済用のものであるが、これらに限定されない。また、上記アプリケーションは、携帯電話１が有するものであってもよいし、携帯電話１と通信を行う外部の装置が有するものであってもよい。ここで、外部の装置とは、ユーザの認証結果を必要とする者が所有する装置であり、例えば、商品を販売する業者やクレジット会社が所有するコンピュータである。

（携帯電話１の構成）
図１は、携帯電話１の構成を示す概略図である。図１に示すように、携帯電話１は、カメラ２（撮像手段）、傾斜センサ３（傾き検出手段）、画像解析部４（画像解析手段）、撮像方向比較部５、照合部６、データベース７、主制御部８（判断手段）を備えている。また、携帯電話１は、通信部、マイク、スピーカを備えているが、これらの構成は、図１では省略されている。

カメラ２は、被認証者であるユーザの顔の画像（以下、認証画像と称する）を撮像するための撮像手段である。カメラ２は、例えば、ＣＣＤカメラであり、入力部９を介してユーザによって操作される。カメラ２によって取得された認証画像は、画像解析部４へ出力される。

図２は、携帯電話１の外観を示す図である。図２に示すように、カメラ２は、ユーザの顔２０を撮像しやすいように、携帯電話１の、入力部９や表示部１０が設けられている面と同じ側の面に設けられていることが好ましい。

傾斜センサ３は、携帯電話１の傾きを検出するためのセンサであり、例えば、ＧＰＳ（Global Positioning System）用の装置にも組み込まれている、３軸加速度センサやジャイロセンサである。この傾斜センサ３は、携帯電話１の水平方向に対する傾きを検出し、その傾きの情報を、撮像方向比較部５へ出力する。つまり、傾斜センサ３は、ユーザがどのような角度で携帯電話１を保持しているのかを検出する。

画像解析部４は、認証画像を解析し、顔の向きからカメラ２の撮像方向を判定する。画像解析部４の詳細については後述する。画像解析部４の判定結果は、撮像方向比較部５へ出力される。

撮像方向比較部５は、画像解析部４の判定結果および傾斜センサ３からの傾き情報に基づいてカメラ２の撮像方向を最終的に判定し、その撮像方向が下方向（斜め下から斜め上への方向）であるか否か、すなわち、斜め下方向からの撮像であるか否かを判定する。撮像方向比較部５は、この判定結果を主制御部８へ出力する。

ここで、カメラ２の撮像方向とは、被認証者の顔に対して、どの方向から撮像したのかを示すものであり、被認証者の顔とカメラ２との位置関係を示すものである。

図３は、携帯電話１の傾きを示す図である。図３に示すように、携帯電話１を操作するとき、ユーザは、自分の顔２０に対して携帯電話１を真正面に保持するのではなく、顔の位置よりも携帯電話１を下げ、かつ、携帯電話１の端部のうち、上の方の端部（図３において、カメラ２が設けられている側の端部）を顔から遠ざかる方向に傾けた状態で保持する場合が多い。この状態で撮像したときの撮像方向を下方向と定義する。

換言すれば、下方向とは、ユーザが自分の顔を鉛直方向に対して平行にした状態で携帯電話１を保持したときに、携帯電話１の撮像方向が水平方向に対して仰角をなす場合、すなわち、携帯電話１の水平方向に対する角度のうち、カメラ２が配されている面とは反対側の面の側に形成される角度（図３にて角度θ）が鉛直上側において９０度よりも小さい場合の撮像方向である。なお、ユーザの顔が鉛直方向に対して傾いた場合には、ユーザの顔とカメラ２との相対的な位置が変わらないように、カメラ２とユーザの顔とを結ぶ撮像軸も同様に傾ければよい。

また、ユーザの顔の正面にカメラ２を配置した状態で撮像した場合の撮像方向を正面方向と定義し、携帯電話２の撮像方向が水平方向に対して俯角をなす状態での撮像方向を上方向と定義する。

図１に示す、データベース７には、ユーザの顔を撮像した画像（以下、登録画像と称する）が予め格納されている。この登録画像は、カメラ２によって取得されたものであってもよいし、他の撮像装置によって取得されたものであってもよい。

照合部６は、カメラ２によって取得された認証画像と、データベース７に格納されている登録画像とを照合し、両画像がどれだけ類似しているかに基づいて、被認証者が本人であるかどうかを判定する。

照合部６における照合方法は、特に限定されない。例えば、認証画像の顔領域から特徴量を抽出し、それらの特徴量と、登録画像の顔領域から抽出した特徴量とマッチングさせることにより照合を行ってもよい。

照合部６は、主制御部８から出力された照合命令を受け取ると、上記の照合処理を行い、照合結果を主制御部８へ出力する。

主制御部８は、照合部６から照合結果を受け取ると、当該照合結果を上記アプリケーションに出力する。また、認証が失敗した場合には、主制御部８は、表示部１０を介して認証失敗結果を報知してもよい。

（画像解析部４の構成）
次に、画像解析部４の構成について図４を参照しつつ説明する。図４は、画像解析部４の構成を示す概略図である。図４に示すように、画像解析部４は、絶対位置検出部４１（位置検出手段）、相対位置算出部４２（相対位置算出手段）、顔方向判定部４３（顔方向判定手段）を備えている。

絶対位置検出部４１は、認証画像における顔の構成部分（パーツ）の絶対位置を検出する。この構成部分として、顔の輪郭、目、口、鼻を挙げることができる。これら構成部分の位置を検出する方法は特に限定されず、例えば、特許文献３に記載された方法を用いてもよい。この方法では、円形や楕円形などの特定形状の領域を抽出する分離度フィルタとテンプレートパターンとの照合の組み合わせによって特徴点抽出を行う。

図５は、顔の構成部分の位置を説明するための図である。図５（ａ）に示すように、認証画像１１の左下の角部を原点として、当該角部から右下の角部に伸びる辺を含むＸ軸と、上記左下の角部から左上の角部に伸びる辺を含むＹ軸とを設定し、Ｘ座標およびＹ座標により各構成部分の位置を規定する。

絶対位置検出部４１は、抽出した構成部分の位置（座標）の情報（位置情報）を相対位置算出部４２へ出力する。

相対位置算出部４２は、絶対位置検出部４１よって抽出された位置情報をもとに、構成部分の間の相対的な位置関係を示す値（以下、相対位置指標と称する）を算出する。この相対位置算出部４２は、算出した相対位置指標を顔方向判定部４３へ出力する。上記相対位置指標の詳細については、後述する。

顔方向判定部４３は、相対位置算出部４２において算出された、目、口、鼻の相対位置指標がそれぞれ所定の範囲内のものであるかどうかを判定し、すべての相対位置指標が所定の範囲内であるかどうかによって顔の向き（撮像方向）を判定する。顔方向判定部４３は、判定結果を撮像方向比較部５へ出力する。

（相対位置算出部４２における算出方法）
次に、相対位置算出部４２において相対位置指標を算出する方法について詳細に説明する。

まず、絶対位置検出部４１から出力された、構成部分の座標から特定の座標を抽出する。すなわち、輪郭２１のうち、最も大きなＹ座標を有する部分のＹ座標をY outline_upper、最も小さなＹ座標を有する部分のＹ座標をY outline_lowerとし、右目２２ａのＹ座標をY eye_left、左目２２ｂのＹ座標をY eye_rightとし、鼻２３のうち、最も大きなＹ座標を有する部分のＹ座標をY nose_upper、最も小さなＹ座標を有する部分のＹ座標をY nose_lowerとし、口２４のＹ座標をY mouthとする。

そして、輪郭２１のＹ軸方向の長さ（H out）、目の位置（Ｙ座標）（H eye）、鼻の位置（Ｙ座標）（H nose）を下記のように算出する。

H out=Y outline_upper - Y outline_lower
H eye=(Y eye_left + Y eye_right)/2
H nose=(Y nose_upper + Y nose_lower)/2
すなわち、輪郭２１のうち、最も大きなＹ座標を有する部分のＹ座標から、最も小さなＹ座標を有する部分のＹ座標を引くことにより、輪郭２１のＹ軸方向の長さを算出する。また、右目２２ａのＹ座標と左目２２ｂのＹ座標との平均値を算出することにより、目のＹ座標を算出する。また、鼻２３のうち、最も大きなＹ座標を有する部分のＹ座標と、最も小さなＹ座標を有する部分のＹ座標との平均値を算出することにより、鼻のＹ座標を算出する。

そして、１）目のＹ座標とY outline_lowerとの差に対する輪郭２１の長さの比であるR eye、２）鼻のＹ座標とY outline_lowerとの差に対する輪郭２１の長さの比であるR nose、３）口のＹ座標とY outline_lowerとの差に対する輪郭２１の長さの比であるR eyeを算出する。

すなわち、各構成部分の、輪郭２１の上端部に対する相対位置関係を示す相対位置指標である、R eye、R nose、R mouthを、下記の式によって算出する。

R eye=(H eye - Y outline_lower)/H out
R nose=(H nose - Y outline_lower)/H out
R mouth=(Y mouth - Y outline_lower)/H out
つまり、R eye、R nose、R mouthは、輪郭２１の上端部に目、鼻、口がどれだけ近づいているかを示す値であり、これらの値が大きくなるほど目、鼻、口が輪郭２１の上端部に近づいていることを意味している。

相対位置算出部４２は、R eye、R nose、R mouthの各相対位置指標を顔方向判定部４３へ出力する。

（顔方向判定部４３における方向判定方法）
顔方向判定部４３は、相対位置算出部４２から出力される、R eye、R nose、R mouthの各相対位置指標の大きさから顔の向き（撮像方向）を判定する。各相対位置指標の取り得る値の範囲は、それぞれ３つ（第１〜第３範囲）に区分されており、顔方向判定部４３は、各相対位置指標がどの範囲のものであるかに基づいて撮像方向を判定する。

すなわち、顔方向判定部４３は、相対位置指標が第１範囲のものであれば、撮像方向は下方向であると判定し、第２範囲のものであれば、撮像方向は正面方向であり、第３範囲のものであれば、撮像方向は上方向であると判定する。

換言すれば、相対位置指標の取り得る範囲を分割した分割範囲を定め、当該分割範囲に対して撮像方向をそれぞれ対応づけている。そして、顔方向判定部４３は、相対位置指標がどの分割範囲に属するのかを判定することにより、撮像方向を判定する。

具体的には、R eyeに関して、0.8 < R eye ≦ 1.0（第１範囲）、0.6 < R eye ≦ 0.8（第２範囲）、R eye ≦ 0.6（第３範囲）が設定されており、R noseに関して、0.7 < R nose ≦ 1.0（第１範囲）、0.4 < R nose ≦ 0.7（第２範囲）、R nose ≦ 0.4（第３範囲）が設定されており、R mouthに関して、0.3 < R mouth ≦ 0.5（第１範囲）、0.1 < R mouth ≦ 0.3（第２範囲）、R mouth ≦ 0.1（第３範囲）が設定されている。

R eye、R nose、R mouthの３つの相対位置指標をもとに撮像方向を判定する場合には、顔方向判定部４３は、以下の３つの処理のうち、少なくとも１）の処理を行う。

１）顔方向判定部４３は、各相対位置指標のすべてが第１範囲内のものかどうかを判定する。

0.8 < R eye ≦ 1.0
0.7 < R nose ≦ 1.0
0.3 < R mouth ≦ 0.5
各相対位置指標のすべてが上記式を満たす場合、顔方向判定部４３は、当該認証画像は下方向から撮影されたものである（顔は上向き、図５（ｂ）に示す状態）と判定する。

２）顔方向判定部４３は、各相対位置指標のすべてが第２範囲内のものであるかどうかを判定する。

0.6 < R eye ≦ 0.8
0.4 < R nose ≦ 0.7
0.1 < R mouth ≦ 0.3
各相対位置指標のすべてが上記式を満たす場合には、当該認証画像は正面から撮影されたものである（顔は正面向き、図５（ａ）に示す状態）と判定する。

３）顔方向判定部４３は、相対位置指標のうち、第３範囲に含まれるものがあるかどうかを判定し、第３範囲に含まれるものがある場合に当該認証画像は上方向から撮影されたものである（顔は下向き、図５（ｃ）に示す状態）と判定する。

（画像解析部４における処理の流れ）
次に、画像解析部４における処理の流れについて、図６を用いて説明する。図６は、画像解析部４における処理の流れを示すフローチャートである。

図６に示すように、まず、絶対位置検出部４１は、カメラ２によって取得された認証画像に含まれる、顔の構成部分の位置を検出し（Ｓ１）、その位置情報を相対位置算出部４２へ出力する。

位置情報を受け取ると、相対位置算出部４２は、輪郭２１のＹ軸方向の長さ（H out）、目の位置（H eye）、鼻の位置（H nose）を算出し、さらに、輪郭２１の上端部に対する目、鼻、口の位置関係を示す相対位置指標（R eye、R nose、R mouth）を算出する（Ｓ２）。そして、相対位置算出部４２は、各相対位置指標を顔方向判定部４３へ出力する。

相対位置指標を受け取ると、顔方向判定部４３は、各相対位置指標がすべて第１範囲内のものであるかどうかを判定する（Ｓ３）。

各相対位置指標がすべて第１範囲内のものであれば（Ｓ３にて、ＹＥＳ）、顔方向判定部４３は、顔は上向き（撮像方向は下方向）であると判定する（Ｓ４）。

一方、相対位置指標のうち、ひとつでも第１範囲外のものがあれば（Ｓ３にて、ＮＯ）、顔方向判定部４３は、各相対位置指標が第２範囲内のものであるかどうかを判定する（Ｓ５）。

相対位置指標がすべて第２範囲内のものであれば（Ｓ５にて、ＹＥＳ）、顔方向判定部４３は、顔は正面向き（撮像方向は正面方向）であると判定する（Ｓ６）。

一方、相対位置指標のうち、ひとつでも第２範囲外のものがあれば（Ｓ５にて、ＮＯ）、顔方向判定部４３は、顔は下向き（撮像方向は上方向）であると判定する（Ｓ７）。

顔方向判定部４３は、上記の判定結果を撮像方向比較部５へ出力する（Ｓ８）。

（撮像方向比較部５における判定方法）
次に、撮像方向比較部５における、撮像方向の最終判定方法について説明する。撮像方向比較部５は、傾斜センサ３および顔方向判定部４３から受け取った情報の両方を考慮することにより認証画像の撮像方向を判定する。

傾斜センサ３からの情報および顔方向判定部４３の判定結果がともに、撮像方向は下方向であることを示すものである場合、あるいは、傾斜センサ３からの情報または顔方向判定部４３の判定結果のいずれかが、撮像方向は下方向であることを示すものである場合、撮像方向比較部５は、撮像方向は下方向であると判定する。その結果、照合部６において照合処理が行われる。一方、上記の場合以外の場合は、照合処理は行われない。

上記の判定方法を表に表すと以下のようになる。

表１において、センサ利用とは、傾斜センサ３によって検出された携帯電話１の傾きから判定された撮像方向を意味し、画像利用とは、画像解析部４（顔方向判定部４３）における、撮像方向の判定結果を意味している。

また、判定基準をより厳しくし、傾斜センサ３からの情報および顔方向判定部４３の判定結果がともに、撮像方向は下方向であることを示すものである場合のみ、撮像方向は下方向であると判定し、照合部６に照合処理を行わせるようにしてもよい。

この場合の判定方法を表に表すと以下のようになる。

撮像方向比較部５は、最終判定した撮像方向が下方向である場合には、撮像方向が下方向であることを示す下方向情報を、下方向でない場合には、撮像方向が下方向でないことを示す非下方向情報を、主制御部８へ出力する。

（携帯電話１における処理の流れ）
次に、携帯電話１における処理の流れについて、図７を参照しつつ説明する。図７は、携帯電話１における処理の流れを示すフローチャートである。

図７に示すように、まず、ユーザによって認証画像を取得するための操作が入力部９を介して行われると、カメラ２によってユーザの顔が撮像される（画像取得工程）（Ｓ１１）。

取得された画像（認証画像）は、画像解析部４に送られ、認証画像における顔の向き（撮像方向）が判定される（Ｓ１２）。そして、その判定結果は、撮像方向比較部５へ出力される。

一方、認証画像が取得されたときの携帯電話１の傾きは、傾斜センサ３により検出され（傾き検出工程）（Ｓ１３）、その検出結果は撮像方向比較部５へ出力される。

画像解析部４および傾斜センサ３からの情報を受け取ると、撮像方向比較部５は、上述したように、両方の情報を考慮して撮像方向を判定し（撮像方向判定工程）（Ｓ１４）、その最終判定結果が下方向であるかどうかを判定する（Ｓ１５）。

撮像方向が下方向である場合には（Ｓ１５にて、ＹＥＳ）、撮像方向比較部５は、下方向情報を主制御部８へ出力する。

下方向情報を受け取ると、主制御部８は、照合部６へ照合命令を出力する。この照合命令を受け取ると、照合部６は、認証画像と、データベース７に格納されている登録画像とを照合する（Ｓ１６）。

認証画像と、登録画像とが一致した場合、すなわち、被認証者が本人であると判断した場合（Ｓ１７にて、ＹＥＳ）、照合部６は、認証成功情報を主制御部８へ出力する。

認証成功情報を受け取ると、主制御部８は、認証成功情報を、上述したアプリケーションに出力する（Ｓ１８）。

一方、認証画像と、登録画像とが一致しなかった場合（Ｓ１７にて、ＮＯ）、照合部６は、認証失敗情報を主制御部８へ出力する。

認証失敗情報を受け取ると、主制御部８は、認証失敗情報をアプリケーションに出力するとともに、表示部１０を介して認証が失敗した旨を報知する（Ｓ１９）。

一方、撮像方向が下方向でなかった場合には（Ｓ１５にて、ＮＯ）、撮像方向比較部５は、非下方向情報を主制御部８へ出力する。

非下方向情報を受け取ると、主制御部８は、被認証者は本人ではないと判断し（判断工程）、認証失敗情報をアプリケーションに出力するとともに、表示部１０を介して認証が失敗した旨を報知する（Ｓ２０）。

なお、認証が成功した場合には、アプリケーションがユーザの所望する動作を行う。このとき、外部の装置と携帯電話１との間で種々の通信が行われてもよい。

（携帯電話１の効果）
以上のように、携帯電話１では、照合部６における照合処理に加え、認証画像の撮像方向が下方向であるか否かを撮像方向比較部５において判定する。そのため、本人なりすましに対する耐性を高めることができる。

また、画像解析部４において、認証画像における顔の構成部分の位置関係から撮像方向を判定することにより、傾斜センサ等の傾き検出手段を用いなくとも撮像方向を判定することができる。

（変更例）
上述の構成では、撮像方向比較部５は、画像解析部４および傾斜センサ３からの情報に基づいて、撮像方向を最終的に判定しているが、撮像方向比較部５は、画像解析部４または傾斜センサ３の一方からの情報をもとに撮像方向を判定してもよい。

また、主制御部８は、非下方向情報を受け取り、被認証者は本人ではないと判断した後、所定の時間後に、認証失敗結果を報知してもよい。

撮像方向が下方向でない場合に認証結果が出るまでの時間は、撮像方向が下方向である場合よりも短い。なぜなら、撮像方向が下方向である場合には、照合部６において照合処理が行われるからである。

そのため、撮像方向が下方向でない場合に、すぐに認証失敗結果を報知すれば、照合処理が行われていないことが、本人を装った人間に察知される可能性がある。照合処理が行われていないことを察知すれば、その人間は何らかの対抗策を講じてくる虞がある。

それゆえ、上記の構成により、撮像方向が下方向でなく、照合処理が行われていない場合に、本人を装った人間に、照合処理が行われているかのように見せかけることができ、本人成りすましが再度行われる可能性を低減できる。

また、照合部６およびデータベース７を外部の装置に設け、携帯電話１と当該外部の装置とが通信を行うことで、照合処理を行ってもよい。

また、上述の構成では、顔の構成部分として、顔の輪郭、目、口、鼻を挙げ、顔の輪郭の上端部に対する目、口、鼻の位置によって撮像方向を判定したが、撮像方向の判定に利用する構成部分の数や構成部分の種類は上述のものに限定されない。しかし、判定精度を考慮すると、より多くの構成部分の位置に基づいて撮像方向を判定することが好ましい。また、目、口、鼻以外の構成部分、例えば眉毛を用いて顔の向きを判定してもよい。

また、上述の構成では、Ｙ軸方向における顔の構成部分の配置をもとに撮像方向を判定したが、顔の構成部分の位置関係を求めるための方向軸は、上述したＹ軸に限定されず、顔の構成部分の位置関係を求めるために利用できるものであればどのようなものであってもよい。

また、上述した相対位置指標の区分の仕方および顔方向判定部４３における撮像方向の判定方法は、あくまで一例であり、適宜変更してもよい。すなわち、相対位置指標を区切る分割範囲の数や各分割範囲の大きさは、適宜変更してもよい。例えば、相対位置指標の範囲を第１範囲と第２範囲との２つに分け、相対位置指標が第１範囲内のものかどうかを判定することにより、撮像方向が下方向であるかないかを判定してもよい。また、相対位置指標がどの分割範囲に含まれるのかを判定するための処理手順や各処理の組み合わせ方も上述のものに限定されない。例えば、相対位置指標が第２範囲のものかどうかを判定した後に第１範囲のものかどうかを判定してもよいし、相対位置指標が或るひとつの分割範囲に属しているか否かを判定するだけでもよい。

また、撮像方向比較部５における、撮像方向の最終判定方法は、表１・表２に示したものに限定されず、適宜変更してもよい。

また、上述の構成では、撮像方向を判定し、当該撮像方向が下方向であると判定した後に、照合部６において照合処理を行っているが、撮像方向の判定に関する処理と照合処理とを並行して行ってもかまわない。しかし、先に撮像方向の判定を行う方が、被認証者が本人ではない場合の処理量を低減することができるため、処理量低減という観点から、より好ましい。

また、上記の説明では、本発明の認証装置の一例として携帯電話１を挙げたが、上記認証装置は、カメラを備えた端末装置であればよく、カメラを備えた、ＰＡＤ（Personal Digital Assistance）やパーソナルコンピュータであってもよい。

また、携帯電話１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、携帯電話１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit ）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。

そして、本発明の目的は、上述した機能を実現するソフトウェアである、携帯電話１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、携帯電話１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、携帯電話１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本人なりすましによる誤認証が起こる可能性を低減できるため、本人確認のための認証を行う装置に適用できる。

一実施形態の携帯電話の構成を示す概略図である。 一実施形態の携帯電話の外観を示す図である。 一実施形態の携帯電話の傾きを示す図である。 画像解析部の構成を示す概略図である。 顔の構成部分の位置を説明するためのものであり、（ａ）は被認証者の顔が正面を向いている画像を示す図であり、（ｂ）は被認証者の顔が上方向を向いている画像を示す図であり、（ｃ）は被認証者の顔が下方向を向いている画像を示す図である。 画像解析部における処理の流れを示すフローチャートである。 一実施形態の携帯電話における処理の流れを示すフローチャートである。 本人の写真を用いて本人なりすましを行う方法を説明するための図である。

符号の説明

１ 携帯電話（認証装置）
２ カメラ（撮像手段）
３ 傾斜センサ（傾き検出手段）
４ 画像解析部（画像解析手段）
５ 撮像方向比較部（方向判定手段）
８ 主制御部（判断手段）
１１ 認証画像
２０ 被認証者
２１ 輪郭（顔の構成部分）
２２ａ 右目（顔の構成部分）
２２ｂ 左目（顔の構成部分）
２３ 鼻（顔の構成部分）
２４ 口（顔の構成部分）
４１ 絶対位置検出部（位置検出手段）
４２ 相対位置算出部（相対位置算出手段）
４３ 顔方向判定部（顔方向判定手段）

Claims (4)

1. 被認証者の顔を撮像することにより本人確認を行う認証装置であって、
   被認証者の顔を撮像する撮像手段と、
   上記撮像手段の水平面に対する傾きを検出する傾き検出手段と、
   被認証者の顔を撮像する時の上記撮像手段の撮像方向が水平面に対して仰角をなしていないことを上記傾き検出手段が検出した場合に、当該被認証者は本人ではないと判断する判断手段と、
   被認証者が本人であるかどうかを判定する照合処理を行う照合手段とを備え、
   上記撮像方向が水平面に対して仰角をなしていることを上記傾き検出手段が検出した場合に、上記照合手段は、上記照合処理を行うことを特徴とする認証装置。
2. 被認証者の顔を撮像することにより本人確認を行う認証装置による認証方法であって、
   上記認証装置が備える撮像手段によって被認証者の顔を撮像する撮像工程と、
   上記撮像工程における上記撮像手段の水平面に対する傾きを検出する傾き検出工程と、
   上記撮像工程における上記撮像手段の撮像方向が水平面に対して仰角をなしていないと上記傾き検出工程が判定した場合に、当該被認証者は本人ではないと判断する判断工程と、
   被認証者が本人であるかどうかの照合処理を行う照合工程とを備え、
   上記撮像方向が水平面に対して仰角をなしていることを上記傾き検出工程が検出した場合に、上記照合工程は、上記照合処理を行うことを特徴とする認証方法。
3. 請求項１に記載の認証装置を動作させるプログラムであって、コンピュータを上記各手段として機能させるための認証プログラム。
4. 請求項３に記載の認証プログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images