JP2008015800A - なりすまし検知装置 - Google Patents

Abstract

【課題】装置の大型化や利便性の低下を招くことなく、簡易な処理で写真等によるなりすましを検知可能な技術を提供する。
【解決手段】撮像手段と、表示手段と、を備えた装置が、前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む処理と、前記第２画像から顔を検出する処理と、前記検出された顔の視線を推定する処理と、前記推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する処理と、を実行する。
【選択図】図２

Description

本発明は、写真等を用いたなりすましを防ぐための技術に関する。

近年、携帯機器（携帯電話、ＰＤＡ（Personal Digital Assistant）、モバイルコンピュータなど）の高機能化・多機能化が進んでいる。これに伴い、携帯機器の不正利用を防止するためのセキュリティ対策が重要となってきている。

セキュリティ対策としては、携帯機器に標準搭載になりつつあるカメラを利用する顔認識技術が注目されている。顔認識技術を応用した本人認証（顔認証）は、自然な動作の中から顔を撮影し、持ち主確認を行うことが可能なので、利便性の高いセキュリティとして有効である。

一方、顔認識技術の課題として、写真等を用いた「なりすまし」への対策がある。なりすましとは、本人の顔写真等を用いて別人が認証を受けようとする行為である。特に最近の携帯端末は、メガピクセル級のカメラが装備されていたり、オートフォーカス機能や接写機能といった機能が充実していたりするため、スナップ写真や免許証のような小サイズの写真からでもなりすましが出来てしまう危険性がある。

なりすましを検知するアイデアとしては、ユーザに所定の動作を要求し、その要求通りの動きをユーザが行ったかどうか調べる方法が知られている（特許文献１参照）。しかし、この方法は、所定動作の実行という操作負担をユーザにかけるため、顔認識技術の利点である利便性を損なってしまう。

他のアイデアとしては、照明条件を変えながら複数回撮影を行い、顔の陰影のでき方を確認する方法（特許文献２参照）や、様々な角度から撮影することで立体かどうかを調べる方法がある。しかし、これらの方法では、複数の照明装置が必要となったり、複数のカメラ若しくはカメラの移動機構が必要なため、装置構成が大掛かりになる。しかも、照明条件や撮影角度を変えて何回も撮影を行わなければならないため、利便性を損なうことにもつながる。

顔認識技術ではないが、アイリス認証におけるなりすまし検知方法としては、複数のＬＥＤをランダムに点灯させながら撮影を行い、被識別者の視線が点灯したＬＥＤに追従しているかどうかで、その被識別者が生体であるか否かを判定する方法が知られている（特許文献３参照）。ただし、この方法もユーザにかける負担が大きく利便性の点で問題があるし、また装置構成が複雑になるため小型化を図りにくいという問題もある。
特開２００４−２５９２５５号公報 特開平１１−３３９０４８号公報 特開２０００−８３９３０号公報 特開２００４−２７４６６９号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、装置の大型化や利便性の低下を招くことなく、簡易な処理で写真等によるなりすましを検知可能な技術を提供することにある。

本発明に係る装置は、基本構成として、撮像手段と、表示手段と、を備える。そして、画像取得手段が、前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む。

前記第１画像としては、例えば、撮像手段から順次取り込まれる画像（動画像）を用いることができる。この構成によれば、ユーザは、表示手段に表示される確認用の画像を見ながら顔の位置、大きさ、向きなどの写り具合を調整することになる。また前記第１画像としては、撮像手段から取り込まれる画像ではなく、装置内に予め用意されている画像（動画像やアニメーションを含む。）を用いてもよい。また、撮像手段から取り込まれる画像と装置内に予め用意されている画像を合成した画像を用いてもよい。

上記構成によれば、表示手段にユーザの注意を引くための第１画像が表示されているので、通常の使い方であれば、ユーザが表示手段を注視している状態で、第２画像の撮影が行われる。すなわち、第２画像がなりすまし画像でない場合は、画像中の顔の視線が撮像手段ではなく表示手段の方向を向いている可能性が高い。

ここで「なりすまし画像」とは、写真等（ハードプリントだけでなく、ディスプレイに表示された画像も含む。）を撮影することで得られた画像のことをいう。

一方、写真等においては、視線が正面（つまり、その写真等を撮影したカメラの方向）を向いているのが通常である。そして、なりすましを行う者は、写真等を撮像手段に正対させるであろうから、その写真等をさらに撮影して得られた「なりすまし画像」でも、視線が正面を向くことになる。つまり、第２画像がなりすまし画像の場合は、画像中の顔の視線が表示手段ではなく撮像手段の方向を向いている可能性が高い。

本発明は、なりすまし画像にみられる上記特徴を利用してなりすましを検知するものである。具体的には、顔検出手段が、前記第２画像から顔を検出し、視線推定手段が、前記顔検出手段で検出された顔の視線を推定し、なりすまし判定手段が、前記視線推定手段で推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する。

この構成によれば、第２画像中の顔の視線と表示手段又は撮像手段との位置関係を解析する、といった非常に簡易な処理で写真等によるなりすましを検知することができる。また、第２画像の撮影にあたり特殊な照明装置や撮像装置は不要であり、さらに一枚の画像からでもなりすましを判定できるので、本発明の実装にあたり装置の大型化や利便性の低下を招く心配がない。

なりすまし判定手段による判定アルゴリズムには種々のものが考えられる。例えば、前記なりすまし判定手段は、前記位置関係から、前記顔が前記表示手段を見ていないと判定した場合に、前記第２画像がなりすまし画像であるとみなせばよい。

あるいは、前記なりすまし判定手段は、前記位置関係から、前記顔が前記表示手段を見ていると判定した場合に、前記第２画像がなりすまし画像でないとみなしてもよい。

あるいは、前記なりすまし判定手段は、前記位置関係から、前記顔が前記撮像手段を見ていると判定した場合に、前記第２画像がなりすまし画像であるとみなしてもよい。

あるいは、前記なりすまし判定手段は、前記位置関係から、前記顔が前記撮像手段を見ていないと判定した場合に、前記第２画像がなりすまし画像でないとみなしてもよい。

本発明は、上記手段の少なくとも一部を有するなりすまし検知装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含むなりすまし検知方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

例えば、本発明に係るなりすまし検知方法は、撮像手段と、表示手段と、を備えた装置が、前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む処理と、前記第２画像から顔を検出する処理と、前記検出された顔の視線を推定する処理と、前記推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する処理と、を実行するなりすまし検知方法である。

また、本発明に係るなりすまし検知プログラムは、撮像手段と、表示手段と、を備えた装置に、前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む処理と、前記第２画像から顔を検出する処理と、前記検出された顔の視線を推定する処理と、前記推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する処理と、を実行させるなりすまし検知プログラムである。

本発明によれば、装置の大型化や利便性の低下を招くことなく、簡易な処理で写真等によるなりすましを検知することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、なりすまし検知機能が実装された携帯電話の外観を示す図であり、図２は、同携帯電話の機能構成を示すブロック図である。なお、この実施形態では携帯電話を例に挙げるが、本発明に係るなりすまし検知は、撮像機能と表示機能を具備する様々な種類の装置に適用可能である。そのような装置としては、例えば、ＰＤＡ、パーソナル・コンピュータ、入退室管理や錠制御を行うセキュリティ装置などがある。

本実施形態の携帯電話は、撮像部１０、表示部１１、画像記憶部１２、画像取得部１３、顔検出部１４、視線推定部１５、なりすまし判定部１６を備える。これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素の一部又は全部の処理を専用のチップにより実現しても構わない。

撮像部１０は、カメラ１０ａとそれを制御する機能から構成される。カメラ１０ａとしては、光学系と撮像素子（ＣＣＤ，ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく採用できる。表示部１１は、ディスプレイ１１ａとそれを制御する機能から構成される。ディスプレイ１１ａとしては、液晶ディスプレイ、プラズマディスプレイなどを好ましく採用できる。

このカメラ１０ａは、ディスプレイ１１ａと同じ側に設けられた内側カメラである。内側カメラは元々テレビ電話における話者撮影用に設けられたものであるが、自分撮りに適していることから携帯電話での顔認証にも利用される。カメラ１０ａで撮影され、取り込
まれた画像はほぼリアルタイムにディスプレイ１１ａに表示されるようになっている。ユーザはその表示画像を見ることで自分自身の写り具合を容易に確認できる。

なお、ハードウエアの物理的制約からカメラ１０ａ（のレンズ）はディスプレイ１１ａの周辺に配置せざるを得ない。図１の例ではディスプレイの左上にカメラが配置されている。機種によってはディスプレイの真上や下側などにカメラが配置されることもある。このように、カメラ１０ａとディスプレイ１１ａの位置は若干ずれているため、カメラ１０ａはディスプレイ１１ａに正対した人を斜めから撮影することになる。

画像記憶部１２は、撮像部１０にて撮影された画像を一時的に記憶する記憶装置である。記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。

＜認証処理＞
本実施形態の携帯電話は、顔画像を用いた認証機能を有する。セキュリティの施された機能をユーザが利用しようとすると、自動的に認証機能が起動して、図３のフローチャートに示す処理を実行する。

認証機能が起動すると、一定時間間隔で撮像部１０が撮影を行い（ステップＳ１０）、取り込まれた画像を表示部１１が順次ディスプレイ１１ａに表示する（ステップＳ１１）。ユーザは、ディスプレイ１１ａに表示される確認用の画像を見ながら、顔の位置、大きさ、向きなどを調整することができる。つまり、この確認用の画像（第１画像）は、ユーザの注意をディスプレイ１１ａに引きつける役割をもつ。

そして、ユーザがシャッターボタンを押下すると（ステップＳ１２）、撮像部１０が撮影を実行し（ステップＳ１３）、画像取得部１３がその画像を認証及びなりすまし判定に用いる対象画像（第２画像）として取り込む（ステップＳ１４）。

次に、顔検出部１４が対象画像から人の顔を検出し、目などの顔器官の位置を特定する（ステップＳ１５）。

顔検出部１４による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定してもよいし、不適切な画像であるとして処理を中断してもよい。

ステップＳ１５において顔が検出できなかった場合には（ステップＳ１６；ＮＯ）、そのまま処理が終了する。この場合、セキュリティの解除が行われないため、ユーザは同機能を利用することができない。

ステップＳ１５において顔が検出できた場合には（ステップＳ１６；ＹＥＳ）、視線推定部１５が、対象画像を解析することによって、対象画像から検出された顔の視線を推定する（ステップＳ１７）。

視線に注目するのは、次の理由による。写真等（スナップ写真、免許証、パスポートのようなハードプリントだけでなく、他のディスプレイに表示された画像も含む。）においては、視線が正面を向いている（いわゆる「カメラ目線」）のが通常である。そして、そのような写真等を用いてなりすましを行う場合、図４（ａ）に示すように、写真等をカメラ１０ａに正対させるであろうから、その写真等をさらに撮影して得られた「なりすまし画像」でも、図４（ｂ）のようなカメラ目線となる。

一方、通常の使い方の場合には、図５（ａ）に示すように、ユーザがディスプレイ１１ａに写る自分の姿を注視している状態で、対象画像が撮影される。よって、本実施形態のようにカメラ１０ａがディスプレイ１１ａより上方に配置されている場合、図５（ｂ）のように、対象画像中の顔の視線はやや下向きとなる。

すなわち、対象画像中の顔の視線がカメラ１０ａの方向（正面方向）を向いている場合には、その対象画像はなりすまし画像である可能性が高く、視線がディスプレイ１１ａの方向（正面以外の方向）を向いている場合には、その対象画像はなりすまし画像でない可能性が高い、といえる。本実施形態のなりすまし判定は、対象画像に現れるこのような特徴を利用したものである。

視線推定部１５による視線推定処理は、既存のどのような技術が適用されてもよい。一例を挙げると、下記の文献１、２に記載された技術を適用可能である。なお、ここでの視線推定は厳密な精度を要求するものではなく、視線がカメラ１０ａを向いているかディスプレイ１１ａを向いているかを判別できる程度の精度で構わない。

［文献１］小野泰弘、岡部孝弘、佐藤洋一、「目領域の切出しの不定性を考慮した低解像度画像からの視線方向推定」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）予稿集、ｐｐ．９６−１０３、２００５年７月
［文献２］湯浅真由美、「リアルタイム高精度瞳検出技術」、東芝レビュー Ｖｏｌ．６０ Ｎｏ．１１、２００５年

視線が推定されたら、なりすまし判定部１６が、その視線とディスプレイ１１ａの位置関係を解析し（ステップＳ１８）、対象画像中の顔がディスプレイ１１ａを見ているか否か判定する（ステップＳ１９）。そして、ディスプレイ１１ａを見ていると判定した場合は、その画像がなりすまし画像でない（つまり、正当なユーザによる認証）とみなし、セキュリティを解除する（ステップＳ１９；ＹＥＳ，ステップＳ２０）。それ以外の場合には、その画像がなりすまし画像であるとみなし、セキュリティを解除せずに処理を終了する（ステップＳ１９；ＮＯ）。

視線とディスプレイの位置関係の解析手法としては、例えば、（１）カメラ座標系（画像座標系）における視線の角度が所定の範囲内であったらディスプレイを見ていると判定する手法、（２）カメラ座標系における視線（直線）とディスプレイ（平面）の交わりを判定する手法、（３）両目の瞳の位置から焦点（注視点）を推定し、その焦点がディスプレイ（平面）上に存在するか判定する手法、などが考えられる。なお、カメラ１０ａの光軸や画角、カメラ１０ａとディスプレイ１１ａの相対的な位置関係などは予めなりすまし判定部１６に設定されているものとする。

上記処理によれば、対象画像中の顔の視線とディスプレイ１１ａとの位置関係を解析する、といった非常に簡易な処理だけで写真等によるなりすましを検知することができる。

しかも、対象画像の撮影にあたり特殊な照明装置や撮像装置は不要であり、さらに一枚の画像からでもなりすましを判定できるので、なりすまし検知の実装にあたり装置の大型
化や利便性の低下を招く心配がない。

なお、本実施形態のなりすまし検知手法では、俯いた顔を写した写真等が用いられるとなりすましを検知することができないし、対象画像撮影時にユーザがカメラの方向を向いてしまえば、正当なユーザであるにもかかわらずなりすましと判定してしまう、という不利もある。しかしながら、上記手法は、ハードウエアの追加が必要無く、処理も簡便であるという点で、実装上のメリットが極めて大きい。よって、セキュリティの高さよりも操作性の良さやコストの低さが重要な場合などに、上記手法を好ましく採用できる。なお、誤検知に関しては、他の処理との組み合わせで低減することも可能である。

＜変形例１＞
図６は、認証処理の変形例を示すフローチャートである。図３のフローチャートと同じ処理については、同一のステップ番号が付されている。図６の例では、顔検出の後、その顔画像を用いて顔照合が行われ（ステップＳ２１）、本人の顔であると判定された場合のみ、視線推定によるなりすまし判定に処理を進める（ステップＳ２２）。もちろん、なりすまし判定の後で顔照合を実行しても構わない。このように、顔照合による本人認証と組み合わせることで、誤検知の低減ならびにセキュリティの向上を図ることができる。

＜変形例２＞
上記なりすまし判定では、顔がディスプレイ１１ａを見ていると判定した場合に対象画像がなりすまし画像でないとみなすこととした。しかし、判定アルゴリズムはこれに限らず、他のものも採用できる。例えば、顔がディスプレイ１１ａを見ていないと判定した場合に対象画像がなりすまし画像であるとみなしてもよい。あるいは、顔がカメラ１０ａを見ていると判定した場合に対象画像がなりすまし画像であるとみなしてもよい。逆に、顔がカメラ１０ａを見ていないと判定した場合に対象画像がなりすまし画像でないとみなしてもよい。カメラを見ているとき画像中の顔の視線は正面を向くので、カメラを見ているかどうかの判定は、ディスプレイを見ているかどうかの判定よりも簡単である。

＜変形例３＞
認証処理を開始したときに、ディスプレイ１１ａにガイドを表示するとよい。ガイドとしては、例えば、顔の位置や大きさを合わせるためのフレームとか、文章による操作ガイドなどである。このようなガイドを表示することで、対象画像の品質向上が期待でき、認証処理の信頼性が向上する。また、ガイド表示により、ユーザがディスプレイ１１ａを注視する可能性が高くなるため、なりすましの誤検知低減も期待できる。

＜変形例４＞
上記実施形態では、ユーザがシャッターボタンを押すことで対象画像の撮影が行われていた。しかし、装置が対象画像の撮影を自動で行うことも好ましい。例えば、認証処理開始後一定時間経過したら自動的に対象画像を取り込むとか、順次取り込まれる画像を解析し被写体の動きが小さくなったら自動的に対象画像を取り込む、といった制御手法が好ましい。対象画像の撮影が自動で行われる場合、ユーザには撮影タイミングがわからない。よって、ユーザがディスプレイ１１ａを注視している最中に対象画像の撮影が行われる可能性が高まり、なりすましの誤検知低減が期待できる。

＜変形例５＞
上記実施形態では、ユーザの注意を引くために撮像部１０から順次取り込まれた確認用の画像をディスプレイ１１ａに表示していた。しかし、ユーザの注意を引く目的であれば、撮像部１０から取り込まれる画像ではなく、メモリ内に予め用意されている画像をディスプレイ１１ａに表示しても構わない。例えば、キャラクタ画像、パターン画像（○や△などの平面図形、直方体などの立体図形、波線などの幾何学模様などから構成される画像
）、人物や風景の撮影画像などを用いることができる。特に、動きのあるアニメーションや動画像であると、ユーザの注意を効果的に引きつけることができる。もちろん、撮像部１０から取り込まれた画像にメモリ内に予め用意されている画像を合成してもよい。

図１は、なりすまし検知機能が実装された携帯電話の外観を示す図である。 図２は、図１の携帯電話の機能構成を示すブロック図である。 図３は、認証処理を示すフローチャートである。 図４（ａ）は、写真を用いたなりすましを示す図であり、図４（ｂ）は、写真を撮影して得られるなりすまし画像を示す図である。 図５（ａ）は、通常のユーザ認証を示す図であり、図５（ｂ）は、ユーザを撮影して得られる画像を示す図である。 図６は、認証処理の変形例を示すフローチャートである。

符号の説明

１０ 撮像部
１０ａ カメラ
１１ 表示部
１１ａ ディスプレイ
１２ 画像記憶部
１３ 画像取得部
１４ 顔検出部
１５ 視線推定部
１６ なりすまし判定部

Claims (7)

1. 撮像手段と、
   表示手段と、
   前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いるための第２画像を前記撮像手段から取り込む画像取得手段と、
   前記第２画像から顔を検出する顔検出手段と、
   前記顔検出手段で検出された顔の視線を推定する視線推定手段と、
   前記視線推定手段で推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定するなりすまし判定手段と、
   を備えるなりすまし検知装置。
2. 前記なりすまし判定手段は、
   前記位置関係から、前記顔が前記表示手段を見ていないと判定した場合に、前記第２画像がなりすまし画像であるとみなす
   請求項１に記載のなりすまし検知装置。
3. 前記なりすまし判定手段は、
   前記位置関係から、前記顔が前記表示手段を見ていると判定した場合に、前記第２画像がなりすまし画像でないとみなす
   請求項１に記載のなりすまし検知装置。
4. 前記なりすまし判定手段は、
   前記位置関係から、前記顔が前記撮像手段を見ていると判定した場合に、前記第２画像がなりすまし画像であるとみなす
   請求項１に記載のなりすまし検知装置。
5. 前記なりすまし判定手段は、
   前記位置関係から、前記顔が前記撮像手段を見ていないと判定した場合に、前記第２画像がなりすまし画像でないとみなす
   請求項１に記載のなりすまし検知装置。
6. 撮像手段と、表示手段と、を備えた装置が、
   前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む処理と、
   前記第２画像から顔を検出する処理と、
   前記検出された顔の視線を推定する処理と、
   前記推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する処理と、
   を実行するなりすまし検知方法。
7. 撮像手段と、表示手段と、を備えた装置に、
   前記表示手段にユーザの注意を引くための第１画像を表示させつつ、なりすまし判定に用いる第２画像を前記撮像手段から取り込む処理と、
   前記第２画像から顔を検出する処理と、
   前記検出された顔の視線を推定する処理と、
   前記推定された視線と前記表示手段又は前記撮像手段との位置関係に基づいて、前記第２画像がなりすまし画像か否かを判定する処理と、
   を実行させるなりすまし検知プログラム。

Images