JP2014191416A - サービス利用者確認装置 - Google Patents
サービス利用者確認装置 Download PDFInfo
- Publication number
- JP2014191416A JP2014191416A JP2013064066A JP2013064066A JP2014191416A JP 2014191416 A JP2014191416 A JP 2014191416A JP 2013064066 A JP2013064066 A JP 2013064066A JP 2013064066 A JP2013064066 A JP 2013064066A JP 2014191416 A JP2014191416 A JP 2014191416A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image feature
- image
- service
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】各種サービスの利用者の確認を迅速に行い、心理的抵抗感が少ないサービス利用者確認装置を提供する。
【解決手段】
利用者確認装置２０３の画像特徴量抽出部２２０は、画像データから顔の画像特徴量を抽出する。サービス情報処理部２５０は、サービス提供装置２０１から、撮像部２１０で撮像された画像データを取得し、ユーザーのＩＤを取得する。画像特徴量比較部２２５は、取得されたユーザーのＩＤに対応する画像特徴量をＩＤ別特徴量ＤＢ３１０から読み出し、新たに取得された画像特徴量との類似度を比較してユーザーの確認を行う。サービス情報処理部２５０は、比較された画像特徴量間の類似度が低かった場合は、警告を報知する。ＩＤ別特徴量ＤＢ３１０は、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶する。
【選択図】図１
【解決手段】
利用者確認装置２０３の画像特徴量抽出部２２０は、画像データから顔の画像特徴量を抽出する。サービス情報処理部２５０は、サービス提供装置２０１から、撮像部２１０で撮像された画像データを取得し、ユーザーのＩＤを取得する。画像特徴量比較部２２５は、取得されたユーザーのＩＤに対応する画像特徴量をＩＤ別特徴量ＤＢ３１０から読み出し、新たに取得された画像特徴量との類似度を比較してユーザーの確認を行う。サービス情報処理部２５０は、比較された画像特徴量間の類似度が低かった場合は、警告を報知する。ＩＤ別特徴量ＤＢ３１０は、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶する。
【選択図】図１
Description
本発明は、サービス利用者確認装置に係り、特に監視カメラ等の撮像装置の記録画像から検索条件に合致した画像を検索するサービス利用者確認装置に関する。
近年、銀行等の口座への出入金や振り込み、会員カードやクレジットカード等を提示する商品売買、各種施設への入退場、オンラインの受験や講義、オンライン選挙、公的資格の審査や入国審査、遠隔医療、オンライン遊戯（ゲーム）等の各種サービスでは、店舗等に設置された専用の装置が端末として用いられる他に、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォンやタブレット端末や携帯電話等も端末として使用されている。
また、このような各種サービスでは、端末を介してネットワーク接続された別の装置でサービス利用者（ユーザー）の確認を行うことが多い。
また、このような各種サービスでは、端末を介してネットワーク接続された別の装置でサービス利用者（ユーザー）の確認を行うことが多い。
このような各種サービスにおいて、サービスを利用しようとする人物が実際に利用資格を持っているか否か、つまり正当なユーザーであるか否かを確認する方法として、（１）ＩＤ入力による確認、（２）パスワード認証による確認、（３）顔写真による確認等、本人以外が保持し得ない（知り得ない）情報により確認する方法が、一般的に用いられている。
（１）ＩＤ入力による確認方法では、例えば、ユーザーが端末にアクセスして、ＩＤを入力する。この際に、ＩＤ入力の方法としては、例えば、ユーザーがテンキー等で会員番号等のＩＤを直接入力する方法がある。また、ＩＤ入力用のＩＤカードが用いられることがある。ＩＤカードは、キャッシュカードやクレジットカードやメンバーズカードやチケット等の利用証である。この場合、ＩＤは、ＩＤカードに光学的に記載され、又は電磁的に記録されている。このため、ユーザーは、端末に備えられた磁気／ＩＣカードリーダーへＩＤカードを挿入してＩＤを読み取らせることが可能である。また、ユーザーがサービスの係員等にＩＤカードを提示し、係員が端末にＩＤを入力してもよい。いずれの場合でも、入力されたＩＤは、ネットワークを介して認証サーバ等の確認装置に送信され、ＩＤの真偽が確認される。
（２）パスワード認証による確認方法では、ＩＤの入力後に、端末によって暗証番号やフレーズ等のパスワードを入力する。このパスワードについても、ネットワークを介して認証サーバ等の確認装置に送信され、パスワードの比較確認が行われる。
（３）顔写真による確認方法では、ＩＤカードに貼り付けられたり印刷されたりした本人の顔写真を、係員自身が確認する。係員は、ＩＤカードの提示者とＩＤカードの写真とを比較し、提示者と写真とが一致すると認識した場合、端末に確認の入力を行う。顔写真のよる確認方法は、アミューズメントパークの年間パスポートや施設の許可証やパスポート等のＩＤカードに用いられている。
上述のようなＩＤカードの提示他を複数組み合わせて、利用者の利用資格を確認するシステムが特許文献１に記載されている（以下、従来技術１とする。）。
（１）ＩＤ入力による確認方法では、例えば、ユーザーが端末にアクセスして、ＩＤを入力する。この際に、ＩＤ入力の方法としては、例えば、ユーザーがテンキー等で会員番号等のＩＤを直接入力する方法がある。また、ＩＤ入力用のＩＤカードが用いられることがある。ＩＤカードは、キャッシュカードやクレジットカードやメンバーズカードやチケット等の利用証である。この場合、ＩＤは、ＩＤカードに光学的に記載され、又は電磁的に記録されている。このため、ユーザーは、端末に備えられた磁気／ＩＣカードリーダーへＩＤカードを挿入してＩＤを読み取らせることが可能である。また、ユーザーがサービスの係員等にＩＤカードを提示し、係員が端末にＩＤを入力してもよい。いずれの場合でも、入力されたＩＤは、ネットワークを介して認証サーバ等の確認装置に送信され、ＩＤの真偽が確認される。
（２）パスワード認証による確認方法では、ＩＤの入力後に、端末によって暗証番号やフレーズ等のパスワードを入力する。このパスワードについても、ネットワークを介して認証サーバ等の確認装置に送信され、パスワードの比較確認が行われる。
（３）顔写真による確認方法では、ＩＤカードに貼り付けられたり印刷されたりした本人の顔写真を、係員自身が確認する。係員は、ＩＤカードの提示者とＩＤカードの写真とを比較し、提示者と写真とが一致すると認識した場合、端末に確認の入力を行う。顔写真のよる確認方法は、アミューズメントパークの年間パスポートや施設の許可証やパスポート等のＩＤカードに用いられている。
上述のようなＩＤカードの提示他を複数組み合わせて、利用者の利用資格を確認するシステムが特許文献１に記載されている（以下、従来技術１とする。）。
一方、近年、セキュリティ意識（安全意識）の高まりや警備の省力化の要求から、銀行のＡＴＭやコンビニエンスストアの会員端末等のサービスを行う端末には、監視用の動画や静止画像のカメラ（監視カメラ）等が備えられている。
しかしながら、
（１）のＩＤ入力だけでは、ＩＤカードを借用した人物にＩＤを不正入力されたり、流出等でＩＤ自体が不正な人物に入手されたりする可能性があった。このため、ＩＤ入力だけでは、正当なユーザーでない人物がサービスを利用可能となる、という問題に対処できなかった。
（２）のパスワード認証においても、ＩＤとパスワードが不正人物に不正に入手された場合に対処できなかった。
（３）の顔写真認識では、入国審査等、厳密な認証が必要な場合、他の確認方式と組み合わせる必要があった。たとえば、パスポート等の写真の偽造について、係員が真偽確認し、ＩＤカード等の偽造防止用の複数の電磁的な記録の確認も行う必要があった。
また、従来技術１のように複数の確認を組み合わせる場合も、各確認の方法を実行するのに時間がかかり、ユーザーな心理的負担も大きいという問題があった。
（１）のＩＤ入力だけでは、ＩＤカードを借用した人物にＩＤを不正入力されたり、流出等でＩＤ自体が不正な人物に入手されたりする可能性があった。このため、ＩＤ入力だけでは、正当なユーザーでない人物がサービスを利用可能となる、という問題に対処できなかった。
（２）のパスワード認証においても、ＩＤとパスワードが不正人物に不正に入手された場合に対処できなかった。
（３）の顔写真認識では、入国審査等、厳密な認証が必要な場合、他の確認方式と組み合わせる必要があった。たとえば、パスポート等の写真の偽造について、係員が真偽確認し、ＩＤカード等の偽造防止用の複数の電磁的な記録の確認も行う必要があった。
また、従来技術１のように複数の確認を組み合わせる場合も、各確認の方法を実行するのに時間がかかり、ユーザーな心理的負担も大きいという問題があった。
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを課題とする。
本発明のサービス利用者確認装置は、画像データから顔の画像特徴量を抽出する画像特徴量抽出手段と、サービス提供装置で入力された前記利用者のＩＤを取得するＩＤ取得手段と、前記サービス提供装置の撮像手段で撮像された画像データを取得する画像データ取得手段と、取得された前記ＩＤに対応して以前に記憶された前記画像特徴量と、前記画像データ取得手段により新たに取得された前記画像データから抽出された前記画像特徴量との類似度を比較して前記利用者の確認を行う画像特徴量比較手段と、比較された前記画像特徴量間の類似度が低かった場合に警告を報知する警告報知手段とを備えることを特徴とする。
本発明のサービス利用者確認装置は、前記利用者の前記ＩＤ別のパスワード認証を行うパスワード認証手段と、抽出された前記画像特徴量を、サービスの利用者のＩＤ別に記憶する特徴量記憶手段と、新たに取得された前記画像データから抽出された前記画像特徴量と類似する前記画像特徴量をもつ前記利用者の前記ＩＤを前記特徴量記憶手段から検索する画像特徴量検索手段と、前記画像特徴量検索手段で検索された前記ＩＤの前記利用者が、既に確認が行われていた場合に、該確認が行われてからの経過時間により、更に前記ＩＤ取得手段による前記ＩＤの取得、又は前記パスワード認証手段による前記パスワード認証を行うか否かを設定する認証強度設定手段とを備えることを特徴とする。
本発明のサービス利用者確認装置は、前記利用者の前記ＩＤ別のパスワード認証を行うパスワード認証手段と、抽出された前記画像特徴量を、サービスの利用者のＩＤ別に記憶する特徴量記憶手段と、新たに取得された前記画像データから抽出された前記画像特徴量と類似する前記画像特徴量をもつ前記利用者の前記ＩＤを前記特徴量記憶手段から検索する画像特徴量検索手段と、前記画像特徴量検索手段で検索された前記ＩＤの前記利用者が、既に確認が行われていた場合に、該確認が行われてからの経過時間により、更に前記ＩＤ取得手段による前記ＩＤの取得、又は前記パスワード認証手段による前記パスワード認証を行うか否かを設定する認証強度設定手段とを備えることを特徴とする。
本発明によれば、ＩＤに対応して以前に記憶されたユーザーの顔画像の画像特徴量を、利用時点で撮像手段で取得された顔画像の画像特徴量と比較し、類似度が低い場合のみ警告することで、ＩＤの不正入手に対処でき、確認時間も少なく済み、ユーザーの心理的負担も少ないサービス利用者確認装置を提供することができる。
＜実施の形態＞
〔サービス利用者確認システムＸの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
サービス利用者確認システムＸは、利用資格が必要な各種サービスにおいて、端末を介してオンラインで取引が行われる際に、ユーザーがサービス利用可能であるか否かの確認を行うことが可能なシステムである。
図１を参照して説明すると、サービス利用者確認システムＸは、サービス提供装置２０１と、監視員端末２０２と、利用者確認装置２０３（サービス利用者確認装置、認証サーバ）とが、ネットワーク２００で接続されて構成されている。
〔サービス利用者確認システムＸの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
サービス利用者確認システムＸは、利用資格が必要な各種サービスにおいて、端末を介してオンラインで取引が行われる際に、ユーザーがサービス利用可能であるか否かの確認を行うことが可能なシステムである。
図１を参照して説明すると、サービス利用者確認システムＸは、サービス提供装置２０１と、監視員端末２０２と、利用者確認装置２０３（サービス利用者確認装置、認証サーバ）とが、ネットワーク２００で接続されて構成されている。
ネットワーク２００は、各装置を結ぶＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ（Local Area Network）、携帯電話網、ＰＨＳ網等の各装置を相互に接続して通信を行う通信手段である。ネットワーク２００は、専用線、イントラネット、インターネット等を用いてもよく、メッシュネットワーク等の構造であってもよい。
サービス提供装置２０１は、ユーザーと対話的に各種サービスを提供する端末である。サービス提供装置２０１は、サービスの種類に応じた専用端末、又はウェブブラウザや専用プログラムをインストールしたユーザー所有の端末により構成可能である。
たとえば、サービス提供装置２０１は、専用端末の場合、銀行のＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、コンビニエンスストアの会員取引端末、各種自動販売機や公衆電話、各種施設のゲート等の入場／退出管理端末、選挙用端末、公的資格や入国審査等の審査用端末、オンライン受験や講義端末、遠隔医療端末、アーケードゲーム端末等が用いられる。
また、サービス提供装置２０１は、ユーザー所有の端末の場合、ＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ、スマートフォン、タブレット端末、携帯電話等であってもよい。この場合、ユーザーはウェブブラウザやインストールされた専用プログラム等を介して、各種サービスを利用する。
たとえば、サービス提供装置２０１は、専用端末の場合、銀行のＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、コンビニエンスストアの会員取引端末、各種自動販売機や公衆電話、各種施設のゲート等の入場／退出管理端末、選挙用端末、公的資格や入国審査等の審査用端末、オンライン受験や講義端末、遠隔医療端末、アーケードゲーム端末等が用いられる。
また、サービス提供装置２０１は、ユーザー所有の端末の場合、ＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ、スマートフォン、タブレット端末、携帯電話等であってもよい。この場合、ユーザーはウェブブラウザやインストールされた専用プログラム等を介して、各種サービスを利用する。
また、サービス提供装置２０１は、撮像部２１０（撮像手段）と入力部２１５（入力手段）とを備えている。
撮像部２１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いたカメラ等の撮像装置である。撮像部２１０は、画像・音声エンコーダを用いて、撮像された画像データを各種コーデックに変換するように構成してもよい。
撮像部２１０は、サービスを利用しているユーザーの顔を撮像可能なように構成されている。
なお、撮像部２１０は、防犯カメラ等の元々サービス提供装置２０１に備えられている撮像手段を用いることが可能である。また、撮像部２１０は、サービス提供装置２０１に内蔵しても、接続された外付けのカメラであってもよい。また、撮像部２１０は、サービス提供装置２０１がＰＣ、スマートフォン、タブレット端末、携帯電話等の場合は、ＩＰビデオ通話やウェブメッセンジャー等に使用する前面（ユーザー撮像用）カメラを用いることが好適である。
撮像部２１０は、サービスを利用しているユーザーの顔を撮像可能なように構成されている。
なお、撮像部２１０は、防犯カメラ等の元々サービス提供装置２０１に備えられている撮像手段を用いることが可能である。また、撮像部２１０は、サービス提供装置２０１に内蔵しても、接続された外付けのカメラであってもよい。また、撮像部２１０は、サービス提供装置２０１がＰＣ、スマートフォン、タブレット端末、携帯電話等の場合は、ＩＰビデオ通話やウェブメッセンジャー等に使用する前面（ユーザー撮像用）カメラを用いることが好適である。
入力部２１５は、キーボード、タッチパネル、タッチパッド、テンキー、磁気カードリーダー、無線リーダー、光学リーダー、生体認証センサ等の入力手段である。
入力部２１５は、サービス提供装置２０１を現在利用しているユーザーのＩＤ及びパスワードを取得する。
このユーザーのＩＤの入力は、キャッシュカードやＩＣカード等の提示により行ってもよい。また、ユーザーのパスワードの入力は、テンキーで暗証番号を入力したり、ＩＣカードの暗号鍵を取得して行ったり、生体認証センサにて行ってもよい。
入力部２１５は、サービス提供装置２０１を現在利用しているユーザーのＩＤ及びパスワードを取得する。
このユーザーのＩＤの入力は、キャッシュカードやＩＣカード等の提示により行ってもよい。また、ユーザーのパスワードの入力は、テンキーで暗証番号を入力したり、ＩＣカードの暗号鍵を取得して行ったり、生体認証センサにて行ってもよい。
なお、サービス提供装置２０１は、液晶ディスプレイ等の表示部に加え、各種サービス用に対応した、例えば現金出入装置、プリント装置、オンライン注文装置、可動ゲート、ストリーミング配信装置、光学スキャナ、ネットワーク電話装置、ゲーム装置等を備えていてもよい。
また、サービス提供装置２０１は、撮像部２１０により、サイン入力された画像を撮像し、撮像された画像をサイン認識して、ＩＤやパスワードを取得することも可能である。同様に、サービス提供装置２０１は、提示されたＩＤカードの画像を光学認識して、ＩＤやパスワードを取得することも可能である。
また、サービス提供装置２０１は、この他にも、例えば人感センサや動きセンサを備えて、ユーザーの接近を検知して撮像部２１０による撮像を開始してもよい。また、サービス提供装置２０１は、マイクやスピーカ等も備えていてもよい。
また、サービス提供装置２０１は、撮像部２１０により、サイン入力された画像を撮像し、撮像された画像をサイン認識して、ＩＤやパスワードを取得することも可能である。同様に、サービス提供装置２０１は、提示されたＩＤカードの画像を光学認識して、ＩＤやパスワードを取得することも可能である。
また、サービス提供装置２０１は、この他にも、例えば人感センサや動きセンサを備えて、ユーザーの接近を検知して撮像部２１０による撮像を開始してもよい。また、サービス提供装置２０１は、マイクやスピーカ等も備えていてもよい。
監視員端末２０２は、各種サービスの係員等の監視員のための端末である。監視員は、監視員端末２０２により、不正な人物がサービスを利用しないよう監視する。監視員端末２０２は、専用端末、通常のＰＣ、スマートフォン、タブレット端末、携帯電話等が用いられる。
監視員端末２０２は、制御部で実行されるプログラム等により、サービス利用資格の確認において、正当なユーザーとは異なると推測される不正な人物が検出された際に、警告を報知する。監視員端末２０２は、液晶ディスプレイ等の表示部（図示せず）への表示やブザー等による音声出力等により、この警告の報知を行う。また、監視員端末は、ネットワーク２００を介して、利用者確認装置２０３から取得した画像データやユーザーの情報を、表示部に画面表示する。
また、監視員端末２０２は、キーボードやマウス等のユーザ入力部を備え、この入力部からのユーザーの指示を取得して、人物に関する検索の実行操作や結果表示等を行う。監視員端末２０２は、利用者確認装置２０３に対して、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）や顔画像等を基にユーザーの情報や顔画像等の検索を実行し、検索結果を表示部に表示する。また、監視員端末２０２は、利用者確認装置２０３に記録された各サービス提供装置２０１の撮像部２１０の撮像画像から、画像の再生操作や動画表示の指示をすることも可能である。
監視員端末２０２は、制御部で実行されるプログラム等により、サービス利用資格の確認において、正当なユーザーとは異なると推測される不正な人物が検出された際に、警告を報知する。監視員端末２０２は、液晶ディスプレイ等の表示部（図示せず）への表示やブザー等による音声出力等により、この警告の報知を行う。また、監視員端末は、ネットワーク２００を介して、利用者確認装置２０３から取得した画像データやユーザーの情報を、表示部に画面表示する。
また、監視員端末２０２は、キーボードやマウス等のユーザ入力部を備え、この入力部からのユーザーの指示を取得して、人物に関する検索の実行操作や結果表示等を行う。監視員端末２０２は、利用者確認装置２０３に対して、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）や顔画像等を基にユーザーの情報や顔画像等の検索を実行し、検索結果を表示部に表示する。また、監視員端末２０２は、利用者確認装置２０３に記録された各サービス提供装置２０１の撮像部２１０の撮像画像から、画像の再生操作や動画表示の指示をすることも可能である。
利用者確認装置２０３は、ＰＣ等を用いたサーバであり、各種サービスのユーザーの利用資格を確認する。利用者確認装置２０３は、下記で説明する処理の制御を行うＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等を用いて構成された制御部と、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部（記憶手段）とを備えている。利用者確認装置２０３の記憶部は、制御部が実行する処理のプログラム、取得した画像データや画像特徴量データ等を含むデータベース、一時データ、その他の各種ファイル等を記憶している。
利用者確認装置２０３は、ネットワーク２００を介して撮像部２１０より入力された画像データを、記憶部のＨＤＤ等に記録する。利用者確認装置２０３は顔画像の画像特徴量を抽出して、これをデータベース内の以前に記憶されたユーザーの画像特徴量と比較してユーザー確認を行う。この際、利用者確認装置２０３は、ユーザー毎のＩＤの入力を行って、パスワード認証等も条件により併せて行う。また、利用者確認装置２０３は、ＩＤのユーザーと類似度が低かった場合は、監視員端末２０２に警告を報知する。
なお、利用者確認装置２０３は、ネットワーク２００経由で撮像部２１０の撮像画像そのものを記録するネットワークデジタルレコーダ等の機能を備えていてもよい。
利用者確認装置２０３は、ネットワーク２００を介して撮像部２１０より入力された画像データを、記憶部のＨＤＤ等に記録する。利用者確認装置２０３は顔画像の画像特徴量を抽出して、これをデータベース内の以前に記憶されたユーザーの画像特徴量と比較してユーザー確認を行う。この際、利用者確認装置２０３は、ユーザー毎のＩＤの入力を行って、パスワード認証等も条件により併せて行う。また、利用者確認装置２０３は、ＩＤのユーザーと類似度が低かった場合は、監視員端末２０２に警告を報知する。
なお、利用者確認装置２０３は、ネットワーク２００経由で撮像部２１０の撮像画像そのものを記録するネットワークデジタルレコーダ等の機能を備えていてもよい。
また、利用者確認装置２０３は、画像特徴量抽出部２２０（画像特徴量抽出手段）、画像特徴量比較部２２５（画像特徴量比較手段）、画像特徴量検索部２３０（画像特徴量検索手段）、認証強度設定部２４０（認証強度設定手段）、サービス情報処理部２５０（画像データ取得手段、ＩＤ取得手段、警告報知手段、パスワード認証手段を含む）、サービス実行部２６０（サービス実行手段、ユーザーインターフェイス手段を含む）、ＩＤ別特徴量ＤＢ３１０（特徴量記憶手段）、及びサービスＤＢ３２０（サービス情報記憶手段）を備えて構成される。
これらの各部は、記憶部に記憶されたプログラム等が制御部で実行されることにより実現される。
これらの各部は、記憶部に記憶されたプログラム等が制御部で実行されることにより実現される。
画像特徴量抽出部２２０は、画像データに対し、画像特徴量を抽出する手段である。画像特徴量抽出部２２０は、例えば、サービス情報処理部２５０により取得された画像データ、又は利用者確認装置２０３の記憶部に記憶された画像データについて、画像認識技術を用いた人物検出又はオブジェクト検出を行う。この上で、画像特徴量抽出部２２０は、検出された人物又はオブジェクトの領域の画像特徴量を抽出する。
画像特徴量抽出部２２０は、まず人物検出として人物特徴量の抽出を行い、画像データ中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。人物特徴量とは、例えば、検出した領域を一定サイズにスケーリングし、一律に分割した画素ブロック毎に色や輝度、あるいはそれらの勾配やテクスチャのヒストグラムを求め、その結果を集約した多次元ベクトルである。このようなａｐｐｅａｒａｎｃｅ−ｂａｓｅの認識のほか、３次元形状を復元して認識するもの、例えば、顔の骨格に強く依存する輪郭や目や鼻、口に対応する特徴点の相対的配置関係を３次元上で判断するための画像特徴量を用いることも可能である。本実施形態においては、使用する画像特徴量の種類や数は任意である。また、画像特徴量の次元を減らすため、Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ法などベクトル量子化の手法を用いることも可能である。ヒストグラムベースの画像特徴量であれば、画素ブロック１つ分を大津の２値化手法により、最終的に２色で近似するＢｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇを用いてもよい。
また、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行うことも可能である。画像特徴量抽出部２２０は、着衣領域の座標算出の場合は、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を使用してもよい。また、画像特徴量抽出部２２０は、着衣領域に対して、着衣特徴量の算出も行う。画像特徴量抽出部２２０は、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として用いてもよい。
また、画像特徴量抽出部２２０は、ＩＤカード等によるＩＤの１次元や２次元バーコード等を認識したり、光学文字認識や動画像からサイン認識等も行うことが可能であってもよい。
画像特徴量抽出部２２０は、まず人物検出として人物特徴量の抽出を行い、画像データ中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。人物特徴量とは、例えば、検出した領域を一定サイズにスケーリングし、一律に分割した画素ブロック毎に色や輝度、あるいはそれらの勾配やテクスチャのヒストグラムを求め、その結果を集約した多次元ベクトルである。このようなａｐｐｅａｒａｎｃｅ−ｂａｓｅの認識のほか、３次元形状を復元して認識するもの、例えば、顔の骨格に強く依存する輪郭や目や鼻、口に対応する特徴点の相対的配置関係を３次元上で判断するための画像特徴量を用いることも可能である。本実施形態においては、使用する画像特徴量の種類や数は任意である。また、画像特徴量の次元を減らすため、Ｌｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ法などベクトル量子化の手法を用いることも可能である。ヒストグラムベースの画像特徴量であれば、画素ブロック１つ分を大津の２値化手法により、最終的に２色で近似するＢｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇを用いてもよい。
また、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行うことも可能である。画像特徴量抽出部２２０は、着衣領域の座標算出の場合は、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を使用してもよい。また、画像特徴量抽出部２２０は、着衣領域に対して、着衣特徴量の算出も行う。画像特徴量抽出部２２０は、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として用いてもよい。
また、画像特徴量抽出部２２０は、ＩＤカード等によるＩＤの１次元や２次元バーコード等を認識したり、光学文字認識や動画像からサイン認識等も行うことが可能であってもよい。
画像特徴量比較部２２５は、二つの画像特徴量を比較して類似度を算出し、ユーザーの確認を行う手段である。
画像特徴量比較部２２５は、例えば、二つの画像特徴量の特徴量ベクトルの差（ノルム）が小さいほど、類似度が大きいと判断し、大きな類似度を出力する。また、画像特徴量比較部２２５は、ヒストグラムベースの画像特徴量の場合、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ法により１乃至複数ブロック分の類似度を求めて、これらを重み付き加算したものを類似度としてもよい。画像特徴量比較部２２５は、この類似度が所定の閾値以上のものを検索結果として出力する。
また、画像特徴量比較部２２５は、正当なユーザーと同じ人物がサービスを利用しようとしているか否かを確認する。画像特徴量比較部２２５は、主に、ＩＤ別特徴量ＤＢ３１０に記憶されたユーザーのＩＤに対応して記憶されたユーザーの画像特徴量と、サービス提供装置２０１の撮像部２１０で現時点で撮像された画像データの画像特徴量との類似度を算出して比較する。つまり、画像特徴量比較部２２５は以前に記憶されたユーザーの顔と、現時点で利用している人物の顔とが類似するか否かについて比較を行う。
画像特徴量比較部２２５は、例えば、二つの画像特徴量の特徴量ベクトルの差（ノルム）が小さいほど、類似度が大きいと判断し、大きな類似度を出力する。また、画像特徴量比較部２２５は、ヒストグラムベースの画像特徴量の場合、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ法により１乃至複数ブロック分の類似度を求めて、これらを重み付き加算したものを類似度としてもよい。画像特徴量比較部２２５は、この類似度が所定の閾値以上のものを検索結果として出力する。
また、画像特徴量比較部２２５は、正当なユーザーと同じ人物がサービスを利用しようとしているか否かを確認する。画像特徴量比較部２２５は、主に、ＩＤ別特徴量ＤＢ３１０に記憶されたユーザーのＩＤに対応して記憶されたユーザーの画像特徴量と、サービス提供装置２０１の撮像部２１０で現時点で撮像された画像データの画像特徴量との類似度を算出して比較する。つまり、画像特徴量比較部２２５は以前に記憶されたユーザーの顔と、現時点で利用している人物の顔とが類似するか否かについて比較を行う。
画像特徴量検索部２３０は、入力された検索条件を基にＩＤ別特徴量ＤＢ３１０を使用して、画像特徴量の検索を行う手段である。
具体的には、画像特徴量検索部２３０は、サービス情報処理部２５０により取得された画像特徴量やＩＤ等を検索条件として受け取ると、この検索条件によりＩＤ別特徴量ＤＢ３１０の検索を行う。
画像特徴量検索部２３０は、画像特徴量を検索条件として検索された場合、ＩＤ別特徴量ＤＢ３１０の各ＩＤに対応する画像特徴量を読み出す。この上で、画像特徴量検索部２３０は、検索条件の画像特徴量と、ＩＤ別特徴量ＤＢ３１０から読み出された画像特徴量との類似度を、画像特徴量比較部２２５により算出し、この類似度が所定の閾値以上のＩＤを、検索結果として出力する。
画像特徴量検索部２３０は、例えば、サービス提供装置２０１の撮像部２１０で新たに取得された画像データから抽出された画像特徴量と、ＩＤ別特徴量ＤＢ３１０の各ＩＤに対応する画像特徴量との類似度を算出して、類似するユーザーのＩＤを検索することが可能である。
また、画像特徴量検索部２３０は、ＩＤを検索条件として受け取ると、このＩＤに対応した画像特徴量を読み出し、これと他のＩＤの画像特徴量とについて、画像特徴量比較部２２５により類似度を算出して比較する。この場合も、画像特徴量検索部２３０は、類似度が所定の閾値以上のＩＤを、検索結果として出力する。
具体的には、画像特徴量検索部２３０は、サービス情報処理部２５０により取得された画像特徴量やＩＤ等を検索条件として受け取ると、この検索条件によりＩＤ別特徴量ＤＢ３１０の検索を行う。
画像特徴量検索部２３０は、画像特徴量を検索条件として検索された場合、ＩＤ別特徴量ＤＢ３１０の各ＩＤに対応する画像特徴量を読み出す。この上で、画像特徴量検索部２３０は、検索条件の画像特徴量と、ＩＤ別特徴量ＤＢ３１０から読み出された画像特徴量との類似度を、画像特徴量比較部２２５により算出し、この類似度が所定の閾値以上のＩＤを、検索結果として出力する。
画像特徴量検索部２３０は、例えば、サービス提供装置２０１の撮像部２１０で新たに取得された画像データから抽出された画像特徴量と、ＩＤ別特徴量ＤＢ３１０の各ＩＤに対応する画像特徴量との類似度を算出して、類似するユーザーのＩＤを検索することが可能である。
また、画像特徴量検索部２３０は、ＩＤを検索条件として受け取ると、このＩＤに対応した画像特徴量を読み出し、これと他のＩＤの画像特徴量とについて、画像特徴量比較部２２５により類似度を算出して比較する。この場合も、画像特徴量検索部２３０は、類似度が所定の閾値以上のＩＤを、検索結果として出力する。
認証強度設定部２４０は、設定された第１所定時間及び第２所定時間により、ユーザーの利用資格の確認の方法（認証強度）を変更する手段である。
具体的には、認証強度設定部２４０は、最後にユーザーの利用資格の確認をしたときからの経過時間によって、利用資格の確認方法を変更する。たとえば、ユーザーがＰＣからログインした場合や、施設の入場に用いられる年間パスポートのユーザー確認等の場合、短時間の内に、繰返しユーザーの利用資格の確認が必要な場合がある。このような場合、例えば、認証強度設定部２４０は、第１所定時間以内なら顔画像による確認のみ行い、第１所定時間経過後で第２所定時間以内なら顔画像による確認とパスワード認証とを行い、第２所定時間を経過した後はＩＤの取得とパスワード認証を行うといった制御を行う。
なお、認証強度設定部２４０は、第１所定時間及び第２所定時間をサービスの種類により任意に設定可能である。アミューズメント施設等の入場やＰＣログインの場合、例えば第１所定時間として数分〜数十分程度の時間を設定し、第２所定時間として数時間〜数日程度の時間を設定することが可能である。また、認証強度設定部２４０は、第１所定時間又は第２所定時間のみを設定することも可能である。また、第２所定時間より長い第３所定時間、第４所定時間……等を設定して、それらにより異なる認証強度の制御を行うことも可能である。
具体的には、認証強度設定部２４０は、最後にユーザーの利用資格の確認をしたときからの経過時間によって、利用資格の確認方法を変更する。たとえば、ユーザーがＰＣからログインした場合や、施設の入場に用いられる年間パスポートのユーザー確認等の場合、短時間の内に、繰返しユーザーの利用資格の確認が必要な場合がある。このような場合、例えば、認証強度設定部２４０は、第１所定時間以内なら顔画像による確認のみ行い、第１所定時間経過後で第２所定時間以内なら顔画像による確認とパスワード認証とを行い、第２所定時間を経過した後はＩＤの取得とパスワード認証を行うといった制御を行う。
なお、認証強度設定部２４０は、第１所定時間及び第２所定時間をサービスの種類により任意に設定可能である。アミューズメント施設等の入場やＰＣログインの場合、例えば第１所定時間として数分〜数十分程度の時間を設定し、第２所定時間として数時間〜数日程度の時間を設定することが可能である。また、認証強度設定部２４０は、第１所定時間又は第２所定時間のみを設定することも可能である。また、第２所定時間より長い第３所定時間、第４所定時間……等を設定して、それらにより異なる認証強度の制御を行うことも可能である。
サービス情報処理部２５０は、各サービス提供装置２０１の撮像部２１０で撮像された画像データ、ＩＤ、パスワード等を取得し、監視員端末２０２に警報を報知する手段である。たとえば、サービス情報処理部２５０は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバとＣＧＩ（Ｃｏｍｍｏｎ Ｇａｔｅｗａｙ Ｉｎｔｅｒｆａｃｅ）、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＪＳＰ（Ｊａｖａ（登録商標）Ｓｅｒｖｅｒ Ｐａｇｅｓ）等を用いたウェブアプリケーションとして構成される。
また、サービス情報処理部２５０は、ユーザーの情報を検索したり、撮像部２１０の撮像画像をストリーミング配信し検索したりすることも可能である。
また、サービス情報処理部２５０は、ユーザーの情報を検索したり、撮像部２１０の撮像画像をストリーミング配信し検索したりすることも可能である。
サービス実行部２６０は、サービス提供装置２０１からのユーザーの指示を取得して、各種サービスを実際に実行する手段である。
サービス実行部２６０は、ユーザーのサービスＤＢ３２０を読み出して、確認されたユーザーに指示された各種処理を行う。このため、サービス実行部２６０は、当該サービス用の専用のアプリケーションやウェブアプリケーションやユーザーインターフェイス等を備える。
サービス実行部２６０は、ユーザーのサービスＤＢ３２０を読み出して、確認されたユーザーに指示された各種処理を行う。このため、サービス実行部２６０は、当該サービス用の専用のアプリケーションやウェブアプリケーションやユーザーインターフェイス等を備える。
ＩＤ別特徴量ＤＢ３１０は、ユーザーのＩＤに対応付けられたユーザーの情報や画像特徴量等を記憶するデータベース等である。
具体的には、ＩＤ別特徴量ＤＢ３１０は、ＳＱＬデータベース等であり、利用可能なサービスの種類、ユーザーのＩＤやパスワードやユーザー権限を含むアカウント情報、ユーザーの顔画像の画像データ、ユーザーの顔画像の画像特徴量、顔画像を取得した時刻や撮像場所やサービス提供装置２０１のＩＤ等、前回のユーザー確認の種類、前回ユーザー確認されてからの経過時刻等の情報を含んでいる。ＩＤ別特徴量ＤＢ３１０に記憶される画像特徴量データ及び画像データは、画像特徴量抽出部２２０にて抽出した画像特徴量を含むことが好適である。また、ＩＤ別特徴量ＤＢ３１０に記憶される画像特徴量データ及び画像データの初期値は、ユーザーにＩＤを付与する際に設定しておくことが好ましい。
また、ＩＤ別特徴量ＤＢ３１０は、大量の画像特徴量を高速に検索可能とするようなデータ構造を採用してもよい。また、ＩＤ別特徴量ＤＢ３１０に記憶する画像特徴量は、クラスタに分類され、このクラスタに対応して、ツリーや辞書の構成やＨＤＤ上のセクタ配置等の記録構造も最適化される。簡易的には、例えば、単純な規則のハッシュ関数で画像特徴量を分類し、ハッシュ値と記録先を対応付ける辞書を作成し、１分類に属する画像特徴量の数が増えすぎたときには、階層を増やして細かく分類する。他にもＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）法等の各種の最適化アルゴリズムにより最適化されてもよい。
具体的には、ＩＤ別特徴量ＤＢ３１０は、ＳＱＬデータベース等であり、利用可能なサービスの種類、ユーザーのＩＤやパスワードやユーザー権限を含むアカウント情報、ユーザーの顔画像の画像データ、ユーザーの顔画像の画像特徴量、顔画像を取得した時刻や撮像場所やサービス提供装置２０１のＩＤ等、前回のユーザー確認の種類、前回ユーザー確認されてからの経過時刻等の情報を含んでいる。ＩＤ別特徴量ＤＢ３１０に記憶される画像特徴量データ及び画像データは、画像特徴量抽出部２２０にて抽出した画像特徴量を含むことが好適である。また、ＩＤ別特徴量ＤＢ３１０に記憶される画像特徴量データ及び画像データの初期値は、ユーザーにＩＤを付与する際に設定しておくことが好ましい。
また、ＩＤ別特徴量ＤＢ３１０は、大量の画像特徴量を高速に検索可能とするようなデータ構造を採用してもよい。また、ＩＤ別特徴量ＤＢ３１０に記憶する画像特徴量は、クラスタに分類され、このクラスタに対応して、ツリーや辞書の構成やＨＤＤ上のセクタ配置等の記録構造も最適化される。簡易的には、例えば、単純な規則のハッシュ関数で画像特徴量を分類し、ハッシュ値と記録先を対応付ける辞書を作成し、１分類に属する画像特徴量の数が増えすぎたときには、階層を増やして細かく分類する。他にもＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）法等の各種の最適化アルゴリズムにより最適化されてもよい。
サービスＤＢ３２０は、ユーザーのＩＤに対応付けられたサービス用の各種データを記憶するデータベースである。
サービスＤＢ３２０は、サービス提供装置２０１で提供されるサービスが、例えば銀行等の口座の出入金や振り込みの場合は銀行口座等のデータを、商品売買の場合は商品の価格や品名や在庫等のデータを、各種施設への入退場の場合は入退場可能なチケットやカードの種類や料金等のデータを、オンラインの受験や講義の場合は問題や講義等のデータを、オンライン選挙の場合は候補者や投票数等のデータを、公的資格の確認や入国審査等の場合は公的資格の種類や賞罰の有無等のデータを、遠隔医療の場合はカルテや投与薬品等のデータを、遊戯等のオンラインサービスの場合は遊戯のマップやキャラクタやスコア等のデータを含んでいる。
サービスＤＢ３２０は、サービス提供装置２０１で提供されるサービスが、例えば銀行等の口座の出入金や振り込みの場合は銀行口座等のデータを、商品売買の場合は商品の価格や品名や在庫等のデータを、各種施設への入退場の場合は入退場可能なチケットやカードの種類や料金等のデータを、オンラインの受験や講義の場合は問題や講義等のデータを、オンライン選挙の場合は候補者や投票数等のデータを、公的資格の確認や入国審査等の場合は公的資格の種類や賞罰の有無等のデータを、遠隔医療の場合はカルテや投与薬品等のデータを、遊戯等のオンラインサービスの場合は遊戯のマップやキャラクタやスコア等のデータを含んでいる。
なお、利用者確認装置２０３のＩＤ別特徴量ＤＢ３１０やサービスＤＢ３２０は、別のデータベースサーバや、サービス提供装置２０１や監視員端末２０２に備えられていてもよい。また、監視員端末２０２自体、利用者確認装置２０３に対応する各部を備えて、記憶部に記憶したプログラムをＣＰＵ等の制御手段が実行することで実現してもよい。
また、ＩＤ別特徴量ＤＢ３１０は、画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、別のサーバ等に記憶することもできる。
また、ＩＤ別特徴量ＤＢ３１０は、画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、別のサーバ等に記憶することもできる。
〔サービス利用者確認システムＸのサービス利用者確認処理〕
図２〜図４を参照して、本発明の実施の形態に係るサービス利用者確認システムＸを用いたサービス利用者確認処理についてより詳しく説明する。
本実施形態のサービス利用者確認処理においては、（１）まず、サービス提供装置２０１を用いて現時点で操作を行っているユーザーの顔の画像データを取得する。（２）次にユーザーのＩＤに対応して以前に記憶されていた顔を含む画像データと、現時点で取得した画像データの類似度を比較する。（３）類似度が所定値未満の場合は、監視員端末２０２に警告を報知する。（４）その後、パスワード認証が成功した場合に、実際のサービスを実行する。
このように構成することで、顔によりユーザー確認を行うため、ユーザー本人以外の不正な人物が使用している場合に警告し、迅速で心理的負担が少ないユーザー確認が可能となる。
図２〜図４を参照して、本発明の実施の形態に係るサービス利用者確認システムＸを用いたサービス利用者確認処理についてより詳しく説明する。
本実施形態のサービス利用者確認処理においては、（１）まず、サービス提供装置２０１を用いて現時点で操作を行っているユーザーの顔の画像データを取得する。（２）次にユーザーのＩＤに対応して以前に記憶されていた顔を含む画像データと、現時点で取得した画像データの類似度を比較する。（３）類似度が所定値未満の場合は、監視員端末２０２に警告を報知する。（４）その後、パスワード認証が成功した場合に、実際のサービスを実行する。
このように構成することで、顔によりユーザー確認を行うため、ユーザー本人以外の不正な人物が使用している場合に警告し、迅速で心理的負担が少ないユーザー確認が可能となる。
また、本実施形態のサービス利用者確認処理では、認証強度の変更として（５）第１所定時間経過前なら類似顔画像検索のみ行い、（６）その後第２所定時間経過前ならパスワード認証を加えて行い、（７）第２所定時間よりも以上経過した場合は、顔画像検索を行わずＩＤの取得とパスワード認証のみ行う。
これにより、ＰＣログインや年間パスポート等の場合は、ユーザを最後に確認してからの経過時間によって、確認の方法を変えることで、利用者の心理的苦痛が少なくして使い勝手をよくすることができる。
以下で、このサービス利用者確認システムＸを用いて、サービス利用者確認処理について、図２のフローチャートを用いて、更に詳しく説明する。
これにより、ＰＣログインや年間パスポート等の場合は、ユーザを最後に確認してからの経過時間によって、確認の方法を変えることで、利用者の心理的苦痛が少なくして使い勝手をよくすることができる。
以下で、このサービス利用者確認システムＸを用いて、サービス利用者確認処理について、図２のフローチャートを用いて、更に詳しく説明する。
まず、ステップＳ１０１において、サービス情報処理部２５０は、画像データ取得処理を行う。
本発明の実施の形態に係るサービス利用者確認システムＸのサービス提供装置２０１はユーザー確認を行い、各種サービスを行う端末となる装置である。
図３を参照して説明すると、銀行のＡＴＭにより、ユーザーＰが銀行口座の操作を行う例を示している。この場合、サービス提供装置２０１は、監視カメラ等の撮像部２１０を備えており、この撮像部２１０で撮像された画像を、利用者確認装置２０３へ送信している。
サービス情報処理部２５０は、この撮像部２１０で撮像された画像データを、ネットワーク２００を介して取得する。
本発明の実施の形態に係るサービス利用者確認システムＸのサービス提供装置２０１はユーザー確認を行い、各種サービスを行う端末となる装置である。
図３を参照して説明すると、銀行のＡＴＭにより、ユーザーＰが銀行口座の操作を行う例を示している。この場合、サービス提供装置２０１は、監視カメラ等の撮像部２１０を備えており、この撮像部２１０で撮像された画像を、利用者確認装置２０３へ送信している。
サービス情報処理部２５０は、この撮像部２１０で撮像された画像データを、ネットワーク２００を介して取得する。
次に、ステップＳ１０２において、画像特徴量抽出部２２０は、画像特徴量抽出処理を行う。
具体的には、画像特徴量抽出部２２０は、サービス提供装置２０１の撮像部２１０で撮像された時系列的に連続した画像フレームから、例えば一つから所定数までの画像フレームを選択し、選択された画像フレームの画像特徴量を抽出する。
画像特徴量抽出部２２０が選択する画像フレームは、入力部２１５でユーザーがサービス提供装置２０１にて操作をし始めてから所定時間経過した後のフレームを選択したり、所定時間毎に選択したり、画像の明度や動き等に変化があった際の画像フレームを選択したり、図示しない人感センサに反応があった場合に選択したりする等の各種手法により、選択される。
具体的には、画像特徴量抽出部２２０は、サービス提供装置２０１の撮像部２１０で撮像された時系列的に連続した画像フレームから、例えば一つから所定数までの画像フレームを選択し、選択された画像フレームの画像特徴量を抽出する。
画像特徴量抽出部２２０が選択する画像フレームは、入力部２１５でユーザーがサービス提供装置２０１にて操作をし始めてから所定時間経過した後のフレームを選択したり、所定時間毎に選択したり、画像の明度や動き等に変化があった際の画像フレームを選択したり、図示しない人感センサに反応があった場合に選択したりする等の各種手法により、選択される。
たとえば、画像に変化があった場合の画像フレームを選択する方法は、連続する画像フレームについて、その画像フレーム毎に色合い、形状等の変化を検知する。そして、画像特徴量抽出部２２０は、連続する画像フレームをその変化により単位に分割し、その単位での代表的なフレームを選択する。これらの画像フレームにおいて検知される画像特徴量としては、上述の人物やオブジェクトの検知に加えて、色合い、形状等の画像の特徴を示す多次元ベクトル等を用いることができる。すなわち、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の特徴量を使用できる。
画像特徴量抽出部２２０は、抽出した画像特徴量を、一旦、一時ファイルとして、記憶部に記憶する。
画像特徴量抽出部２２０は、抽出した画像特徴量を、一旦、一時ファイルとして、記憶部に記憶する。
次に、ステップＳ１０３において、画像特徴量検索部２３０は、画像特徴量検索処理を行う。
画像特徴量検索部２３０は、選択された画像フレームから抽出された画像特徴量を基にして、ＩＤ別特徴量ＤＢ３１０から、顔画像の画像特徴量の類似度が高いユーザーを検索する。画像特徴量検索部２３０は、ＩＤ別特徴量ＤＢ３１０に含まれるユーザーのＩＤ別の特徴量と、選択された画像フレームの画像特徴量とを比較して類似度を算出する。画像特徴量検索部２３０は、この類似度が所定値以上のユーザーのＩＤをすべて検索結果として出力する。この際に、画像特徴量検索部２３０は、類似度が所定値以上のユーザーが検索できなかった場合には、その旨出力する。
なお、この時点での類似度検索処理は、第２所定時間以内に、ユーザー確認されたユーザーについてのみ行ってもよい。
また、画像特徴量抽出部２２０は、一つの画像フレームのみを選択して、これを基に類似度検索処理を行ってもよい。
画像特徴量検索部２３０は、選択された画像フレームから抽出された画像特徴量を基にして、ＩＤ別特徴量ＤＢ３１０から、顔画像の画像特徴量の類似度が高いユーザーを検索する。画像特徴量検索部２３０は、ＩＤ別特徴量ＤＢ３１０に含まれるユーザーのＩＤ別の特徴量と、選択された画像フレームの画像特徴量とを比較して類似度を算出する。画像特徴量検索部２３０は、この類似度が所定値以上のユーザーのＩＤをすべて検索結果として出力する。この際に、画像特徴量検索部２３０は、類似度が所定値以上のユーザーが検索できなかった場合には、その旨出力する。
なお、この時点での類似度検索処理は、第２所定時間以内に、ユーザー確認されたユーザーについてのみ行ってもよい。
また、画像特徴量抽出部２２０は、一つの画像フレームのみを選択して、これを基に類似度検索処理を行ってもよい。
ステップＳ１０４において、認証強度設定部２４０は、第１所定時間以内に確認されていたユーザーであったか否かを判定する。
認証強度設定部２４０は、ＩＤ別特徴量ＤＢ３１０を読み出し、類似度が所定値以上のユーザーがいた場合に、そのユーザーが第１所定時間以内にユーザー確認されていた場合にＹｅｓと判定する。つまり、認証強度設定部２４０は、ＰＣでのログインや施設のゲート等で、短時間の内に繰返しユーザー確認を行う際に、既に確認が終わっているユーザーであった場合はＹｅｓと判定する。この際に、類似度検索を行った画像フレームが複数あり、類似と判断されたユーザーのＩＤが複数だった場合は、例えば、類似度の大きさが一番大きかったユーザー又は検索された数が一番多かったユーザーを選択して判定する。また、認証強度設定部２４０は、類似度検索の結果、類似度が所定値以上のユーザーが検索できなかった場合、又は検索されたユーザーが、第１所定時間以内にユーザー確認されていなかった場合は、Ｎｏと判定する。
Ｙｅｓの場合は、認証強度設定部２４０は、処理をステップＳ１１２に進める。
Ｎｏの場合は、認証強度設定部２４０は、処理をステップＳ１０５に進める。
認証強度設定部２４０は、ＩＤ別特徴量ＤＢ３１０を読み出し、類似度が所定値以上のユーザーがいた場合に、そのユーザーが第１所定時間以内にユーザー確認されていた場合にＹｅｓと判定する。つまり、認証強度設定部２４０は、ＰＣでのログインや施設のゲート等で、短時間の内に繰返しユーザー確認を行う際に、既に確認が終わっているユーザーであった場合はＹｅｓと判定する。この際に、類似度検索を行った画像フレームが複数あり、類似と判断されたユーザーのＩＤが複数だった場合は、例えば、類似度の大きさが一番大きかったユーザー又は検索された数が一番多かったユーザーを選択して判定する。また、認証強度設定部２４０は、類似度検索の結果、類似度が所定値以上のユーザーが検索できなかった場合、又は検索されたユーザーが、第１所定時間以内にユーザー確認されていなかった場合は、Ｎｏと判定する。
Ｙｅｓの場合は、認証強度設定部２４０は、処理をステップＳ１１２に進める。
Ｎｏの場合は、認証強度設定部２４０は、処理をステップＳ１０５に進める。
ステップＳ１０５において、ユーザーが検索できなかった又は第１所定時間以内にユーザー確認されていなかった場合、認証強度設定部２４０は、第２所定時間以内にユーザー確認されていたユーザーがいたか否かを判定する。認証強度設定部２４０は、類似度が所定値以上のユーザーが第２所定時間以内に確認されていた場合、Ｙｅｓと判定する。それ以外の場合は、Ｎｏと判定する。
Ｙｅｓの場合、認証強度設定部２４０は、処理をステップＳ１１０に進める。
Ｎｏの場合、認証強度設定部２４０は、処理をステップＳ１０６に進める。
Ｙｅｓの場合、認証強度設定部２４０は、処理をステップＳ１１０に進める。
Ｎｏの場合、認証強度設定部２４０は、処理をステップＳ１０６に進める。
ステップＳ１０６において、第１所定時間以内及び第２所定時間以内にユーザー確認されていたユーザーが検索されなかった場合、サービス情報処理部２５０は、ＩＤ取得処理を行う。サービス情報処理部２５０は、サービス提供装置２０１の入力部２１５等から入力されたユーザーのＩＤをネットワーク２００を介して取得する。
図３のＡＴＭの例では、サービス情報処理部２５０は、ユーザーがサービス提供装置２０１に挿入したキャッシュカードや通帳の口座番号をＩＤとして取得する。また、サービス情報処理部２５０は、例えば、会員取引端末の場合は会員カードのＩＤを、自動販売機や公衆電話の場合はプリペイドカードや会員カード等のＩＤを、施設の入場／退出管理端末の場合は入場チケットやＩＤカードを、選挙用端末の場合は投票用紙番号や免許証番号等のＩＤを、公的資格や入国審査等の審査用端末の場合は資格の番号やパスポート番号等のＩＤを、オンライン受験や講義端末の場合は学生証等のＩＤを、遠隔医療端末の場合は医師のＩＤを、アーケードゲーム端末の場合はゲーム用カードのＩＤを、取得する。
図３のＡＴＭの例では、サービス情報処理部２５０は、ユーザーがサービス提供装置２０１に挿入したキャッシュカードや通帳の口座番号をＩＤとして取得する。また、サービス情報処理部２５０は、例えば、会員取引端末の場合は会員カードのＩＤを、自動販売機や公衆電話の場合はプリペイドカードや会員カード等のＩＤを、施設の入場／退出管理端末の場合は入場チケットやＩＤカードを、選挙用端末の場合は投票用紙番号や免許証番号等のＩＤを、公的資格や入国審査等の審査用端末の場合は資格の番号やパスポート番号等のＩＤを、オンライン受験や講義端末の場合は学生証等のＩＤを、遠隔医療端末の場合は医師のＩＤを、アーケードゲーム端末の場合はゲーム用カードのＩＤを、取得する。
次に、ステップＳ１０７において、画像特徴量比較部２２５は画像特徴量比較処理を行う。
ここでは、画像特徴量比較部２２５は、正当なユーザーと、現在撮像された人物の顔画像の類似度の比較を行う。
まず、画像特徴量比較部２２５は、ステップＳ１０６のＩＤ取得処理で取得したＩＤを基に、ＩＤ別特徴量ＤＢ３１０を読み出し、以前に記憶された画像特徴量を取得する。
この上で、画像特徴量比較部２２５は、取得したＩＤに対応した画像特徴量と、ステップＳ１０２の画像特徴量算出処理で算出された現時点での画像データの画像特徴量とを比較する。
つまり、以前に記録されたユーザーの画像特徴量と、現時点で撮像された画像データについて算出された画像特徴量とを比較する。画像特徴量比較部２２５は、例えば、画像特徴量の要素毎に重み付けをして差分等を算出し、同一人物であるかを比較する。
画像特徴量比較部２２５は、類似度検索を行った画像フレームが複数あった場合は、各画像フレームについて算出された画像特徴量のそれぞれについて比較を行う。
ここでは、画像特徴量比較部２２５は、正当なユーザーと、現在撮像された人物の顔画像の類似度の比較を行う。
まず、画像特徴量比較部２２５は、ステップＳ１０６のＩＤ取得処理で取得したＩＤを基に、ＩＤ別特徴量ＤＢ３１０を読み出し、以前に記憶された画像特徴量を取得する。
この上で、画像特徴量比較部２２５は、取得したＩＤに対応した画像特徴量と、ステップＳ１０２の画像特徴量算出処理で算出された現時点での画像データの画像特徴量とを比較する。
つまり、以前に記録されたユーザーの画像特徴量と、現時点で撮像された画像データについて算出された画像特徴量とを比較する。画像特徴量比較部２２５は、例えば、画像特徴量の要素毎に重み付けをして差分等を算出し、同一人物であるかを比較する。
画像特徴量比較部２２５は、類似度検索を行った画像フレームが複数あった場合は、各画像フレームについて算出された画像特徴量のそれぞれについて比較を行う。
ステップＳ１０８において、画像特徴量比較部２２５は、取得したＩＤのユーザーと顔が類似するか否か判定する。つまり、画像特徴量比較部２２５は、ＩＤに対応して記録されていた画像特徴量と、現時点で撮像された画像データの画像特徴量とを比較した結果、画像特徴量の類似度が所定値以上の場合はＹｅｓと判定する。また、画像特徴量比較部２２５は、複数の画像フレームで比較を行った場合は、類似度が所定値以上であった画像フレームの数が所定割合より大きかった場合等にも、Ｙｅｓと判定する。それ以外の場合には、画像特徴量比較部２２５は、Ｎｏと判定する。
Ｙｅｓ、つまりサービス提供装置２０１を使用しているのが、以前にサービスを利用したユーザーと同じ、すなわち正当なユーザーと推定される場合、画像特徴量比較部２２５は、処理をステップＳ１１０に進める。
Ｎｏ、つまりサービス提供装置２０１を使用しているのが、正当なユーザーとは別である不正の人物と推定される場合、画像特徴量比較部２２５は、処理をステップＳ１０９に進める。
Ｙｅｓ、つまりサービス提供装置２０１を使用しているのが、以前にサービスを利用したユーザーと同じ、すなわち正当なユーザーと推定される場合、画像特徴量比較部２２５は、処理をステップＳ１１０に進める。
Ｎｏ、つまりサービス提供装置２０１を使用しているのが、正当なユーザーとは別である不正の人物と推定される場合、画像特徴量比較部２２５は、処理をステップＳ１０９に進める。
ステップＳ１０９において、現在、サービス提供装置２０１を使用しているのが正当なユーザーとは別の人物と推定された場合、サービス情報処理部２５０は警告報知処理を行う。
図４を参照すると、サービス情報処理部２５０は、ネットワーク２００を介して、監視員端末２０２に対して、表示部に画面例５００のような警告画面を表示させ、警告音を鳴らさせる等して報知する。
サービス情報処理部２５０は、この画面例５００では、検索結果表示画面５１０に、取得したＩＤのユーザーの顔画像の画像を表示させる。
また、サービス情報処理部２５０は検索結果表示画面５１０の下部に、取得したＩＤに対応するユーザーの情報、画像を取得した場所や日時等の情報を表示させる。
また、サービス情報処理部２５０は、取得画像再生画面５２０に、現在、使用している人物の顔をサービス提供装置２０１の撮像部２１０で撮像した画像を表示させる。サービス情報処理部２５０は、この画像を、動画像としてリアルタイム表示させることが可能である。また、サービス情報処理部２５０は、取得画像再生画面５２０の下部に、サービス提供装置２０１の場所や現在時刻等を表示させる。
監視員端末２０２で監視していたサービスの監視員は、この警報報知を受けて、サービス提供装置２０１の場所まで急行し、当該人物に事情を尋ねる等の処置を行うことが可能になる。これにより、例えば、振り込め詐欺や拾得されたＩＤカードを勝手に使用したような事案に対して、実際の現金の引き下ろし等のサービスが提供される前に、対応可能となる。
また、サービス情報処理部２５０は、監視員端末２０２からの監視員の指示を取得して各種検索を画像特徴量検索部２３０に実行させることも可能である。たとえば、監視員から指示されたユーザーのＩＤを検索条件として、類似するユーザーを検索することが可能である。これにより、例えば、正当なユーザーではなくても、当該ユーザーの家族等であることが明らかな場合に、わざわざ監視員が事情を聞く等の必要がなくなる。
図４を参照すると、サービス情報処理部２５０は、ネットワーク２００を介して、監視員端末２０２に対して、表示部に画面例５００のような警告画面を表示させ、警告音を鳴らさせる等して報知する。
サービス情報処理部２５０は、この画面例５００では、検索結果表示画面５１０に、取得したＩＤのユーザーの顔画像の画像を表示させる。
また、サービス情報処理部２５０は検索結果表示画面５１０の下部に、取得したＩＤに対応するユーザーの情報、画像を取得した場所や日時等の情報を表示させる。
また、サービス情報処理部２５０は、取得画像再生画面５２０に、現在、使用している人物の顔をサービス提供装置２０１の撮像部２１０で撮像した画像を表示させる。サービス情報処理部２５０は、この画像を、動画像としてリアルタイム表示させることが可能である。また、サービス情報処理部２５０は、取得画像再生画面５２０の下部に、サービス提供装置２０１の場所や現在時刻等を表示させる。
監視員端末２０２で監視していたサービスの監視員は、この警報報知を受けて、サービス提供装置２０１の場所まで急行し、当該人物に事情を尋ねる等の処置を行うことが可能になる。これにより、例えば、振り込め詐欺や拾得されたＩＤカードを勝手に使用したような事案に対して、実際の現金の引き下ろし等のサービスが提供される前に、対応可能となる。
また、サービス情報処理部２５０は、監視員端末２０２からの監視員の指示を取得して各種検索を画像特徴量検索部２３０に実行させることも可能である。たとえば、監視員から指示されたユーザーのＩＤを検索条件として、類似するユーザーを検索することが可能である。これにより、例えば、正当なユーザーではなくても、当該ユーザーの家族等であることが明らかな場合に、わざわざ監視員が事情を聞く等の必要がなくなる。
ここで、ステップＳ１１０において、サービス情報処理部２５０は、パスワード認証処理を行う。
サービス情報処理部２５０は、サービス提供装置２０１の入力部２１５のタッチパネルでユーザーＰが入力した暗証番号やパスワード等を、ネットワーク２００を介して取得する。そして、サービス情報処理部２５０は、ＩＤ別特徴量ＤＢ３１０のユーザーのパスワードを参照して比較するパスワード認証を行う。
なお、サービス情報処理部２５０は、別の人物と推定された場合、パスワード認証を中止し、監視員が来て中止状態が解除されるまで待機する等の処理を行うこともできる。
サービス情報処理部２５０は、サービス提供装置２０１の入力部２１５のタッチパネルでユーザーＰが入力した暗証番号やパスワード等を、ネットワーク２００を介して取得する。そして、サービス情報処理部２５０は、ＩＤ別特徴量ＤＢ３１０のユーザーのパスワードを参照して比較するパスワード認証を行う。
なお、サービス情報処理部２５０は、別の人物と推定された場合、パスワード認証を中止し、監視員が来て中止状態が解除されるまで待機する等の処理を行うこともできる。
次に、ステップＳ１１０において、サービス情報処理部２５０は、パスワード認証が成功したか否かを判定する。
Ｙｅｓ、すなわちパスワード認証が成功した場合、サービス情報処理部２５０は処理をステップＳ１１２に進める。
Ｎｏ、すなわちパスワード認証が失敗した場合、サービス情報処理部２５０はサービス利用者確認処理を終了する。
Ｙｅｓ、すなわちパスワード認証が成功した場合、サービス情報処理部２５０は処理をステップＳ１１２に進める。
Ｎｏ、すなわちパスワード認証が失敗した場合、サービス情報処理部２５０はサービス利用者確認処理を終了する。
ステップＳ１１２において、既にユーザー確認されている場合やパスワード認証が成功した場合、サービス実行部２６０はサービス実行処理を行う。
サービス実行部２６０は、サービス提供装置２０１に、ユーザー確認が完了したことを通知する。これにより、サービス提供装置２０１は、銀行等の口座の出入金や振り込み、商品の売買の実行、各種施設への入退場の許可、オンラインの受験や講義の配信、オンライン選挙の投票、公的資格の確認や入国審査の許可、遠隔医療の実行、遊戯のプレイ等の各種サービスを実際に提供する。
この際に、サービス実行部２６０は、サービス提供装置２０１のサービス撮像部２１０にて取得されたユーザーの画像データを用いて特徴量を抽出しなおし、ＩＤ別特徴量ＤＢ３１０に画像データと特徴量とをまた記憶して更新してもよい。
以上により、サービス利用者確認処理を終了する。
サービス実行部２６０は、サービス提供装置２０１に、ユーザー確認が完了したことを通知する。これにより、サービス提供装置２０１は、銀行等の口座の出入金や振り込み、商品の売買の実行、各種施設への入退場の許可、オンラインの受験や講義の配信、オンライン選挙の投票、公的資格の確認や入国審査の許可、遠隔医療の実行、遊戯のプレイ等の各種サービスを実際に提供する。
この際に、サービス実行部２６０は、サービス提供装置２０１のサービス撮像部２１０にて取得されたユーザーの画像データを用いて特徴量を抽出しなおし、ＩＤ別特徴量ＤＢ３１０に画像データと特徴量とをまた記憶して更新してもよい。
以上により、サービス利用者確認処理を終了する。
以上のように構成することで、以下のような効果を得ることができる。
本発明の実施の形態に係る利用者確認装置２０３は、画像データから顔の画像特徴量を抽出する画像特徴量抽出部２２０と、サービス提供装置２０１の入力部２１５で入力されたユーザーのＩＤを取得するサービス情報処理部２５０と、サービス提供装置２０１の撮像部２１０で撮像された画像データを取得するサービス情報処理部２５０と、取得されたＩＤに対応して以前に記憶された画像特徴量をＩＤ別特徴量ＤＢ３１０から読み出し、サービス情報処理部２５０により新たに取得された画像データから抽出された画像特徴量との類似度を比較してユーザーの確認を行う画像特徴量比較部２２５と、比較された画像特徴量間の類似度が低かった場合に警告を報知するサービス情報処理部２５０とを備えることを特徴とする。
このように構成することで、画像特徴量により使用者を判定するため、サービスの正当なユーザー本人、すなわち通常使用している利用者以外の不正な人物がサービスを使用しているか否かを容易に検出できる。
また、係員を介さずに顔認識により画像特徴量を抽出して判定することが可能のため、素早くユーザーの確認が可能となる。特に、ユーザーがＩＤを入力する際に際に既に顔の特徴量を算出しておけば、ＩＤの確認とほぼ同時にユーザーの確認が可能となり、振り込め詐欺等の迅速な対応が必要な事案に対処可能となる。
さらに、類似度が低かった場合にのみ警告を報知するため、ユーザーの心理的負担が少なくなるという効果が得られる。
また、使用者の履歴と、認証を必要としている使用者の顔画像の比較を行なうため、利用証の偽造を判定することができる。また、顔画像の画像特徴量を認識するため、メガネや髪型の変更等があっても見分けることが可能となり、サービスの係員の負担を軽減可能となる。また、受験、講義等の身代わりを防止することもできる。
さらに、ＩＤ取得後にＩＤ別特徴量ＤＢ３１０に記憶された特徴量を更新することで、ユーザーの経年による外観の変化等にも対応して有効に顔認識が可能となる。
また、近年、ＡＴＭ等の端末には殆ど防犯カメラ等の撮像手段が備えられており、又はＰＣの他にもスマートフォンや携帯電話等、カメラを内蔵する情報機器が増加している。このため、カメラにより取得された画像データを有用に利用することができ、コストを削減することができる。
本発明の実施の形態に係る利用者確認装置２０３は、画像データから顔の画像特徴量を抽出する画像特徴量抽出部２２０と、サービス提供装置２０１の入力部２１５で入力されたユーザーのＩＤを取得するサービス情報処理部２５０と、サービス提供装置２０１の撮像部２１０で撮像された画像データを取得するサービス情報処理部２５０と、取得されたＩＤに対応して以前に記憶された画像特徴量をＩＤ別特徴量ＤＢ３１０から読み出し、サービス情報処理部２５０により新たに取得された画像データから抽出された画像特徴量との類似度を比較してユーザーの確認を行う画像特徴量比較部２２５と、比較された画像特徴量間の類似度が低かった場合に警告を報知するサービス情報処理部２５０とを備えることを特徴とする。
このように構成することで、画像特徴量により使用者を判定するため、サービスの正当なユーザー本人、すなわち通常使用している利用者以外の不正な人物がサービスを使用しているか否かを容易に検出できる。
また、係員を介さずに顔認識により画像特徴量を抽出して判定することが可能のため、素早くユーザーの確認が可能となる。特に、ユーザーがＩＤを入力する際に際に既に顔の特徴量を算出しておけば、ＩＤの確認とほぼ同時にユーザーの確認が可能となり、振り込め詐欺等の迅速な対応が必要な事案に対処可能となる。
さらに、類似度が低かった場合にのみ警告を報知するため、ユーザーの心理的負担が少なくなるという効果が得られる。
また、使用者の履歴と、認証を必要としている使用者の顔画像の比較を行なうため、利用証の偽造を判定することができる。また、顔画像の画像特徴量を認識するため、メガネや髪型の変更等があっても見分けることが可能となり、サービスの係員の負担を軽減可能となる。また、受験、講義等の身代わりを防止することもできる。
さらに、ＩＤ取得後にＩＤ別特徴量ＤＢ３１０に記憶された特徴量を更新することで、ユーザーの経年による外観の変化等にも対応して有効に顔認識が可能となる。
また、近年、ＡＴＭ等の端末には殆ど防犯カメラ等の撮像手段が備えられており、又はＰＣの他にもスマートフォンや携帯電話等、カメラを内蔵する情報機器が増加している。このため、カメラにより取得された画像データを有用に利用することができ、コストを削減することができる。
また、本発明の実施の形態に係る利用者確認装置２０３は、ユーザーのＩＤ別のパスワード認証を行うサービス情報処理部２５０と、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶するＩＤ別特徴量ＤＢ３１０と、新たに取得された画像データから抽出された画像特徴量と類似する画像特徴量をもつユーザーのＩＤをＩＤ別特徴量ＤＢ３１０から検索する画像特徴量検索部２３０と、画像特徴量検索部２３０で検索されたＩＤのユーザーが、既に確認が行われていた場合に、該確認が行われてからの経過時間により、更にサービス情報処理部２５０によるＩＤの取得、又はサービス情報処理部２５０によるパスワード認証を行うか否かを設定する認証強度設定部２４０とを備えることを特徴とする。
このように構成することで、最後にユーザーの確認をしたときからの経過時間によってユーザーの確認方法を変更することができる。これにより、施設の年間パスポートの確認やＰＣログイン等、短時間の内に繰返し認証が必要な場合に、いちいちユーザーの確認をする必要がなくなり、ユーザーの心理的な負担を軽減可能となる。また、時間経過により認証強度を変更することで、セキュリティも確保可能となる。また、ユーザーの髪型や色の変化や髭の有無等の外観の経時的な変化に柔軟に対応可能となる。
このように構成することで、最後にユーザーの確認をしたときからの経過時間によってユーザーの確認方法を変更することができる。これにより、施設の年間パスポートの確認やＰＣログイン等、短時間の内に繰返し認証が必要な場合に、いちいちユーザーの確認をする必要がなくなり、ユーザーの心理的な負担を軽減可能となる。また、時間経過により認証強度を変更することで、セキュリティも確保可能となる。また、ユーザーの髪型や色の変化や髭の有無等の外観の経時的な変化に柔軟に対応可能となる。
また、本発明の実施の形態に係るサービス利用者確認システムＸは、各種サービスを提供するサービス提供装置２０１及びサービスのユーザーを確認する利用者確認装置２０３とを備え、サービス提供装置２０１は、サービスを現在利用しているユーザーのＩＤ又はパスワードを取得する入力部２１５と、サービスを現在利用しているユーザーを撮像する撮像手段とを備え、利用者確認装置２０３は、画像データから顔の画像特徴量を抽出する画像特徴量抽出部２２０と、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶するＩＤ別特徴量ＤＢ３１０と、サービス提供装置２０１の入力部２１５で入力されたユーザーのＩＤを取得するサービス情報処理部２５０と、サービス提供装置２０１の撮像部２１０で撮像された画像データを取得するサービス情報処理部２５０と、取得されたＩＤに対応して以前に記憶された画像特徴量をＩＤ別特徴量ＤＢ３１０から読み出し、サービス情報処理部２５０により新たに取得された画像データから抽出された画像特徴量との類似度を比較してユーザーの確認を行う画像特徴量比較部２２５と、比較された画像特徴量間の類似度が低かった場合に警告を報知するサービス情報処理部２５０とを備えることを特徴とする。
また、本発明の実施の形態に係るサービス利用者確認方法は、画像データから顔の画像特徴量を抽出し、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶し、入力されたユーザーのＩＤを取得し、撮像された画像データを取得し、取得されたＩＤに対応して以前に記憶された画像特徴量を読み出し、新たに取得された画像データから抽出された画像特徴量との類似度を比較してユーザーの確認を行い、比較された画像特徴量間の類似度が低かった場合に警告を報知することを特徴とする。
また、本発明の実施の形態に係る利用者確認装置２０３は、画像特徴量検索部２３０が、サービス提供装置２０１の撮像部２１０で撮像された複数の画像データから抽出された画像特徴量から類似する画像特徴量をもつユーザーのＩＤをＩＤ別特徴量ＤＢ３１０から検索し、類似度が最大、あるいは、所定値以上の類似度となる検索結果数によりユーザーの確認を行うことを特徴とする。
また、本発明の実施の形態に係る認証強度設定部２４０は、第１所定時間以内にユーザーの確認がされていた場合はサービス情報処理部２５０によりＩＤを取得せず、第１所定時間が経過した後で第２所定時間以内にユーザーの確認がされていた場合はパスワード認証を行い、第２所定時間が経過した後ではＩＤを取得しパスワード認証も行うことを特徴とする。
また、本発明の実施の形態に係るサービス利用者確認方法は、画像データから顔の画像特徴量を抽出し、抽出された画像特徴量を、サービスのユーザーのＩＤ別に記憶し、入力されたユーザーのＩＤを取得し、撮像された画像データを取得し、取得されたＩＤに対応して以前に記憶された画像特徴量を読み出し、新たに取得された画像データから抽出された画像特徴量との類似度を比較してユーザーの確認を行い、比較された画像特徴量間の類似度が低かった場合に警告を報知することを特徴とする。
また、本発明の実施の形態に係る利用者確認装置２０３は、画像特徴量検索部２３０が、サービス提供装置２０１の撮像部２１０で撮像された複数の画像データから抽出された画像特徴量から類似する画像特徴量をもつユーザーのＩＤをＩＤ別特徴量ＤＢ３１０から検索し、類似度が最大、あるいは、所定値以上の類似度となる検索結果数によりユーザーの確認を行うことを特徴とする。
また、本発明の実施の形態に係る認証強度設定部２４０は、第１所定時間以内にユーザーの確認がされていた場合はサービス情報処理部２５０によりＩＤを取得せず、第１所定時間が経過した後で第２所定時間以内にユーザーの確認がされていた場合はパスワード認証を行い、第２所定時間が経過した後ではＩＤを取得しパスワード認証も行うことを特徴とする。
なお、本実施の形態における利用者確認装置２０３における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。
たとえば、画像特徴量抽出部２２０、ＩＤ別特徴量ＤＢ３１０、画像特徴量検索部２３０をＰＣ等のコンピュータで実現し、サービス情報処理部２５０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで利用者確認装置２０３を実現することができる。
また、本実施の形態においては、検索条件に設定される画像データを複数のフレームとして検索するように記載したが、これに限定するものでなく、たとえば類似する画像グループを平均したり代表画像を使用したりして検索してもよい。
また、上述の実施の形態では、顔画像取得の後でＩＤ取得をするように構成したが、これに限られず、ＩＤを取得してから顔画像を取得してもよい。
また、上述の実施の形態では、第１所定時間及び第２所定時間を設定した例を示したが、第１所定時間及び第２所定時間を設定しないことも可能である。さらに、ユーザーのサービスの利用資格等に合わせて、第１所定時間及び第２所定時間のいずれかを設定しないことも可能である。
また、本実施の形態における利用者確認装置２０３は、各種サービスのセキュリティーのレベルに合わせて、顔認識、ＩＤ提示、パスワード認証の他の認証方式を使用することも可能である。
たとえば、画像特徴量抽出部２２０、ＩＤ別特徴量ＤＢ３１０、画像特徴量検索部２３０をＰＣ等のコンピュータで実現し、サービス情報処理部２５０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで利用者確認装置２０３を実現することができる。
また、本実施の形態においては、検索条件に設定される画像データを複数のフレームとして検索するように記載したが、これに限定するものでなく、たとえば類似する画像グループを平均したり代表画像を使用したりして検索してもよい。
また、上述の実施の形態では、顔画像取得の後でＩＤ取得をするように構成したが、これに限られず、ＩＤを取得してから顔画像を取得してもよい。
また、上述の実施の形態では、第１所定時間及び第２所定時間を設定した例を示したが、第１所定時間及び第２所定時間を設定しないことも可能である。さらに、ユーザーのサービスの利用資格等に合わせて、第１所定時間及び第２所定時間のいずれかを設定しないことも可能である。
また、本実施の形態における利用者確認装置２０３は、各種サービスのセキュリティーのレベルに合わせて、顔認識、ＩＤ提示、パスワード認証の他の認証方式を使用することも可能である。
また、本発明の実施の形態に係るサービス利用者確認システムＸにおいては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できる。
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
２００ ネットワーク
２０１ サービス提供装置
２０２ 監視員端末
２０３ 利用者確認装置
２１０ 撮像部
２１５ 入力部
２２０ 画像特徴量抽出部
２２５ 画像特徴量比較部
２３０ 画像特徴量検索部
２４０ 認証強度設定部
２５０ サービス情報処理部
２６０ サービス実行部
３１０ ＩＤ別特徴量ＤＢ
３２０ サービスＤＢ
５００ 画面例
５１０ 検索結果表示画面
５２０ 取得画像再生画面
Ｘ サービス利用者確認システム
２０１ サービス提供装置
２０２ 監視員端末
２０３ 利用者確認装置
２１０ 撮像部
２１５ 入力部
２２０ 画像特徴量抽出部
２２５ 画像特徴量比較部
２３０ 画像特徴量検索部
２４０ 認証強度設定部
２５０ サービス情報処理部
２６０ サービス実行部
３１０ ＩＤ別特徴量ＤＢ
３２０ サービスＤＢ
５００ 画面例
５１０ 検索結果表示画面
５２０ 取得画像再生画面
Ｘ サービス利用者確認システム
Claims (2)
- 画像データから顔の画像特徴量を抽出する画像特徴量抽出手段と、
サービス提供装置で入力された前記利用者のＩＤを取得するＩＤ取得手段と、
前記サービス提供装置の撮像手段で撮像された画像データを取得する画像データ取得手段と、
取得された前記ＩＤに対応して以前に記憶された前記画像特徴量と、前記画像データ取得手段により新たに取得された前記画像データから抽出された前記画像特徴量との類似度を比較して前記利用者の確認を行う画像特徴量比較手段と、
比較された前記画像特徴量間の類似度が低かった場合に警告を報知する警告報知手段とを備える
ことを特徴とするサービス利用者確認装置。 - 前記利用者の前記ＩＤ別のパスワード認証を行うパスワード認証手段と、
抽出された前記画像特徴量を、サービスの利用者のＩＤ別に記憶する特徴量記憶手段と、
新たに取得された前記画像データから抽出された前記画像特徴量と類似する前記画像特徴量をもつ前記利用者の前記ＩＤを前記特徴量記憶手段から検索する画像特徴量検索手段と、
前記画像特徴量検索手段で検索された前記ＩＤの前記利用者が、既に確認が行われていた場合に、該確認が行われてからの経過時間により、更に前記ＩＤ取得手段による前記ＩＤの取得、又は前記パスワード認証手段による前記パスワード認証を行うか否かを設定する認証強度設定手段とを備える
ことを特徴とする請求項１に記載のサービス利用者確認装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013064066A JP2014191416A (ja) | 2013-03-26 | 2013-03-26 | サービス利用者確認装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013064066A JP2014191416A (ja) | 2013-03-26 | 2013-03-26 | サービス利用者確認装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014191416A true JP2014191416A (ja) | 2014-10-06 |
Family
ID=51837650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013064066A Pending JP2014191416A (ja) | 2013-03-26 | 2013-03-26 | サービス利用者確認装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014191416A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016082572A (ja) * | 2014-10-15 | 2016-05-16 | 由田新技股▲ふん▼有限公司 | 視標追跡手順に基づくネットワーク認証方法およびシステム |
| CN108463825A (zh) * | 2016-03-01 | 2018-08-28 | 谷歌有限责任公司 | 免提服务请求中的面部模板和令牌预取 |
| US10460317B2 (en) | 2014-07-11 | 2019-10-29 | Google Llc | Hands-free transaction tokens via payment processor |
| US10474879B2 (en) | 2016-07-31 | 2019-11-12 | Google Llc | Automatic hands free service requests |
| US10482463B2 (en) | 2016-03-01 | 2019-11-19 | Google Llc | Facial profile modification for hands free transactions |
| JP2020520511A (ja) * | 2017-07-20 | 2020-07-09 | シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | アクセス制御方法及び装置、システム、電子デバイス、プログラムならびに媒体 |
| JP2022013524A (ja) * | 2020-06-30 | 2022-01-18 | Ａｒｉｔｈｍｅｒ株式会社 | 帳票情報生成装置、方法及びプログラム |
| JP2022142032A (ja) * | 2021-03-16 | 2022-09-30 | 株式会社ネクイノ | 情報処理装置、情報処理方法、およびプログラム |
| US11574301B2 (en) | 2014-07-11 | 2023-02-07 | Google Llc | Hands-free transactions with voice recognition |
| JP7307431B1 (ja) | 2022-09-27 | 2023-07-12 | 株式会社レイヤード | 情報処理システム |
-
2013
- 2013-03-26 JP JP2013064066A patent/JP2014191416A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460317B2 (en) | 2014-07-11 | 2019-10-29 | Google Llc | Hands-free transaction tokens via payment processor |
| US11574301B2 (en) | 2014-07-11 | 2023-02-07 | Google Llc | Hands-free transactions with voice recognition |
| JP2016082572A (ja) * | 2014-10-15 | 2016-05-16 | 由田新技股▲ふん▼有限公司 | 視標追跡手順に基づくネットワーク認証方法およびシステム |
| CN108463825A (zh) * | 2016-03-01 | 2018-08-28 | 谷歌有限责任公司 | 免提服务请求中的面部模板和令牌预取 |
| JP2019508772A (ja) * | 2016-03-01 | 2019-03-28 | グーグル エルエルシー | ハンズフリーサービスの要求における顔のテンプレートおよびトークンのプリフェッチ |
| US10482463B2 (en) | 2016-03-01 | 2019-11-19 | Google Llc | Facial profile modification for hands free transactions |
| US10839393B2 (en) | 2016-03-01 | 2020-11-17 | Google Llc | Facial profile modification for hands free transactions |
| US11495051B2 (en) | 2016-07-31 | 2022-11-08 | Google Llc | Automatic hands free service requests |
| US10474879B2 (en) | 2016-07-31 | 2019-11-12 | Google Llc | Automatic hands free service requests |
| JP2020520511A (ja) * | 2017-07-20 | 2020-07-09 | シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | アクセス制御方法及び装置、システム、電子デバイス、プログラムならびに媒体 |
| JP7086361B2 (ja) | 2020-06-30 | 2022-06-20 | Ａｒｉｔｈｍｅｒ株式会社 | 帳票情報生成装置、方法及びプログラム |
| JP2022013524A (ja) * | 2020-06-30 | 2022-01-18 | Ａｒｉｔｈｍｅｒ株式会社 | 帳票情報生成装置、方法及びプログラム |
| JP2022142032A (ja) * | 2021-03-16 | 2022-09-30 | 株式会社ネクイノ | 情報処理装置、情報処理方法、およびプログラム |
| JP7307431B1 (ja) | 2022-09-27 | 2023-07-12 | 株式会社レイヤード | 情報処理システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014191416A (ja) | サービス利用者確認装置 | |
| JP7196893B2 (ja) | 顔照合システム、顔照合方法、及びプログラム | |
| JP4862447B2 (ja) | 顔認識システム | |
| CN108399665A (zh) | 基于人脸识别的安全监控方法、装置及存储介质 | |
| JP5500303B1 (ja) | 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体 | |
| CN101556717A (zh) | 一种atm智能安保系统及监测方法 | |
| US11501301B2 (en) | Transaction terminal fraud processing | |
| CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
| WO2019200872A1 (zh) | 身份验证方法和装置、电子设备、计算机程序和存储介质 | |
| JPWO2017146161A1 (ja) | 顔照合システム、顔照合装置、顔照合方法、及び記録媒体 | |
| JP2001256496A (ja) | 顔画像認識装置及び顔画像認識方法 | |
| JP2022180492A (ja) | チケット発券システム、検札装置、およびプログラム | |
| TWI671701B (zh) | 交易行為偵測系統及其方法 | |
| JP2002304651A (ja) | 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
| JPWO2018074027A1 (ja) | 異常検出装置、制御方法、及びプログラム | |
| US20220277311A1 (en) | A transaction processing system and a transaction method based on facial recognition | |
| EP3783561A1 (en) | Information processing device, information processing system, information processing method, and program | |
| US11948365B2 (en) | Frictionless authentication and monitoring | |
| JP2013077067A (ja) | 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム | |
| JP2022117025A (ja) | 本人確認方法、プログラム、及び情報システム | |
| WO2020232889A1 (zh) | 支票取现方法、装置、设备及计算机可读存储介质 | |
| US11659273B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| JP2005242869A (ja) | 現金自動取引システム及び現金自動取引装置 | |
| US20230088964A1 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| US20230326254A1 (en) | Authentication apparatus, control method, and computer-readable medium |