JP2022117025A - 本人確認方法、プログラム、及び情報システム - Google Patents

Abstract

【課題】 利用者を撮影した動画を用いて、高いセキュリティを確保しつつ、利用者の簡易な手続によって、不正アクセスを効果的に防止する。【解決手段】 本人確認方法は、利用者の顔を動画として撮影する利用者撮影Ｓ３０２のステップと、動画として撮影した利用者の顔が、予め記録された、利用者の登録された顔画像としての登録顔画像の人物と同一人物か否かを判定する同一人物判定Ｓ３０３のステップと、動画として撮影した利用者が所定の動作を行っているか否かを判定するリアルタイム判定Ｓ３０４のステップと、を備える。【選択図】 図２

Description

本発明は、利用者を撮影した動画を用いて不正アクセスを効果的に防止できる本人確認方法、プログラム、及び情報システムに関する。

利用者の顔をカメラ等の撮影装置により撮影し、予め記録された画像、動画等の映像と比較して認証する装置として、例えば特許文献１の顔認証装置が知られている。

顔認証は利用者本人の生体的な特徴により認証行うことができ、鍵やパスワードが不要となるので利便性が高く、かつ、安全性の高い認証方法として有用である。

特開２００８－１４６５３９号公報

顔認証は前述の通り、鍵やパスワードが不要なため利便性が高い認証方法であるが、従来の顔認証装置では、カメラの前に利用者の顔写真をかざす等により不正なアクセスが可能であるという問題があった。一方、認証が行われるシステムやサービスの種類によっては、利用者の利便性の向上を図りつつも、強固なセキュリティを確保することが必要となる場合がある。

この発明は上記の問題に鑑みてなされたものであり、利用者を撮影した動画を用いて、強固なセキュリティを確保しつつ、利用者の簡易な手続によって不正アクセスを効果的に防止できる本人確認方法、プログラム、及び情報システムを提供する点にある。

かかる課題を解決するために、請求項１の発明に係る本人確認方法は、コンピュータを用いて利用者の本人確認を行う本人確認方法であって、前記利用者の顔を動画として撮影する利用者撮影ステップと、前記動画として撮影した前記利用者の顔が、予め記録された、利用者の登録された顔画像としての登録顔画像の人物と同一人物か否かを判定する同一人物判定ステップと、前記動画として撮影した前記利用者が所定の動作を行っているか否かを判定するリアルタイム判定ステップと、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の構成に加え、前記所定の動作は、前記利用者のまばたきであることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の構成に加え、前記本人確認方法は、前記利用者が所持する携帯端末としての利用者端末にインストールされたアプリケーションとしての各種アプリケーションを利用する際の利用者認証に用いられることを特徴とする。

請求項４に記載の発明は、請求項１又は記載の構成に加え、前記本人確認方法は、前記利用者の入退場管理、及び／又は、前記利用者の入退室管理が行われる各種施設での前記入退場管理、及び／又は、前記入退室管理に用いられることを特徴とする。

請求項５に記載の発明は、コンピュータ読み取り可能なプログラムであって、コンピュータに請求項１～４のいずれかに記載の本人確認方法を実行させることを特徴とする。

請求項６に記載の発明は、利用者が使用する利用者端末と、所定のサービスを提供するサーバ装置を備える情報システムであって、前記サーバ装置が、請求項１～４のいずれかに記載の本人確認方法を実行して前記利用者の本人確認を行う、本人確認部を備えることを特徴とする。

本発明の構成によれば、動画として撮影した利用者の顔が、予め記録された、利用者の登録された顔画像としての登録顔画像の人物と同一人物か否かを判定する同一人物判定ステップと、動画として撮影した前記利用者が所定の動作を行っているか否かを判定するリアルタイム判定ステップと、を備えることにより、利用者を撮影した動画を用いて、高いセキュリティを確保しつつ、利用者の簡易な手続によって、不正アクセスを効果的に防止できる。

実施の形態１に係る情報システム全体の構成を概念的に示すブロック図である。 実施の形態１における本人確認処理の流れを概念的に示すフロー図である。 実施の形態１における顔画像登録を模式的に示す概念図である。 実施の形態１における同一人物判定とリアルタイム判定を行っている状態を模式的に示す概念図である。 実施の形態１におけるリアルタイム判定を行っている状態を模式的に示す概念図である。 実施の形態２に係る情報システム全体の構成を概念的に示すブロック図である。 実施の形態２における本人確認実行の手順の一部を模式的に示す概念図である。

［発明の実施の形態１］
図１乃至図５に、この発明の実施の形態１を示す。以下、本発明の実施の形態１について、図１乃至図５を参照して説明する。

［全体構成］
図１は、本発明の実施の形態１に係る情報システム１００全体の構成を概念的に示すブロック図である。

本実施の形態１に係る情報システム１００は、所定のサービスを提供するサーバ装置２００と、当該サービスの提供を受ける利用者４００（以下単に「利用者４００」と記載する。本明細書において同じ。）が所持する利用者端末３００がネットワーク６００により通信可能に接続された、いわゆるクライアント・サーバモデルによる情報システムである。図１に示すとおり、利用者４００は証明書５００を所持する。利用者端末３００は利用者４００が所持しないが貸与等により使用するもの等であってもよい。

サーバ装置２００は、情報システム１００において、所定のサービスを利用者端末３００に提供するサーバであり、所定のサービスを提供するサービス提供部２０１と、後述する利用者端末３００からのプログラム送信要求を受信して、本人確認処理を実行するプログラムを送信するプログラム送信部２０２と、後述するネットワーク６００を介して利用者端末３００と通信を行う通信部２０３を備えている。

また、サーバ装置２００は、データベース２０４を備えている。さらに、サーバ装置２００は、機能手段として本人確認部２０６を備え、本人確認部２０６は、機能手段として、同一人物判定部２０７とリアルタイム判定部２０８を備えている。

本実施の形態１に係るサーバ装置２００は、周知のサーバ用コンピュータを用いて構成されている。本実施の形態１では、コンピュータの二次記憶装置に所定のサービスを提供するプログラムが予め記憶されており、当該プログラムをメモリにロードしてＣＰＵが実行することにより、当該コンピュータをサーバ装置２００として機能させるものである。

上記のとおり、本実施の形態１ではサーバ装置２００はサーバ用途のコンピュータを用いて構成されているが、サーバ装置２００に用いるコンピュータは適宜選択してよい。例えば、サーバ装置２００として一般的なパーソナル・コンピュータを用いてよいし、或いは、タブレット・コンピュータ等の携帯端末を用いてサーバ装置２００を構成するようにしてもよい。サーバ装置２００のハードウェア的な構成は、サーバ装置２００に要求される性能、耐久性、信頼性その他に応じて任意に変更してよい。

また、本実施の形態１におけるサーバ装置２００は、一台のサーバ用コンピュータを用いて構成されているが、サーバ装置２００を二台以上のコンピュータにより構成するようにしてもよい。サーバ装置２００を配置する場所についても、後述するネットワーク６００を介して利用者端末３００と通信が可能であればよく、例えばデータセンタ等の遠隔地に配置してもよい。

サーバ装置２００を二台以上のコンピュータにより構成する場合に、当該二台以上のコンピュータが同一の場所に配置されている必要はない。たとえば、サーバ装置２００は、ネットワーク６００に接続された複数のコンピュータで形成されたクラウドシステムとして構成されていてもよい。また、利用者端末３００と直接通信を行わないコンピュータが含まれている場合に、サーバ装置２００を構成するコンピュータ群がＬＡＮ（ローカルエリアネットワーク）に接続されると共に、利用者端末３００と通信するコンピュータをネットワーク６００に接続するよう構成してもよい。サーバ装置２００、及び、これを含む情報システム１００のハードウェア構成及びネットワーク構成は、周知の構成を適宜選択してもよい。

サーバ装置２００の備えるデータベース２０４は、利用者端末３００から送信されたｎ個（ｎ≧１）の画像ファイルとしての登録顔画像２０５_１，２０５_２，・・・２０５_ｎを記録する。この登録顔画像２０５_１，２０５_２，・・・２０５_ｎは、それぞれの利用者４００の利用者認証において、認証を求める者が登録された利用者４００と同一人物か否かを判定するために用いられる、利用者４００の顔を撮影した画像である。また、データベース２０４には、それぞれの利用者４００の証明書５００に記載された証明情報５０２（氏名、住所、生年月日等の個人情報や、各種の登録番号のような利用者４００を一意に識別するための文字や数字による情報等がこれに該当する。）を登録証明情報２０９がファイルとして記録されている。なお、以下は説明の簡単のため、特に区別の必要がある場合を除き登録顔画像２０５_１，２０５_２，・・・２０５_ｎは登録顔画像２０５と記載する。

サーバ装置２００の機能手段としての本人確認部２０６は、利用者の本人確認を行うために必要な各種処理を行う。具体的には、後述する同一人物判定部２０７、リアルタイム判定部２０８の処理に基づいて、利用者の本人確認のための処理を行う。

同一人物判定部２０７は、利用者端末３００の前面カメラ３０１において撮影された画像の解析により、画像に写った利用者の顔と顔写真とが同一人物の顔であるかを判定するための処理を行う。具体的には、同一人物判定部２０７は、前面カメラ３０１が撮影した画像のデータの中から顔画像を抽出し、抽出された顔画像が複数存在する場合にはそれらの顔画像を対比させて同一人物の画像かどうかを判定する機能を有する。

リアルタイム判定部２０８は、利用者端末３００が撮影した画像に写った人物が、リアルタイムで撮影された利用者自身のものであるか否かを判定する。具体的には、例えば、リアルタイム判定部２０８は、利用者端末３００の前面カメラ３０１において撮影された画像の解析により、利用者が所定の動作を行っているか否かを判定するための処理を行う。

また、サーバ装置２００は、周知のサービスを適宜選択して提供するようにしてよい。

利用者端末３００は、利用者が所持又は使用する、サーバ装置２００が提供する所定のサービスの提供を受けるための端末である。

本実施の形態１における利用者端末３００は、スマートフォン、タブレット等、利用者が携帯端末として携帯可能であり、主として動画によって画像を取得する機能と、ネットワーク６００を介してサーバ装置２００や他の利用者端末３００と通信する機能と、ＣＰＵ等、プログラムに基づく演算処理により信号処理やデータ処理（たとえば静止画や動画の画像解析処理など）を行う機能を備えている。

なお、利用者端末３００は、上述のような機能を備える機器であれば、他のいかなる機器、たとえば携帯電話、パーソナルコンピュータ等、周知のコンピュータ機器であってもよい。また、利用者端末３００は、利用者が携帯するものでなく、特定の場所に設置又は常備されたコンピュータ機器等であってもよい。

具体的には、例えば、利用者端末３００は、利用者認証が行われる場所、例えば利用者の入退室管理が行われる施設の出入口や、利用者の会計処理や入出金管理が行われる窓口や端末（例えば店舗のレジ近傍やＡＴＭ機器など）や、利用者に対する公的なサービスを提供する施設（例えば官公庁や地方公共団体の役所など）の窓口や端末等に設置された端末や、デジタルサイネージ用のディスプレイを備えたコンピュータ等であってもよい。

利用者端末３００は、当該利用者端末３００を把持する利用者４００を撮影する前面カメラ３０１と、証明書５００等を撮影する背面カメラ３０２と、入出力装置及び表示装置として機能するマルチタッチディスプレイ３０３と、後述するネットワーク６００を介してサーバ装置２００と通信する通信部３０４を備えている。また、利用者端末３００には、サーバ装置２００等からダウンロードされた各種アプリケーション３０５がインストールされて機能手段を構成する。

前面カメラ３０１は、利用者端末３００を把持した状態の利用者４００が自分の姿を撮影する、いわゆる「自撮り」のためのカメラであり、主としてディジタルカメラであるが、アナログ式のカメラでもよい。前面カメラ３０１は動画により利用者や利用者の所持する証明書５００などを撮影する。具体的には、前面カメラ３０１は、所定枚数、例えば１秒間に３０コマ程度のフレームとして利用者４００や利用者４００の所持する証明書５００等を撮影する機能を有する。

背面カメラ３０２は、いわゆる「自撮り」以外の撮影に用いるものであり、利用者４００の所持する証明書５００等、主として利用者４００周辺の物や人を撮影するためのディジタルカメラである。背面カメラ３０２は、静止画や動画の撮影機能を有する。

マルチタッチディスプレイ３０３はＬＣＤ等を用いたタッチパネル式のディスプレイであり、文字や画像を表示する機能と、利用者が画面に操作手段、例えば利用者の指（棒状の操作用機器等であってもよい。）を接触又は近接させたときに、この指の接触又は近接を検知し、接触又は近接した位置や接触又は近接した位置の移動状態を検知することで、利用者による操作入力を検知し、この検知結果を利用者端末３００に演算処理させて利用者端末３００に各種の処理を行わせる機能を有する。

通信部３０４は、通信インターフェースと通信機器等とによって構成され、ネットワーク６００を介してのサーバ装置２００とのデータや信号の送受信を行う。通信部３０４は、主に無線通信によりサーバ装置２００との通信を行うが、有線による通信を行なうものでもよい。

各種アプリケーション３０５は、利用者端末３００にインストールされて、利用者端末３００を介して利用者４００に各種のサービスを提供する。この実施の形態１では、各種アプリケーション３０５は、実行されるとサーバ装置２００のサービス提供部２０１にアクセスして、サービス提供部２０１から利用者端末３００に送信されるデータによって利用者４００にサービスを提供する。ただし、各種アプリケーション３０５は、サーバ装置２００にアクセスせず、利用者端末３００のみで利用者４００にサービスを提供する構成であってもよい。

ネットワーク６００は、サーバ装置２００と利用者端末３００を通信可能に接続するネットワークである。本実施の形態１におけるネットワーク６００は、サーバ装置２００と利用者端末３００が使用するプロトコルによる通信が可能であれば、例えばインターネット等の広域ネットワークであってもよいし、局所的なローカル・エリア・ネットワーク（ＬＡＮ）であってもよい。また、有線ネットワークであってもよいし、無線ネットワークでもよいし、これらを組み合わせたネットワークであってもよい。

以上が、本実施の形態１における情報システム１００全体の構成である。次いで、本実施の形態１における本人確認の処理について説明する。

［処理手順］
図２は、本実施の形態１における、本人確認処理の流れを示すフロー図である。ただし、情報システム１００の処理は、利用者端末３００がサーバ装置２００による所定のサービスの提供を受ける際の、サーバ装置２００と利用者端末３００との間の通信の任意のタイミングでの本人確認において行うことができる。

本実施の形態１では、利用者４００が利用者端末３００にインストールされた各種アプリケーション３０５を利用するとき（たとえば利用開始時のログイン処理を行なうとき）の情報システム１００の処理を例にとって説明する。なお、各種アプリケーション３０５を利用するとき以外の処理、例えば、利用者登録処理や、入金、送金その他の処理を行う際に、本実施の形態１における本人確認処理を行うように構成してよい。

［ステップＳ１００：顔画像記録］
この実施の形態１の情報システム１００の利用者４００は、まず自分の顔を登録顔画像２０５としてデータベース２０４に記録する（ステップＳ１００）。

例えば、図３の（ａ）に模式的に示すように、利用者４００は、利用者端末３００の前面カメラ３０１を用いて自分の顔４０１をいわゆる「自撮り」により撮影する。これにより、同図に示すように、利用者端末３００のマルチタッチディスプレイ３０３には利用者４００の顔４０１を撮影した顔画像９０１を含む登録用画像９０２が表示される。

また例えば、図３の（ｂ）に模式的に示すように、利用者４００は、利用者端末３００の背面カメラ３０２を用いて証明書５００を撮影する。これにより、同図に示すように、利用者端末３００のマルチタッチディスプレイ３０３には利用者４００の証明書５００を撮影した登録用画像９０３が表示される。この登録用画像９０３には、証明書５００の顔５０１を撮影した顔画像９０４や、証明書５００の証明情報５０２を撮影した証明情報画像９０５が表示される。

図３の（ａ）（ｂ）に示す画像を撮影したのち、利用者４００は利用者端末３００を操作して登録用画像９０２や登録用画像９０３をサーバ装置２００に送信する。サーバ装置２００は、データベース２０４に受信した登録用画像９０２，９０５を登録顔画像２０５として記録する。図３の（ｃ）には、登録用画像９０２が登録顔画像２０５_１として、登録用画像９０３が登録顔画像２０５_２として、それぞれデータベース２０４に記録された状態を模式的に示している。

なお、ステップＳ２００においては、図３の（ｂ）に示すように証明書５００が撮影された場合、登録用画像９０３のうちの顔画像９０４は登録顔画像２０５_２として、証明情報画像９０５は登録証明情報２０９として、それぞれデータベース２０４に記録される。なお、登録証明情報２０９を利用者４００の本人確認のための情報として用いるためには、サーバ装置２００が、例えばＯＣＲ（光学文字認識）のようなイメージデータからテキストデータの文字情報を読み取る文字認識の機能と、利用者の氏名、生年月日、住所、電話番号、運転免許証の免許番号等の個人情報を記録するための情報記録の機能と、読み取られた文字情報と記録された個人情報との照合により一致するものを検索する検索機能とを有することが望ましい。

また、登録証明情報２０９には、証明書５００の証明情報５０２以外の情報、例えば利用者４００の使用する利用者端末３００のネットワーク上の物理アドレス情報や利用者４００が設定した暗証番号の情報やパスワードの情報などが記録され、これらの情報が本人認証に用いられてもよい。

［ステップＳ２００：アプリケーションダウンロード・インストール］
ステップＳ１００が完了したのち、利用者４００はサーバ装置２００のプログラム送信部２０２等から各種アプリケーション３０５のプログラムをダウンロードし、インストールする（ステップＳ２００）これにより、利用者端末３００には各種アプリケーション３０５が機能手段として設けられた状態となる。

［ステップＳ３００：本人確認実行］
利用者端末３００に各種アプリケーション３０５をインストールしたのち、利用者４００がサーバ装置２００のサービス提供部２０１にアクセスし、各種アプリケーション３０５にログインして利用を開始する際に、利用者４００は以下に示す本人確認の手順を行なう（ステップＳ３００）。

［ステップＳ３０１：撮影画面表示］
利用者４００が利用者端末３００のマルチタッチディスプレイ３０３上で各種アプリケーション３０５を起動させ、サーバ装置２００のサービス提供部２０１にアクセスする。すると、マルチタッチディスプレイ３０３にはログイン画面（図示せず）が表示される。利用者４００がログイン画面（図示せず）上のログインボタン（図示せず）をタップすると、マルチタッチディスプレイ３０３には図４に概念図を示す撮影画面Ｗ１００が表示される（ステップＳ２０１参照）。

図４に示すように、本実施の形態１における撮影画面Ｗ１００は、前面カメラ映像Ｗ１０１に利用者４００の顔４０１が表示された状態で、撮影ボタンＷ１０２が重畳表示されている。

［ステップＳ３０２：利用者撮影］
図４に示す状態で利用者４００が撮影ボタンＷ１０２をタップすると、前面カメラ３０１は利用者４００の顔４０１を動画として撮影する（ステップＳ３０２）。

［ステップＳ３０３：同一人物判定］
ステップＳ２０２において撮影ボタンＷ１０２がタップされると、前面カメラ３０１が撮影した利用者４００の顔４０１が含まれる前面カメラ映像Ｗ１０１が利用者端末３００からサーバ装置２００に送信される。サーバ装置２００の同一人物判定部２０７は、前面カメラ映像Ｗ１０１と登録顔画像２０５とを比較する。

具体的には、例えば、同一人物判定部２０７は、前面カメラ映像Ｗ１０１の顔周辺部分を抽出した顔周辺画像Ｗ１０３（図５参照）や、眉・目・鼻・口等の顔の特徴が表れる主要部分を抽出した主要部分画像Ｗ１０４（図５参照）を抽出する。そして、同一人物判定部２０７は、前面カメラ映像Ｗ１０１中の顔４０１と登録顔画像２０５の特徴部分の対比を行う。例えば、同一人物判定部２０７は、前面カメラ映像Ｗ１０１中の顔４０１と登録顔画像２０５の両目と鼻や、両目と口や、目と眉等、顔のパーツの位置関係の比率、目や鼻や耳や眉や唇等、顔のパーツの形状、瞳の色や虹彩の形状、等を対比し、前面カメラ映像Ｗ１０１中の顔４０１と登録顔画像２０５が同一人物のものか否かを判定する。

なお、同一人物判定部２０７は、前面カメラ映像Ｗ１０１中の顔４０１と登録顔画像２０５の特定部分のみ（例えば耳部分、鼻部分と口部分のみ、瞳の虹彩等）や、顔以外の利用者４００の身体部分の画像（例えば顔４０１と一緒に撮影された、掌や指の指紋の画像等）を比較の対象に用いてもよい（この場合、データベース２０４には、比較の対象に用いる利用者４００の身体部分の画像が予め記録されている。）。

また、同一人物判定部２０７は、ひとつの前面カメラ映像Ｗ１０１を（複数の利用者４００の顔画像が記録された）複数の登録顔画像２０５_１，２０５_２，・・・２０５_ｎに対して順番に対比していってもよいし、利用者４００に利用者端末３００から入力させた暗証番号やパスワードの情報を登録証明情報２０９と照合して特定の利用者４００を選定したのち、その利用者４００に適合した登録顔画像２０５（たとえば登録顔画像２０５_１）を抽出して前面カメラ映像Ｗ１０１と対比させてもよい。

このような処理により、前面カメラ映像Ｗ１０１の顔画像と登録顔画像２０５とを比較し、同一人物か否かを判定する（ステップＳ３０３参照）。

前面カメラ映像Ｗ１０１の顔画像と登録顔画像２０５が同一人物のものであると判定された場合には、同一人物判定部２０７は、前面カメラ映像Ｗ１０１に写った顔画像は認証を求めている利用者４００のものと判定し、利用者４００の本人確認は成功したものとして処理する。もし、前面カメラ映像Ｗ１０１の顔画像と登録顔画像２０５が同一人物のものではないと判定された場合には、同一人物判定部２０７は、前面カメラ映像Ｗ１０１に写った顔画像は認証を求めている利用者４００のものではないと判定し、利用者４００の本人確認判定は失敗した（利用者４００は認証すべき利用者４００ではない。）ものとして処理する。

なお、ステップＳ３０３の処理において、同一人物判定部２０７は、同一人物か否かを判定の際、顔周辺画像Ｗ１０３（図５参照）、主要部分画像Ｗ１０４（図５参照）、あるいは目部分画像Ｗ１０５（図５参照）、さらにはそれ以外の顔部分のうちの一つだけを抽出して処理を行ってもよいし、前面カメラ映像Ｗ１０１の顔画像の写り具合（たとえば画像の明るさ等）によってそれらを自動的に選択してもよい。また、利用者４００の手動操作によって、それらを選択できるようにしてもよい。

［ステップＳ３０４：リアルタイム判定］
ステップＳ３０３の同一人物判定ののち、サーバ装置２００のリアルタイム判定部２０８は、前面カメラ映像Ｗ１０１のリアルタイム判定を行う（ステップＳ３０４）。具体的には、リアルタイム判定部２０８は、前面カメラ映像Ｗ１０１に対して動画の解析を行うことによって、動画中に利用者４００本人がリアルタイムに撮影されているか否かを判定する。

ステップＳ３０４の処理としては、例えば、リアルタイム判定部２０８は、撮影された利用者４００がまばたきをしているか否かを解析することにより、撮影された前面カメラ映像Ｗ１０１が利用者４００本人をリアルタイムで撮影した映像か否かを判定する。

この実施の形態１における、ステップＳ２０３の判定を行うための処理の一例を図５に即して説明する。例えば、リアルタイム判定部２０８は、動画としての前面カメラ映像Ｗ１０１をフレームごとに（あるいは、所定の枚数ごとに１枚抽出したフレームごとに）、画像認識技術を用いてリアルタイム認証に用いる顔４０１を特定する。この実施の形態１では、図５に示す、前面カメラ映像Ｗ１０１を構成するフレームの顔周辺画像Ｗ１０３や、主要部分画像Ｗ１０４、あるいは、顔４０１の両目部分である目部分画像Ｗ１０５を抽出して、リアルタイム認証に用いる。この実施の形態１では、リアルタイム判定部２０８が目部分画像Ｗ１０５を抽出するものとして以下説明する。

リアルタイム判定部２０８は、前面カメラ映像Ｗ１０１を構成するフレームから目部分画像Ｗ１０５を抽出したのち、前面カメラ映像Ｗ１０１を構成する別のフレーム（例えば、処理が行われたフレームよりも後に撮影された画像のフレーム）からも目部分画像Ｗ１０５を抽出する。

そして、複数のフレームから目部分画像Ｗ１０５が抽出されたのち、リアルタイム判定部２０８は、異なるフレームから抽出された目部分画像Ｗ１０５同士を比較し、目部分画像Ｗ１０５中に存在する利用者４００の目の画像が、利用者４００のまばたきの動作に対応する変化をしているかを検出する。

具体的には、リアルタイム判定部２０８は、一のフレームの目部分画像Ｗ１０５に現れた瞳の位置と他のフレームの目部分画像Ｗ１０５に現れた瞳の位置が変化していることや、表出している瞳の部分の大きさが変化していることを検出すれば、利用者４００がまばたきをしているものと判定し、判定は成功した（利用者４００はリアルタイムに認証を求めていると判定する。）ものとして処理する。

もし、リアルタイム判定部２０８が判定を始めてから所定の時間、目部分画像Ｗ１０５に利用者４００のまばたきが判定できなければ、判定は失敗した（利用者４００はリアルタイムに認証を求めているものではない。例えば前面カメラ映像Ｗ１０１に写った利用者４００は、利用者４００を予め写した静止画の写真や静止した人形を配置したものや、同様の贋物として判断する。）ものとして処理する。

すなわち、本実施の形態１において、リアルタイム判定部２０８は、撮影された利用者４００が所定の動作として、まばたきをしているか否かにより、利用者４００がリアルタイムで認証を求めている者か否かを判定する。

なお、本実施の形態１において、リアルタイム判定部２０８は、上記以外のいかなる態様でリアルタイム認証を行ってもよい。具体的には、例えば、リアルタイム判定部２０８は、前面カメラ映像Ｗ１０１全体を対象として判定を行うものとしてもよい。より具体的には、一又は複数の顔４０１の位置や一又は複数の目部分の位置を特定し、その中の何れか一つの目部分がまばたきをしていると判定した場合に判定が成功したものとして処理をすることが考えられる。また例えば、リアルタイム判定部２０８は、いずれか一方の目のみを判定対象としてもよい。リアルタイム判定部２０８は、それらのうちの一つだけを判定対象にしてもよいし、前面カメラ映像Ｗ１０１の写り具合等によってそれらの判定対象を自動的に選択する構成としてもよい。また、利用者４００の手動操作で判定対象を選択するように構成してもよい。

また、本実施の形態１において、リアルタイム判定部２０８は、利用者４００のまばたき以外のどのような動作を判定の対象としてもよい。具体的には、例えば、利用者４００の目線の動き、口元の動き、顔４０１としての顔全体の動き、顔以外の身体の部分（例えば手や指）の動き、等を判定の対象としてもよい。また、たとえば利用者４００が目を開けた状態（動作前）と閉じた状態（動作後）で前面カメラ３０１に静止画の前面カメラ映像Ｗ１０１をそれぞれ撮影させ、リアルタイム判定部２０８が、動作前と動作後の静止画の画像の対比によって判定を行うものとしてもよい。さらには、リアルタイム判定部２０８が音声認識機能を有し、利用者４００に発話を行わせることで判定を行うものとしてもよい（この場合、データベース２０４に利用者４００の発話音声を記録した音声ファイルが予め記録され、記録された音声と発話された音声との対比で判定が行われる。）。リアルタイム判定部２０８は、それらのうちの一つだけを判定対象にしてもよいし、前面カメラ映像Ｗ１０１の写り具合等によってそれらの判定対象を自動的に選択する構成としてもよい。また、利用者４００の手動操作で判定対象を選択するように構成してもよい。

なお、上述のステップＳ３０３とステップＳ３０４は、上記の説明の順序とは逆に、まずステップＳ３０４が行われ、その後にステップＳ３０３が行われてもよい。

前述のステップＳ３０３、Ｓ３０４の判定にそれぞれ成功した場合は、本人確認に成功したものとして、以降の処理に遷移する（ステップＳ４００）。

以上が、本実施の形態１における、本人確認処理の流れの説明である。本実施の形態１では、利用者４００の顔を動画として撮影する利用者撮影Ｓ３０２のステップと、動画として撮影した利用者４００の顔４０１が、予め記録された、利用者４００の登録された顔画像としての登録顔画像２０５の人物と同一人物か否かを判定する同一人物判定Ｓ３０３のステップと、動画として撮影した利用者４００が所定の動作を行っているか否かを判定するリアルタイム判定Ｓ３０４のステップと、を備えることにより、利用者４００を撮影した動画を用いて、高いセキュリティを確保しつつ、利用者４００の簡易な手続によって、不正アクセスを効果的に防止できる。

この実施の形態１においては、リアルタイム判定Ｓ３０４のステップにおける所定の動作は、利用者４００のまばたきであることにより、利用者４００が確実に行なう動作に基づいて精度の高いリアルタイム認証を行なうことができる。

この実施の形態１においては、利用者端末３００にインストールされたアプリケーションとしての各種アプリケーション３０５を利用する際の利用者認証において、利用者４００を撮影した動画を用いて、高いセキュリティを確保しつつ、利用者４００の簡易な手続によって、不正アクセスを効果的に防止できる。

なお、この実施の形態１においては、証明書５００を運転免許証とし、証明情報５０２に運転免許証の文字情報を用いたが、これのみに限定されない。

例えば、証明書５００は社員証、会員証、記録証等の各種証明書であってもよい。また、証明書５００の証明情報は文字情報のみならず、絵文字や印章やバーコードや各種２次元コードのようなイメージデータであってもよい。また、この実施の形態１で用いられる証明書５００は、写真のついていない証明書５００（例えば保険証のような証明書（図示せず））であってもよい。なお、その場合、利用者４００の写真を証明書５００とは別に認識できるようにする（たとえばステップＳ１０１において利用者４００が証明書５００の写真と利用者４００本人の写真とをそれぞれ撮影するような態様が考えられる。）ことが望ましい。

そして、この実施の形態１では、登録証明情報２０９としてデータベース２０４に記録した証明書５００の証明情報５０２を、ステップＳ３００の本人確認実行の処理手順で、ステップＳ３０３，Ｓ３０４の手順と共に用いることもできる。具体的には、利用者４００に利用者端末３００から証明情報５０２を入力させ、サーバ装置２００がその情報と登録証明情報２０９との一致・不一致を確認することで認証を行なうことが考えられる。なお、これらの変形例は後述の発明の実施の形態２にも適用可能である。

［発明の実施の形態２］
図６及び図７に、この発明の実施の形態２を示す。

この発明の実施の形態２においては、本発明に係る情報システム１００は、入退室管理や入退場管理が必要な場所で用いられる。

図６は、この実施の形態２における情報システム１００の全体構成を示す概念図である。この実施の形態２の情報システム１００は、発明の実施の形態１と同様のサーバ装置２００、利用者端末３００がネットワーク６００で通信可能に接続され、利用者４００が利用者端末３００と証明書５００を所持する構成であるが、各種施設７００に設置された、ネットワーク６００に通信可能に接続された認証端末８００を備える点が実施の形態１と相違する。また、利用者端末３００には各種アプリケーション３０５を備えていない点も発明の実施の形態１と相違する。

この実施の形態２の各種施設７００は、入室や入場、退室や退場に認証が必要な建物や施設である。具体的には、例えば各種施設７００は、利用者４００の住居である建物や部屋、利用者４００が勤務する職場の建物や部屋、各種イベントや式典や会議等が行われる建物や施設や部屋、ホテルや旅館等の宿泊施設のフロント、公的なサービスを提供する施設や建物（例えば官公庁や地方公共団体の役所など）、スーパーマーケット等の商業施設の出入口、銀行や証券会社等の金融機関の出入口や窓口、等がこれに該当する。

また、各種施設７００は、利用者４００の会計処理や入出金管理が行われる窓口や端末（例えば店舗のレジ近傍やＡＴＭ機器など）、利用者４００に対する公的なサービスを提供する施設（例えば官公庁や地方公共団体の役所など）の窓口や施設に設置された端末や、デジタルサイネージ用のディスプレイを備えたコンピュータ等であってもよい。

認証端末８００は、各種施設７００に設置された、データの演算処理と、画像の撮影を行なうカメラ機能と、ネットワーク６００を介するサーバ装置２００や利用者端末３００とのデータや信号の交信が可能な機器である。具体的には、例えば認証端末８００は、ディジタルカメラとパーソナルコンピュータやタブレットやスマートフォン等のコンピュータ機器とが組み合わされたものがこれに該当する。認証端末８００は、無線又は有線によってネットワーク６００に通信可能に接続される。

図６に示す通り、認証端末８００は、機能手段として、前面カメラ８０１、読取用カメラ８０２、操作用ディスプレイ８０３、通信部８０４を備えている。

前面カメラ８０１及び読取用カメラ８０２は、ディジタルカメラ等のディジタル画像を撮影する機器である。前面カメラ８０１は、利用者端末３００の前面カメラ３０１と同様、認証を行なう利用者４００の顔画像を撮影する。読取用カメラ８０２はＱＲコード（登録商標）等の２次元コードを撮影するためのカメラ機器である。

操作用ディスプレイ８０３は、利用者端末３００のマルチタッチディスプレイ３０３と同様の、操作手段と表示手段とが一体化した構成である。なお、操作用ディスプレイ８０３に替えて、認証端末８００がキーボード等やマウス等の操作手段と表示手段としての機能のみを有するディスプレイとを備えていてもよい。通信部８０４は、利用者端末３００の通信部３０４と同様の構成である。なお、図示しないが、認証端末８００は２次元コードを読み取って解読する２次元コード読み取り解読手段を備えている。

以下、各種施設７００がホテル等の宿泊施設であり、認証端末８００が、この宿泊施設のフロントに設置された宿泊客のチェックイン用端末であり、利用者４００が各種施設へのチェックイン手続を行うものとして、この実施の形態２の処理手順を説明する。なお、この実施の形態２の処理手順は、ステップＳ２００が存在しないことを除いては、図２に示すこの実施の形態１の処理手順と同様なので、図２に示す処理手順も参酌して説明する。

まず、各種施設７００の利用に先立ち、利用者４００は、利用者端末３００を用いて顔画像を撮影し、サーバ装置２００に登録顔画像２０５を記録する（ステップＳ１００）。

ステップＳ１００が完了したのち、各種施設７００に宿泊する利用者４００は、各種施設７００のフロントに行き、本人確認を行なう（ステップＳ３００）。

具体的には、まず、利用者４００は、図７の（ａ）に示すように、利用者端末３００のマルチタッチディスプレイ３０３に認証用画面Ｗ２００を表示させる（この認証用画面Ｗ２００は、利用者端末３００が各種施設７００のＷｅｂサイトにアクセスすること等で、サーバ装置２００のサービス提供部２０１がマルチタッチディスプレイ３０３に表示させるように設定しておく。）。

そして、利用者４００は、図７の（ａ）に示すように、認証用画面Ｗ２００のチェックイン画面Ｗ２０１を表示させる。チェックイン画面Ｗ２０１には、２次元コード読み込み選択ボタンＷ２０２と、予約番号を手動操作で入力することでチェックインを行なうための予約番号入力選択ボタンＷ２０３とが表示される。

利用者４００が２次元コード読み込み選択ボタンＷ２０２にタッチすると、図７の（ｂ）に示す通り、認証用画面Ｗ２００には認証用２次元コードＷ２０４が表示される。図７の（ｂ）に示すとおり、この認証用２次元コードＷ２０４を認証端末８００の読取用カメラ８０２に読み取らせると、認証端末８００の２次元コード読み取り解読手段の処理により、認証端末８００は認証用２次元コードＷ２０４に記載された処理命令を実行する。具体的には、認証端末８００の操作用ディスプレイ８０３には撮影画面（図示せず）利用者４００の顔４０１が表示される（ステップＳ３０１）。

利用者４００は、実施の形態１と同様のステップＳ３０２～ステップＳ３０４の処理を、認証端末８００の前面カメラ８０１を使った処理とサーバ装置２００の機能とで行う。

なお、この実施の形態２においては、認証端末８００の操作用ディスプレイ８０３に認証用画面Ｗ２００を表示させると共に認証用２次元コードＷ２０４を表示させ、利用者端末３００で２次元コードを読み取ると共に、読み取り結果に基づくステップＳ３０１～Ｓ３０３の処理を利用者端末３００で行なうように構成することもできる。

以上の手順が成功すると、利用者４００の各種施設７００へのチェックイン手続は完了する。

以上、この実施の形態２においては、各種施設７００への入退室管理や入退場管理を、強固なセキュリティを確保しつつ簡易な手続で行うことが可能となる。

なお、この実施の形態２においては、図７の（ａ）に示す認証用画面Ｗ２００を、サーバ装置２００のプログラム送信部２０２が利用者端末３００に送信したプログラムによって表示させる構成としてもよい。

本実施の形態１，２の説明は以上であるが、本発明の構成は上記実施の形態１，２のみに限られるものではない。前述のように、本実施の形態１，２における本人確認処理は、サーバ装置２００が提供するサービスの任意のタイミングで実行することが可能であり、例えば利用者登録を行う場合や、入金、送金その他の資金移動を行うリスクの高い処理を行う場合に、適宜実行するようにしてよい。

また、上記ステップＳ１００，Ｓ２００，Ｓ３００のステップ（それらに含まれる複数のステップも含む）は、必ずしも全て行われなければならないものではなく、少なくとも何れか一つのステップが存在しなくてもよい。

また、上記ステップＳ３００において、利用者端末３００の背面カメラ３０２や認証端末８００の前面カメラ８０１に利用者４００の証明書５００を撮影させ、撮影した画像をサーバ装置２００の登録証明情報２０９との照合を行わせて利用者４００の本人確認を行なう手順を加えることもできる。これにより、利用者４００の本人認証がより高い確実性を持って行うことができる。

そして、上記ステップＳ３０３，Ｓ３０４を一緒に行ったり、それらのうちの一方又は双方を他のステップと一緒に行ってもよい。

さらに、上記ステップＳ３０３，Ｓ３０４は、全てサーバ装置２００で行われる必要はない。例えば、ステップＳ３０３，Ｓ３０４のうちの一方又は双方が利用者端末３００や認証端末８００で行われるような構成であってもよい。

その他の具体的な構成も本実施の形態１，２に限られるものではなく、本発明の趣旨を逸脱しない範囲において様々な変更が可能である。

１００・・・情報システム
２００・・・サーバ装置
２０４・・・データベース
２０５，２０５_１，２０５_２，・・・，２０５_ｎ・・・登録顔画像
２０６・・・本人確認部
２０７・・・同一人物判定部
２０８・・・リアルタイム判定部
３００・・・利用者端末
３０５・・・各種アプリケーション
４００・・・利用者
４０１，５０１・・・顔
７００・・・各種施設
８００・・・認証端末
９０１，９０４・・・顔画像

Claims (6)

1. コンピュータを用いて利用者の本人確認を行う本人確認方法であって、
   前記利用者の顔を動画として撮影する利用者撮影ステップと、
   前記動画として撮影した前記利用者の顔が、予め記録された、利用者の登録された顔画像としての登録顔画像の人物と同一人物か否かを判定する同一人物判定ステップと、
   前記動画として撮影した前記利用者が所定の動作を行っているか否かを判定するリアルタイム判定ステップと、
   を備えることを特徴とする、本人確認方法。
2. 前記所定の動作は、前記利用者のまばたきであることを特徴とする、請求項１に記載の本人確認方法。
3. 前記本人確認方法は、前記利用者が所持する携帯端末としての利用者端末にインストールされたアプリケーションとしての各種アプリケーションを利用する際の利用者認証に用いられることを特徴とする、請求項１又は２に記載の本人確認方法。
4. 前記本人確認方法は、前記利用者の入退場管理、及び／又は、前記利用者の入退室管理が行われる各種施設での前記入退場管理、及び／又は、前記入退室管理に用いられることを特徴とする、請求項１又は２に記載の本人確認方法。
5. コンピュータに請求項１～４のいずれかに記載の本人確認方法を実行させる、コンピュータ読み取り可能なプログラム。
6. 利用者が使用する利用者端末と、所定のサービスを提供するサーバ装置を備える情報システムであって、
   前記サーバ装置が、請求項１～４のいずれかに記載の本人確認方法を実行して前記利用者の本人確認を行う、本人確認部を備えることを特徴とする、情報システム。
   

Images