JP2020091731A - 情報処理装置、情報処理方法、プログラムならびに情報処理サーバ - Google Patents

Abstract

【課題】本人確認のために撮影される画像が真正な身分証の画像であることをより確実にすることが可能なプログラムを提供する。【解決手段】 コンピュータを情報処理装置の各手段として機能させるためのプログラムであって、情報処理装置は、情報処理装置の撮像デバイスを用いて画像を撮影する撮影手段と、ユーザが身分証のカードを第１の面から第２の面に裏返す動作を撮影手段が撮影して得られる画像から、カードの第１の面が撮影された画像と、カードの側面が撮影された画像と、カードの第２の面が撮影された画像とを、取得するように画像取得を制御する制御手段と、を有する。【選択図】図５

Description

本発明は、本人確認に用いる情報を取得するための、情報処理装置、情報処理方法、プログラムならびに情報処理サーバに関する。

近年、免許証などの身分証の表示情報を撮影した身分証の画像と、本人の顔を撮影した顔画像とをスマートフォンやパーソナルコンピュータなどによって撮影し、本人確認を必要とするサービス事業者等に送信することで、本人確認が行われている。

一般に、提供された身分証の画像と顔画像は人手によって照合されて本人確認が行われる。このため、人手による本人確認のための作業負荷を低減することを目的として、ロボットを用いて身分証の画像と当該身分証の所有者の顔画像とを照合する技術が提案されている（特許文献１）。

特開２０１７−１０４９４７号公報

ところで、身分証の画像を本人確認に用いる場合、提供される身分証の画像が、例えば、表と裏で異なる身分証を撮影した画像でないことや、既に画像化されている身分証の写真を撮影した画像でなく、真正な身分証の画像であることが確保されている必要がある。

本発明は、上記課題に鑑みてなされ、その目的は、本人確認のために撮影される画像が真正な身分証の画像であることをより確実にする技術を実現することである。

この課題を解決するため、例えば本発明のプログラムは以下の構成を備える。すなわち、
コンピュータを情報処理装置の各手段として機能させるためのプログラムであって、前記情報処理装置は、
前記情報処理装置の撮像デバイスを用いて画像を撮影する撮影手段と、
ユーザが身分証のカードを第１の面から第２の面に裏返す動作を前記撮影手段が撮影して得られる画像から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを、取得するように画像取得を制御する制御手段と、を有することを特徴とする。

本発明によれば、本人確認のために撮影される画像が真正な身分証の画像であることをより確実にすることが可能になる。

本発明の実施形態に係る情報処理システムの一例を示す図 実施形態１に係る情報処理装置の一例としてのスマートフォンの機能構成例を示すブロック図 実施形態１に係る情報処理サーバの機能構成例を示すブロック図 実施形態１に係るスマートフォンにおける本人確認用処理の動作を示すフローチャート 実施形態１に係るスマートフォンにおける身分証撮影処理の動作を示すフローチャート 身分証撮影処理において、身分証の表の面を撮影する際に表示されるユーザインタフェースの例を説明する図 身分証撮影処理において、身分証の表の面を撮影した画像が取得された後に表示されるユーザインタフェースの例を説明する図 身分証撮影処理において、身分証の側面を撮影した画像が取得された後に表示されるユーザインタフェースの例を説明する図 実施形態１に係るスマートフォンにおける撮影事実の確認処理の動作を示すフローチャート 撮影事実の確認処理において表示されるユーザインタフェースの例を説明する図 実施形態２に係るスマートフォンにおける本人確認処理の動作を示すフローチャート 実施形態２に係る顔画像撮影処理において表示されるユーザインタフェースの例を示すフローチャート 実施形態２に係るスマートフォンにおける顔画像撮影処理の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、同一の構成または実質的に同一の構成には同一の参照符号を付して説明する。また、情報処理装置の一例として、画像を撮影可能なスマートフォンを用いる例を説明する。しかし、本実施形態は、スマートフォンに限らず、画像を撮影することが可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、ゲーム機、タブレット端末などが含まれてよい。

＜情報処理システムの構成＞
図１を参照して、本実施形態に係る情報処理システム１０の構成について説明する。情報処理システム１０は、撮影された画像を用いた本人確認のためのシステムである。スマートフォン１００において撮影された身分証の画像と顔画像とがネットワーク１１１を介して情報処理サーバ１１０に送信される。身分証は、本人確認のために使用することが可能なカードであり、例えば、免許証がふくまれる。本実施形態の例では、身分証の一例として免許証を扱う場合を例に説明するが、身分証は、在留カードや保険証を含んでもよい。

情報処理サーバ１１０では、スマートフォン１００から受信した画像に基づいて（本人確認を行う作業者等の操作により）本人確認結果が設定される。情報処理サーバ１１０は当該本人確認結果をスマートフォン１００に送信する。

スマートフォン１００は、カメラを備えており、本人確認用アプリケーション上でユーザの身分証の画像やユーザの顔画像を撮影・取得する。スマートフォン１００は、例えば、まずユーザの顔を撮影してユーザの顔画像を取得する。そして、身分証の真正性をより確実にするために、後述する身分証撮影処理を行って、身分証を撮影した画像を取得する。また、スマートフォン１００は、更に、後述する撮影事実の確認処理を行って、身分証の画像が現に撮影されていることを確実にする。スマートフォン１００は、ユーザの顔画像と、これらの処理によって取得された画像とを情報処理サーバ１１０に送信し、その結果として、情報処理サーバ１１０からの本人確認結果を受信する。なお、本実施形態では、ユーザの顔画像の取得は必須ではない。スマートフォン１００はユーザの顔画像を撮影しない場合、身分証撮影処理や撮影事実の確認処理によって取得された画像を情報処理サーバ１１０に送信すればよい。

ネットワーク１１１は、例えばインターネットや携帯電話網などの通信網を含み、スマートフォン１００と情報処理サーバ１１０の間の情報を伝送する。

＜スマートフォンの構成＞
次に、スマートフォン１００の構成例について、図２を参照して説明する。図２に示す構成は、本実施形態の情報処理装置の一例としてのスマートフォンを構成する機能ブロックを示している。なお、説明する機能ブロックの各々は、統合されまたは分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。

通信部２０１は、例えば通信用回路等を含み、例えばＬＴＥ等の移動体通信を介してインターネットに接続したり、無線ＬＡＮ通信を介してネットワークに接続したりして必要なデータの送受信を行う。

制御部２０２は、ＣＰＵ２１０及びＲＡＭ２１１を含み、例えば記録部２０７に記録されたプログラムをＲＡＭ２１１に展開し、ＣＰＵ２１０が実行することにより、スマートフォン１００内の各部の動作を制御する。また、制御部２０２は、後述する身分証撮影処理および撮影事実の確認処理や顔画像の撮影を実行する。このとき制御部２０２は、撮像デバイスを用いて画像を撮影する撮影手段、撮影手段が撮影して得られる画像から後述する特定の画像を取得する画像取得を制御する制御手段として機能する。また、表示部２０６に対する表示を制御するための表示制御手段などの各手段としても機能する。

操作部２０３は、スマートフォン１００の備えるボタンやタッチパネルを含み、表示部２０６に表示される各種操作用のＧＵＩに対する操作を行うことができる。センサ部２０４は、スマートフォン１００のユーザが真正な使用者であることを判定するための生体認証（指紋、顔等）用のセンサを含む。撮像デバイス２０５は、例えば、撮像素子を含むカメラ機構であり、制御部２０２からの指示に応じて、被写体の撮影を行う。撮像デバイス２０５は、所定のレートで連続的に画像を撮影して制御部２０２に出力することができる。また、撮像デバイス２０５は、スマートフォン１００の表示部２０６が備えられた面（フロント側）とその逆の面（バック側）とにそれぞれ別個に備えられている。例えば、後述する身分証撮影処理および撮影事実の確認処理では、バック側の撮像デバイス２０５を用いて画像を撮影する。一方、後述するユーザの顔画像を撮影する場合にはフロント側の撮像デバイス２０５を用いて顔画像を撮影する。撮影した後の所定時間内に（例えば撮影した直後に）、スマートフォン１００から情報処理サーバ１１０へバックグラウンドで画像・動画のハッシュ値を送り、送付された画像・動画のハッシュ値をサーバーサイドにて照合することにより、確実にその当時にスマートフォンにて撮影が行われたことを保証する。また、送付された画像・動画がユーザによって加工されていないことを保証することができる。

表示部２０６は、例えばＬＣＤやＯＬＥＤ等の表示デバイスを含む。表示部２０６は、制御部２０２の指示に応じて、後述する身分証撮影処理、および撮影事実の確認処理に係るＧＵＩや、各種アプリケーションのＧＵＩ等を表示する。

記録部２０７は、例えば半導体メモリ等の不揮発性メモリを含み、本人確認のために撮影・取得された画像を保持したり、制御部２０２が実行するプログラムや設定値を保持したりする。記録部２０７に保持されるプログラムは、スマートフォン１００の諸機能を実現するためのオペレーティングシステムや種々のアプリケーションを含み、アプリケーションには後述する本人確認処理を行うためのアプリケーションが含まれる。記録部２０７は、本人確認のために撮影・取得された画像や、本人確認結果の情報を、例えばブロックチェーン技術に用いられる分散台帳に記録してもよい。この場合、スマートフォン１００は、分散台帳を管理する１つのノードとして機能してもよいし、分散台帳を管理するノードにデータを送信するだけでもよい。

音声入力デバイス２０８は、例えばマイクロホンを含み、スマートフォン１００を使用するユーザの発する音声を入力する。音声入力デバイス２０８は、ユーザの発した音声を入力するだけでなく、ユーザの発した音声を認識して、数値やテキスト情報を出力する機能を兼ね備えてもよい。勿論、音声入力デバイス２０８によって入力された音声を、制御部２０２において認識して、数値やテキスト情報として扱ってもよい。

＜情報処理サーバの構成＞
次に、情報処理サーバ１１０の機能構成例について、図３を参照して説明する。なお、説明する機能ブロックの各々は、統合されまたは分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。

通信部３０１は、ネットワーク１１１を介して複数のスマートフォン１００と通信する通信回路を含む。制御部３０２によって処理された情報をスマートフォン１００等に送信したり、制御部３０２によって処理される情報をスマートフォン１００等から受信したりする。

制御部３０２は、中央演算装置であるＣＰＵ３１０とＲＡＭ３１１とを含む。制御部３０２は、記録部３０４に記憶されたプログラムをＲＡＭ３１１に展開、実行することにより、情報処理サーバ１１０の各部の動作を制御する。

ＲＡＭ３１１は、例えばＤＲＡＭ等の揮発性の記憶媒体を含み、制御部３０２がプログラムを実行するためのパラメータや処理結果等を一時的に記憶する。記録部３０４は、例えば半導体メモリ等の不揮発性の記録媒体を含み、情報処理サーバ１１０の動作に必要な設定値やプログラムを記憶する。また、記録部３０４は、スマートフォン１００のそれぞれから受信したユーザの顔画像や身分証の画像を、本人確認を行う度に付与する識別子ごとに、データベースに保持する。このデータベースは、ユーザごとの本人確認結果を保持する。制御部３０２は、ユーザごとの本人確認結果が設定されると、対応するユーザのスマートフォン１００に本人確認結果を送信する。また、制御部３０２は、不図示の金融機関やサービス提供企業の装置から、特定のユーザの本人確認結果について問い合わせを受けた場合に、上記保存した本人確認結果を返信してもよい。

操作部３０３は、情報処理サーバ１１０を直接または遠隔で操作可能な操作機構であり、マウスやキーボードのほか、通信を介して外部装置から操作指示を受ける構成を含む。例えば、画像を用いて本人確認を行う作業者や情報処理サーバの管理者が操作部３０３を用いて必要な操作を行う。表示部３０５は、情報処理サーバ１１０の有する情報や出力されるユーザインタフェースを用いた情報を直接または遠隔で表示可能な表示機構である。表示部３０５は、情報処理サーバ１１０に接続されたディスプレイデバイスであってもよいし、通信を介して外部装置で表示させる場合は表示用の情報を出力する構成も含む。

＜スマートフォンにおける本人確認処理の動作＞
次に、スマートフォン１００に本人確認処理の動作について、図４を参照して説明する。なお、本処理は、制御部２０２のＣＰＵ２１０が記録部２０７に記録されているプログラム（本人確認用アプリケーションを含む）を実行することにより実現される。例えば、本処理は、制御部２０２が、操作部２０３へのユーザ操作によって本人確認用アプリケーションを起動し、更にセンサ部２０４を用いた生体認証およびデジタル署名によってユーザが正当であると判定した場合に開始される。すなわち、本人確認処理は、本人確認用アプリケーションを用いるユーザがスマートフォン１００の真正なユーザであることを確認した状態で開始される。

Ｓ４０１において、制御部２０２は、顔画像撮影処理を実行する。例えば、制御部２０２は、フロント側の撮像デバイス２０５を用いてユーザの顔画像を連続的に撮影し、撮像デバイス２０５から出力される画像を表示部２０６に表示する。制御部２０２は、ユーザからの操作指示に応じて、または、制御部２０２が特定の位置にユーザの顔が位置していると判定したことに応じて、顔画像を取得して記録部２０７に記録する。記録される画像は、１つの静止画像であってもよいし、複数枚の画像で構成されてもよい。

Ｓ４０２において、制御部２０２は、身分証撮影処理を実行する。身分証撮影処理は、ユーザが身分証を手の中で回転させるような表から裏（或いはその逆）に裏返す一連の動作を撮影して得られる画像から、身分証の表の面と裏面の画像と合わせて、身分証の厚みが分かる画像（側面の画像）を取得する。身分証撮影処理の詳細については、後述する。

身分証を回転させるような動作を撮影した画像から、身分証の各面が撮影された画像を取得することにより、取得された画像が１つの真正な身分証を撮影した画像であることを証明することができる。この身分証撮影処理を用いることにより、例えば、表と裏で異なる身分証の画像が提供される場合や、身分証が手元に無く既に画像化されている身分証の画像を撮影して提供するような場合を排除することができる。すなわち、身分証の「実体」がそこにあることを確認することができ、本人確認のために撮影される画像が真正な身分証の画像であることをより確実にすることができる。

身分証撮影処理では、身分証の表の面が撮影された画像と、身分証の側面が撮影された画像と、身分証の裏面が撮影された画像とに加えて、一連の動作を撮影した動画像を取得してもよい。このとき、隣接画像の差分データをとった圧縮動画像としてもよい。このようにすれば、本人確認のために記録媒体に保持したり送信したりするデータ量を低減することができる。

Ｓ４０３において、制御部２０２は、身分証撮影処理が成功裏に終了したかを判定する。例えば、制御部２０２は、身分証撮影処理が撮影途中で中止された（例えば、処理終了フラグが処理成功を示す値に設定されていない）場合には、身分証撮影処理が成功裏に終了しなかったと判定して、本処理を終了する。そうでない場合には、Ｓ４０４に進む。

Ｓ４０４において、制御部２０２は、撮影事実の確認処理を実行する。撮影事実の実行処理は、表示部２０６に表示される指示に従って、ユーザが身分証を上下左右に移動させる動作を連続撮影して得られる画像から、身分証の所定部位（例えば顔写真や住所欄など）の位置が異なって撮影された複数の画像を取得する。撮影事実の確認処理の詳細については、後述する。指示は、処理を行うごとに移動させる順序や位置が異なるように変更されるため、ユーザが指示に従って身分証を移動させることができれば、ユーザが現に身分証を撮影していることを確認することができる。すなわち、Ｓ４０２で実行する身分証撮影処理と撮影事実の確認処理とを行うことで、身分証の真正性を担保することができる。

撮影事実の確認処理では、身分証の位置を移動させて所定の位置としたときに撮影された画像に加えて、一連の動作を撮影した動画像を取得してもよい。この場合にも、身分証撮影処理と同様に、隣接画像の差分データをとった圧縮動画像としてもよい。このようにすれば、本人確認のために記録媒体に保持したり送信したりするデータ量を低減することができる。なお、本実施形態では、撮影事実の確認処理において画像を取得する場合を例に説明するが、ユーザによって移動された身分証の位置を確認するだけの動作としてもよい。この場合、後述するＳ４０６において、当該確認が成功裏に終了したことを情報処理サーバに通知すればよい。

Ｓ４０５において、制御部２０２は、撮影事実の確認処理が成功裏に終了したかを判定する。例えば、制御部２０２は、撮影事実の確認処理が撮影途中で中止された（例えば、処理終了フラグが処理成功を示す値に設定されていない）場合には、撮影事実の確認処理が成功裏に終了しなかったと判定して、本処理を終了する。そうでない場合には、Ｓ４０６に進む。

Ｓ４０６において、制御部２０２は、身分証撮影処理と撮影事実の確認処理との両方が成功裏に終了したため、Ｓ４０１で取得したユーザの顔画像と、Ｓ４０２およびＳ４０４で取得した画像を情報処理サーバ１１０に送信する。身分証撮影処理と撮影事実の確認処理とにおいて、複数の画像に加えて圧縮動画像を取得している場合、それぞれの圧縮動画像も併せて情報処理サーバ１１０に送信する。なお、本処理の開始時に生体認証とデジタル署名を用いてユーザがスマートフォンの真正なユーザであることの確認を行っているため、他人による画像提供（なりすまし）が防止されている。すなわち、本実施形態の本人確認処理により、真正なユーザによって、真正性の高い身分証の情報が送信される。

Ｓ４０７において、制御部２０２は、情報処理サーバ１１０から本人確認結果を受信する。Ｓ４０８において、制御部２０２は、情報処理サーバ１１０から本人確認結果を受信したことに応じて、表示部２０６に本人確認結果を表示させる。これにより、ユーザはサーバ側で認証された本人確認結果を確認することができる。制御部２０２は、その後、本人確認処理の動作を終了する。

＜スマートフォンにおける身分証撮影処理の動作＞
次に、スマートフォン１００における身分証撮影処理の動作について、図５を参照して説明する。Ｓ５０１において、制御部２０２は、撮影開始画面を表示する。撮影開始画面は、例えば、図６（ａ）に示すようなＧＵＩとして表示される。図６（ａ）では、スマートフォン１００の表示部２０６には、身分証の表の面を撮影するためのガイドがいくつか表示される。カード枠６０１は、撮影された画像内において、身分証の表の面が配置されるべき位置を示すガイドである。カード枠６０１は、ユーザが身分証を撮影する際の身分証の向き（縦向き）を示す。身分証の向きを縦向き（縦長）にすることで、身分証を手の中で回転させるような一連の動作を撮影する際に、指で身分証の情報が隠れることを低減することができる。情報枠６０２は、身分証（本実施形態の例では免許証）の表の面の情報の配置を表しており、撮影しようとする身分証の面がいずれの面であるかをユーザが識別可能に構成される。テキストガイド６０４は、例えば、「免許証を手のひらに載せ、表の面を写しましょう」と身分証の持ち方および撮影する面を示すテキストである。図形ガイド６０３は、身分証を保持した状態を直感的に理解させるためのガイドである。開始ボタン６０５は、押下することで撮影を開始させる指示部材である。未撮影サムネイル６０７は、まだ身分証の各面を撮影した画像が取得されていないことを示す。後に示すように、未撮影サムネイル６０７は、身分証の各面を撮影した画像が取得されると、取得された画像のサムネイルに入れ替えられる。

Ｓ５０２において、制御部２０２は、撮影開始の指示を受けたかを判定する。例えば、撮影開始画面の開始ボタン６０５がユーザによって押下された場合、制御部２０２は、撮影開始の指示を受けたと判定して、Ｓ５０３に進む。このとき、制御部２０２は、撮像デバイス２０５に指示して、所定のフレームレート（例えば毎秒３０フレーム或いはより低く且つＳ５０３の判定の可能なフレーム数）で連続的に撮影画像を出力させる。また、処理終了フラグを、処理不成功を示す値に初期化しておく。制御部２０２は、撮影開始の指示を受けたと判定しない場合にはＳ５０２に再び戻る。Ｓ５０３に進む場合、制御部２０２は、撮像デバイス２０５に指示して、所定の時間間隔で連続的に撮影画像を出力させる。また、処理終了フラグを、処理不成功を示す値に初期化しておく。

Ｓ５０３において、制御部２０２は、撮影された画像に身分証の外形の少なくとも一部が含まれていない画像があるかを判定する。具体的には、制御部２０２は、撮影された画像内の身分証が所定の領域外（例えばフレームの外）に出たかを判定する。それぞれの面を撮影している間に、身分証が撮影している画像のフレーム外に出てしまうと、同一の身分証を撮影していることが担保できない。すなわち、撮影された画像に身分証の外形の少なくとも一部が含まれていない画像があると判定した場合に画像取得を中止することにより、身分証のすり替えを防止することができる。制御部２０２は、身分証の外形の少なくとも一部が含まれていない画像があると判定した場合、本処理を終了し、そうでない場合にはＳ５０４に進む。

Ｓ５０４において、制御部２０２は、身分証の処理対象の面（表の面と側面と裏面とのいずれか）を検出したことに応じて、そのタイミングで撮影された画像を、処理対象の面が撮影された画像として取得する。制御部２０２は、身分証の各面の特徴的な情報（例えば顔写真）の存在、情報の配置、身分証の形状（例えば側面の形状）などを検出および判定し、撮影された画像内の処理対象の面を検出する。

図６（ｂ）は、身分証の表の面が撮影された画像が取得された場合に、制御部２０２によって表示制御されるユーザインタフェースの例を示している。表示部２０６には、ユーザの手６１１と身分証の表の面６１２が撮影されている画像とともに、カード枠６０１等のガイド表示が表示される。また、撮影中であることを示す撮影中ボタン６１３が表示される。撮影されている画像において、（カード枠６０１の位置で）身分証の表の面が検出されたため、検出されたことを示すチェックマーク６１４が表示される。サムネイル６１５は、身分証の表の面が撮影された画像のサムネイルであり、未撮影サムネイル６０７から置き換えられている。

Ｓ５０５において、制御部２０２は、次の面の画像を取得するか否かを判定する。例えば、画像を取得すべき他の面がある場合、Ｓ５０６に進む。なお、制御部２０２は、身分証撮影処理を終了させる場合、処理終了フラグを、処理成功を示す値に変更しておく。

Ｓ５０６において、制御部２０２は、身分証の次の面を撮影するためのガイドを表示部２０６に表示させる。制御部２０２は、次の面を撮影するためのガイドを表示部２０６に表示されると、再びＳ５０３に進んで次の面の撮影を行う。

図７（ａ）は、身分証の表の面が撮影された画像が取得された（Ｓ５０４）ことに応じて、制御部２０２が、身分証の側面を撮影するためのガイド表示を、撮影されている画像と共に表示させている（Ｓ５０６）様子を示している。例えば、身分証の表の面６１２が撮影されている画像と共に、身分証の側面用ガイド７０１が表示されている。テキストガイドは、例えば、「側面をはっきりと写し、１秒程度停止しましょう」のように、次の身分証の面（すなわち側面）や動作のタイミングを表すテキストガイド７０２に切り替えられる。このような次の身分証の面を撮影するためのガイド表示やテキストガイドを表示させることにより、ユーザは次に撮影される身分証の面や向きを間違えることなく、裏返す動作を行うことができると共に、身分証を裏返すタイミングや速度を適切に把握することができる。

更に、図７（ｂ）は、身分証の側面が撮影された画像が取得された（Ｓ５０４）場合に、制御部２０２によって表示制御されるユーザインタフェースの例を示している。表示部２０６には、身分証の側面７０３が撮影されている画像とともに、側面用ガイド７０１等の表示ガイドが表示される。撮影されている画像において身分証の側面が検出されたため、検出されたことを示すチェックマーク７０４が表示される。サムネイル７０５は、身分証の側面が撮影された画像のサムネイルであり、未撮影サムネイル６０７から置き換えられている。

また、図８（ａ）は、身分証の側面が撮影された画像が取得された（Ｓ５０４）ことに応じて、制御部２０２が、身分証の裏面を撮影するためのガイド表示を、撮影されている画像と共に表示させている（Ｓ５０６）様子を示している。この例では、身分証の側面７０３が撮影されている画像と共に、身分証の裏面用ガイド８０１が表示されている。テキストガイドは、例えば、「そのまま回転させ、裏面を写しましょう」のように、次に撮影される裏面を表すテキストガイド８０２に切り替えられる。

更に、図８（ｂ）は、身分証の裏面が撮影された画像が取得された場合に、制御部２０２によって表示制御されるユーザインタフェースの例を示している。表示部２０６には、身分証の裏面８０３が撮影されている画像とともに、裏面用ガイド８０１等の表示ガイドが表示される。撮影されている画像において身分証の裏面が検出されたため、検出されたことを示すチェックマーク８０５が表示される。サムネイル８０４は、身分証の裏面が撮影された画像のサムネイルであり、未撮影サムネイル６０７から置き換えられている。

Ｓ５０５において、身分証の全ての面の画像が取得されている場合、次の面の画像を取得する必要がないため、制御部２０２は、その後、撮像デバイス２０５による撮影を終了して、身分証撮影処理を終了する。

＜スマートフォンにおける撮影事実の確認処理の動作＞
次に、スマートフォン１００における撮影事実の確認処理の動作について、図９を参照して説明する。Ｓ９０１において、制御部２０２は、身分証の所定部位（本実施形態では顔写真）を上下左右に移動させるための移動順を決定する。例えば、記録部２０７に予め記録しておいた複数の移動順の組み合わせを読み出して、ランダムに選択した移動順を決定する。或いは、情報処理サーバ１１０から当該移動順を取得してもよい。Ｓ９０２において、制御部２０２は、撮影開始の指示があったかを判定する。例えば、図１０（ａ）に示す移動確認画面を表示部２０６に表示したうえで、ユーザ操作によって不図示の開始ボタンが押下されたかを判定する。撮影開始の指示があったと判定した場合、Ｓ９０３に進み、そうでない場合はＳ９０２に戻る。

Ｓ９０３において、制御部２０２は、対象位置で顔写真を検出したかを判定する。例えば、制御部２０２は、図１０（ａ）に示す移動確認画面のカード部位検出枠に移動順１〜４を表示させている。また、制御部２０２は、移動順が１であるカード部位検出枠をアクティブ表示にしたアクティブなカード部位検出枠１００１を表示する。図１０（ａ）の例では、ユーザは身分証１００４の所定部位（例えば顔写真）がアクティブなカード部位検出枠１００１と重畳するように身分証を移動させる。また、制御部２０２は、表示部２０６に、ユーザが身分証を移動させる動作を撮影して得られる画像を表示している。テキストガイド１００３は、ユーザが身分証をカード部位検出枠１００１とカード部位検出枠１００２とを番号順に移動させることを示す。制御部２０２は、撮影される画像において、アクティブなカード部位検出枠１００１の位置で顔写真を検出した場合に、Ｓ９０４に進み、そうでない場合にはＳ９０３の処理を継続する。

Ｓ９０４において、制御部２０２は、ユーザが身分証をアクティブなカード部位検出枠１００１に移動させた動作を撮影した画像を取得し、図１０（ｂ）に示すチェックマーク１００５を表示する。ユーザが身分証を移動させて複数のカード部位検出枠において顔写真が検出された場合、制御部２０２は、チェックマーク同士を結ぶ線を更に表示部２０６に表示させる。

Ｓ９０５において、制御部２０２は、現在の対象位置が最後の対象位置であるかを判定する。例えば、全てのカード部位検出枠が検出済み（すなわちチェックマーク表示）である場合、Ｓ９０７に進む。そうでない場合、Ｓ９０６に進んで、処理対象を次の対象位置を変更する。このとき、次の対象位置は、Ｓ９０１で決定された移動順に従って変更され、アクティブなカード部位検出枠の表示が当該移動順に従って変更される。制御部２０２は、その後Ｓ９０３の処理に戻る。

Ｓ９０７において、制御部２０２は、撮影事実を確認済みと判定する。具体的には、撮影事実の確認処理における処理終了フラグを、処理成功を示す値に変更する。制御部２０２は、その後、撮像デバイス２０５による撮影を終了して、一連の動作を終了する。

なお、上述の例では、身分証撮影処理において最初に身分証の表の面を撮影し、その後側面と裏面とを順に撮影する場合を例に説明した。しかし、最初に身分証の裏面を撮影し、その後側面と表の面とを順に撮影するようにしてもよい。また、身分証撮影処理において、裏返す動作を撮影して得られた画像に身分証の外形の少なくとも一部が含まれていない画像がある場合に処理を中止するようにした。しかし、身分証の外形の所定の割合が含まれていない場合に処理を中止するようにしてもよい。

以上説明したように本実施形態では、ユーザが身分証を（例えば表の面から裏面に）裏返す動作を撮影して得られる画像から、身分証の表の面が撮影された画像と、身分証の側面が撮影された画像と、身分証の裏面が撮影された画像とを、取得するように画像取得を制御した。このようにすることで、取得された画像が１つの真正な身分証を撮影した画像であることを証明することができ、本人確認のために撮影される画像が真正な身分証の画像であることをより確実にすることができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、本人確認処理における顔画像撮影処理が実施形態１と異なる。本実施形態の顔画像撮影処理では、ユーザの顔が撮影されている間に、制御部２０２はユーザが応答すべき指示を表示部２０６に表示させる。そして、制御部２０２は、応答すべき指示に対するユーザによる応答が、応答すべき指示と対応する回答と合致したことに応じて、ユーザの顔の撮影されている複数の画像からユーザの顔画像を取得する。なお、実施形態２では本人確認処理の一部が実施形態１と異なるが、実施形態２のスマートフォン１００および情報処理サーバ１１０の構成は実施形態１の構成と実質的に同一である。このため、実質的に同一な構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

＜スマートフォンにおける本人確認処理＞
スマートフォン１００に本人確認処理の動作について、図１１を参照して説明する。なお、本処理は、実施形態１と同様、制御部２０２のＣＰＵ２１０が記録部２０７に記録されているプログラム（本人確認用アプリケーションを含む）を実行することにより実現される。例えば、本処理は、制御部２０２が、操作部２０３へのユーザ操作によって本人確認用アプリケーションを起動し、更にセンサ部２０４を用いた生体認証によってユーザが正当であると判定した場合に開始される。すなわち、制御部２０２は、本人確認用アプリケーションを用いるユーザがスマートフォン１００の真正なユーザであることを確認したうえで開始される。

Ｓ１１０１において、制御部２０２は、本実施形態の顔画像撮影処理を実行する。顔画像撮影処理の詳細は、図１３を参照して説明する。Ｓ１１０２において、制御部２０２は、顔画像撮影処理が成功裏に終了したかを判定する。制御部２０２は、顔画像撮影処理における処理終了フラグが、処理成功を示す値である場合、Ｓ４０２に進み、そうでない場合、本人確認処理を終了する。その後、制御部２０２は、実施形態１と同様、Ｓ４０２〜４０８を実行して一連の動作を終了する。

＜スマートフォンにおける顔画像撮影処理の動作＞
次に、図１３を参照して、顔画像撮影処理の動作について説明する。Ｓ１３０１において、制御部２０２は、顔位置用のガイドを表示部２０６に表示する。例えば、制御部２０２は、例えば図１２（ａ）に示す顔画像撮影画面を表示部２０６に表示したうえで、その顔画像撮影画面に顔位置用のガイド１２０１を表示する。顔画像撮影画面では、ユーザの顔が撮影された画像が、ガイド１２０１と共に表示される。このため、顔位置用のガイド１２０１は、撮影される画像においてユーザの顔が配置されるべき位置を示す。

Ｓ１３０２において、制御部２０２は、撮影開始の指示があったかを判定する。例えば、図１２（ａ）に示す顔画像撮影画面において、ユーザ操作によって不図示の開始ボタンが押下されたかを判定する。撮影開始の指示があったと判定した場合、Ｓ１３０３に進み、そうでない場合はＳ１３０２に戻る。

Ｓ１３０３において、制御部２０２は、ユーザが応答すべき指示の情報を取得して、表示部２０６に表示させる。例えば、記録部２０７に予め記録しておいた指示の情報の組み合わせを取得して、ランダムに選択した指示の情報を決定する。或いは、情報処理サーバ１１０からユーザが応答すべき指示の情報を取得してもよい。制御部２０２は、例えば図１２（ａ）に示す指示１２０２のように、決定した指示の情報と、テキストガイド１２０３とを表示部２０６に表示させる。テキストガイド１２０３は、例えば「声に出して短文をよみましょう」のように、ユーザが指示に対して応答すべきことを伝えるテキストである。ユーザが応答すべき指示は、短文のテキストに限らず、所定の桁数の数値であってもよい。或いは、例えば、図１２（ｂ）の指示１２０４のように、ユーザが指示に応答して変えるべき顔の向きを示すものであってもよい。この場合、例えば「矢印の方向に顔をむけましょう」のようなテキストガイド１２０５を表示させる。また、制御部２０２は、読み上げと顔の向きの変更の両方を行うようにしてもよい。このように、ランダムな表示に対するユーザの読み上げを確認することで、ユーザを現に撮影していることを担保することができる。一方、ユーザの顔の向きを撮影することで、撮影されている対象（ユーザの顔）が生きていること（Ｌｉｖｅｎｅｓｓ Ｄｅｔｅｃｔｉｏｎともいう）を担保することができる。読み上げと顔の向きの変更の両方を組み合わせれば、両方の特性を確認することができ、より信頼性の高い顔画像の生成が可能になる。

Ｓ１３０４において、制御部２０２は、ユーザから正しい応答があったかを判定する。例えば、制御部２０２は、音声入力デバイス２０８を介して入力されたユーザの音声を認識して、（ユーザの読み上げが）応答すべき指示と対応する回答と合致するかを判定する。或いは、制御部２０２は、撮影されている画像においてユーザの顔の向きを認識し、認識した顔の向きが応答すべき指示と対応する回答と合致するかを判定する。応答すべき指示と回答とが合致する場合、正しい応答があったと判定してＳ１３０５に進み、そうでない場合、例えばＳ１３０３に戻る。

Ｓ１３０５において、制御部２０２は、チェックマーク等の表示を表示して、ユーザの応答に対するフィードバックを返す。Ｓ１３０６において、制御部２０２は、表示していた指示が最後の指示であるかを判定し、最後の指示である場合にはＳ１３０７に進み、そうでない場合Ｓ１３０３に戻る。すなわち、顔の向きの変更を確認した後に、更にユーザの読み上げを確認する場合や、第１の読み上げを確認した後に更に第２の読み上げを確認するような場合にＳ１３０３に戻る。

Ｓ１３０７において、制御部２０２は、１つ以上の応答すべき指示と、当該指示と対応するユーザの応答とが合致したと判定して、撮影されたユーザの顔の画像から、ユーザの顔画像を取得する。制御部２０２は、ユーザの顔の画像を記録部２０７に記録して、顔画像撮影処理を終了する。

以上説明したように本実施形態では、撮像デバイス２０５でユーザの顔画像を撮影する間に、応答すべき指示を表示するようにした。そして、当該指示に対するユーザによる応答が、応答すべき指示と対応する回答と合致したことに応じて、撮像デバイス２０５により撮影されたユーザの顔の画像から、ユーザの顔画像を取得するようにした。このようにすることで、ユーザが現に顔画像がその場で取得されたものであることを確認することができる。また、撮影された対象が生きている人であることを担保することができる。すなわち、送信される顔画像の真正性を担保することができる。

Claims (17)

1. コンピュータを情報処理装置の各手段として機能させるためのプログラムであって、前記情報処理装置は、
   前記情報処理装置の撮像デバイスを用いて画像を撮影する撮影手段と、
   ユーザが身分証のカードを第１の面から第２の面に裏返す動作を前記撮影手段が撮影して得られる画像から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを、取得するように画像取得を制御する制御手段と、を有する、ことを特徴とするプログラム。
2. 前記情報処理装置は、前記撮影手段によって前記動作を撮影して得られた画像に前記カードの外形の少なくとも一部が含まれていない画像があるかどうかを判定する判定手段を更に有し、
   前記制御手段は、前記判定手段により前記カードの外形の少なくとも一部が含まれていない画像があると判定されたことに応じて、前記画像取得を中止する、ことを特徴とする請求項１に記載のプログラム。
3. 前記情報処理装置は、前記カードの前記第１の面と、前記カードの側面と、前記カードの前記第２の面と、を撮影するためのそれぞれのガイド表示を、前記撮影手段によって撮影されている画像と共に、前記情報処理装置の表示デバイスに表示させる表示制御手段を更に有する、ことを特徴とする請求項１または２に記載のプログラム。
4. 前記表示制御手段は、
   前記カードの前記第１の面を撮影するための前記ガイド表示を、前記撮影手段によって撮影されている画像と共に、前記表示デバイスに表示させ、
   前記カードの前記第１の面が撮影された画像が取得されたことに応じて、前記カードの側面を撮影するための前記ガイド表示を、前記撮影手段によって撮影されている画像と共に、前記表示デバイスに表示させ、
   前記カードの側面が撮影された画像が取得されたことに応じて、前記カードの前記第２の面を撮影するための前記ガイド表示を、前記撮影手段によって撮影されている画像と共に、前記表示デバイスに表示させる、
   ことを特徴とする請求項３に記載のプログラム。
5. 前記ガイド表示は、撮影しようとする前記カードの面が前記カードのいずれの面であるかを前記ユーザが識別可能に構成される、ことを特徴とする請求項４に記載のプログラム。
6. 前記ガイド表示は、撮影された画像において前記カードが配置されるべき位置を示す、ことを特徴とする請求項３から５のいずれか１項に記載のプログラム。
7. 前記ガイド表示は、前記カードを撮影する際の前記カードの向きを示す、ことを特徴とする請求項３から６のいずれか１項に記載のプログラム。
8. 前記制御手段は、更に、前記ユーザが前記カードを移動させる動作を前記撮影手段が撮影して得られた画像から、前記カードの所定部位の位置が異なって撮影された複数の画像を取得するように画像取得を制御し、
   前記カードの所定部位の位置が異なって撮影された前記複数の画像は、前記表示デバイスに表示される前記所定部位の位置に関する指示と対応する画像として取得される、ことを特徴とする請求項３から７のいずれか1項に記載のプログラム。
9. 前記表示制御手段は、前記撮影手段により前記ユーザの顔が撮影されている間に、前記ユーザが応答すべき指示を前記表示デバイスに表示させる、ことを特徴とする請求項３から８のいずれか１項に記載のプログラム。
10. 前記ユーザが応答すべき指示は、前記ユーザが読み上げるべき数値またはテキスト、若しくは、前記ユーザが変えるべき顔の向きを含む、ことを特徴とする請求項９に記載のプログラム。
11. 前記制御手段は、更に、前記応答すべき指示に対する前記ユーザによる応答が、前記応答すべき指示と対応する回答と合致したことに応じて、前記撮影手段により撮影された前記ユーザの顔の複数の画像から、前記ユーザの顔画像を取得するように画像取得を制御する、ことを特徴とする請求項９に記載のプログラム。
12. 前記情報処理装置は、更に、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像と、を外部装置に送信する通信手段を有する、ことを特徴とする請求項１から１１のいずれか１項に記載のプログラム。
13. 前記通信手段は、更に、動作を前記撮影手段が撮影して得られる連続的な画像を圧縮動画として前記外部装置に送信する、ことを特徴とする請求項１２に記載のプログラム。
14. 前記通信手段は、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像と、を前記外部装置に送信したことに応じて、前記外部装置から前記ユーザの本人確認結果を受信する、ことを特徴とする請求項１２または１３に記載のプログラム。
15. 撮像デバイスと、
    前記撮像デバイスを用いて画像を撮影する撮影手段と、
    ユーザが身分証のカードを第１の面から第２の面に裏返す動作を前記撮影手段が撮影して得られる画像から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを、取得するように画像取得を制御する制御手段と、を有する、ことを特徴とする情報処理装置。
16. 撮像デバイスを有する情報処理装置において実行される情報処理方法であって、
    前記撮像デバイスを用いて画像を撮影する撮影工程と、
    ユーザが身分証のカードを第１の面から第２の面に裏返す動作を前記撮影工程で撮影して得られる画像から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを、取得するように画像取得を制御する制御工程と、を有する、ことを特徴とする情報処理方法。
17. 情報処理装置であって、前記情報処理装置の撮像デバイスを用いて画像を撮影する撮影手段と、ユーザが身分証のカードを第１の面から第２の面に裏返す動作を前記撮影手段が撮影して得られる画像から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを、取得するように画像取得を制御する制御手段と、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを送信する通信手段と、を有する情報処理装置と通信する情報処理サーバであって、
    前記情報処理装置から、前記カードの前記第１の面が撮影された画像と、前記カードの側面が撮影された画像と、前記カードの前記第２の面が撮影された画像とを受信する受信手段と、
    前記受信手段により受信した画像を用いた前記ユーザの本人確認結果を、前記情報処理装置に送信する送信手段と、を含む情報処理サーバ。

Images