JP2020195088A - 動画処理装置、動画処理方法、及びプログラム - Google Patents

Abstract

【課題】書類を表面から裏面に向けて回転させながら動画を書類の認証のために登録する際に、認証に不適格な動画が登録されないようにする。【解決手段】。取得部１１０は、回転している書類を撮影した動画を取得する。書類の第１主面（例えば表面）、側面、及び第２主面（例えば裏面）が含まれる。この動画を用いると、一枚の書類の第１主面に記載されている情報及び第２面に記載されている情報を、これらが同一の書類のものであるという確証とともに取得することができる。生成部１２０は、取得部１１０が取得した動画を処理することにより、書類の回転速度に関連する情報（以下、速度情報と記載）を生成する。判断部１３０は、速度情報が基準を満たすか否かを判断する。【選択図】図３

Description

本発明は動画処理装置、動画処理方法、及びプログラムに関する。

近年、決済用の口座の開設手続きなど、所定の書類（例えば本人確認書類）の提示が必要な手続きを、インターネットで行えるようになってきている。この際、書類に関する情報をインターネットで送信する必要がある。例えば特許文献１では、銀行口座の開設時に、通信端末は、運転免許証に内蔵されたＩＣチップから個人情報を読み取り、この個人情報をサーバに送信することが記載されている。

特開２０１８−３２３６７号公報

インターネットを用いて必要な書類を取得する場合、不正な書類を正規の書類として扱わないようにする必要がある。このためには、書類の確認をきちんと行う必要がある。この方法の一つに、書類を表面から裏面に向けて回転させながら動画を撮影し、この動画を取得することにより、一つの書類の表面及び裏面の情報を取得することが考えられる。しかし、このようにすると、書類の回転が鮮明に映らない可能性がでてくる。この場合、動画に写っている書類を認証できないため、再度動画を取得する必要が出てくる。

本発明の目的は、書類を表面から裏面に向けて回転させながら動画を書類の認証のために登録する際に、認証に不適格な動画が登録されないようにすることにある。

本発明によれば、回転している書類を含む動画を取得する取得手段と、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成手段と、
前記速度情報が基準を満たすか否かを判断する判断手段と、
を備える動画処理装置が提供される。

本発明によれば、コンピュータが、
回転している書類を含む動画を取得し、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成し、
前記速度情報が基準を満たすか否かを判断する、動画処理方法が提供される。

本発明によれば、コンピュータに、
回転している書類を含む動画を取得する取得機能と、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成機能と、
前記速度情報が基準を満たすか否かを判断する判断機能と、
を持たせるプログラムが提供される。

本発明によれば、書類を表面から裏面に向けて回転させながら動画を書類の認証のために登録する際に、認証に不適格な動画が登録されないようにすることができる。

第１実施形態に係る動画処理装置の使用環境を説明するための図である。 動画処理装置が処理する動画を説明するための図である。 動画処理装置の機能構成の一例を示す図である。 動画処理装置のハードウェア構成例を示す図である。 動画処理装置の動作例を示すフローチャートである。 ステップＳ２０で行われる処理の第１例を示すフローチャートである。 ステップＳ２０で行われる処理の第２例を示すフローチャートである。 第２実施形態に係る動画処理装置の機能構成を示す図である。 第２実施形態に係る動画処理装置の動作の第１例を示すフローチャートである。 ステップＳ２２の処理の第１例を示すフローチャートである。 ステップＳ２２の処理の第２例を示すフローチャートである。 ステップＳ２２の処理の第３例を示すフローチャートである。 実施形態に係る動画処理装置の動作の第２例を示すフローチャートである。 図１３のステップＳ２４の詳細例を示すフローチャートである。 第３実施形態に係る動画処理装置の機能構成を示す図である。 第３実施形態に係る動画処理装置が行う処理を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［第１実施形態］
図１は、本実施形態に係る動画処理装置１０の使用環境を説明するための図である。図２は、動画処理装置１０が処理する動画を説明するための図である。動画処理装置１０は、回転している書類を撮影した動画を処理し、この書類の回転状態が基準を満たしているか否かを判断する。そして動画処理装置１０は、基準を満たしている動画を動画登録装置２０に送信して記憶させる。

動画処理装置１０は、例えば所定のアプリケーションソフトウェアがインストールされた端末である。この端末は、携帯型の端末であってもよい。この場合、動画処理装置１０は、例えばスマートフォンや携帯電話であるが、これらに限定されない。

動画登録装置２０に記憶された動画は、動画に含まれる書類を認証するために用いられる。この認証は人が行ってもよいし、動画登録装置２０が画像解析を用いて行ってもよい。動画処理装置１０が動画登録装置２０に送信する動画には、図２に示すように、書類の第１主面（例えば表面）、側面、及び第２主面（例えば裏面）が含まれる。このため、この動画を用いると、一枚の書類の第１主面に記載されている情報及び第２面に記載されている情報を、これらが同一の書類のものであるという確証とともに取得することができる。そして動画登録装置２０は、書類の認証作業が行われる端末に動画を送信する。以下、第１主面は表面であり、第２主面は裏面であるとして説明を行う。

動画に含まれる書類は、手続きに必要な書類である。本実施形態において、書類には証書を含むものとする。例えば本人確認が必要な手続きを行う場合、動画は、本人確認用の書類を撮影したものになる。本人確認用の書類の種類としては、例えば、免許証（例えば運転免許証）、パスポート、各種の認定証、学生証、会社の身分証明書、及び保険証などが挙げられるが、本人の顔画像（以下、本人画像と記載）を含むのが好ましい。

図３は、動画処理装置１０の機能構成の一例を示す図である。動画処理装置１０は、取得部１１０、生成部１２０、及び判断部１３０を有している。取得部１１０は、上記した動画を取得する。生成部１２０は、取得部１１０が取得した動画を処理することにより、書類の回転速度に関連する情報（以下、速度情報と記載）を生成する。判断部１３０は、速度情報が基準を満たすか否かを判断する。

書類の回転速度が速すぎる場合、動画に表面と裏面が鮮明に写っていたとしても、その表面と裏面が同一の書類のものという確証は取りづらい。このため、動画において、書類の回転速度は第１基準値以下であることが望ましい。判断部１３０が用いる基準は、書類の回転速度は第１基準値以下であるように設定されている。

また、書類の回転速度が遅すぎる場合、書類の表面と裏面を映すためには、動画が所定時間以内に収まらない可能性が出てくる。このため、動画において、書類の回転速度は第２基準値以下であることが望ましい。そして判断部１３０が用いる基準は、さらに、書類の回転速度は第２基準値以上であるように設定されているのが好ましい。判断部１３０は、これらの基準を予め記憶している。

動画処理装置１０は、動画を生成する撮影部を内蔵していてもよいし、外部の撮影装置が生成した動画を処理してもよい。前者の場合、取得部１１０は、撮影部が生成した動画を取得する。後者の場合、取得部１１０は外部の装置（例えば動画を生成した撮影装置）から動画を取得する。

生成部１２０は、速度情報を生成するほか、動画を構成するフレーム画像を処理することにより、動画に書類の表面及び裏面が写っているか否かを判断する。この判断には、表面の特徴量（以下、第１特徴量と記載）及び裏面の特徴量（以下、第２特徴量と記載）が用いられる。生成部１２０は、特徴量記憶部１５０からこれらの特徴量を取得する。また、特徴量記憶部１５０は、書類の外形線を検出するための特徴量（以下、外形特徴量と記載）も記憶している。本図に示す例において、特徴量記憶部１５０は動画処理装置１０の一部となっている。ただし、特徴量記憶部１５０は動画処理装置１０の外部に位置していてもよい。

図３に示す例において、動画処理装置１０は送信部１４０を備えている。送信部１４０は、動画処理装置１０が基準を満たすと判断した動画を、動画登録装置２０に送信する。この送信処理は、動画を動画登録装置２０に記憶させるための処理の一例である。

なお、動画を動画登録装置２０に送信する際、送信部１４０は、動画処理装置１０の識別情報又は動画処理装置１０のユーザの識別情報を、動画に紐づけて動画登録装置２０に送信するのが好ましい。このようにすると、動画に含まれる書類に対応するユーザを容易に特定することができる。

図４は、動画処理装置１０のハードウェア構成例を示す図である。動画処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は動画処理装置１０の各機能（例えば取得部１１０、生成部１２０、判断部１３０、及び送信部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、動画処理装置１０と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、動画処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。そして、動画処理装置１０は、ネットワークインタフェース１０６０を介して動画登録装置２０に接続する。

なお、取得部１１０及び生成部１２０として機能するアプリケーションが予め動画処理装置１０となるハードウェアにインストールされている場合、生成部１２０、判断部１３０、及び特徴量記憶部１５０として機能するアプリケーションを追加でハードウェアにインストールすると、動画処理装置１０を実現できる。

図５は、動画処理装置１０の動作例を示すフローチャートである。まず、動画処理装置１０の取得部１１０は、処理対象となる動画を取得する（ステップＳ１０）。次いで生成部１２０は、取得部１１０が取得した動画を処理することにより、速度情報を生成する（ステップＳ２０）。この処理の詳細については、他の図を用いて後述する。そして判断部１３０は、ステップＳ２０で生成された速度情報が基準を満たすか否かを判断する（ステップＳ３０）。基準を満たすと判断した場合（ステップＳ３０：Ｙｅｓ）、判断部１３０は、ステップＳ１０で取得した動画を記憶部（本実施形態では動画登録装置２０）に記憶させるための処理を行う（ステップＳ４０）。具体的には、判断部１３０は、動画を送信部１４０に出力する。すると送信部１４０は、この動画を動画登録装置２０に送信して記憶させる。

図６は、ステップＳ２０で行われる処理の第１例を示すフローチャートである。まず生成部１２０は、特徴量記憶部１５０から、書類の第１特徴量、第２特徴量、及び外形特徴量を取得する（ステップＳ２０２）。

次いで生成部１２０は、動画を構成する各フレーム画像に対して第１特徴量のマッチング処理を行うことにより、書類の表面を含むフレーム画像を検出する。そして、生成部１２０は、これらのフレーム画像のうち、書類が占める割合（又は書類の面積）が予め定められた基準（以下、第１割合基準と記載）以上となるフレーム画像を、第１フレーム画像として選択する（ステップＳ２０４）。この処理において、書類が占める割合を算出する際には外形特徴量が用いられる。すなわち、生成部１２０は、外形特徴量を用いて書類の外形線を検出する。そして、この外形線を用いて、フレーム画像の全体に対して書類が占める割合（又は書類の面積）を算出する。

ステップＳ２０４において、選択されたフレーム画像が複数あった場合、生成部１２０は、書類が占める割合が最大となるフレーム画像を第１フレーム画像として選択する。

また、生成部１２０は、書類の表面を含むフレーム画像のうち、書類が占める割合が最大となるフレーム画像を第１フレーム画像として選択してもよい。

次いで生成部１２０は、動画を構成する各フレーム画像に対して第２特徴量のマッチング処理を行うことにより、書類の裏面を含むフレーム画像を検出する。そしてこれらのフレーム画像のうち、書類が占める割合が予め定められた基準（以下、第２割合基準と記載）以上となるフレーム画像を、第２フレーム画像として選択する（ステップＳ２０６）。ここで行われる処理の詳細は、ステップＳ２０４と同様である。

また、ステップＳ２０６において、選択されたフレーム画像が複数あった場合、生成部１２０は、類が占める割合が最大となるフレーム画像を第２フレーム画像として選択する。

また、生成部１２０は、書類の表面を含むフレーム画像のうち、書類が占める割合が最大となるフレーム画像を第２フレーム画像として選択してもよい。

次いで生成部１２０は、第１フレーム画像から第２フレーム画像までの時間を算出し、この時間を速度情報とする（ステップＳ２０８）。なお、生成部１２０は、第１フレーム画像から第２フレーム画像までのフレーム数を速度情報としてもよい。この場合、速度情報には動画のフレームレートが含まれていてもよい。

そして図５のステップＳ３０において、判断部１３０は、この速度情報が第１基準値以下の場合に、速度情報が基準を満たすと判断する。なお、上述した第２基準値が設定されている場合、判断部１３０は、速度情報が第２基準値以上であることも、速度情報が基準を満たすための条件にする。

なお、本図に示す例において、第１フレーム画像及び第２フレーム画像の少なくとも一方が特定できない場合があり得る。この場合、生成部１２０は、そのことを示す情報を、動画処理装置１０のユーザや動画登録装置２０のユーザに通知するために、外部に出力する。ここでの出力先は、例えば動画処理装置１０が有するディスプレイや音声出力部、又は動画登録装置２０である。

図７は、ステップＳ２０で行われる処理の第２例を示すフローチャートである。まず生成部１２０は、特徴量記憶部１５０から、書類の第１特徴量、第２特徴量、及び外形特徴量を取得する（ステップＳ２２２）。次いで、生成部１２０は、図６のステップＳ２０４と同様に第１フレーム画像を特定し（ステップＳ２２４）、かつ、図６のステップＳ２０６と同様に第２フレーム画像を特定する（ステップＳ２２６）。次いで生成部１２０は、第１フレーム画像から第２フレーム画像における、書類の外形の単位時間当たりの変化量（以下、変化速度と記載）を、速度情報として生成する（ステップＳ２２８）。ここで生成部１２０は、書類の外形の変化速度の最大値を速度情報としてもよい。

なお、生成部１２０は、動画を示すフレーム画像を処理することにより、フォーカスが書類に合っているか否かを判断してもよい。この場合、生成部１２０はフォーカスがあっていない場合には速度情報を生成しない。また、生成部１２０は、第１撮像部１６０のフォーカス位置を示す情報を第１撮像部１６０から取得し、動画生成中にフォーカス位置の変動量が基準値以上となっている場合には速度情報を生成しないようにしてもよい。

以上、本実施形態によれば、書類を表面から裏面に向けて回転させながら動画を書類の認証のために登録する際に、書類の回転速度が基準を満たさない動画を、動画が動画登録装置２０に登録される前に検出できる。このため、認証に不適格な動画が動画登録装置２０に登録されることを抑制できる。

［第２実施形態］
図８は、本実施形態に係る動画処理装置１０の機能構成を示す図であり、第１実施形態における図３に相当する。本実施形態に係る動画処理装置１０は、以下の点を除いて第１実施形態に係る動画処理装置１０と同様の構成である。

まず、動画処理装置１０は第１撮像部１６０を有している。第１撮像部１６０は、書類を含む動画を生成して取得部１１０に出力する。

また第１撮像部１６０は、当該第１撮像部１６０の姿勢や動きを検知するためのセンサ（例えばジャイロセンサ）を有している。第１撮像部１６０は、動画を生成している間のセンサの検出結果、すなわち動画を生成している間の第１撮像部１６０の動き及び姿勢の変化の少なくとも一方を特定する情報（以下、動き特定情報と記載）を、取得部１１０に出力する。

なお、動画処理装置１０がスマートフォンである場合、第１撮像部１６０は、スマートフォンに予め内蔵されている撮像部である。またこの場合、第１撮像部１６０の姿勢や動きを検知するためのセンサは、スマートフォンの姿勢や動きを検知するためのセンサである。

また、特徴量記憶部１５０は複数種類の書類別に、第１特徴量、第２特徴量、及び外形特徴量を記憶している。具体的には特徴量記憶部１５０は、書類の種類を特定するための書類特定情報を、複数種類の書類ごとに記憶している。複数種類の書類の例は、第１実施形態に示した通りである。そして特徴量記憶部１５０は、これらの書類特定情報に紐づけて、その書類の第１特徴量、第２特徴量、及び外形特徴量を記憶している。

そして動画処理装置１０は、入力部１７０を有している。入力部１７０は、例えばキーボード、タッチパネル、又はマウスなどの入力デバイスを介して、書類特定情報を取得する。この書類特定情報は、動画処理装置１０のユーザが入力したものであり、第１撮像部１６０が撮影している書類に対応している。生成部１２０は、入力部１７０が取得した書類特定情報に対応する各種の特徴量を特徴量記憶部１５０から読み出し、これらの特徴量を用いて速度情報を生成する。

図９は、本実施形態に係る動画処理装置１０の動作の第１例を示すフローチャートである。本実施形態において、取得部１１０、生成部１２０、及び判断部１３０は、第１撮像部１６０が動画を生成している間にその場で動画を処理する。

まず、取得部１１０は、入力部１７０を介して書類特定情報を取得する（ステップＳ１２）。すると、第１撮像部１６０は動画の生成及び動き情報の生成を開始する。また生成部１２０は、動画を処理して速度情報を生成する（ステップ２２）。そして判断部１３０は、速度情報が基準を満たし（ステップＳ３０：Ｙｅｓ）、かつ、動き情報が基準を満たす（ステップＳ３２）場合に、記憶のための処理を行う（ステップＳ４０）。

ここで動き情報に関する基準は、第１撮像部１６０の動きが基準値（上限値）以下となるように設定されている。もし動画を撮影している間に第１撮像部１６０の動きや姿勢の変化が大きかった場合、動画はぶれている可能性が高い。このため、判断部１３０は、動き情報が基準を満たさなかった場合には動画を動画登録装置２０に記憶させない。

図１０は、本実施形態におけるステップＳ２２の処理の第１例を示すフローチャートである。まず生成部１２０は、ステップＳ１２で取得した書類特定情報に対応する第１特徴量、第２特徴量、及び外形特徴量を、特徴量記憶部１５０から取得する（ステップＳ２０２）。

そして第１撮像部１６０は、例えばユーザからの入力に従って動画の撮影を開始する。そして第１撮像部１６０は、動画を構成するフレーム画像を、フレーム画像を生成するたびに、又は一定数（もしくは所定時間）ごとに、取得部１１０に出力する。この際、第１撮像部１６０は、動き情報も取得部１１０に出力する（ステップＳ２０３）。

次いで生成部１２０は、第１フレーム画像を検出するための処理を、取得部１１０がフレーム画像を取得するたびに、第１フレーム画像が検出されるまで行う（ステップＳ２０４）。第１フレーム画像を検出するための処理の詳細は、第１実施形態のステップＳ２０４において説明した通りである。

第１フレーム画像が選択された後、生成部１２０は、第２フレーム画像を検出するための処理を、取得部１１０がフレーム画像を取得するたびに、第２フレーム画像が選択されるまで行う（ステップＳ２０６）。第２フレーム画像を検出するための処理の詳細は、第１実施形態のステップＳ２０６において説明した通りである。

生成部１２０は、第２フレーム画像が検出されると、動画の生成を終了するための信号を第１撮像部１６０に出力する。第１撮像部１６０は、この信号を取得すると、動画の生成を終了する（ステップＳ２０７）。

そして生成部１２０は、第１フレーム画像から第２フレーム画像までの時間を算出し、この時間を速度情報とする（ステップＳ２０８）。この処理は図６を用いて説明した通りである。

図１１は、本実施形態におけるステップＳ２２の処理の第２例を示すフローチャートである。まず生成部１２０は、ステップＳ１２で取得した書類特定情報に対応する第１特徴量、第２特徴量、及び外形特徴量を、特徴量記憶部１５０から取得する（ステップＳ２２２）。

次いで第１撮像部１６０は、図１０のステップＳ２０３と同様にして、動画の生成を開始し、取得部１１０に動画及び動き情報を出力し始める（ステップＳ２２３）。

次いで生成部１２０は、図１０のステップＳ２０４と同様にして、第１フレーム画像を検出する（ステップＳ２２４）。次いで、生成部１２０は、図１０のステップＳ２０６と同様にして、第２フレーム画像を検出する（ステップＳ２２６）。その後、図１０のステップＳ２０６と同様に、第１撮像部１６０による動画の生成は終了する（ステップＳ２２７）。

次いで判断部１３０は、第１フレーム画像から第２フレーム画像までにおける、書類の外形の変化速度を算出し、この時間を速度情報とする（ステップＳ２２８）。この処理は図７を用いて説明した通りである。

図１２は、本実施形態におけるステップＳ２２の処理の第３例を示すフローチャートである。本図に示す処理は、動画を構成するフレーム画像に、書類を保持する手が写っていることを、速度情報を生成するための要件としている。

詳細には、ステップＳ２０１〜ステップＳ２０４までの処理は、図１０を用いて説明した通りである。第１フレーム画像が特定された後、すなわち書類の表面を含むフレーム画像が特定された後、生成部１２０は、その後に取得部１１０が取得するフレーム画像に、書類を持っている手が含まれ続けるか否かを判断する。手が含まれ続ける場合に、処理を続行する（ステップＳ２０５：Ｙｅｓ）この際に用いられる手の特徴量は特徴量記憶部１５０に予め記憶されており、また、生成部１２０はこの特徴量をステップＳ２０２において取得する。

そして手を含まないフレーム画像を検出したら、処理を終了する（ステップＳ２０５：Ｎｏ）

なお、図１１に示した処理において、ステップＳ２２４とステップＳ２２６の間に本図に示したステップＳ２０５の処理が含まれていてもよい。この場合、生成部１２０は、手の特徴量をステップＳ２２２において取得する。

図１３は、本実施形態に係る動画処理装置１０の動作の第２例を示すフローチャートである。本図に示す例において、ユーザは入力部１７０に書類特定情報を入力しない。このため、図１３に示すフローチャートには、図９に示したステップＳ１２が含まれていない。その代わりに、ステップＳ２４において、生成部１２０は、特徴量記憶部１５０に記憶されている情報を用いて、動画に含まれている書類の書類特定情報を特定する。

図１４は、図１３のステップＳ２４の詳細例を示すフローチャートである。まず第１撮像部１６０は、図１０のステップＳ２０３と同様にして、動画の生成を開始し、取得部１１０に動画及び動き情報を出力し始める（ステップＳ２３２）。次いで、生成部１２０は、ステップＳ２３２で取得したフレーム画像に対して、特徴量記憶部１５０が記憶している第１特徴量を用いたマッチング処理を、複数種類の書類それぞれについて行う。そして、いずれかのフレーム画像において一致度が基準値以上になった第１特徴量が存在した場合、その第１特徴量に対応する書類特定情報を特徴量記憶部１５０から読み出すことにより、動画に含まれる書類を特定する。また、そのフレーム画像を第１フレーム画像とする（ステップＳ２３４）

次いで生成部１２０は、ステップＳ２３４で読み出した書類特定情報に対応する第２特徴量を読み出し（ステップＳ２３６）、この第２特徴量を用いて第２フレーム画像を検出する（ステップＳ２３８）。この処理は、図１０のステップＳ２０６と同様である。

その後の処理（ステップＳ２４０及びステップＳ２４２）は、それぞれ、図１０のステップＳ２０７及びステップＳ２０８と同様である。

なお、図１１及び図１２を用いて説明した処理において、本図に示した処理と同様に、生成部１２０が、特徴量記憶部１５０に記憶されている情報を用いて動画に含まれている書類の書類特定情報を特定するようにしてもよい。

以上、本実施形態によっても、第１実施形態と同様に、認証に不適格な動画が登録されることを抑制できる。また、動画を生成している間に、書類の表面及び裏面の双方が写っていることを確認できるため、不適格な動画が判断部１３０によって処理される可能性をさらに少なくすることができる。

［第３実施形態］
図１５は、本実施形態に係る動画処理装置１０の機能構成を示す図である。本実施形態に係る動画処理装置１０は、第２撮像部１６２を備えている点を除いて、第２実施形態に係る動画処理装置１０と同様の構成である。本実施形態において、第１撮像部１６０によって撮影される書類は本人画像付の本人確認書類である。

第２撮像部１６２は、第１撮像部１６０が書類を含む動画を撮影している間、動画処理装置１０のユーザすなわち撮影者の顔を撮像する。例えば動画処理装置１０がスマートフォンなどの携帯端末の場合、第１撮像部１６０はディスプレイとは逆の面に設けられたカメラであり、第２撮像部１６２はディスプレイと同じ面に設けられたカメラである。第２撮像部１６２が生成する画像は静止画であってもよいし、動画であってもよい。

そして生成部１２０は、第１撮像部１６０によって撮影された書類に含まれる本人画像と、第２撮像部１６２によって撮影された撮影者画像が一致することを、速度情報生成を行うための条件にする。

次に、本実施形態に係る動画処理装置１０の第１動作例を説明する。本動作例は、ステップＳ２２の詳細を除いて、第２実施形態に係る動画処理装置１０の動作と同様である。

図１６は、本実施形態におけるステップＳ２２の第１詳細例を示すフローチャートである。ステップＳ２５２，Ｓ２５４，Ｓ２５６，Ｓ２５８に示した処理は、それぞれ、図１０のステップＳ２０１，Ｓ２０２，Ｓ２０３，Ｓ２０４に示した処理と同様である。ただしステップＳ２５６において、第１撮像部１６０が書類を含む動画を生成するとともに、第２撮像部１６２が撮影者画像の生成を開始する。第２撮像部１６２は、撮影者画像を静止画として生成してもよいし、動画として生成し続けてもよい。

第１フレーム画像が選択された（ステップＳ２５８）後、生成部１２０は、第１フレーム画像に含まれる本人画像の特徴量を生成する（ステップＳ２６０）。そして生成部１２０は、第２撮像部１６２が生成した撮影者画像の特徴量を算出し、この特徴量が、ステップＳ２６０で生成した特徴量に一致しているか否か、すなわち一致度が基準を満たすか否かを判断する（ステップＳ２５２）。一致していなかった場合（ステップＳ２６２：Ｎｏ）、生成部１２０は処理を終了し、速度情報を生成せず、その代わりに顔が一致しなかったこと（又は本人画像を検出できなかったこと）を通知するための処理を行う。この処理は、例えば動画処理装置１０のディスプレイにそのことを示す表示を行わせること、及び、動画処理装置１０の音声出力部から警告音を出力することの少なくとも一方である。

また生成部１２０は、２つの特徴量が一致していた場合（ステップＳ２６２：Ｙｅｓ）、ステップＳ２６４，Ｓ２６６，Ｓ２６８に示した処理を行う。これらの処理は、それぞれ、図１０のステップＳ２０６．Ｓ２０７，Ｓ２０８に示した処理と同様である。なお、生成部１２０は、ステップＳ２６８において、図１１のステップＳ２２８と同様の処理を行ってもよい。

なお、第１撮像部１６０が書類を含む動画を生成している間に第２撮像部１６２も撮影者画像を動画として生成し続けている場合、生成部１２０は、第２フレーム画像が検出されるまで、第２撮像部１６２が生成した各フレーム画像に対してステップＳ２６２に示した処理を繰り返し行ってもよい。この場合、第１撮像部１６０が動画を撮影している間に第２撮像部１６２の撮像範囲から撮影者の顔が外れると、その時点で処理が終了又は中断する。

また、生成部１２０は、第１フレーム画像の検出直後にステップＳ２６２に示した処理を行うとともに、第２フレーム画像の検出直後にステップＳ２６２に示した処理をさらに行ってもよい。

また、生成部１２０は、ステップＳ２６０において本人画像の特徴量を算出できなかった場合も、速度情報を生成しない。

また、動画処理装置１０は、２種類の特徴量の一致度が基準を満たすことを、速度情報を生成するための条件ではなく、動画を動画登録装置２０に記憶させるための条件としてもよい。

また第１フレーム画像ではなく第２フレーム画像に本人画像が含まれていることもあり得る。この場合、生成部１２０は、ステップＳ２６０及びステップＳ２６２に示した処理を、ステップＳ２６６の後で行う。そして、ステップＳ２６０において、第１フレーム画像及び第２フレーム画像の双方に対して本人画像の特徴量を算出する処理を行う。

本実施形態によっても、認証に不適格な動画が登録されることを抑制できる。また、撮影者が自分とは異なる人の本人認証用の書類を撮影していることを判断するため、撮影者が誤った本人認証用の画像を撮影することを抑制できる。

また、第１撮像部１６０又は第２撮像部１６２の内どちらか一方の撮像部で、撮像者画像と書類を含む動画の両方を生成することもできる。また、動画処理装置１０が第２撮像部１６２を有していない場合、第１撮像部１６０が撮影者画像を生成してもよい。この場合、第１撮像部１６０は、書類を含む動画を生成するとともに、動画を生成する前又は後に、撮影者画像を生成する。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、本人確認書類に記載された情報を光学的文字認識（OCR）により取得することもできる。この場合、撮像者画像と本人確認書類に記載された本人画像の特徴量を算出し、これらの特徴量の一致度が基準を満たす場合に、第１フレーム画像及び第２フレーム画像の少なくとも一方を用いて、本人確認書類の表面又は裏面の少なくとも一方に記載された文字情報をOCRで取得（テキスト化）してもよい。このようにすることで、撮像者が誤った本人確認書類の情報を撮影することを抑制できる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．回転している書類を含む動画を取得する取得手段と、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成手段と、
前記速度情報が基準を満たすか否かを判断する判断手段と、
を備える動画処理装置。
２．上記１に記載の動画処理装置において、
前記判断手段は、さらに、前記書類の第１主面及び前記第１主面とは異なる第２主面の双方が前記動画に含まれているか否かを判断する動画処理装置。
３．上記２に記載の動画処理装置において、
前記判断手段は、前記基準を満たした前記動画を記憶手段に記憶させるための処理を行う動画処理装置。
４．上記２又は３に記載の動画処理装置において、
前記判断手段は、
前記第１主面の特徴量である第１特徴量、及び前記第２主面の特徴量である第２特徴量を取得し、
前記第１特徴量及び前記第２特徴量を用いて前記第１主面及び前記第２主面が前記動画に含まれているか否かを判断する動画処理装置。
５．上記４に記載の動画処理装置において、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記判断手段は、前記動画に含まれている前記書類の前記書類特定情報を取得し、当該書類特定情報に対応する前記第１特徴量及び前記第２特徴量を前記特徴量記憶手段から読み出す動画処理装置。
６．上記４に記載の動画処理装置において、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記生成手段は、前記特徴量記憶手段に記憶されている情報を用いて、前記動画に含まれている前記書類の前記書類特定情報を特定する動画処理装置。
７．上記４〜６のいずれか一項に記載の動画処理装置において、
前記生成手段は、前記第１主面及び前記第２主面の少なくとも一方が前記動画から検出できなかったと判断したときに、そのことを示す情報を出力する動画処理装置。
８．上記２〜７のいずれか一項に記載の動画処理装置において、
前記判断手段は、
前記第１主面が占める割合が第１基準値以上となる第１フレーム画像から、前記第２主面が占める割合が第２基準値以上なる第２フレーム画像までの時間を、前記速度情報として生成し、
前記速度情報が下限値以上であるか否かを判断する動画処理装置。
９．上記２〜７のいずれか一項に記載の動画処理装置において、
前記判断手段は、
前記書類の外形の単位時間当たりの変化量を前記速度情報として生成し、
前記速度情報が上限値以下であるか否かを判断する動画処理装置。
１０．上記１〜９のいずれか一項に記載の動画処理装置において、
前記取得手段は、前記動画とともに、前記動画を撮影した撮影装置の当該動画を撮影している間の動きを特定する動き情報を取得し、
前記判断手段は、さらに前記動き情報が基準を満たすか否かを判断する動画処理装置。
１１．上記１〜１０のいずれか一項に記載の動画処理装置において、
前記判断手段は、さらに、前記動画が、前記書類を保持している手を含み続けているか否かを判断する、動画処理装置。
１２．上記１〜１１のいずれか一項に記載の動画処理装置において、
前記書類は本人確認書類であり、当該本人の顔画像である本人画像を含んでいる動画処理装置。
１３．上記１２に記載の動画処理装置において、
前記取得手段は、前記動画を撮影している撮影者の画像である撮影者画像を取得し、
前記判断手段は、前記本人画像と前記撮影者画像の一致度が基準を満たすか否かを判断する動画処理装置。
１４．上記１３に記載の動画処理装置において、
前記取得手段は、前記動画を撮影している間に当該動画及び前記撮影者画像を取得する動画処理装置。
１５．コンピュータが、
回転している書類を含む動画を取得し、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成し、
前記速度情報が基準を満たすか否かを判断する、動画処理方法。
１６．上記１５に記載の動画処理方法において、
前記コンピュータは、さらに、前記書類の第１主面及び前記第１主面とは異なる第２主面の双方が前記動画に含まれているか否かを判断する動画処理方法。
１７．上記１６に記載の動画処理方法において、
前記コンピュータは、前記基準を満たした前記動画を記憶手段に記憶させるための処理を行う動画処理方法。
１８．上記１６又は１７に記載の動画処理方法において、
前記コンピュータは、
前記第１主面の特徴量である第１特徴量、及び前記第２主面の特徴量である第２特徴量を取得し、
前記第１特徴量及び前記第２特徴量を用いて前記第１主面及び前記第２主面が前記動画に含まれているか否かを判断する動画処理方法。
１９．上記１８に記載の動画処理方法において、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記コンピュータは、前記動画に含まれている前記書類の前記書類特定情報を取得し、当該書類特定情報に対応する前記第１特徴量及び前記第２特徴量を前記特徴量記憶手段から読み出す動画処理方法。
２０．上記１８に記載の動画処理方法において、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記コンピュータは、前記特徴量記憶手段に記憶されている情報を用いて、前記動画に含まれている前記書類の前記書類特定情報を特定する動画処理方法。
２１．上記１８〜２０のいずれか一項に記載の動画処理方法において、
前記コンピュータは、前記第１主面及び前記第２主面の少なくとも一方が前記動画から検出できなかったと判断したときに、そのことを示す情報を出力する動画処理方法。
２２．上記１６〜２１のいずれか一項に記載の動画処理方法において、
前記コンピュータは、
前記第１主面が占める割合が第１基準値以上となる第１フレーム画像から、前記第２主面が占める割合が第２基準値以上なる第２フレーム画像までの時間を、前記速度情報として生成し、
前記速度情報が下限値以上であるか否かを判断する動画処理方法。
２３．上記１６〜２１のいずれか一項に記載の動画処理方法において、
前記コンピュータは、
前記書類の外形の単位時間当たりの変化量を前記速度情報として生成し、
前記速度情報が上限値以下であるか否かを判断する動画処理方法。
２４．上記１５〜２３のいずれか一項に記載の動画処理方法において、
前記コンピュータは、
前記動画とともに、前記動画を撮影した撮影装置の当該動画を撮影している間の動きを特定する動き情報を取得し、
さらに前記動き情報が基準を満たすか否かを判断する動画処理方法。
２５．上記１５〜２４のいずれか一項に記載の動画処理方法において、
前記コンピュータは、さらに、前記動画が、前記書類を保持している手を含み続けているか否かを判断する、動画処理方法。
２６．上記１５〜２５のいずれか一項に記載の動画処理方法において、
前記書類は本人確認書類であり、当該本人の顔画像である本人画像を含んでいる動画処理方法。
２７．上記２６に記載の動画処理方法において、
前記コンピュータは、
前記動画を撮影している撮影者の画像である撮影者画像を取得し、
前記本人画像と前記撮影者画像の一致度が基準を満たすか否かを判断する動画処理方法。
２８．上記２７に記載の動画処理方法において、
前記コンピュータは、前記動画を撮影している間に当該動画及び前記撮影者画像を取得する動画処理方法。
２９．コンピュータに、
回転している書類を含む動画を取得する取得機能と、
前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成機能と、
前記速度情報が基準を満たすか否かを判断する判断機能と、
を持たせるプログラム。

３０．上記２９に記載のプログラムにおいて、
前記コンピュータに、さらに、前記書類の第１主面及び前記第１主面とは異なる第２主面の双方が前記動画に含まれているか否かを判断させるプログラム。
３１．上記３０に記載のプログラムにおいて、
前記コンピュータに、前記基準を満たした前記動画を記憶手段に記憶させるための処理を行わせるプログラム。
３２．上記３０又は３１に記載のプログラムにおいて、
前記コンピュータに、
前記第１主面の特徴量である第１特徴量、及び前記第２主面の特徴量である第２特徴量を取得させ、
前記第１特徴量及び前記第２特徴量を用いて前記第１主面及び前記第２主面が前記動画に含まれているか否かを判断させるプログラム。
３３．上記３２に記載のプログラムにおいて、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記コンピュータに、前記動画に含まれている前記書類の前記書類特定情報を取得し、当該書類特定情報に対応する前記第１特徴量及び前記第２特徴量を前記特徴量記憶手段から読み出させるプログラム。
３４．上記３２に記載のプログラムにおいて、
前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
前記コンピュータに、前記特徴量記憶手段に記憶されている情報を用いて、前記動画に含まれている前記書類の前記書類特定情報を特定させるプログラム。
３５．上記３２〜３４のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第１主面及び前記第２主面の少なくとも一方が前記動画から検出できなかったと判断したときに、そのことを示す情報を出力させるプログラム。
３６．上記３０〜３５のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、
前記第１主面が占める割合が第１基準値以上となる第１フレーム画像から、前記第２主面が占める割合が第２基準値以上なる第２フレーム画像までの時間を、前記速度情報として生成させ、
前記速度情報が下限値以上であるか否かを判断させるプログラム。
３７．上記３０〜３５のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、
前記書類の外形の単位時間当たりの変化量を前記速度情報として生成させ、
前記速度情報が上限値以下であるか否かを判断させるプログラム。
３８．上記２９〜３７のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、
前記動画とともに、前記動画を撮影した撮影装置の当該動画を撮影している間の動きを特定する動き情報を取得させ、
さらに前記動き情報が基準を満たすか否かを判断させるプログラム。
３９．上記２９〜３８のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、さらに、前記動画が、前記書類を保持している手を含み続けているか否かを判断させる、プログラム。
４０．上記２９〜３９のいずれか一項に記載のプログラムにおいて、
前記書類は本人確認書類であり、当該本人の顔画像である本人画像を含んでいるプログラム。
４１．上記４０に記載のプログラムにおいて、
前記コンピュータに、
前記動画を撮影している撮影者の画像である撮影者画像を取得させ、
前記本人画像と前記撮影者画像の一致度が基準を満たすか否かを判断させるプログラム。
４２．上記４１に記載のプログラムにおいて、
前記コンピュータに、前記動画を撮影している間に当該動画及び前記撮影者画像を取得させるプログラム。

１０ 動画処理装置
２０ 動画登録装置
１１０ 取得部
１２０ 生成部
１３０ 判断部
１４０ 送信部
１５０ 特徴量記憶部
１６０ 第１撮像部
１６２ 第２撮像部
１７０ 入力部

Claims (16)

1. 回転している書類を含む動画を取得する取得手段と、
   前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成手段と、
   前記速度情報が基準を満たすか否かを判断する判断手段と、
   を備える動画処理装置。
2. 請求項１に記載の動画処理装置において、
   前記判断手段は、さらに、前記書類の第１主面及び前記第１主面とは異なる第２主面の双方が前記動画に含まれているか否かを判断する動画処理装置。
3. 請求項２に記載の動画処理装置において、
   前記判断手段は、前記基準を満たした前記動画を記憶手段に記憶させるための処理を行う動画処理装置。
4. 請求項２又は３に記載の動画処理装置において、
   前記判断手段は、
   前記第１主面の特徴量である第１特徴量、及び前記第２主面の特徴量である第２特徴量を取得し、
   前記第１特徴量及び前記第２特徴量を用いて前記第１主面及び前記第２主面が前記動画に含まれているか否かを判断する動画処理装置。
5. 請求項４に記載の動画処理装置において、
   前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
   前記判断手段は、前記動画に含まれている前記書類の前記書類特定情報を取得し、当該書類特定情報に対応する前記第１特徴量及び前記第２特徴量を前記特徴量記憶手段から読み出す動画処理装置。
6. 請求項４に記載の動画処理装置において、
   前記第１特徴量及び前記第２特徴量は、複数種類の前記書類別に、前記書類の種類を特定する書類特定情報に紐づけて特徴量記憶手段に記憶されており、
   前記生成手段は、前記特徴量記憶手段に記憶されている情報を用いて、前記動画に含まれている前記書類の前記書類特定情報を特定する動画処理装置。
7. 請求項４〜６のいずれか一項に記載の動画処理装置において、
   前記生成手段は、前記第１主面及び前記第２主面の少なくとも一方が前記動画から検出できなかったと判断したときに、そのことを示す情報を出力する動画処理装置。
8. 請求項２〜７のいずれか一項に記載の動画処理装置において、
   前記判断手段は、
   前記第１主面が占める割合が第１基準値以上となる第１フレーム画像から、前記第２主面が占める割合が第２基準値以上なる第２フレーム画像までの時間を、前記速度情報として生成し、
   前記速度情報が下限値以上であるか否かを判断する動画処理装置。
9. 請求項２〜７のいずれか一項に記載の動画処理装置において、
   前記判断手段は、
   前記書類の外形の単位時間当たりの変化量を前記速度情報として生成し、
   前記速度情報が上限値以下であるか否かを判断する動画処理装置。
10. 請求項１〜９のいずれか一項に記載の動画処理装置において、
    前記取得手段は、前記動画とともに、前記動画を撮影した撮影装置の当該動画を撮影している間の動きを特定する動き情報を取得し、
    前記判断手段は、さらに前記動き情報が基準を満たすか否かを判断する動画処理装置。
11. 請求項１〜１０のいずれか一項に記載の動画処理装置において、
    前記判断手段は、さらに、前記動画が、前記書類を保持している手を含み続けているか否かを判断する、動画処理装置。
12. 請求項１〜１１のいずれか一項に記載の動画処理装置において、
    前記書類は本人確認書類であり、当該本人の顔画像である本人画像を含んでいる動画処理装置。
13. 請求項１２に記載の動画処理装置において、
    前記取得手段は、前記動画を撮影している撮影者の画像である撮影者画像を取得し、
    前記判断手段は、前記本人画像と前記撮影者画像の一致度が基準を満たすか否かを判断する動画処理装置。
14. 請求項１３に記載の動画処理装置において、
    前記取得手段は、前記動画を撮影している間に当該動画及び前記撮影者画像を取得する動画処理装置。
15. コンピュータが、
    回転している書類を含む動画を取得し、
    前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成し、
    前記速度情報が基準を満たすか否かを判断する、動画処理方法。
16. コンピュータに、
    回転している書類を含む動画を取得する取得機能と、
    前記動画を処理することにより、前記書類の回転速度に関連する速度情報を生成する生成機能と、
    前記速度情報が基準を満たすか否かを判断する判断機能と、
    を持たせるプログラム。

Images