JP2020177318A - 照合装置、学習装置、方法、及びプログラム - Google Patents

Abstract

【課題】２つの署名情報が、同一人物に関する署名情報であるか否かを精度良く判定することができる。【解決手段】入力部１０が、入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付ける。局所的特徴抽出部２４が、前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを時刻毎に関連付けるように予め学習された、局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出する。照合部２６が、第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、第１の署名情報及び第２の署名情報が、同一人物に関する署名であるか否かを判定する。【選択図】図３

Description

本発明は、照合装置、学習装置、方法、及びプログラムに係り、特に、時系列データを照合するための照合装置、学習装置、方法、及びプログラムに関する。

近年、本人以外の第三者が認証されることを防止するために、セキュリティ、電子政府、医療、教育、銀行、保険等の分野で生体認証技術の需要が高まっている。声紋や指紋に依存する従来の生体認証方法を補完ないし代用するものとして、体調などの不確定要因に影響されにくく、また認証対象者に大きな心理的負担を与えず、認証対象者にとって比較的平易な方法であり、しかも安価で個人認証を行うことができる、手書きの署名を用いる個人認証の技術が期待されている。広く使われている署名認証技術は、例えばタブレット端末上のディスプレイに電子ペンによって署名を入力するような署名収集装置を用い、当該装置から収集された電子ペンの先端の位置情報（座標）や筆圧情報等の多変数時系列データを、署名情報として扱う。認証の際には、入力された署名情報（認証対象署名）とデータベースに予め登録された１個以上の署名情報（テンプレート署名）と比較して認証結果を出力する。当該技術における特に重要な課題として、署名情報の照合方法すなわち認証対象署名とテンプレート署名との距離を測定する方法が挙げられる。

非特許文献１には、大域的特徴に基づく署名情報の代表的な照合方法が記述されている。当該方法では、署名情報は、筆跡の継続時間やペンアップ・ダウンの時刻等の時間的特徴と、筆跡の座標の一次・二次時間導関数から算出される速度・加速度特徴と、筆跡の方向ヒストグラム等の方向特徴と、筆跡全体や各ストロークから抽出される幾何学的特徴と、を含む１個の多次元特徴ベクトルによって記述される。認証対象署名とテンプレート署名との距離は、それぞれの特徴ベクトル間のマハラノビス距離によって定義される。しかし、図９が示しているように、大域的特徴の多くは、人手又はＮＮによる特徴抽出に伴い署名の時刻情報が消失するため、特徴ベクトル間の距離を測定する際に署名の時刻情報の一貫性（時間的一貫性）を制約として課すことが困難である。その結果、他人の署名（他人署名）や他人が悪意をもって真似をした署名（クローン署名）が認証対象署名として入力された時に、それとテンプレート署名として登録された本人署名と誤って一致と判定する確率（他人受入率）が高い。

例えば、図１０が示している２個の時系列データを考える。これらの時系列データは、異なる人物の署名情報である、すなわち一致と判定してはいけない、と仮定する。しかし、図１０が示しているように、これらの時系列データは局所的に類似する部分が非常に多い。局所的に類似している断片同士の対応関係（図１０の破線）において、断片の時刻が同一でなければならない、という時間的一貫性を制約として課さない場合、前記署名情報を誤って一致と判定する確率が高い。

一方で、同じ非特許文献１には、局所的特徴に基づく署名情報の代表的な照合方法も記述されている。当該方法では、署名情報の各時刻において、その周辺を包含する局所的断片は、筆跡や筆圧等から算出される複数の離散時間関数の値やそれらの一次・二次時間導関数の値等を含む１個の多次元特徴ベクトルによって記述される。従って、署名情報全体は、複数の特徴ベクトルによって構成される特徴ベクトルのシーケンスによって記述される。認証対象署名とテンプレート署名との距離は、それらの特徴ベクトルのシーケンスに対して、時刻や速度の変動に対処可能なＤｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（ＤＴＷ）や隠れマルコフモデルを適用することによって測定される。このような局所的な特徴ベクトルのシーケンスは、署名の時刻情報を含んでいるため、ＤＴＷ等のような時間的一貫性の制約を課す距離測定方法を用いることによって、他人署名やクローン署名が入力された時に、他人受入率をより低く抑えることが可能である。しかし、このような局所的特徴は、人手によって設計されたものであるため、必ずしも手元の署名認証目的に最適であるとは限らない。特により複雑な特徴表現が必要な場合、性能が不十分である。

署名特徴を人手によって設計するのではなく、データから直接学習する代表的な署名認証方法として、非特許文献２が挙げられる。当該方法では、署名情報は、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）によって抽出される１個の多次元特徴ベクトルによって記述される。認証対象署名とテンプレート署名との距離は、それぞれの特徴ベクトルの間の内積によって定義される。ＲＮＮのパラメータは、多数の訓練データを用いた学習によって決定される。当該方法では、署名情報をＲＮＮに入力した時に、ＲＮＮの最後の隠れ層では、複数の多次元特徴ベクトルを含んで構成される１個のシーケンスが算出される。当該シーケンスの各特徴ベクトルは、入力署名の各時刻に対応している。その後、１）シーケンスの最後の時刻にある特徴ベクトルないし２）シーケンス全体の平均特徴ベクトルが、入力署名の特徴ベクトルとして算出される。前記のどの方法を用いても、ここでの処理に伴い署名の時刻情報が消失するため、前記大域的特徴と同様に、特徴ベクトル間の距離を測定する際に時間的一貫性を制約として課すことが困難である。その結果、他人署名やクローン署名が認証対象署名として入力された時に、他人受入率が高い。

Marcos Martinez-Diaz, Julian Fierrez, Ram P. Krish, and Javier Galbally. Mobile signature verication: Feature robustness and performance comparison. IET Biometrics, Vol. 3, No. 4, pp. 267-277, 2014 Wenjie Pei. Models for supervised learning in sequence data. PhD thesis, Delft University of Technology, Netherlands, 2018.

前記の通り、大域的特徴やニューラルネットワークに基づく署名情報の照合方法の先行技術では、特徴抽出に伴い署名の時刻情報が消失するため、特徴ベクトル間の距離を測定する際に時間的一貫性を制約として課すことが困難である。その結果、他人署名やクローン署名が認証対象署名として入力された時に、他人受入率が高い。

一方で、局所的特徴に基づく署名情報の照合方法の先行技術では、署名情報の特徴は人手によって設計されたものであるため、必ずしも手元の署名認証目的に最適であるとは限らない。特により複雑な特徴表現が必要な場合、性能が不十分である。

先行技術では、前記課題を同時に解決可能な署名認証方法は未だにない。

本発明は、上記課題を解決するために成されたものであり、２つの時系列データが、同一対象に関する入力であるか否かを精度良く判定することができる照合装置、学習装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第一の態様に係る照合装置は、入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付ける入力部と、前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出する局所的特徴計算部と、前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する照合部と、を含んで構成されている。

第二の態様に係る照合装置は、入力手段による入力に応じた第１の時系列データ及び第２の時系列データを受け付ける入力部と、前記第１の時系列データ及び前記第２の時系列データの各々について、同一対象に関する入力であるか否かが予め付与された時系列データのペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出する局所的特徴計算部と、前記第１の時系列データについて抽出された各時刻の局所的特徴ベクトルと、前記第２の時系列データについて抽出された各時刻の局所的特徴ベクトルとの距離に基づいて、前記第１の時系列データ及び前記第２の時系列データが、同一対象に関する入力であるか否かを判定する照合部と、を含んで構成されている。

第三の態様に係る学習装置は、同一対象に関する入力であるか否かを示す訓練ラベルが予め付与された、入力手段による入力に応じた時系列データのペアに基づいて、局所的特徴ベクトルを抽出する抽出モデルを学習する学習装置であって、前記ペアの時系列データの各々について、前記抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出する局所的特徴計算部と、前記時系列データのペアの一方の前記時系列データから抽出された各時刻の局所的特徴ベクトルと、他方の前記時系列データから抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、各時刻での局所的特徴ベクトルの距離、及び前記時系列データのペアに付与された前記訓練ラベルを用いて表される損失関数の値を最適化するように、前記抽出モデルを学習する学習部と、を含んで構成されている。

第四の態様に係る照合方法は、入力部が、入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付け、局所的特徴計算部が、前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、照合部が、前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する。

第五の態様に係るプログラムは、コンピュータに、入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付け、前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定することを実行させるためのプログラムである。

本発明の一態様に係る照合装置、学習装置、方法、及びプログラムによれば、２つの時系列データが、同一対象に関する入力であるか否かを精度良く判定することができる、という効果が得られる。

時系列データの時刻情報の順番に沿って同じ時刻の局所的断片の相違を評価する方法を説明するための図である。 時系列データの時刻情報の順番に沿って同じ時刻の局所的断片の相違を評価する方法を説明するための図である。 ２つの時系列データの距離を求める処理の概要を示す図である。 本発明の実施の形態に係る照合装置の構成を示すブロック図である。 本発明の実施の形態に係る照合装置の時間的整合部、局所的特徴抽出部、及び局所的距離計算部の具体的構成を示すブロック図である。 本発明の実施の形態に係る学習装置の構成を示すブロック図である。 照合装置及び学習装置として機能するコンピュータの一例の概略ブロック図である。 本発明の実施の形態に係る学習装置における学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る照合装置における照合処理ルーチンを示すフローチャートである。 従来技術での２つの時系列データの距離を求める処理の概要を示す図である。 ２つの時系列データにおいて局所的に類似している断片同士の対応関係を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態では、前記課題を同時に解決可能な署名の照合方法、すなわち、署名情報の局所的特徴をデータから直接学習し、署名情報間の距離を測定する際に時間的一貫性を制約として課すことが可能な照合方法を提案する。

署名情報間の距離を測定する際に時間的一貫性を制約として課すためには、図１０が示しているような、異なる人物の署名情報であるが、局所的に類似している部分が多い時系列データに対して、図１Ａ、図１Ｂが示しているように、時系列データの時刻情報の順番に沿って局所的断片の対応関係を特定し、同じ時刻の局所的断片の相違を評価する必要がある。これにより、署名情報を誤って一致と判定する確率が低い。なお、破線及び一点鎖線は、同じ時刻の局所的断片の対応関係を示しており、破線は類似しているもの、一点鎖線は類似していないものを示している。

そのためには、署名情報の各時刻において、そこもしくはその周辺を包含する局所的断片から、局所的特徴すなわち局所的な多次元特徴ベクトルを抽出する必要がある。本発明の実施の形態では、この局所的特徴をデータから直接学習するために、時間軸に沿った畳み込みを用いた１次元の畳み込みニューラルネットワーク、もしくは、双方向のＬｏｎｇ Ｓｈｏｒｔ‐Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）や双方向のＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）等のＲＮＮを用い、前記局所的特徴を抽出する。このようなニューラルネットワークのパラメータは、多数の訓練データを用いた学習によって決定される。

本発明の実施の形態では、署名情報から、図２の右上が示しているような多次元特徴ベクトル（縦方向）のシーケンス（横方向）が、局所的特徴シーケンスとして抽出される。当該シーケンスの各特徴ベクトルは、入力署名の各時刻に対応している。その後、２個の局所的特徴シーケンスにおいて、各時刻について、同じ時刻にある２個の特徴ベクトルの間の距離（例えば、ユークリッド距離）を局所的距離として計算する。結果として、署名情報間の局所的距離のシーケンスが算出される。

図２では、各時刻にある局所的距離は１個の実数値になっているが、前記局所的距離を計算する方法によって、１個以上の実数値を持つような距離ベクトルになる場合もある。その場合、前記局所的距離シーケンスは、多次元の距離ベクトルのシーケンスになる。

署名認証を実施する段階（認証段階）では、前記局所的距離シーケンスに含まれる距離値を全て統合し、１個の距離値を算出し、署名情報間の距離とする。これによって、図１０が示しているように、時間的一貫性を持っていない局所的断片の対応関係が多数表れるような、異なる人物の署名情報に対して、図１Ａ、図１Ｂが示しているように、署名情報間の局所的な相違（図１Ａ、図１Ｂの破線参照）を漏れなく特定することが可能になる。更に、全ての局所的距離を統合することによって、署名情報間の局所的な相違を強調した、署名情報全体の距離値をより正確に算出することが可能になる。なお、本実施例では署名間で１個の距離を算出することとしているが、対応する時刻毎の距離をそのまま用いてもよい。つまり、対応する時刻毎の距離を時系列距離データとし、該時系列距離データそのものを距離としてもよい。要は、該時系列距離データを用いて最終的に照合元の署名と照合先の署名が一致するかを出力すればよい。例えば、該時系列距離データを時刻毎に所定の閾値に基づいて二値化してもよい。言い換えると、時系列情報が保持された距離に基づき、署名間の距離を定義できればよい。

前記ニューラルネットワークのパラメータを学習する段階（訓練段階）では、前記局所的距離シーケンスから算出される損失関数の値を最小化することによって、前記パラメータを学習する。この損失関数は、関数値の最小化によって、同一人物の署名情報間の局所的距離が小さくなり、異なる人物の署名情報間の局所的距離が大きくなる、という性質を持っていなければならない。そのために、本発明では、同一人物の署名情報の場合に局所的距離が大きいほど損失関数値が大きくなり、そうでない場合に局所的距離が小さいほど損失関数値が大きくなる、というような損失関数を定義し、学習に用いる。これによって学習されたニューラルネットワークは、署名情報全体の相違だけでなく、時系列データの時刻の順番に沿った時に、同じ時刻にある局所的断片の相違をも正確に測定することが可能になる。

また、同一人物の署名情報でも局所的な変移や速度の変化等、非線形の時間的変動が生じる場合が多い。認証段階でも訓練段階でも、時系列データの時刻情報の順番に沿って局所的断片の対応関係を正しく特定しなければならないため、前記非線形時間的変動の影響を抑制する必要がある。そのために、本発明の実施の形態では、前記ニューラルネットワークの前に、前記非線形時間的変動を補償し、２個の署名情報を時間軸に沿って整合する時間的整合部を追加する。

＜本発明の実施の形態に係る照合装置の構成＞
次に、本発明の実施の形態に係る照合装置の構成について説明する。図３に示すように、本発明の実施の形態に係る照合装置１００は、ＣＰＵと、ＲＡＭと、後述する照合処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この照合装置１００は、機能的には図３に示すように、入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、ペンタブレットなどの入力手段による入力位置の時系列データである、第１の署名情報を受け付ける。

また、入力部１０は、予め用意された、署名した人物が既知の、入力手段による入力位置の時系列データである、第２の署名情報の入力を受け付ける。例えば、テンプレート署名として、１個以上の第２の署名情報の入力を受け付ける。

演算部２０は、時間的整合部２２と、局所的特徴抽出部２４と、照合部２６とを備えている。

照合部２６は、局所的距離計算部３０と、局所的距離統合部３２と、判定部３４とを備えている。

＜時間的整合部＞
時間的整合部２２は、時系列データである第１の署名情報と、時系列データである第２の署名情報とに対して、時間軸に沿った整合を行い、第１の整合済署名情報と、第２の整合済署名情報とを出力する。

具体的には、時間的整合部２２は、２個の署名情報の間における非線形時間的変動を補償し、２個の署名情報を時間軸に沿って整合する。

例えば、２個の署名情報（図４の例ではＳｉｇｎａｔｕｒｅと表現）を時間軸に沿って整合するために用いる局所的特徴シーケンスを抽出する。具体的に、非特許文献１の方法を用いて、各署名情報の各時刻において、当該時刻の周辺を包含する局所的断片から、筆跡座標を用いて１個の７次元の特徴ベクトルを抽出する。結果として、各署名情報において、全ての時刻から抽出された特徴ベクトルを含む１個の局所的特徴シーケンスが算出される。また、別の実施例として、各署名情報をそのまま１個の局所的特徴シーケンスとして用いることも可能である。

次に、局所的特徴シーケンスの各次元において、その次元における全ての要素の平均が０、分散が１になるよう、前記全ての要素を正規化する（図４の例ではＣｈａｎｎｅｌ‐Ｗｉｓｅ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎと表現）。

次に、２個の署名情報から算出された、２個の正規化された局所的特徴シーケンスに対して、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（ＤＴＷ）を適用し、２個の署名情報の間における時刻の対応関係を表す、１個のワーピングパス（Ｗａｒｐｉｎｇ Ｐａｔｈ）を計算する。また、ＤＴＷの代わりに、Ｅｄｉｔ Ｄｉｓｔａｎｃｅを利用した方法等、２個の署名情報の間における非線形時間的変動を補償可能な任意の整合方法を用いることが可能である。

前記ワーピングパスを用いて、前記２個の正規化された局所的特徴シーケンスを時間軸に沿って整合する。整合された、２個の正規化された局所的特徴シーケンスを、２個の整合済の署名情報として出力する。また、別の実施例として、前記ワーピングパスを用いて、２個の署名情報を時間軸に沿って整合することも可能である。その場合、整合された、２個の署名情報を、２個の整合済署名情報として出力することとなる。

なお、時間的整合部２２による署名情報の整合では、２個の署名情報を変更せずに、２個の署名情報の間における時刻の対応関係を計算するのみとしてもよい。

＜局所的特徴量抽出部＞
局所的特徴抽出部２４は、第１の整合済署名情報と、第２の整合済署名情報とを入力とし、同一人物に関する署名情報であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを時刻毎に関連付けるように予め学習された、局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出し、２個の局所的特徴シーケンスを出力する。

具体的には、局所的特徴抽出部２４は、第１の整合済署名情報と、第２の整合済署名情報とのそれぞれに対し、各時刻において、当該時刻もしくは当該時刻の周辺を包含する局所的断片から１個の特徴ベクトルを抽出し、全ての時刻から抽出された特徴ベクトルを含む１個の局所的特徴シーケンスを出力する。

ここで言う局所的特徴シーケンスは、時間的整合部２２において２個の署名情報を時間軸に沿って整合するために用いる局所的特徴シーケンスとは別物である。

例えば、第１の整合済署名情報と、第２の整合済署名情報とのそれぞれに対して、畳み込みニューラルネットワークを用いて、以下の処理を実施する。

まず、第１の整合済署名情報及び第２の整合済署名情報の各々のサイズをあらかじめ定めた一定の長さ（本実施の形態では１０２４）に変更する（図４の例ではＲｅｓｉｚｅと表現）。これは、後述する学習装置２００で、畳み込みニューラルネットワークのパラメータの学習にバッチ学習やミニバッチ学習を用いるために、整合済署名情報のサイズをあらかじめ定めた一定の長さに変更する処理に対応して行われるものである。

次に、時間的整合部２２で実施された正規化を、サイズの変更された整合済署名情報に対して再度実施する（図４の例ではＣｈａｎｎｅｌ‐Ｗｉｓｅ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎと表現）。ここで、正規化された、サイズの変更された整合済の署名情報を、１×１０２４×７のテンソルとみなす。１０２４は時間的長さ、７は次元数である。このテンソルを入力とする畳み込みニューラルネットワークは、１層の１×７の畳み込み層と、１層のＭａｘ Ｐｏｏｌｉｎｇ層と、２層の１×３の畳み込み層と、を含んで構成される。全ての畳み込み層（図４の例ではＣｏｎｖと表現）の出力は、次元数を６４に設定する。１×７の畳み込み層とＭａｘ Ｐｏｏｌｉｎｇ層では、ストライド（Ｓｔｒｉｄｅ）を２に設定することによって、それぞれの出力の時間的長さがそれぞれの入力の時間的長さの半分になるよう、ダウンサンプリングを実施する（図４の例では「／２」と表現）。また、各畳み込み層の直後にＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層（参考文献１）を用いて、続いて、ＲｅＬＵ層を活性化関数として用いる。最後のＲｅＬＵ層に続いて、その出力の各時刻において、その位置の全ての要素のＬ２ノルムが１になるよう、前記全ての要素を正規化する（図４の例ではＬｏｃａｔｉｏｎ‐Ｗｉｓｅ Ｌ２ Ｎｏｒｍと表現）。全ての時刻において正規化が完了したものを局所的特徴シーケンスとして出力する。前記ダウンサンプリングは合計２回実施されたため、前記局所的特徴シーケンスの時間的長さは２５６である。その次元数は６４である。

また、別の実施例として、前記１×７の畳み込み層から最後のＲｅＬＵ層までのニューラルネットワークを、最後の出力となる隠れユニットの値の集合が局所的な特徴ベクトルのシーケンスと解釈可能で十分の時間的長さを持つような、任意のニューラルネットワークに替えることが可能である。当該条件を満たすニューラルネットワークの典型的な例として、畳み込みニューラルネットワークがあるが、そのほかにもＲｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）や双方向のＲＮＮ等がある。例えば、Ｌｏｎｇ Ｓｈｏｒｔ‐Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）を利用した、１層目のＬＳＴＭは（正規化された、サイズの変更された）整合済署名情報の最初の時刻からスタートして時間軸に沿って前進し、２層目のＬＳＴＭは（正規化された、サイズの変更された）整合済署名情報の最後の時刻からスタートして時間軸に沿って後退する、双方向のＬＳＴＭを用いることが可能である。また、前記ＬＳＴＭを全てＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）に替えた、双方向のＧＲＵを用いることも可能である。

［参考文献１］Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In ICML, pp. 448-456, 2015.

＜局所的距離計算部＞
局所的距離計算部３０は、第１の整合済署名情報について抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報について抽出された各時刻の局所的特徴ベクトルとの間の局所的距離を、時刻毎に計算する。

具体的には、入力である２個の署名情報を

とし、出力である署名情報間の距離を

とする。

から算出された、局所的特徴抽出部２４の出力である２個の局所的特徴シーケンスを、それぞれＸとＹとする。ＸとＹは、W×Kの実数行列とし、すなわち、

とする。ここで、W は時間的長さ、K は次元数である。

例えば、図４の例では、W = 256、K = 64 となる。ＸとＹにおいて、それぞれのi 番目の時刻にある特徴ベクトルを、それぞれ

とする。また、ＸとＹにおいて、それぞれのi 番目の時刻及びj 番目の次元にある要素を、それぞれx_ijとy_ij とする。

局所的距離計算部３０は、局所的特徴抽出部２４の出力である２個の局所的特徴シーケンスを入力とし、１個の局所的距離シーケンスを出力とする。局所的距離計算部３０は、２個の局所的特徴シーケンスの各時刻において、同じ時刻にある２個の特徴ベクトルの間の距離を計算し、全ての時刻から算出された距離を含む１個の局所的距離シーケンスを出力する。本実施の形態では、前記２個の特徴ベクトルの間のユークリッド距離を計算することによって、前記局所的距離シーケンスを算出する。ここで、前記２個の特徴ベクトルを

とし、２個の特徴ベクトルの間の距離を

とする。

を式（1）によって計算する。

(1)

局所的距離統合部３２は、１個の局所的距離シーケンスを入力とし、１個の署名情報間の距離を出力とする。

具体的には、局所的距離統合部３２は、局所的距離シーケンスに含まれる距離を全て統合し、１個の署名情報間の距離を計算する。本実施の形態では、局所的距離シーケンスに含まれる全ての距離の平均を計算し、前記署名情報間の距離とする。ここで、前記署名情報間の距離を

とし、式（2）によって計算する。

(2)

＜判定部＞
判定部３４は、署名情報間の距離に基づいて、第１の署名情報及び第２の署名情報が、同一人物に関する署名情報であるか否かを判定する。

具体的には、１個以上のテンプレート署名として入力された第２の署名情報の各々について、認証対象署名として入力された第１の署名情報と前記第２の署名情報との距離を局所的距離統合部３２によって計算し、全ての第２の署名情報において計算された前記距離の平均を計算し、１個のスコアを算出する。当該スコアをあらかじめ定めた閾値と比較し、スコアが閾値より小さい場合に、認証対象署名がテンプレート署名と同一人物の署名情報と判定し、そうでない場合に異なる人物の署名情報と判定する。ここで、認証対象署名を

とし、１個以上のテンプレート署名の集合を

とする。距離の平均は、例えば、式(3)もしくは式(4)によって計算できる。

(3)

(4)

＜本発明の実施の形態に係る学習装置の構成＞
次に、本発明の実施の形態に係る学習装置の構成について説明する。図５に示すように、本発明の実施の形態に係る学習装置２００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この学習装置２００は、機能的には図５に示すように、入力部１１０と、演算部１２０とを備えている。

入力部１１０は、同一人物に関する署名情報であるか否かを示す訓練ラベルが予め付与された、ペンタブレットなどの入力手段による入力位置の時系列データである署名情報のペアの入力を受け付ける。

演算部１２０は、時間的整合部１２２と、局所的特徴抽出部１２４と、学習部１２６とを備えている。

学習部１２６は、局所的距離計算部１３０と、損失関数値計算部１３２と、更新部１３４とを備えている。

図５が示しているように、学習装置２００では、時系列データである署名情報のペアとそれらが同一人物の署名情報か否かを示す１個の訓練ラベルとの１組を、１組の訓練データとして入力として受け付け、１個の損失関数値に基づいて、抽出モデルを更新する。

＜時間的整合部＞
時間的整合部１２２は、署名情報のペアのうちの第１の署名情報と、署名情報のペアのうちの第２の署名情報とに対して、時間的整合部２２と同様に、時間軸に沿った整合を行い、第１の整合済署名情報と、第２の整合済署名情報とを出力する。

＜局所的特徴量抽出部＞
局所的特徴抽出部１２４は、第１の整合済署名情報と、第２の整合済署名情報とを入力とし、局所的特徴抽出部２４と同様に、局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出し、２個の局所的特徴シーケンスを出力する。

＜局所的距離計算部＞
局所的距離計算部１３０は、局所的距離計算部３０と同様に、第１の整合済署名情報について抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報について抽出された各時刻の局所的特徴ベクトルとの間の局所的距離を、時刻毎に計算し、１個の局所的距離シーケンスを出力する。

＜損失関数値計算部＞
損失関数値計算部１３２は、第１の整合済署名情報から抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報から抽出された各時刻の局所的特徴ベクトルとの距離、及び当該時系列データのペアに付与された訓練ラベルを用いて表される損失関数の値を計算する。

具体的には、１個の局所的距離シーケンスと１個の訓練ラベルを入力とし、同一人物の署名情報の場合に局所的距離が大きいほど損失関数値が大きくなり、そうでない場合に局所的距離が小さいほど損失関数値が大きくなる、というような１個の損失関数値を計算する。

損失関数値計算部１３２に関して以下に２つの実施例を説明する。

＜実施例１＞
本実施例では、まず、局所的距離シーケンスの各時刻において、同一人物の署名情報の場合に局所的距離が大きいほど値が大きくなり、そうでない場合に局所的距離が小さいほど値が大きくなる、というような１個の局所的損失関数値を計算する。次に、全ての時刻から算出された局所的損失関数値の平均を計算し、損失関数値計算部１３２の出力である損失関数値とする。なお、本実施例では局所的損失関数値の平均としているが、局所的損失関数値の総和としてもよい。要は、得られた局所的損失関数値全てを用いて１つの値を出せればよい。また、上記損失関数値は、（１）時系列に係る特徴を残しつつ、（２）ヒューリスティックに決定された手法よりも学習データに応じた値であることが期待される。ここで、損失関数値計算部１３２の出力である損失関数値をＬとし、訓練ラベルをｚとする。ｚ∈｛０，１｝とし、同一人物の署名情報の場合にz = 1、そうでない場合にz = 0 とする。Ｌを式(5)によって計算する。式(5)中のτ はハイパーパラメータで、τ∈［０，√２］とする。

(5)

式(5)によって、同一人物の署名情報の場合に局所的距離

が大きいほど損失関数値Ｌが大きくなり、そうでない場合に局所的距離

が小さいほど損失関数値Ｌが大きくなる。

＜実施例２＞
本実施例の損失関数値計算部１３２では、式(2)によって計算される署名情報間距離

を用いて、同一人物の署名情報の場合に

が大きいほど値が大きくなり、そうでない場合に

が小さいほど値が大きくなる、というような１個の損失関数値を計算し、損失関数値計算部１３２の出力とする。ここで、前記損失関数値をＬとし、式(6)によって計算する。

(6)

同一人物の署名情報の場合に、式（2）によって、前記局所的距離

が大きいほど、前記署名情報間距離

が大きくなる。それに伴い、式(6)によって、損失関数値L が大きくなる。そうでない場合に、式（2）によって、前記局所的距離

が小さいほど、前記署名情報間距離

が小さくなる。それに伴い、式(6)によって、損失関数値L が大きくなる。

＜更新部＞
更新部１３４は、損失関数の値を最適化するように、抽出モデルのパラメータを更新する。

更新部１３４に関して、以下に、損失関数値計算部１３２の２つの実施例に対応する２つの実施例を説明する。

＜実施例１＞
本実施例では、更新部１３４は、以下の式(7)に従って、微分法を用いて抽出モデルのパラメータを更新する。

(7)

式(7)は、損失関数値L における、局所的特徴シーケンスＸの各要素x_ijに関する偏微分係数を示している。式(7)中の

は、各局所的距離

のx_ijに関する偏微分係数であり、

によって計算され、x_ijの時刻i によって異なる値を持つ。そのため、微分法を用いて抽出モデルを構成するニューラルネットワークのパラメータを学習する際に、局所的特徴シーケンスの各要素x_ij は、その時刻iによって適応的に更新されることとなる。

また、

と同様に、式(7)中の

も、x_ijの時刻i によって異なる値を持つ。従って、上記非特許文献2等のような、学習の時に局所的特徴シーケンスの各要素が全ての時刻において均一的に更新される先行技術とは異なり、本発明の実施の形態では、学習の時に局所的特徴シーケンスの各要素が、その時刻によって適応的に更新されるため、より識別力の高い局所的な特徴表現をより効果的に学習することが可能になる。

＜実施例２＞
本実施例では、更新部１３４は、以下の式(8)に従って、微分法を用いて抽出モデルのパラメータを更新する。

(8)

式(8)は、損失関数値L における、局所的特徴シーケンスX の各要素x_ij に関する偏微分係数を示している。実施例１と同様に、式(8)中の

は、x_ijの時刻i によって異なる値を持つ。微分法を用いて抽出モデルを構成するニューラルネットワークのパラメータを学習する際に、局所的特徴シーケンスの各要素x_ij は、その時刻i によって適応的に更新されることとなる。従って、より識別力の高い局所的な特徴表現をより効果的に学習することが可能になる。

一方で、実施例１とは異なり、式(8)中の

は、x_ijの時刻i によらず、全ての時刻において均一的な値を持つ。それによって、比較的に少量の訓練データしか使用できない場合、学習の時に局所的特徴シーケンスの各要素においてその更新のその時刻に対する依存性が適切に抑制され、過学習の悪影響を軽減することが可能になる。

本発明の実施の形態では、署名認証は署名情報間の局所的距離

にも依存するが、最終的には署名情報間距離

にも依存する。実施例１は、局所的距離に依存する損失関数を用いている一方で、実施例２は、局所的距離と署名情報間距離の両方に依存する損失関数を用いている。そのため、実施例２の方が、局所的な特徴表現の効果的な学習と過学習抑制において、その間のバランスがよりうまく取れた実施例であると考えられる。

照合装置１００及び学習装置２００の各々は、一例として、図６に示すコンピュータ８４によって実現される。コンピュータ８４は、ＣＰＵ８６、メモリ８８、プログラム８２を記憶した記憶部９２、モニタを含む表示部９４、及びキーボードやマウスを含む入力部９６を含んでいる。ＣＰＵ８６、メモリ８８、記憶部９２、表示部９４、及び入力部９６はバス９８を介して互いに接続されている。

記憶部９２はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部９２には、コンピュータ８４を照合装置１００又は学習装置２００として機能させるためのプログラム８２が記憶されている。ＣＰＵ８６は、プログラム８２を記憶部９２から読み出してメモリ８８に展開し、プログラム８２を実行する。なお、プログラム８２をコンピュータ可読媒体に格納して提供してもよい。

＜本発明の実施の形態に係る学習装置の作用＞
次に、本発明の実施の形態に係る学習装置２００の作用について説明する。入力部１１０によって、訓練ラベルが予め付与された署名情報のペアを、複数ペアを受け付けると、学習装置２００は、図７に示す学習処理ルーチンを実行する。

まず、ステップＳ１００では、署名情報のペアに含まれる第１の署名情報及び第２の署名情報に対して、時間軸に沿った整合を行い、第１の整合済署名情報と、第２の整合済署名情報とを出力する。

ステップＳ１０２では、局所的特徴抽出部１２４は、第１の整合済署名情報と、第２の整合済署名情報とを入力とし、局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出し、２個の局所的特徴シーケンスを出力する。

ステップＳ１０４では、局所的距離計算部１３０は、第１の整合済署名情報について抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報について抽出された各時刻の局所的特徴ベクトルとの間の局所的距離を、時刻毎に計算し、１個の局所的距離シーケンスを出力する。

そして、ステップＳ１０６では、損失関数値計算部１３２は、第１の整合済署名情報から抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報から抽出された各時刻の局所的特徴ベクトルとの距離、及び当該時系列データのペアに付与された訓練ラベルを用いて表される損失関数の値を計算する。

ステップＳ１０８では、更新部１３４は、損失関数の値を最適化するように、抽出モデルのパラメータを更新する。

ステップＳ１１０では、すべてのペアについて上記ステップＳ１００〜Ｓ１０８の処理を実行したか否かを判定する。上記ステップＳ１００〜Ｓ１０８の処理を実行していないペアが存在する場合には、上記ステップＳ１００へ戻り、当該ペアについて、上記ステップＳ１００〜Ｓ１０８の処理を繰り返す。一方、全てのペアについて、上記ステップＳ１００〜Ｓ１０８の処理を実行した場合には、学習処理ルーチンを終了する。

＜本発明の実施の形態に係る照合装置の作用＞
次に、本発明の実施の形態に係る照合装置１００の作用について説明する。

まず、入力部１０によって、ペンタブレットなどの入力手段による入力位置の時系列データである第１の署名情報を受け付ける。そして、入力部１０によって、テンプレート署名として、１個以上の第２の署名情報の入力を受け付けると、照合装置１００は、図８に示す照合処理ルーチンを実行する。

まず、ステップＳ１２０では、時間的整合部２２は、１個以上の第２の署名情報毎に、第１の署名情報と、当該第２の署名情報とに対して、時間軸に沿った整合を行い、第１の整合済署名情報と、第２の整合済署名情報とを出力する。

ステップＳ１２２では、局所的特徴抽出部２４は、１個以上の第２の署名情報毎に、第１の整合済署名情報と、第２整合済署名情報とを入力とし、学習装置２００により学習された抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出し、２個の局所的特徴シーケンスを出力する。

ステップＳ１２４では、局所的距離計算部３０は、１個以上の第２の署名情報毎に、第１の整合済署名情報について抽出された各時刻の局所的特徴ベクトルと、第２の整合済署名情報について抽出された各時刻の局所的特徴ベクトルとの間の局所的距離を、時刻毎に計算する。

そして、ステップＳ１２６では、局所的距離統合部３２は、１個以上の第２の署名情報毎に、局所的距離シーケンスに含まれる距離を全て統合し、１個の署名情報間の距離を計算する。

ステップＳ１２８では、判定部３４は、１個以上の第２の署名情報毎に計算された署名情報間の距離に基づいて、第１の署名情報及び第２の署名情報が、同一人物に関する署名情報であるか否かを判定し、照合処理ルーチンを終了する。

＜実験結果＞
上記の実施の形態で説明した手法の効果を確認するために行った実験の結果について説明する。署名情報のテストデータが、本物の署名情報か、偽造者によって模倣された署名情報であるかを判定する実験を行った。署名情報のデータセットとして、ＭＣＹＴ（参考文献２）、BiosecurID SONOF（参考文献３）、およびSUSIG visual and blind sub-corpuses（参考文献４）の４つのデータセットを用いた。

［参考文献２］J. Ortega-Garcia, J. Fierrez-Aguilar, D. Simon, et al., “MCYT baseline corpus: A bimodal biometric database,” IEE Proceedings- Vision, Image and Signal Processing, vol. 150, no. 6, pp.395-401, 2003.
［参考文献３］J. Galbally, M. D. Cabrera, M. A. Ferrer-Ballester, et al., “Online signature recognition through the combination of real dynamic data and synthetically generated static data,” Pattern Recognition, vol. 48, no. 9, pp. 2921-2934, 2015.
［参考文献４］A. Kholmatov and B. A. Yanikoglu, “SUSIG: An on-line signature database, associated protocols and benchmark results,” Pattern Anal. Appl., vol. 12, no. 3, pp. 227-236, 2009.

また、４つのベースラインとして、参考文献５に記載の関数にＤＴＷを適用したもの、Siamese network（SN）を用いたもの、Siamese network（SN）にＤＴＷを適用したもの、ＤＴＷを適用せずにSiamese network（SN）に上記実施例１を適用したものを採用した。

［参考文献５］M. Martinez-Diaz, J. Fierrez, R. P. Krish, and J. Galbally, “Mobile signature verification: Feature robustness and performance comparison,” IET Biometrics, vol. 3, no. 4, pp. 267-277, 2014.

また、評価指標として、EER（％）を用いて、比較した結果を表１に示す。

表１において、PWは、時間的整合を行うことを示し、LEは、上記実施例１、２の損失関数を用いることを示す。

また、ＭＣＹＴ（９０ ／ ８０ ／ ７０％）は、ＭＣＹＴの最初の90/80/70％を訓練データとして使用し、残りをテストデータとすることを示す。また、ＦＵＬＬは、4つのデータセットすべてを結合し、各データセットの最初の90％を訓練データとして抽出して結合し、残りすべてをテストデータとした。

また、PSN w/ sequence-wise local embedding lossは、上記実施の形態における実施例２の方法を示し、PSN w/ location-wise local embedding lossは、上記実施の形態における実施例１の方法を示す。

上記表１により、本実施の形態の方法は、すべてのベースラインより優れていることがわかった。

以上説明したように、本発明に実施の形態に係る照合装置は、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを時刻毎に関連付けるように予め学習された抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する。これにより、２つの署名情報が、同一人物に関する署名情報であるか否かを精度良く判定することができる。

また、本発明の実施の形態に係る学習装置は、訓練ラベルが予め付与された署名情報のペアについて、抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出し、各時刻での局所的特徴ベクトルの距離を計算し、各時刻での局所的特徴ベクトルの距離、及び訓練ラベルを用いて表される損失関数の値を最適化するように、抽出モデルを学習する。これにより、２つの署名情報が、同一人物に関する署名情報であるか否かを精度良く判定するための局所的特徴ベクトルを抽出する抽出モデルを学習することができる。

また、本発明の実施の形態によれば、署名情報間の距離を測定する際に時間的一貫性を制約として課す機能(認証段階)と、署名情報の局所的特徴をデータから直接学習する機能(訓練段階) と、を同時に実現することが可能になる。その結果、他人署名やクローン署名が認証対象の署名情報として入力された時に、他人受入率をより低く抑えると同時に、手元の署名認証目的に最適な署名特徴表現が可能になるため、より高い署名認証精度を実現することが可能になる。

また、時間的整合部を用いることによれば、同一人物の署名情報間に生じうる時刻や速度の変動等の非線形時間的変動を吸収し、局所的特徴をデータから直接学習するにあたって重要である局所的断片の対応関係を正確に特定することが可能になる。その結果、本人署名が認証対象署名として入力された時に、それとテンプレート署名とを不一致と判定する確率（本人拒否率）をより低く抑えることが可能である。

＜変形例＞
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、局所的距離計算部と局所的距離統合部を、以下の実施例のように構成することができる。

本実施例では、局所的距離計算部と局所的距離統合部において、上記の実施例１と実施例２のように人手によって設計された距離測定方法と統合方法を用いるのではなく、その距離測定方法と統合方法も学習を用いて決定する。それによって、十分な量の訓練データが使用可能な時には、より効果的に署名情報の特徴ベクトルを学習し、２個の署名情報をより正確に照合することが可能になる。

具体的には、局所的距離計算部は、まず、局所的特徴抽出部から出力された、２個の局所的特徴シーケンスの差分、すなわち、Ｘ−Ｙを計算する。計算されたＸ−Ｙを、1×W×K のテンソルとみなす。W は時間的長さ、K は次元数であり、例えば、図４が示している実施例では、W = 256、K = 64 となる。次に、ニューラルネットワークを用いて、テンソルＸ−Ｙを入力とし、十分な時間的長さを持つ、次元数が１以上の局所的距離シーケンスを算出し出力とする。例えば、２層の１×１の畳み込み層を用いて、その両方の出力の次元数を６４、ストライドを１に設定し、各畳み込み層の直後にＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層とＲｅＬＵ層を用いる、というような畳み込みニューラルネットワークを用いることが可能である。この場合、出力される局所的距離シーケンスは、時間的長さが２５６、次元数が６４、すなわち、１×２５６×６４のテンソルとなる。また、畳み込みニューラルネットワークの代わりに、双方向のＬＳＴＭや双方向のＧＲＵを用いることも可能である。

また、別の実施例として、前記２個の局所的特徴シーケンスにおいて、その差分ではなく、その両方を次元の方向に沿って結合し、結合されたシーケンスを前記ニューラルネットワークの入力とし、同じニューラルネットワークを用いて、前記局所的距離シーケンスを算出しても良い。前記２個の局所的特徴シーケンスをそれぞれ1×W×Kのテンソルとみなすと、前記結合されたシーケンスは1×W×2Kのテンソルとなる。前記ニューラルネットワークは、先に述べた実施例と同様に、畳み込みニューラルネットワークや双方向のＬＳＴＭ、双方向のＧＲＵを用いることが可能である。

局所的距離統合部では、ニューラルネットワークを用いて、前記局所的距離シーケンスを入力とし、１個の署名情報間の距離を出力とする。前記ニューラルネットワークの例として、出力の次元数を１に設定した１層の全結合層と１層のＳｉｇｍｏｉｄ層を含んで構成されるニューラルネットワークが挙げられる。ここで、算出された署名情報間の距離を

とする。前記ニューラルネットワークを用いる場合、

となる。

訓練段階では、局所的距離計算部と局所的距離統合部のニューラルネットワークのパラメータは、前記局所的特徴抽出部の抽出モデルのパラメータと同様かつ同時に、多数の訓練データを用いた学習によって決定される。損失関数値計算部では、まず、前記局所的距離シーケンスを入力とし、前記局所的距離統合部と同じニューラルネットワークを用いて、１個の署名情報間の距離を算出する。次に、前記署名情報間の距離

と前記訓練ラベルz を用いて、例えば、式(9)によって１個の損失関数値L を計算する。

(9)

同一人物の署名情報の場合に、前記局所的距離が大きいほど、前記署名情報間距離

が大きくなり、式(9)によって、損失関数値L が大きくなる。そうでない場合に、前記局所的距離が小さいほど、前記署名情報間距離

が小さくなり、式(9)によって、損失関数値L が大きくなる。

また、署名情報を照合する照合装置に本発明を適用する場合を例に説明したがこれに限定されるものではなく、他の種類の時系列データを照合する照合装置に適用してもよい。例えば、入力手段をセンサとし、センサによる入力に応じた時系列データである指紋情報を照合する照合装置に適用してもよい。この指紋情報は、指のどの部分から先にどのような圧力でセンサに触れられるかを表す時系列データであり、指紋情報を照合して、同一人物による指紋情報であるか否かを判定する。

また、対象とする時系列データによっては、時間的なずれが生じない場合があり、このような場合には、時間的整合部を省略してもよい。

１０、１１０ 入力部
２０、１２０ 演算部
２２、１２２ 時間的整合部
２４、１２４ 局所的特徴抽出部
２６ 照合部
３０、１３０ 局所的距離計算部
３２ 局所的距離統合部
３４ 判定部
５０ 出力部
８２ プログラム
８４ コンピュータ
１００ 照合装置
１２６ 学習部
１３２ 損失関数値計算部
１３４ 更新部
２００ 学習装置

Claims (7)

1. 入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付ける入力部と、
   前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出する局所的特徴計算部と、
   前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する照合部と、
   を含む照合装置。
2. 前記第１の署名情報と、前記第２の署名情報とに対して、時間軸に沿った整合を行う時間的整合部を更に含み、
   前記局所的特徴計算部は、前記時間的整合部による整合後の前記第１の署名情報及び前記第２の署名情報の各々について、前記抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、
   前記照合部は、前記時間的整合部による整合後の、前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記距離を用いて、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する請求項１記載の照合装置。
3. 前記抽出モデルは、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、又はＬＳＴＭ（Long short-term memory）であり、前記抽出モデルの中間層の出力を、局所的特徴ベクトルとする請求項１又は２記載の照合装置。
4. 入力手段による入力に応じた第１の時系列データ及び第２の時系列データを受け付ける入力部と、
   前記第１の時系列データ及び前記第２の時系列データの各々について、同一対象に関する入力であるか否かが予め付与された時系列データのペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出する局所的特徴計算部と、
   前記第１の時系列データについて抽出された各時刻の局所的特徴ベクトルと、前記第２の時系列データについて抽出された各時刻の局所的特徴ベクトルとの距離に基づいて、前記第１の時系列データ及び前記第２の時系列データが、同一対象に関する入力であるか否かを判定する照合部と、
   を含む照合装置。
5. 同一対象に関する入力であるか否かを示す訓練ラベルが予め付与された、入力手段による入力に応じた時系列データのペアに基づいて、局所的特徴ベクトルを抽出する抽出モデルを学習する学習装置であって、
   前記ペアの時系列データの各々について、前記抽出モデルを用いて、各時刻で、局所的特徴ベクトルを抽出する局所的特徴計算部と、
   前記時系列データのペアの一方の前記時系列データから抽出された各時刻の局所的特徴ベクトルと、他方の前記時系列データから抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、各時刻での局所的特徴ベクトルの距離、及び前記時系列データのペアに付与された前記訓練ラベルを用いて表される損失関数の値を最適化するように、前記抽出モデルを学習する学習部と、
   を含む学習装置。
6. 入力部が、入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付け、
   局所的特徴計算部が、前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、
   照合部が、前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する
   照合方法。
7. コンピュータに、
   入力手段による入力位置の時系列データである第１の署名情報及び第２の署名情報を受け付け、
   前記第１の署名情報及び前記第２の署名情報の各々について、同一人物に関する署名であるか否かが予め付与された署名情報のペアについての局所的特徴ベクトルを対応する全ての時刻毎に関連付けるように予め学習された、前記局所的特徴ベクトルを抽出する抽出モデルを用いて、各時刻で、前記局所的特徴ベクトルを抽出し、
   前記第１の署名情報について抽出された各時刻の局所的特徴ベクトルと、前記第２の署名情報について抽出された各時刻の局所的特徴ベクトルとについて、各時刻での局所的特徴ベクトルの距離を計算し、前記第１の署名情報及び前記第２の署名情報が、同一人物に関する署名であるか否かを判定する
   ことを実行させるためのプログラム。