ES2845282A1

ES2845282A1 - Metodo y sistema de verificacion de firmas y escrituras manuscritas dinamicas mediante aprendizaje profundo

Info

Publication number: ES2845282A1
Application number: ES202030060A
Authority: ES
Inventors: Rodríguez Rubén Vera; Moranchel Rubén Tolosana; García Javier Ortega; Aguilar Julián Fiérrez; Moreno Aythami Morales
Original assignee: Universidad Autonoma de Madrid
Current assignee: Universidad Autonoma de Madrid
Priority date: 2020-01-24
Filing date: 2020-01-24
Publication date: 2021-07-26
Anticipated expiration: 2040-01-24
Also published as: EP4095749A1; EP4095749B1; ES2845282B2; ES2970420T3; EP4095749C0; WO2021148692A1

Abstract

Método y sistema de verificación de firmas y escrituras manuscritas dinámicas mediante aprendizaje profundo. El método comprende las siguientes etapas: extracción de funciones temporales (110) de un conjunto de muestras formado por al menos una muestra de registro (Si) perteneciente a una determinada identidad y una muestra de test (ST) dubitada, obteniendo al menos un patrón de registro (TFi) y un patrón de test (TFT); alineamiento temporal (120) del al menos un patrón de registro (TFi) con el patrón de test (TFT), obteniendo al menos un patrón de registro alineado (TAF1) y un patrón de test alineado (TAFT), comparación de los patrones alineados (TAFi, TAFT) utilizando una red neuronal recurrente (130) previamente entrenada, obteniendo una medida de similitud (132) entre la al menos una muestra de registro(Si) y la muestra de test(ST); y verificación de la identidad (140) de la muestra de test (S T) en función de una comparación de la medida de similitud (132) con un valor umbral.

Description

DESCRIPCIÓN

MÉTODO Y SISTEMA DE VERIFICACIÓN DE FIRMAS Y ESCRITURAS

MANUSCRITAS DINÁMICAS MEDIANTE APRENDIZAJE PROFUNDO

OBJETO DE LA INVENCIÓN

La presente invención se engloba en el campo de los métodos y sistemas de verificación y reconocimiento de firmas y escrituras manuscritas dinámicas mediante la comparación de muestras.

ANTECEDENTES DE LA INVENCIÓN

La tecnología de verificación de firma manuscrita dinámica y de reconocimiento de escritura manuscrita dinámica ha evolucionado significativamente en los últimos 40 años. Esta tecnología ha pasado de necesitar dispositivos de muy altas prestaciones especialmente diseñados para la adquisición de muestras manuscritas dinámicas de muy buena calidad que produjeran buenas tasas de rendimiento de los sistemas, a poder usar dispositivos de uso general como tabletas o teléfonos inteligentes incluso usando el dedo como útil de escritura. Sin embargo, el núcleo de los principales sistemas de comparación de firma y escritura manuscrita sigue estando basado en algoritmos tradicionales como Alineamiento Temporal Dinámico (DTW, “Dynamic Time Warping”), modelos ocultos de Márkov (HMM, “Hidden Markov Models”), y máquinas de vectores de soporte (SVM, “Support Vector Machines”). Este aspecto es un poco inusual si comparamos estos rasgos biométricos con otros como el reconocimiento facial o de huella dactilar en los que la tecnología basada en redes neuronales profundas ha conseguido superar ampliamente el rendimiento de sistemas tradicionales.

Una de las principales causas para que eso ocurra es que no existen grandes bases de datos públicas con las que entrenar correctamente este tipo de sistemas para reconocimiento de firma y escritura dinámica, al contrario de lo que ocurre con otros rasgos donde la accesibilidad a grandes bases de datos es sencilla.

Hasta el momento los sistemas basados en redes neuronales en esta área no consiguen obtener mejoras significativas respecto a sistemas tradicionales. En [1] se presenta un sistema basado en redes neuronales recurrentes (RNN) para la tarea de verificación de firmas manuscritas que consigue mejorar el rendimiento de un sistema tradicional basado en DTW para el caso de comparaciones de firmas genuinas contra imitaciones (“skilled forgeries”); sin embargo, para el caso de comparaciones de firmas provenientes de usuarios diferentes (“random forgeries”) el sistema consigue resultados mucho peores que un sistema tradicional basado en DTW. En [2] se propone un sistema basado en RNNs usando la información de trazos en lugar de muestras temporales. Aunque los resultados obtenidos para la base de datos BiosecurID son mejores que en [1] para el caso de imitaciones, no es así para otras bases de datos, con resultados mucho peores, por lo que este método no generaliza bien. Además, ese trabajo no muestra los resultados obtenidos para el caso de comparaciones de tipo “random forgeries”, limitándose sólo al caso de imitaciones. Finalmente, en [3] se propone un método basado en una red neuronal convolucional (CNN, tradicionalmente usada para imágenes) para extracción de características a partir de características globales de las firmas, y no de las muestras temporales directamente. Este método no tiene buena capacidad de generalización ya que obtiene resultados muy diferentes en función de la base de datos considerada. Además, tampoco muestra resultados para el caso de comparaciones tipo “random forgeries”. En la evaluación de un sistema de comparación de firma dinámica es imprescindible mostrar los resultados tanto para las comparaciones de tipo “random forgeries” como “skilled forgeries”, ya que de esa forma se puede analizar el rendimiento frente a los dos principales tipos de ataques a este tipo de sistemas.

Es necesario por tanto un método de verificación de firmas y escrituras manuscritas dinámicas que se pueda emplear para distintos tipos de dispositivos de captura y bases de datos, y que obtenga buenos rendimientos también para el caso de usar firma y escritura realizadas con el dedo, así como para los casos de comparaciones de tipo “random forgeries” y “skilled forgeries”.

El método propuesto en la presente invención soluciona los problemas anteriores, pudiendo ser usado tanto para verificación de firmas como para verificación de contraseñas manuscritas realizadas usando tanto un estilete como el dedo en una pantalla táctil, obteniendo muy buenas tasas de rendimiento, superiores al estado del arte actual.

Referencias

[1] R. Tolosana, R. Vera-Rodriguez, J. Fierrez, and J. Ortega-Garcia, “Exploring Recurrent Neural Networks for On-Line Handwritten Signature Biometrics”, IEEE Access, vol. 6, pp. 5128-5138, 2018.

[2] C. Li, X. Zhang, F. Lin, Z. Wang, J. Liu, R. Zhang and H. Wang, “A Strokebased RNN for Writer-Independent Online Signature Verification,” in Proc. International Conference on Document Analysis and Recognition (ICDAR), 2019.

[3] C. Sekhar, P. Mukherjee, D.S. Guru and V. Pulabaigari, “OSVNet:

Convolutional Siamese Network for Writer Independent Online Signature Verification,” in Proc. International Conference on Document Analysis and Recognition (ICDAR), 2019.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención se refiere a un método y sistema de verificación y reconocimiento de firmas y escrituras manuscritas dinámicas mediante la comparación de muestras o realizaciones.

Es un objeto de la presente invención un método para la comparación de muestras de escritura y firma manuscrita dinámica basado en un alineamiento temporal de las muestras de un conjunto de funciones temporales de información característica y la comparación mediante una red neuronal recurrente usada tradicionalmente en secuencias temporales de datos, como es el caso de firma y escritura manuscrita dinámica. Este objeto se alcanza con el método de la reivindicación 1.

El método propuesto en la presente invención permite, mediante el alineamiento temporal previo de características temporales de las muestras a comparar, un mejor entrenamiento de los sistemas basados en redes neuronales recurrentes, extrayendo características más robustas para la comparación tanto de firmas de otros usuarios (“random forgeries”) como imitaciones (“skilled forgeries”), con resultados excelentes. El método generaliza muy bien para su uso con distintos tipos de dispositivos de captura y bases de datos, así como para firmas y/o escritura realizadas con el dedo, superando los resultados en el estado del arte. Además, el método propuesto se ha evaluado también para contraseñas manuscritas, superando el estado del arte.

Más concretamente, el método propuesto comprende las siguientes etapas: i) extracción de funciones temporales, ii) alineamiento temporal de los patrones, iii) extracción de un nuevo espacio de características y comparación usando una red neuronal recurrente para obtener una medida de similitud, y iv) verificación de la identidad de la muestra de test en función de una comparación de la medida de similitud con un valor umbral.

La red neuronal recurrente es entrenada previamente al funcionamiento normal del sistema. El método de la presente invención puede comprender dicha etapa previa de entrenamiento de la red neuronal recurrente. El entrenamiento es según un método de aprendizaje automático que se realiza de forma iterativa minimizando una función de coste. En primer lugar, se generan conjuntos de entrenamiento que incluyen muestras a comparar entre sí. Cada conjunto de entrenamiento está compuesto por un número N de muestras de registro todas pertenecientes a la misma identidad I (ancla) y una muestra de test. Para entrenar el método se necesitan ejemplos de la muestra de test que provengan de la misma identidad con la que se compara, pero además se necesitan ejemplos de la muestra de test que bien provengan de otras identidades diferentes a la identidad I o bien sean imitaciones de muestras de la identidad I.

En la primera etapa del entrenamiento se lleva a cabo la extracción de funciones temporales derivadas de la información dinámica básica adquirida para cada muestra (generalmente muestras temporales de las coordenadas X e Y, y opcionalmente presión), generando un patrón derivado de cada muestra (N patrones de registro y un patrón de test).

La segunda etapa del entrenamiento lleva a cabo la alineación temporal entre los patrones de cada conjunto de patrones de registro que se van a comparar con el patrón de test. Para ello, cada uno de los patrones de registro se alinea con el patrón de test usando un algoritmo de alineamiento temporal cuyo cometido es minimizar la función de coste basada en un alineamiento óptimo entre los patrones que se comparan, dando como resultado una correspondencia temporal entre las muestras temporales que permite crear nuevos patrones ya alineados y por tanto con igual longitud temporal.

En la tercera etapa del entrenamiento los patrones previamente alineados se introducen como entrada en la red neuronal recurrente siguiendo un proceso de entrenamiento iterativo, en el que la red lleva a cabo un proceso de transformación de los patrones a otro espacio de características. En la red neuronal se aplican varias capas de tipo recurrente que generan una nueva representación global y compacta de cada secuencia temporal de entrada. En esta nueva representación cada una de las nuevas características contiene información de todos los instantes de tiempo de la secuencia temporal de entrada. Se minimiza una función de coste que consigue reducir la distancia cuando el conjunto de muestras de registro con identidad I y la muestra de test provienen de la misma identidad, y maximizar esa distancia en el caso en el que la muestra de test provenga de una identidad diferente a la identidad I o sea una muestra que imite a las muestras de la identidad I. Finalmente, la red neuronal recurrente obtiene una medida de similitud entre las muestras de registro y la muestra de test, de forma que cuanto más similares sean las muestras comparadas mayor es el valor de la medida de similitud. De acuerdo a una realización, la red neuronal recurrente asigna un valor cercano a uno para la comparación de muestras de la misma identidad y un valor cercano a cero para el caso de tener una muestra de test de distinta identidad o imitación de las muestras con las que se compara.

La medida de similitud es comparada con un determinado umbral de decisión. Si la medida de similitud no supera el valor del umbral entonces el sistema determina que la muestra de test pertenece a una identidad distinta a la identidad I de las muestras de registro del conjunto con las que se compara. Si la medida de similitud sí supera dicho umbral, el sistema determina que la muestra de test pertenece a la misma identidad I que el resto de muestras con las que se compara.

El método propuesto se puede aplicar tanto para la comparación de firmas manuscritas dinámicas, como para la comparación de muestras de escritura manuscrita dinámica. En ambos casos, el método propuesto obtiene mejoras de rendimiento en cuanto a tasas de error del sistema muy significativas en comparación con otros enfoques del estado del arte.

Es objeto también de la presente invención un sistema de verificación y reconocimiento de firmas y escrituras manuscritas dinámicas. El sistema comprende al menos una memoria, al menos un programa almacenado en memoria, y uno o más procesadores configurados para ejecutar el al menos un programa, el cual incluye instrucciones para llevar a cabo el método de verificación de firmas y escrituras manuscritas dinámicas previamente definido.

La presente invención también se refiere a un producto de programa de verificación de firmas y escrituras manuscritas dinámicas, que comprende medios de instrucciones de programa para llevar a cabo el método previamente definido cuando el programa se ejecuta en uno o varios procesadores. El producto de programa está preferentemente almacenado en un medio de soporte de programas.

A lo largo de la descripción y de las reivindicaciones, la palabra «comprende» y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la invención y en parte de la práctica de la invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración y no se pretende que restrinjan la presente invención. Además, la invención cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí indicadas.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos y tablas en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1.- Muestra un diagrama de bloques del método propuesto para comparación de firma y escritura manuscrita dinámica.

Figura 2.- Muestra el proceso de generación de conjuntos de entrenamiento usados en el entrenamiento del método propuesto para la comparación de firmas y escritura dinámica.

Figuras 3A y 3B.- Muestran ejemplos de dos realizaciones de firmas (Figura 3A) y escritura (Figura 3B) con la información básica adquirida (coordenadas de X, Y y presión P para el caso de firma y sólo coordenadas X e Y para el caso de escritura) en función de sus muestras temporales.

Figura 4.- Muestra un listado de funciones temporales que se puede extraer a partir de una realización que contenga las funciones básicas X, Y y presión en función del tiempo.

Figuras 5A y 5B.- Muestran ejemplos de extracción de funciones temporales para los ejemplos de las Figuras 3A y 3B respectivamente. Este conjunto de funciones temporales podría ser diferente mediante una selección de las funciones mostradas o la inclusión de funciones adicionales.

Figuras 6A y 6B.- Muestran el resultado de la alineación temporal sobre los ejemplos anteriores. Para el caso de firmas se usa el algoritmo de alineamiento DTW y para el caso de escritura se usa el algoritmo SW-DTW. Sería posible usar otros algoritmos de alineamiento temporal diferentes en cada caso.

Figuras 7A y 7B.- Muestran ejemplos de la estructura de la red neuronal usada para el ejemplo de firmas (Figura 6A) y de escritura (Figura 6B).

Figuras 8A y 8B.- Muestran el rendimiento basado en la tasa de error EER (Equal Error Rate) de sistemas basados en DTW, RNN y RNN con alineamiento temporal DTW previo (TA-RNN) para la verificación de firma dinámica manuscrita usando tres bases de datos, para el caso de comparación con imitaciones (“skilled forgeries”) y firmas de otros usuarios (“random forgeries”). Además, se incluye el caso de comparación de una firma de registro contra una firma de test, y el caso de comparar cuatro firmas de registro contra una firma de test.

Figura 9.- Muestra valores de EER para sistema basado en DTW en comparación con sistema basado en RNN con alineamiento temporal SW-DTW para la comparación de contraseñas manuscritas con distinta longitud.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

Seguidamente se expone una descripción detallada que incluye dos ejemplos de realización preferente del método para la comparación de firmas y escritura manuscrita dinámica de acuerdo con la presente invención. Tal y como se ha indicado anteriormente, el método de la presente invención permite desarrollar tecnología de comparación de muestras dinámicas de firma y escritura manuscrita para decidir si las muestras que se comparan pertenecen a la misma identidad o a una identidad diferente.

La Figura 1 muestra el diagrama de bloques del método 100 propuesto en la presente invención. El método comprende las siguientes etapas: i) extracción de funciones temporales 110 de un conjunto de muestras para obtener unos patrones; ii) alineamiento temporal de los patrones 120; iii) aplicación de una red neuronal recurrente 130 en los patrones alineados para extracción de un nuevo espacio de características y comparación; y iv) verificación de la identidad 140 en función de la comparación (o comparaciones) realizada en la red neuronal recurrente.

El conjunto inicial de muestras está formado por una o varias muestras de registro S^{i ,}todas pertenecientes a una misma identidad, y por una muestra de test S^Tdubitada. En la etapa de extracción de funciones temporales 110 se obtiene un patrón de registro TFⁱ(i.e., función temporal extraída de la muestra) de cada muestra de registro Sⁱy un patrón de test TF^Tde la muestra de test S^T. En la etapa de alineamiento temporal 120 del al menos un patrón de registro TFⁱcon el patrón de test TF^tse obtiene al menos un patrón de registro alineado (TAFⁱ) y un patrón de test alineado (TAF^t). En la etapa de comparación de los patrones alineados utilizando una red neuronal recurrente 130 se obtiene una medida de similitud 132 entre la al menos una muestra de registro Sⁱy la muestra de test S^t. Finalmente, en la etapa de verificación de la identidad 140 de la muestra de test S^tse determina, en función de una comparación de la medida de similitud 132 con un valor umbral, si la identidad de la muestra de test S^tes la misma que la identidad de la al menos una muestra de registro Sⁱo si se trata de una identidad diferente.

La red neuronal recurrente 130 ha sido previamente entrenada. El entrenamiento de la red neuronal recurrente 130 se realiza de forma iterativa minimizando una función de coste. Para entrenar al sistema se siguen los siguientes pasos:

a. Se genera una base de datos de conjuntos de muestras a comparar entre sí, donde cada conjunto de entrenamiento 202 está compuesto por un número N de muestras de registro (Sⁱ, con i=1...N), todas pertenecientes a una misma identidad I (ancla), y una muestra de test S^t. Para entrenar el método se necesitan ejemplos de la muestra de test S^tque provengan de la misma identidad con la que se compara, pero además se necesitan ejemplos de la muestra de test S^tque bien provengan de otras identidades diferentes a la identidad I o bien sean imitaciones de muestras de la identidad I. La Figura 2 muestra, a modo de ejemplo, cómo se forman los conjuntos de entrenamiento para el entrenamiento del método propuesto utilizando una base de datos de muestras 200 que almacena un conjunto de muestras de registro Sⁱy de muestras de test S^tcorrespondientes a diferentes identidades (e.g., identidades A, B, C, D, E y F). Cabe destacar que el tamaño de las bases de datos usadas es un aspecto muy importante en el método propuesto, ya que para entrenar correctamente la red neuronal recurrente 130 cuanto mayor sea la base de datos de muestras 200 en cuanto a número de usuarios (i.e., identidades diferentes) y número de muestras, mejor será el resultado final. En el ejemplo de comparaciones de firmas manuscritas se ha partido de una base de datos compuesta por 1526 usuarios que contienen realizaciones de firmas dinámicas genuinas, así como imitaciones de las mismas, todas realizadas sobre distintos modelos de tabletas digitalizadoras y usando un estilete como útil de escritura en distintas sesiones de captura. En concreto, se usaron firmas de 1084 usuarios para la fase de entrenamiento, de las cuales se generaron unos 309.000 conjuntos de entrenamiento. Para el ejemplo de comparación de contraseñas manuscritas se hizo uso de una base de datos compuesta por 217 usuarios que realizaron un total de 72 caracteres sobre la pantalla táctil de un teléfono inteligente (94 modelos en total). Además, también se usó otra base de datos de 93 usuarios con los dígitos del 0 al 9. Para estos casos, los usuarios usaron el dedo como útil de escritura en varias sesiones de captura separadas en el tiempo. En concreto se usaron caracteres manuscritos de 225 usuarios para la fase de entrenamiento, de los cuales se generaron unos 88.000 conjuntos de entrenamiento.

La Figura 3A muestra un ejemplo de dos muestras de firma manuscrita dinámica 302 genuinas (S¹y S^{t ,}proviniendo ambas de la misma identidad) con sus funciones temporales básicas: coordenada X (310), coordenada Y (312) y presión P (314) en función de las muestras temporales adquiridas t (el tiempo se está muestreando usando una determinada frecuencia de muestreo). La Figura 3B muestra un ejemplo de dos muestras de escritura manuscrita dinámica 304 (caracteres manuscritos) de usuarios diferentes (S¹y S^thabiendo sido realizados por identidades diferentes) con sus funciones temporales básicas X (310) e Y (312) en función de sus coordenadas temporales.

En el entrenamiento es recomendable que la mitad de las muestras de test sean de firmas de la misma identidad que las muestras de registro y la otra mitad de las muestras de test sean mitad “skilled forgeries” y mitad “random forgeries” para que así los conjuntos sean balanceados y la red neuronal recurrente entrene bien. Es recomendable que estas proporciones aparezcan en cada iteración del entrenamiento.

b. A continuación, se lleva a cabo el proceso de extracción de funciones temporales 110 a partir de las funciones temporales básicas iniciales (310, 312, 314) de cada muestra, obteniendo unos patrones dinámicos a partir de las muestras de firma manuscrita dinámica 302 o escritura manuscrita dinámica 304 iniciales: patrones de registro TFi (asociados a las muestras de registro Si) y un patrón de test TF^t(asociado a la muestra de test S^t). La Figura 4 muestra una lista de funciones temporales 400 junto con su descripción usadas comúnmente en los procesos de verificación de firma y escritura manuscrita. La Figura 5A muestra un ejemplo de extracción de funciones temporales 110 (en concreto, 23 funciones temporales extraídas) para las firmas S¹y ST mostradas en el ejemplo de la Figura 3A. La Figura 5B muestra un ejemplo de 21 funciones temporales extraídas para los caracteres manuscritos S¹y ST mostrados en el ejemplo de la Figura 3B, obteniendo los patrones TF¹y TF^t. En este caso las 21 funciones temporales son todas las mostradas en la Figura 4 a excepción de la función temporal número 3 y la 10, ya que las muestras de escritura manuscrita dinámica 304 no disponían de información de la presión instantánea. Es importante mencionar que el conjunto de funciones temporales podría ser diferente para distintas aplicaciones mediante una selección de las mostradas o la inclusión de funciones adicionales no mostradas en los ejemplos.

c. A continuación, se lleva a cabo el proceso de alineamiento temporal 120 de los patrones de cada conjunto de patrones de registro TFi que se van a comparar con el patrón de test TF^t. Para ello, cada uno de los patrones de registro TFi se alinea con el patrón de test TFT usando un algoritmo de alineamiento temporal (por ejemplo, un algoritmo de alineamiento elástico temporal) cuyo cometido es minimizar la función de coste basada en un alineamiento óptimo entre los patrones que se comparan, dando como resultado una correspondencia temporal entre las muestras temporales que permite crear nuevos patrones ya alineados y, por tanto, con igual longitud temporal: patrones de registro alineados TAFⁱy patrón de test alineado TAF^t. Existen distintos algoritmos de alineamiento temporal que pueden ser usados para alinear las muestras de firma y escritura manuscrita, como por ejemplo el DTW (“Dynamic Time Warping”), el DDTW (“Derivative DTW”), SW-DTW (“Sliding Window DTW”), TAM (“Time Aligment Measurement”), GTW (“Generalized Time Warping”), TTW (“Trainable Time Warping”), etc. En los ejemplos mostrados se emplea el algoritmo DTW para el caso de alineamiento de firmas manuscritas dinámicas 302 (Figura 6A) y el algoritmo SW-DTW para el alineamiento de escrituras manuscritas dinámicas 304 (Figura 6B).

En el algoritmo DTW, dadas dos secuencias temporales, en este caso serían:

TF^l= t f l ⁱ, tf 1², ^..., t f lⁿ, ^..., tf1 ^N

TF^t= tft1, tft2, ..., tft^m, ..., tft^M(1)

siendo N y M el número total de muestras temporales de la secuencia TF¹y TF^trespectivamente. Se define una medida de distancia d:

d (tf 1 ⁿ, tft^m) = (tf1ⁿ- tft^m)2 (2)

Se define un camino C de alineamiento entre las secuencias como:

donde cada cⁱrepresenta la correspondencia (n,m) entre muestras temporales de las secuencias TF¹y TF^t. La condición inicial del algoritmo es:

g¹= g(1,1) = d(tf1¹, tft¹) • w(1) (4)

donde gⁱrepresenta la distancia acumulada después de realizar k pasos y w(k) es un factor de peso que debe ser definido. En cada iteración g^kse calcula en este caso como:

gⁱ= g(n,m) = min[ g(n,m-1) d(tf1ⁿ, tft^m) ; g(n-1,m-1) d(tf1ⁿ, tft^m) ; g(n-1,m) d(tf1 ⁿ, tft^m) ] (5) hasta alcanzar la n-ésima y m-ésima muestra temporal de cada secuencia respectivamente. La función de coste a minimizar es la distancia acumulada gk, ya que de ese modo se obtiene el camino de alineamiento entre ambas secuencias.

Para el ejemplo basado en escritura manuscrita dinámica 304 (Figura 6B), el algoritmo de alineamiento temporal usado es SW-DTW, que es una versión modificada del algoritmo DTW teniendo en cuenta pequeñas ventanas solapadas de muestras en lugar de muestras sueltas a la hora de obtener el camino óptimo de alineamiento. De este modo la ecuación (2) se vería modificada al incluir una media ponderada entre las distancias entre muestras temporales vecinas.

d. A continuación, los patrones alineados se introducen en la red neuronal recurrente 130 siguiendo un proceso de entrenamiento iterativo, en el que la red lleva a cabo un proceso de transformación de los patrones a otro espacio de características. En la red neuronal se aplican varias capas de tipo recurrente que generan una nueva representación global y compacta de cada secuencia temporal de entrada. En esta nueva representación cada una de las nuevas características contiene información de todos los instantes de tiempo de la secuencia temporal de entrada. Finalmente, se minimiza una función de coste que consigue reducir la distancia cuando el conjunto de muestras de registro Si con identidad I y la muestra de test St provienen de la misma identidad, y maximizar esa distancia en el caso en el que la muestra de test St provenga de una identidad diferente a las muestras de la identidad I o sea una muestra que imite a las muestras de la identidad I.

Las Figuras 7A y 7B muestran, de acuerdo a una posible realización, la arquitectura de la red neuronal recurrente 130 usada para los casos de comparación de firma y escritura dinámica, respectivamente. La arquitectura de la red neuronal recurrente 130 varía para cada caso pudiendo ser usadas los tipos de red LSTM (“Long Short-Term Memory”) o GRU (“Gated Recurrent Units”), tanto de forma unidireccional o en modo bidireccional. Los parámetros concretos de la red que pueden variar son el número de capas recurrentes y de tipo feed-forward, el número de bloques de memoria de cada capa, la tasa de aprendizaje (“learning rate”), el tipo de optimizador, y si se usa “dropout”, entre otros parámetros.

Para el caso de la comparación de firmas dinámicas, la red neuronal recurrente 130 está compuesta, según el ejemplo mostrado en la Figura 7A, por una arquitectura siamesa a la que entran dos patrones de firmas con las funciones temporales previamente alineadas TAFi (por ejemplo, las 23 funciones temporales alineadas mostradas en la Figura 6A). La primera capa 710 está compuesta por dos capas ocultas paralelas (712, 714) de tipo GRU bidireccional con 46 bloques de memoria cada una de los cuales comparten sus pesos W (716). Las salidas de este primer bloque o primera capa 710 se concatenan 720 y son la entrada de la segunda capa 730 que es de tipo GRU bidireccional con 23 bloques de memoria. La salida de esta capa, que tiene un tamaño de 23 elementos, constituye la representación de la secuencia de entrada en el nuevo espacio de características. Esta nueva representación es muy compacta y no tiene noción de tiempo como la secuencia de entrada, sino que la información temporal está embebida dentro de ella. Finalmente, la salida de este bloque entra en una capa de tipo feed-forward 750 con activación sigmoidal que produce como salida una puntuación 760 de la comparación de las dos entradas iniciales del ejemplo de la Figura 7A. Para este ejemplo se utiliza una muestra de registro y una de test, por lo que solo hay dos entradas en la red neuronal recurrente, pero se puede extender a múltiples entradas simultáneamente (de forma general se puede tener N entradas en una red neuronal recurrente siamesa).

La comparación de N muestras de registro (S¹, S², ..., Sⁿ) contra una muestra de test S^tse puede realizar, entre otras, de al menos dos formas diferentes:

- Utilizar una red neuronal recurrente 130 con dos entradas, como la representada en las Figuras 7A y 7B, una entrada para la muestra de registro (patrón de registro alineado TAFi) y otra entrada para la muestra de test (patrón de test alineado TAF^t), y hacer N comparaciones de una muestra de registro contra una muestra de test (i.e., S¹vs S^t, S²vs S^t, ..., Sⁿvs S^t) para después calcular la media de las puntuaciones 760 de salida de las comparaciones (u otro valor representativo de la comparación, como el mínimo, máximo, etc.) y así obtener una puntuación final que represente la medida de similitud 132 de la muestra de test con respecto a las muestras de registro.

- Entrenar una red neuronal recurrente 130 siamesa con N+1 entradas (N muestras de registro y 1 muestra de test) para obtener una única puntuación 760 de salida que represente la medida de similitud 132 .

Para el caso de la comparación de escritura dinámica (Figura 7B), la red neuronal recurrente 130 está compuesta por una arquitectura siamesa a la que entran dos patrones de escritura con 21 funciones temporales previamente alineadas como las mostradas en la Figura 6B. La primera capa 710 está compuesta por dos capas ocultas paralelas (712, 714) de tipo LSTM bidireccional con 42 bloques de memoria cada una de los cuales comparten sus pesos W (716). Las salidas de esta primera capa 710 se concatenan 720 y son la entrada de la segunda capa 730 que es de tipo LSTM bidireccional con 84 bloques de memoria. Se incluye una tercera capa 740 de tipo LSTM bidireccional, en este caso con 168 bloques de memoria. La salida de esta capa, que tiene un tamaño de 168 elementos, constituye la representación de la secuencia de entrada en el nuevo espacio de características. Esta nueva representación es muy compacta y no tiene noción de tiempo como la secuencia de entrada, sino que la información temporal está embebida dentro de ella. Finalmente, la salida de este bloque entra en una capa de tipo feedforward 750 con activación sigmoidal que produce una puntuación 760 de salida de la comparación de las dos entradas iniciales (TAFⁱy TAF^t).

e. Este procedimiento se lleva a cabo de forma iterativa sobre todos los conjuntos de entrenamiento 202 descritos en la Figura 2 para poder realizar el entrenamiento de la red neuronal y minimizar su función de coste asociada, que en este caso es la conocida como Binary Cross Entropy, y que se define del siguiente modo:

E[ -(y log(p) (1-y) log(1-p)) ] (6)

siendo y la etiqueta de entrenamiento (1 para comparaciones genuinas y 0 para comparaciones impostoras), p la probabilidad predicha por el sistema a entrenar de que las muestras comparadas pertenezcan a la misma identidad (dicho de otra forma, la medida de similitud 760), y E[ j^ la función esperanza matemática.

Es importante destacar que con el entrenamiento de este método se genera un único modelo o clasificador entre muestras genuinas y muestras provenientes de identidades diferentes o imitaciones, y no un modelo por cada identidad.

Tras esta etapa de entrenamiento se genera un modelo pre-entrenado de la red neuronal recurrente, que es el que se utiliza en la fase de verificación para realizar la comparación de las muestras. Este proceso de entrenamiento se realiza de forma global para todos los usuarios del conjunto de entrenamiento del sistema y, por tanto, se obtiene un único modelo de la red neuronal. Sin embargo, podría darse el caso de que dado un conjunto de muestras de entrenamiento de un determinado usuario se entrenara un modelo de red neuronal recurrente específico para ese usuario, generando entonces un modelo único o modelo específico para cada usuario.

Finalmente, una vez se ha realizado el proceso de entrenamiento, ya se puede usar el modelo creado para la comparación de muestras de firma o escritura. En este caso una vez que se introducen las muestras que se quieren comparar por el sistema, la red neuronal recurrente obtiene una medida de similitud 132 entre las muestras de registro y la muestra de test que es comparada con un determinado umbral de decisión para la verificación de la identidad 140 de la muestra de test. Si la medida de similitud 132 no supera el valor umbral entonces el sistema indica que la muestra de test pertenece a una identidad distinta a las del conjunto con las que se compara; y si supera dicho valor umbral el sistema indica que la muestra de test pertenece a la misma identidad que el resto de muestras con las que se compara. En el ejemplo particular mostrado en las Figuras 7A y 7B sólo se compara una muestra de registro (patrón de registro alineado TAFⁱ) con una muestra de test (patrón de test alineado TAF^t). Sin embargo, de forma general se puede comparar simultáneamente N muestras de registro (TAF¹, TAF², ..., TAFⁿ) con una muestra de test TAF^t.

La Figura 8A muestra el rendimiento (basado en la tasa de error EER) de sistemas basados en DTW, RNN y RNN con alineamiento temporal previo (TA-RNN, que corresponde al método de la presente invención) para la verificación de firma dinámica manuscrita usando tres bases de datos (MCYT, BiosecurID y Biosecure DS2), para el caso de comparación con imitaciones (“skilled forgeries”). Además, se incluye el caso de comparación de una firma de registro contra una firma de test, y el caso de cuatro firmas de registro contra una firma de test. La Figura 8B muestra lo mismo, pero para el caso de comparación de firmas genuinas de un usuario con firmas de otros usuarios (“random forgeries”). Los resultados mostrados en las Figuras 8A y 8B, para el caso de la comparación de cuatro muestras de registro contra una muestra de test, se han obtenido mediante cuatro comparaciones de una muestra de registro diferente (S¹, S², S³, S⁴) contra la muestra de test (i.e., S¹vs S^t, S²vs S^t, S³vs S^t, S⁴vs S^t), y después se ha realizado la media para obtener la puntuación final o medida de similitud 132. Sin embargo, en otra realización se puede entrenar una red neuronal recurrente para tomar como entradas simultáneas cuatro muestras de registro y una muestra de test y así obtener una puntuación de una vez.

Los resultados se han obtenido sobre un conjunto de evaluación compuesto por unas 274.000 comparaciones de un total de 442 usuarios. En todos los casos, el método de la presente invención (TA-RNN) obtiene resultados de error significativamente más bajos en comparación con los métodos previos. El sistema propuesto TA-RNN lleva a cabo una mejora del proceso de entrenamiento de la red recurrente mediante un prealineamiento previo de las muestras, lo cual consigue obtener un aumento del rendimiento muy significativo.

La Figura 9 muestra valores de tasa de error EER para un sistema basado en DTW en comparación con el sistema propuesto en la presente invención basado en RNN con alineamiento temporal (TA-RNN) para la comparación de contraseñas manuscritas usando el dedo en función de la longitud de la contraseña (número de caracteres). Estos resultados se han obtenido para un conjunto de evaluación compuesto por un total de unas 42.000 comparaciones de un total de 85 usuarios. Para todos los tamaños de contraseña considerados el sistema TA-RNN obtiene resultados de error significativamente más bajo que el sistema basado en DTW. Por ejemplo, para el caso de contraseñas de 3 caracteres, el sistema TA-RNN obtiene una reducción relativa del 70% de los errores en comparación con el sistema basado en DTW (EER del 15,50% vs 4,76%). En general, el sistema TA-RNN obtiene de media mejoras relativas superiores al 50% en reducción de errores (EER) para contraseñas de 1 a 9 caracteres y obtiene un valor de 2,4% de EER para el caso de considerar contraseñas de 4 caracteres.

Claims

REIVINDICACIONES

1. - Un método de verificación de firmas y escrituras manuscritas dinámicas, caracterizado por que comprende las siguientes etapas:

extracción de funciones temporales (110) de un conjunto de muestras formado por al menos una muestra de registro (Sⁱ) perteneciente a una determinada identidad y una muestra de test (S^t) dubitada, obteniendo al menos un patrón de registro (TFⁱ) y un patrón de test (TF^t);

alineamiento temporal (120) del al menos un patrón de registro (TFⁱ) con el patrón de test (TF^t), obteniendo al menos un patrón de registro alineado (TAFⁱ) y un patrón de test alineado (TAF^t);

comparación de los patrones alineados (TAFⁱ, TAF^t) utilizando una red neuronal recurrente (130) previamente entrenada, obteniendo una medida de similitud (132) entre la al menos una muestra de registro (Sⁱ) y la muestra de test (S^t); y verificación de la identidad (140) de la muestra de test (S^t) en función de una comparación de la medida de similitud (132) con un valor umbral.

2. El método según la reivindicación 1, donde la comparación de los patrones alineados (TAFⁱ, TAF^t) comprende:

para cada muestra de registro (Sⁱ), comparar el patrón de registro alineado (TAFⁱ) correspondiente a dicha muestra de registro (Sⁱ) con el patrón de test alineado (TF^t) utilizando una red neuronal recurrente (130) con dos entradas;

obtener una medida de similitud (132) mediante el cómputo de un valor utilizando las comparaciones realizadas.

3. El método según la reivindicación 1, donde se dispone de una pluralidad N de muestras de registro (Si), y donde la comparación de los patrones alineados (TAFⁱ, TAF^t) comprende comparar una pluralidad N de patrones de registro alineados (TAFⁱ) correspondientes a las muestras de registro (Si) con el patrón de test alineado (TAF^t) utilizando una red neuronal recurrente (130) siamesa con N+1 entradas.

4. El método según cualquiera de las reivindicaciones anteriores, que comprende una etapa previa de entrenamiento de la red neuronal recurrente (130) de forma iterativa minimizando una función de coste, utilizando una pluralidad de conjuntos de entrenamiento (202) formados a partir de una base de datos de muestras (200) que almacena un conjunto de muestras de registro (Sⁱ) y de muestras de test (S^t) correspondientes a diferentes identidades, donde cada conjunto de entrenamiento (202) comprende una o varias muestras de registro (Sⁱ) correspondientes a una misma identidad I y una muestra de test (S^t) correspondiente a dicha identidad I o a una identidad diferente.

5. El método según cualquiera de las reivindicaciones anteriores, donde la extracción de funciones temporales (110) se realiza a partir de información dinámica adquirida para cada muestra, donde la información dinámica incluye al menos muestreos temporales de las coordenadas X e Y de la muestra.

6. El método según la reivindicación 5, donde la información dinámica básica incluye muestreos temporales de la presión (P) de la muestra.

7. El método según cualquiera de las reivindicaciones anteriores, donde el alineamiento temporal (120) se realiza utilizando un algoritmo de alineamiento temporal.

8. El método según cualquiera de las reivindicaciones anteriores, donde la verificación de la identidad (140) de la muestra de test (S^t) comprende:

determinar que la identidad de la muestra de test (S^t) es la misma que la identidad de la al menos una muestra de registro (Sⁱ) si la medida de similitud (132) supera el valor umbral;

determinar que la identidad de la muestra de test (S^t) es diferente que la identidad de la al menos una muestra de registro (Sⁱ) si la medida de similitud (132) no supera el valor umbral.

9. El método según cualquiera de las reivindicaciones 1 a 8, donde las muestras son firmas manuscritas dinámicas (302).

10. El método según cualquiera de las reivindicaciones 1 a 8, donde las muestras son escrituras manuscritas dinámicas (304).

11. Un sistema de verificación de firmas y escrituras manuscritas dinámicas, que comprende al menos una memoria, al menos un programa almacenado en memoria, y uno o más procesadores configurados para ejecutar al menos un programa, caracterizado porque el al menos un programa incluye instrucciones para llevar a cabo el método de las reivindicaciones 1 a 10.

12. Un producto de programa de verificación de firmas y escrituras manuscritas dinámicas, que comprende medios de instrucciones de programa para llevar a cabo el método definido en cualquiera de las reivindicaciones 1 a 10 cuando el programa se ejecuta en uno o varios procesadores.

13. El producto de programa según la reivindicación 12, almacenado en un medio de soporte de programas.