ES2610794B2 - Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor - Google Patents

Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor Download PDF

Info

Publication number
ES2610794B2
ES2610794B2 ES201600539A ES201600539A ES2610794B2 ES 2610794 B2 ES2610794 B2 ES 2610794B2 ES 201600539 A ES201600539 A ES 201600539A ES 201600539 A ES201600539 A ES 201600539A ES 2610794 B2 ES2610794 B2 ES 2610794B2
Authority
ES
Spain
Prior art keywords
vector
writer
points
text
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES201600539A
Other languages
English (en)
Other versions
ES2610794A1 (es
ES2610794A9 (es
Inventor
Miguel Ángel FERRER BALLESTER
María Cristina CARMONA DUARTE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad de las Palmas de Gran Canaria
Original Assignee
Universidad de las Palmas de Gran Canaria
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad de las Palmas de Gran Canaria filed Critical Universidad de las Palmas de Gran Canaria
Priority to ES201600539A priority Critical patent/ES2610794B2/es
Publication of ES2610794A1 publication Critical patent/ES2610794A1/es
Priority to PCT/ES2017/000070 priority patent/WO2017216400A1/es
Priority to CA3028063A priority patent/CA3028063A1/en
Priority to US16/308,305 priority patent/US10977422B2/en
Publication of ES2610794A9 publication Critical patent/ES2610794A9/es
Application granted granted Critical
Publication of ES2610794B2 publication Critical patent/ES2610794B2/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04FFINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F11/00Stairways, ramps, or like structures; Balustrades; Handrails
    • E04F11/18Balustrades; Handrails
    • E04F11/181Balustrades
    • E04F11/1817Connections therefor
    • E04F11/1834Connections therefor with adjustable angle, e.g. pivotal connections
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04FFINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F11/00Stairways, ramps, or like structures; Balustrades; Handrails
    • E04F11/18Balustrades; Handrails
    • E04F11/181Balustrades
    • E04F11/1851Filling panels, e.g. concrete, sheet metal panels
    • E04F11/1853Glass panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04FFINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F11/00Stairways, ramps, or like structures; Balustrades; Handrails
    • E04F11/18Balustrades; Handrails
    • E04F11/181Balustrades
    • E04F11/1817Connections therefor
    • E04F2011/1823Connections therefor between balustrade filling members, e.g. balusters or panels, and horizontal or sloping balustrade members

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Esta patente propone un método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor sin necesidad de tener texto original del escritor. Adicionalmente, al generar tanto texto online (sintetizando el movimiento temporal) como offline (generando la imagen del manuscrito), permite simular la evolución real tanto en número de trazos como en perfil de velocidad del escritor según su progreso. Posibilita generar manuscrito de escritores con posibles disfunciones neurológicas y motoras.

Description

DESCRIPCIÓN
Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor.
5
La presente invención se refiere a la generación de texto manuscritos, más particularmente a un método y sistema para generar texto manuscrito de escritores sintéticos y su evolución en el tiempo tanto para texto online (sintetizando el movimiento temporal) como offline (generando la imagen del manuscrito).
10
Ámbito de la invención
La invención se encuadra en el sector técnico de la síntesis de texto manuscrito. La invención se refiere a métodos para generar texto manuscrito mediante un dispositivo de computación lo mas similar posible al texto humano. 15
Los métodos presentes en el estado de la técnica actual no solucionan el problema de generar texto manuscrito con diferentes grados de madurez del escritor, que simule la evolución del escritor y que permita mediante el mínimo número de parámetros simular tanto las posiciones del bolígrafo o lápiz en el tiempo como el modo de escribir 20 dependiendo de la edad o el tiempo de aprendizaje del escritor.
Esta patente propone un método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor sin necesidad de tener texto original. Permite simular la evolución real tanto en número de trazos como en perfil de velocidad del escritor según 25 su progreso. Posibilita generar manuscrito de escritores con posibles disfunciones neurológicas y motoras.
Este nuevo método y sistema permite resolver problemas técnicos en los OCR de texto manuscrito, mejora la identificación del escritor, permite un seguimiento del aprendizaje 30 de la escritura en niños y aporta una mejora en la monitorización y screening de enfermedades neurodegenerativas, así como disgrafía.
Antecedentes de la invención
35
La investigación sobre la síntesis de manuscrito se utiliza en diferentes campos. Una primera motivación era proporcionar una gran base de datos de escritura biométrica para evaluar los verificadores de firmas automatices o identificadores automatices del escritor y evitar problemas legales sobre la privacidad [US 7227993 (B2). Hoy en día se entiende que inclusión en un sintetizador de manuscrito de la variabilidad intra e inter persona y la 40 variabilidad de la salud debida a diferentes enfermedades como el Parkinson o el Alzheimer, etc. podrían ayudar a mejorar la comprensión de los procesos subyacentes en la producción de manuscrito humano. Creaciones artísticas y generación de captchas son otra motivación [Chetan Ramaiah, Rèjean Plamondonm, and Venu Govindaraju. A Sigma-Lognormal Model for Handwritten Text CAPTCHA Generation, in: Proceedings of the 45 International Conference on Pattern Recognition. 2014, pp. 250-255.], [O. Thomas. A. Rusu, V. Govindaraju, Synthetic handwritten CAPTCHAs, Pattern Recognition 42 (2009) 3365-3373].
Algunas patentes tratan de solucionar el problema técnico de generar texto manuscrito 50 sintético. Por ejemplo el documento de la patente US 5327342 (A) hace referencia a proporcionar un método para producir escritura a mano simulada y, más particularmente, un aparato y un método para producir escritura a mano que simula la propia escritura a mano del usuario.
El documento de la patente WO 2006042307 (A2) hace referencia a proporcionar un método y un aparato para generador de una comunicación escrita a mano realista.
El documento de la patente US 7227993 (B2) hace referencia a proporcionar un sistema basado en el aprendizaje y el proceso de síntesis de la escritura cursiva. 5
El documento de la patente US 7983478 B2 hace referencia a la generación de letras de caligrafía basado en un procedimiento de modelos de Markov.
El documento de la patente GB 2394348 hace referencia a un método para sintetizar a 10 partir de los datos de escritura a mano de un usuario, mediante la división en glifos y su almacenamiento en una memoria, genera otras letras del mismo usuario.
El documento de la patente US 7227993 B2 presenta un método que genera letras cursivas similares a las del usuario. También se basa en coger una imagen de la letra del 15 usuario (glifos) y añadirle variaciones en la imagen. No simula el perfil de velocidad.
Esto métodos se basan en procesar la imagen del texto manuscrito con lo que aumenta el tiempo de procesado. Tampoco simulan el aprendizaje y la variabilidad que se obtiene con la práctica ni dan las posiciones del lápiz con su referencia temporal. 20
El documento de la patente WO 2000078215 (A1) hace referencia a un método para el análisis de la habilidad motora basado en la medida y monitorización del control motor mediante la aproximación de un sumatorio de lognormal con diferentes parámetros del perfil de velocidad obtenido de la escritura sobre una tableta digitalizadora. 25
El documento de la patente WO 1992014219 (A1) hace referencia a un método para digitalizar y segmentar el movimiento de la escritura basado en el movimiento curvilíneo y la velocidad ángular. A partir de un movimiento previo del usuario parametriza los datos para volver a recuperarlo. 30
El documento de la patente WO 2009018983 (A1) hace referencia a un método que anima a escribir mediante una pluma virtual que escribe y dibuja sintetizando diferentes tipos de formas y textos.
35
A su vez, el trabajo que más se acerca a solucionar el problema técnico de generar firmas con texto manuscrito sintéticas dando la posibilidad de generar variabilidad en la firmas y en el texto ha sido presentado en [Ferrer, M.A.; Díaz-Cabrera. M.: Morales, A., "Static Signature Synthesis: A Neuromotor Inspired Approach for Biometrics", Pattern Analysis and Machine Intelligence. IEEE Transactions on, vol. PP, no.99, pp. 1,1(2015)]. 40 El método se basa en fijar en los puntos de un grid la posición y trayectoria del carácter a generar, se unen todos los caracteres generados para formar palabras y a continuación se aplican un método para generar el texto como si tuera real fijando los valores de unos filtros que simulan el modelo neuromuscular. Este modelo genera variabilidad variando las distancias en el grid, la inclinación del grid y variando los parámetros de los filtros para 45 simular letras escritas a diferentes velocidades. La desventaja de este modelo es que no puede simular la variabilidad que se produce de forma natural en un escritor con el tiempo y no permite variar los parámetros para simular escritores de diferentes edades.
Estos métodos anteriores no solucionan el problema de generar texto escrito sin utilizar 50 texto escrito real, que simule las diferentes edades del escritor y que permita mediante el mínimo número de parámetros simular tanto las posiciones del bolígrafo o lápiz en el tiempo como el modo de escribir dependiendo de la edad, grado de madurez o el tiempo de aprendizaje del escritor.
Por lo tanto, quedan como problemas técnicos sin resolver: sintetizar texto similar al real simulando la evolución real tanto en número de trazos como en perfil de velocidad del escritor según su progreso y dando la posibilidad de variar parámetros que pueden ser relacionados con parámetros neurológicos o motores del aprendizaje humano de manera simple. 5
Sumario de la invención
La presente invención se refiere a un nuevo método y sistema para generar texto manuscrito valido para escritores con diferentes grados de madurez. 10
El método de la presente invención, a diferencia de otras soluciones propuestas a nivel internacional, permite generar texto manuscrito valido para escritores con diferentes grados de madurez sin necesidad de tener texto original del escritor anterior, simulando la evolución real tanto en números de trazos como en perfil de velocidad del escritor según 15 su progreso y dando la posibilidad de variar parámetros que pueden ser relacionados con parámetros neurológicos o motores del aprendizaje humano de manera simple.
La invención comprende las siguientes etapas:
20
(i) para cada letra que se pretende sintetizar, se seleccionan sus nsi, puntos que componen su trayectoria de forma que permitan realizar el punto (ii), que se han almacenado previamente en una memoria de forma que cada punto de su trayectoria se corresponde con un punto determinado de una cuadricula común para cualquier tipo de carácter que se quiera sintetizar, 25
(ii) se aplica el método para generar la evolución temporal en texto manuscrito que se caracteriza por seleccionar un porcentaje E de los nsi, puntos iniciales de los que consta la trayectoria de cada letra. El porcentaje E es inversamente proporcional a la evolución o madurez de la escritura. Se fija una regla de legibilidad del texto 30 sintetizado. En el caso de que no se cumpla la regla de legibilidad, se vuelve a repetir la selección de puntos hasta que se cumpla la norma de legibilidad,
(iii) se conectan cada una de las letras que conformen la palabra, uniendo el punto final de la letra anterior al inicial de la siguiente, cumpliendo que las líneas superiores e 35 inferiores de la cuadricula queden unidas,
(iv) se transforman las posiciones de los puntos de la trayectoria en una secuencia temporal de vectores y se calculan el instante de tiempo inicial correspondiente a cada vector dependiendo del anterior. Por cada dos puntos consecutivos se 40 considera un vector (2) y por cada vector se calcula el ángulo αj entre el vector previo y el actual . El retardo introducido debido al ángulo entre los vectores (αj) viene dado por una curva predeterminada (S). Se obtiene el instante de tiempo inicial de cada vector t0j a partir de S, y las constantes Kt, Kα y εD,
45
v) se transforman el módulo de cada vector en una constante relacionada con la amplitud de la señal de velocidad. La amplitud Dj de la señal correspondiente al vector j se define proporcional al módulo de cada vector, normalizada con la distancia mínima entre los puntos de la cuadricula, proporcional a una constante KD y con una variación aleatoria por persona mediante una constante εD, 50
(vi) se sintetiza el perfil de velocidad para cada vector basándose en una ecuación predeterminada comenzando en el instante inicial t0j , con una amplitud proporcional a Dj y ajustando los parámetros (Kµ, Kσ, Kt, KD, Kα, εD, εt) para sintetizar a un individuo con una madurez determinada y unas características personalizadas,
5
(vii) se genera la señal de velocidad final mediante la suma las nsi-1 señales Se calculan las componentes x e y de la señal de velocidad final, a partir del ángulo de cada vector (Øj) con respecto a los ejes x e y, y el signo de la dirección de cada vector,
10
(viii) se obtiene la trayectoria cartesiana que se usa para representar el texto sintetizado, integrando las componentes x e y de la señal de velocidad final respectivamente,
Los detalles de una o más realizaciones de lo descrito en este sumario se exponen en los dibujos adjuntos y la descripción siguientes. Otras características, aspectos y ventajas de 15 la materia se pondrán de manifiesto a partir de la descripción, los dibujos, y las reivindicaciones.
Breve descripción de las figuras
20
Estas se presentan a título ilustrativo y no limitativo de la invención. Las siguientes figuras muestran:
• La figura 1 un diagrama que describe el método según la invención.
25
• La figura 2 un diagrama que describe el método de evolución.
• La figura 3 una imagen con un ejemplo del texto generado con el método.
• La figura 4 un ejemplo de letras sintetizadas de diferentes edades y la velocidad 30 correspondiente del escritor comparada con texto real.
• La figura 5 un ejemplo de perfil de velocidad de un adulto obtenido de dibujar un arco (figura intermedia) con un ángulo menor de 50º. Se observa en la figura superior que la trayectoria está formada por dos vectores, dando lugar a un perfil de velocidad con dos 35 señales independientes (figura inferior, línea discontinua) que modelan al perfil de velocidad real (figura inferior, línea continua).
Descripción detallada de la invención
40
Aunque la invención se describe en términos de una realización especifica preferida, será evidente para los expertos en esta técnica que se pueden hacer diversas modificaciones, redisposiciones y reemplazos. El alcance de la invención está definido por las reivindicaciones adjuntas a la misma.
45
La presente invención permite dar solución al problema técnico de sintetizar texto similar al real sin necesidad de tener texto original del escritor anterior, simulando la evolución real tanto en número de trazos como en perfil de velocidad del escritor según su progreso y dando la posibilidad de variar parámetros que pueden ser relacionados con parámetros neurológicos o motores del aprendizaje humano de manera simple. 50
Descripción detallada de una realización preferida de la invención
La presente invención puede implementarse en hardware, software o una combinación de ambos.
5
La figura 1 muestra las distintas etapas del procedimiento y cómo es posible resolver el problema técnico. En la primera etapa (101) consiste en seleccionar la trayectoria de cada letra partiendo de una trayectoria previamente almacenada (103), proceso que se realiza una única vez cuando se programa le tipo de escritura u idioma que se va a aprender. Seguidamente se aplica el método de evolución (105) que selecciona una serie 10 de puntos dependiendo la edad del escritor (Figura 2) y que se explica en el siguiente subapartado. A continuación se unen las distintas letras cumpliendo que las líneas superiores (201) e inferiores del grid (204) queden unidas.
En el método propuesto se considera a diferencia que en [Ferrer, MA; Díaz-Cabrera. M.; 15 Morales, A. "Static Signature Synthesis: A Neuromotor Inspired Approach for Biometrics, H Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. PP. no. 99, pp. 1,1(2015)] que cada dos puntos consecutivos del grid se considera un vector (Figura 2) y además por cada vector se calcula también el ángulo αj entre el vector previo y el actual que se define como: 20
Con estos cálculos previos se considera que por cada vector se ajustan los parámetros Dj, t0j, µj y σj de una señal que modela el perfil de velocidad y que se 25 recomienda que sea una lognormal (u otra que ajustando sus parámetros de el mismo ajuste):
30
Donde µ y σ son los parámetros de localización y escala respectivamente, j indica el número del vector correspondiente y t0j es el instante inicial donde se localiza el inicio de la lognormal.
A continuación se explican las ecuaciones y premisas que tienen que tener estos 35 parámetros para que se pueda sintetizar el texto manuscrito con apariencia real y que incluya los requisitos para que la evolución del escritor sea similar a la real.
En este método el valor σj, el cual define el ancho de cada lognormal, se define para cada lognormal similar y dado por la ecuación: 40
donde Kσ es una constante definida para cada escritor y diferente para escritores diferentes. Para generar evolución el parámetro Kσ se aproxima a 0.01 para simular 45 escritura de niños y se va variando hasta un valor de 0.05 para adultos para obtener unos resultados como los de la Figura 3. Si se quiere aproximar al de una persona en particular
este valor se ajustaría con la última lognormal del perfil de velocidad de la persona real (Figura 5), cuando la persona realiza un trazo rápido curvo de ángulo inferior a 60º del tamaño del texto que se desea sintetizar.
El periodo inicial de cada lognormal t0j se expresa como: 5
donde nsi es el número de puntos que forman la trayectoria de la letra, Kt es una constante que puede ser fijada para cada escritor, para fijar las escalas pequeñas de las 10 letras y la velocidad media, Kα es el tiempo máximo de retardo debido al ángulo, N(0, εt) es una variable aleatoria que emula la dispersión y es inversamente proporcional a habilidad del escrito y por último el retardo introducido debido al ángulo entre los vectores (αj) viene dado por una curva sigmoide (S(a, b, - c)), donde el valor de b se aproxima a 0.06 y c a 65 para la configuración inicial, pudiéndose aumentar o disminuir hasta un 10% 15 dichos valores para ajustar mejor el escritor a sintetizar y donde:
Como ajuste de partida se fija Kt = 0.04, Kα = 0.1 y εt = +/-0.02. Estos valores se pueden 20 ajustar para aproximarlos a los parámetros reales de un escritor igual que se explico con el ángulo. En este caso se ajustarla el parámetro Kα con el incremento de tiempo (Δt) mayor (Figura 5 inferior) en el perfil de velocidad la de la persona real, cuando la persona realiza un trazo rápido curvo de ángulo inferior a 5º del tamaño del texto que se desea sintetizar. 25
La amplitud Dj de la lognormal j se define proporcional a la distancia entre los puntos de la trayectoria:
30
Donde dact,j es la distancia entre los puntos de la trayectoria, Q¡ to Qj+1, dref es la distancia mínima entre los puntos de grid., KD es una constante dependiente de cada individuo y también se puede usar para el escalado grande de las letras en los casos para los que Kt no es suficiente. N(0, εD) es un valor aleatoria para cada lognormal j. Como ajuste inicial 35 se figa KD = dref,j, y εD = 0.3. Estos valores se pueden ajustar mediante una aproximación para ajustarlos a los parámetros reales de un escritor, cuando este sea su fin.
La variable µj es igual a una constante Kµ una constante que depende de las características motoras del sujeto y por tanto es diferente para cada individuo. En el 40 experimento realizado para la obtención de la Figura 3 se puso a cero.
Un vez calculados todos los parámetro para cada componente de la trayectoria (t; t0j) se obtiene sustituyendo lo parámetros Dj, t0j, µj y σj en la Ecuación 2. Finalmente el vector de velocidad final se obtiene mediante la suma de cada una de las (t; t0j) basado 45 en [M. Djioua. R. Plamondon. A new algorithm and system for the characterization of handwriting strokes with delta-lognormal parameters. IEEE Transactions on Pattern Analysis and Machine Intelligence. 31 (2009) 2060-2072]:
Las componentes x e y del vector (t) se ajusta calculando el ángulo de cada trayectoria Øj.
5
Y sustituyéndolo en las ecuaciones para calcular vx(t; t0j) y vy(t; t0j) a partir de (t; t0j) mediante la (Ecuación 9) y (Ecuación 10).
10
15
Finalmente se obtienen la trayectoria cartesiana que se usa para dibujar la letra:
20
Para sintetizar problemas en el aprendizaje o salud neurológica del individuo, se modifican los parámetros εD y εt, aumentando su valor cuanto más separado del valor normal se encuentre el individuo ideal que se quiera sintetizar.
25
Para sintetizar pacientes con Parkinson se aumenta el incremento de tiempo entre las señales que representa a cada vector (Kt). De esta forma cuanto más afectado por la enfermedad esté el paciente menor sea el solapamiento entre las señales que modelan cada uno de los vectores. Los vectores que conforman la trayectoria se diseñan por pares, y en cada uno de los pares la dirección de uno contrarresta al anterior (simula el 30 movimiento agonista y antagonista de los músculos).
Para sintetizar pacientes con Alzheimer se aumenta el valor de los parámetros relacionados con la estabilidad de punto de inicio de la señal que representa a cada vector y el error en la trayectoria (ED, Et). Cuanto mayor sea el valor de estos parámetros 35 mayor el grado de degeneración debido a la mencionada enfermedad en personas adultas.
Para sintetizar pacientes con esclerosis lateral amiotrófica se aumenta el ancho de la señal que representa a cada vector de la trayectoria variando Kσ o Kµ y disminuyendo la 40 amplitud (KD). Cuanto mayor sea el ancho y menor la amplitud mayor será grado de degeneración debido a la enfermedad en personas adultas.
Método alternativo
45
En vez de usar la Ecuación 1, se puede usar una sinusoidal, donde:
El procedimiento seria igual que en el método anterior salvo que en este caso el valor de σj (Ecuación 3) estaría multiplicado por KDs de la forma:
5
El valor de K05 depende del escritor al igual que Ks. Para simular a un escritor real, el valor se ajusta comparando el valor sintetizado con el resto de los parámetros y KD igual a 1 con la señal de velocidad obtenida de una muestra real. La muestra real será 10 obtenida de la capturada mediante una tableta digitalizadora sobre la que el escritor real dibujará una recta de 1 cm.
Método para evolución temporal
15
En este apartado se detalla el bloque (103) y mostrado en detalle en (Figura 2).
Se parte para este método de que según se va aprendiendo el número de puntos usados en la escritura es menor y por tanto la longitud dact,j es mayor. Para ello se define una variable E que define el porcentaje de puntos seleccionado para cada individuo. Por tanto 20 el número de salidas que tendrá el sistema vendrá dado por L:
Este método se detalla en la figura (Figura 2) y consiste en: 25
1. Los de nsi - 3 de los puntos de la trayectoria se segmentan en L clusters. Cada cluster se distancia en (nsi - 3)/(L - 2). Para el primero y el último se tienen en cuenta el tamaño máximo para preservar la legibilidad.
30
2. De cada cluster se selecciona aleatoriamente uno de los puntos del grid.
3. Para garantizar la legibilidad, al menos tenemos que preservar, si hay, uno de los puntos que coincida con alguna de las líneas fijadas para cada idioma (201)(202)(203)(204). En el caso de que no se cumpla la regla se vuelve al punto e 35 hasta que se cumpla la norma de legibilidad.
Una vez calculados los puntos del grid se calculan los parámetros con el método anterior.
40
Ejemplos
A continuación se ilustrará la invención mediante unos ensayos realizados por los inventores, que ponen de manifiesto la eficacia de la invención.
45
Estos ejemplos específicos que se proporcionan sirven para ilustrar la naturaleza de la presente invención y se incluyen solamente con fines ilustrativos, por lo que no han de ser interpretados como limitaciones a la invención que aquí se reivindica. Por tanto, los ejemplos descritos más adelante ilustran la invención sin limitar el campo de aplicación de la misma. 50
Ejemplo 1. Texto sintetizado automáticamente offline.
En la Figura 3 se muestra un ejemplo de los diferentes manuscritos generados partiendo de una única configuración inicial del grid y trayectoria por letra. Estos resultados se han obtenido variando el parámetro de evolución E desde E=100 para sintetizar la escritura 5 de un niño (primera fila de texto) hasta E=20 para sintetizar la escritura de una persona adulta que escribe frecuentemente. Además, para mejorar su realismo el valor de εD y εt se ha variado linealmente desde εD = 0.3 y εt = 0.02 cuando E=100 hasta 0 cuando E=20. Se puede observar como en el texto sintetizado para E=20 las letras tienen más variabilidad que para las generadas con E=100. Esto es debido a que en el caso de E=20 10 se seleccionan puntos de la trayectorias aleatorios lo que hace que el número de posible variaciones sea mucho más elevado que en un niño. Por tanto el parámetro E, según su valor es más bajo, sintetiza también diferentes escritores mientras que cuando E=100 se está sintetizando un único escritor o individuo, con su variabilidad propia.
15
Ejemplo 1. Texto sintetizado automáticamente online.
En la Figura 4 se muestra un ejemplo de la letra 'a' real y generada sintéticamente tanto online como offline y sus perfiles de velocidad.
20
Para obtener las muestras reales se les pidió a 20 niños (de 5 y 10 años) de un mismo colegio que escribieran sobre una tableta digitalizadora Wacom la letra 'a'. La tableta digitalizadora es una WACOM Intuos 3 con un bolígrafo 'Intuos 3 Grip Pen', con una frecuencia de muestreo de 200 Hz y una resolución de 2540 dpi y una superficie de trabajo de 304.8 mm x 228.6 mm. El mismo proceso se llevo a cabo con 10 adultos 25 mayores de 18 años.
En la figura 4, columna de la izquierda se muestran los resultados reales obtenidos de uno de los casos para cada edad, habiéndose comprobado que los demás casos de la misma edad presentaban las mismas características. Se puede ver como en el caso de 30 los niños de 5 años aparecen muchos más picos en el perfil de velocidad que en el adulto.
En la Figura 4, en la columna de la derecha se muestran los resultados obtenidos con la letra "a" sintetizada mediante el método propuesto en esta patente. Se puede observar 35 como en el perfil de velocidad también aparecen más picos cuando se sintetiza letra de niño con un valor de E=100, en cambio aparecen solo tres picos en el caso de sintetizar letra adulta usando un valor de E=20, igual que sucede para las muestras reales.

Claims (17)

  1. REIVINDICACIONES
    1. Método para generar texto manuscrito valido para escritores con diferentes grados de madurez que comprende las siguientes etapas:
    5
    (i) para cada letra que se pretende sintetizar, se seleccionan sus nsi puntos que componen su trayectoria de forma que permitan realizar el punto (ii) , que se han almacenado previamente en una memoria de forma que cada punto de su trayectoria se corresponde con un punto determinado de una cuadrícula común para cualquier tipo de carácter que se quiera sintetizar, 10
    (ii) se aplica el método para generar la evolución temporal en texto manuscrito que se caracteriza por seleccionar un porcentaje E de los nsi puntos iniciales de los que consta la trayectoria de cada letra. El porcentaje E es inversamente proporcional a la evolución o madurez de la escritura. Se fija una regla de legibilidad del texto 15 sintetizado. En el caso de que no se cumpla la regla de legibilidad, se vuelve a repetir la selección de puntos hasta que se cumpla la norma de legibilidad,
    (iii) se conectan cada una de las letras que conformen la palabra, uniendo el punto final de la letra anterior al inicial de la siguiente, cumpliendo que las líneas superiores e 20 inferiores de la cuadrícula queden unidas,
    (iv) se transforman las posiciones de los puntos de la trayectoria en una secuencia temporal de vectores y se calculan el instante de tiempo inicial correspondiente a cada vector dependiendo del anterior. Por cada dos puntos consecutivos se 25 considera un vector (2) y por cada vector se calcula el ángulo αj entre el vector previo y el actual. El retardo introducido debido al ángulo entre los vectores (αj) viene dado por una curva predeterminada (S). Se obtiene el instante de tiempo inicial de cada vector t0j a partir de S, y las constantes Kt , Kα y εD,
    30
    (v) se transforman el módulo de cada vector en una constante relacionada con la amplitud de la señal de velocidad. La amplitud Dj de la señal correspondiente al vector j se define proporcional al modulo de cada vector, normalizada con la distancia mínima entre los puntos de la cuadrícula, proporcional a una constante KD y con una variación aleatoria por persona mediante una constante εD, 35
    (vi) se sintetiza el perfil de velocidad para cada vector basándose en una ecuación predeterminada comenzando en el instante inicial t0j, con una amplitud proporcional a Dj y ajustando los parámetros (Kµ, Kσ, Kt, KD, Kα, εD, εt) para sintetizar a un individuo con una madurez determinada y unas características personalizadas, 40
    (vii) se genera la señal de velocidad final mediante la suma las nsi-1 señales Se calculan las componentes x e y de la señal de velocidad final, a partir del ángulo de cada vector (Øj) con respecto a los ejes x e y, y el signo de la dirección de cada vector, 45
    (viii) se obtiene la trayectoria cartesiana que se usa para representar el texto sintetizado, integrando las componentes x e y de la señal de velocidad final respectivamente.
  2. 2. Método según la reivindicación 1 caracterizado porque las características propias del escritor sintetico se establecen definiendo los parámetros
    (Kµ, Kσ, Kt, KD, Kα, εD, εt)
    ,
    siendo:
    • Kµ: es una constante que depende de las características motoras del sujeto
    5 inicialmente se considera nula,
    • Kσ: es una constante que define el ancho de cada una de las señales que modelan cada uno de los vectores y es diferente para cada escritor. Para generar evolución este parámetro se aproxima a 0.01 (para Kµ igual a 0) para simular 10 escritura de niños y se va aumentando hasta simular a un escritor experimentado sano,
    • Kt: es el incremento de tiempo entre el comienzo cada una de las señales por cada vector y es constante para cada tamaño de letra y velocidad de 15 escritura. Debe ser menor al ancho de la señal cuando se sintetiza sujetos normales y escritura continua a no ser que se quiera sintetizar un escritor escribiendo a una velocidad anormalmente baja,
    • KD: es una constante dependiente de cada individuo y también se puede usar para el 20 escalado de las letras en los casos para los que el incremento de Kt no es suficiente para alcanzar el tamaño de letra deseado,
    • Kα: es el tiempo máximo de retardo debido al ángulo entre las trayectorias actual y la precedente. 25
    • εD: es una variable aleatoria para generar cada que modifica la distancia a la que se encuentran los puntos de la trayectoria. (cercana a 0 para sujetos sanos y se incrementa para simular poca habilidad del escritor o enfermedad),
    • εt: es una variable aleatoria que emula la dispersión en el tiempo y es inversamente 30 proporcional a habilidad del escritor. (cercana a 0 para sujetos adultos con habilidad sanos y se incrementa para simular poca habilidad escribiendo o enfermedad).
  3. 3. Método según la reivindicación 1 caracterizado porque la regla de legibilidad del texto viene definida porque se tiene que mantener al menos uno de los puntos que coincidan 35 con las líneas fijadas para cada idioma, si coinciden en el diseño inicial del carácter.
  4. 4. Método según la reivindicación 1 caracterizado porque la ecuación predeterminada del punto (vi) viene dada por:
    40
  5. 5. Método según la reivindicación 1 caracterizado porque la ecuación predeterminada del punto (vi) viene dada por:
    45
  6. 6. Método según la reivindicación 1 donde la curva sigmoide S predeterminada del punto (iv) viene aproximada por (S(a, b, - c)). Donde el valor de b se aproxima a 0.06 y c a 65.
  7. 7. Método según la reivindicación 1 donde el instante de tiempo inicial de cada vector t0j se expresa como: 5
  8. 8. Método según la reivindicación 1 caracterizado por ser online y generar el perfil de velocidad después de punto (vii) teniendo en cuenta el grado de madurez del escritor. 10
  9. 9. Método según la reivindicación 1 caracterizado por ser un método offline y aplicar un modelo de tinta después del punto (viii) (202) y por añadirse a cada vector una información de tinta o no tinta para representar trazos con tinta o no respectivamente.
    15
  10. 10. Método según la reivindicación 1 caracterizado por obtener las características de escritura de una persona real mediante el ajuste de los parámetros Kµ, Kt, Kσ, Kt, Kα, y KD, a partir del perfil de velocidad real. Además, los vectores de trayectoria que se ha almacenado previamente en una memoria que se utilizan en el punto (i) son obtenidos de la escritura real del escritor a sintetizar. 20
  11. 11. Método según la reivindicación 1 caracterizado por la que los puntos (ii) y (iii) pueden intercambiarse.
  12. 12. Método según la reivindicaciones 1 caracterizado por definir el valor de E desde 100 25 a 20 para emular la evolución de niño a adulto.
  13. 13. Método según la reivindicaciones 1 caracterizado por estar los parámetros εD y εt relacionados con el aprendizaje o salud neurológica del individuo. El valor se aumenta hasta sintetizar poca salud neurológica o poco aprendizaje. 30
  14. 14. Método según la reivindicaciones 1 caracterizado por sintetizar pacientes con Parkinson aumentando el incremento de tiempo entre las señales mediante el aumento de Kt proporcionalmente con el grado de la enfermedad hasta llegar a superar su valor el ancho de dicha señal. De esta forma cuanto más afectado por la enfermedad 35 este el paciente menor sea el solapamiento entre las señales que modelan cada uno de los vectores. Se considera que los vectores que conforman la trayectoria se diseñan por pares, y en cada uno de los pares la dirección de uno contrarresta al anterior.
  15. 15. Método según la reivindicaciones 1 caracterizado por sintetizar pacientes con 40 Alzheimer mediante el incremento de los parámetros relacionados con la estabilidad de punto de inicio de la señal que representa a cada vector y el error en la trayectoria (εD, εt).
  16. 16. Método según la reivindicaciones 1 caracterizado por sintetizar pacientes con esclerosis lateral amiotrófica mediante el incremento del ancho de variando Kσ 45 o Kµ y la disminución de su amplitud (KD).
  17. 17. Programa informático con instrucciones configuradas para su ejecución por al menos un procesador que, cuando son ejecutadas por un dispositivo electrónico, hacen que este lleve a cabo el procedimiento de cualquiera de las reivindicaciones anteriores.
    5
ES201600539A 2016-06-17 2016-06-17 Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor Active ES2610794B2 (es)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ES201600539A ES2610794B2 (es) 2016-06-17 2016-06-17 Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor
PCT/ES2017/000070 WO2017216400A1 (es) 2016-06-17 2017-06-01 Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor
CA3028063A CA3028063A1 (en) 2016-06-17 2017-06-01 Method and system for generating handwritten text with different degrees of maturity of the writer
US16/308,305 US10977422B2 (en) 2016-06-17 2017-06-01 Method and system for generating handwritten text with different degrees of maturity of the writer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201600539A ES2610794B2 (es) 2016-06-17 2016-06-17 Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor

Publications (3)

Publication Number Publication Date
ES2610794A1 ES2610794A1 (es) 2017-05-03
ES2610794A9 ES2610794A9 (es) 2017-08-10
ES2610794B2 true ES2610794B2 (es) 2017-09-19

Family

ID=58633130

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201600539A Active ES2610794B2 (es) 2016-06-17 2016-06-17 Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor

Country Status (4)

Country Link
US (1) US10977422B2 (es)
CA (1) CA3028063A1 (es)
ES (1) ES2610794B2 (es)
WO (1) WO2017216400A1 (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4061218A4 (en) * 2019-11-21 2024-04-10 Polyvalor, Limited Partnership METHOD AND SYSTEM FOR EVALUATING BIOLOGICAL MOVEMENT
CN113361282B (zh) * 2020-03-04 2024-05-24 北京沃东天骏信息技术有限公司 信息处理方法及装置
CN112699349A (zh) * 2020-12-25 2021-04-23 华南理工大学 一种基于样本合成以及排序学习的联机签名鉴定方法
CN113139533B (zh) * 2021-04-06 2022-08-02 广州大学 一种快速识别手写矢量的方法及装置、介质和设备
US11995906B2 (en) * 2022-03-02 2024-05-28 Capital One Services, Llc Techniques for generation of synthetic data with simulated handwriting
CN117513289B (zh) * 2023-11-23 2024-07-16 陕西建工集团股份有限公司 一种地基与基础一体化沉降监测装置及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5077802A (en) 1991-02-11 1991-12-31 Ecole Polytechnique Apparatus and method for digitizing and segmenting a handwriting movement based on curvilinear and angular velocities
US5327342A (en) 1991-03-31 1994-07-05 Roy Prannoy L Method and apparatus for generating personalized handwriting
CA2275733A1 (fr) 1999-06-16 2000-12-16 Wacef Guerfali Methode et appareil de mesure d'analyse et de suivi des aptitudes et des performances du comportement moteur pour l'entrainement, la readaptation et la detection des disfonctionnements
GB2394348B (en) 2002-10-16 2005-09-28 Canon Kk Handwriting synthesis
US7227993B2 (en) * 2003-01-27 2007-06-05 Microsoft Corporation Learning-based system and process for synthesizing cursive handwriting
US7352899B2 (en) 2004-10-12 2008-04-01 Loeb Enterprises, Llc Realistic machine-generated handwriting with personalized fonts
US9155487B2 (en) * 2005-12-21 2015-10-13 Michael Linderman Method and apparatus for biometric analysis using EEG and EMG signals
ITPI20070093A1 (it) 2007-08-08 2009-02-09 Mario Pirchio Metodo per animare sullo schermo di un computer una pennavirtuale che scrive e disegna
US7983478B2 (en) 2007-08-10 2011-07-19 Microsoft Corporation Hidden markov model based handwriting/calligraphy generation
US10055659B2 (en) * 2015-05-04 2018-08-21 King Fahd University Of Petroleum And Minerals Systems and associated methods for arabic handwriting using synthetic extension concatenation and synthesis
US10140262B2 (en) * 2015-05-04 2018-11-27 King Fahd University Of Petroleum And Minerals Systems and associated methods for Arabic handwriting synthesis and dataset design

Also Published As

Publication number Publication date
US20190303422A1 (en) 2019-10-03
CA3028063A1 (en) 2017-12-21
ES2610794A1 (es) 2017-05-03
WO2017216400A1 (es) 2017-12-21
ES2610794A9 (es) 2017-08-10
US10977422B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
ES2610794B2 (es) Método y sistema para generar texto manuscrito con diferentes grados de madurez del escritor
Ferrer et al. Static signature synthesis: A neuromotor inspired approach for biometrics
Pizlo Making a machine that sees like us
Kristensson et al. Continuous recognition of one-handed and two-handed gestures using 3D full-body motion tracking sensors
BRPI0721562A2 (pt) mÉtodo e sistema de reconhecimento de volume
CN103020085B (zh) 一种个人风格化书法动态字库的实现方法及其应用
US10297065B2 (en) Methods and systems of enriching blendshape rigs with physical simulation
CN111414839A (zh) 基于姿态的情感识别方法及装置
KR102136620B1 (ko) 의상 패턴들을 표시하는 방법 및 장치
Yeh et al. On the effects of haptic display in brush and ink simulation for chinese painting and calligraphy
Leiva et al. The kinematic theory produces human-like stroke gestures
Wang et al. Nod to auth: Fluent ar/vr authentication with user head-neck modeling
CN108509924A (zh) 人体姿态的评分方法和装置
Li et al. Research on a method of creating digital shadow puppets based on parameterized templates
CN103823628A (zh) 结合笔压的毛笔字笔锋模拟方法
Platt Constraint methods for neural networks and computer graphics
Qin et al. Muscle‐driven virtual human motion generation approach based on deep reinforcement learning
Lee et al. A new synthesizing method for handwriting Korean scripts
CN116311289A (zh) 一种基于轨迹识别算法的手写字体水平评价系统
Lee Biomechanical modeling and control of the human body for computer animation
Lv et al. Smart motion reconstruction system for golf swing: a DBN model based transportable, non-intrusive and inexpensive golf swing capture and reconstruction system
Hamotskyi et al. Automatized generation of alphabets of symbols
JP3802483B2 (ja) 書道学習支援システム、コンピュータ、プログラム、及び記録媒体
CN107122042A (zh) 一种静动态手势结合的汉字书写方法及系统
Liang et al. A VR-based calligraphy writing system with force reflection

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2610794

Country of ref document: ES

Kind code of ref document: B2

Effective date: 20170919