ES2874679T3 - Método y programa informático para supervisar eventos de pantalla táctil de un dispositivo de mano - Google Patents
Método y programa informático para supervisar eventos de pantalla táctil de un dispositivo de mano Download PDFInfo
- Publication number
- ES2874679T3 ES2874679T3 ES17735168T ES17735168T ES2874679T3 ES 2874679 T3 ES2874679 T3 ES 2874679T3 ES 17735168 T ES17735168 T ES 17735168T ES 17735168 T ES17735168 T ES 17735168T ES 2874679 T3 ES2874679 T3 ES 2874679T3
- Authority
- ES
- Spain
- Prior art keywords
- event
- touch screen
- application
- handheld device
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/835—Timestamp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4405—Initialisation of multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Método para supervisar eventos de pantalla táctil (3) de un dispositivo de mano (6), en donde - se proporciona una aplicación de supervisión (1), - al menos un evento de pantalla táctil (3) en una pantalla de visualización (61) de dicho dispositivo de mano (6) es detectado por medio de dicha aplicación de supervisión (1), en donde dicho al menos un evento de pantalla táctil (3) se dirige a una aplicación de primer plano (2), en donde la aplicación de primer plano (2) es una aplicación que está activa en el dispositivo de mano (6), - unos datos de evento (4) se generan para dicho al menos un evento de pantalla táctil (3) por medio de dicha aplicación de supervisión (1), en donde dichos datos de evento (4) comprenden una indicación de tiempo (41) de dicho al menos un evento de pantalla táctil (3) y una identificación (42) de dicha solicitud de primer plano (2), - dichos datos de evento (4) se almacenan por medio de dicha aplicación de supervisión (1), caracterizado por que - la posición de la aplicación de supervisión (1) en la arquitectura de los componentes de hardware y de software del dispositivo de mano (6) es aguas abajo de una cola de sistema operativo del dispositivo de mano (6) y aguas arriba de la aplicación de primer plano (2), - en donde dicha aplicación de supervisión (1) comprende una ventana invisible (64) que comprende un área de ventana (A) en dicha pantalla de visualización (61) de dicho dispositivo de mano (6), en donde unos eventos de pantalla táctil (3) dentro y fuera de dicha área de ventana (A) se detectan por medio de dicha aplicación de supervisión (1), y en donde la ventana invisible (64) está diseñada de tal modo que esta permanece por encima de todas las otras vistas, no consume el al menos un evento de pantalla táctil (3) y es lo suficientemente pequeña como para que la ventana invisible (64) no obtenga un foco automático del sistema operativo, - y en donde dicho al menos un evento de pantalla táctil (3) se detecta antes de la distribución de dicho al menos un evento de pantalla táctil (3) a dicha aplicación de primer plano (2), proporcionando de ese modo unos datos de indicación de tiempo (41) precisos y de alta resolución, en donde dicha indicación de tiempo (41) comprende una resolución temporal que es menor de 15 ms.
Description
DESCRIPCIÓN
Método y programa informático para supervisar eventos de pantalla táctil de un dispositivo de mano
La invención se refiere a un método para supervisar eventos de pantalla táctil de un dispositivo de mano y un programa informático para ejecutar etapas del método de acuerdo con la invención.
El uso omnipresente de los ordenadores personales y los teléfonos inteligentes ha habilitado unas vías potentes para realizar un seguimiento de y comprender el comportamiento humano (Lazer, D. y col. Life in the network: the coming age of computational social science. Science 323, 721-723 (2009)).
Estas vías se pueden clasificar como (a) seguimiento de la actividad en Internet y en servidores de telefonía para inferir acciones humanas (Lazer, D. y col. Life in the network: the coming age of computational social science. Science 323, 721-723 (2009); Jiang, Z. Q. y col. Calling patterns in human communication dynamics. Proc. Natl. Acad. Sci. U.S. A. 110, 1600-1605 (2013), (b) seguimiento de la actividad motora gruesa como en las distancias recorridas o el número de etapas usando acelerómetros integrados, sistemas de posicionamiento o sensores ponibles conectados a los teléfonos inteligentes (Case M. A., Burwick H. A., Volpp K. G. y Patel M. S. Accuracy of smartphone applications and wearable devices for tracking physical activity data. JAMA 313, 625-626 (2015), (c) el seguimiento de la actividad en la interfaz ser humano - ordenador (Giancardo, L., Sanchez-Ferro, A., Butterworth, I., Mendoza, C. S. y Hooker, J. M. Psychomotor Impairment Detection via Finger Interactions with a Computer Keyboard During Natural Typing. Sci. Rep.
5, 9678 (2015)). Cada una de estas formas de seguimiento proporciona una perspectiva diferente de las acciones humanas.
El seguimiento de la actividad en la interfaz ser humano - ordenador puede proporcionar un potente conocimiento profundo acerca del comportamiento humano. Por ejemplo, la velocidad de las entradas de teclado puede informar a las clínicas acerca de trastornos neurológicos que afectan al sistema motor o patrones de entrada de firma que se pueden usar para hacer que los ordenadores sean más seguros (Nahin, A. F. M. N. H., Alam, J. M., Mahmud, H. y Hasan, K. Identifying emotion by keystroke dynamics and textpattern analysis. Behav. Inf. Technol. 33, 987-996 (2014); Giancardo, L., Sanchez-Ferro, A., Butterworth, I., Mendoza, C. S. y Hooker, J. M. Psychomotor Impairment Detection via Finger Interactions with a Computer Keyboard During Natural Typing. Sci. Rep. 5, 9678 (2015). Además, se ha descrito una prueba de tiempo de reacción para evaluar los efectos de la pérdida de sueño usando una aplicación de teléfono inteligente designada (Kay, M., Rector, K., Consolvo, S., Greenstein, B., Wobbrock, J. O., Watson, N. F., Kientz, J. A. PVT-Touch: Adapting a Reaction Time Test for Touchscreen Devices. DOI 10.4108/icst.pervasivehealth.2013.252078 (2013)).
Tal seguimiento también puede cuantificar cómo los usuarios interaccionan con sitios web o aplicaciones, para mejorar los diseños y de cara a la mercadotecnia dirigida. También hay un auge en el número de aplicaciones que perfilan la actividad en el teléfono inteligente realizando un seguimiento del tiempo dedicado al teléfono inteligente, el tiempo dedicado a cada aplicación, la batería usada y la cantidad de datos intercambiados por el teléfono (Sheng, M. J., Joe-Wong, C., Ha, S., Wong, F. M. F. y Sen, S. Smart data pricing: Lessons from trial planning en 2013 Proceedings IEEE INFOCOM 3327-3332 (2013). doi:10.1109/INF-COM.2013.6567159; Montag, C. y col. Smartphone usage in the 21st century: who is active on WhatsApp? BMC Res. Notes 8, 331 (2015)).
Sin embargo, estos métodos de supervisión no proporcionan una descripción precisa del uso. En particular, estos no pueden distinguir entre que el usuario realmente interaccione con una aplicación y que el usuario inicie una aplicación y entonces realice alguna otra actividad sin el teléfono inteligente. Aunque los métodos de supervisión descritos generan descripciones útiles de la actividad humana en el teléfono inteligente, estos no están diseñados para proporcionar una visión de conjunto de comportamiento de alta resolución de las acciones humanas.
El documento US 20150100887 A1 divulga un método para realizar un seguimiento de eventos de comportamiento a realizar por un dispositivo electrónico. Además, el documento CN 104239761 A describe un método de autenticación de identidad continuo basándose en características de comportamiento de deslizamiento de pantalla táctil. El documento US 2012281080 A1 divulga un método de rastreo para un terminal de pantalla táctil, en donde el contenido de visualización de una pantalla táctil se captura por medio de toma de instantáneas. Sin embargo, todos estos métodos no supervisan continuamente los eventos de pantalla táctil con una resolución temporal suficiente para generar una visión de conjunto de comportamiento adecuada.
Además, el documento US 2015088955 A1 divulga un método implementado por ordenador para evaluar un nivel de participación de usuario de una aplicación particular usada en un dispositivo móvil detectando y almacenando datos de entrada de teclado del usuario. El método descrito en el mismo no genera indicaciones de tiempo de alta resolución y, por lo tanto, es incapaz de proporcionar una visión de conjunto de comportamiento de alta resolución.
El documento de la técnica anterior US 2014/0115506 divulga un método para la medición de eventos de pantalla táctil en una pantalla de visualización de un dispositivo de mano mediante una aplicación de supervisión, generando datos de evento que comprenden una indicación de tiempo y una identificación de la aplicación de primer plano para supervisar aplicaciones que funcionan mal, en donde los usuarios proporcionan repetidamente entradas (es decir,
dando golpecitos repetidamente en la pantalla táctil de un dispositivo móvil) sin éxito y, posteriormente, salen de la aplicación.
El artículo "Monitor Screen Touch Event in Android", de Jinghao Shi, publicado el 9 de noviembre de 2014 en la dirección web http://jhshi.me/2014/11/09/monitor-screen-touch-event-in-android/ (XP055332294) divulga el uso de una ventana invisible para detectar eventos de pantalla táctil en un dispositivo de mano.
Por lo tanto, el objetivo de la presente invención es proporcionar un método de supervisión, que sea capaz de generar una visión de conjunto de comportamiento realizando un seguimiento continuo de acciones humanas generadas en una interfaz de pantalla táctil de un dispositivo de mano con una resolución temporal alta.
Este objetivo se logra mediante la materia objeto de las reivindicaciones independientes 1 y 13. Se proporcionan realizaciones de la invención como las reivindicaciones dependientes 2 a 12. La invención se describe a continuación en el presente documento.
De acuerdo con un primer aspecto de la invención, se proporciona un método para supervisar eventos de pantalla táctil de un dispositivo de mano.
En el contexto de la presente memoria descriptiva, la expresión 'dispositivo de mano' designa un dispositivo electrónico portátil que comprende un microordenador para ejecutar aplicaciones, una pantalla de visualización y una pantalla táctil para introducir órdenes en el microordenador por medio de un evento de pantalla táctil. En particular, un dispositivo de mano de este tipo puede ser un teléfono inteligente, un ordenador de tipo tableta o un reloj inteligente. Muchos dispositivos de mano de acuerdo con el estado de la técnica comprenden un visualizador sensible al tacto, que comprende, en particular, una pluralidad de sensores capacitivos.
En el contexto de la presente memoria descriptiva, el término 'aplicación' designa un programa informático que comprende código de programa que es ejecutable en un microordenador de un dispositivo de mano.
En el contexto de la presente memoria descriptiva, la expresión 'evento de pantalla táctil' (también denominado 'evento táctil') describe un evento, en donde un usuario toca la pantalla táctil, en particular, por medio de un dedo. En particular, un evento táctil puede comprender iniciar un toque, es decir, poniendo un dedo sobre la pantalla táctil, finalizar un toque, es decir, quitando un dedo de la pantalla táctil, o cambiar la posición de toque en la pantalla táctil, es decir, mediante un movimiento de deslizamiento.
El método de acuerdo con la invención comprende proporcionar una aplicación de supervisión, detectando al menos un evento de pantalla táctil en una pantalla de visualización del dispositivo de mano por medio de la aplicación de supervisión, en donde el al menos un evento de pantalla táctil se dirige a una aplicación de primer plano, en donde la aplicación de primer plano es una aplicación que está activa en el dispositivo de mano que genera datos de evento para el al menos un evento de pantalla táctil por medio de la aplicación de supervisión, en donde los datos de evento comprenden una indicación de tiempo del al menos un evento de pantalla táctil y una identificación de la aplicación de primer plano, y almacenar los datos de evento por medio de la aplicación de supervisión.
La posición de la aplicación de supervisión en la arquitectura de los componentes de hardware y de software del dispositivo de mano es aguas abajo de una cola de sistema operativo del dispositivo de mano y aguas arriba de la aplicación de primer plano.
En el contexto de la presente memoria descriptiva, la expresión 'aplicación de primer plano' designa una aplicación que está activa en el dispositivo de mano, en donde una ventana de la aplicación de primer plano aparece en la pantalla de visualización del dispositivo de mano, de tal modo que un usuario puede proporcionar órdenes por medio de un evento de pantalla táctil, y en donde las órdenes se distribuyen a la aplicación de primer plano con el fin de generar una respuesta de la aplicación de primer plano, en particular una realimentación visual en la pantalla de visualización. En particular, la función prevista por el usuario en la pantalla táctil es proporcionada por la aplicación de primer plano. La expresión 'identificación de la aplicación de primer plano' designa datos, en particular en forma de un número o una cadena, que sirven para identificar la aplicación de primer plano, de tal modo que la identidad de la aplicación de primer plano en el momento del evento de pantalla táctil se puede evaluar más tarde por medio de la identificación.
En el contexto de la presente memoria descriptiva, la expresión 'indicación de tiempo' designa datos que comprenden una hora del sistema del dispositivo de mano, en donde la hora del sistema se asigna a un evento de entrada respectivo, en particular un evento de pantalla táctil.
La detección de eventos de pantalla táctil por medio de una aplicación de supervisión separada permite, de manera ventajosa, detectar secuencialmente eventos de pantalla táctil dirigidos a diferentes aplicaciones de primer plano sin sesgo alguno debido a un procesamiento diferente de los eventos de pantalla táctil por las aplicaciones de primer plano respectivas, lo que es crucial para obtener una visión de conjunto de comportamiento de alta resolución por medio del método.
La aplicación de supervisión de acuerdo con la presente invención es una aplicación que se ejecuta en el dispositivo de mano, que está adaptada para registrar, más particularmente detectar y almacenar, eventos de pantalla táctil en segundo plano sin interferir con el uso de la aplicación de primer plano.
En particular, los datos de evento se almacenan en una memoria física del dispositivo de mano, más particularmente una memoria caché o una memoria permanente, o en una memoria externa, que está separada del dispositivo de mano, más particularmente en un servidor de datos.
En determinadas realizaciones, los eventos de pantalla táctil son detectados continuamente por la aplicación de supervisión.
La aplicación de supervisión comprende una ventana invisible que comprende un área de ventana en la pantalla de visualización del dispositivo de mano, en donde unos eventos de pantalla táctil dentro y fuera del área de ventana se detectan por medio de la aplicación de supervisión, y en donde la ventana invisible está diseñada de tal modo que esta permanece por encima de todas las otras vistas, no consume el al menos un evento de pantalla táctil y es lo suficientemente pequeña como para que la ventana invisible no obtenga un foco automático del sistema operativo.
En el contexto de la presente memoria descriptiva, la expresión 'ventana invisible' designa una ventana generada como un objeto al nivel del software operativo cuando la aplicación de supervisión está activa, en donde la ventana no se visualiza de forma visible en la pantalla de visualización.
En particular, la ventana invisible es generada por la aplicación de supervisión, más particularmente cuando se inicia la aplicación de supervisión.
Para cualquier evento de pantalla táctil, el sistema operativo del dispositivo de mano radiodifunde los detalles específicos del evento de pantalla táctil a la aplicación de primer plano actualmente activa. La aplicación de primer plano puede usar, o no, este evento de pantalla táctil, y/o puede estar, o no, en un estado para usar este evento de pantalla táctil. De acuerdo con la configuración convencional, el sistema operativo no radiodifunde el evento de pantalla táctil a ninguna otra aplicación a menos que se permita específicamente que una aplicación de segundo plano use el evento de pantalla táctil radiodifundido.
En particular, la aplicación de supervisión de acuerdo con la presente invención obtiene del usuario, en su inicio, el permiso para actuar como una aplicación de segundo plano especial, a la que se le permite usar eventos de pantalla táctil radiodifundidos, mientras una aplicación de primer plano está activa. Sin embargo, el sistema operativo solo pasa información seleccionada o relevante a la aplicación de supervisión a la que se le ha otorgado este permiso. La ventana invisible de la aplicación de supervisión satisface el criterio del sistema operativo de tal modo que las indicaciones de tiempo en la pantalla táctil (dentro y fuera de los bordes de la ventana invisible) y las aplicaciones de primer plano iniciadas por el usuario se radiodifunden a la misma.
En determinadas realizaciones, el área de la ventana tiene un tamaño de 400 píxeles o menos, en particular 100 píxeles o menos.
Un tamaño pequeño de la ventana invisible asegura que el evento de pantalla táctil en la pantalla táctil no sea consumido por la aplicación de supervisión, sino que sea detectado como un evento de pantalla táctil tanto por la aplicación de supervisión como por la aplicación de primer plano. Además, al usar una ventana invisible de pequeño tamaño, se evita la obtención de un foco automático por el sistema operativo, que de otro modo obstaculizaría los procesos usados por la aplicación de primer plano. De manera ventajosa, esta característica asegura que el desempeño de la aplicación de primer plano no se vea afectado por la aplicación de supervisión.
El al menos un evento de pantalla táctil se detecta antes de la distribución del al menos un evento de pantalla táctil a la aplicación de primer plano, proporcionando de ese modo unos datos de indicación de tiempo precisos y de alta resolución.
Esta característica asegura que los eventos de pantalla táctil detectados se capturen antes de que las indicaciones de tiempo se distorsionen o se pierdan debido a la cadena de cálculos de la aplicación de primer plano. De manera ventajosa, esto permite proporcionar datos de indicación de tiempo precisos y de alta resolución.
Los eventos táctiles se detectan habitualmente y entonces se usan para inferir un determinado gesto, y se desencadena un determinado cálculo correspondiente al gesto inferido, es decir, una representación gráfica para proporcionar una realimentación visual del golpecito de teclado. Durante la representación o cualquier otro cálculo desencadenado por un evento, es decir, evento n, la aplicación de primer plano puede no ser sensible a eventos táctiles o registrar siquiera un evento táctil posterior, es decir, n + 1. Si las indicaciones de tiempo se extrajeran de más aguas arriba al nivel de la aplicación de primer plano, adolecería tanto de retardos como de faltas.
La indicación de tiempo comprende una resolución temporal que es menor de 15 ms, en particular menor de 5 ms.
En determinadas realizaciones, los datos de evento comprenden además coordenadas espaciales del al menos un evento de pantalla táctil en la pantalla de visualización del dispositivo de mano, un parámetro que indica si se visualiza un teclado numérico emergente en la pantalla de visualización del dispositivo de mano, y/o el número de píxeles activados por medio de dicho al menos un evento de pantalla táctil.
En el contexto de la presente memoria descriptiva, la expresión 'coordenadas espaciales del al menos un evento de pantalla táctil' se refiere a la posición bidimensional en el espacio de los píxeles activados en la pantalla de visualización en relación con los bordes de la pantalla de visualización por medio del evento de pantalla táctil respectivo.
En el contexto de la presente memoria descriptiva, la expresión 'teclado numérico emergente' designa una representación gráfica de un teclado numérico en la pantalla de visualización del dispositivo de mano, en donde unos caracteres pueden ser introducidos por un usuario por medio de tocar áreas diferentes del teclado numérico emergente en la pantalla de visualización.
En determinadas realizaciones, al menos un evento de botón, en particular al menos un evento de botón de inicio o al menos un evento de conmutador de encendido - apagado, se detecta por medio de la aplicación de supervisión, en donde unos datos de evento que comprenden una indicación de tiempo del al menos un evento de botón se generan y se almacenan por medio de la aplicación de supervisión.
En el contexto de la presente memoria descriptiva, la expresión 'evento de botón' designa un evento en el que un usuario presiona un botón o un conmutador del dispositivo de mano. La expresión 'evento de botón de inicio' se refiere a un evento, en el que un usuario presiona el botón de inicio del dispositivo de mano, y la expresión 'evento de encendido - apagado' se refiere a un evento, en el que un usuario presiona el conmutador de encendido - apagado del dispositivo de mano.
La expresión 'botón de inicio' designa un botón que está adaptado para desencadenar la visualización de una pantalla de inicio en la pantalla de visualización del dispositivo de mano. En particular, la pantalla de inicio es una pantalla mediante la cual una pluralidad de aplicaciones pueden ser seleccionadas e iniciadas por un usuario por medio de un evento de pantalla táctil.
La expresión 'conmutador de encendido - apagado' designa un conmutador que está adaptado para encender o apagar el dispositivo de mano y/o desencadenar una entrada en o una salida de un modo de espera del dispositivo de mano.
En determinadas realizaciones, los datos de evento se almacenan en una memoria caché del dispositivo de mano.
Almacenar continuamente los datos de evento de cada evento de pantalla táctil en una memoria permanente puede dar como resultado un desempeño ralentizado del dispositivo de mano. Por lo tanto, almacenar datos en una memoria caché asegura, de manera ventajosa, que el desempeño del dispositivo de mano no se vea afectado por la aplicación de supervisión.
En determinadas realizaciones, un evento de apagado de pantalla se detecta por medio de la aplicación de supervisión, en donde los datos de evento en la memoria caché se almacenan en una memoria permanente a continuación de la detección del evento de apagado de pantalla.
En el contexto de la presente memoria descriptiva, la expresión 'evento de apagado de pantalla' designa un evento, mediante el cual un usuario apaga la pantalla o inicia un modo de espera del dispositivo de mano, en particular presionando un conmutador de encendido - apagado del dispositivo de mano.
Esta característica asegura que los datos de la memoria caché no se pierdan debido a un evento de apagado de la pantalla, y pospone el procedimiento de guardado, que consume mucho desempeño, a un momento posterior a la conmutación del dispositivo de mano cuando no se necesita desempeño.
En determinadas realizaciones, los datos de evento se almacenan en una memoria caché del dispositivo de mano y se detecta un evento de apagado de pantalla por medio de la aplicación de supervisión, en donde los datos de evento almacenados en la memoria caché se almacenan en una memoria permanente a continuación de la detección del evento de apagado de pantalla.
Esta combinación es especialmente ventajosa debido a que la transferencia de los datos de evento desde la memoria caché a la memoria permanente se realiza directamente al nivel de la aplicación de supervisión sin aplicación adicional alguna.
En determinadas realizaciones, la memoria permanente está ubicada en un servidor de datos, en donde, en particular, los datos de evento se transfieren desde la memoria caché del dispositivo de mano al servidor de datos, más particularmente por medio de una conexión inalámbrica.
En determinadas realizaciones, se detecta un evento de reinicio del dispositivo de mano, en donde la aplicación de supervisión, en particular la ventana invisible de la aplicación de supervisión, se inicia o se reinicia automáticamente a continuación del evento de reinicio. En particular, la aplicación de supervisión se reinicia automáticamente sin necesidad alguna de interacción humana.
En el contexto de la presente memoria descriptiva, la expresión 'evento de reinicio' designa un evento, en donde se reinicia el software operativo del dispositivo de mano.
Esta característica asegura la continuidad del funcionamiento de la aplicación de supervisión. De manera ventajosa, esto permite la recopilación continua de datos de evento después de que el dispositivo de mano se haya apagado y reiniciado.
En determinadas realizaciones, el método se usa para recopilar datos para analizar un comportamiento de al menos un sujeto usando un dispositivo de mano.
El comportamiento a analizar está relacionado de alguna manera con el uso del dispositivo de mano.
Debido a las características descritas anteriormente, el método de acuerdo con la presente invención es especialmente adecuado para analizar el comportamiento humano continuamente en una diversidad de escalas de tiempo diferentes.
En determinadas realizaciones, el comportamiento analizado comprende al menos una actividad rápida, en donde la actividad rápida tiene lugar en una escala de tiempo de menos de 1 s, particularmente menos de 100 ms. Allí, la expresión 'actividad rápida' describe una actividad que tiene lugar en una escala de tiempo de menos de 1 segundo, particularmente menos de 100 milisegundos.
En particular, tales actividades rápidas pueden ser gestos de pantalla táctil, más particularmente deslizar, activar botones de menú o escribir en la pantalla táctil. El patrón temporal de tales gestos puede proporcionar información acerca de las características neuronales del sujeto. Además, en el declive relacionado con la edad, se espera que los usuarios se vuelvan más lentos en estas escalas de tiempo rápidas.
En determinadas realizaciones, el comportamiento analizado comprende al menos una actividad lenta, en donde la actividad lenta tiene lugar en una escala de tiempo de más de 1 s, particularmente más de 1 h, más particularmente más de 1 día. Allí, la expresión 'actividad lenta' describe una actividad que tiene lugar en una escala de tiempo de más de 1 segundo, particularmente más de 1 hora, más particularmente más de 1 día.
En particular, tales actividades lentas pueden ser hábitos y/o ritmos individuales, en particular el comportamiento de sueño, las horas de trabajo, las pausas de trabajo, las actividades de fin de semana y/o el comportamiento social, más particularmente la regularidad con la que los individuos participan en actividades sociales o no sociales, muy particularmente en relación con aplicaciones sociales en dispositivos de mano. Estas escalas de tiempo más lentas informan adicionalmente acerca de cómo se distribuye el grado de atención de los usuarios a lo largo de actividades diferentes.
En determinadas realizaciones, el comportamiento analizado comprende al menos una actividad rápida y al menos una actividad lenta, en donde la actividad rápida tiene lugar en una escala de tiempo de menos de 1 s, en particular menos de 100 ms, y en donde la actividad lenta tiene lugar en una escala de tiempo de más de 1 s, particularmente más de 1 h, más particularmente más de 1 día. Allí, la expresión 'actividad rápida' describe una actividad que tiene lugar en una escala de tiempo de menos de 1 segundo, particularmente menos de 100 milisegundos, y la expresión 'actividad lenta' describe una actividad que tiene lugar en una escala de tiempo de más de 1 segundo, particularmente más de 1 hora, más particularmente más de 1 día.
El método de acuerdo con la presente invención es capaz de detectar y almacenar eventos de pantalla táctil a lo largo de una variedad muy amplia de escalas de tiempo y, por lo tanto, permite, de manera ventajosa, la supervisión simultánea de diversos procesos de comportamiento, proporcionando una visión de conjunto de comportamiento amplia.
De acuerdo con un segundo aspecto de la invención, se proporciona un programa informático para supervisar eventos de pantalla táctil. El programa informático comprende código de programa, en donde el código de programa solicita a un ordenador que ejecute el método de acuerdo con el primer aspecto de la invención si el programa informático está cargado, instalado o ejecutado en el ordenador. En particular, el programa informático es la aplicación de supervisión de acuerdo con la presente invención.
Características y ventajas adicionales de la invención se describirán por medio de descripciones detalladas de realizaciones de la presente invención, con referencia a las figuras, en las que
la figura 1 muestra un diagrama de flujo que representa una realización del método de acuerdo con la invención;
la figura 2 muestra una representación esquemática de un dispositivo de mano;
la figura 3 muestra una representación esquemática de componentes de hardware y de software de un dispositivo de mano;
la figura 4 muestra indicaciones de tiempo registradas por medio de la aplicación de supervisión de acuerdo con la invención y por una aplicación de primer plano;
la figura 5 muestra una representación esquemática de etapas del método de acuerdo con la invención;
la figura 6 muestra tiempos de retardo medidos cuando se escribe en un almacenamiento usando el método de acuerdo con la invención;
la figura 7 muestra una distribución de intervalos entre toques usando el método de acuerdo con la invención; la figura 8 muestra intervalos entre toques registrados usando el método de acuerdo con la invención en comparación con datos de cámara de vídeo;
la figura 9 muestra datos de uso de teléfono inteligente registrados por medio del método de acuerdo con la invención;
la figura 10 muestra una distribución de una mediana de intervalos durante la noche en el uso de teléfono inteligente registrado por medio del método de acuerdo con la invención;
la figura 11 muestra una distribución del tiempo que lleva realizar una transición de una aplicación de primer plano social a una aplicación de primer plano no social a partir de datos registrados por medio del método de acuerdo con la invención.
La figura 1 muestra un diagrama de flujo que representa una realización del método de acuerdo con la invención. Un evento de pantalla táctil 3 es detectado por una aplicación de supervisión 1 que se ejecuta en un dispositivo de mano. La aplicación de supervisión 1 guarda los datos de evento 4 correspondientes al evento de pantalla táctil 3 en una memoria caché 5 (flecha de trazo discontinuo). Los datos de evento 4 comprenden una indicación de tiempo 41 del evento de pantalla táctil 3 y una identificación 42 de una aplicación de primer plano 2 que se ejecuta en el dispositivo de mano. Los datos de evento 4 se pueden transferir más tarde desde la memoria caché 5 a una memoria permanente (no mostrada).
A continuación del almacenamiento de los datos de evento 4, el evento de pantalla táctil 3 se transfiere a la aplicación de primer plano 2, mediante la cual se puede procesar el evento de pantalla táctil 3.
La figura 2 muestra un dispositivo de mano 6 que comprende una pantalla de visualización 61, un botón de inicio 62 y un conmutador de encendido - apagado 63.
Los datos de evento 4, en particular las indicaciones de tiempo 41 correspondientes a un evento de botón generado presionando el botón de inicio 62 y/o el conmutador de encendido - apagado 63, pueden ser registrados por una aplicación de supervisión 1 de acuerdo con la invención, que se está ejecutando en el dispositivo de mano 6 mostrado.
Además, una ventana invisible 64 que tiene un área de pantalla A se representa esquemáticamente en la pantalla de visualización 61. Los datos de evento 4 de los eventos de pantalla táctil 3 dentro y fuera de los límites de la ventana invisible 64, en particular las indicaciones de tiempo 41 y las identificaciones 42 de una aplicación de primer plano 2 que se ejecuta en el dispositivo de mano 6, se pueden registrar mediante una aplicación de supervisión 1 de acuerdo con la invención, que se está ejecutando en el dispositivo de mano 6 ilustrado.
La figura 3 muestra una representación esquemática de la arquitectura de componentes de hardware y de software de un dispositivo de mano. La posición de la aplicación de supervisión (indicada como 'Tocómetro') en la arquitectura es aguas abajo de la cola de Núcleo/sistema operativo y aguas arriba de la aplicación de primer plano (indicada como 'aplicaciones'), de tal modo que se pueden registrar eventos de pantalla táctil con un retardo de tiempo mínimo entre el evento de pantalla táctil y el registro. Los tiempos denotan los retardos de transmisión del evento de pantalla táctil. Al registrar el evento de pantalla táctil antes de su distribución a la aplicación de primer plano, se logra una precisión temporal alta.
La figura 4 muestra indicaciones de tiempo registradas por medio de la aplicación de supervisión de acuerdo con la invención y por una aplicación de primer plano. El registro de la indicación de tiempo de los eventos táctiles al nivel de la aplicación de supervisión ('Tocómetro') es más preciso que al nivel de la aplicación de primer plano ('aplicación de primer plano'). La presencia de cálculos en curso en la aplicación de primer plano puede no solo retardar el registro de eventos, sino también dar como resultado eventos perdidos. La tabla notifica los intervalos entre toques en ms. Se dieron instrucciones al voluntario para realizar toques de pantalla táctil a 7 Hz (intervalo entre toques anticipado de 142 ms). * indica el método de acuerdo con la invención.
La figura 5 muestra una representación esquemática de etapas del método de acuerdo con la invención en un dispositivo de mano 6. Cuando se enciende la pantalla de visualización 61 del dispositivo de mano 6, en particular por medio del conmutador de encendido - apagado 63, se genera una ventana invisible 64 y se inicia el seguimiento de los eventos de pantalla táctil 3.
Los eventos de pantalla táctil 3 capturados se almacenan en una memoria caché y, cuando se apaga la pantalla de visualización 61, los datos de evento 4 se guardan en un registro permanente. Este proceso se repite en cada ciclo de
uso.
La figura 6 muestra datos a partir de la medición del tiempo dedicado al almacenamiento en memoria caché de cada evento cuando la escritura en el almacenamiento se retarda hasta el final de la sesión, es decir, cuando la pantalla se APAGA (como en la aplicación de supervisión de acuerdo con la invención), en comparación con escribir dinámicamente eventos individuales. * designa el método de acuerdo con la invención.
La figura 7 muestra distribuciones de probabilidad de intervalos entre toques medidos usando la aplicación de supervisión de acuerdo con la invención (mediciones de validación de campo frente a mediciones de software). Los intervalos entre toques reales estaban separados por 150, 300 y 600 ms. Las distribuciones de probabilidad se basan en 200 repeticiones.
La figura 8 muestra intervalos entre toques registrados usando el método de acuerdo con la invención, representados gráficamente frente a intervalos entre toques medidos por medio de una cámara de vídeo de 1000 fps. El análisis se basó en 70 golpecitos de pantalla táctil.
La figura 9 muestra una visión de conjunto de uso de teléfono inteligente basándose en una supervisión de eventos táctiles de pantalla táctil en dos personas. Uno muestra pausas nocturnas claras (el panel A) y el otro no (el panel B). Los eventos de pantalla táctil se muestran con una resolución más baja que la de recopilación, y la presencia de un evento táctil en contenedores de 1 minuto se marca con una barra vertical. Obsérvese que los patrones circadianos y la cantidad de descanso durante la noche se pueden inferir de estos datos.
La figura 10 muestra una distribución de una mediana de intervalos durante la noche en el uso de teléfono inteligente en una población muestreada medida por medio de la aplicación de supervisión de acuerdo con la invención.
La figura 11 muestra una distribución del tiempo que lleva realizar una transición de una aplicación de teléfono inteligente social a una aplicación de teléfono inteligente no social en una población de muestra medida por medio de la aplicación de supervisión de acuerdo con la invención.
La invención se ilustra adicionalmente mediante el siguiente ejemplo.
Ejemplo
Los teléfonos inteligentes con pantalla táctil se usan de forma omnipresente e involucran una variedad de procesos para el control de acciones. Algunos de estos procesos tienen lugar en la escala de tiempo de milisegundos, solo limitados por la velocidad de coordinación motora o la frecuencia de actualización de la pantalla - y otros tienen lugar en la escala de tiempo de horas - lo que refleja, por ejemplo, el número de horas de sueño. Sin embargo, dada la complejidad y la variedad del comportamiento de los teléfonos inteligentes, su parametrización sigue suponiendo un desafío. En el presente caso documentamos un método para cuantificar la variedad completa de comportamientos de pantalla táctil y también el contexto de comportamiento circundante usando un software que registra sin discontinuidades las indicaciones de tiempo precisas (en un rango de milisegundos) de cada toque de pantalla táctil y la aplicación en uso. Cabe destacar que el seguimiento de segundo plano está optimizado con el fin de no perturbar el comportamiento previsto en la pantalla táctil. La visión de conjunto de comportamiento amplia generada por este método tiene implicaciones para la vigilancia en general y habilitará una variedad de nuevos análisis que ayudarían a desentrañar los procesos cognitivos que subyacen a las acciones humanas modernas.
Consideramos que los eventos de pantalla táctil son eventos clave en el comportamiento humano en el teléfono inteligente, y suponemos que su seguimiento en contexto con la aplicación en uso contiene una rica fuente de información acerca del comportamiento humano. En esencia, una variedad de parámetros de comportamiento se puede extraer del registro de las interacciones de pantalla táctil únicamente, sin supervisar todos los aspectos visuales y auditivos complejos de las interacciones telefónicas. Esta reducción es particularmente útil para almacenar descripciones a largo plazo de actividades humanas sin menoscabar la complejidad del comportamiento registrado. Sin embargo, para registrar continuamente todos los eventos generados en la pantalla táctil, un nuevo software (aplicación) de segundo plano ha de funcionar sin interferir con las interacciones de usuario y proporcionar las indicaciones de tiempo en un rango de milisegundos de los eventos. En el presente caso describimos una nueva aplicación de segundo plano que puede realizar continuamente un seguimiento de los toques de pantalla táctil con una precisión de milisegundos durante unos períodos prolongados (meses/años).
Diseño de software
La característica clave de este software es que combina la capacidad de registrar eventos de pantalla táctil en segundo plano sin interferir con el uso de la aplicación de primer plano (es decir, la función prevista por el usuario en la pantalla táctil) y el registro de alta resolución de eventos de pantalla táctil. Los siguientes son los elementos clave del diseño que, en combinación, dan como resultado la visión de conjunto de comportamiento de alta resolución. Solo se registran dos eventos clave para cada interacción de pantalla táctil en la forma actual: (1) La indicación de tiempo del comienzo del evento táctil y (2) la aplicación hacia la que se dirigía el evento táctil (o la aplicación de primer plano).
Adicionalmente, se puede realizar un seguimiento de eventos adicionales, tales como el inicio de un teclado numérico emergente, sin afectar a la funcionalidad del Tocómetro.
Ventana invisible
Para recopilar los eventos de pantalla táctil, diseñamos una ventana invisible en la pantalla táctil de tal modo que las indicaciones de tiempo de los eventos y la aplicación de primer plano seleccionada como objetivo que tuvieron lugar dentro y fuera de los límites de la ventana se pudieran registrar continuamente. La ventana programada fue generada por el software siempre que se desbloqueó la pantalla y, en el caso de un bloqueo o reinicio, la ventana se reinició automáticamente.
La ventana se razonó de la siguiente manera. En general, para cualquier evento táctil, el sistema operativo radiodifunde los detalles específicos del evento táctil a la aplicación de primer plano. Por ejemplo, cuando la aplicación de Facebook está en primer plano, los detalles de cualquier evento táctil se radiodifunden a la aplicación (aunque la aplicación puede usar, o no, este evento o no estar en un estado para usar este evento como se describe a continuación). El sistema operativo del teléfono no radiodifunde este evento a ninguna otra aplicación a menos que se permita específicamente que una aplicación de segundo plano use los eventos radiodifundidos. Por lo tanto, el 'Tocómetro' obtiene del usuario, en su inicio, el permiso para actuar como una aplicación de segundo plano especial. Aun así, el sistema operativo solo pasa información seleccionada o relevante a la aplicación de segundo plano a la que se le ha otorgado este permiso. La ventana invisible 'visualizada' en la pantalla táctil por 'Tocómetro' satisface el criterio del sistema operativo de tal modo que las indicaciones de tiempo en la pantalla táctil (dentro y fuera de los bordes de ventana) y las aplicaciones de primer plano iniciadas por el usuario se radiodifunden a la misma.
En determinadas entregas (en versiones anteriores de Android o ediciones personalizadas del sistema operativo), el sistema operativo también radiodifunde más información en la pantalla táctil: la coordenada del evento táctil, el inicio del teclado numérico, la fuerza inferida y el número de píxeles activados por la pantalla táctil.
La ventana transparente se diseñó de tal modo que esta permaneciera por encima de todas las otras vistas, no consumiera el evento táctil, fuera capaz de detectar eventos dentro y fuera de los bordes de la ventana y fuera lo suficientemente pequeña (< 10 x 10 píxeles) como para que la propia ventana no obtuviera un foco automático del sistema operativo. La ventana se mantuvo por encima de todas las aplicaciones llamando a TYPE_PHONE. El consumo del evento táctil - incluso si está completamente dentro de la ventana invisible - se evitó usando FLAG_NOT_TOUCH_MODAL.
Esto aseguró que los eventos táctiles se propagaran a la aplicación de primer plano. Las funciones llamadas por FLAG_WATCH_OUTSIDE_TOUCH habilitaron que se alertara a la ventana incluso si los toques tuvieron lugar fuera de la ventana invisible. Por último, el tamaño pequeño evitó que la ventana invisible obtuviera un foco automático del sistema operativo. Era importante prevenir esto, debido a que obtener un foco automático habría evitado que el sistema operativo realizara sin discontinuidades los cálculos previstos por el usuario o la aplicación de primer plano.
Por ejemplo, cuando está presente un EditarTexto en la pantalla para una aplicación de primer plano, si la ventana invisible obtuviera un foco automático, entonces el sistema operativo vería obstaculizado un intento de hacer emerger un teclado. Expuesto de forma sencilla, si el foco automático del sistema operativo no estuviera deshabilitado para la ventana invisible, la aplicación de segundo plano habría perturbado las funciones asociadas con el foco automático del sistema operativo sobre la aplicación de primer plano.
Obtención de eventos de pantalla táctil cerca de la fuente de hardware
Para asegurar que los eventos de pantalla táctil se pudieran capturar antes de que las indicaciones de tiempo táctiles se distorsionen o se pierdan debido a la cadena de cálculos, registramos los eventos de pantalla táctil antes de que los toques se pasaran a las aplicaciones para su uso (la figura 3). Para profundizar en ello, los eventos táctiles se detectan habitualmente y entonces se usan para inferir un determinado gesto, y se desencadena un determinado cálculo correspondiente al gesto - por ejemplo, una representación gráfica para proporcionar una realimentación visual del golpecito de teclado.
Durante la representación o cualquier otro cálculo desencadenado por un evento, por ejemplo, evento n, la aplicación de primer plano puede no ser sensible a eventos táctiles o registrar siquiera un evento táctil posterior, por ejemplo, n + 1. En esencia, si las indicaciones de tiempo se extrajeran de más aguas arriba al nivel de la aplicación de primer plano, adolecería tanto de retardos como de faltas. Para ilustrar de forma sencilla la naturaleza de los retardos e inexactitudes, simulamos tres escenarios diferentes mientras un voluntario daba golpecitos en la pantalla táctil a aproximadamente 7 Hz para hacer funcionar una aplicación de primer plano de prueba. Registramos simultáneamente los eventos táctiles al nivel del 'Tocómetro' y al nivel de una aplicación de primer plano de prueba.
Los tres escenarios simulados por la aplicación de prueba fueron (i) cuando una aplicación simplemente registró los toques, (ii) cuando la aplicación realizó cálculos que duraran entre 1 ms y 1 s, desencadenados por un evento táctil y (iii) cuando la aplicación realizó tareas fijas que duraran 50 ms y 1 s, desencadenadas por un evento táctil. Medimos
los intervalos entre toques en estas condiciones diferentes y, en todas las condiciones, los toques se midieron de manera más fiable al nivel del 'Tocómetro' que al nivel de la aplicación de prueba (la figura 4).
Guardado de datos cuando la pantalla está apagada
Un problema importante con el registro de cada evento de pantalla táctil es que guardar los datos en el teléfono tras cada evento puede suponer una carga para las operaciones en curso del teléfono, haciendo que el desempeño sea más lento. Para sortear este problema, nuestro software almacena los eventos en una memoria caché y guarda los datos en un registro más permanente solo cuando la pantalla está apagada (la figura 5). En la forma actual, los datos se registran permanentemente en el teléfono, pero también se puede usar el mismo diseño de software en el teléfono junto con servidores de datos en donde los datos se actualizan intermitentemente con el registro reciente.
Reinicio automático
Una característica menor aseguró las continuidades del funcionamiento del software, que se reinicia automáticamente sin necesidad de interacción humana. Esta característica asegura que el software continúe registrando datos después de que el teléfono se haya apagado y reiniciado.
Demostración de características
Recopilamos datos de voluntarios por las siguientes razones, una, para validar la utilidad de los elementos de diseño y dos, para demostrar que el software puede funcionar para producir una visión de conjunto de comportamiento de alta resolución.
Impacto del método de guardado de datos
Los eventos táctiles se guardaron al final de cada sesión cuando se apagó la pantalla táctil para evitar la pérdida de memoria en ejecución asociada con la recopilación y escritura dinámicas de los eventos registrados (la figura 6). Nuestras mediciones demuestran claramente que el método de diseño es esencial de cara a no perturbar las operaciones previstas del teléfono.
Validación de la precisión temporal
Validamos las medidas usando toques artificiales generados en la pantalla táctil y registrando toques de pantalla táctil realizados por un voluntario junto con una cámara de vídeo de alta velocidad. En primer lugar, establecimos las distribuciones de error usando toques artificiales generados usando un dispositivo para dar golpecitos de solenoide controlado por ordenador en una pantalla táctil convencional (capacitiva, tasa de exploración de 111 Hz) (la figura 7). Los toques artificiales tuvieron una duración de 100 ms y los tiempos de comienzo a comienzo fueron de 150 ms, 300 ms y 600 ms. Las lecturas de 'Tocómetro' medias correspondientes se produjeron a los 147, 301 y 600 ms respectivamente, con unas desviaciones típicas de menos de 15 ms.
En registros separados para validar las mediciones de 'Tocómetro', registramos los toques realizados por un voluntario usando una cámara de vídeo de 1000 fps. Los datos de vídeo y de 'Tocómetro' coincidieron con una R2 de 0,9 (la figura 8). La varianza no explicada se debe en parte a la determinación manual de los eventos de contacto usando un análisis fotograma a fotograma.
Validación de la supervisión a largo plazo
Para demostrar que el software podía funcionar continuamente para recopilar datos a lo largo de períodos prolongados, recopilamos los eventos de pantalla táctil durante un período de un mes (la figura 9). El software almacenaba los datos localmente y, debido a nuestras técnicas de compresión, estos ocuparon solo una pequeña fracción del almacenamiento. Por ejemplo, para un usuario que generó 11.000 eventos de pantalla táctil por día, estimamos una ocupación de menos de 150 MB de espacio de almacenamiento local a usar por año.
Ejemplos de análisis
Para demostrar adicionalmente cómo se pueden usar los eventos de pantalla táctil en diversas formas de análisis, estimamos las medianas de intervalos en el uso durante la noche (la figura 10). En otro conjunto de análisis, estimamos el tiempo necesario para realizar una transición entre una aplicación social (tal como Twitter, Facebook, Gmail) y una aplicación no social (tal como AccuWeather, CNN o Búsqueda de Google, la figura 11).
Conclusión
Nuestro software proporcionó una visión de conjunto de comportamiento de alta resolución con una resolución temporal en un rango de milisegundos. Este se podría usar para inferir y estudiar una variedad de parámetros de comportamiento, desde la velocidad máxima del desempeño motor en la pantalla hasta los patrones circadianos
globales.
Lista de símbolos de referencia
Claims (13)
1. Método para supervisar eventos de pantalla táctil (3) de un dispositivo de mano (6), en donde
- se proporciona una aplicación de supervisión (1),
- al menos un evento de pantalla táctil (3) en una pantalla de visualización (61) de dicho dispositivo de mano (6) es detectado por medio de dicha aplicación de supervisión (1), en donde dicho al menos un evento de pantalla táctil (3) se dirige a una aplicación de primer plano (2), en donde la aplicación de primer plano (2) es una aplicación que está activa en el dispositivo de mano (6),
- unos datos de evento (4) se generan para dicho al menos un evento de pantalla táctil (3) por medio de dicha aplicación de supervisión (1), en donde dichos datos de evento (4) comprenden una indicación de tiempo (41) de dicho al menos un evento de pantalla táctil (3) y una identificación (42) de dicha solicitud de primer plano (2),
- dichos datos de evento (4) se almacenan por medio de dicha aplicación de supervisión (1),
caracterizado por que
- la posición de la aplicación de supervisión (1) en la arquitectura de los componentes de hardware y de software del dispositivo de mano (6) es aguas abajo de una cola de sistema operativo del dispositivo de mano (6) y aguas arriba de la aplicación de primer plano (2),
- en donde dicha aplicación de supervisión (1) comprende una ventana invisible (64) que comprende un área de ventana (A) en dicha pantalla de visualización (61) de dicho dispositivo de mano (6), en donde unos eventos de pantalla táctil (3) dentro y fuera de dicha área de ventana (A) se detectan por medio de dicha aplicación de supervisión (1), y en donde la ventana invisible (64) está diseñada de tal modo que esta permanece por encima de todas las otras vistas, no consume el al menos un evento de pantalla táctil (3) y es lo suficientemente pequeña como para que la ventana invisible (64) no obtenga un foco automático del sistema operativo,
- y en donde dicho al menos un evento de pantalla táctil (3) se detecta antes de la distribución de dicho al menos un evento de pantalla táctil (3) a dicha aplicación de primer plano (2), proporcionando de ese modo unos datos de indicación de tiempo (41) precisos y de alta resolución, en donde dicha indicación de tiempo (41) comprende una resolución temporal que es menor de 15 ms.
2. El método de acuerdo con la reivindicación 1, en donde dicha área de ventana (A) tiene un tamaño de 400 píxeles o menos, en particular 100 píxeles o menos.
3. El método de acuerdo con la reivindicación 1 o 2, en donde dicha indicación de tiempo (41) comprende una resolución temporal que es menor de 5 ms.
4. El método de acuerdo con una de las reivindicaciones anteriores, en donde dichos datos de evento (4) comprenden además coordenadas espaciales de dicho al menos un evento de pantalla táctil (3) en dicha pantalla de visualización (61) de dicho dispositivo de mano (6), un parámetro que indica si se visualiza un teclado numérico emergente en dicha pantalla de visualización (61) de dicho dispositivo de mano (6), y/o el número de píxeles activados por medio de dicho al menos un evento de pantalla táctil (3).
5. El método de acuerdo con una de las reivindicaciones anteriores, en donde al menos un evento de botón, en particular al menos un evento de botón de inicio o al menos un evento de conmutador de encendido - apagado, se detecta por medio de dicha al menos una aplicación de supervisión (1), y en donde unos datos de evento (4) que comprenden una indicación de tiempo (41) de dicho al menos un evento de botón se generan y se almacenan por medio de dicha aplicación de supervisión (1).
6. El método de acuerdo con una de las reivindicaciones anteriores, en donde dichos datos de evento (4) se almacenan en una memoria caché (5) de dicho dispositivo de mano (6).
7. El método de acuerdo con la reivindicación 6, en donde un evento de apagado de pantalla se detecta por medio de dicha aplicación de supervisión (1), y en donde dichos datos de evento (4) en dicha memoria caché (5) se almacenan en una memoria permanente a continuación de la detección de dicho evento de apagado de pantalla.
8. El método de acuerdo con una de las reivindicaciones anteriores, en donde se detecta un evento de reinicio de dicho dispositivo de mano (6), y en donde dicha aplicación de supervisión (1) se inicia automáticamente a continuación de dicho evento de reinicio.
9. El método de acuerdo con una de las reivindicaciones anteriores, en donde dicho método se usa para recopilar datos para analizar un comportamiento de al menos un sujeto.
10. El método de acuerdo con la reivindicación 9, en donde dicho comportamiento analizado comprende al menos una actividad rápida, en donde dicha actividad rápida tiene lugar en una escala de tiempo de menos de 1 s, particularmente menos de 100 ms.
11. El método de acuerdo con la reivindicación 9, en donde dicho comportamiento analizado comprende al menos una actividad lenta, en donde dicha actividad lenta tiene lugar en una escala de tiempo de más de 1 s, particularmente más de 1 h, más particularmente más de 1 día.
12. El método de acuerdo con la reivindicación 9, en donde dicho comportamiento analizado comprende al menos una actividad rápida y al menos una actividad lenta, en donde dicha actividad rápida tiene lugar en una escala de tiempo de menos de 1 s, particularmente menos de 100 ms, y en donde dicha actividad lenta tiene lugar en una escala de tiempo de más de 1 s, particularmente más de 1 h, más particularmente más de 1 día.
13. Programa informático para supervisar eventos de pantalla táctil (3), en donde dicho programa informático comprende código de programa, y en donde dicho código de programa solicita a un ordenador que ejecute el método de acuerdo con una de las reivindicaciones anteriores, si el programa informático está cargado, instalado o ejecutado en el ordenador.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16020263 | 2016-07-07 | ||
| PCT/EP2017/067109 WO2018007594A1 (en) | 2016-07-07 | 2017-07-07 | Method and computer program for monitoring touchscreen events of a handheld device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2874679T3 true ES2874679T3 (es) | 2021-11-05 |
Family
ID=56507379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17735168T Active ES2874679T3 (es) | 2016-07-07 | 2017-07-07 | Método y programa informático para supervisar eventos de pantalla táctil de un dispositivo de mano |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11409389B2 (es) |
| EP (1) | EP3482297B1 (es) |
| ES (1) | ES2874679T3 (es) |
| WO (1) | WO2018007594A1 (es) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11381786B2 (en) * | 2018-11-23 | 2022-07-05 | Curtis Ray Robinson, JR. | Systems and methods for capturing images and video |
| CN110333923B (zh) * | 2019-05-29 | 2023-06-06 | 努比亚技术有限公司 | 一种识屏实现方法、终端及计算机可读存储介质 |
| US11768700B2 (en) * | 2020-04-02 | 2023-09-26 | Citrix Systems, Inc. | Contextual application switch based on user behaviors |
| JP2022012905A (ja) * | 2020-07-02 | 2022-01-17 | キオクシア株式会社 | メモリシステム及び半導体装置の特性情報の管理方法 |
| CN112083996A (zh) * | 2020-09-16 | 2020-12-15 | 努比亚技术有限公司 | 屏幕控制方法、移动终端及计算机可读存储介质 |
| US11910043B2 (en) | 2022-03-18 | 2024-02-20 | Panasonic Avionics Corporation | Engagement measurement in in-flight entertainment systems |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7131070B1 (en) * | 1999-05-13 | 2006-10-31 | Ricoh Company, Ltd. | Application unit monitoring and reporting system and method |
| DE69635409T2 (de) * | 1995-03-06 | 2006-07-27 | Intel Corp., Santa Clara | Ein rechnersystem mit unbewachter auf-anfrage-verfügbarkeit |
| JP2000089913A (ja) * | 1998-09-08 | 2000-03-31 | Gunze Ltd | タッチパネル入力座標変換装置 |
| US20060122474A1 (en) * | 2000-06-16 | 2006-06-08 | Bodymedia, Inc. | Apparatus for monitoring health, wellness and fitness |
| JP4345334B2 (ja) * | 2003-03-28 | 2009-10-14 | 日本電気株式会社 | 耐障害計算機システム、プログラム並列実行方法およびプログラム |
| US20050183143A1 (en) * | 2004-02-13 | 2005-08-18 | Anderholm Eric J. | Methods and systems for monitoring user, application or device activity |
| US20110238496A1 (en) * | 2010-02-23 | 2011-09-29 | Vishal Gurbuxani | Systems and Methods for Generating Data from Mobile Applications and Dynamically Delivering Advertising Based on Generated Data |
| US20120221895A1 (en) * | 2011-02-26 | 2012-08-30 | Pulsar Informatics, Inc. | Systems and methods for competitive stimulus-response test scoring |
| WO2011137746A2 (zh) | 2011-05-05 | 2011-11-10 | 华为技术有限公司 | 用于触摸屏终端的用户行为跟踪方法、装置和系统 |
| US9507967B2 (en) * | 2012-02-15 | 2016-11-29 | Blackberry Limited | Thwarting attacks that involve analyzing hardware sensor output |
| US20140115506A1 (en) * | 2012-02-29 | 2014-04-24 | William Brandon George | Systems And Methods For Measurement Of User Interface Actions |
| US8972660B2 (en) * | 2012-06-11 | 2015-03-03 | Hitachi, Ltd. | Disk subsystem and data restoration method |
| US20140006616A1 (en) * | 2012-06-29 | 2014-01-02 | Nokia Corporation | Method and apparatus for categorizing application access requests on a device |
| US9717459B2 (en) * | 2013-03-04 | 2017-08-01 | Anne Bibiana Sereno | Touch sensitive system and method for cognitive and behavioral testing and evaluation |
| US9589120B2 (en) * | 2013-04-05 | 2017-03-07 | Microsoft Technology Licensing, Llc | Behavior based authentication for touch screen devices |
| US9942718B2 (en) * | 2013-07-03 | 2018-04-10 | Qualcomm Incorporated | Methods and apparatuses for use in providing location parameters to mobile applications |
| US10021169B2 (en) | 2013-09-20 | 2018-07-10 | Nuance Communications, Inc. | Mobile application daily user engagement scores and user profiles |
| US10084869B2 (en) | 2013-10-04 | 2018-09-25 | Verto Analytics Oy | Metering user behaviour and engagement with user interface in terminal devices |
| CN104239761B (zh) | 2014-09-15 | 2017-06-27 | 西安交通大学 | 基于触屏滑动行为特征的身份持续认证方法 |
| CN104360925B (zh) | 2014-11-21 | 2016-08-24 | 北京奇虎科技有限公司 | 统计应用程序使用频率的方法及装置 |
| US10235150B2 (en) * | 2014-12-04 | 2019-03-19 | Google Technology Holdings LLC | System and methods for touch pattern detection and user interface adaptation |
| US10509691B2 (en) * | 2017-10-26 | 2019-12-17 | Colossio, Inc. | Tracking the mental acuity of an electronic device user |
-
2017
- 2017-07-07 EP EP17735168.1A patent/EP3482297B1/en active Active
- 2017-07-07 WO PCT/EP2017/067109 patent/WO2018007594A1/en unknown
- 2017-07-07 ES ES17735168T patent/ES2874679T3/es active Active
- 2017-07-07 US US16/315,663 patent/US11409389B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11409389B2 (en) | 2022-08-09 |
| EP3482297A1 (en) | 2019-05-15 |
| US20190179482A1 (en) | 2019-06-13 |
| EP3482297B1 (en) | 2021-05-19 |
| WO2018007594A1 (en) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2874679T3 (es) | Método y programa informático para supervisar eventos de pantalla táctil de un dispositivo de mano | |
| JP6235681B2 (ja) | ユーザの意図および／または識別情報に基づくモバイルデバイス状態の調整のための方法、記憶媒体、及びシステム | |
| Okoshi et al. | Attelia: Reducing user's cognitive load due to interruptive notifications on smart phones | |
| US10551961B2 (en) | Touch gesture offset | |
| US9864425B2 (en) | Adjusting mobile device state based on user intentions and/or identity | |
| KR102396514B1 (ko) | 지문 정보 처리 방법 및 이를 지원하는 전자 장치 | |
| KR20180044129A (ko) | 전자 장치 및 전자 장치의 지문 정보 획득 방법 | |
| CN108829457A (zh) | 应用程序预测模型更新方法、装置、存储介质及终端 | |
| EP3488372B1 (en) | Method for protecting personal information and electronic device thereof | |
| KR102676115B1 (ko) | 위치 데이터를 제공하는 전자 장치 및 그 방법 | |
| US20130318628A1 (en) | Systems and Methods for Providing Access to Computer Programs Based on Physical Activity Level of a User | |
| KR102564468B1 (ko) | 경로 정보를 제공하기 위한 전자 장치 및 방법 | |
| Xu et al. | Ultra-Low-Power Mode for Screenless Mobile Interaction | |
| Scholbrock | User-Centric Computer System Analysis |