ES2634463T3 - Reconocimiento de contexto en dispositivos móviles - Google Patents

Reconocimiento de contexto en dispositivos móviles Download PDF

Info

Publication number
ES2634463T3
ES2634463T3 ES10777430.9T ES10777430T ES2634463T3 ES 2634463 T3 ES2634463 T3 ES 2634463T3 ES 10777430 T ES10777430 T ES 10777430T ES 2634463 T3 ES2634463 T3 ES 2634463T3
Authority
ES
Spain
Prior art keywords
mobile device
context
classifier
user
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10777430.9T
Other languages
English (en)
Inventor
Ville KÖNÖNEN
Jussi Liikka
Jani Mäntyjärvi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valtion Teknillinen Tutkimuskeskus
Original Assignee
Valtion Teknillinen Tutkimuskeskus
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valtion Teknillinen Tutkimuskeskus filed Critical Valtion Teknillinen Tutkimuskeskus
Application granted granted Critical
Publication of ES2634463T3 publication Critical patent/ES2634463T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

Un dispositivo (102) móvil que comprende: una lógica (230) de determinación de características para determinar una pluralidad de valores de características representativos sobre la base de los datos de detección indicativos del contexto del dispositivo móvil y/o el usuario del mismo, y una lógica (228) de reconocimiento de contexto que incluye un clasificador (234) lineal adaptativo, configurado para mapear, durante una acción de clasificación, la pluralidad de valores de características para una clase de contexto, en el que el clasificador está configurado además para adaptar (236) la lógica de clasificación de los mismos sobre la base de los valores de características y la información de retroalimentación por parte del usuario del dispositivo móvil, caracterizado por, en el caso de una retroalimentación positiva o negativa con respecto a la clasificación realizada, estando configurado el clasificador para adaptar la lógica de clasificación de los mismos, de tal manera que un vector de valor de características prototipo de la clase reconocida se pone más cerca o más lejos del vector de características determinado por la pluralidad de valores de características, respectivamente.

Description

5
10
15
20
25
30
35
40
45
50
55
DESCRIPCION
Reconocimiento de contexto en dispositivos moviles Campo de la invencion
En general, la invencion se refiere a los dispositivos moviles. En particular, la invencion se refiere a la conciencia del contexto y al reconocimiento del contexto en tales dispositivos.
Antecedentes
Tradicionalmente, los diferentes dispositivos electronicos tales como los ordenadores han sido completamente independientes del contexto, es decir, cada dispositivo se ha programado para actuar de una manera similar con independencia del contexto asociado con el dispositivo y/o el usuario del mismo. Mas recientemente, el concepto de conciencia de contexto ha ganado popularidad entre los desarrolladores de dispositivos y aplicaciones. Hoy en dfa muchos aparatos electronicos contienen sensores integrados que pueden configurarse para proporcionar datos en tiempo real sobre el entorno circundante. Basandose en los datos recogidos, es posible deducir, por ejemplo, el contexto actual, es decir, el estado del entorno ffsico, el estado del dispositivo y/o el estado fisiologico del usuario. Por consiguiente, la informacion de contexto puede utilizarse en la implementacion de aplicaciones, servicios y funcionalidades sensibles de conciencia de contexto, tales como las UI (interfaces de usuario) sensibles al contexto en los dispositivos.
La conciencia de contexto, en general, puede ser activa o pasiva, es decir, el dispositivo puede adaptar automaticamente sus funcionalidades actuales, tales como una aplicacion, sobre la base del contexto detectado, o puede simplemente representar los detalles observados del contexto actual para el usuario para su uso como trampolm para acciones de ajuste controladas por usuario posteriores, respectivamente. Sin embargo, la conciencia de contexto puede dividirse en una conciencia directa e indirecta, en la que la conciencia directa esta soportada por los dispositivos que pueden establecer el contexto actual sustancialmente independiente de otras partes, por ejemplo, a traves de sensores integrados, mientras que los dispositivos de conciencia de contexto indirecta se basan mas en la informacion de contexto determinada y proporcionada por entidades externas, tal como una infraestructura de red.
El nucleo de un sistema de reconocimiento de contexto es normalmente un algoritmo de clasificacion que mapea las observaciones actuales como proporcionadas por un numero de sensores a un contexto. La propia clasificacion es un area de investigacion bastante madura, con lo cual ya existe alguna literatura sobre la metodologfa de clasificacion, especialmente en el campo de la investigacion del reconocimiento de patrones. Tambien se han llevado a cabo investigaciones para el contexto movil y el reconocimiento de actividades en el pasado. Diversos estudios de clasificacion indican que las precisiones de reconocimiento total para datos de la vida real fuera del laboratorio vanan entre aproximadamente el 60-90 %. En la mayona de los estudios los clasificadores utilizados estan entre los estandares, para los que los requisitos computacionales para el entrenamiento y el reconocimiento son bastante altos. De hecho, la movilidad de los dispositivos suele presentar diversos desaffos para la aplicabilidad de algoritmos de reconocimiento de patrones. Por ejemplo, los recursos computacionales, de memoria asf como de suministro de energfa son a menudo bastante limitados en los dispositivos moviles tales como los terminales moviles o las PDA (asistente personal digital). Como alternativa, la conciencia de contexto esta en algunas soluciones moviles logradas, en lugar de utilizar un algoritmo de reconocimiento de contexto real, por un analisis considerablemente mas simple de los valores de deteccion disponibles, por ejemplo, a traves de una logica de comparacion basada en umbrales, pero la versatilidad, la resolucion y la exactitud alcanzables de reconocimiento/deteccion de contexto, son igualmente mas bajas.
La publicacion de solicitud de patente de Estados Unidos 2009/0099820 A1 desvela un evento de deteccion en las corrientes de senales de sensor de multiples canales, que se relaciona con el preambulo de la reivindicacion 1.
Por ejemplo, la publicacion US2002167488 desvela un dispositivo movil que incluye al menos un sensor, tal como un sensor de inclinacion implementado por un acelerometro, que proporciona una informacion contextual, por ejemplo, si el dispositivo movil esta detenido o no. Cuando el dispositivo movil recibe un mensaje entrante, o una notificacion, el dispositivo responde al mismo basandose, al menos en parte, en la informacion contextual.
Sumario de la invencion
El objetivo es aliviar al menos algunos de los defectos evidentes en las soluciones de la tecnica anterior y proporcionar una alternativa viable para el reconocimiento de contexto movil.
El objetivo se consigue mediante un dispositivo movil y un procedimiento de acuerdo con la presente invencion. La solucion ideada incorpora la utilizacion de un algoritmo de reconocimiento de contexto adaptado para el uso movil. Los contextos a detectar y reconocer pueden incluir diversos contextos de actividad de usuario y/o estado fisiologico tal como, por ejemplo, diferentes actividades deportivas. Adicionalmente o como alternativa, tambien otros contextos como el estado del entorno y/o del dispositivo pueden reconocerse por la solucion sugerida.
5
10
15
20
25
30
35
40
45
50
55
60
Por consiguiente, en un aspecto de la invencion, en el que un numero de entidades de deteccion se usan para obtener datos indicativos del contexto de un dispositivo movil y/o del usuario del mismo, el dispositivo movil comprende:
una logica de determinacion de caractensticas para determinar una pluralidad de valores de caractensticas representativos sobre la base de los datos, pudiendose separar las caractensticas preferentemente sustancialmente de manera lineal y
una logica de reconocimiento de contexto que incluye un clasificador lineal adaptativo, configurado para mapear, durante una accion de clasificacion, la pluralidad de los valores de caractensticas para una clase de contexto, en el que el clasificador esta configurado ademas para adaptar la logica de clasificacion de la misma sobre la base de los valores de caractensticas y la informacion de retroalimentacion del usuario del dispositivo movil.
Los elementos anteriores del dispositivo movil son sustancialmente funcionales y su implementacion tambien puede integrarse redprocamente, si se desea, en funcion de cada realizacion espedfica. Por ejemplo, en una realizacion, la logica de reconocimiento de contexto incluye la logica de determinacion de caractensticas. Las logicas anteriormente mencionadas pueden implementarse, al menos parcialmente, mediante software informatico ejecutado por una entidad de procesamiento.
El clasificador puede entrenarse inicialmente, por ejemplo, un aprendizaje supervisado sobre la base del valor de datos/caractensticas frente a la informacion de contexto indicada. Por ejemplo, tal informacion puede recogerse a partir de una pluralidad de usuarios diferentes y, por lo tanto, puede proporcionar un estado inicial no personalizado en general aplicable del clasificador, que puede de promedio funcionar razonablemente bien. Posteriormente, la adaptacion en lmea/en tiempo de ejecucion, tal como la personalizacion, puede tener lugar tras recibir una retroalimentacion directa o indirecta por el usuario(s) del dispositivo movil. En el caso de que solo haya un usuario cuya retroalimentacion se use para adaptar el clasificador, la adaptacion tambien es personalizacion. Un dispositivo movil puede comprender un clasificador con multiples configuraciones de logica de clasificacion, por ejemplo, una para cada usuario (perfil) del dispositivo.
En una realizacion, la informacion de retroalimentacion aplicada incluye retroalimentacion directa (~ orientacion) de datos, es decir, la entrada de usuario, lo que indica explfcitamente el contexto correcto para los datos y para los valores de caractensticas obtenidos de los mismos en vista de una determinada accion de clasificacion. El usuario puede, por lo tanto, a traves de la retroalimentacion directa, supervisar flexiblemente (por ejemplo, intermitentemente cuando esta dispuesto a ayudar y cultivar el clasificador) e inteligentemente el clasificador durante la ejecucion despues de su inicio real y entre las acciones de clasificacion automatizadas. Como el usuario indica directamente el contexto correcto, no es necesario ejecutar una ronda de clasificacion automatizada para las caractensticas correspondientes. En su lugar, el clasificador puede usar los datos y/o los valores de caractensticas correspondientes para adaptar el clasificador.
En una realizacion, o complementaria o alternativa, la retroalimentacion incluye una retroalimentacion mas indirecta obtenida despues de la accion de clasificacion por el clasificador, tal como la retroalimentacion positiva/negativa, la retroalimentacion +/-, o alguna otra indicacion dedicada de la calidad y la exactitud de la clasificacion realizada automaticamente y/o de la accion posterior basada en la clasificacion y tomada por el dispositivo movil. La UI, tal como dos claves o areas de la pantalla tactil, del dispositivo movil puede configurarse con el fin de capturar este tipo de retroalimentacion relacionada con el contexto del usuario. Por ejemplo, una clave que tiene un asterisco o algun otro sfmbolo, numero o letra impreso en la misma puede estar asociada con la retroalimentacion positiva (clasificacion automatica correcta) y alguna otra clave, por ejemplo, una marca hash, una clave con retroalimentacion negativa (clasificacion automatica incorrecta). El clasificador puede adaptarse de tal manera que se tenga en cuenta la naturaleza de la retroalimentacion.
Como alternativa o adicionalmente, la retroalimentacion indirecta puede incluir incluso la retroalimentacion mas indirecta de usuario, que se puede deducir a partir de las reacciones del usuario, por ejemplo, la actividad y/o la pasividad, con respecto al dispositivo movil. Por ejemplo, cuando el dispositivo movil usa el reconocimiento de contexto para activar la realizacion de una accion automatizada, tal como lanzar una aplicacion o cambiar un modo o por ejemplo una vista de pantalla, y el usuario, por ejemplo, dentro de un penodo de tiempo predeterminado a partir de la accion, descarta la accion, tal como cierra/altera la aplicacion lanzada, el modo o la vista, tal respuesta del usuario puede considerarse como una retroalimentacion indirecta negativa desde el punto de vista del evento de clasificacion de contexto, y el clasificador se adapta de manera correspondiente. Por otra parte, si el usuario es pasivo en relacion con la accion automatizada o, por ejemplo, comienza usando una aplicacion activada de contexto automaticamente, puede considerarse una respuesta de este tipo como una retroalimentacion positiva para la adaptacion del clasificador.
En una realizacion adicional, o complementaria o alternativa, durante la adaptacion y en el caso de una retroalimentacion explfcita directa, el vector ideal, que a menudo se llama como "prototipo" o "centroide", de una clase de la caractenstica (valor) obtenida, puede actualizarse usando, por ejemplo un promedio movil exponencial (EMA) o algun otro algoritmo de actualizacion. En el caso de la retroalimentacion positiva o negativa indirecta, el vector ideal puede aproximarse o alejarse del nuevo vector (valor) de caractenstica, respectivamente, la cantidad determinada sobre la base de una diferencia ponderada entre el nuevo vector de caractensticas y el viejo vector
5
10
15
20
25
30
35
40
45
50
55
ideal. Por ejemplo, la cuantificacion del vector de aprendizaje (LVQ) puede aplicarse para el fin que se describira con mas detalle mas adelante en el presente documento.
En una realizacion, o complementaria o alternativa, las caractensticas de reconocimiento contexto se seleccionan usando una seleccion secuencial hacia adelante (SFS) o un algoritmo de seleccion secuencial hacia adelante flotante (SFFS).
En vista de lo anterior, en una realizacion adicional alternativa o complementaria, el dispositivo movil puede estar configurado para usar el contexto detectado, es decir, el dispositivo soporta una conciencia de contexto activa y puede ajustar sus una o mas funcionalidades sobre la base del contexto. Por ejemplo, el dispositivo movil puede estar configurado para ejecutar, en respuesta al contexto, al menos una accion seleccionada del grupo que consiste en: adaptacion de la UI del dispositivo, adaptacion de una aplicacion, adaptacion de un menu, adaptacion de un servicio, adaptacion de un perfil, adaptacion de un modo, activacion de una aplicacion, cierre de una aplicacion, presentacion de una aplicacion, presentacion de una vista, minimizacion de una vista, bloqueo del teclado o al menos una o mas teclas u otros medios de entrada, establecer una conexion, terminar una conexion, transmitir datos, enviar un mensaje, activar la salida de audio tal como reproducir un sonido, activar la retroalimentacion tactil tal como una unidad de vibracion, activar la pantalla, introducir datos en una aplicacion y apagar el dispositivo. Como un ejemplo de un caso de uso mas concreto, tras reconocer cierto contexto de actividad, tal como el golf u otra actividad deportiva, el dispositivo movil podna activar una aplicacion relacionada con el contexto, por ejemplo, una calculadora de puntos, y/o terminar alguna funcionalidad no relacionada. Adicionalmente o como alternativa, el dispositivo puede soportar la conciencia de contexto pasiva, es decir, que reconoce el contexto, pero no se ajusta automaticamente al mismo. A continuacion, el usuario puede observar el contexto y ejecutar unas acciones asociadas.
En una realizacion, al menos una entidad de deteccion incluye un sensor que captura una cantidad ffsica, tal como la temperatura, la aceleracion, o la luz (intensidad), y la convierte en una senal electrica, preferentemente una senal digital. En otra realizacion, o complementaria o alternativa, al menos una entidad de deteccion incluye una logica de deteccion, por ejemplo, una "sonda de software" o un "sensor de software", configurado para proporcionar datos sobre el estado interno del dispositivo movil, tales como los contenidos de memoria y/o el estado de transferencia de aplicacion/datos. Tambien pueden usarse unas entidades de deteccion combinadas con elementos de software y hardware dedicados.
El dispositivo movil puede soportar una conciencia de contexto directa, es decir, puede ser autosuficiente lo que llega a las entidades de deteccion. Como alternativa o adicionalmente, el dispositivo movil puede soportar una conciencia de contexto indirecta, es decir, que recibe datos de deteccion desde entidades externas conectadas funcionalmente, tales como unos dispositivos sensores externos acoplados por cable o inalambricamente al dispositivo movil. La unidad basica de dispositivo movil y las entidades de deteccion conectadas pueden formar de este modo un dispositivo movil funcional agregado en el contexto de la presente invencion.
En una realizacion, o complementaria o alternativa, el clasificador comprende un clasificador de distancia minima.
En una realizacion, o complementaria o alternativa, los datos detectados indicativos del contexto en relacion con al menos un elemento de datos seleccionado del grupo que consiste en: temperatura, presion, aceleracion, medicion de luz, tiempo, frecuencia cardfaca, localizacion, perfil de usuario activo, datos de entrada de calendario, estado de batena y datos de microfono (sonido). Por ejemplo, si una entrada de calendario en el momento de determinar el contexto indica alguna actividad, tal como "futbol", puede explotarse en el procedimiento de reconocimiento, por ejemplo, para aumentar la probabilidad del contexto en el que cae la indicacion del calendario o como un valor de caractenstica.
En una realizacion, los valores de caractensticas de diferentes caractensticas forman un vector de muestra, en el que cada valor de caractensticas puede ser binario/booleano y/o de otro tipo, por ejemplo, un valor numerico con un intervalo mayor predeterminado.
En otro aspecto de la presente invencion, un procedimiento para reconocer un contexto por un dispositivo movil, comprende
obtener datos indicativos del contexto del dispositivo movil y/o del usuario del mismo,
determinar una pluralidad de valores de caractensticas sobre la base de y representar al menos parte de los datos, clasificar, mediante un clasificador lineal adaptativo, la pluralidad de valores de caractensticas para una clase de contexto, y
adaptar la logica de clasificacion del clasificador sobre la base de los valores de caractensticas y la informacion de retroalimentacion por parte del usuario.
Las consideraciones presentadas anteriormente en relacion con las diversas realizaciones del dispositivo movil pueden aplicarse al procedimiento haciendo los cambios necesarios.
La utilidad de la presente invencion sigue a partir de una pluralidad de cuestiones en funcion de cada realizacion espedfica. El clasificador preferentemente adaptable es computacionalmente ligero y consume menos memoria que la mayona de los otros algoritmos, que ahorra la batena del dispositivo movil y deja la potencia de procesamiento
5
10
15
20
25
30
35
40
45
50
55
para ejecutar otras tareas simultaneas. La adaptabilidad conduce a precisiones de clasificacion considerablemente mas altas que las obtenidas con los algoritmos fuera de lmea estaticos. La solucion soporta inherentemente el aprendizaje continuo, ya que es posible supervisar el clasificador sin entrar en una fase de entrenamiento especial, etc. El entrenamiento no requiere sustancialmente un espacio de memoria adicional. La seleccion preferida de las caractensticas separables sustancialmente de manera lineal aumenta adicionalmente el rendimiento del clasificador lineal.
La expresion "un numero de" se refiere en el presente documento a cualquier entero positivo que empieza a partir de uno (1), por ejemplo, uno, dos, o tres.
La expresion "una pluralidad de" se refiere en el presente documento a cualquier entero positivo que empieza a partir de dos (2), por ejemplo, dos, tres, o cuatro.
Las diferentes realizaciones de la presente invencion se desvelan en las reivindicaciones dependientes.
Breve descripcion de los dibujos relacionados
A continuacion se describe la invencion con mas detalle haciendo referencia a los dibujos adjuntos en los que la figura 1 ilustra el concepto de una realizacion de la presente invencion.
La figura 2 ilustra los elementos internos de una realizacion de un dispositivo movil de acuerdo con la presente invencion.
La figura 3a representa el efecto del numero de caractensticas en la precision de reconocimiento de contexto en conexion con una realizacion de la presente invencion.
La figura 3b representa el efecto de la adaptacion en la precision de reconocimiento de contexto en conexion con una realizacion de la presente invencion.
La figura 3c representa la duracion de la batena en vista de una plataforma de telefoma movil y diferentes algoritmos de clasificacion.
La figura 3d representa correspondientemente la carga de CPU media con diferentes clasificadores.
La figura 4 es un diagrama de flujo que desvela una realizacion de un procedimiento de acuerdo con la presente invencion.
Descripcion detallada de las realizaciones
La figura 1 ilustra el concepto general de la presente invencion de acuerdo con una realizacion de la misma. Puede configurarse un dispositivo 102 movil, tal como un telefono movil, una PDA (asistente digital personal), un telefono inteligente, un reloj de muneca o un ordenador de muneca, una calculadora, un reproductor de musica o un visor multimedia con el fin de ser capaz de detectar el contexto del dispositivo 102 y/o del usuario del mismo y opcionalmente controlar sus funcionalidades en consecuencia. Por ejemplo, el dispositivo 102 puede configurarse para reconocer y hacer una distincion entre una actividad 110 en marcha, una actividad 112 sentada o en posicion de reposo (o por lo tanto “pasividad”), una actividad ciclista 114, una actividad de futbol 118 y/u otras actividades ffsicas y/o deportivas, asf como, por ejemplo, una intensidad 122 de luz, una temperatura 124, un contexto 120 tiempo/temporal y/o un evento 116 de calendario.
El dispositivo 102 movil puede incluir integradas y/o al menos funcionalmente, las entidades de deteccion conectadas, es decir, de manera inalambrica o de una manera cableada, tales como diversos sensores que proporcionan la medicion necesaria, o los datos "en bruto", para caracterizar la determinacion de caractensticas y la clasificacion de contexto. Las entidades de deteccion pueden contener hardware espedfico, tal como sensores que detectan alguna cantidad ffsica, y/o software espedfico para adquirir los datos de deteccion predeterminados. Algunas entidades de deteccion pueden estar sustancialmente basadas en software, tales como las entidades que adquieren datos relacionados con los datos almacenados en el dispositivo, tales como los datos de calendario o los datos de estado (sw) de dispositivo.
Las entidades de deteccion pueden incluir uno o mas sensores, tales como acelerometros, sensores de temperatura, sensores de localizacion tal como un receptor de GPS (sistema de posicionamiento global), sensores de frecuencia de pulso/cardiaca, y/o fotometros.
Preferentemente, el dispositivo 102 movil incluye toda la logica necesaria para realizar la clasificacion, o al menos puede realizarlo co-operativamente con una o mas entidades de deteccion externas funcionalmente conectadas. Como alternativa, al menos parte de la clasificacion puede ejecutarse en una entidad externa, tal como un servidor 104 accesible a traves de una o mas redes 106 inalambricas, en cuyo caso el dispositivo 102 movil no es autosuficiente en cuanto al procedimiento de clasificacion, pero en su lugar se pueden ahorrar recursos computacionales, de memoria y de batena.
En algunos escenarios de uso sustancialmente de datos relacionados con el usuario tales como los datos fisiologicos adquiridos a traves de, por ejemplo, la deteccion del estado del usuario a traves de un monitor de frecuencia cardiaca pueden recogerse para la determinacion (valor) de caractensticas. En otros escenarios pueden recogerse datos relacionados con dispositivos tales como informacion de estado de dispositivo y/o informacion de
5
10
15
20
25
30
35
40
45
50
55
60
contenido de memoria. En otros escenarios pueden recogerse datos ambientales tales como la informacion de temperatura o de ligereza. Tambien pueden utilizarse diferentes tipos de datos de origen en el mismo procedimiento de reconocimiento de contexto. En general, los datos a recoger para fines de clasificacion de contexto pueden determinarse de este modo con flexibilidad para cada caso de uso por un experto en la materia, en funcion de las funcionalidades de deteccion disponibles y de la naturaleza de los contextos de acuerdo con las ensenanzas proporcionadas en el presente documento.
Los datos en bruto pueden muestrearse a una tasa de muestreo predeterminada usando, por ejemplo, una ventana de muestreo predeterminada. Los datos en bruto pueden transformarse en valores de caractensticas de nivel superior correspondientes usados en el reconocimiento de contexto, que pueden referirse al dominio de tiempo, al dominio de frecuencia y/o a algunas otras caractensticas de dominio. Los valores de caractensticas pueden interpolarse para que coincidan con una resolucion deseada, por ejemplo, una resolucion temporal. Algunos datos disponibles en el dispositivo 102 movil pueden aplicarse directamente en el procedimiento de reconocimiento de contexto como una o mas caractensticas, es decir, no es necesaria una determinacion separada de caractensticas de nivel superior (por ejemplo, promediando los valores de datos en bruto temporales).
La figura 2 ilustra las partes internas 202 de una realizacion del dispositivo 102 movil de acuerdo con la presente invencion al menos desde un punto de vista funcional. El dispositivo 102 movil esta provisto normalmente de uno o mas dispositivos de procesamiento capaces de procesar instrucciones y otros datos, tales como uno o mas microprocesadores, microcontroladores, DSP (procesadores de senal digital), chips logicos programables, etc. Por lo tanto, la entidad 220 de procesamiento puede, como una entidad funcional, comprender ffsicamente, por ejemplo una pluralidad de procesadores que funcionan conjuntamente unos con otros y/o un numero de sub-procesadores conectados a una unidad central de procesamiento. La entidad 220 de procesamiento puede estar configurada para ejecutar el codigo almacenado en una memoria 226, que puede referirse a instrucciones y datos relativos a la logica de reconocimiento de contexto, tales como un software 228 de clasificacion de contexto para proporcionar al usuario del dispositivo 102 y/o a las otras entidades internas en el dispositivo 102 con clasificaciones de contexto actuales. El software 228 puede utilizar un procesador dedicado o compartido para ejecutar las tareas del mismo. De manera similar, la entidad 226 de memoria puede dividirse entre uno o mas chips de memoria ffsica u otros elementos de memoria. La memoria 226 puede referirse ademas a e incluir otros medios de almacenamiento tales como una tarjeta de memoria preferentemente desmontable, un disquete, un CD-ROM o un medio de almacenamiento fijo tal como un disco duro. La memoria 226 puede ser no volatil, por ejemplo ROM (memoria de solo lectura), y/o volatil, por ejemplo RAM (memoria de acceso aleatorio), por naturaleza. Las entidades 230 de deteccion pueden incluir sensores y/o elementos de software dedicados para obtener los datos de origen para la determinacion de contexto. Los datos de origen pueden convertirse desde la forma "en bruto" en caractensticas (valores) de nivel superior usadas en la logica de reconocimiento de contexto, en particular el clasificador, y/o puede ser directamente factible tal como se ha deliberado anteriormente en el presente documento.
La UI (interfaz de usuario) 222 puede comprender una pantalla, y/o un conector a una pantalla externa o proyector de datos, y un teclado/teclado numerico u otros medios de entrada de control aplicable (por ejemplo, una pantalla tactil o una entrada de control de voz, o teclas/botones/manijas/conmutadores separados) configurados para proporcionar al usuario del dispositivo 102 medios de visualizacion de datos practicables y medios de control del dispositivo. La UI 222 puede incluir uno o mas altavoces y circuitos asociados tales como convertidores de D/A (digital a analogico) para la salida de sonido y un microfono con un convertidor de A/D para la entrada de sonido. Ademas, el dispositivo 102 puede comprender un transceptor que incorpore, por ejemplo, una parte 224 de radio que incluye un transceptor inalambrico, tal como un transceptor WLAN o GSM/UMTS, para comunicaciones generales con otros dispositivos y/o una infraestructura de red y/u otros medios de conectividad de datos inalambricos o cableados tales como una o mas interfaces cableadas (por ejemplo, Firewire o USB (bus serie universal)) para la comunicacion con otros dispositivos tales como dispositivos de terminales, dispositivos perifericos, tales como sensores externos o infraestructuras de red. Para un experto en la materia es evidente que el dispositivo 102 puede comprender numerosos elementos funcionales y/o estructurales adicionales para proporcionar comunicaciones, procesamientos u otras caractensticas beneficiosas, con lo que esta divulgacion no debe interpretarse como limitativa de la presencia de los elementos adicionales de ninguna manera.
El elemento 228 representa solamente un ejemplo funcional de la logica de reconocimiento de contexto 228 normalmente implementa como software almacenado en la memoria 226 y ejecutado por la entidad 220 de procesamiento. La logica tiene un modulo 238 de E/S para la interaccion con otras partes del dispositivo 102 anfitrion que incluye la entrada de datos (medicion de datos en bruto, retroalimentacion, etc.) y la salida (clasificaciones, etc.). Una logica 232 de control general puede ocuparse de la coordinacion de diversas tareas realizadas por la logica 228. El bloque 230 de determinacion de caractensticas puede determinar, o "extraer", los valores de caractensticas de los datos suministrados para su uso con el clasificador 234 que a continuacion mapea los valores de caractensticas (por ejemplo, un vector de caractensticas n-dimensional que comprende una pluralidad de valores de caractensticas) a un contexto. Opcionalmente, el bloque 230 de determinacion de caractensticas, o alguna otra entidad preferida, tambien puede usarse para la seleccion de caractensticas reales, por ejemplo, a traves de la utilizacion de un algoritmo de seleccion de caractensticas deseado. El bloque 236 de adaptacion se encarga de adaptar la logica de clasificacion del clasificador 234 sobre la base de la retroalimentacion obtenida de los valores de caractensticas.
5
10
15
20
25
30
35
40
45
50
Considerando lo siguiente, especialmente un clasificador de distancia minima como un punto potencial de partida para la clasificacion, un modo bastante sencillo de realizar la clasificacion de las muestras, en el que cada muestra comprende un numero de valores de caractensticas, es calcular una distancia a partir de una muestra de los elementos ideales que representan las clases de la mejor manera posible y a continuacion seleccionar la clase a la que la distancia es la mas pequena. Si las muestras se representan en un espacio vectorial N-dimensional, entonces habra N-1 hiperplanos dimensionales separando cada clase. En tal caso, sena natural usar, por ejemplo, un valor medio como el elemento ideal de cada clase.
Mas rigurosamente, todo el procedimiento de clasificacion puede expresarse de la siguiente manera: considerar una tarea de clasificacion en la que tenemos que asociar una muestra s N-dimensional a una de las clases C. Para cada
xl i = 1 Ii
clase j = 1,..., C, tenemos I1 muestras de entrenamiento i >•••>• Ademas, d representa el vector ideal
(puede llamarse "centroide" o "prototipo"), para la clase j, es decir:
imagen1
Ahora, la clasificacion para la clase j* puede realizarse de la siguiente manera:
j* = arg minj=1 ||s — c;||, (2)
en la que || || es una norma seleccionada, tal como la norma euclidiana, para determinar el vector ideal mas cercano y por lo tanto la clase representada por el mismo.
El clasificador lineal anteriormente descrito tiene ciertas ventajas. Tiene pequenos requisitos computacionales y de espacio. Es facil de implementar en diversas plataformas moviles y la ensenanza del clasificador es muy eficiente. Ademas, el clasificador puede mejorarse como se describe a continuacion.
Aunque en circunstancias practicas los datos son rara vez completamente separables de manera lineal, seleccionando un conjunto adecuado de caractensticas, es decir, las caractensticas que maximizan la separabilidad lineal de las clases, es posible lograr una buena precision de la clasificacion tambien con clasificadores lineales.
Un clasificador lineal adaptativo se construye preferentemente para mejorar el rendimiento del clasificador. Como es obvio sobre la base de lo anterior, un clasificador es un mapeo desde un espacio de caractensticas a un espacio de clase. Una fase computacionalmente exigente se refiere a la fijacion de los parametros internos del clasificador y esta fase tambien requiere una gran cantidad de datos. Por lo tanto, por lo general no es posible fijar los parametros en lmea, o en "tiempo real", la moda en los dispositivos moviles. Sin embargo, puede establecerse y configurarse un algoritmo de clasificacion computacionalmente de peso ligero con el fin de soportar el aprendizaje en lmea.
Por consiguiente, cada vez que se aplica el clasificador para determinar el contexto, se obtiene y se explota un nuevo vector de valor de caractensticas en la adaptacion del clasificador. La forma en que esto puede lograrse depende, por ejemplo, de que tipo de retroalimentacion se recibe del usuario del dispositivo. Si se obtiene informacion de contexto directa del usuario, por ejemplo, a traves de la UI del dispositivo, por ejemplo, la seleccion del contexto de una lista de opciones o escribiendo en el contexto, en relacion con los datos obtenidos (datos de medicion en bruto y valores de caractensticas obtenidos), actualizar el clasificador es mas sencillo.
Si inuevo es la clase (el contexto indicado por el usuario del dispositivo) de un nuevo vector (valor) de caractensticas xnuevo. Entonces la media correspondiente puede actualizarse, por ejemplo, de la siguiente manera:
clituevo — (1 _ a)c^™el'°+ ffl„„ev0, (3)
nuevo v J vtejo nuevo * \ /
Donde a es preferentemente un parametro de tasa de aprendizaje suficientemente pequeno. Esta es una version aproximada de un algoritmo recursivo para calcular la media aritmetica, la llamada media movil exponencial (EMA). Tengase en cuenta tambien que la informacion de clase del usuario no es necesaria todo el tiempo, es decir, durante cada accion (ronda) de clasificacion de contexto; la actualizacion puede hacerse cuando la nueva informacion de retroalimentacion esta disponible.
El esquema de actualizacion anterior puede aplicarse cuando un usuario proporciona una retroalimentacion directa, es decir, indica directamente el contexto asociado con el vector de caractensticas y los datos detras del vector de caractensticas. En muchos casos, sin embargo, esto podna ser una tarea notoria para el usuario.
Otra posibilidad, o complementaria o alternativa, es recoger solo la senal de retroalimentacion indirecta por parte del usuario, es decir, el usuario solo proporciona una retroalimentacion al clasificador de lo bien que se esta realizando. A continuacion, la actualizacion puede realizarse de acuerdo con las instrucciones implfcitas o indirectas de retroalimentacion o de clasificacion. Si i* es una estimacion para el contexto. Si el usuario proporciona una senal de retroalimentacion y es positiva, el vector ideal para la clase puede modificarse, por ejemplo, de la siguiente manera:
5
10
15
20
25
30
35
40
45
50
55
imagen2
donde Xnuevo es un nuevo vector (valor) de caractensticas. En otras palabras, el vector ideal se aproxima al nuevo vector (valor) de caractensticas la cantidad determinada sobre la base de una diferencia ponderada entre el nuevo vector de caractensticas y el viejo vector ideal. De manera correspondiente, si el usuario proporciona una retroalimentacion negativa, puede hacerse la actualizacion, por ejemplo, de la manera siguiente:
^ nuevo C viejo V nuevo ^viejo )■
(5)
En otras palabras, el vector ideal de la clase se separa del vector de caractensticas una cantidad determinada sobre la base de una diferencia ponderada entre el nuevo vector de caractensticas y el viejo vector ideal. En las ecuaciones anteriores, p y y son preferentemente tasas de aprendizaje suficientemente pequenas, siendo o iguales o desiguales (y de manera similar o iguales o desiguales a a), para retroalimentaciones positivas y negativas, respectivamente. Estas dos ecuaciones son un caso especial del algoritmo de cuantificacion vectorial de aprendizaje (LVQ).
Volviendo a la esfera de los procedimientos de seleccion de caractensticas, es posible inicialmente la construccion de un vasto numero de diferentes caractensticas de los datos en bruto. Sin embargo, es tanto computacionalmente como en cuanto a la memoria inteligente usar tan pocas caractensticas como sea posible en la clasificacion real. Determinar las caractensticas y los valores de caractensticas relacionados a partir de senales en bruto suele requerir mucho calculo e incluso es posible obtener resultados sub-optimos si se usan demasiadas caractensticas. Preferentemente, se seleccionan caractensticas separables sustancialmente de manera lineal (por ejemplo, casi o maximo) para el clasificador lineal.
La seleccion secuencial hacia delante (SFS) es un procedimiento usado para seleccionar caractensticas en muchos dominios de aplicacion. El SFS puede aplicarse tambien en el contexto de la presente invencion. La idea clave en el algoritmo de SFS es anadir una caractenstica que aumenta mas la precision de la clasificacion para el conjunto de caractensticas actuales en cada etapa de tiempo. En las otras palabras, el algoritmo de SFS realiza una optimizacion exhaustiva en el espacio de caractensticas. Otro procedimiento a modo de ejemplo se denomina como la seleccion secuencial hacia atras (SBS) que se inicia con el conjunto completo de caractensticas y gradualmente elimina las caractensticas del conjunto. Como ejemplo adicional, en la seleccion secuencial hacia delante flotante (SFFS) el procedimiento incluye dos partes; se anade una nueva caractenstica al subconjunto mediante el procedimiento de SFS. A continuacion, se excluye condicionalmente la peor caractenstica hasta que no se realice ninguna mejora en los conjuntos anteriores. Este procedimiento evita el efecto de anidamiento del SFS, en el que las caractensticas desechadas no pueden seleccionarse mas. La inclusion y la exclusion de una caractenstica se deducen usando un valor de criterio. Puede ser, por ejemplo, una medida de distancia o un resultado de clasificacion. Para explicar el algoritmo mas a fondo, una nueva caractenstica, la que da el mejor criterio con las caractensticas seleccionadas anteriormente, se anade al subconjunto de caractensticas (el procedimiento de SFS). Una exclusion condicional se aplica al nuevo conjunto de caractensticas, a partir del cual se determina la caractenstica menos significativa. Si la caractenstica menos significativa es la ultima agregada, el algoritmo vuelve a seleccionar una nueva caractenstica mediante el SFS. De lo contrario, la caractenstica menos significativa se excluye y se traslada de nuevo al conjunto de caractensticas disponibles y se continua la exclusion condicional. Una vez mas, se determina la caractenstica menos significativa y el criterio sin esta caractenstica se compara con el criterio con el mismo numero de caractensticas en la memoria. Si se mejora el criterio, la caractenstica se excluye y se traslada de nuevo al conjunto de las caractensticas disponibles y esta etapa se repite hasta que no se realice ninguna mejora adicional. El ciclo comienza de nuevo sumando una nueva caractenstica hasta que se alcanza el tamano de subconjunto definido anteriormente.
Un ejemplo practico de la aplicabilidad de la presente invencion se describe a continuacion haciendo referencia a una configuracion de prueba.
Se utilizo un conjunto de datos que comprende una informacion de contexto realista recogido que usa diversos sensores, tales como acelerometros y sensores fisiologicos. Los datos fueron recogidos en diversas actividades deportivas como correr y caminar. Ademas de estas actividades simples, tambien se registraron una serie de actividades combinadas, tales como ir de compras, comer en el restaurante, jugar al futbol de manera simplificada (pasando una pelota entre dos personas), etc. En el estudio, la atencion se centro en las actividades simples y en el futbol. Las senales de aceleracion de la muneca y de la cadera y la senal del ritmo cardfaco fueron usadas como datos de entrada. Los valores de caractensticas se calcularon visualizando la senal en bruto correspondiente con diferentes longitudes de ventana (por ejemplo, 10 segundos), incluyendo tanto el dominio de tiempo (por ejemplo, los valores maximo y mmimo) como las caractensticas de dominio de frecuencia (por ejemplo, la entropfa del espectro de potencia). Los valores de caractensticas fueron interpolados de tal manera que el tiempo de resolucion fue de un segundo.
Como habfa dos acelerometros 3D para la adquisicion de datos, resulto en el conjunto de caractensticas inicial
mostrado en la Tabla 1 a continuacion.
TABLA 1:
POOL INICIAL DE CARACTERISTICAS
CARACTERiSTICAS
EXPLICACION / VALOR
Aceleracion max.
Valor max. de la senal de aceleracion
Aceleracion min
Aceleracion media
Aceleracion MmMax
Diferencia entre max. y mm.
Varianza
Varianza de la senal de aceleracion
Entropfa de espectro de potencia
Entropfa de la estimacion del espectro de potencia normalizado
Frecuencia pico
Frecuencia del pico mas alto del espectro
Potencia pico
Altura del pico mas alto
Frecuencia cardfaca
Valor de la frecuencia cardfaca media
En la figura 3a, las precisiones de clasificacion se representan frente a una serie de caractensticas usadas para el 5 reconocimiento de contexto. Las caractensticas fueron seleccionadas mediante el procedimiento de SFS. De esta figura puede observarse que se consigue ya una relativamente alta precision con aproximadamente cinco caractensticas en el caso visualizado del clasificador de distancia minima. Sin embargo, conseguir la maxima precision necesita tantas como aproximadamente 10 u 11 caractensticas. Observese que la curva de la figura 3a es dependiente del procedimiento de seleccion de caractensticas usado, SFS en este caso, y por lo tanto no es posible 10 simplemente generalizar los resultados a otras tecnicas de seleccion de caractensticas. En estas pruebas se usaron finalmente 10 caractensticas.
La caractenstica establecida con 10 caractensticas descubierta por los procedimientos de SFS y SFFS para un clasificador de distancia minima se lista en la Tabla 2.
TABLA 2: CONJUNTOS DE CARACTERfSTICAS SELECCIONADAS
SFS
SFFS
Aceleracion de cadera, Dimension X, MmMax
Aceleracion de cadera, Dimension X, Varianza
Aceleracion de cadera, Dimension Y, Maximo
Aceleracion de cadera, Dimension Y, Maxima
Aceleracion de cadera, Dimension Y, Mmimo
Aceleracion de cadera, Dimension Y, Minima
Aceleracion de cadera, Dimension Y, MmMax
Aceleracion de cadera, Dimension Y, MmMax
Aceleracion de cadera, Dimension Y, Media
Aceleracion de cadera, Dimension Y, Media
Aceleracion de cadera, Dimension Y, Varianza
Aceleracion de cadera, Dimension Y, Varianza
Aceleracion de cadera, dimension Z, Media
Aceleracion de cadera, Dimension Y, Frecuencia pico
Aceleracion de cadera, dimension Z, Varianza
Aceleracion de cadera, dimension Z, Varianza
Aceleracion de muneca, Dimension Y, Varianza
Aceleracion de muneca, Dimension X, Frecuencia pico
Aceleracion de muneca, Dimension X, Media
Aceleracion de muneca, , Dimension Y, Frecuencia pico
15
En el caso del clasificador de distancia minima, se descubrio que una de las dimensiones (la dimension Y) es dominante; todas las caractensticas de dominio de tiempo calculadas a partir de este componente estan presentes en ambos conjuntos de caractensticas. En el estado de reposo, es decir, cuando un sujeto de prueba se detiene, esta dimension Y se alinea con la direccion de la gravedad. Ademas ambos procedimientos de seleccion de 20 caractensticas automaticas terminaron con el conjunto de caractensticas que se consiguio casi por completo de un
unico sensor de aceleracion. Esto dio evidencia de la posibilidad de implementar el clasificador en un dispositivo
5
10
15
20
25
30
35
40
45
50
55
60
movil con solo un sensor de aceleracion (acelerometro) potencialmente incorporado, y obtener unas precisiones de reconocimiento de contexto razonablemente altas con un simple sistema de reconocimiento de contexto en lo que a hardware se refiere. El sistema permite un reconocimiento especialmente fiable entre las actividades que se desvfan claramente tales como sentarse y correr.
En la mayona de las pruebas se han usado las nueve actividades siguientes: montar en bicicleta al aire libre, jugar al futbol, acostarse, caminata nordica, remo con la maquina de remo, correr, sentarse, pararse y caminar.
El procedimiento de seleccion de caractensticas SFS con el clasificador de distancia minima consigue un 73 % de precision de clasificacion total y el SFFS condujo a resultados similares, un 72 %. Ambos procedimientos de seleccion de caractensticas condujeron a resultados sustancialmente similares, por lo que las actividades se pueden clasificar facilmente unas como detectables y unas como mas diffciles. La diferencia en la precision total de clasificacion entre los procedimientos SFS y SFFS fue muy pequena, pero hay de hecho una variacion en la precision del reconocimiento de las actividades individuales. La actividad combinada de futbol se detecto mejor con caractensticas SFFS que con caractensticas de SFS en el caso de un clasificador de distancia minima. El remo fue confundido con sentarse en algunos casos de prueba. La razon es que un sujeto de prueba esta en realidad sentado en el banco de la maquina de remo y si el movimiento se realiza con muy baja intensidad puede clasificarse mal facilmente como estar sentado de manera normal. Tambien montar en bicicleta puede confundirse con la marcha. Estos dos movimientos son claramente movimientos periodicos con un penodo de tiempo de longitud muy corto. La principal diferencia entre ellos es la intensidad del movimiento. Al caminar, la energfa total de la senal de aceleracion es en general mucho mayor que en el ciclismo. Sin embargo, algunas personas tienden a caminar con un estilo bastante suave que produce una senal con una pequena energfa que conduce a errores de clasificacion.
En general, la fase de ensenanza (~ aprendizaje supervisado) de un clasificador requiere una gran cantidad de recursos de computacion y por lo general tambien de memoria. Por lo tanto, es un reto implementar los sistemas de reconocimiento de contexto personalizados capaces de adaptarse al comportamiento de cada usuario de manera automatica. En lo sucesivo en el presente documento, se presentan resultados de pruebas basados en el esquema de actualizacion explicado anteriormente. Como resultado del procedimiento de adaptacion, el clasificador se personaliza en vista de la persona que proporciona las retroalimentaciones. Inicialmente, el clasificador puede por lo tanto ajustarse, por ejemplo, sobre la base de un mayor grupo de usuarios (por ejemplo, un grupo de prueba de los usuarios utilizados por el fabricante del dispositivo/clasificador) y despues adaptarle a cada usuario durante el uso del mismo.
Durante las pruebas, se emularon los procedimientos de reconocimiento de contexto usando el conjunto de datos disponibles y configuraciones de prueba aleatorias. En cada ronda, se eligio una actividad aleatoria. A continuacion, se aislo una ventana de tiempo de longitud fija y aleatoria de la actividad elegida (de aproximadamente 5 a aproximadamente 100 segundos). Se uso el valor medio calculado a partir de la ventana en el clasificador lineal. Ya que las cortas ventanas de tiempo de la misma actividad pueden diferir considerablemente, el procedimiento se repitio multiples veces, por ejemplo, aproximadamente 100000 veces para garantizar una cobertura adecuada de las diferentes propiedades de la actividad. Como se ha tratado en el presente documento anteriormente, no es necesario obtener una retroalimentacion del usuario de un dispositivo despues de cada actividad de reconocimiento de contexto. El comportamiento del usuario se simulo proporcionando una senal de retroalimentacion con una probabilidad. Ademas, se supone que el usuario conoce el contexto correcto del dispositivo.
El efecto de la adaptacion en la precision del reconocimiento de contexto obtenido se muestra en la figura 3b. El parametro de tasa de aprendizaje y la probabilidad de retroalimentacion se fijaron a 0,1. La longitud de la ventana usada fue de 5 segundos. En promedio, con la tasa de aprendizaje de 0,1, se necesitaron unas 10-20 retroalimentaciones para adaptar el clasificador a un usuario. La adaptacion basada en la informacion de retroalimentacion personal del usuario del dispositivo aumenta, por lo tanto, la precision de la clasificacion general normalmente varias unidades porcentuales, por ejemplo, aproximadamente unas 5-10 unidades porcentuales de promedio, en contraste con los clasificadores no personalizados no adaptados (por ejemplo, un clasificador entrenado con datos mas genericos de entrenamiento de una pluralidad de usuarios).
Unas ventanas mas largas pueden conducir a mejores precisiones de reconocimiento de contexto (y al aumento de la computacion). Esto es natural debido a que la incertidumbre provocada por los valores de datos individuales disminuye con una ventana de muestra alargada. El aumento de los parametros de tasa de aprendizaje aumenta tambien la precision de la clasificacion siempre que la tasa de aprendizaje no sea demasiado alta. En el caso de un parametro de tasa de aprendizaje demasiado alta, el clasificador es demasiado sensible para las muestras individuales y la precision de la clasificacion total disminuye. Los parametros de tasa de aprendizaje menor que aproximadamente 0,1 son adecuados para la tarea de personalizacion.
Uno de los objetivos de la clasificacion es, en conexion con la presente invencion, lograr una precision de reconocimiento de contexto alta con los datos disponibles que representan y caracterizan los contextos donde se usa el dispositivo movil. En particular, con los dispositivos moviles, la restriccion limitante para el reconocimiento es la falta de recursos, es decir, de calculo, espacio de memoria (e incluso de sensor), y los recursos de potencia. El clasificador lineal adaptativo sugerido tiene bajos requerimientos de recursos. No solo el procedimiento de clasificacion en sf afecta a la precision de reconocimiento de contexto, sino que tambien las caractensticas usadas
5
10
15
20
25
30
35
40
45
50
como entradas para el clasificador. Debena encontrarse un conjunto adecuado de caractensticas para cada clasificador. En el caso del clasificador de distancia irnnima anterior, el conjunto de caractensticas consistfa principalmente de caractensticas de dominio de tiempo que pueden calcularse de manera eficiente a partir de los datos en bruto. El conjunto tiene tambien una propiedad preferida de que las caractensticas pueden determinarse casi en su totalidad sobre la base de las senales del sensor(s) de aceleracion de cadera. Esto por su parte indica que es posible, al menos con ciertos escenarios de uso, aplicar solo un sensor de aceleracion posiblemente incorporado para el reconocimiento de contexto. Mediante la implementacion del procedimiento de adaptacion para personalizar el sistema de reconocimiento de contexto, es posible aumentar la precision de reconocimiento de contexto significativamente. Ventajosamente, se obtendran aproximadamente 10 senales de retroalimentacion a partir del usuario para personalizar el sistema. Con la personalizacion, la precision alcanzada usando un clasificador de distancia minima sencillo puede compararse con los obtenidos usando algoritmos mas complejos.
La figura 3c desvela una grafica del tiempo de vida de la batena (1,2 Ah) de un telefono movil (plataforma probada: Nokia N95) en vista de diferentes clasificadores. Como puede verse en la grafica, el clasificador (de distancia minima) lineal sugerido esta lejos de, por ejemplo, el algoritmo de clasificacion de mas ahorro de batena de los probados debido a la ligereza de calculo del mismo. Por consiguiente, la figura 3d desvela una grafica de carga de CPU media (plataforma probada: Nokia N95) inducida por los diferentes clasificadores.
La figura 4 describe, a modo de ejemplo solamente, un diagrama de flujo de procedimiento de acuerdo con una realizacion de la presente invencion. En 402, se obtiene y se configura un dispositivo movil de acuerdo con la presente invencion, por ejemplo, a traves de la instalacion y la ejecucion de entidades de software y de deteccion relacionadas, para el reconocimiento de contexto. Pueden determinarse unas caractensticas para usarse en el clasificador. En 404, se obtienen unos datos indicativos del contexto del dispositivo movil y/o del usuario del mismo. En 406, se determinan uno o mas valores de caractensticas que representan al menos parte de los datos. En 408, la logica de reconocimiento de contexto que incluye preferentemente un clasificador lineal adaptativo mapea, durante una accion de clasificacion, los valores de caractensticas a una clase de contexto. A condicion de que se obtenga la retroalimentacion 410, el clasificador se configura ademas, en 412, para adaptar la logica de clasificacion del mismo sobre la base de los valores de caractensticas y la informacion de retroalimentacion por parte del usuario del dispositivo movil. En el caso (no mostrado) la retroalimentacion obtenida es la retroalimentacion explfcita, directa (es decir, el usuario proporciona una clase de contexto correcta tras la captura de datos), el contexto en cuanto a que se indica directamente por el usuario se selecciona preferentemente y el clasificador puede omitir la ejecucion de su algoritmo de clasificacion real. Sin embargo, la logica de clasificacion se actualiza todavfa preferentemente de acuerdo con el contexto indicado directamente como se ha descrito anteriormente en el presente documento. La ejecucion del procedimiento se finaliza en 4. La flecha rota representa la naturaleza potencialmente continua de la ejecucion del procedimiento. El orden redproco de las etapas del procedimiento puede alterarse por un experto en la materia sobre la base de los requisitos establecidos por cada escenario de uso espedfico.
En consecuencia, un experto en la materia puede, sobre la base de esta divulgacion y el conocimiento general, aplicar las ensenanzas proporcionadas con el fin de implementar el ambito de la presente invencion como se define por las reivindicaciones adjuntas en cada caso de uso espedfico, con las modificaciones y las adiciones necesarias. Por ejemplo, puede evaluarse la fiabilidad de un evento de reconocimiento de contexto. Por ejemplo, puede determinarse la distancia al centroide mas cercano en el caso del clasificador de distancia minima. Si la fiabilidad no es muy alta (por ejemplo, la distancia supera un umbral predeterminado), el procedimiento de reconocimiento de contexto se beneficiana de la informacion de clasificacion de otros dispositivos. A continuacion, el clasificador de distancia minima podna usar un dominio de reconocimiento de contexto de colaboracion, en el que por ejemplo, unos datos promediados sobre la clasificacion del evento correspondiente estan disponibles y pueden seguirse por los clasificadores independientes en casos inciertos. Ademas, en lugar de un clasificador lineal adaptativo, podna explotarse algun otro tipo de clasificador adaptativo de acuerdo con los principios basicos expuestos anteriormente en el presente documento. Como alternativa, podna explotarse incluso un clasificador lineal no adaptativo en el contexto de la presente invencion preferentemente siempre que la logica de determinacion de caractensticas aplique las caractensticas seleccionadas (al menos algunas, preferentemente todas) de tal manera que puedan separarse sustancialmente, por ejemplo, al maximo o casi, de manera lineal para aumentar el rendimiento del clasificador lineal.

Claims (19)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    REIVINDICACIONES
    1. Un dispositivo (102) movil que comprende:
    una logica (230) de determinacion de caractensticas para determinar una pluralidad de valores de caractensticas representativos sobre la base de los datos de deteccion indicativos del contexto del dispositivo movil y/o el usuario del mismo, y
    una logica (228) de reconocimiento de contexto que incluye un clasificador (234) lineal adaptativo, configurado para mapear, durante una accion de clasificacion, la pluralidad de valores de caractensticas para una clase de contexto, en el que el clasificador esta configurado ademas para adaptar (236) la logica de clasificacion de los mismos sobre la base de los valores de caractensticas y la informacion de retroalimentacion por parte del usuario del dispositivo movil,
    caracterizado por, en el caso de una retroalimentacion positiva o negativa con respecto a la clasificacion realizada, estando configurado el clasificador para adaptar la logica de clasificacion de los mismos, de tal manera que un vector de valor de caractensticas prototipo de la clase reconocida se pone mas cerca o mas lejos del vector de caractensticas determinado por la pluralidad de valores de caractensticas, respectivamente.
  2. 2. El dispositivo movil de la reivindicacion 1, que comprende una serie de entidades (230) de deteccion para obtener los datos de deteccion indicativos del contexto del dispositivo movil y/o del usuario del mismo.
  3. 3. El dispositivo movil de cualquier reivindicacion anterior, en el que una pluralidad de caractensticas aplicadas en la clasificacion de contexto pueden separarse unas de otras sustancialmente de manera lineal.
  4. 4. El dispositivo movil de la reivindicacion 3, en el que la cantidad de adaptacion se determina al menos parcialmente sobre la base de una diferencia ponderada entre el nuevo vector de caractensticas y el viejo vector ideal.
  5. 5. El dispositivo movil de la reivindicacion 3 o 4, en el que la adaptacion se basa en una media movil exponencial (EMA).
  6. 6. El dispositivo movil de cualquier reivindicacion anterior, en el que el dispositivo movil esta configurado para inferir la retroalimentacion de clasificacion de contexto de las una o mas acciones, o en la falta de acciones, del usuario en relacion con el dispositivo movil.
  7. 7. El dispositivo movil de cualquier reivindicacion anterior, en el que el dispositivo movil esta configurado para personalizar la logica de reconocimiento de contexto para el usuario del dispositivo movil a traves de la adaptacion basada en la retroalimentacion por parte del usuario.
  8. 8. El dispositivo movil de cualquier reivindicacion anterior, en el que el dispositivo movil esta configurado para obtener una retroalimentacion directa del usuario que incluye una indicacion de una clase correcta de los datos, con lo cual un vector de valor de caractensticas prototipo de la clase se adapta basandose en los datos y/o en las caractensticas obtenidas de los mismos.
  9. 9. El dispositivo movil de la reivindicacion 8, en el que la adaptacion se basa en la cuantizacion del vector de aprendizaje (LVQ).
  10. 10. El dispositivo movil de cualquier reivindicacion anterior, en el que el clasificador incluye un clasificador de distancia minima.
  11. 11. El dispositivo movil de cualquier reivindicacion anterior, en el que las entidades de deteccion estan configuradas para obtener datos en relacion con al menos un elemento seleccionado del grupo que consiste en: la aceleracion, la aceleracion de cadera, la aceleracion de muneca, la presion, la luz, el tiempo, la frecuencia cardfaca, la temperatura, la localizacion, el perfil de usuario activo, los datos de entrada de calendario, el estado de la batena y los datos de sonido.
  12. 12. El dispositivo movil de cualquier reivindicacion anterior, en el que el dispositivo movil esta configurado para determinar, a partir de los datos, al menos una caractenstica seleccionada del grupo que consiste en: la aceleracion maxima, la aceleracion minima, la aceleracion media, la diferencia entre la aceleracion maxima y la minima, la varianza de la aceleracion, la entropfa del espectro de potencia, la frecuencia pico, la potencia pico y la frecuencia cardfaca media.
  13. 13. El dispositivo movil de cualquier reivindicacion anterior, en el que el dispositivo movil esta configurado para realizar al menos una accion en funcion de la clase de contexto reconocido.
  14. 14. El dispositivo movil de la reivindicacion 13, en el que dicha accion se selecciona del grupo que consiste en: la adaptacion de la interfaz de usuario del dispositivo, la adaptacion de una aplicacion, la adaptacion de un menu, la adaptacion de un perfil, la adaptacion de un modo, activar una aplicacion, cerrar una aplicacion, presentar una aplicacion, presentar una vista, minimizar una vista, activar o poner fin a un bloqueo del teclado, establecer una conexion, terminar una conexion, transmitir datos, enviar un mensaje, activar la salida de audio tal como la
    5
    10
    15
    20
    25
    reproduccion de un sonido, activar la retroalimentacion tactil tal como una vibracion, activar la pantalla, introducir datos en una aplicacion y apagar el dispositivo.
  15. 15. El dispositivo movil de la reivindicacion 13 o 14, en el que dicha al menos una accion comprende al menos un elemento seleccionado del grupo que consiste en: ajustar un servicio, iniciar un servicio, terminar un servicio, adaptar un servicio, en el que el servicio puede ser un servicio local que se ejecuta en el dispositivo movil y/o un servicio al que se accede de manera remota por el dispositivo movil.
  16. 16. El dispositivo movil de cualquier reivindicacion anterior, en el que una o mas de las caractensticas se han seleccionado usando una seleccion secuencial hacia delante (SFS) o un algoritmo de seleccion secuencial hacia delante flotante (SFFS).
  17. 17. Un procedimiento de reconocimiento de un contexto por un dispositivo movil, que comprende obtener datos indicativos del contexto del dispositivo movil y/o de un usuario del mismo (404),
    determinar una pluralidad de valores de caractensticas sobre la base de y que representan al menos parte de los datos (406),
    clasificar, mediante un clasificador lineal adaptativo, la pluralidad de los valores de caractensticas para una clase de contexto (408), y
    adaptar la logica de clasificacion del clasificador sobre la base de los valores de caractensticas y la informacion de retroalimentacion por parte del usuario (410, 412),
    caracterizado por, en el caso de retroalimentacion positiva o negativa con respecto a la clasificacion realizada, configurar el clasificador para adaptar la logica de clasificacion de los mismos de tal manera que un vector de valor de caractensticas prototipo de la clase reconocida se lleva mas cerca o mas lejos del vector de caractensticas determinado por la pluralidad de valores de caractensticas, respectivamente.
  18. 18. Un programa informatico, que comprende un medio de codigo adaptado, cuando se hace funcionar en un ordenador, para ejecutar el procedimiento de la reivindicacion 17.
  19. 19. Un medio portador que comprende el programa informatico de la reivindicacion 18.
ES10777430.9T 2009-05-22 2010-05-21 Reconocimiento de contexto en dispositivos móviles Active ES2634463T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20095570 2009-05-22
FI20095570A FI20095570L (fi) 2009-05-22 2009-05-22 Kontekstin tunnistaminen mobiiliaitteissa
PCT/FI2010/050409 WO2010133770A1 (en) 2009-05-22 2010-05-21 Context recognition in mobile devices

Publications (1)

Publication Number Publication Date
ES2634463T3 true ES2634463T3 (es) 2017-09-27

Family

ID=40680750

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10777430.9T Active ES2634463T3 (es) 2009-05-22 2010-05-21 Reconocimiento de contexto en dispositivos móviles

Country Status (7)

Country Link
US (2) US20120059780A1 (es)
EP (1) EP2433416B1 (es)
JP (1) JP2012527810A (es)
KR (1) KR101725566B1 (es)
ES (1) ES2634463T3 (es)
FI (1) FI20095570L (es)
WO (1) WO2010133770A1 (es)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2963388T3 (es) * 2008-01-16 2024-03-26 Blackberry Ltd Virtualización securizada de la capa de presentación para dispositivos de comunicación inalámbrica de mano
US8776177B2 (en) 2009-06-16 2014-07-08 Intel Corporation Dynamic content preference and behavior sharing between computing devices
US9092069B2 (en) 2009-06-16 2015-07-28 Intel Corporation Customizable and predictive dictionary
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
US8254957B2 (en) 2009-06-16 2012-08-28 Intel Corporation Context-based limitation of mobile device operation
US8446398B2 (en) 2009-06-16 2013-05-21 Intel Corporation Power conservation for mobile device displays
FI122770B (fi) * 2009-11-11 2012-06-29 Adfore Technologies Oy Kontekstitietoisuudella ohjattava mobiililaite
US20120062387A1 (en) * 2010-09-10 2012-03-15 Daniel Vik Human interface device input filter based on motion
US8838147B2 (en) * 2011-08-31 2014-09-16 Nokia Corporation Method and apparatus for determining environmental context utilizing features obtained by multiple radio receivers
EP2758956B1 (en) 2011-09-23 2021-03-10 Digimarc Corporation Context-based smartphone sensor logic
US9148487B2 (en) * 2011-12-15 2015-09-29 Verizon Patent And Licensing Method and system for managing device profiles
EP2795538A4 (en) * 2011-12-21 2016-01-27 Nokia Technologies Oy PROCESS, DEVICE AND COMPUTER SOFTWARE FOR CONTEX IDENTIFICATION
US20140047259A1 (en) * 2012-02-03 2014-02-13 mCube, Incorporated Methods and Apparatus for Mobile Device Power Management Using Accelerometer Data
US9471092B2 (en) 2012-02-03 2016-10-18 MCube Inc. Distributed MEMS devices time synchronization methods and system
PL398136A1 (pl) 2012-02-17 2013-08-19 Binartech Spólka Jawna Aksamit Sposób wykrywania kontekstu urzadzenia przenosnego i urzadzenie przenosne z modulem wykrywania kontekstu
KR101943986B1 (ko) * 2012-03-21 2019-01-31 삼성전자주식회사 애플리케이션 또는 컨텐트를 추천하는 이동 통신 단말 및 추천 방법
WO2013165355A1 (en) 2012-04-30 2013-11-07 Hewlett-Packard Development Company, L.P. Controlling behavior of mobile devices
US20130346347A1 (en) * 2012-06-22 2013-12-26 Google Inc. Method to Predict a Communicative Action that is Most Likely to be Executed Given a Context
US9740773B2 (en) * 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
US9654977B2 (en) 2012-11-16 2017-05-16 Visa International Service Association Contextualized access control
TWI488671B (zh) * 2012-11-26 2015-06-21 Univ Nat Yunlin Sci & Tech Athletic Condition Assessment System Based on Classifier
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
KR102062763B1 (ko) * 2012-12-07 2020-01-07 삼성전자주식회사 상황 정보 기반의 정보 제공 방법 및 시스템과 그 기록 매체
US10649619B2 (en) * 2013-02-21 2020-05-12 Oath Inc. System and method of using context in selecting a response to user device interaction
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
US9549042B2 (en) 2013-04-04 2017-01-17 Samsung Electronics Co., Ltd. Context recognition and social profiling using mobile devices
US9372103B2 (en) 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
US9588581B2 (en) * 2013-09-10 2017-03-07 Intel Corporation Composable thin computing device
JP6070512B2 (ja) * 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3092830B2 (en) * 2014-01-10 2020-02-19 Signify Holding B.V. Feedback in a positioning system
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9304576B2 (en) * 2014-03-25 2016-04-05 Intel Corporation Power management for a wearable apparatus
US9563855B2 (en) * 2014-06-27 2017-02-07 Intel Corporation Using a generic classifier to train a personalized classifier for wearable devices
CN104239034B (zh) * 2014-08-19 2017-10-17 北京奇虎科技有限公司 智能电子设备的场合识别方法和信息通知方法及其装置
TWI549076B (zh) * 2014-11-06 2016-09-11 宏碁股份有限公司 電子裝置及其服務管理方法
US10659594B2 (en) 2015-02-12 2020-05-19 American University Of Beirut Context aware mobile personalization system and methods of use
KR102249161B1 (ko) 2015-06-19 2021-05-06 에스케이텔레콤 주식회사 측위 정보 및 스크린 상태 정보를 이용한 위치 추론 방법, 그리고 이를 이용한 상황 인지 장치
EP3301891B1 (en) 2016-09-28 2019-08-28 Nxp B.V. Mobile device and method for determining its context
CN106650941B (zh) * 2016-12-30 2019-01-25 山东大学 一种基于可靠性管理的不确定性消除情景感知系统及其工作方法
CN106650937B (zh) * 2016-12-30 2019-09-27 山东大学 一种基于反馈的自适应主客观权重上下文感知系统及其工作方法
KR101924330B1 (ko) * 2017-02-10 2019-02-20 주식회사 테크포아이 동적 환경에 적응할 수 있는 사용자 중심 상황 인지시스템 및 그 방법
KR102617480B1 (ko) * 2017-02-22 2023-12-26 광주과학기술원 기계학습 기반 낙상 위험도 추정 장치 및 방법
KR102443534B1 (ko) * 2018-01-12 2022-09-15 라인플러스 주식회사 메시징 서비스 환경에서의 사용자 상황 감지 및 사용자 상황에 기반한 메시징 서비스와의 인터랙션
CN110276235B (zh) * 2018-01-25 2023-06-16 意法半导体公司 通过感测瞬态事件和连续事件的智能装置的情境感知
US11368457B2 (en) 2018-02-20 2022-06-21 Visa International Service Association Dynamic learning system for intelligent authentication
WO2019177283A1 (en) * 2018-03-15 2019-09-19 Samsung Electronics Co., Ltd. Method and electronic device for enabling contextual interaction
US10901688B2 (en) * 2018-09-12 2021-01-26 International Business Machines Corporation Natural language command interface for application management
US20200252500A1 (en) * 2019-01-31 2020-08-06 Marcello Giordano Vibration probing system for providing context to context-aware mobile applications
WO2022040894A1 (en) 2020-08-25 2022-03-03 Citrix Systems, Inc. Context-based notification processing system
US11405457B2 (en) * 2020-12-08 2022-08-02 Citrix Systems, Inc. Intelligent file access system
EP4348524A1 (en) * 2021-06-03 2024-04-10 Mocha Holdings Llc Apparatus and method for suggesting user-relevant digital content using edge computing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404923B1 (en) * 1996-03-29 2002-06-11 Microsoft Corporation Table-based low-level image classification and compression system
US6323807B1 (en) * 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
US6912386B1 (en) * 2001-11-13 2005-06-28 Nokia Corporation Method for controlling operation of a mobile device by detecting usage situations
JP2003204390A (ja) * 2002-01-08 2003-07-18 Ricoh Co Ltd 携帯移動電話装置
US20040192269A1 (en) * 2003-03-26 2004-09-30 Hill Thomas Casey System and method for assignment of context classifications to mobile stations
JP2005173930A (ja) * 2003-12-10 2005-06-30 Sony Corp 電子機器、認証方法
US7778632B2 (en) * 2005-10-28 2010-08-17 Microsoft Corporation Multi-modal device capable of automated actions
DE602006021433D1 (de) * 2006-10-27 2011-06-01 Sony France Sa Ereigniserfassung in Mehrkanal-Sensorsignalströmen
US20090278937A1 (en) * 2008-04-22 2009-11-12 Universitat Stuttgart Video data processing
US20100087987A1 (en) * 2008-10-08 2010-04-08 Gm Global Technoloogy Operations, Inc. Apparatus and Method for Vehicle Driver Recognition and Customization Using Onboard Vehicle System Settings

Also Published As

Publication number Publication date
FI20095570A0 (fi) 2009-05-22
EP2433416B1 (en) 2017-04-26
FI20095570L (fi) 2009-09-11
US20190230210A1 (en) 2019-07-25
KR20120018337A (ko) 2012-03-02
JP2012527810A (ja) 2012-11-08
WO2010133770A1 (en) 2010-11-25
EP2433416A1 (en) 2012-03-28
EP2433416A4 (en) 2014-02-26
US20120059780A1 (en) 2012-03-08
KR101725566B1 (ko) 2017-04-10

Similar Documents

Publication Publication Date Title
ES2634463T3 (es) Reconocimiento de contexto en dispositivos móviles
US20220091816A1 (en) Wireless Earpiece with a Passive Virtual Assistant
Miluzzo et al. Pocket, bag, hand, etc.-automatically detecting phone context through discovery
US10313779B2 (en) Voice assistant system for wireless earpieces
ES2934083T3 (es) Control de dispositivo basado en la actividad física
CN107077550B (zh) 用于用户验证的生物联系
KR102330655B1 (ko) 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스
Ganti et al. Multisensor fusion in smartphones for lifestyle monitoring
TW201218736A (en) Method and apparatus for providing context sensing and fusion
US10433256B2 (en) Application control method and application control device
CN104506649B (zh) 通知消息推送方法及装置
US11793458B2 (en) Tracking caloric expenditure using sensor driven fingerprints
CN108810272B (zh) 基于移动终端多传感器的行为识别模型训练方法及装置
Shila et al. Adversarial gait detection on mobile devices using recurrent neural networks
Yiyan et al. An hidden Markov model based complex walking pattern recognition algorithm
Navarathna et al. Wearable device based activity recognition and prediction for improved feedforward control
Yang et al. Physical activity recognition with mobile phones: challenges, methods, and applications
KR102163996B1 (ko) 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
CN105474134B (zh) 控制操作模式的方法及使用该方法的电子设备
EP3306967B1 (en) Information processing device, information processing method, and program
CN106331225B (zh) 触控响应方法及移动终端
Hsu et al. Posture recognition with G-sensors on smart phones
CN115273216A (zh) 目标运动模式的识别方法及相关设备
CN110188678A (zh) 静脉识别方法及相关产品
US20230048413A1 (en) Wearable electronic device and method for providing information of brushing teeth in wearable electronic device