ES2561927B1 - Sistema multisensor para rehabilitación e interacción de personas con discapacidad - Google Patents

Sistema multisensor para rehabilitación e interacción de personas con discapacidad Download PDF

Info

Publication number
ES2561927B1
ES2561927B1 ES201531430A ES201531430A ES2561927B1 ES 2561927 B1 ES2561927 B1 ES 2561927B1 ES 201531430 A ES201531430 A ES 201531430A ES 201531430 A ES201531430 A ES 201531430A ES 2561927 B1 ES2561927 B1 ES 2561927B1
Authority
ES
Spain
Prior art keywords
interaction
rehabilitation
people
patient
multisensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES201531430A
Other languages
English (en)
Other versions
ES2561927A1 (es
Inventor
Miguel Ángel CAZORLA QUEVEDO
José García Rodríguez
Sergio ORTS ESCOLANO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad de Alicante
Original Assignee
Universidad de Alicante
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad de Alicante filed Critical Universidad de Alicante
Priority to ES201531430A priority Critical patent/ES2561927B1/es
Publication of ES2561927A1 publication Critical patent/ES2561927A1/es
Priority to PCT/ES2016/070697 priority patent/WO2017060547A1/es
Application granted granted Critical
Publication of ES2561927B1 publication Critical patent/ES2561927B1/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Sistema multisensor para rehabilitación e interacción de personas con discapacidad, tanto motora, como cognitiva. El sistema permite la realización de terapias utilizando distintos modos de interacción hombre-máquina, posibilitando múltiples modos de interacción para personas con distintas discapacidades y por tanto ofreciendo notables ventajas frente a otros medios existentes. El sistema es capaz de ajustarse a las necesidades de cada paciente a través de un proceso de entrenamiento; de esta forma, el sistema combina de forma eficiente los sensores disponibles y permite la definición de gestos propios para cada sensor y paciente. El sistema ofrece los siguientes modos de interacción: pose y gestos del cuerpo, voz, táctil, posición mirada, pose y gestos de la mano. El sistema multisensor se integra con una serie de aplicaciones que posibilitan la rehabilitación de los pacientes a través de aplicaciones de realidad virtual e interfaces 3D: manipulación virtual de entidades, texto predictivo y dibujo guiado.

Description

SISTEMA MULTISENSOR PARA REHABILITACiÓN E INTERACCiÓN DE PERSONAS
CON DISCAPACIDAD
Campo de la invención La invención se refiere a un sistema multisensor para rehabilitación e interacción de personas con discapacidad.
Estado de la técnica Se conocen numerosos dispositivos o medios para realizar rehabilitación de pacientes con distintas discapacidades utilizando nuevas tecnologías.
En este sentido, pueden citarse dispositivos basados en el uso de guantes de seguimiento para una precisa representación de los movimientos o gestos de la mano. Sin embargo, estos sistemas son invasivos, no posibilitando una interacción natural ni la realización de movimientos libres por parte del paciente. También hay otros sistemas menos invasivos basados en la utilización de sensores 3D para obtener la pose de los pacientes y utilizar esta representación para rehabilitación de lesiones. Estos métodos hacen un uso intensivo de técnicas de visión por computador, pero solo permiten el seguimiento o detección de gestos de alto nivel, como pueden ser el movimiento de un brazo, o la inclinación del cuerpo, quedando descartados la detección de gestos de más bajo nivel y con mayor precisión, como la ligera articulación de algunos dedos de la mano, o el movimiento de los ojos (evaluar el punto donde se fija la mirada). Al limitar el número de formas de interactuar con el dispositivo, las terapias de rehabilitación quedan restringidas a pacientes con ligeras discapacidades, y pacientes con movilidad muy reducida.
Igualmente, existen sistemas que hacen uso de dispositivos capaces de seguir la posición de los ojos y evaluar dónde se fija la mirada, pero su utilización es todavía muy limitada al requerir que el paciente se encuentre en una posición muy restringida en cuanto a la distancia y posición respecto al sensor, por lo que su utilización en terapias de rehabilitación es también muy limitada.
W02009141460 A1 divulga un dispositivo portátil para rehabilitar un miembro superior mediante la utilización de un soporte robótica que mide la fuerza del miembro y monitoriza sus movimientos, permitiéndole llevar a cabo un entrenamiento o rehabilitación del mismo. Esta invención se centra en la rehabilitación de un único miembro superior, siendo a su vez muy restringida e invasiva. Por otro lado, es beneficiosa para discapacidades muy severas, donde el soporte del dispositivo pueda ayudar a realizar los movimientos.
De forma similar, US4936299 A presenta un dispositivo para la rehabilitación que utiliza un brazo rabatizado que permite guiar los movimientos del paciente.
Relacionado con la utilización de múltiples sensores, en CN102567638 A se revela un sistema para rehabilitación del miembro superior basado en múltiples micro-sensores. El sistema adopta una aproximación de fusión de datos multisensor proporcionando un seguimiento de los movimientos del miembro superior del paciente en tiempo real. La idea del sistema propuesto es llevar a cabo la rehabilitación en el domicilio del paciente o en entornos domésticos recibiendo asistencia online por parte del doctor.
En US 20140287389 A 1 se presenta un sistema y métodos para rehabilitación y para llevar a cabo terapias adaptativas utilizando el sensor 3D Kinect, de Microsoft. Esta patente presenta formas de monitorizar los movimientos y poses del cuerpo humano de forma que fisioterapeutas y rehabilitadores puedan ayudarse de las mismas para su análisis.
Relacionado con la utilización de interfaces gráficas 30 y entornos de realidad virtual para llevar a cabo la rehabilitación, US5429140 A presenta un sistema de rehabilitación que utiliza un sistema medidor de fuerza (guante) para simular la deformación virtual de objetos. La información es transmitida desde el guante hacia un computador donde se diagnostica la capacidad manual del paciente y se utiliza en terapias de rehabilitación.
W02013082435 A 1 divulga un conjunto de métodos y sistemas de almacenamiento para procesamiento de datos multi-modal. En concreto, el sistema combina el procesamiento de un flujo de audio (comandos de voz) con la detección de gestos. Los comandos de voz son utilizados para la definición de la ventana de procesamiento para la detección y reconocimiento de gestos de alto nivel.
No obstante, las propuestas conocidas siguen sin dar solución a una serie de problemas que la presente invención se ocupa de resolver.
Descripción de la invención
La invención se refiere a un sistema para llevar a cabo terapias de rehabilitación a personas con discapacidad, tanto motora, como cognitiva. El sistema ha sido concebido para la realización de terapias utilizando distintos modos de interacción hombre-máquina, posibilitando de esta forma múltiples modos de interacción para personas con distintas discapacidades y por lo tanto ofreciendo notables ventajas frente a otros medios existentes.
El sistema está previsto para que los pacientes puedan realizar tanto distintas terapias de rehabilitación como interacción, haciendo uso de sensores que posibiliten una interacción natural: gestos con el cuerpo, brazos, cabeza, poses de la mano, movimiento de los ojos, pose de la cabeza, así como precisos movimientos de la mano a nivel local (movimiento de los dedos). El sistema se adecua al paciente, el cual, previamente tiene que llevar a cabo un entrenamiento con ayuda de un asistente para el establecimiento de los sensores que mejor se adecuan al paciente (utilizando algoritmos de reconocimiento facial), así como de un entrenamiento previo para su posterior reconocimiento. La colaboración de múltiples sensores posibilita una interacción natural y convenientemente superior frente a otros sistemas disponibles. El paciente puede llevar a cabo distintas terapias gracias a la interacción natural con aplicaciones que fomenten la rehabilitación motora, así como cognitiva, y la comunicación con otras personas. Para ello, el sistema comprende aplicaciones para la manipulación virtual de objetos, seguimiento de entidades, dibujo guiado y texto predictivo.
El sistema de la invención presenta una nueva aproximación para llevar a cabo terapias de rehabilitación de una forma más natural y aprovechando de forma eficiente las nuevas tecnologías y sensores de interacción hombre-máquina.
Conforme a una realización de la invención, el sistema combina la utilización de distintos sensores, un sensor de largo alcance, que puede ser una cámara 30 que proporciona información de profundidad sobre el entorno, seres humanos presentes en la sala, así como detección y seguimiento de un esqueleto virtual de cada paciente. Además, la información obtenida mediante el sensor de largo alcance, sensor 30, puede ser combinada con la utilización de otro sensor 3D, un sensor de corto alcance, que proporciona una representación virtual precisa de las manos de los usuarios. El sensor de corto alcance se encuentra ubicado sobre un brazo giratorio, permitiendo su utilización cuando sea necesario. El sistema, a su vez, integra un sensor de seguimiento de mirada, capaz de obtener la posición de la mirada (seguimiento de ojos) para el paciente que se encuentra delante del sistema. Por último , todos estos sensores mencionados pueden combinarse con una matriz de micrófonos y una tableta digital, conformando un sistema completo de interacción natural para llevar a cabo terapias con pacientes con distintas discapacidades.
La información obtenida de estos sensores se fusiona para proporcionar a los pacientes distintas modalidades para llevar a cabo rehabilitación con el sensor más conveniente o el uso de varios. Esta información se combina de forma eficiente con interfaces 3D que a su vez permiten la rehabilitación de una forma más realista gracias a la utilización de técnicas avanzadas de realidad virtual.
El sistema incorpora medios capaces de llevar a cabo una identificación biométrica a través de reconocimiento facial de los pacientes; de esta forma el sistema adecua la interacción del sistema en función del nivel de dependencia del usuario. En caso de que el usuario sea capaz de utilizar varios de los sensores para la interacción, se permite al usuario, en un momento dado, la utilización de uno de ellos específicamente, o la combinación de varios, dependiendo de la aplicación en concreto que se utilice para llevar a cabo una terapia de rehabilitación determinada. Asociado a la identificación biométrica, el sistema presenta medios de interpretación de órdenes del usuario discapacitado. Este sistema recibe como entrada datos gestuales y es capaz de traducir dichos gestos a órdenes básicas (arriba, abajo, izquierda, derecha, avanzar). El sistema también permite un entrenamiento y aprendizaje para adaptar los gestos del paciente a estas órdenes. Se acompaña este sistema con un conjunto de aplicaciones que permiten tanto la interacción como la rehabilitación del paciente. En concreto, se han desarrollado varias aplicaciones que toman como entrada las órdenes básicas: una aplicación de texto predictivo (capaz de convertir el texto en habla); una aplicación de rehabilitación motora y otra de rehabilitación cognitiva.
El sistema propuesto presenta las siguientes ventajas: capacidad del sistema de adaptarse a las necesidades del paciente para una interacción natural, múltiples formas de interacción natural con el sistema (gestual, poses/movimiento mano, voz, mirada, y táctil). Identificación biométrica de los pacientes para una personalización y adecuación del sistema. Integración del sistema con interfaces 3D usables para llevar a cabo distintos tipos de terapia de rehabilitación así como de interacción (comunicación) con otras personas o cuidadores.
La realización básica de la invención se define en la reivindicación 1. Las reivindicaciones dependientes definen características adicionales de la invención.
Para complementar la descripción que seguidamente se va realizar y con objeto de ayudar a una mejor comprensión de las características del invento, se acompaña a la presente memoria descriptiva de un juego de planos en base a cuyas figuras se comprenderán más fácilmente las innovaciones y ventajas del sistema objeto de la invención.
Descripción de las figuras FIGURA 1: Muestra una vista en perspectiva del sistema que integra los distintos sensores para llevar a cabo la interacción y terapias de rehabilitación.
FIGURA 2: Muestra un ejemplo de interacción con un paciente realizando una terapia de rehabilitación.
Se indican a continuación las referencias numéricas de los elementos de la invención: Sensor de largo alcance (1) Sensor de corto alcance (2) Matriz de micrófonos (3) Tableta digital (4) Sensor de seguimiento de mirada (5) Brazo giratorio (6) Primer extremo (61) Segundo extremo (62) Plataforma móvil (7) Paciente (100)
Descripción detallada de la invención La presente invención se refiere por tanto a un nuevo sistema capaz de proporcionar una interacción natural para llevar a cabo distintas terapias de rehabilitación con pacientes.
Considerando las figuras presentadas anteriormente, se puede observar como el sistema de la invención comprende un conjunto de sensores que proporcionan información del entorno, así como la plataforma móvil, sobre la que estos dispositivos y sensores se integran. El sensor de largo alcance (1), sensor 3D, opera entre aproximadamente entre O.7m y 4.5m. El sensor de largo alcance (1) se ubica en el punto más alto de la plataforma, permitiendo la identificación de los pacientes y usuarios, así como la interacción mediante gestos o la propia pose del usuario. El sensor de largo alcance (1) proporciona información de profundidad de la escena, permitiendo ubicar de forma precisa el entorno donde opera el sistema de la invención. Inmediatamente debajo del sensor de largo alcance (1), sensor 3D, se dispone la matriz de micrófonos (3), que permite captar órdenes de voz por parte del usuario, así como captar información sonora del entorno. En la parte central del sistema, se dispone la tableta digital (4), la cual alberga el sistema de procesamiento, ofreciendo, así mismo, otro medio de interacción adicional, la interacción por contacto (háptica). Este modo de interacción permite también llevar a cabo terapias de rehabilitación o comunicación basadas en el contacto del paciente con las interfaces mostradas en la pantalla de la tableta digital (4). El tamaño de la pantalla sugerido para la tableta digital (4) a utilizar en el sistema es de 12 pulgadas (diagonal). Debajo de la lableta digital (4), se encuentra el sensor de seguimiento de mirada (5), sensor 3D, que está calibrado respecto a la tableta digital (4) y permite conocer la posición de la mirada del paciente respecto a las interfaces de usuario mostradas en la pantalla de la tableta digital (4). La calibración del sensor de seguimiento de mirada (5) respecto a cada paciente y la capacidad de cómputo de la tableta digital (4) empleada en el sistema son de gran importancia. Finalmente, montado en el lateral del sistema se encuentra el brazo giratorio (6), con un grado de libertad, sobre el cual se ubica el sensor de corto alcance (2), sensor 3D, capaz de obtener y llevar a cabo un seguimiento de las manos de los usuarios. Este sensor ofrece una precisión muy elevada para la representación de las manos de los usuarios, permitiendo obtener información precisa sobre la ubicación espacial, local y global, sobre la orientación de la mano, la posición de cada uno de los dedos, así como su orientación. Esta información se utiliza y combina con la información obtenida de otros sensores para llevar a cabo terapias de rehabilitación que requieran movimientos precisos de las manos, una pose, o cierto gesto de los dedos de las manos.
El brazo giratorio (6) permite deshabilitar el sensor de corto alcance (2) (retirándolo hacia atrás) de forma que para aquellos usuarios que por cierto motivo no puedan interactuar mediante este dispositivo, este no suponga un estorbo para el resto de sensores. El brazo giratorio (6) rota sobre un eje, es decir, que tiene un grado de libertad, permitiendo la rotación del mismo en un rango de 702• Este conjunto de equipos se organiza sobre la plataforma móvil (7), permitiendo así la posibilidad de mover el sistema de una manera sencilla en un entorno doméstico.
En el modo de funcionamiento del sistema de la invención, juega un papel relevante la tableta digital (4), que recibe información de todos los sensores mencionados, ya que los sensores están directamente conectados a la misma. El sistema dispone inicialmente de un espacio de trabajo para el desarrollo de todo tipo de aplicaciones. Estas permitirán llevar a cabo rehabilitación o comunicación de usuarios a través de interlaces hombre-máquina. Inicialmente, el sistema propuesto está a la espera de identificar un usuario en el entorno para ajustar su configuración a los requisitos de ese usuario en concreto. Estos requisitos son previamente definidos con ayuda de un terapeuta o un cuidador, el cual da al usuario de alta en el sistema y además ayuda al entrenamiento del sistema para ese paciente en concreto. De esta forma, un paciente puede ser posteriormente reconocido y además puede definir un conjunto de sensores a utilizar en función de su tipo de discapacidad o carencia, así como, una serie de gestos personalizados, los cuales serán posteriormente reconocidos. Mediante esta personalización a medida para cada paciente, y la calibración de los sensores para su correcto funcionamiento, se consigue que el sistema se adapte lo mejor posible al usuario en concreto y ofrezca una interfaz lo más natural posible.
El sistema propuesto permite la personalización de gestos propios para cada paciente y para cada uno de los sensores; de esta forma se posibilita la creación de un conjunto de poses, gestos de la mano, ojos, comandos de voz, distintos para llevar a cabo las mismas acciones sobre el sistema. Mediante estas acciones el usuario puede navegar por el entorno del sistema, opciones, aplicaciones, etcétera, así como llevar a cabo una rehabilitación o comunicación específica con una aplicación concreta.
Inicialmente se han definido una serie de aplicaciones sobre el sistema. No obstante, el conjunto inicial de aplicaciones es extensible en función de las distintas necesidades de los pacientes. Además el sistema, como se ha mencionado previamente, proporciona un espacio de trabajo flexible y modular para el desarrollo de nuevas terapias. Se han definido las siguientes aplicaciones: aplicación de escritura predictiva para una comunicación natural y ágil mediante un teclado virtual y una serie de acciones para su navegación y utilización. Manipulación virtual de objetos, interfaz 3D usable en la que los pacientes pueden interactuar con una serie de objetos virtuales llevando a cabo una serie de ejercicios o tareas de rehabilitación: organización, desplazamiento, deformación, etcétera. Aplicación de dibujo guiado, mediante la cual los usuarios utilizando distintas formas de interactuar pueden llevar a cabo una terapia de rehabilitación cognitiva y motora. Finalmente, se propone una aplicación para la rehabilitación motora de ciertas partes del cuerpo como las manos, mediante la utilización del sensor 3D de corto alcance, el cual nos provee una representación precisa de estas. Mediante esta aplicación se propone la realización de una serie de poses con la mano a modo de ejercicio para la rehabilitación de los usuarios. Esta terapia se lleva a cabo mediante la utilización de una interfaz gráfica 3D, la cual permite representar las manos del usuario de forma virtual. De esta forma, la terapia resulta más atractiva y usable para los pacientes a través del uso de técnicas de realidad virtual.
Conforme se ha descrito, una realización de la invención se refiere a un sistema multisensor para rehabilitación e interacción de personas con discapacidad que comprende:
1 a) un sensor de seguimiento de mirada (5) configurado para un seguimiento de ojos de un usuario y obtener una posición de la mirada; 1b) una matriz de micrófonos (3) configurados para captar órdenes de voz de un usuario y para captar información sonora del entorno;
1c) una tableta digital (4) configurada para: 1 c1) recibir información del sensor de seguimiento de mirada (5); 1 c2) recibir información de la matriz de micrófonos (3). 1c3) interactuar con un usuario del sistema multisensor.
Conforme a otras características de la invención:
2.
El sensor de seguimiento de mirada (5) puede estar dispuesto en una banda inferior de la tableta digital (4).
3.
El sistema multisensor puede comprender: 3a) un sensor de largo alcance (1) configurado para detectar información de un entorno del
sistema multisensor; donde: 3b) la tableta digital (4) está configurada para:
3b1) recibir información del sensor de largo alcance (1).
4.
El sensor de largo alcance (1) puede estar configurado para operar en una distancia comprendida entre 0,7m y 4,5m.
5.
El sensor de largo alcance (1) puede estar en una parte superior del sistema.
6.
El sensor de largo alcance (1) puede ser un sensor 3D.
7.
La matriz de micrófonos (3) puede estar en una parte superior del sistema.
8.
La matriz de micrófonos (3) puede estar por debajo de un sensor de largo alcance (1).
9.
El sistema multisensor puede comprender:
9a) un brazo giratorio (6): 9a1) que comprende un primer extremo (6 1) conectado al sistema multisensor; 9a2) que comprende un segundo extremo (62), libre, opuesto al primer extremo (61);
9a3) configurado para ser girado en torno a un eje de rotación que pasa por el primer extremo (6t).
10. El sistema multisensor puede comprender: 1Da) un sensor de corto alcance (2) en el segundo extremo (62), configurado para
proporcionar una representación virtual precisa de una mano de un usuario; donde: 10b) la tableta digital (4) está configurada para:
1Ob1) recibir información del sensor de corto alcance (2).
11.
El sensor de corto alcance (2) puede ser un sensor 3D.
12.
El sistema multisensor puede tener forma de atril.
13.
El sistema multisensor puede comprender: 13a) una plataforma móvil (7) donde van montados todos los componentes del sistema.
14.
El sistema multisensor puede comprender:
14a) medios de interacción configurados para permitir un uso del sistema por un paciente (100): 14a1 ) emitiendo estímulos al paciente (100) para provocar acciones del paciente; 14a2) recibiendo y registrando respuestas del paciente (100) seleccionadas entre:
14a2a)reacciones del paciente (100) a los estímulos emitidos por los medios de interacción; 14a2b)acciones espontáneas del paciente (100).
15.
El sistema multisensor puede comprender:
15a) medios de personalización configurados para permitir un ajuste del sistema por un terapeuta/cuidador para adaptar un comportamiento del sistema a necesidades de uso del paciente (100). Los medios de personalización permiten una parametrización o customización del sistema por parte del terapeuta o cuidador, estableciendo parámetros del sistema para definir las tareas que debe ejecutar el paciente (100). De esta manera el sistema funciona de manera personalizada adecuando su comportamiento a las necesidades de cada paciente (100).
16.
El sistema multisensor puede comprender: 10
16a) medios de identificación configurados para identificar al paciente (100) que va a utilizar el sistema. Los medios de identificación permiten que el sistema ejecute las acciones predeterminadas para el paciente (100) identificado, asegurando así que las actividades que va a llevar a cabo el paciente (100) son las que corresponden a sus
5 necesidades y evitando que, por error, un paciente (100) pueda acceder a actividades que no son favorables para sus condiciones o que incluso puedan resultar perjudiciales o peligrosas.
17. Los medios de interacción pueden comprender una aplicación seleccionada entre: 10 17a) una aplicación de escritura predictiva configurada para permitir una comunicación mediante un teclado virtual; 17b) una aplicación de manipulación virtual de objetos, configurada para permitir una interacción del paciente (100) con una serie de objetos virtuales;
17c) una aplicación de dibujo guiado; 15 17d) Y combinaciones de las mismas.
18. El sistema multisensor puede comprender: 18a) medios de interpretación configurados para generar órdenes del paciente:
18a1) detectando gestos del paciente (100); 20 18a2) traduciendo los gestos del paciente (100) a una pluralidad de órdenes básicas.

Claims (18)

  1. REIVINDICACIONES
    1. Sistema multisensor para rehabilitación e interacción de personas con discapacidad caracterizado por que comprende: 1 a) un sensor de seguimiento de mirada (5) configurado para un seguimiento de ojos de un usuario y obtener una posición de la mirada; 1 b) una matriz de micrófonos (3) configurados para captar órdenes de voz de un usuario y para captar información sonora del entorno;
    1c) una tableta digital (4) configurada para: 1c1) recibir información del sensor de seguimiento de mirada (5); 1c2) recibir información de la matriz de micrófonos (3); 1c3) interactuar con un usuario del sistema multisensor.
  2. 2.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que el sensor de seguimiento de mirada (5) está dispuesto en una banda inferior de la tableta digital (4).
  3. 3.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que comprende: 3a) un sensor de largo alcance (1) configurado para detectar información de un entorno del
    sistema multisensor; donde: 3b) la tableta digital (4) está configurada para:
    3b1) recibir información del sensor de largo alcance (1).
  4. 4.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 3 caracterizado por que el sensor de largo alcance (1) está configurado para operar en una distancia comprendida entre 0,7m y 4,5m.
  5. 5.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 3 caracterizado por que el sensor de largo alcance (1) está en una parte superior del sistema.
  6. 6.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que el sensor de largo alcance (1) es un sensor 3D.
  7. 7.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que la matriz de micrófonos (3) está en una parte superior del sistema.
  8. 8.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 7 caracterizado por que la matriz de micrófonos (3) está por debajo de un sensor de largo alcance (1).
  9. 9.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que además comprende: 9a) un brazo giratorio (6):
    9a1 ) que comprende un primer extremo (61) conectado al sistema multisensor; 9a2) que comprende un segundo extremo (62), libre, opuesto al primer extremo (61); 9a3) configurado para ser girado en torno a un eje de rotación que pasa por el primer
    extremo (61).
  10. 10. Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 9 caracterizado por que comprende: 10a) un sensor de corto alcance (2) en el segundo extremo (62), configurado para
    proporcionar una representación virtual precisa de una mano de un usuario; donde: 10b) la tableta digital (4) está configurada para:
    1Ob1) recibir información del sensor de corto alcance (2).
  11. 11.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 10 caracterizado por que el sensor de corto alcance (2) es un sensor 3D.
  12. 12.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según cualquiera de las reivindicaciones 1-11 caracterizado por que tiene forma de atril.
  13. 13.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que comprende: 13a) una plataforma móvil (7) donde van montados todos los componentes del sistema.
  14. 14.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 1 caracterizado por que comprende: 14a) medios de interacción configurados para permitir un uso del sistema por un paciente
    (100): 14a1) emitiendo estímulos al paciente (100) para provocar acciones del paciente; 14a2) recibiendo y registrando respuestas del paciente (100) seleccionadas entre:
    14a2a)reacciones del paciente (100) a los estímulos emitidos por los medios de interacción; 14a2b)acciones espontáneas del paciente (100).
  15. 15.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 14 caracterizado por que comprende: 15a) medios de personalización configurados para permitir un ajuste del sistema por un
    terapeuta/cuidador para adaptar un comportamiento del sistema a necesidades de uso del paciente (100).
  16. 16.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 14 caracterizado por que comprende: 16a) medios de identificación configurados para identificar al paciente (100) que va a utilizar
    el sistema.
  17. 17.
    Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 14 caracterizado por que los medios de interacción comprenden una aplicación seleccionada entre: 17a) una aplicación de escritura predictiva configurada para permitir una comunicación
    mediante un teclado virtual; 17b) una aplicación de manipulación virtual de objetos, configurada para permitir una
    interacción del paciente (100) con una serie de objetos virtuales; 17c) una aplicación de dibujo guiado; 17d) Ycombinaciones de las mismas.
  18. 18. Sistema multisensor para rehabilitación e interacción de personas con discapacidad según la reivindicación 14 caracterizado por que comprende: 18a) medios de interpretación configurados para generar órdenes del paciente:
    18al ) detectando gestos del paciente (100); 18a2) traduciendo los gestos del paciente (100) a una pluralidad de órdenes básicas.
ES201531430A 2015-10-05 2015-10-05 Sistema multisensor para rehabilitación e interacción de personas con discapacidad Active ES2561927B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201531430A ES2561927B1 (es) 2015-10-05 2015-10-05 Sistema multisensor para rehabilitación e interacción de personas con discapacidad
PCT/ES2016/070697 WO2017060547A1 (es) 2015-10-05 2016-10-03 Sistema multisensor para rehabilitación e interacción de personas con discapacidad

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201531430A ES2561927B1 (es) 2015-10-05 2015-10-05 Sistema multisensor para rehabilitación e interacción de personas con discapacidad

Publications (2)

Publication Number Publication Date
ES2561927A1 ES2561927A1 (es) 2016-03-01
ES2561927B1 true ES2561927B1 (es) 2017-02-10

Family

ID=55360537

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201531430A Active ES2561927B1 (es) 2015-10-05 2015-10-05 Sistema multisensor para rehabilitación e interacción de personas con discapacidad

Country Status (2)

Country Link
ES (1) ES2561927B1 (es)
WO (1) WO2017060547A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11161236B2 (en) 2017-09-14 2021-11-02 Sony Interactive Entertainment Inc. Robot as personal trainer

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070219059A1 (en) * 2006-03-17 2007-09-20 Schwartz Mark H Method and system for continuous monitoring and training of exercise
US9600934B2 (en) * 2011-06-30 2017-03-21 Orange Augmented-reality range-of-motion therapy system and method of operation thereof
CN203149575U (zh) * 2011-12-29 2013-08-21 无锡微感科技有限公司 一种基于微型传感器的交互式上肢康复设备
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
ES1138656Y (es) * 2015-04-09 2015-07-16 Synergy Movement Technologies 3 000 S L Dispositivo para el control de un entrenamiento fisico

Also Published As

Publication number Publication date
WO2017060547A1 (es) 2017-04-13
ES2561927A1 (es) 2016-03-01

Similar Documents

Publication Publication Date Title
US11493993B2 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
Dipietro et al. A survey of glove-based systems and their applications
Li et al. Leveraging proprioception to make mobile phones more accessible to users with visual impairments
CN101751126A (zh) 使用多个传感器空间的免提的基于手势的接口
Nasser et al. ThermalCane: Exploring thermotactile directional cues on cane-grip for non-visual navigation
RU187548U1 (ru) Перчатка виртуальной реальности
RU179301U1 (ru) Перчатка виртуальной реальности
CN110908515A (zh) 基于腕部肌肉压力的手势识别方法和装置
WO2021246134A1 (ja) デバイス、制御方法及びプログラム
US20210068674A1 (en) Track user movements and biological responses in generating inputs for computer systems
US10948980B2 (en) Electronic device system with controllers
KR102162922B1 (ko) 촉각 피드백이 가능한 가상현실 기반의 손 재활 시스템
Spiers et al. First validation of the haptic sandwich: A shape changing handheld haptic navigation aid
Shahmohammadi et al. On lightmyography: A new muscle machine interfacing method for decoding human intention and motion
ES2561927B1 (es) Sistema multisensor para rehabilitación e interacción de personas con discapacidad
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
Zeng et al. Designing a brain computer interface using emotiv headset and programming languages
ES2926994T3 (es) Sistema de conversión de los movimientos relacionados con la lengua de signos en voz y/o texto escrito
Hsieh et al. Developing hand-worn input and haptic support for real-world target finding
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
WO2020222954A1 (en) System, method and apparatus for therapy and computer usage
Chakoma et al. Converting South African sign language to verbal
Torres-Sanchez et al. A 3D hand motion capture device with haptic feedback for virtual reality applications
US11709554B1 (en) Finger devices with adjustable housing structures
CN113220117B (zh) 一种用于人-计算机交互的装置

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2561927

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20170210