ES2966949T3 - Método y sistema de interacción háptica - Google Patents
Método y sistema de interacción háptica Download PDFInfo
- Publication number
- ES2966949T3 ES2966949T3 ES17822675T ES17822675T ES2966949T3 ES 2966949 T3 ES2966949 T3 ES 2966949T3 ES 17822675 T ES17822675 T ES 17822675T ES 17822675 T ES17822675 T ES 17822675T ES 2966949 T3 ES2966949 T3 ES 2966949T3
- Authority
- ES
- Spain
- Prior art keywords
- host system
- application
- translation
- processing unit
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000003993 interaction Effects 0.000 title claims description 28
- 238000013519 translation Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 97
- 230000033001 locomotion Effects 0.000 claims abstract description 93
- 238000006243 chemical reaction Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 23
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 239000004984 smart glass Substances 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000001976 improved effect Effects 0.000 abstract description 12
- 238000004088 simulation Methods 0.000 abstract description 6
- 210000003811 finger Anatomy 0.000 description 33
- 230000009471 action Effects 0.000 description 20
- 238000005452 bending Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000000638 stimulation Effects 0.000 description 8
- 210000003813 thumb Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009429 electrical wiring Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000256836 Apis Species 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 206010016326 Feeling cold Diseases 0.000 description 1
- 206010016334 Feeling hot Diseases 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000000929 nociceptor Anatomy 0.000 description 1
- 230000008058 pain sensation Effects 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000002646 transcutaneous electrical nerve stimulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
La presente invención se refiere a un método mejorado para comunicar y procesar señales de salida de movimiento desde dispositivos portátiles hápticos agnósticos al sistema anfitrión que ejecuta, gestiona y modifica un tipo de aplicación. Específicamente, la aplicación de las invenciones es específicamente relevante para el ámbito de los juegos, la salud, las simulaciones, la interfaz hombre-máquina, la robótica, el control de vehículos/herramientas no tripulados y similares. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Método y sistema de interacción háptica
Campo técnico
La invención pertenece al campo técnico de la interacción de herramientas hápticas con aplicaciones que se ejecutan en un sistema anfitrión a través de un método mejorado para comunicar y procesar señales de salida de movimiento desde dispositivos portátiles hápticos agnósticos al sistema anfitrión que ejecuta, gestiona y modifica dicha aplicación. preferentemente realidades virtuales y realidades aumentadas. Específicamente, la aplicación de las invenciones es específicamente relevante para el ámbito de los juegos, la salud, las simulaciones, la interfaz hombre-máquina, la robótica, el control de vehículos/herramientas no tripulados y similares.
Antecedentes
El objetivo de la invención es proporcionar un método mejorado y más inmersivo de interacción de un usuario con una aplicación, preferiblemente con realidad virtual o aumentada, a través de un dispositivo de manejo mejorado y un método mejorado de procesamiento de las señales registradas por el dispositivo de manejo, para transmitir intuitivamente las acciones de un usuario a un efecto deseado en la aplicación (potencialmente capaz de crear una VR o AR), sin demandas excesivas para configurar el dispositivo de manejo con respecto al sistema anfitrión, como es el caso en muchas realizaciones actualmente conocidas.
Se han desarrollado métodos conocidos y específicamente dispositivos de manejo hápticos para la interacción con aplicaciones electrónicas, específicamente realidad virtual (y aumentada), para satisfacer las necesidades de un sistema anfitrión específico (por ejemplo, ordenador, teléfono inteligente, PlayStation, Xbox y otros) o tipos de aplicaciones particulares (disparador, simulador de vuelo, deportes y otras), y carecen de la versatilidad para ser usados en diferentes ocasiones, a menudo incluso carecen de la capacidad básica que permite el uso en otras situaciones (a menudo los desarrolladores no permiten que una palanca de mando para un primer sistema de juego se pueda usar con un segundo sistema de juego diferente) y, de hecho, impide la interoperabilidad de dichas herramientas. No sólo se convierte rápidamente en una tarea muy costosa para un usuario estar equipado para una amplia variedad de aplicaciones y/o sistemas, sino que también se vuelve más difícil, ya que las particularidades de cada uno de los dispositivos (palancas de mando, volantes, pistolas, etc.) tendrá un uso intrínsecamente diferente y no permitirá que el usuario se familiarice fácilmente con una gama más amplia de aplicaciones.
También se ha fabricado una gama más genérica de este tipo de herramientas, aunque normalmente requieren la instalación de un programa específico independiente (complemento, SDK u otros) en el sistema host que necesita una actualización específica, requiere reprogramación o adaptaciones para cada uno de ellos. tipo de aplicación que se va a ejecutar en el sistema host.
Ambas categorías de dispositivos de manipulación permiten mover objetos, adaptar visualizaciones o activar otras partes de entornos (VR o AR) detectando el movimiento del usuario a través de sensores que envían señales a un sistema anfitrión (ordenador, Xbox, PlayStation, etc.).
Además, se debe considerar que la relevancia de la mayoría de los dispositivos de manejo de la técnica anterior con respecto al concepto de esta invención es inexistente, ya que los dispositivos de manejo de la técnica anterior típicamente adoptan una forma específica relevante para su aplicación (como se dijo, volante, rifle, ...) y como tal sólo se puede usar en un número limitado de aplicaciones, muchas de las cuales incluso se alejan de las realidades físicas de las herramientas. Por ejemplo, una herramienta de rifle para juegos normalmente servirá como pistola, rifle, bazuca, etc., incluso sin tener la forma correcta. Aún más, una palanca de mando normalmente se empleará como una miríada de otras herramientas, que van desde armas hasta volantes, e incluso una mano y dedos. Todos estos dispositivos de manipulación requerirán una pieza de programación específica, como se mencionó, para comunicarse de manera eficiente con el sistema anfitrión en el que se ejecuta la aplicación para lograr las acciones deseadas en la aplicación, y específicamente en una realidad virtual o aumentada. La intención de esta invención es permitir que el dispositivo de manejo actúe en la mano del usuario para transmitir adecuadamente la experiencia de manejar la herramienta correcta aplicable a cada situación en una aplicación, algo que no se puede garantizar con muchas de las herramientas disponibles actualmente.
No se puede esperar que un usuario compre todo un arsenal de dispositivos de manejo para aplicaciones específicas (volantes, palancas de mando de dirección, pistola o pistolas, rifle o rifles, otras armas, palancas de mando de vuelo (a menudo específicos de ciertos vehículos), pero sí sigue siendo deseable obtener una experiencia óptimamente realista en la interacción con la aplicación, por ejemplo una realidad virtual o aumentada. Esto se logra de manera óptima mediante la invención propuesta en este documento, en la que se elige no proporcionar una herramienta mejorada con sensores y componentes electrónicos para ser manipulados que transmitan las actuaciones ejercidas sobre dicha herramienta mejorada, sino que en su lugar pretende proporcionar un dispositivo de manejo que transmita las acciones sobre un objeto "muerto" mediante el dispositivo de manejo, estando típicamente dicho dispositivo de manejo conformado para ajustarse alrededor de una parte del cuerpo del usuario, generalmente una o más manos (y/o dedos) y/o brazos del usuario. Además, esto logra simplificar la forma en que un usuario puede, con sólo unas pocas y sencillas acciones, proporcionar señales de control a un sistema anfitrión con una precisión muy alta, a diferencia de dispositivos de manejo menos óptimos (por ejemplo, una palanca de mando para una aplicación de disparo) que requerirá numerosas y/o complejas manipulaciones para proporcionar la señal deseada al sistema anfitrión.
Un último inconveniente importante de muchas de las "herramientas de interacción" conocidas que se usan junto con un sistema de procesamiento electrónico como PlayStation, etc., es que con frecuencia requieren infraestructura adicional, como cámaras, sensores y cableado para seguir con precisión los movimientos del usuario. No sólo es una inversión costosa, sino que restringe la aplicabilidad y movilidad de las herramientas de interacción (necesita suficiente espacio libre, requiere la reubicación y posible instalación de estos elementos de infraestructura cuando se usan las herramientas de interacción en una nueva ubicación y, en general, hace el procesamiento de los datos más difícil ya que se deben incluir más parámetros en los cálculos).
Sigue existiendo una necesidad en la técnica de un dispositivo de manipulación mejorado conformado para adaptarse a una parte del cuerpo del usuario capaz de detectar acciones y manipulaciones de la parte del cuerpo del usuario, específicamente la mano y los dedos en la mayoría de los casos, y de transmitir estas manipulaciones y acciones como señales al sistema anfitrión que ejecuta la aplicación (VR o AR), cuyo sistema anfitrión está adaptado para traducir automáticamente las señales del dispositivo de manejo de la invención en señales típicas para el tipo de sistema anfitrión y el tipo de aplicación (VR o AR) que se ejecuta. En general, la invención tiene como objetivo proporcionar un método simplificado de interacción entre un dispositivo de manejo y un sistema anfitrión para ejecutar, gestionar y modificar entornos de aplicaciones (VR o AR).
El solicitante toma nota de que se introdujeron algunas mejoras en este campo, por ejemplo discutidas en documentos como US 2016/054797 A1, US 2016/279514 A1 y US 2016/162022 A1, aunque las soluciones que allí se ofrecen son insuficientes.
El documento US 2016/054797 A1 describe un objeto de interfaz de guante que comprende: una parte de dedo índice; un circuito de resistencia que incluye una resistencia índice definida a lo largo de la porción del dedo índice, y una fuente de alimentación para aplicar una corriente a través de la resistencia índice; una parte de pulgar; un circuito de sonda que incluye un contacto para el pulgar definido en la parte de pulgar, estando configurado el circuito de sonda para leer un voltaje, a través del contacto para el pulgar, en una ubicación a lo largo de la resistencia índice en la que se produce el contacto entre el contacto para el pulgar y la resistencia índice; un módulo de procesamiento de datos para procesar el voltaje leído por el circuito de sonda para generar datos de control de índice del pulgar que son indicativos de la ubicación en la que se produce el contacto entre el contacto del pulgar y la resistencia de índice; un módulo de comunicaciones configurado para enviar los datos de control del índice del pulgar a un dispositivo informático para su procesamiento para definir una configuración para un entorno virtual.
El documento US 2016/279514 describe un sistema para usar múltiples dispositivos electrónicos de control y seguimiento para interacción de realidad mixta, que comprende un dispositivo de control electrónico que se comunica con una pluralidad de dispositivos electrónicos a través de una red, que recibe la interacción del usuario y la transmite a dispositivos a través de la red, y que recibe interacción desde otros dispositivos a través de la red y la transmite a un dispositivo anfitrión, y un método para comunicación anidada entre múltiples dispositivos de control electrónico y sistemas electrónicos.
El documento US 2016/162022 A1 describe un aparato de interfaz de control de gestos portátil que se usa para controlar un dispositivo controlable con base en gestos proporcionados por un usuario. El aparato de interfaz de control de gestos portátil incluye (i) sensores configurados para detectar la orientación y el movimiento del usuario y generar los datos del sensor correspondientes y (ii) un microcontrolador configurado para: muestrear los datos de sensor de los sensores, determinar si los datos de sensor de uno de los sensores cumple con los criterios de transmisión; y si los datos de sensor cumplen con los criterios de transmisión, transmitir los datos de control correspondientes a todos los sensores al dispositivo controlable.
La invención descrita en la presente solicitud pretende mejorar aún más los documentos mencionados, así como cualquier otro existente en el campo.
La presente invención pretende resolver al menos algunos de los problemas mencionados anteriormente.
Compendio de la invención
La presente invención proporciona un método mejorado según la reivindicación 1.
En una realización alternativa (nuevamente, preferiblemente con el método que proporciona interacción agnóstica con una realidad virtual (VR) o realidad aumentada (AR) producida por un sistema anfitrión, mediante el cual dicho sistema anfitrión es adecuado para ejecutar un tipo de aplicación VR y/o AR, y en el que el paso f de procesamiento de las señales de control comprende preferentemente modificar características de la realidad virtual o la realidad aumentada según las señales de control), la invención se refiere a un método según la reivindicación 2.
En ambas realizaciones, el método comprende un paso de determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento, y en caso de incapacidad para determinar el tipo de sistema anfitrión, permitir al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante el cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión. De forma alternativa o adicional, la nueva biblioteca de conversión de sistema se almacena localmente en el sistema anfitrión. De manera similar, el usuario puede configurar un nuevo perfil de traducción de aplicaciones para la biblioteca de conversión de aplicaciones para tipos de aplicaciones desconocidos.
De nuevo, al determinar automáticamente el tipo de sistema anfitrión (por ejemplo, entre una variedad de tipos de sistemas anfitriones comunes y/o más específicos, como PlayStation, Wii, Xbox, PC, teléfono inteligente - de nuevo posiblemente con diferentes subtipos-, televisores inteligentes, etc.), el método proporciona una capacidad enchufar y jugar (en inglés, plug-and-play) mejorada al usuario y, más generalmente, al dispositivo háptico que el usuario está empleando. Por lo tanto, ya no es necesario que el usuario realice una configuración elaborada ni que seleccione el sistema anfitrión "correcto" (lo que es más importante, aunque no todos los tipos serán tan obvios como los enumerados anteriormente, especialmente cuando se trata de sistemas anfitriones más especializados, por ejemplo en aplicaciones médicas, simuladores de vuelo más profesionales, etc.).
El paso de determinar automáticamente el tipo de sistema anfitrión se puede implementar mediante varios métodos, de los cuales algunos se detallan a continuación:
Un primer método comprende la denominada operación de "apretón de manos" en el protocolo de comunicación entre el sistema anfitrión y la unidad de procesamiento. La unidad de procesamiento solicitará una identificación del sistema anfitrión (un código de sistema de cualquier tipo para identificar el sistema anfitrión), que luego la unidad de procesamiento compara con identificaciones conocidas en su memoria. Esta identificación puede obtenerse, por ejemplo, consultando la unidad de procesamiento la biblioteca del sistema anfitrión (cualquier sistema anfitrión en el campo comprende dicha biblioteca) y analizando (algunos de) los datos en la biblioteca, el tipo de sistema anfitrión puede entonces ser determinado. Cabe señalar que tal procedimiento significaría que no se requieren acciones ni modificaciones de ningún tipo para integrar cualquier sistema anfitrión existente en el método de la invención. Alternativamente, el sistema anfitrión puede modificarse para proporcionar automáticamente una identificación a petición de la unidad de procesamiento. Normalmente, la unidad de procesamiento tendrá una lista de identificaciones para la mayoría de los sistemas usados comúnmente. Dado que hay un número limitado de «reproductores» en el mercado (en el caso de las consolas, una lista de este tipo podría incluir, por ejemplo, a Sony, Microsoft, Nintendo, así como algunos reproductores más pequeños, lista que luego puede subdividirse para sistemas anfitriones específicos de los reproductores; para PC y portátiles, teléfonos inteligentes y tabletas, y otros tipos de sistemas anfitriones, se pueden hacer listas similares fácilmente; por supuesto, los nuevos fabricantes que ingresan al campo y las nuevas tecnologías se pueden agregar fácilmente a esta lista) esta lista no será demasiado grande, lo que permite una fácil identificación. Cabe señalar que dicha lista se puede actualizar fácilmente en caso de que ingresen al mercado nuevos sistemas o incluso nuevos proveedores, por ejemplo mediante un parche que se descarga automática o manualmente en la unidad de procesamiento cuando está conectada a Internet.
Un segundo método es la integración de software y/o hardware en el sistema anfitrión, que podría comunicarse directamente con la unidad de procesamiento. Dicha pieza de software y/o hardware está adaptada específicamente al sistema anfitrión y, por lo tanto, puede compartir los detalles con la unidad de procesamiento, permitiendo una fácil identificación del sistema anfitrión.
Un tercer método sería el de "ensayo y error". Las unidades de procesamiento inician un proceso de sincronización en el que se comunican señales de comando "aleatorias" al sistema anfitrión. Preferiblemente, se sabe que las señales de comando que se comunican provocan una respuesta de los sistemas anfitriones de uno o más de los tipos "conocidos". A partir de las respuestas se determina el tipo de sistema anfitrión. Esto podría determinarse después de un único intercambio o después de algunas iteraciones, dependiendo de qué tan rápido se determine el tipo de sistema anfitrión. Preferiblemente, las señales de comando se envían en un orden que coincida con la prevalencia de los sistemas anfitriones, ya que esto minimizaría estadísticamente el tiempo de reconocimiento para determinar el tipo. Alternativamente, las señales de comando se envían en un orden que corresponda con los últimos sistemas anfitriones reconocidos. Además de este enfoque, las señales de comando se pueden enviar en un orden con base en la frecuencia con la que cada tipo de sistema anfitrión ha sido reconocido para la unidad de procesamiento específica, o incluso una combinación de dos o más de estos enfoques (por ejemplo, con base en la frecuencia de uso y en el último sistema anfitrión usado). Cabe señalar que después de determinar el tipo de sistema anfitrión, todavía se puede enviar una señal de confirmación al sistema anfitrión para asegurarse de que la determinación fue correcta.
Con el término "sistema anfitrión" tal como se usa en el presente documento, el documento se refiere a una infinidad de posibles dispositivos capaces de ejecutar aplicaciones (programas, juegos, etc.), y preferiblemente capaces de producir un entorno VR o AR y de visualizar dicho entorno (posiblemente a través de uno o más dispositivos de visualización de algún tipo que puedan integrarse en el sistema host o conectarse (de forma inalámbrica y/o cableada). Este sistema anfitrión puede ser un ordenador general, un ordenador portátil, una tableta, un teléfono inteligente, una consola de juegos (PlayStation, Xbox, Wii y otras), una televisión inteligente, etc. o sistemas AR y/o VR dedicados. Estos pueden complementarse, por ejemplo, con cascos o gafas VR/AR. Tenga en cuenta que un teléfono inteligente puede ser un sistema anfitrión, mientras que la aplicación que se ejecuta puede, por ejemplo, recibir una llamada telefónica y gestionar dicha llamada telefónica, entre otras cosas, como ejecutar el menú de visualización visual del teléfono inteligente.
Con el término "manipulaciones manuales" tal como se usa en el presente documento, el documento se refiere a un número de movimientos o acciones absolutos y/o relativos de la mano y/o partes de la misma.
El término "tipo de aplicación", tal como se usa en el presente documento, se refiere a un área o campo general al que pertenece la aplicación. Normalmente, para los juegos, esto puede ser, como se mencionó anteriormente, el tipo de juego como disparadores, RPG, deportes (con varios subtipos para diferentes deportes), carreras (nuevamente con varios subtipos posibles), volar, etc. Los llamados tipos de 'aplicaciones de simulación' también pertenecerán a la categoría de juegos. Cabe señalar que en los dispositivos de manipulación convencionales, donde el dispositivo de manipulación es la herramienta que se va a manipular, el dispositivo de manipulación es muy diferente dependiendo del tipo de aplicación, mientras que la invención resuelve este problema de manera experta actuando de hecho como la mano (o una versión en sombra del mismo) del usuario (u otra parte del cuerpo dependiendo de la realización particular del dispositivo de manipulación de la invención).
El término "guante" o "guante háptico" puede referirse además a un exoesqueleto de una mano. Lo mismo se aplica a los dispositivos hápticos de la invención para otra parte o partes del cuerpo; estos pueden proporcionarse de manera similar como un tipo de exoesqueleto para dicha parte o partes del cuerpo.
En un aspecto adicional, la invención proporciona un sistema electrónico para interactuar con un sistema anfitrión electrónico que ejecuta un tipo de aplicación, y para modificar la aplicación según señales de control recibidas, comprendiendo dicho sistema electrónico para interactuar al menos un dispositivo háptico al menos parcialmente flexible adecuado para ser usado en la mano de un usuario, según la reivindicación 13. Dicha biblioteca de conversión del sistema normalmente se almacena en un elemento de memoria de la unidad de procesamiento, o en el dispositivo háptico y es accesible mediante dicha unidad de procesamiento.
Preferiblemente, el método anterior proporciona específicamente un sistema electrónico para interactuar con una realidad virtual (VR) y/o realidad aumentada (AR) producida por un sistema anfitrión electrónico, siendo dicho sistema anfitrión adecuado para ejecutar un tipo de aplicación VR y/o AR y para modificar el VR y/o AR producido según las señales de control recibidas.
Alternativamente, la invención proporciona un sistema electrónico para ejecutar, gestionar e interactuar con un tipo de aplicación, preferiblemente una aplicación que produce realidad virtual (VR) y/o realidad aumentada (AR), según la reivindicación 14.
Además, dicha biblioteca de conversión de sistema puede complementarse para ambos aspectos con una biblioteca de conversión de aplicaciones, o combinarse con la misma.
Preferiblemente, el sistema anfitrión electrónico está configurado para producir VR y/o AR, siendo dicho sistema anfitrión adecuado para ejecutar un tipo de aplicación VR y/o AR, y para modificar el VR y/o AR producido según las señales de control recibidas.
Descripción de las figuras
La Figura 1 muestra una representación esquemática de un dispositivo háptico según la invención y un sistema electrónico para ejecutar un tipo de aplicación interactiva, y opcionalmente crear y gestionar entornos VR o AR.
Descripción detallada de la invención
La presente invención se refiere a un método mejorado y a un dispositivo háptico para la interacción agnóstica de sistema con un sistema anfitrión que ejecuta un tipo de aplicación (interactiva), preferiblemente una aplicación de realidad virtual y/o realidad aumentada.
A menos que se defina lo contrario, todos los términos usados en la descripción de la invención, incluidos los términos técnicos y científicos, tienen el significado comúnmente entendido por un experto en la técnica a la que pertenece esta invención. A modo de orientación adicional, se incluyen definiciones de términos para apreciar mejor las enseñanzas de la presente invención.
Tal como se usan en este documento, los siguientes términos tienen los siguientes significados:
"Un", "uno" y "el", tal como se usan en este documento, se refieren a referentes tanto en singular como en plural, a menos que el contexto indique claramente lo contrario. A modo de ejemplo, "un compartimento" se refiere a uno o más de un compartimento.
"Comprender", "que comprende", y "comprende" y "compuesto por" como se usan en el presente documento son sinónimos de "incluir", "incluido", "incluye" o "contener", "que contiene", "contiene" y son inclusivos o términos abiertos que especifican la presencia de lo que sigue, por ejemplo componente y no excluyen ni impiden la presencia de componentes, características, elementos, miembros o pasos adicionales no mencionados, conocidos en la técnica o descritos en la misma.
El término "aplicación" generalmente se refiere a un programa capaz de ejecutarse en un sistema electrónico. Normalmente, una aplicación crea un entorno en el que el usuario puede realizar una serie de tareas y/o emitir una serie de comandos.
El término "interacción agnóstica de sistema" se refiere a que la interacción entre el sistema anfitrión y el dispositivo háptico es generalmente agnóstico del sistema anfitrión, por lo que no requiere la descarga de complementos adicionales u otro software para poder comunicarse correctamente. Este último es el caso en la mayoría de los sistemas informáticos cuando se combinan con un dispositivo electrónico (complejo) no específico de una marca, como un guante háptico, que es uno de los problemas que la invención desea abordar.
La recitación de rangos numéricos por puntos finales incluye todos los números y fracciones subsumidos dentro de ese rango, así como los puntos finales recitados.
En un primer aspecto, la invención proporciona un método mejorado para la interacción agnóstica de sistema con un sistema anfitrión que ejecuta un tipo de aplicación, preferiblemente un método mejorado para la interacción agnóstica de sistema con una realidad virtual (VR) o realidad aumentada (AR) producida por un sistema anfitrión, dicho sistema anfitrión es adecuado para ejecutar un tipo de aplicación VR y/o AR, como se describió anteriormente tanto en la primera como en la realización alternativa.
Como se mencionó anteriormente, los dispositivos de la técnica anterior son a menudo específicos del sistema y niegan al usuario la interoperabilidad con otros sistemas, o requieren software específico separado para que cada dispositivo de manipulación se ejecute en cada sistema. El solicitante ha superado esto proporcionando un dispositivo de manipulación más genérico que en primer lugar está destinado a detectar manipulaciones manuales, en lugar de manipulaciones del dispositivo de manejo. Esto permitirá una representación mucho más realista de la acción que el usuario pretende transmitir en la aplicación (VR o AR) y, además, puede ser mucho más intrincada y detallada que las acciones posibles en una palanca de mando típica (o incluso un teclado) o similares. Estos controladores más tradicionales solo tienen una cantidad limitada de variedad en la forma en que se pueden manipular y, por lo tanto, una cantidad mucho más limitada de posibles señales/acciones que se pueden transmitir (por lo que para permitir más acciones por parte de un usuario en el (VR o AR), serán necesarias combinaciones de señales, haciendo la interacción más compleja y menos natural). Además, permite al usuario manipular objetos reales o realistas (tangibles) (por ejemplo, un palo de golf, un rifle,...) para dar una mejor indicación de su peso, dimensiones y sensación reales, para brindar una experiencia más realista.
Al usar un dispositivo háptico portátil, para capturar mejor los movimientos y maniobras reales y deseados del usuario, esto permite una gama más amplia de señales de salida de movimiento que pueden generar problemas al "traducirlas" al sistema anfitrión para poder crear el efecto deseado en el entorno de la aplicación (VR o AR). En los pocos sistemas existentes de la técnica anterior similares al dispositivo háptico de la invención, esto generalmente se soluciona limitando la versatilidad de aplicación de dichos dispositivos hápticos portátiles (de hecho, creándolos para un único propósito), mientras que el objeto de esta invención no pretende limitar su uso en determinadas aplicaciones, sino que ofrece una aplicabilidad universal del dispositivo háptico portátil. Los dispositivos de la técnica anterior, como un controlador (Wii o similar), solo tienen una gama limitada de movimientos y matices que pueden detectar, aunque dependiendo de la aplicación particular que se ejecute, existe una amplia gama de posibles movimientos y matices que deben detectarse. Por ejemplo, en un juego de golf el usuario sujetará y manipulará un controlador de una manera muy particular, mientras que en un simulador de helicóptero el usuario manipulará el controlador de una manera completamente diferente y necesitará detectar acciones muy diferentes. Al seguir y detectar los movimientos, presiones, etc. exactos del usuario, la invención que nos ocupa es capaz de captar correctamente estos matices.
Esto se logra además mediante el método en una posible realización trabajando con una biblioteca de conversión de aplicaciones que comprende una serie de 'perfiles de traducción' predefinidos y específicos de la aplicación, o perfiles de traducción de aplicaciones, que están destinados a procesar las señales de salida de movimiento registradas por el dispositivo háptico, en las señales de control que el sistema anfitrión espera recibir, o en otras palabras, permite que el dispositivo háptico emule los dispositivos soportados de forma nativa por el sistema anfitrión traduciendo las señales de salida de movimiento del dispositivo háptico en consecuencia.
Los tipos de aplicaciones más comúnmente usados son limitados (disparador, simulador de vuelo, carreras, intervención médica, deportes, etc.), aunque existen multitud de variantes en todas estas categorías (tipo de armas/fusil, tipo de avión/helicóptero/..., tipo de coche/..., etcétera). Como se señaló, al optar por proporcionar un dispositivo háptico con la forma de una parte del cuerpo (típicamente la mano), ya no hay problema con estas diferentes variantes, ya que proporcionarán señales iguales o similares al sistema anfitrión. Luego, la diferencia en los tipos de aplicaciones se resuelve proporcionando una serie de perfiles de traducción predefinidos adaptados a aplicaciones específicas para garantizar que se proporcionen las señales de control correctas al sistema anfitrión que se usará en la aplicación (VR o AR). Tenga en cuenta que en el caso de tipos de aplicaciones muy específicos que no se proporcionaron, el usuario puede configurar fácilmente un perfil de traducción y guardarlo para uso futuro. Este perfil se puede guardar localmente en el dispositivo háptico y/o en el sistema anfitrión.
Lo mismo se aplica a posibles sistemas anfitriones, y el solicitante nos lo ha demostrado fácilmente proporcionándonos perfiles de traducción para estos sistemas anfitriones. En la práctica, existen varias consolas de videojuegos domésticas populares, pero no son compatibles entre sí, especialmente con los controladores de cada una. El solicitante resuelve esto convenientemente proporcionando una biblioteca de conversión de sistema con una serie de perfiles de traducción específicos para diferentes sistemas anfitriones, perfiles de traducción de sistemas. Lo más conveniente es que se pueden configurar para la mayoría de las consolas conocidas y, además, para otros sistemas de procesamiento (de juegos) (teléfonos inteligentes, ordenadores, ordenadores portátiles, sistemas AR o VR dedicados, etc.). Nuevamente, el usuario puede configurar perfiles de traducción de sistemas específicos para sistemas anfitriones "desconocidos" y guardarlos en el dispositivo háptico y/o en el propio sistema anfitrión.
El solicitante, en una primera realización del método según la invención, proporciona una biblioteca de conversión de sistema en el sistema anfitrión (preferiblemente como un ejecutable descargable, por ejemplo, puede descargarse directamente desde el dispositivo háptico) que comprende una multitud de perfiles de traducción de sistema predefinidos, diseñado para "traducir" o convertir correctamente las señales de salida de movimiento del dispositivo háptico en señales de control que generalmente recibe el sistema anfitrión para definir la acción deseada. Normalmente, existen varias consolas de juegos populares y extendidas, así como otros sistemas host (teléfonos inteligentes, procesadores VR/AR especialmente dedicados, PC, portátiles, ...) y, para estos sistemas, se puede configurar un perfil de traducción de sistema predefinido, mientras que para sistemas menos comunes, esto puede ser definido por un usuario. Tras el reconocimiento del sistema anfitrión, se selecciona el perfil de traducción de sistema correcto y se usa en la conversión. Alternativamente, en una segunda realización, la biblioteca de conversión del sistema se proporciona al dispositivo háptico que ejecuta la traducción según el principio analizado anteriormente.
La transmisión de señales de salida de movimiento procesadas desde los (unidad de procesamiento de) dispositivos hápticos al sistema anfitrión se realiza a través de comunicación inalámbrica, aunque también es posible la comunicación por cable. Preferiblemente, las señales se comunican a través de Bluetooth (Bluetooth de Baja Energía - BLE), sin embargo, se puede usar Wi-Fi u otros estándares de comunicación inalámbrica (alternativos o además de Bluetooth), como ZigBee, etc., ya que esto permite una conexión rápida y confiable sin tener que lidiar con cables engorrosos durante la interacción, que pueden obstaculizar la experiencia de inmersión. Esta comunicación se puede lograr mediante un microchip transceptor (o un componente con función similar) implementado en la unidad de procesamiento.
En este documento, la forma del dispositivo háptico generalmente es referida como (uno o más de) un guante portátil, sin embargo, de ninguna manera debe verse como limitado a eso. Por ejemplo, también podría adoptar la forma de una máscara para la cabeza, un artículo para la cabeza, gafas, calzado, artículos para el cuerpo y combinaciones de los mismos. Por ejemplo, podría ser interesante una combinación de un guante portátil con equipo adicional para el brazo (por ejemplo, usado en el bíceps o incluso en el codo) para detectar la posición relativa de la mano con respecto al brazo, el ángulo con el que el brazo está doblado, cómo se apunta generalmente, etc. Además, cabe señalar que el dispositivo háptico puede denominarse generalmente guante, pero que esto de ninguna manera requiere que el dispositivo tenga la forma completa de un guante estándar. También puede tener una forma general para parecerse y/o adaptarse a una estructura similar a una mano, por ejemplo una superficie flexible en contacto con la mano y conectada a la misma (mediante un anillo, por ejemplo). Sin embargo, lo más preferiblemente, el dispositivo de manipulación está configurado para seguir los movimientos de la mano del usuario. En consecuencia, el dispositivo de manipulación está fabricado, total o parcialmente, de material flexible. Además, el dispositivo de manipulación comprende su propia parte de base que entra en contacto con la palma de la mano, y una pluralidad de partes periféricas, destinadas a entrar en contacto con los dedos de la mano.
Se debe considerar que el dispositivo háptico posiblemente pueda estar provisto de múltiples dispositivos subordinados o esclavos (separados espacialmente y/o desmontables) que se conectan todos al primer dispositivo háptico "central". Estos dispositivos subordinados pueden comprender uno o más sensores (como se explicó) y transmitir las señales de salida de movimiento detectadas por los sensores en los dispositivos subordinados al dispositivo háptico central. Estos dispositivos subordinados pueden ser, por ejemplo, un segundo guante, yemas para los dedos, gafas protectoras, un casco, un micrófono u otras prendas o equipo que el usuario pueda usar. La configuración de los dispositivos subordinados y del dispositivo háptico central corresponde a un sistema de sensores en cascada en el que no existe comunicación directa con el sistema anfitrión a través de los dispositivos subordinados.
En una mejora adicional, se pueden adaptar partes del dispositivo háptico para permitir la interacción con pantallas capacitivas, por ejemplo para permitir el funcionamiento de un teléfono inteligente, tableta, etc. Si el dispositivo háptico tiene forma de guante, dichas partes de habilitación capacitiva normalmente estar en la punta de uno o más dedos.
En términos generales, el dispositivo portátil háptico comprenderá una estructura de soporte, preferiblemente flexible, para permitir que el dispositivo se use prácticamente en una parte del cuerpo. En este documento, la mayor parte de la preocupación se centrará en un dispositivo háptico para llevar en una mano, pero el razonamiento se aplica a cualquier parte del cuerpo y el concepto de la invención no debe limitarse indebidamente a una mano únicamente. La estructura de soporte, un guante, está provista de una pluralidad de sensores. Dichos sensores pueden comprender varios sensores de flexión para detectar la flexión de una parte del cuerpo del usuario. En este caso, estos sensores de flexión se extenderán longitudinalmente y recorrerán al menos parte de los dedos de un usuario para detectar la flexión de los mismos. En términos más generales, los sensores de flexión se extenderán a lo largo de porciones periféricas del dispositivo háptico, alejándose de una parte central del mismo. No obstante, también pueden estar presentes sensores de flexión en la parte central del dispositivo háptico.
Además, se pueden proporcionar varios sensores de presión para detectar la presión sobre una parte del dispositivo háptico contra una superficie. Normalmente, estos sensores de presión se proporcionarán al menos en los extremos periféricos del dispositivo háptico (puntas de los dedos), y preferiblemente además en varias otras posiciones (intermedias). Por ejemplo, un punto interesante para proporcionarlos es el punto de transición de los metacarpianos a las falanges en el lado de la palma de la mano.
Un tercer tipo de sensores son los llamados sensores hápticos, que típicamente se extienden longitudinalmente a lo largo de partes periféricas del dispositivo háptico, alejándose de una parte central del mismo, aunque los sensores también pueden estar presentes preferiblemente en la parte central del dispositivo háptico. Estos sensores hápticos están diseñados para impartir una sensación de resistencia y, opcionalmente, presión (para indicar que un usuario está tocando algo). Normalmente, estos sensores comprenden elementos inflables para hacer que el usuario experimente más o menos resistencia. Tenga en cuenta que estos sensores normalmente se colocan en el lado de la estructura de soporte que se espera que entre en contacto con un objeto o superficie que no sea el propio usuario, mientras que los sensores de flexión generalmente se colocan en el lado opuesto.
Además, pueden estar presentes otros tipos de sensores, por ejemplo un giroscopio para determinar la posición y orientación del dispositivo háptico con respecto a una referencia estacionaria. Para ello, el giroscopio puede ser un "sistema de referencia de actitud y rumbo" (AHRS), que normalmente comprende sensores en tres ejes para proporcionar información de actitud en el dispositivo (entre los cuales balanceo, cabeceo y guiñada). Los sensores en los ejes pueden incluir giroscopios, acelerómetros y magnetómetros. Alternativamente, también se puede emplear una unidad de medición inercial (IMU), desde la cual los datos luego se procesan en un componente o dispositivo diferente. Además se puede incluir un barómetro.
También se pueden incluir sensores de temperatura en el dispositivo háptico, adaptados para registrar variaciones de temperatura, con el fin de modificar las mediciones realizadas por uno o más de los otros sensores (por ejemplo, de un magnetómetro).
Además, pueden estar presentes los llamados sensores de navegación a estima.
El dispositivo háptico puede comprender actuadores de retroalimentación de temperatura, que pueden variar su temperatura dependiendo de las señales de retroalimentación que se envían al dispositivo háptico, y qué actuadores pueden transmitir la temperatura al usuario. Esto es particularmente útil para aplicaciones de simulación realistas (simuladores de supervivencia, simuladores de combate, simuladores de vuelo, etc.) donde la temperatura es un parámetro muy real que puede influir enormemente en el comportamiento y el rendimiento de un usuario. Preferiblemente, los actuadores de retroalimentación de temperatura se pueden configurar a ciertas temperaturas mínima y máxima para protección, y se pueden configurar para cambiar la temperatura en un grado menor (por ejemplo, con respecto a una temperatura base, para cada grado se aumenta o aumenta la temperatura de simulación). reducida, la temperatura de retroalimentación se aumenta o reduce durante una fracción del aumento, preferiblemente hasta un cierto límite de temperatura tanto hacia arriba como hacia abajo). Cabe señalar que estos actuadores también se pueden usar para transmitir la sensación de dolor/inducir dolor al usuario (de nuevo, con las precauciones de seguridad adecuadas) mediante la exposición a temperaturas altas o bajas.
El dispositivo háptico puede comprender actuadores de retroalimentación de vibración, que pueden producir vibraciones. Los actuadores de retroalimentación de vibración están cerca de las superficies del dispositivo háptico que tocan al usuario cuando usa o empuña el dispositivo háptico para que el usuario sienta las vibraciones.
El dispositivo háptico puede comprender actuadores de retroalimentación de sensación táctil que son capaces de inducir una sensación táctil superficial en el usuario que lleva el dispositivo. Una posibilidad para la implementación puede ser a través de estimulación eléctrica (funcional) de los receptores de la punta de los dedos (o receptores en otras partes del cuerpo, por supuesto) del usuario para emular la señal eléctrica real enviada al sistema nervioso periférico cuando una superficie de se percibe un material (liso, rugoso, dentado, blando, duro, gelatinoso, etc.). La estimulación eléctrica puede, por ejemplo, inducir espasmos musculares de bajo nivel, lo que crea una sensación tangible/táctil. Tenga en cuenta que no es necesario que la superficie sea sólida, sino que, como se dijo, puede ser gelatinosa, elástica, etc., lo que da como resultado una resistencia variable que normalmente sentiría un usuario. Esta resistencia variable se puede emular adecuadamente modulando la intensidad de la estimulación eléctrica a medida que se mueve la mano/dedo (u otra parte del cuerpo) del usuario. Dependiendo del tipo de retroalimentación que se desee, la estimulación eléctrica puede variar en intensidad y duración. La estimulación eléctrica puede ser estimulación eléctrica funcional (FES), estimulación nerviosa eléctrica transcutánea (TENS) y/o estimulación eléctrica neuromuscular (NMES). Como posible complemento, también pueden estar presentes actuadores de retroalimentación de temperatura que usan señales eléctricas para transmitir al usuario la sensación de calor, frío y, en general, cambios de temperatura. Esto refuerza aún más la sensación auténtica del contacto superficial para el usuario.
El dispositivo háptico puede comprender actuadores de retroalimentación de dolor que son capaces de inducir dolor en el usuario que lleva el dispositivo. Una posibilidad de realización puede ser mediante estimulación eléctrica de los receptores del dolor del usuario (electrochoque) o mediante calor. Estas posibilidades permiten que la aplicación imparta una sensación más realista en determinadas aplicaciones (por ejemplo, en simulación de combate).
Cabe señalar que no todos los tipos de sensores están necesariamente presentes en el dispositivo háptico de la invención. Es posible tener solo sensores de flexión, o solo sensores de presión o solo sensores hápticos, o la combinación de sensores de presión y flexión, o sensores de presión y hápticos, o sensores de flexión y hápticos, o los tres, posiblemente complementados con uno o más de las otras opciones discutidas.
Como se mencionó anteriormente, el dispositivo háptico comprende una unidad de procesamiento, con una CPU o capacidad de CPU. Dicha unidad de procesamiento está conectada operativamente a la mencionada pluralidad de sensores para obtener las mediciones y señales de salida de movimiento de los sensores. Preferiblemente, esta conexión es cableada (cableado eléctrico), aunque podría ser posible una conexión inalámbrica, especialmente si se utilizan varios dispositivos hápticos, que están en comunicación con una única unidad central de procesamiento. La unidad de procesamiento está configurada para procesar las señales de salida de movimiento obtenidas de los sensores según sea necesario (puede depender de los requisitos del sistema principal), y preferiblemente aplica una estimación de error y una corrección a estos datos de los sensores. También es posible un procesamiento adicional, por ejemplo, compresión y/o cifrado antes de reenviar los datos al sistema anfitrión, donde se proporcionan a un programa o pieza de software específico que está configurado para procesar las señales de salida de movimiento recibidas en las señales de control nativas del sistema anfitrión. Una vez que se completa este paso de traducción, las señales de control se proporcionan al sistema anfitrión para que las procese en la aplicación (VR o AR) que se está ejecutando, modificando así típicamente las características del entorno producido (VR o AR), o cambiándolo de algún modo. forma u otra. Opcionalmente, se pueden proporcionar señales de retroalimentación al dispositivo háptico y, por tanto, al usuario.
Como se mencionó anteriormente, diferentes sistemas anfitriones pueden tener diferentes señales de control "esperadas" para transmitir una o más acciones particulares al sistema anfitrión. Por lo tanto, el solicitante aplica en su método propuesto un perfil de traducción de sistema desde una biblioteca de conversión de sistema, cuyo perfil de traducción es específico del tipo de sistema anfitrión en el que se ejecuta la aplicación (VR o AR). Se puede preprogramar una amplia variedad de perfiles para sistemas "estándar", permitiendo así fácilmente una operatividad enchufar y jugar del método propuesto por el solicitante, mediante el cual se elige el perfil de traducción correcto para el sistema anfitrión. En otras palabras, si el dispositivo háptico es "cargado" (reconocido por el sistema anfitrión, aceptado por un usuario) por un sistema anfitrión, el programa específico del método reconocerá el tipo de sistema anfitrión, por ejemplo una PlayStation, y convertir las señales de salida de movimiento recibidas de la unidad de procesamiento del dispositivo háptico en las señales de control correctas que esperaría un sistema anfitrión de PlayStation.
Debe entenderse además que la unidad de procesamiento adapta la salida de movimiento a un estándar (de interfaz) adecuado para la comunicación con el sistema principal. Puede ser Bluetooth, Zigbee, WiFi, cableado (USB) u otros estándares.
En una posible realización, la unidad de procesamiento comprende además uno o más elementos de memoria que almacenan (temporalmente) señales de salida de movimiento recientes (o las señales de control asociadas si las señales de salida de movimiento han sido procesadas) en caso de que no haya conexión con el sistema principal. Una vez que se ha establecido una conexión, las señales almacenadas se pueden comunicar al sistema anfitrión, que luego puede traducir las señales recibidas en acciones o movimientos. Por ejemplo, el dispositivo háptico puede almacenar información de movimiento (aceleración, inclinación, etc.) temporalmente. Una vez que se (re)establece la conexión, el sistema anfitrión puede recrear la ruta/movimiento que se realizó mientras no había conexión presente. Esta recreación se puede lograr mediante el uso de procesos de navegación a estima. El elemento de memoria almacena información sobre movimientos discretos relativos (durante partes de tiempo discretas), que luego puede usarse para reconstruir el movimiento completo combinándolos.
En una mejora de la primera realización del método según el primer aspecto de la invención, el método comprende además una etapa de proporcionar una biblioteca de conversión de aplicaciones a dicho sistema anfitrión, comprendiendo dicha biblioteca de conversión de aplicaciones una pluralidad de perfiles de traducción de aplicaciones, cada perfil de traducción de aplicaciones distintivo para un tipo específico de aplicación, y estando adaptado cada perfil de traducción de aplicaciones para hacer corresponder una conversión de señales de salida de movimiento recibidas desde uno o más dispositivos hápticos a una o más señales de control asociadas adecuadas para dicho tipo específico de aplicación, preferiblemente mediante lo cual dicha biblioteca de conversión de aplicaciones comprende perfiles de traducción de aplicaciones distintivos de al menos dos o más de los siguientes tipos de aplicaciones: aplicación de disparo, aplicación de simulador de vuelo, aplicación de conducción o carreras, aplicación de pilotaje remoto, interacción con dispositivo inteligente; mediante el cual el paso de traducir dichas señales de salida de movimiento en una o más señales de control asociadas según el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación, se ejecuta además según el perfil de traducción de aplicaciones distintivo del tipo de aplicación que se está ejecutando. el sistema anfitrión.
En una mejora de la segunda realización (alternativa) del método según el primer aspecto de la invención, el método además incluye el paso de proporcionar una biblioteca de conversión de aplicaciones a dicha unidad de procesamiento, comprendiendo dicha biblioteca de conversión de aplicaciones una pluralidad de perfiles de traducción de aplicaciones, cada perfil de traducción de aplicaciones es distintivo de un tipo específico de aplicación, y cada perfil de traducción de aplicaciones está configurado para hacer corresponder una conversión de señales de salida de movimiento recibidas desde uno o más dispositivos hápticos a una o más señales de control asociadas adecuadas para dicho tipo específico de aplicación, preferiblemente mediante el cual dicha biblioteca de conversión de aplicaciones comprende perfiles de traducción de aplicaciones distintivos de al menos dos o más de los siguientes tipos de aplicaciones: aplicación de tirador, aplicación de simulador de vuelo, aplicación de conducción o carreras, aplicación de pilotaje remoto, interacción de dispositivo inteligente; mediante el cual el paso de traducir dichas señales de salida de movimiento en una o más señales de control asociadas según el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación, se ejecuta además según el perfil de traducción de aplicaciones distintivo del tipo de aplicación que se está ejecutando en el sistema anfitrión.
En una realización preferida adicional, el método comprende el paso de que el usuario determine manualmente el perfil de traducción de aplicaciones, desde la biblioteca de conversión de aplicaciones, que se usará para traducir las señales de salida de movimiento, permitiendo además al usuario crear un nuevo perfil de traducción de aplicaciones para el tipo de aplicación que se ejecuta en el sistema anfitrión, mediante el cual dicho nuevo perfil de traducción de aplicaciones se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión.
En una realización preferida del primer aspecto, el método comprende un paso de determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento. Determinando automáticamente el tipo de sistema anfitrión (por ejemplo, entre una variedad de tipos de sistemas anfitriones comunes y/o más específicos, como PlayStation, Wii, Xbox, PC, teléfono inteligente (posiblemente con diferentes subtipos), televisores inteligentes, etc.), el método proporciona una capacidad enchufar y jugar mejorada al usuario y, más generalmente, al dispositivo háptico que el usuario está empleando. Por lo tanto, ya no es necesario que el usuario realice una configuración elaborada ni que seleccione el sistema anfitrión "correcto" (lo que es más importante, aunque no todos los tipos serán tan obvios como los enumerados anteriormente, especialmente cuando se trata de sistemas anfitriones altamente especializados, por ejemplo en aplicaciones médicas, simuladores de vuelo profesionales, etc.). Mientras que cada vez más fabricantes de teléfonos inteligentes, consolas de juegos y medios electrónicos similares han comenzado a desarrollar controladores de sistema único, palancas de mando, dispositivos hápticos, etc., esto tiene el doble efecto de excluir a los usuarios de ciertos sistemas/aplicaciones debido al coste exorbitante. de estos dispositivos, pero en segundo lugar también requiere que el usuario desarrolle una "sensación" y adecuación para cada nuevo dispositivo por separado, en lugar de llegar a ser extremadamente competente con una sola herramienta, como es la intención de la invención que nos ocupa.
En una realización preferida, el dispositivo háptico es, por tanto, un guante háptico adecuado para ser usado en una mano del usuario, que comprende sensores al menos adaptados para detectar las siguientes manipulaciones de la mano, y preferiblemente la intensidad y/o velocidad y/o aceleración de dichas siguientes manipulaciones de la mano: doblar uno o más dedos de la mano, desplazar y/o rotar relativamente uno o más dedos de la mano con respecto a uno o más dedos de la mano, ejercer presión con una parte de uno o más dedos sobre una superficie, presión ejercida por una parte de la mano sobre una superficie, desplazamiento de la mano con respecto al sistema anfitrión, rotación de la mano con respecto al sistema anfitrión; y en donde dichas manipulaciones manuales siguientes, y preferiblemente dicha intensidad y/o velocidad, se proporcionan a la unidad de procesamiento como señales de salida de movimiento asociadas. Anteriormente se ha comentado una lista de posibles sensores adecuados para detectar dichos movimientos.
Obsérvese que cuando se hace referencia a una parte del cuerpo como "mano" o "dedo", se debe entender que el dispositivo detecta de hecho la manipulación ejercida sobre la parte del dispositivo perteneciente a dicha parte del cuerpo.
En una realización preferida, la unidad de procesamiento es, o está comprendida en, un teléfono inteligente o dispositivo electrónico, preferiblemente adecuado para su inserción operativa en un casco de realidad virtual. Más preferiblemente, dicho teléfono inteligente o dispositivo electrónico comprende uno o más sensores para determinar el desplazamiento espacial del usuario: giroscopio, sensor de navegación a estima, magnetómetro y/o acelerómetro; comprendiendo dicho método los pasos de: procesar señales de desplazamiento procedentes de dicho uno o más sensores para determinar el desplazamiento espacial; proporcionar señales adicionales y/o alternativas al sistema principal basándose en dichas señales de desplazamiento al sistema anfitrión; y además modificar características de la aplicación (entorno), preferiblemente modificando una realidad virtual o una realidad aumentada por el sistema anfitrión según al menos señales de desplazamiento adicionales y/o alternativas.
Dada la omnipresencia de los teléfonos inteligentes en el mundo actual, el método propuesto puede adaptarse específicamente a ellos. Además, el método puede hacer uso de una serie de sensores ya presentes en el propio teléfono inteligente y, por lo tanto, no depender únicamente de los sensores del dispositivo háptico. Esto puede usarse, por ejemplo, como corrección de ciertas señales del dispositivo háptico, o puede transmitir datos adicionales (por ejemplo, orientación de la cabeza del usuario - dirección de la línea de visión del usuario - cuando se usa con unos auriculares). Sin embargo, los sensores del teléfono inteligente se pueden usar especialmente para detectar el desplazamiento espacial del usuario.
En una realización preferida, el guante háptico está adaptado para determinar la intensidad de dichas manipulaciones manuales siguientes, que comprende un paso de calibrar al menos las señales de salida de movimiento asociadas a la intensidad de la flexión de uno o más dedos de la mano y a la intensidad. de presión ejercida por una parte de uno o más dedos de la mano. Al hacer que el usuario calibre los ajustes de intensidad para las mediciones del dispositivo háptico, puede personalizar aún más el dispositivo háptico según sus propias necesidades, o las de la aplicación particular, por ejemplo estableciendo umbrales de activación. Esta opción de calibración se puede solicitar durante la configuración, por ejemplo, como una pregunta de sí o no. Si se elige, el usuario puede dar ciertas intensidades de flexión, empujar, tirar y/o más acciones con significados más específicos para ser usados en la aplicación.
En una realización preferida, dichos uno o más dispositivos hápticos comprenden una pluralidad de cámaras de aire reversiblemente inflables en el dispositivo háptico para ejercer presión y/o fuerza sobre una parte del cuerpo del usuario, y una pluralidad de compresores para inflar y desinflar dichas cámaras de aire, comprendiendo dicho método un paso de transmitir una o más señales de retroalimentación a la unidad de procesamiento de uno o más dispositivos hápticos con base en dichas características modificadas, mediante el cual dichas señales de retroalimentación se activan mediante inflado y/o desinflado de una o más de la pluralidad de cámaras de aire por uno o más de los compresores.
En una realización preferida, las señales de control asociadas están adaptadas para replicar las señales de entrada esperadas para el sistema principal.
En una realización preferida, el paso de procesar las señales de salida de movimiento proporcionadas en la unidad de procesamiento en uno o más dispositivos hápticos comprende aplicar un algoritmo de filtrado de Kalman a las señales de salida de movimiento, preferiblemente un algoritmo de filtrado de Kalman lineal. Sin embargo, también se pueden usar otros tipos de filtros más generales que el filtrado de Kalman.
Aplicando un filtro es posible reducir el nivel de ruido y garantizar resultados mejores y más fiables. El algoritmo de Kalman se compone de dos fases típicas: la primera es una predicción del estado de sistema, mientras que el segundo paso consiste en actualizar la predicción realizada según la última medición recibida. El algoritmo se ejecuta de forma recursiva en tiempo real y realiza un seguimiento únicamente del estado anterior y de la última medición. Existen varias versiones del filtro de Kalman, cada una de ellas puede dar un mejor resultado según su utilización específica, siendo las más comunes:
- Kalman lineal: los datos de sensor normalizados y los vectores de referencia se introducen en el filtro de Kalman, que usa técnicas estadísticas para combinar de forma óptima los datos en una lectura de orientación final. Proporciona la orientación de mayor precisión con el rendimiento más bajo;
- Filtro Kalman alternativo: usa el mismo filtro Kalman que antes, pero omite todos los demás pasos de actualización. Ligeramente menos preciso que el filtro de Kalman, pero más rápido.
- Filtro complementario: fusiona datos de acelerómetro/brújula filtrados de paso bajo con datos de giroscopio filtrados de paso alto para proporcionar una estimación de orientación. Menos preciso que cualquier técnica de filtrado de Kalman, pero proporciona un rendimiento significativamente mayor.
- Filtro de descenso de gradiente de cuaterniones: usa técnicas de descenso de gradiente para evitar la alta sobrecarga computacional de los filtros basados en Kalman. Proporciona alto rendimiento y alta precisión.
Preferiblemente, se elige el filtro lineal de Kalman y se aplica directamente sobre la unidad de procesamiento del dispositivo háptico (así como si se usara un algoritmo de filtrado diferente). Dicho algoritmo de filtrado calcula luego el ángulo de cabeceo, balanceo y guiñada del dispositivo háptico (y, por tanto, normalmente de la mano del usuario). Para realizar este cálculo, obtiene los datos sin procesar de varios sensores; normalmente estos sensores comprenden al menos uno o más de los siguientes: acelerómetro, giroscopio, magnetómetro, barómetro, que pueden integrarse en la unidad de procesamiento. Al recibirlo, generalmente se realiza una calibración o normalización. Preferiblemente, para este paso se usan los cuatro sensores antes mencionados (acelerómetro, giroscopio, magnetómetro, barómetro). El siguiente paso consiste en la normalización y conversión de los datos brutos. Se convierten a la unidad de medida deseada a partir de los datos aproximados proporcionados por los sensores; además, se realizan algunos ajustes debido a las características del hardware. Una vez realizada la fase de preprocesamiento, la unidad de procesamiento continúa calculando los datos filtrados mediante la aplicación del filtro de Kalman. Como ya hemos dicho, para calcular la estimación de cabeceo y balanceo el algoritmo aprovecha los datos del giroscopio y del acelerómetro, mientras que, para el ángulo de guiñada, el Kalman usa las medidas del giroscopio y del magnetómetro.
Normalmente, parte del método de la invención se ejecuta en dos programas o niveles, un primero, llamado Proceso Central, y un segundo, llamado Proceso Suite. El proceso central es el nivel más bajo de la capa de software. Es el núcleo de la integración entre el dispositivo háptico y el sistema anfitrión existente. De hecho, los sistemas tradicionales no están diseñados para funcionar con sensores, umbrales de activación u otras características del dispositivo háptico. Por lo tanto, es necesario tener un nuevo componente que pueda hacer corresponder las señales que recibe del dispositivo háptico en instrucciones que sean comprensibles para el sistema anfitrión. Al tener cada sistema sus propias peculiaridades, debe adaptarse al sistema anfitrión específico en el que debe operar el método y el dispositivo háptico. Esto significa que una vez que se ha creado el proceso central para una plataforma específica, cada aplicación que se ejecuta en esa plataforma o sistema puede aprovechar y usar la tecnología proporcionada.
Por lo tanto, el Proceso Central interactúa con el sistema anfitrión. Para hacer esto, debe emular los dispositivos controladores compatibles de forma nativa, como un ratón o un teclado. Por lo tanto, si el usuario elige, a través del Proceso Suite, asignar a algún movimiento la misma función del clic izquierdo del ratón, o una pulsación en el teclado, el Proceso Central enviará un clic izquierdo del ratón o esa pulsación en particular del teclado al sistema anfitrión. En cuanto al ratón o el teclado, el método de preprocesamiento se puede diseñar para emular todos los controladores comunes en diferentes tipos de sistemas anfitriones. Sin embargo, se pueden diseñar nuevos sistemas para soportar el dispositivo háptico de forma nativa sin necesidad de emulación.
Como se ha dicho, el Proceso Central depende del sistema. Esto significa que, según qué tipo de dispositivo tecnológico quiera controlar el usuario y qué tipo de sistema esté ejecutando en él, se debe adoptar una implementación específica. Los dispositivos posibles son PC, Teléfonos Inteligentes, PlayStations, Xbox u otros más nuevos como Drones o Apple TV. El principio general que aprovecha el método propuesto es que estos dispositivos ya "reaccionan" a algunas entradas para las que han sido diseñados; entradas como movimientos del ratón, pulsaciones del teclado, señales de radio y muchas más. El método de preprocesamiento no sustituye estas entradas sino que las replica cuando es necesario. Para este propósito, el Proceso Central debe poder escuchar en una interfaz específica a la que el controlador envía sus entradas. Las interfaces adoptadas para el método son Serial en el caso de una solución cableada o Bluetooth en caso contrario, pero se pueden adoptar otras para usos específicos. El Proceso Suite establece los valores de varias variables en el código que determina cómo el Proceso Central ejecuta sus tareas. Los comandos que ejecuta el Proceso Central son generalmente comandos de sistema proporcionados por algunas API nativas. En el caso de un sistema Windows, por ejemplo, el método puede usar funciones de C# para enviar una pulsación de teclado o un evento del ratón a la aplicación en ejecución.
El método propuesto y la tecnología subyacente ofrecen una amplia gama de personalizaciones que el usuario puede configurar mediante un procedimiento interactivo. El Proceso Suite permitirá al usuario especificar sus preferencias usando una interfaz gráfica y le dará la oportunidad de probarlas haciendo clic en el botón Probar. El primer paso del procedimiento guiado es cargar un dispositivo háptico con el que interactuará el Proceso Suite. Para ello, el usuario busca los dispositivos disponibles y elige cómo se debe cargar. Las opciones posibles son cargar un controlador como mano o brazo izquierdo/derecho. Se pueden usar uno o más controladores al mismo tiempo. Después de haber cargado un dispositivo, el usuario debe elegir la configuración que desea aplicarle. El método ofrece algunos perfiles de configuración predefinidos para diferentes aplicaciones que pueden usarse "tal cual" o modificarse para adaptarse mejor a las propias necesidades. Además, se pueden crear nuevos perfiles desde cero y guardarlos para su uso posterior. Todos los perfiles guardados se muestran en una caja donde se pueden seleccionar con un simple clic o un toque. El uso de perfiles guardados resulta particularmente útil con la invención debido a su gran número de combinaciones de parámetros. De hecho, la invención tiene un alto nivel de granularidad que puede satisfacer las necesidades incluso de la experiencia más exigente. Cada aplicación, además, puede tener sus configuraciones específicas y el usuario puede decidir tener un perfil diferente para un uso particular. Por ejemplo, en el ámbito de los videojuegos, al emular el pilotaje de un helicóptero, el usuario sujetará la campana de forma diferente a como manejaría un palo de golf cuando jugara al golf. Esto significa, como se describirá más adelante, que los dedos en reposo, o la amplitud de sus movimientos, variarán según el contexto. Otro aspecto clave es que diferentes aplicaciones pueden usar diferentes controladores de entrada, como un ratón o una palanca de mando. El método y el sistema pueden emular estos controladores tradicionales y permiten al usuario elegir cuál debe emular.
En un aspecto adicional, la invención proporciona un sistema electrónico para interactuar con un sistema anfitrión electrónico que ejecuta un tipo de aplicación y para modificar la aplicación (entorno) según las señales de control recibidas. Preferiblemente proporciona un sistema electrónico para interactuar con una realidad virtual (VR) y/o realidad aumentada (AR) producida por un sistema anfitrión electrónico, siendo dicho sistema anfitrión adecuado para ejecutar un tipo de aplicación VR y/o AR, y para modificar la VR y/o AR producida según las señales de control recibidas.
Dicho sistema electrónico para interactuar comprende al menos un dispositivo háptico al menos parcialmente flexible adecuado para ser usado en la mano de un usuario, que comprende:
i. una pluralidad de sensores configurados para detectar manipulaciones manuales de la mano del usuario y transmitir señales de salida de movimiento asociadas, que comprenden al menos: flexión de uno o más dedos y presión ejercida por una o más superficies sobre una superficie;
ii. una unidad de procesamiento conectada electrónicamente a la pluralidad de sensores, estando adaptada dicha unidad de procesamiento para recibir las señales de salida de movimiento asociadas desde uno o más de la pluralidad de sensores, configurada para procesar las señales de salida de movimiento asociadas, estando configurada dicha unidad de procesamiento para reconocer los tipos de sistema anfitrión, y adaptado para transmitir las señales de salida de movimiento procesadas al sistema anfitrión a través de un estándar de comunicación inalámbrica, preferiblemente a través de Bluetooth;
mediante lo cual dicha unidad de procesamiento está provista de una biblioteca de conversión de sistema, comprendiendo dicha biblioteca de conversión de sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para hacer corresponder una conversión de señales de salida de movimiento desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante la cual dicha biblioteca de conversión de sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema anfitrión: ordenador personal, consola de videojuegos doméstica, teléfono inteligente, hardware VR y/o AR dedicado, robots, drones, televisores inteligentes, gafas inteligentes y similares, mediante los cuales el sistema electrónico está configurado para determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento, mediante lo cual en caso de que no se pueda determinar el tipo de sistema principal, el sistema se adapta para permitir al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante lo cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión. Dicha biblioteca de conversión de sistema normalmente se almacena en un elemento de memoria de la unidad de procesamiento, o en el dispositivo háptico y es accesible mediante dicha unidad de procesamiento.
Además, cabe señalar que el dispositivo electrónico está preferiblemente adaptado para adaptarse al método de la invención para la interacción agnóstica de sistema con una aplicación (entorno), preferiblemente una realidad virtual (VR) o realidad aumentada (AR). Por un lado, preferiblemente, el dispositivo háptico está configurado para reconocer o determinar el tipo de sistema anfitrión, permitiendo así la selección correcta de un perfil de traducción de sistema adecuado para una comunicación adicional con el sistema anfitrión mediante el dispositivo háptico. De nuevo, preferiblemente el dispositivo háptico está provisto además de una biblioteca de conversión de aplicaciones que comprende una pluralidad de perfiles de traducción de aplicaciones para convertir señales de salida de movimiento en señales de control aceptables por el sistema anfitrión. Preferiblemente, las bibliotecas de conversión de sistemas y aplicaciones se combinan en una única biblioteca de conversión, que comprende una pluralidad de perfiles de traducción de sistemas y aplicaciones. Además, se pueden crear nuevos perfiles de traducción de sistema para la biblioteca de conversión de sistema, por ejemplo cuando se enfrenta a un sistema anfitrión "desconocido". Lo mismo se aplica a los nuevos perfiles de traducción de aplicaciones (ya que los usuarios suelen personalizarlos).
Alternativamente, la invención proporciona un sistema electrónico para ejecutar, gestionar e interactuar con un tipo de aplicación (entorno), preferiblemente ejecutar, gestionar e interactuar con una realidad virtual (VR) y/o realidad aumentada (AR), que comprende:
a. un sistema anfitrión electróni
de control recibidas; preferiblemente este es un sistema anfitrión electrónico configurado para producir VR y/o AR, siendo dicho sistema anfitrión adecuado para ejecutar un tipo de aplicación VR y/o AR, y para modificar el VR y/o AR producido según las señales de control recibidas;
b. al menos un dispositivo háptico al menos parcialmente flexible adecuado para ser usado en la mano de un usuario, que comprende;
a. una pluralidad de sensores configurados para detectar manipulaciones manuales de la mano del usuario y transmitir señales de salida de movimiento asociadas, que comprenden al menos: flexión de uno o más dedos y presión ejercida por una o más superficies sobre una superficie;
b. una unidad de procesamiento conectada electrónicamente a la pluralidad de sensores, estando dicha unidad de procesamiento adaptada para recibir las señales de salida de movimiento asociadas desde uno o más de la pluralidad de sensores, configurada para procesar las señales de salida de movimiento asociadas, y adaptada para transmitir la salida de movimiento procesada señales al sistema anfitrión a través de un estándar de comunicación inalámbrica, preferiblemente a través de Bluetooth;
mediante lo cual dicho sistema anfitrión está provisto de una biblioteca de conversión del sistema, comprendiendo dicha biblioteca de conversión del sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para mapear una conversión de salida de movimiento. señales desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante el cual dicha biblioteca de conversión del sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema anfitrión: personal ordenador, consola de videojuegos doméstica, teléfono inteligente, hardware VR y/o AR dedicado, robots, drones, televisores inteligentes, gafas inteligentes y similares, mediante los cuales el sistema electrónico está configurado para determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento, mediante lo cual en caso de que no se pueda determinar el tipo de sistema anfitrión, el sistema se adapta para permitir al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante lo cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión. Preferiblemente, dicha biblioteca de conversión de sistema se proporciona al sistema anfitrión como un ejecutable descargable. Tenga en cuenta que el ejecutable o programa necesario se puede proporcionar además a través de una conexión inalámbrica desde el dispositivo háptico al sistema anfitrión cuando el dispositivo háptico está "cargado" en el sistema anfitrión.
Además, cabe señalar que el dispositivo electrónico está preferentemente adaptado para adaptarse al método de interacción agnóstica con una realidad virtual (VR) o realidad aumentada (AR) de la invención. Preferiblemente, el sistema anfitrión está provisto además de una biblioteca de conversión de aplicaciones que comprende una pluralidad de perfiles de traducción de aplicaciones para convertir señales de salida de movimiento en señales de control aceptables por el sistema anfitrión. Preferiblemente, las bibliotecas de conversión de sistemas y aplicaciones se combinan en una única biblioteca de conversión, que comprende una pluralidad de perfiles de traducción de sistemas y aplicaciones. Además, se pueden crear nuevos perfiles de traducción de sistemas para la biblioteca de conversión de sistema, por ejemplo cuando se enfrenta a un sistema anfitrión "desconocido". Lo mismo se aplica a los nuevos perfiles de traducción de aplicaciones (ya que los usuarios suelen personalizarlos).
Tenga en cuenta que en ambas realizaciones antes mencionadas (el aspecto adicional y la alternativa al mismo), los sensores preferidos y su posicionamiento preferido ya se han analizado en este documento, al que se hace referencia, junto con sus ventajas. Preferiblemente, el dispositivo háptico comprende una pluralidad de cámaras de aire reversiblemente inflables en el dispositivo háptico para ejercer presión y/o fuerza sobre una parte del cuerpo del usuario, y una pluralidad de compresores para inflar y desinflar dichas cámaras de aire, comprendiendo dicho método un paso de transmitir una o más señales de retroalimentación a la unidad de procesamiento de uno o más dispositivos hápticos con base en dichas características modificadas, mediante lo cual dichas señales de retroalimentación se activan mediante inflado y/o desinflado de una o más de la pluralidad de cámaras de aire por una o más compresores.
La invención se describe con más detalle mediante los siguientes ejemplos no limitantes que ilustran más la invención y no pretenden ni deben interpretarse que limiten el alcance de la invención.
La presente invención se describirá ahora con más detalle, haciendo referencia a ejemplos que no son limitativos.
Ejemplos
Ejemplo 1: configuración de perfil (biblioteca de conversión de aplicaciones/sistema)
Para configurar un dispositivo que ha sido cargado, el usuario puede realizar un procedimiento guiado que le permitirá especificar todos los "ceros". El usuario puede especificar cuál será su posición inicial, cómo mantendrá la mano o los dedos en reposo y cuál es la amplitud máxima de sus movimientos. Esta fase permite al método calibrar los valores de los sensores e interpretarlos de manera adecuada.
El método puede permitir, por ejemplo, configurar "configuraciones del ratón". Esto permite al usuario adoptar una de las dos opciones de posicionamiento posibles. Puede elegir entre posicionamiento relativo y absoluto, y establecer la sensibilidad de sus movimientos a través de una barra ajustable en la pantalla. También permite especificar cómo debe moverse el cursor del ratón al mover la mano del usuario en un eje específico. Del mismo modo, el usuario puede especificar sus preferencias para la emulación de la palanca de control. También en este caso, puede elegir los comandos a ejecutar según los movimientos de su mano.
Con el dispositivo y método háptico propuestos, es posible configurar todos los sensores en los apéndices del dispositivo (el dedo del guante), por ejemplo a través de una opción de menú "Configuración de dedos". Aparecerá una ventana donde el usuario podrá seleccionar sus opciones para los sensores de flexión y empuje. El primer tipo de sensores se puede configurar para que actúen en modo de flexión o de estiramiento. En el modo de flexión, el usuario normalmente mantiene el dedo estirado y el sensor correspondiente se activa cuando el dedo está flexionado. Por el contrario, en el modo de estiramiento, el dedo del usuario normalmente está cerrado y su sensor se activa cuando el usuario lo abre. Se pueden activar diferentes tipos de comandos cuando se realizan estas acciones. Por ejemplo, el usuario puede decidir pulsar el carácter 'w' o aplicar el clic izquierdo del ratón cuando dobla el dedo índice. Además, también es posible configurar el umbral de activación específico de un mando y asignar, en el mismo sensor, dos mandos activados en umbrales diferentes.
Del mismo modo, es posible configurar los sensores de empuje en dos modos: modo de empuje y modo de liberación. Como en el caso anterior, cada sensor se activa cuando se alcanza el umbral designado y la acción correspondiente se puede ejecutar cuando se empuja el sensor (modo de empuje) o tan pronto como se suelta (modo de liberación). En modo empuje es posible configurar dos mandos en un mismo sensor, según la intensidad con la que se ha empujado el sensor.
Una característica adicional, "Ajustes de eje de entrada", puede permitir al usuario asignar comandos cuando mueve la mano a lo largo de algún eje. De hecho, es posible asignar una combinación de teclas o clics del ratón al movimiento de la mano del usuario.
Otras opciones son " Ajustes de aceleración" y " Ajustes de barómetro". El primero permite definir qué acciones se deben realizar cuando el usuario mueve su mano ya sea hacia arriba/abajo o hacia la izquierda/derecha con una determinada aceleración. También en este caso hay una barra ajustable gracias a la cual se puede configurar el umbral necesario para desencadenar el comando.
Los " Ajustes de barómetro" se pueden usar para configurar una serie de comandos que se activarán a varias alturas de la mano del usuario. Si el usuario está simulando un tiroteo, por ejemplo, es posible que desee activar la función "francotirador", cuando mantiene su mano a la altura de los ojos, y usar un arma simple en caso contrario. Gracias al barómetro, el método puede percibir la altura de la mano del usuario y actuar en consecuencia.
Ejemplo 2: guante háptico
En una posible realización, el dispositivo háptico comprende un guante háptico (aunque también pueden ser posibles dos guantes) con una estructura (4) de base de soporte de un guante flexible y portátil, que está adaptado para hacer contacto con la palma y el dorso de la mano. y una serie de partes (5) periféricas adaptadas para hacer contacto con los dedos de la mano. Dicho guante háptico comprende varios sensores. Específicamente, se proporcionan sensores (9) de flexión para extenderse a lo largo de los dedos, preferiblemente en la parte posterior del dedo (el mismo lado que el dorso de la mano como se muestra en la Figura 1), y están configurados y colocados para detectar la flexión de las partes periféricas (como consecuencia de la flexión de los dedos u otras partes del cuerpo). Los sensores (9) de flexión pueden extenderse algo a través de la región metacarpiana de la mano para detectar una flexión más general de los dedos con respecto a la mano. Además, en varias posiciones están previstos varios sensores (7) de presión. En este caso, dichos sensores (7) de presión están previstos al menos en los extremos de las partes periféricas, esta vez en el lado frontal (lado de la palma) de la mano. Tenga en cuenta que pueden estar previstos otros sensores de presión en otros puntos de los dedos de los guantes y/o también en la palma de la mano. Además (o alternativamente), también se pueden proporcionar varios sensores (6) de movimiento o sensores hápticos en el guante háptico. Normalmente, estos se encuentran al menos en los extremos de los dedos o en las partes periféricas, aunque también pueden estar presentes en la parte de la mano del guante. Estos sensores (6) de movimiento pueden complementarse con una plataforma para uno o más sensores, que comprende, por ejemplo, un giroscopio (11) que en este caso está presente en la estructura (4) base. Dicho giroscopio puede (además) comprender un AHRS y/o un sensor de altura para detectar la altura del dispositivo háptico con respecto al suelo. Además, dicha plataforma puede comprender un sensor de temperatura y/u otros sensores mencionados.
Se proporciona una unidad (14) de procesamiento en el dispositivo háptico (guante), preferiblemente en la estructura (4) base, y está provista de una batería (15). Dicha batería puede ser recargable (mini-USB por ejemplo) y/o reemplazable. La unidad (14) de procesamiento está conectada, o al menos puede conectarse a, los sensores del dispositivo háptico para obtener las señales (8, 10, 12) detectadas, generalmente denominadas señales (8, 10, 12) de salida de movimiento. Preferiblemente esta conexión se realiza a través de cableado eléctrico, aunque también puede ser posible una conexión inalámbrica, o una combinación de ambas, por ejemplo en el caso de varios dispositivos hápticos (guantes, etc.) y una sola unidad de procesamiento para todos ellos.
Dicha unidad (14) de procesamiento está configurada para comunicarse con el sistema (100) anfitrión, preferiblemente a través de un estándar (16) de comunicación inalámbrica.
Ejemplo 3: manejo de teléfono inteligente
En una posible realización, el dispositivo háptico, por ejemplo en forma de guante háptico, se puede usar en combinación con un teléfono inteligente. Una vez establecida la conexión, el usuario puede proporcionar comandos al teléfono inteligente mediante manipulaciones del dispositivo háptico (como se mencionó anteriormente, movimientos espaciales - relativos y/o absolutos - como traslación, rotación, o empujando, tirando, presionando, etc.). Ya se puede proporcionar o crear (o simplemente adaptar) un perfil de traducción de sistema para el teléfono inteligente para permitir al usuario controlar el teléfono inteligente sin necesariamente tocarlo. Potencialmente, esto podría permitir a un usuario enviar un mensaje de texto, realizar llamadas, cambiar configuraciones, enviar correos electrónicos, realizar una búsqueda en línea, reproducir un video, reproducir música, etc. sin manipular el teléfono inteligente y, de hecho, sin necesariamente siquiera verlo. Como ejemplo, el usuario puede mediante un primer gesto generar una señal de salida de movimiento que el perfil de traducción de sistema para el teléfono inteligente traduce en una señal de control para el teléfono inteligente que constituye que el usuario desea enviar un mensaje de texto. El usuario puede entonces, mediante un segundo gesto, comunicar que desea crear un teclado virtual en el que podrá escribir el mensaje y/o el destinatario. Un tercer gesto podría entonces enviar el mensaje de texto.
Otro ejemplo podría permitir al usuario responder una llamada entrante en un momento inconveniente con un gesto conocido que el perfil de traducción de sistema traduce como un mensaje estandarizado para la persona que llama ("No disponible ahora, volveré a llamar más tarde", "en el trabajo", etc.).
El uso específico antes mencionado con un teléfono inteligente se puede ampliar fácilmente a televisores inteligentes, gafas inteligentes, etc.
Se supone que se pueden añadir algunas modificaciones al ejemplo de fabricación presentado sin volver a evaluar las reivindicaciones adjuntas. Por ejemplo, la presente invención se ha descrito haciendo referencia a juegos y algunas otras aplicaciones, pero está claro que la invención se puede aplicar a aplicaciones más específicas como defensa o reconocimiento, cirugía, modelado, arquitectura y otras.
Claims (14)
1. Método para la interacción agnóstica de sistema con un sistema (100) anfitrión que ejecuta un tipo de aplicación, que comprende los siguientes pasos:
a. detectar una o más manipulaciones manuales de un usuario a través de uno o más dispositivos (4) hápticos, preferiblemente uno o más guantes hápticos, y proporcionar una o más señales (8, 10, 12) de salida de movimiento, asociadas a las manipulaciones manuales, a un unidad (14) de procesamiento en uno o más dispositivos hápticos;
b. proporcionar una biblioteca de conversión de sistema a dicho sistema anfitrión, comprendiendo dicha biblioteca de conversión de sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para hacer corresponder una conversión de señales (8, 10, 12) de salida de movimiento desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante el cual dicha biblioteca de conversión de sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema host: ordenador personal, dos o más consolas de videojuegos domésticas específicas, smartphone, gafas inteligentes, televisores inteligentes;
c. procesar las señales de salida de movimiento proporcionadas en la unidad de procesamiento en uno o más dispositivos hápticos;
d. transmitir las señales de salida de movimiento procesadas al sistema anfitrión, preferiblemente a través de un estándar (16) de comunicación inalámbrica, más preferiblemente a través de Bluetooth;
e. traducir dichas señales de salida de movimiento por parte del sistema anfitrión en una o más señales de control asociadas según el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación; y
f. procesar dichas señales de control asociadas en la aplicación y modificar características en la misma según al menos dichas señales de control, por parte del sistema anfitrión;
caracterizado por que el método comprende un paso de determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento;
por lo que en caso de imposibilidad de determinar el tipo de sistema anfitrión, el método comprende un paso que permite al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante el cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento de dispositivo háptico y/o en el sistema anfitrión.
2. Método para la interacción agnóstica de sistema con un sistema (100) anfitrión que ejecuta un tipo de aplicación, que comprende los siguientes pasos:
a. detectar una o más manipulaciones manuales de un usuario a través de uno o más dispositivos (4) hápticos, preferiblemente uno o más guantes hápticos, y proporcionar una o más señales (8, 10, 12) de salida de movimiento, asociadas a las manipulaciones manuales, a un unidad (14) de procesamiento en uno o más dispositivos hápticos;
b. proporcionar una biblioteca de conversión de sistema a dicha unidad de procesamiento, comprendiendo dicha biblioteca de conversión de sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para hacer corresponder una conversión de señales de salida de movimiento (8, 10, 12) desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante el cual dicha biblioteca de conversión de sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema anfitrión: ordenador personal, dos o más consolas de videojuegos domésticas específicas, teléfono inteligente, televisores inteligentes, gafas inteligentes;
c. procesar las señales de salida de movimiento proporcionadas en la unidad de procesamiento en uno o más dispositivos hápticos;
d. traducir dichas señales de salida de movimiento por parte de la unidad de procesamiento en una o más señales de control asociadas según el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación;
e. transmitir una o más señales de control asociadas al sistema anfitrión, preferiblemente a través de un estándar (16) de comunicación inalámbrica, más preferiblemente a través de Bluetooth; y
f. procesar dichas señales de control asociadas en la aplicación y modificar características en la misma según al menos dichas señales de control, por parte del sistema anfitrión;
caracterizado por que el método comprende un paso de determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento;
por lo que en caso de imposibilidad de determinar el tipo de sistema anfitrión, el método comprende un paso que permite al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante el cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión.
3. Método según la reivindicación 1 anterior, que comprende además un paso de:
a. proporcionar una biblioteca de conversión de aplicaciones a dicho sistema anfitrión, comprendiendo dicha biblioteca de conversión de aplicaciones una pluralidad de perfiles de traducción de aplicaciones, cada perfil de traducción de aplicaciones distintivo de un tipo específico de aplicación, y cada perfil de traducción de aplicaciones estando adaptado para hacer corresponder una conversión de señales de salida de movimiento recibidas desde uno o más dispositivos hápticos a una o más señales de control asociadas adecuadas para dicho tipo específico de aplicación, preferiblemente mediante el cual dicha biblioteca de conversión de aplicaciones comprende perfiles de traducción de aplicaciones distintivos de al menos dos o más de los siguientes tipos de aplicaciones: aplicación de tirador, vuelo aplicación de simulador, aplicación de conducción o carreras, aplicación de pilotaje remoto, interacción con dispositivos inteligentes;
mediante el cual el paso de traducir dichas señales de salida de movimiento en una o más señales de control asociadas de acuerdo con el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación, se ejecuta además según el perfil de traducción de la aplicación distintivo del tipo de aplicación que se está ejecutando. el sistema anfitrión.
4. Método según la reivindicación anterior 2, que comprende además un paso de:
a. proporcionar una biblioteca de conversión de aplicaciones a dicha unidad de procesamiento, comprendiendo dicha biblioteca de conversión de aplicaciones una pluralidad de perfiles de traducción de aplicaciones, cada perfil de traducción de aplicaciones distintivo de un tipo específico de aplicación, y cada perfil de traducción de aplicaciones estando configurado para hacer corresponder una conversión de señales de salida de movimiento recibidas desde uno o más dispositivos hápticos a una o más señales de control asociadas adecuadas para dicho tipo específico de aplicación, preferiblemente mediante el cual dicha biblioteca de conversión de aplicaciones comprende perfiles de traducción de aplicaciones distintivos de al menos dos o más de los siguientes tipos de aplicaciones: aplicación de tirador, vuelo aplicación de simulador, aplicación de conducción o carreras, aplicación de pilotaje remoto, interacción con dispositivos inteligentes;
mediante el cual el paso de traducir dichas señales de salida de movimiento en una o más señales de control asociadas según el perfil de traducción de sistema distintivo del sistema anfitrión que ejecuta la aplicación, se ejecuta además según el perfil de traducción de la aplicación distintivo del tipo de aplicación que se está ejecutando en el sistema anfitrión.
5. Método según una cualquiera de las reivindicaciones anteriores 3 o 4, que comprende un paso en el que el usuario determina manualmente el perfil de traducción de aplicaciones, a partir de la biblioteca de conversión de aplicaciones, que se usará para traducir las señales de salida de movimiento, permitiendo además al usuario crear una nueva perfil de traducción de aplicaciones para el tipo de aplicación que se ejecuta en el sistema anfitrión, mediante el cual dicho nuevo perfil de traducción de aplicaciones se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión.
6. Método según una cualquiera de las reivindicaciones anteriores 1 a 5, en donde el dispositivo háptico es un guante háptico adecuado para ser usado en una mano del usuario, que comprende sensores (6, 7, 9) adaptados al menos para detectar las siguientes manipulaciones de la mano. y preferiblemente la intensidad y/o velocidad y/o aceleración de dichas siguientes manipulaciones de la mano: flexionar uno o más dedos de la mano, desplazar y/o rotar relativamente uno o más dedos de la mano con respecto a uno o más otros dedos de la mano, presión ejercida por una parte de uno o más dedos sobre una superficie, presión ejercida por una parte de la mano sobre una superficie, desplazamiento de la mano con respecto al sistema anfitrión, rotación de la mano con respecto al sistema anfitrión;
y en donde dichas manipulaciones manuales siguientes, y preferiblemente dicha intensidad y/o velocidad, se proporcionan a la unidad de procesamiento como señales de salida de movimiento asociadas.
7. Método según una cualquiera de las reivindicaciones anteriores 1 a 6, en donde la unidad de procesamiento está o está comprendida en un teléfono inteligente o dispositivo electrónico, preferiblemente adecuado para su inserción operativa en un casco de realidad virtual, comprendiendo dicho teléfono inteligente o dispositivo electrónico uno o más sensores para determinar el desplazamiento espacial del usuario: giroscopio (11), sensor de navegación a estima, magnetómetro y/o acelerómetro; comprendiendo dicho método los pasos de: procesar señales de desplazamiento procedentes de dicho uno o más sensores para determinar el desplazamiento espacial; proporcionar señales adicionales y/o alternativas al sistema anfitrión con base en dichas señales de desplazamiento al sistema anfitrión; y además modificar características de la aplicación, preferiblemente modificando una realidad virtual o una realidad aumentada por el sistema anfitrión según al menos señales de desplazamiento adicionales y/o alternativas.
8. Método según una cualquiera de las reivindicaciones anteriores 6 o 7, en donde el guante háptico está adaptado para determinar la intensidad de dichas manipulaciones manuales siguientes, que comprende un paso de calibrar al menos las señales de salida de movimiento asociadas a la intensidad de la flexión de uno o más dedos de la mano y a la intensidad de la presión ejercida por una parte de uno o más dedos de la mano.
9. Método según una cualquiera de las reivindicaciones anteriores 1 a 8, en donde dichos uno o más dispositivos hápticos comprenden una pluralidad de cámaras de aire reversiblemente inflables en el dispositivo háptico para ejercer presión y/o fuerza sobre una parte del cuerpo del usuario, y una pluralidad de compresores para inflar y desinflar dichas cámaras de aire, comprendiendo dicho método un paso de transmitir una o más señales de retroalimentación a la unidad de procesamiento de uno o más dispositivos hápticos con base en dichas características modificadas, mediante el cual dichas señales de retroalimentación son accionadas mediante inflado y/o desinflado de una o más de la pluralidad de cámaras de aire por uno o más de los nanocompresores.
10. Método según una cualquiera de las reivindicaciones anteriores 1 a 9, mediante el cual las señales de control asociadas se adaptan para replicar las señales de entrada esperadas para el sistema principal.
11. Método según una cualquiera de las reivindicaciones anteriores 1 a 10, en donde el paso de procesar las señales de salida de movimiento proporcionadas en la unidad de procesamiento en uno o más dispositivos hápticos, comprende aplicar un algoritmo de filtrado de Kalman en las señales de salida de movimiento, preferiblemente un algoritmo de filtrado de Kalman lineal.
12. Método según una cualquiera de las reivindicaciones anteriores 3 o 4, mediante el cual la biblioteca de conversión de sistema y la biblioteca de conversión de aplicaciones se combinan en una única biblioteca de conversión, comprendiendo dicha biblioteca de conversión una pluralidad de perfiles de traducción, siendo cada perfil de traducción distintivo de un tipo específico de aplicación y un tipo específico de sistema anfitrión y cada perfil de traducción estando adaptado para hacer corresponder una conversión de señales de salida de movimiento recibidas desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para el tipo específico de sistema anfitrión del perfil de traducción y adecuado para el tipo específico de aplicación del perfil de traducción;
y mediante el cual el paso de traducir dichas señales de salida de movimiento en una o más señales de control asociadas se ejecuta según el perfil de traducción distintivo del tipo de sistema anfitrión que ejecuta la aplicación y el tipo de aplicación que se ejecuta.
13. Sistema electrónico para interactuar con un sistema (100) anfitrión electrónico que ejecuta un tipo de aplicación, y para modificar la aplicación según las señales de control recibidas, comprendiendo dicho sistema electrónico para interactuar:
al menos un dispositivo (4) háptico al menos parcialmente flexible adecuado para ser usado en la mano de un usuario, que comprende:
i. una pluralidad de sensores (6, 7, 9) configurados para detectar manipulaciones manuales de la mano del usuario y transmitir señales (8, 10, 12) de salida de movimiento asociadas, que comprende al menos: flexión de uno o más dedos y presión ejercida por uno o más superficie sobre una superficie;
ii. una unidad (14) de procesamiento conectada electrónicamente a la pluralidad de sensores, estando dicha unidad de procesamiento adaptada para recibir las señales de salida de movimiento asociadas desde uno o más de la pluralidad de sensores, configurada para procesar las señales de salida de movimiento asociadas, estando configurada dicha unidad de procesamiento para reconocer el tipo de sistema anfitrión, y adaptado para transmitir las señales de salida de movimiento procesadas al sistema anfitrión a través de un estándar (16) de comunicación inalámbrica, preferiblemente a través de Bluetooth;
mediante el cual dicha unidad de procesamiento está provista de una biblioteca de conversión de sistema, comprendiendo dicha biblioteca de conversión de sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para hacer corresponder una conversión de señales salida de movimiento desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante el cual dicha biblioteca de conversión del sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema anfitrión: ordenador personal, consola de videojuegos doméstica, teléfono inteligente, hardware dedicado de realidad virtual y/o realidad aumentada, televisores inteligentes, gafas inteligentes, robots, drones;
caracterizado por que el sistema electrónico está configurado para determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento;
mediante el cual, en caso de imposibilidad de determinar el tipo de sistema anfitrión, el sistema se adapta para permitir al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante el cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión.
14. Sistema electrónico para ejecutar, gestionar e interactuar con un tipo de aplicación, que comprende:
a. un sistema (100) anfitrión electrónico que ejecuta la aplicación y para modificar la aplicación según las señales de control recibidas;
b. al menos un dispositivo (4) háptico al menos parcialmente flexible adecuado para ser usado en la mano de un usuario, que comprende:
i. una pluralidad de sensores (6, 7, 9) configurados para detectar manipulaciones manuales de la mano del usuario y transmitir señales (8, 10, 12) de salida de movimiento asociadas, que comprende al menos: flexión de uno o más dedos y presión ejercida por una o más superficies sobre una superficie;
ii. una unidad (14) de procesamiento conectada electrónicamente a la pluralidad de sensores, estando dicha unidad de procesamiento adaptada para recibir las señales de salida de movimiento asociadas desde uno o más de la pluralidad de sensores, configurada para procesar las señales de salida de movimiento asociadas, y adaptada para transmitir las señales de salida de movimiento procesadas al sistema anfitrión a través de un estándar (16) de comunicación inalámbrica, preferiblemente a través de Bluetooth;
mediante el cual dicho sistema anfitrión está provisto de una biblioteca de conversión de sistema, comprendiendo dicha biblioteca de conversión de sistema una pluralidad de perfiles de traducción de sistema, cada perfil de traducción de sistema distintivo de un tipo específico de sistema anfitrión, y cada perfil de traducción de sistema adecuado para hacer corresponder una conversión de señales de salida de movimiento desde uno o más dispositivos hápticos a una o más señales de control asociadas reconocibles para dicho tipo específico de sistema anfitrión, preferiblemente mediante el cual dicha biblioteca de conversión de sistema comprende perfiles de traducción de sistema distintivos de al menos dos o más de los siguientes tipos de sistema anfitrión: ordenador personal, consola de videojuegos doméstica, teléfono inteligente, hardware dedicado de realidad virtual y/o realidad aumentada, televisores inteligentes, gafas inteligentes, robots, drones;
caracterizado por que el sistema electrónico está configurado para determinar automáticamente el tipo de sistema anfitrión mediante la unidad de procesamiento;
mediante el cual, en caso de imposibilidad de determinar el tipo de sistema anfitrión, el sistema se adapta para permitir al usuario determinar manualmente el tipo de sistema anfitrión y/o solicitar al usuario que cree un nuevo perfil de traducción de sistema para el sistema anfitrión indeterminado, mediante el cual dicho nuevo perfil de traducción de sistema se almacena preferiblemente en la unidad de procesamiento del dispositivo háptico y/o en el sistema anfitrión.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16206902.5A EP3340012A1 (en) | 2016-12-26 | 2016-12-26 | Haptic interaction method, tool and system |
| US15/669,857 US9996153B1 (en) | 2016-12-26 | 2017-08-04 | Haptic interaction method, tool and system |
| PCT/EP2017/084170 WO2018122107A1 (en) | 2016-12-26 | 2017-12-21 | Haptic interaction method, tool and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2966949T3 true ES2966949T3 (es) | 2024-04-25 |
Family
ID=57708436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17822675T Active ES2966949T3 (es) | 2016-12-26 | 2017-12-21 | Método y sistema de interacción háptica |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US9996153B1 (es) |
| EP (2) | EP3340012A1 (es) |
| JP (1) | JP2020504883A (es) |
| CN (1) | CN110325947B (es) |
| CA (1) | CA3079614A1 (es) |
| ES (1) | ES2966949T3 (es) |
| WO (1) | WO2018122107A1 (es) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204044747U (zh) * | 2014-08-20 | 2014-12-24 | 博世（中国）投资有限公司 | 用于采集手语识别用数据的手套 |
| US10438609B2 (en) * | 2016-01-14 | 2019-10-08 | George Brandon Foshee | System and device for audio translation to tactile response |
| US10779583B2 (en) * | 2016-09-20 | 2020-09-22 | Facebook Technologies, Llc | Actuated tendon pairs in a virtual reality device |
| AU2018289561B2 (en) | 2017-06-22 | 2020-07-02 | Centurion Vr, Inc. | Virtual reality simulation |
| US10474236B1 (en) * | 2017-09-13 | 2019-11-12 | Facebook Technologies, Llc | Haptic device for variable bending resistance |
| US20190105562A1 (en) * | 2017-10-11 | 2019-04-11 | Immersion Corporation | Haptic effects with multiple peripheral devices |
| US10705606B1 (en) * | 2017-10-23 | 2020-07-07 | Facebook Technologies, Llc | Tracking sensor integration system and method for recursive estimation of pose of user's body part |
| FR3074327B1 (fr) * | 2017-11-27 | 2021-04-23 | Commissariat Energie Atomique | Procede de commande d'un robot de manipulation et dispositif mettant en oeuvre un tel procede |
| EP3518076B1 (en) * | 2018-01-24 | 2022-09-14 | C.R.F. Società Consortile per Azioni | System and method for ergonomic analysis, in particular of a worker |
| EP3518075B1 (en) * | 2018-01-24 | 2023-10-11 | C.R.F. Società Consortile per Azioni | Sensorized glove and corresponding method for ergonomic analysis of the hand, in particular a worker's hand |
| WO2020023419A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Application sharing |
| WO2020026301A1 (ja) * | 2018-07-30 | 2020-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | ゲーム装置、ゴルフゲームの制御方法 |
| WO2020069493A1 (en) * | 2018-09-28 | 2020-04-02 | Osirius Group, Llc | System for simulating an output in a virtual reality environment |
| US11314409B2 (en) | 2018-12-03 | 2022-04-26 | Microsoft Technology Licensing, Llc | Modeless augmentations to a virtual trackpad on a multiple screen computing device |
| US11294463B2 (en) | 2018-12-03 | 2022-04-05 | Microsoft Technology Licensing, Llc | Augmenting the functionality of user input devices using a digital glove |
| US11199901B2 (en) | 2018-12-03 | 2021-12-14 | Microsoft Technology Licensing, Llc | Augmenting the functionality of non-digital objects using a digital glove |
| US10564719B1 (en) * | 2018-12-03 | 2020-02-18 | Microsoft Technology Licensing, Llc | Augmenting the functionality of user input devices using a digital glove |
| US11137905B2 (en) | 2018-12-03 | 2021-10-05 | Microsoft Technology Licensing, Llc | Modeless augmentations to a virtual trackpad on a multiple screen computing device |
| US11039974B2 (en) | 2019-08-01 | 2021-06-22 | Brave Virtual Worlds, LLC | Full or partial body physical feedback system and wearable exoskeleton |
| KR102267840B1 (ko) * | 2019-12-30 | 2021-06-22 | 광주과학기술원 | 드론 모니터링 시스템 |
| CN115698818B (zh) | 2020-02-14 | 2024-01-23 | 奇跃公司 | 会话管理器 |
| WO2021163624A1 (en) * | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | Tool bridge |
| CN112085052A (zh) * | 2020-07-28 | 2020-12-15 | 中国科学院深圳先进技术研究院 | 运动想象分类模型的训练方法、运动想象方法及相关设备 |
| WO2023215485A1 (en) * | 2022-05-04 | 2023-11-09 | Haptx, Inc. | Haptic glove system and manufacture of haptic glove systems |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110044501A1 (en) * | 2006-07-14 | 2011-02-24 | Ailive, Inc. | Systems and methods for personalized motion control |
| US9607506B1 (en) * | 2007-04-20 | 2017-03-28 | Lloyd Douglas Manning | Wearable wireless controller |
| US20090212979A1 (en) * | 2008-02-22 | 2009-08-27 | William Catchings | Glove-based input device |
| US9069385B1 (en) * | 2009-01-08 | 2015-06-30 | Sprint Communications Company L.P. | Communicating physical gestures as compressed data streams |
| US8847880B2 (en) * | 2009-07-14 | 2014-09-30 | Cywee Group Ltd. | Method and apparatus for providing motion library |
| US9728006B2 (en) * | 2009-07-20 | 2017-08-08 | Real Time Companies, LLC | Computer-aided system for 360° heads up display of safety/mission critical data |
| WO2011130752A1 (en) * | 2010-04-16 | 2011-10-20 | Mastandrea Nicholas J | Wearable motion sensing computing interface |
| US20120056805A1 (en) * | 2010-09-03 | 2012-03-08 | Intellectual Properties International, LLC | Hand mountable cursor control and input device |
| MX2013003763A (es) * | 2010-10-18 | 2013-05-20 | Blue Infusion Technologies Llc | Guante de control electronico. |
| US20130104087A1 (en) * | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
| US9395826B1 (en) * | 2012-05-25 | 2016-07-19 | hopTo Inc. | System for and method of translating motion-based user input between a client device and an application host computer |
| CN104303145B (zh) * | 2012-05-29 | 2017-06-13 | 惠普发展公司，有限责任合伙企业 | 根据应用的转化配置文件将触摸输入转化成本地输入 |
| US10124255B2 (en) * | 2012-08-31 | 2018-11-13 | Blue Goji Llc. | Multiple electronic control and tracking devices for mixed-reality interaction |
| US11826636B2 (en) * | 2013-07-12 | 2023-11-28 | Chris Argiro | Depth sensing module and mobile device including the same |
| US10019059B2 (en) * | 2014-08-22 | 2018-07-10 | Sony Interactive Entertainment Inc. | Glove interface object |
| US9417693B2 (en) * | 2014-12-08 | 2016-08-16 | Rohit Seth | Wearable wireless HMI device |
| US10296086B2 (en) * | 2015-03-20 | 2019-05-21 | Sony Interactive Entertainment Inc. | Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments |
-
2016
- 2016-12-26 EP EP16206902.5A patent/EP3340012A1/en not_active Withdrawn
-
2017
- 2017-08-04 US US15/669,857 patent/US9996153B1/en active Active
- 2017-12-21 CA CA3079614A patent/CA3079614A1/en active Pending
- 2017-12-21 ES ES17822675T patent/ES2966949T3/es active Active
- 2017-12-21 US US16/474,023 patent/US11435825B2/en active Active
- 2017-12-21 JP JP2019536039A patent/JP2020504883A/ja active Pending
- 2017-12-21 CN CN201780087017.7A patent/CN110325947B/zh active Active
- 2017-12-21 EP EP17822675.9A patent/EP3559784B1/en active Active
- 2017-12-21 WO PCT/EP2017/084170 patent/WO2018122107A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US9996153B1 (en) | 2018-06-12 |
| CN110325947A (zh) | 2019-10-11 |
| EP3559784C0 (en) | 2023-10-04 |
| US20180181198A1 (en) | 2018-06-28 |
| CA3079614A1 (en) | 2018-07-05 |
| US20210318755A1 (en) | 2021-10-14 |
| JP2020504883A (ja) | 2020-02-13 |
| US11435825B2 (en) | 2022-09-06 |
| CN110325947B (zh) | 2023-08-01 |
| WO2018122107A1 (en) | 2018-07-05 |
| EP3340012A1 (en) | 2018-06-27 |
| EP3559784B1 (en) | 2023-10-04 |
| EP3559784A1 (en) | 2019-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2966949T3 (es) | Método y sistema de interacción háptica | |
| US10275025B2 (en) | Gloves that include haptic feedback for use with HMD systems | |
| EP3631567B1 (en) | Eye tracking calibration techniques | |
| US10120445B2 (en) | Glove interface object with flex sensing and wrist tracking for virtual interaction | |
| JP6912661B2 (ja) | 検出された手入力に基づく仮想手ポーズのレンダリング | |
| EP4141623B1 (en) | Augmented reality system comprising light-emitting user input device | |
| US10317997B2 (en) | Selection of optimally positioned sensors in a glove interface object | |
| US20200081534A1 (en) | Devices for Controlling Computers Based on Motions and Positions of Hands | |
| EP3234742A2 (en) | Methods and apparatus for high intuitive human-computer interface | |
| JP2020520491A (ja) | 容量性タッチパッドを用いたハンドコントローラ | |
| JP2016126772A (ja) | 拡張及び仮想現実アプリケーションのための触覚的に向上されたオブジェクトを生成するシステム及び方法 | |
| KR20140029158A (ko) | 터치 감응형 표면을 통한 가상 공간과의 상호작용을 돕기 위한 시스템 및 방법 | |
| US20100016077A1 (en) | Video game controller | |
| US11209916B1 (en) | Dominant hand usage for an augmented/virtual reality device | |
| CN115427122A (zh) | 虚拟控制台游戏控制器 | |
| US20170087455A1 (en) | Filtering controller input mode | |
| CN111399632A (zh) | 用于依靠可穿戴设备而与虚拟现实互动的操作方法和其操作设备 | |
| JP2021184272A (ja) | 情報処理方法、プログラム及びコンピュータ | |
| US20150084848A1 (en) | Interaction between generic interaction devices and an interactive display | |
| US20100016076A1 (en) | Method and apparatus for user-selected manipulation of gameplay mechanics | |
| Nguyen | 3DTouch: Towards a Wearable 3D Input Device for 3D Applications | |
| KR20150137376A (ko) | 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법 |