ES2807674B2 - Metodo, sistema y producto de programa para interaccion en entornos de realidad virtual mediante dispositivo haptico de realimentacion de fuerzas de escritorio - Google Patents

Description

DESCRIPCIÓN

MÉTODO, SISTEMA Y PRODUCTO DE PROGRAMA PARA INTERACCIÓN EN

ENTORNOS DE REALIDAD VIRTUAL MEDIANTE DISPOSITIVO HÁPTICO DE

REALIMENTACIÓN DE FUERZAS DE ESCRITORIO

CAMPO DE LA INVENCIÓN

El objeto de la invención se enmarca en el campo de la informática, más concretamente en el de los dispositivos hápticos de realimentación de fuerzas de escritorio y su interacción con la realidad virtual.

ANTECEDENTES DE LA INVENCIÓN

Los dispositivos hápticos de realimentación de fuerzas de escritorio son aquellos caracterizados por estimular la propiocepción del usuario permitiendo que éste sienta la fuerza generada por un objeto al ser tocado o manipulado. Varios estudios han hecho uso de dispositivos hápticos de realimentación de fuerzas de escritorio junto con cascos de realidad virtual (HMDs, "Head-Mounted Displays”) para sus propósitos, generalmente el entrenamiento de habilidades concretas o la rehabilitación de zonas afectadas de la anatomía humana. Su uso en ejercicios de entrenamiento se ejemplifica en el estudio de Hashimoto et al. [1], en el cual se utilizan conjuntamente los dispositivos hápticos y los HMD en un simulador de eliminación de sarro. En este simulador se visualiza la boca del paciente a través de1HMD y el stylus del dispositivo háptico se hace corresponder con la herramienta dental que sirve para eliminar el sarro. La imagen simulada se construye mediante realidad aumentada sobre marcadores de posición del entorno de trabajo y, dado que es importante la colocación del paciente para la tarea de eliminación, se puede modificar físicamente la posición y rotación del entorno que alberga los marcadores para recolocar la dentadura.

En el estudio realizado en Ji et al. [2] se utilizan dos dispositivos hápticos de grandes dimensiones conjuntamente con una simulación de los huesos y tejidos que forman la espalda que permite a los usuarios su palpación y exploración. En dicho estudio se consideran a su vez dos formas de visualización: una a través de un HMD, y otra mediante un holograma formado por un sistema de espejos. La utilización de este tipo de dispositivos en ejercicios de rehabilitación se ejemplifica en el estudio realizado por Andaluz et al. [3], en el cual se utilizan las gafas de realidad virtual Oculus Rift para una mayor inmersión, el dispositivo de monitorización Leap Motion para la selección de ejercicios y un dispositivo háptico Novint Falcon para la realización de los ejercicios, consistentes en mover objetos, seguir caminos en los que actúan diferentes fuerzas, etc.. En el estudio de Pruna et al. [4] se desarrolla un sistema específico para niños en el que, a través de juegos, se realizan ejercicios de rehabilitación de las extremidades superiores. La visualización se realiza mediante Oculus Rift y los juegos consisten en, por ejemplo, regar las plantas o recoger objetos a sus cajas correspondientes utilizando para ello el dispositivo háptico. Saad et al. [5] realiza una integración del sentido de la vista y el tacto en una misma experiencia de interacción con modelos anatómicos del cuerpo humano. Para la visualización se sirvieron de las gafas de realidad virtual Oculus Rift, combinadas con la interacción mediante el dispositivo háptico. El movimiento por la escena se lleva a cabo mediante dispositivos de entrada auxiliares que se manipulan con la mano no dominante, es decir, teclado, joystick o ratón.

En los documentos mencionados anteriormente, los dispositivos hápticos de realimentación de fuerzas de escritorio son utilizados en entornos inmersivos de realidad virtual sin la aplicación de una técnica o modelo de interacción. La no aplicación de una técnica de interacción supone que el área que se puede manipular dentro de la escena virtual se encuentra limitada al tamaño del espacio de trabajo físico del dispositivo háptico, reduciendo considerablemente las capacidades del usuario para interaccionar con la totalidad de la escena en la que se encuentra inmerso.

La patente ES2716012-B2 considera la interacción de un dispositivo háptico de realimentación de fuerzas de escritorio en un entorno de realidad virtual, donde el dispositivo háptico envía una orden de zoom para ampliar o disminuir la escena virtual representada. Dicha invención se basa en mantener en todo momento una relación entre el tamaño virtual del espacio de trabajo del dispositivo háptico y el nivel de ampliación aplicado sobre una escena virtual, permitiendo así que el usuario pueda interaccionar en todo momento con cualquier elemento que visualice en la escena independientemente del nivel de ampliación aplicado. De esta manera, al incrementar el nivel de ampliación de la escena, el usuario no solo obtiene un zoom visual que le permite ver con mayor claridad los objetos de interés, sino que también obtiene un zoom háptico, gracias al cual sus movimientos se vuelven más precisos en el área de interés.

Dada una escena virtual visualizada a través de un casco o visor de realidad virtual, la invención propuesta aborda la integración en dicha escena de los dispositivos hápticos de realimentación de fuerzas de escritorio, consiguiendo que con su utilización se pueda interaccionar con cualquier elemento de la escena con el nivel de precisión deseado. Así pues, la presente invención aborda el problema del espacio de trabajo limitada de la que disponen este tipo de dispositivos.

BIBLIOGRAFÍA

[1] Hashimoto, N., Kato, H., & Matsui, K. (2007, November). Training of Tooth Scaling by Simulator--Development of Simulator and Investigation of its Effectiveness--. In 17th International Conference on Artificial Reality and Telexistence (ICAT 2007) (pp. 251-257). IEEE.

[2] Ji, W., Williams, R. L., Howell, J. N., & Conatser, R. R. (2006, March). 3D stereo viewing evaluation for the virtual haptic back project. In 2006 14th Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (pp. 251-258). IEEE.

[3] Andaluz, V. H., Salazar, P. J., Escudero, M., Bustamante, C., Silva, M., Quevedo, W., ... & Rivas, D. (2016, December). Virtual reality integration with force feedback in upper limb rehabilitation. In International Symposium on Visual Computing (pp. 259-268). Springer, Cham.

[4] Pruna, E., Acurio, A., Tigse, J., Escobar, I., Pilatásig, M., & Pilatásig, P. (2017, June). Virtual system for upper limbs rehabilitation in children. In International Conference on Augmented Reality, Virtual Reality and Computer Graphics (pp. 107-118). Springer, Cham.

[5] Saad, E., Funnell, W. R. J., Kry, P. G., & Ventura, N. M. (2018, October). A Virtual-Reality System for Interacting with Three-Dimensional Models Using a Haptic Device and a Head-Mounted Display. In 2018 IEEE Life Sciences Conference (LSC)(pp. 191-194). IEEE.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención consiste en un nuevo modelo de interacción aplicable a dispositivos hápticos de realimentación de fuerzas de escritorio que permite su utilización en entornos inmersivos de realidad virtual.

Un primer aspecto de la presente invención se refiere a un método de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, donde un avatar virtual de un dispositivo háptico de realimentación de fuerzas de escritorio se representa en escenas virtuales mediante un visor de realidad virtual portado por un usuario.

El método comprende definir un espacio de acción en un entorno de realidad virtual, donde dicho espacio de acción se corresponde con el espacio de trabajo del dispositivo háptico de realimentación de fuerzas de escritorio; cuando se detecta una orden de modificación del espacio de acción, se modifica el tamaño del espacio de acción, aumentando o disminuyendo en una determinada cantidad las dimensiones del espacio de acción en función de la orden de modificación detectada y se mapea el espacio de trabajo del dispositivo háptico de realimentación de fuerzas de escritorio con el espacio de acción modificado; y cuando se detecta una orden de recolocación del espacio de acción, se mueve el espacio de acción a una nueva ubicación del entorno de realidad virtual en función de la orden de recolocación detectada.

La invención soluciona el problema del limitado espacio de trabajo inherente a los dispositivos hápticos de realimentación de fuerzas de escritorio. La invención permite utilizar estos dispositivos hápticos para una interacción natural y precisa con cualquier elemento presente en una escena de realidad virtual inmersiva. El modelo de interacción se basa en dos modos de funcionamiento: modo interacción y modo recolocación.

En primer lugar, el modo interacción basa su funcionamiento en la definición de una correspondencia entre el espacio de trabajo del dispositivo háptico en el mundo real y un espacio determinado dentro de la escena virtual denominado ‘espacio de acción’ (o área de acción). El espacio de acción permanece inmóvil dentro de la escena virtual mientras se mantiene activado el modo interacción, lo que permite al usuario interaccionar a través del dispositivo háptico con los elementos que se encuentren dentro del espacio de acción, así como cambiar su punto de vista de la escena mediante el movimiento de la cabeza, monitorizado por el visor de realidad virtual.

Mientras el modo interacción está activo, el espacio o área de trabajo del dispositivo háptico en la escena virtual (i.e. el espacio de acción) no cambia de posición, pero se permite la reducción o ampliación del tamaño del espacio de acción para obtener una mayor precisión o una mayor libertad de movimiento, respectivamente. Por tanto, dentro del modo interacción el usuario puede cambiar el tamaño del espacio de acción, consiguiendo así el nivel de precisión o la libertad de movimiento deseado en cada momento. El cambio de tamaño del espacio de acción se aplica (i) sin alterar la posición relativa del avatar virtual del dispositivo háptico (el cual representa al efector final del dispositivo háptico de realimentación de fuerzas de escritorio en la escena virtual) dentro del espacio de acción antes y después de la modificación del tamaño del espacio de acción, y (ii) sin alterar la posición absoluta del avatar virtual en el entorno de realidad virtual. De este modo, el avatar mantiene su posición relativa dentro del espacio de trabajo virtual y la posición física del efector del dispositivo háptico no se ve modificada por el cambio de tamaño. Tanto el avatar virtual (efector en el mundo virtual) como el efector final (efector en el mundo real) del dispositivo háptico de realimentación de fuerzas de escritorio no cambian de posición. Al aumentar o disminuir el tamaño del espacio de acción, el avatar virtual siempre se mantiene en la misma posición, lo cual aporta gran naturalidad en la interacción con el usuario. Cuando el avatar virtual está situado en el centro del espacio de acción en el momento de realizar el cambio de tamaño del espacio de acción, únicamente se amplía el tamaño del espacio de acción, sin cambiar la posición del centro del espacio de acción modificado. Sin embargo, cuando el avatar virtual no está centrado en el espacio de acción cuando se modifica el tamaño del mismo, se realizan las operaciones necesarias para que, tras la ampliación o reducción del espacio de acción, el avatar virtual quede exactamente en la misma posición absoluta del entorno de realidad virtual y en la misma posición relativa (con respecto al entorno de acción) en la que estaba antes. Esto requiere cambiar el centro del espacio de acción modificado (o mover el espacio de acción).

Debido a la correspondencia entre las dimensiones del espacio de trabajo del dispositivo háptico (mundo real) y las dimensiones del espacio de acción (mundo virtual), a menor tamaño del espacio de acción el usuario obtiene un mayor nivel de precisión, mientras que si el tamaño del espacio de acción es mayor se obtiene una mayor libertad de movimiento.

Por su parte, el modo recolocación permite reposicionar el espacio de trabajo del dispositivo háptico en cualquier emplazamiento dentro de la escena virtual. En otras palabras, el modo recolocación permite al usuario mover el espacio de acción al lugar deseado de la escena virtual. De esta manera, mediante la recolocación del espacio de acción, el usuario puede interaccionar con cualquier objeto o elemento de la escena virtual.

El modo recolocación se puede activar, por ejemplo, mediante una interacción (e.g. una doble pulsación) con alguno de los botones del dispositivo háptico o al mirar hacia un área determinada de la escena virtual y, una vez activado, el espacio de acción se mueve siguiendo la mirada del usuario. La nueva posición del espacio de acción dentro de la escena se confirma cuando el usuario sale del modo recolocación, es decir, cuando se vuelve al modo interacción. Mientras se mantenga activo el modo recolocación el usuario puede seleccionar, además de la posición angular del espacio de acción con respecto al usuario, la distancia del espacio de acción al usuario.

En la invención se contemplan diferentes maneras de realizar el cambio entre modos de funcionamiento (interacción y recolocación):

- Botones en el dispositivo háptico. Si el dispositivo háptico utilizado cuenta con botones, uno de ellos puede ser utilizado como mecanismo de intercambio entre modos de funcionamiento. Así pues, dentro del modo interacción, cuando el usuario presione el botón desencadena el cambio al modo recolocación. Una vez que el espacio de acción se encuentre en la ubicación deseada dentro del modo recolocación, se puede fijar dicha ubicación y volver al modo interacción mediante la activación de nuevo de dicho botón. Una alternativa a la pulsación del botón para el cambio entre modos es la activación del modo recolocación únicamente mientras el botón del dispositivo háptico se encuentre presionado, por lo que el usuario debe seleccionar la nueva ubicación del espacio de acción mientras mantiene presionado el botón, fijándose la misma en su nuevo emplazamiento al dejar de presionar el botón. Otra alternativa es la de hacer doble click en uno de los botones del dispositivo háptico para desencadenar el cambio entre modos de funcionamiento.

- Comandos de voz. El cambio entre los distintos modos de funcionamiento puede realizarse también mediante comandos de voz específicos que un software ad hoc es capaz de reconocer, procesar y actuar en consecuencia.

- Fijación de la mirada. Consiste en colocar dentro de la escena virtual un área de cambio de modo, en la cual si el usuario fija su mirada (i.e. centra la mirada, detectada mediante la orientación del visor de realidad virtual o mediante sensores de seguimiento de ojos instalados en el visor de realidad virtual, en el caso de que incorpore este tipo de sensores) en ella durante unos segundos se realiza el cambio entre el modo interacción y el modo recolocación. Una vez dentro del modo recolocación, si el usuario fija la mirada durante unos segundos en la ubicación deseada para el espacio de acción, ésta quedará fijada en dicha ubicación y se volverá de nuevo al modo interacción. Como ayuda al usuario, la escena virtual puede mostrar unas barras de carga que se rellenan según el tiempo que se encuentre el usuario mirando al área de cambio de modo o a la ubicación deseada para el espacio de acción.

La invención también considera varias formas para realizar las posibles acciones contempladas para activar la modificación del tamaño del espacio de acción en el modo interacción y el reposicionamiento del espacio de acción en el modo recolocación.

La modificación del tamaño del espacio de acción se puede llevar a cabo de varias formas diferentes, por ejemplo:

- Botones en el dispositivo háptico. Si el dispositivo háptico cuenta con botones, éstos pueden utilizarse para modificar el tamaño del espacio de acción dentro del modo interacción. Se contemplan modificaciones escalonadas (al presionar el botón) o modificaciones continuas (mientras se mantenga presionado el botón). Si el dispositivo cuenta con más de un botón disponible, se puede utilizar un botón para incrementar el tamaño del espacio de acción y otro botón para disminuir el tamaño del mismo. Por el contrario, si el dispositivo háptico sólo cuenta con un botón puede realizarse la ampliación al realizar una única pulsación en el botón, y el efecto contrario con una doble pulsación del mismo.

- Comandos de voz. Se contempla también la utilización de comandos de voz para la modificación del tamaño del espacio de acción. Al igual que para el cambio entre modos de funcionamiento, el software empleado es capaz de reconocer, procesar y actuar en consecuencia aumentando o disminuyendo el tamaño del espacio de acción.

La modificación de la distancia del espacio de acción al usuario también se puede realizar de múltiples formas, entre ellas las siguientes:

- Botones en el dispositivo háptico. Si el dispositivo háptico cuenta con botones, éstos se pueden utilizar para modificar la distancia del espacio de acción al usuario dentro del modo recolocación. Se contemplan modificaciones escalonadas de la distancia (al presionar el botón) o modificaciones continuas de la misma (mientras se mantenga presionado el botón). Si el dispositivo háptico de realimentación de fuerzas de escritorio cuenta con más de un botón, se puede utilizar uno de ellos para aumentar la distancia y otro para disminuirla. Por el contrario, si el dispositivo háptico cuenta con un solo botón, puede aumentarse la distancia al realizar una única pulsación en el botón, y reducirse la distancia al efectuar una doble pulsación del botón.

- Comandos de voz. Se contempla también la utilización de comandos de voz para la modificación de la distancia del espacio de acción al usuario. Un software es capaz de reconocer el comando concreto, procesarlo y actuar en consecuencia para aumentar o disminuir dicha distancia.

Un segundo aspecto de la presente invención se refiere a un sistema de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, que implementa el método anteriormente descrito. El sistema comprende un dispositivo háptico de realimentación de fuerzas de escritorio para interactuar con un entorno de realidad virtual; una unidad de procesamiento gráfico encargada de generar escenas virtuales del entorno de realidad virtual en las que se representa un avatar virtual del dispositivo háptico de realimentación de fuerzas de escritorio; y un visor de realidad virtual para mostrar a un usuario las escenas virtuales generadas. La unidad de procesamiento gráfico está configurada para implementar el método descrito.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

A continuación, se describen de manera muy breve una serie de figuras que ayudan a comprender mejor la invención y que se relacionan expresamente con una realización de dicha invención que se presenta como un ejemplo no limitativo de ésta.

La Figura 1 ilustra las diferentes etapas de un método de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, de acuerdo a una realización de la presente invención.

Las Figuras 2A y 2B muestran el funcionamiento esquemático del método propuesto en el modo interacción, y en particular durante la modificación del tamaño del espacio de acción.

La Figura 3 representa el funcionamiento del método propuesto en el modo recolocación, y en particular durante la modificación de la posición angular del espacio de acción.

La Figura 4 representa el funcionamiento esquemático del modo recolocación cuando el usuario modifica la distancia a la que se encuentra el espacio de acción.

La Figura 5 muestran, de acuerdo a una posible realización, el sistema de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio en funcionamiento, cuando el usuario envía una orden de modificación del tamaño del espacio de acción.

Las Figuras 6A y 6B ilustran, respectivamente, el contenido de una orden de modificación y de una orden de recolocación de acuerdo a una realización.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

La presente invención se refiere a un método de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, donde un avatar virtual de un dispositivo háptico de realimentación de fuerzas de escritorio se representa en escenas virtuales mediante un visor de realidad virtual de un usuario.

En la Figura 1 se representan las diferentes etapas del método (100), de acuerdo a una realización. En primer lugar, se define (102) un espacio de acción en un entorno de realidad virtual, donde dicho espacio de acción se corresponde con el espacio de trabajo de un dispositivo háptico de realimentación de fuerzas de escritorio. Una vez ya definido el entorno de realidad virtual, de manera continuada se comprueba por un lado la detección (104) de una orden de modificación del espacio de acción, y por otro lado la detección (110) de una orden de recolocación del espacio de acción. Dichas comprobaciones se pueden realizar, por ejemplo, en paralelo o una a continuación de la otra, en bucle. Las órdenes detectadas son generadas a partir de la acción de un usuario, por ejemplo mediante la pulsación de un botón del dispositivo háptico, mediante un comando de voz o mediante el manejo del visor de realidad virtual.

Cuando se detecta (104) una orden de modificación del espacio de acción, se modifica (106) el tamaño del espacio de acción, aumentando o disminuyendo las dimensiones del espacio de acción una determinada cantidad en función de la orden de modificación recibida detectada. A continuación, se determina (107) la ubicación del espacio de acción modificado (por ejemplo, la ubicación del centro del mismo) de forma que no se altere la posición absoluta del avatar virtual en el entorno de realidad virtual y además se mantenga la posición relativa del avatar virtual con respecto al espacio de acción antes y después de la modificación de tamaño. Finalmente, se mapea (108) el espacio de trabajo del dispositivo háptico de realimentación de fuerzas de escritorio con el espacio de acción modificado. Estos dos últimos pasos (107, 108) se pueden realizar en cualquier orden.

Cuando se detecta (110) una orden de recolocación del espacio de acción, se mueve (112) el espacio de acción a una nueva ubicación del entorno de realidad virtual en función de la orden de recolocación detectada. En este caso, siempre que se mueve (112) el espacio de acción una determinada distancia en una determinada dirección, también se mueve (114) el avatar virtual la misma distancia y en la misma dirección, ya que el remapeo de ambos espacios (virtual y físico) debe ser consistente (y, por tanto, la posición relativa del avatar virtual dentro del espacio de acción debe permanecer invariable).

En la Figura 2A se ilustra la ejecución de una orden de modificación del espacio de acción. En el caso particular mostrado en la figura, se trata de una orden de ampliación del tamaño del espacio de acción. La figura se divide en dos escenas virtuales (202), siendo la superior la escena original y la inferior la escena resultante tras aplicar una modificación en el tamaño del espacio de acción.

En la parte superior de la Figura 2A una escena virtual (202), representada en un visor de realidad virtual (204) de un usuario (212), muestra el avatar virtual (206) de un dispositivo háptico de realimentación de fuerzas de escritorio, a través del cual el usuario interactúa con objetos virtuales (208) del entorno de realidad virtual representados también en la escena virtual (202). En la figura también se muestra el espacio de acción (210) (el cual no necesariamente se muestra en la escena virtual (202)), que corresponde al volumen dentro del cual se puede mover el avatar virtual (206) en respuesta al movimiento del efector final del dispositivo háptico de realimentación de fuerzas de escritorio generado por la mano del usuario (212). En la Figura 2A, el avatar virtual (206) se encuentra representado mediante una pequeña esfera en el centro del espacio de acción (210).

En la parte inferior de la figura se muestra la ampliación de las dimensiones del espacio de acción (210), manteniendo el espacio de acción modificado (210’) las proporciones originales entre ancho, largo y alto del espacio de acción (210). En el ejemplo de la Figura 2A el avatar virtual (206) está centrado en el espacio de acción (210), con lo cual el centro del espacio de acción (210) no varía su posición dentro de la escena virtual (202), ya que la posición absoluta del avatar virtual en el entorno de realidad virtual no varía y la posición relativa del avatar virtual con respecto al espacio de acción se mantiene antes y después de la modificación de tamaño. Como se aprecia en la Figura 2A, la escena virtual (202) representada en el visor de realidad virtual (204) no varía, únicamente se amplía el tamaño del espacio de acción (210), el cual afecta al mapeo entre las dimensiones del espacio de trabajo del dispositivo háptico de realimentación de fuerzas de escritorio y las dimensiones del espacio de acción modificado (esto es, cuánto se mueve en cada eje el avatar virtual (206) en la escena virtual del entorno de realidad virtual cuando el efector final del dispositivo háptico de realimentación de fuerzas de escritorio se desplaza en el mundo real una determinada cantidad en cada eje). Como se ha indicado anteriormente, la visualización del espacio de acción (210) en la escena virtual (202) es opcional.

La modificación del tamaño del espacio de acción (210) se realiza por tanto sin alterar la posición absoluta ni la posición relativa del avatar virtual (206) dentro del espacio de acción (210). En el ejemplo de la Figura 2A, el avatar virtual (206) se mantiene posicionado en el centro del espacio de acción (210) antes y después de la modificación del tamaño del espacio de acción (210), de forma que el centro del espacio de acción (210) no varía su ubicación. Sin embargo, la posición del centro del espacio de acción (210) sí varía en el caso de que el avatar virtual (206) no esté posicionado en el centro del espacio de acción (210) en el momento de realizar la ampliación de tamaño del mismo, ya que lo que debe permanecer inmóvil es el avatar virtual (206).

La Figura 2B muestra una ampliación del espacio de acción (210) donde el avatar virtual (206) no está posicionado en el centro (214) del espacio de acción (210). En la parte superior de la Figura 2B se representa, en una escena virtual (202), un objeto virtual (208), y el espacio de acción (210) y el avatar virtual (206) del dispositivo háptico de realimentación de fuerzas de escritorio. El avatar virtual (206) se ubica en un extremo superior del espacio de acción, desplazado una distancia "-a” en el eje X, una distancia de cero en el eje Y, y una distancia “b” en el eje Z con respecto al centro (214) del espacio de acción (210).

En la parte inferior de la Figura 2B se muestra la escena virtual (202) anterior con el objeto virtual (208) y el avatar virtual (206) en las mismas posiciones, y con el espacio de acción modificado (210’), en concreto ampliado al doble de tamaño en respuesta a una correspondiente orden de modificación del espacio de acción. En este caso, el centro (214) del espacio de acción (210) se desplaza una distancia d hacia una nueva posición, centro modificado (214’), para mantener inalterada la posición relativa del avatar virtual (206) antes de la ampliación (i.e. con respecto al espacio de acción (210)) y después de la ampliación (i.e. con respecto al espacio de acción modificado (210’)). En este caso, al duplicarse el tamaño del espacio de acción (210), también debe duplicarse las distancias relativas originales, con lo que el avatar virtual (206) queda a una distancia “-2a” en el eje X, una distancia de cero en el eje Y, y una distancia "2b” en el eje Z con respecto al centro modificado (214’). Como se ha indicado anteriormente, en el paso (107) del diagrama de flujo de la Figura 1 se determina la ubicación del espacio de acción modificado (210’) y, por tanto, la ubicación del centro modificado (214’) para mantener la posición del avatar virtual (206) inalterada (en posición absoluta en la escena virtual y en posición relativa con respecto a los espacios de acción (210) y (210’)).

Volviendo a la Figura 1, el método también comprueba si se produce la detección (110) de una orden de recolocación del espacio de acción, en cuyo caso se mueve (112, 114) el espacio de acción (210), junto con el avatar virtual (206), un determinado vector desplazamiento hacia una nueva ubicación. La orden de recolocación contiene la información suficiente para determinar la posición de la nueva ubicación del espacio de acción (210), por ejemplo las tres coordenadas cartesianas (X,Y,Z) que determinan en el espacio la posición absoluta de un punto (e.g. el centro) del espacio de acción (210), o la modificación de la posición (AX,AY,AZ) del espacio de acción (210) en alguno de los ejes cartesianos o en cualquier otro sistema de coordenadas. De acuerdo a una realización, dicha orden puede comprender una modificación de la posición angular del espacio de acción con respecto al usuario, una modificación de la distancia del espacio de acción con respecto al usuario, o una combinación de ambas.

En la Figura 3 se representa la ejecución de una orden de recolocación del espacio de acción; en particular, la modificación de la posición angular del espacio de acción (210) con respecto al usuario (212). Al igual que en la figura anterior, la Figura 3 se subdivide en dos escenas virtuales (202). En la escena superior se representa el instante en el que se activa el modo recolocación, ya que el objeto virtual (208) con el que se desea interaccionar se encuentra alejado del espacio de acción (210). El usuario puede entonces cambiar su punto de vista, centrando su mirada en el objeto virtual (208) con el que desea iniciar la interacción, y es en esa posición angular en la que se coloca el espacio de acción, tal y como se representa en la escena inferior, manteniendo constante (dentro del entorno de realidad virtual) la distancia al usuario.

Se puede considerar al usuario (212) que porta el visor de realidad virtual (204) como un espectador posicionado dentro del entorno de realidad virtual en una posición que correspondería con una posición intermedia de sus ojos. De acuerdo a una realización preferida, el desplazamiento angular (o modificación de la posición angular) del espacio de acción (210) se determina en base a una orientación final (308) del visor de realidad virtual (204). La orientación del visor de realidad virtual (204) se puede definir por ejemplo como la línea perpendicular al segmento (304) que une los centros de las lentes del visor de realidad virtual (204) en su punto intermedio (306).

En la Figura 3 se representa en la parte superior el visor de realidad virtual (204) con una orientación inicial (302) centrada en el espacio de acción (210). El usuario (212) inicia una orden de recolocación, y gira el visor de realidad virtual (204) un determinado ángulo hacia la izquierda, hasta centrar la mirada en el objeto virtual (208). La orientación final (308) del visor de realidad virtual (204), centrada en el objeto virtual (208), está incluida en la orden de recolocación del espacio de acción, y determina la nueva posición angular del espacio de acción (210) con respecto al usuario (212). La posición angular del espacio de acción (210) se puede definir, por ejemplo, con respecto a su centro geométrico. En la escena virtual (202) mostrada en la parte inferior de la figura se representa el espacio de acción recolocado (210’’), una vez su centro geométrico se ha movido a la nueva posición angular (centrada en el objeto virtual (208)) determinada por la orientación final (308) del visor, y manteniendo constante la distancia al usuario (212). Por simplicidad de la figura, únicamente se muestra un giro lateral en dos dimensiones, correspondiente al azimutal 9 en coordenadas esféricas. Pero la orientación final (308) del visor de realidad virtual (204) se determinaría preferentemente en un espacio tridimensional, por ejemplo mediante al ángulo azimutal 9 y el ángulo polar 0 cuando se emplean coordenadas esféricas.

De acuerdo a una realización, la detección (110) de una orden de recolocación del espacio de acción (210) se inicia mediante un comando de inicio de recolocación y se finaliza mediante un comando de fin de recolocación generado cuando el visor de realidad virtual (204) está orientado en la orientación final (308).

En una realización, el comando de inicio de recolocación se genera mediante la orientación del visor de realidad virtual (204) durante un tiempo determinado (e.g. 3 segundos) hacia una zona determinada del entorno virtual (correspondiente a la fijación de la mirada del usuario en una zona concreta), como por ejemplo una zona del entorno virtual (área de recolocación) en el que se muestre un comando de recolocación; y el comando de fin de recolocación se genera al mantener la orientación del visor de realidad virtual (204) durante un tiempo determinado (e.g. 3 segundos) en la orientación final (308), la cual determina la posición angular final del espacio de acción (210). De manera ventajosa esta realización permite la interacción con el usuario únicamente utilizando el visor de realidad virtual, sin necesidad de usar por ejemplo ningún botón del dispositivo háptico de realimentación de fuerzas de escritorio, con lo que sus botones quedan libres para otras funcionalidades.

En otra realización, el comando de inicio de recolocación se genera mediante una primera interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio y el comando de fin de recolocación se genera mediante una segunda interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio cuando el visor de realidad virtual (204) está orientado en la orientación final (308). La primera y segunda interacción puede consistir, a modo de ejemplo, en una pulsación simple o una doble pulsación de uno de los botones del dispositivo háptico de realimentación de fuerzas de escritorio. En una realización, el comando de inicio de recolocación se genera a través de dicha primera interacción cuando el visor de realidad virtual (204) tiene una determinada orientación, por ejemplo cuando está orientado hacia el espacio de acción (210).

Alternativamente, el comando de inicio de recolocación y el comando de fin de recolocación se pueden generar mediante comandos de voz.

La orden de recolocación puede comprender, alternativamente o en adición a lo anterior, una modificación de la distancia del espacio de acción (210) con respecto al usuario (212). La distancia del espacio de acción (210) al usuario (212) se puede considerar, por ejemplo, como la distancia de un punto de referencia del espacio de acción (210) (e.g. el centro (214) geométrico) al punto intermedio (306) de las lentes (más en concreto, a la representación de dicho punto intermedio en el entorno de realidad virtual).

La Figura 4 ilustra el funcionamiento esquemático del modo recolocación cuando el usuario modifica la distancia a la que se encuentra el espacio de acción (con respecto a la posición de los ojos del usuario en el mundo virtual), permitiendo así alcanzar objetos que se encuentren a mayor distancia (d2) o menor distancia (d1) que la distancia actual (d0) del espacio de acción.

En la Figura 4 se representa el espacio de acción (210) en su posición inicial, a una distancia d0 con respecto al usuario (212) (medida en la figura con respecto al punto del espacio de acción (210) más cercano al usuario (212), si bien se podría medir con respecto a cualquier otro punto, por ejemplo el centro geométrico del espacio de acción (210)), y el espacio de acción recolocado (210’’) en dos ubicaciones diferentes, a una distancia di y una distancia d2 del usuario, respectivamente. En el primer caso, distancia di, se produce un acercamiento al usuario (212) del espacio de acción (210); en el segundo caso, distancia d2, se produce un alejamiento del espacio de acción con respecto al usuario (212). El espacio de acción recolocado (210’’) se puede mostrar en la nueva escena virtual (212), por ejemplo mediante un espacio sombreado.

En una realización, la orden de recolocación comprende una combinación de la modificación de la posición angular del espacio de acción con respecto al usuario (Figura 3) y la modificación de la distancia del espacio de acción con respecto al usuario (Figura 4). En este caso si se considera la posición del centro geométrico del espacio de acción (210) en coordenadas esféricas, la posición angular (ángulo azimutal 9 y ángulo polar 0) del espacio de acción recolocado (210’’) viene determinado por una orientación final (308) del visor de realidad virtual (204), y la distancia (coordenada radial p) del espacio de acción recolocado (210’’) al usuario (212) se determina en base a la distancia inicial d0 modificada por una instrucción o comando del usuario (distancia final d1 o d2, en función de si es una instrucción de acercamiento o de alejamiento).

Las formas de ejecutar las órdenes de modificación y de recolocación por parte del usuario pueden ser muy diversas. Así por ejemplo, la modificación del tamaño del espacio de acción y la modificación de la distancia del espacio de acción se pueden determinar mediante la pulsación de uno o varios botones del dispositivo háptico de realimentación de fuerzas de escritorio.

De acuerdo a una realización, se puede utilizar una doble pulsación de uno de los botones del dispositivo háptico (botón de cambio de modo) como mecanismo para el cambio entre los modos de funcionamiento, interacción y recolocación. Mientras se esté en el modo interacción, la modificación del tamaño del espacio de acción se realiza de manera continua mediante el uso de dos botones integrados en el dispositivo háptico, un botón de ampliación para ampliar el tamaño del espacio de acción y un botón de reducción para reducir el tamaño. Estos mismos botones, botón de ampliación y botón de reducción, también se pueden emplear como mecanismo para la modificación continua de la distancia del espacio de acción al usuario dentro del modo recolocación. La velocidad de ampliación/reducción en ambos casos (del tamaño o distancia) estará predeterminada por software, siendo un parámetro configurable por el usuario.

Dada una escena virtual de 360 grados, se coloca inicialmente el correspondiente espacio de acción justo delante de la posición base de partida del usuario, dimensionada acorde al entorno virtual y en un formato que permite una correlación directa con el espacio de trabajo físico del dispositivo háptico de realimentación de fuerzas de escritorio. De este modo, si el espacio de trabajo físico del dispositivo háptico tiene unas dimensiones concretas L x A x F (largo, ancho y fondo), el espacio de acción presente en la escena mantendrá las proporciones definidas por dichas constantes (L,A,F).

En el modo interacción el usuario puede aumentar el tamaño del espacio de acción progresivamente mientras mantenga pulsado uno de los botones del dispositivo háptico (el botón de ampliación). De esta forma se consigue una ampliación fluida que el usuario puede adaptar a sus preferencias. La disminución del espacio de acción se puede llevar a cabo igualmente mediante la pulsación prolongada de otro de los botones (el botón de reducción). Tanto el aumento como la disminución del tamaño del espacio de acción tienen límites lógicos, en base al tamaño de los objetos presentes en la escena virtual.

Siempre que el usuario se encuentre mirando hacia el espacio de acción (210), puede hacer doble click en uno de los botones del dispositivo háptico (el botón de cambio de modo) para realizar el cambio al modo recolocación. El botón de cambio de modo puede corresponder con uno de los botones empleados para la ampliación/reducción del tamaño o distancia. Una vez en modo recolocación, el usuario entonces puede desplazar la mirada hacia la posición angular del entorno virtual en la que desee colocar el espacio de acción (orientación final (308) del visor de realidad virtual (204)). Asimismo, el usuario puede utilizar dos botones (botón de ampliación y botón de reducción) del dispositivo háptico dentro del modo recolocación para modificar la distancia del usuario al espacio de acción. Cuando el usuario realice de nuevo doble click en el botón de cambio de modo, se volverá al modo interacción, ya una vez fijado el espacio de acción a su nueva ubicación.

La presente invención soluciona un problema inherente a los dispositivos hápticos de realimentación de fuerzas de escritorio, su pequeño espacio de trabajo. La invención propuesta permite una interacción mediante el dispositivo háptico en cualquier parte de la escena virtual debido a la recolocación del espacio de acción y con un nivel de precisión deseado obtenido por la modificación del tamaño del espacio de acción.

La aplicación de la presente invención en los dispositivos hápticos permite su utilización de una manera natural y precisa como principales dispositivos de interacción en diferentes tipos de simuladores y experiencias de realidad virtual (sector médico, industria automovilística, industria aeroespacial, juegos, etc.), así como en tareas de teleoperación de robots en diferentes escenarios.

En la Figura 5 se muestran los distintos elementos del sistema de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, de acuerdo a una posible realización de la presente invención. En particular, el sistema (500) comprende un dispositivo háptico de realimentación de fuerzas de escritorio (502) (mostrado en la figura de manera incompleta y esquemática) a través del cual un usuario (212) interactúa con un entorno de realidad virtual; una unidad de procesamiento gráfico (504) (tal como una GPU, una CPU, y en general cualquier unidad o dispositivo electrónico con capacidad de procesamiento de datos) encargada de generar escenas virtuales (202) del entorno de realidad virtual en las que se representa un avatar virtual (206) del dispositivo háptico de realimentación de fuerzas de escritorio (502) interactuando con objetos virtuales (208) en un entorno virtual; y un visor de realidad virtual (204) para mostrar al usuario (212) las escenas virtuales generadas por la unidad de procesamiento gráfico (504).

Según la realización mostrada en la Figura 5, la unidad de procesamiento gráfico (504) es una entidad separada e independiente del visor de realidad virtual (204). Dicha unidad de procesamiento gráfico (504) se puede implementar, por ejemplo, mediante un ordenador conectado por cable (506) (o por conexión inalámbrica a alta frecuencia según las recientes tecnologías, e.g. WiGig a 60 Ghz) al visor de realidad virtual (204). Sin embargo, en otra realización (no mostrada en las figuras) la unidad de procesamiento gráfico (504) está integrada en el propio visor de realidad virtual (204) (i.e. visor de realidad virtual autónomo, como por ejemplo Oculus Quest).

La unidad de procesamiento gráfico (504) está configurada para definir, en un entorno de realidad virtual, un espacio de acción (210) que se corresponde con el espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502) en el entorno real. La unidad de procesamiento gráfico (504) está configurada para detectar órdenes de modificación (512) y órdenes de recolocación (514) del espacio de acción (210). Según se ha explicado anteriormente, dichas órdenes son generadas de diferentes formas por la acción del usuario (212), por ejemplo mediante la pulsación de un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502).

En el ejemplo mostrado en la Figura 5 el dispositivo háptico de realimentación de fuerzas de escritorio (502) está configurado para enviara la unidad de procesamiento gráfico (504), como respuesta a la pulsación de un botón 508 por parte del usuario (212), una orden de modificación (512) que contiene información para modificar el tamaño del espacio de acción (210). Cuando la unidad de procesamiento gráfico (504) detecta la orden de modificación (512), aumenta o disminuye las dimensiones del espacio de acción (210) una determinada cantidad en función de la orden de modificación (512) detectada (de ampliación o de reducción). La ampliación o reducción del espacio de acción (210) se puede realizar de manera discreta (por ejemplo, una única ampliación de 2x según la información contenida en la orden de modificación (512)) o de manera continua (por ejemplo, con un ratio de velocidad de ampliación progresivo durante todo el tiempo en que se esté recibiendo la orden de modificación (512)).

La unidad de procesamiento gráfico (504) determina la ubicación del espacio de acción modificado (210’) para mantener inalterada la posición del avatar virtual (206) (según se ha explicado en el ejemplo de la Figura 2B), y mapea el espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502) con el espacio de acción modificado (210’), haciéndolos corresponder (por ejemplo, un desplazamiento d en el eje X del dispositivo háptico en el espacio de trabajo (510) se corresponde con un desplazamiento d’ en el eje correspondiente dentro del espacio de acción (210) del entorno de realidad virtual). La unidad de procesamiento gráfico (504) envía por cable (506) al visor de realidad virtual (204) escenas virtuales (202) a una determinada tasa de refresco (e.g. 90 Hz) mostrando al usuario (212) el espacio de acción modificado (210’). El envío de las escenas virtuales (202) con el tamaño del espacio de trabajo actualizado es opcional, ya que el espacio de trabajo (210) no tiene por qué visualizarse en la escena virtual (202).

La unidad de procesamiento gráfico (504) está también configurada para detectar una orden de recolocación (514) del espacio de acción (210), y para mover el espacio de acción (210) a una nueva ubicación del entorno de realidad virtual en función de la orden de recolocación (514) detectada.

El dispositivo háptico de realimentación de fuerzas de escritorio (502) puede estar configurado para enviar a la unidad de procesamiento gráfico (504), como respuesta por ejemplo a la pulsación de un botón (508) por parte del usuario (212), una orden de recolocación (514) (mostrada en líneas discontinuas) que contiene información utilizada para mover el espacio de acción (210) a una nueva ubicación. Por ejemplo, la orden de recolocación puede incluir información para ampliar o disminuir una determinada cantidad la distancia del espacio de acción (210) al usuario (212). O, alternativamente, la unidad de procesamiento gráfico 504 puede ampliar o reducir la distancia del espacio de acción (210) al usuario (212) mientras reciba una orden de recolocación (514) (en el caso de que dicha orden se esté enviando de manera continua mientras el usuario (212) esté pulsado un botón (508)).

El dispositivo háptico de realimentación de fuerzas de escritorio (502) puede estar configurado para detectar una orden de modificación (512) o una orden de recolocación (514), por ejemplo mediante la detección de la pulsación, realizada por el usuario (212), de un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502). El dispositivo háptico de realimentación de fuerzas de escritorio (502) envía, mediante cable (516) o de manera inalámbrica, la orden detectada convenientemente procesada a la unidad de procesamiento gráfico (504), la cual detecta la orden mediante su recepción.

La unidad de procesamiento gráfico (504) puede detectar una orden de recolocación (514) por la información recibida del dispositivo háptico de realimentación de fuerzas de escritorio (502) o de otras formas, por ejemplo mediante el análisis de la información proporcionada por el visor de realidad virtual (204). Así, por ejemplo, cuando el usuario (212) centra la mirada (detectada mediante la orientación del visor de realidad virtual (204)) durante un tiempo determinado en un área de recolocación (518) del entorno de realidad virtual (por ejemplo, un área de recolocación (518) representado en la escena virtual (202) próxima al espacio de acción (210), como se muestra en la Figura 5, o un área de recolocación (518) que coincide con en el propio espacio de acción (210)), la unidad de procesamiento gráfico (504) lo interpreta como una orden de recolocación (514) para mover el espacio de acción (210) a una nueva ubicación, y en particular para modificar la posición angular del espacio de acción (210) con respecto al usuario (212). En este caso, la detección de la orden de recolocación (514) del espacio de acción (210) se inicia mediante la orientación del visor de realidad virtual (204) durante un tiempo determinado hacia el área de recolocación (518) del entorno virtual, y se finaliza al mantener la orientación del visor de realidad virtual (204) durante un tiempo determinado en una orientación final (308). La modificación de la posición angular del espacio de acción (210) se determina en función de dicha orientación final (308) del visor de realidad virtual (204). En esta realización, aunque se representa en líneas discontinuas en la Figura 5 el envío de una orden de recolocación (514) desde el visor de realidad virtual (204) hacia la unidad de procesamiento gráfico (504), en realidad el visor de realidad virtual (204) no envía una orden de recolocación (514) como tal, sino que envía información relativa a la orientación del visor que, cuando cumple una o varias condiciones, puede ser detectada o interpretada como una orden de recolocación.

En función de la orden recibida o de la configuración de la unidad de procesamiento gráfico (504), la modificación del tamaño del espacio de acción (210) o de la distancia al usuario puede realizarse de forma puntual ,de forma que cada pulsación del botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502) conlleva la ampliación o disminución del tamaño/distancia con un determinado valor predefinido, o de forma continua, donde al mantener pulsado el botón (508) se aplicará una ampliación/disminución progresiva hasta que el usuario deje de presionar el botón, momento en el que se considera que ha alcanzado el nivel de ampliación deseado.

El método (100) puede comprender enviar, por parte del dispositivo háptico de realimentación de fuerzas de escritorio (502) a la unidad de procesamiento gráfico (504), una o varias órdenes de modificación (512) del espacio de acción (210), donde cada orden de modificación (512) contiene información empleada por la unidad de procesamiento gráfico (504) para realizar el aumento o disminución del tamaño del espacio de acción (210).

La Figura 6A ilustra el contenido de una orden de modificación (512), la cual puede incluir el tipo de modificación (602), ya sea de aumento de tamaño o de disminución de tamaño. La orden de modificación (512) puede también incluir un grado, nivel o coeficiente de modificación de tamaño (604) que la unidad de procesamiento gráfico (504) debe aplicar, por ejemplo un coeficiente de ampliación o un coeficiente de reducción. Alternativamente, la unidad de procesamiento gráfico (504) puede tener determinado mediante un parámetro configurable el nivel de modificación de tamaño que se debe aplicar cuando se recibe una orden de aumento o de disminución; en ese caso no es necesario incluir un coeficiente de modificación de tamaño (604) en la orden de modificación (512). En otra realización la orden de modificación solo incluye un coeficiente de modificación de tamaño (604), el cual indica per se si se trata de un aumento o disminución del tamaño y el nivel de aumento o disminución a aplicar (e.g. un coeficiente de 0.5 indica una disminución a la mitad del tamaño y un coeficiente de 2 indica un aumento al doble del tamaño). Estos coeficientes de modificación de tamaño 604 incluidos en la orden de modificación (512) puede ser un parámetro configurable del dispositivo háptico de realimentación de fuerzas de escritorio (502).

En una realización, el usuario pulsa un primer botón del dispositivo háptico de realimentación de fuerzas de escritorio (502) para enviar un comando de aumento de tamaño, y pulsa un segundo botón para enviar un comando de disminución de tamaño. En este caso particular la orden de modificación (512) se envía una única vez, con información relativa al tipo de modificación (602) asignada al botón pulsado. La unidad de procesamiento gráfico (504) aplica, una vez recibe la orden de modificación (512), un ratio de aumento o de disminución establecido en parámetros internos configurables almacenados en memoria.

En otra realización, el usuario mantiene pulsado un primer botón del dispositivo háptico de realimentación de fuerzas de escritorio (502) para aumentar progresivamente el tamaño del espacio de acción (210) y mantiene pulsado un segundo botón del dispositivo háptico de realimentación de fuerzas de escritorio (502) para disminuir progresivamente el tamaño del espacio de acción (210). En este caso particular la orden de modificación (512) se envía repetidamente durante el tiempo de pulsación del botón, con información relativa al tipo de modificación (602) asignada al botón pulsado. Durante el tiempo que la unidad de procesamiento gráfico (504) recibe la orden de modificación (512), aplica de forma progresiva un ratio de aumento o de disminución determinado según unos parámetros configurables almacenados en memoria.

El método (100) puede comprender enviar, por parte del dispositivo háptico de realimentación de fuerzas de escritorio (502) a la unidad de procesamiento gráfico (504), una o varias órdenes de recolocación (514) del espacio de acción (210), donde cada orden de recolocación (514) contiene información empleada por la unidad de procesamiento gráfico (504) para realizar el desplazamiento del espacio de acción (210) a una nueva ubicación, por ejemplo indicando un determinado desplazamiento del espacio de acción (210) relativo con respecto a la posición actual o indicando la posición final del espacio de acción (210).

La Figura 6B muestra, de acuerdo a una realización, el contenido de una orden de recolocación (514), la cual puede incluir una posición angular modificada (606), una distancia al usuario modificada (608), o una combinación de ambas. Las informaciones de posición angular y distancia se pueden proporcionar de manera absoluta o relativa a la posición actual.

En una realización, para determinar la posición angular modificada (606) el proceso de detección (110) de una orden de recolocación (514) por parte de la unidad de procesamiento gráfico (504) comprende la detección de un comando de inicio de recolocación y de un comando de fin de recolocación. Mediante el comando de inicio de recolocación la unidad de procesamiento gráfico (504) detecta la instrucción del usuario para iniciar una orden de recolocación, y en particular para la modificación de la posición angular del espacio de acción (210). Mediante el comando de fin de recolocación la unidad de procesamiento gráfico (504) determina la modificación de la posición angular 606 en función de una orientación final (308) del visor de realidad virtual (204) en el momento de recibir dicho comando.

En una realización, el comando de inicio de recolocación y el comando de fin de recolocación pueden ser el mismo comando. Por ejemplo, el usuario puede realizar una doble pulsación de un botón del dispositivo háptico de realimentación de fuerzas de escritorio (502), y dicha doble pulsación puede determinar el inicio y fin de la detección (110) de una orden de recolocación (514), de forma que la modificación de la posición angular (606) del espacio de acción (210) se determina en base a la orientación final (308) del visor de realidad virtual (204) en el momento de realizar la doble pulsación.

Finalmente, el método (100) también puede comprender la etapa de representar, en el visor de realidad virtual (204), al menos una escena virtual (202) en la que se muestre el espacio de acción modificado (210’) o el espacio de acción recolocado (210’’), en función del tipo de orden detectada y ejecutada (i.e. orden de modificación (512) u orden de recolocación (514)). En la escena virtual (202) también se representa el avatar virtual (206) del dispositivo háptico de realimentación de fuerzas de escritorio (502), con su posición convenientemente actualizada.

Claims (22)

REIVINDICACIONES

1. Método de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, donde un avatar virtual (206) de un dispositivo háptico de realimentación de fuerzas de escritorio (502) se representa en escenas virtuales (202) mediante un visor de realidad virtual (204) portado por un usuario (212), caracterizado por que el método (100) comprende:

definir (102) un espacio de acción (210) en un entorno de realidad virtual, donde dicho espacio de acción (210) se corresponde con un espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502);

ante la detección (104) de una orden de modificación (512) del espacio de acción (210):

modificar (106) el tamaño del espacio de acción (210), aumentando o disminuyendo en una determinada cantidad las dimensiones del espacio de acción (210) en función de la orden de modificación (512) detectada;

determinar (107) la ubicación del espacio de acción modificado (210’) para mantener inalterada la posición del avatar virtual (206); y

mapear (108) el espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502) con el espacio de acción modificado (210’);

ante la detección (110) de una orden de recolocación (514) del espacio de acción (210), mover (112) el espacio de acción (210) a una nueva ubicación del entorno de realidad virtual en función de la orden de recolocación (514) detectada.

2. Método según la reivindicación 1, caracterizado por que la orden de recolocación (514) del espacio de acción (210) comprende:

una modificación de la posición angular (606) del espacio de acción (210) con respecto al usuario (212);

una modificación de la distancia (608) del espacio de acción (210) con respecto al usuario (212); o

una combinación de las anteriores.

3. Método según la reivindicación 2, caracterizado por que la modificación de la posición angular (606) del espacio de acción (210) se determina en función de una orientación final (308) del visor de realidad virtual (204).

4. Método según la reivindicación 3, caracterizado por que la detección (110) de una orden de recolocación (514) del espacio de acción (210) se inicia mediante un comando de inicio de recolocación, y se finaliza mediante un comando de fin de recolocación generado cuando el visor de realidad virtual (204) está orientado en la orientación final (308).

5. Método según la reivindicación 4, caracterizado por que el comando de inicio de recolocación se genera mediante la orientación del visor de realidad virtual (204) durante un tiempo determinado hacia un área de recolocación (518) del entorno virtual, y el comando de fin de recolocación se genera al mantener la orientación del visor de realidad virtual (204) durante un tiempo determinado en la orientación final (308).

6. Método según la reivindicación 4, caracterizado por que el comando de inicio de recolocación se genera mediante una primera interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio (502) y el comando de fin de recolocación se genera mediante una segunda interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio (502).

7. Método según la reivindicación 4, caracterizado por que el comando de inicio de recolocación y el comando de fin de recolocación se generan mediante comandos de voz.

8. Método según cualquiera de las reivindicaciones 2 a 7, caracterizado por que la modificación de la distancia del espacio de acción (210) con respecto al usuario (212) se determina mediante la pulsación de al menos un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502).

9. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que la modificación del tamaño del espacio de acción (210) se determina mediante la pulsación de al menos un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502).

10. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende enviar, por parte del dispositivo háptico de realimentación de fuerzas de escritorio (502) a la unidad de procesamiento gráfico (504), al menos una orden de modificación (512) del espacio de acción (210), donde cada orden de modificación (512) contiene información (602, 604) empleada por la unidad de procesamiento gráfico (504) para realizar el aumento o disminución del tamaño del espacio de acción (210).

11. Método según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende enviar, por parte del dispositivo háptico de realimentación de fuerzas de escritorio (502) a la unidad de procesamiento gráfico (504), al menos una orden de recolocación (514) del espacio de acción (210), donde cada orden de recolocación (514) contiene información (606, 608) empleada por la unidad de procesamiento gráfico (504) para realizar el desplazamiento del espacio de acción (210) a una nueva ubicación.

12. Sistema de interacción en entornos de realidad virtual mediante dispositivo háptico de realimentación de fuerzas de escritorio, que comprende:

un dispositivo háptico de realimentación de fuerzas de escritorio (502) para interactuar con un entorno de realidad virtual;

una unidad de procesamiento gráfico (504) encargada de generar escenas virtuales (202) del entorno de realidad virtual en las que se representa un avatar virtual (206) del dispositivo háptico de realimentación de fuerzas de escritorio (502);

un visor de realidad virtual (204) para mostrar a un usuario (212) las escenas virtuales (202) generadas;

caracterizado por que la unidad de procesamiento gráfico (504) está configurada para:

definir un espacio de acción (210) en el entorno de realidad virtual, donde dicho espacio de acción (210) se corresponde con un espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502);

ante la detección de una orden de modificación (512) del espacio de acción (210): modificar el tamaño del espacio de acción (210), aumentando o disminuyendo en una determinada cantidad las dimensiones del espacio de acción (210) en función de la orden de modificación (512) detectada;

determinar la ubicación del espacio de acción modificado (210’) para mantener inalterada la posición del avatar virtual (206); y

mapear el espacio de trabajo (510) del dispositivo háptico de realimentación de fuerzas de escritorio (502) con el espacio de acción modificado (210’);

ante la detección de una orden de recolocación (514) del espacio de acción (210), mover el espacio de acción (210) a una nueva ubicación del entorno de realidad virtual en función de la orden de recolocación (514) detectada.

13. Sistema según la reivindicación 12, caracterizado por que la orden de recolocación (514) del espacio de acción (210) comprende:

una modificación de la posición angular (606) del espacio de acción (210) con respecto al usuario (212);

una modificación de la distancia (608) del espacio de acción (210) con respecto al usuario (212); o

una combinación de las anteriores.

14. Sistema según la reivindicación 13, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para determinar la modificación de la posición angular (606) del espacio de acción (210) en función de una orientación final (308) del visor de realidad virtual (204).

15. Sistema según la reivindicación 14, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para iniciar la detección de una orden de recolocación (514) del espacio de acción (210) mediante un comando de inicio de recolocación, y finalizar la detección de una orden de recolocación (514) mediante un comando de fin de recolocación generado cuando el visor de realidad virtual (204) está orientado en la orientación final (308).

16. Sistema según la reivindicación 15, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para generar el comando de inicio de recolocación mediante la detección de la orientación del visor de realidad virtual (204) durante un tiempo determinado hacia un área de recolocación (518) del entorno virtual, y generar el comando de fin de recolocación mediante la detección de la orientación del visor de realidad virtual (204) mantenida durante un tiempo determinado en la orientación final (308).

17. Sistema según la reivindicación 15, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para generar el comando de inicio de recolocación mediante la detección de una primera interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio (502) y generar el comando de fin de recolocación mediante la detección de una segunda interacción con al menos un botón del dispositivo háptico de realimentación de fuerzas de escritorio (502).

18. Sistema según la reivindicación 15, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para generar el comando de inicio de recolocación y el comando de fin de recolocación mediante la detección de comandos de voz.

19. Sistema según cualquiera de las reivindicaciones 13 a 18, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para determinar la modificación de la distancia (608) del espacio de acción (210) con respecto al usuario (212) mediante la detección de la pulsación de al menos un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502).

20. Sistema según cualquiera de las reivindicaciones 12 a 19, caracterizado por que la unidad de procesamiento gráfico (504) está configurada para determinar la modificación del tamaño del espacio de acción (210) mediante la detección de la pulsación de al menos un botón (508) del dispositivo háptico de realimentación de fuerzas de escritorio (502).

21. Un producto de programa que comprende medios de instrucciones de programa para llevar a cabo el método definido en cualquiera de las reivindicaciones 1 a 11 cuando el programa se ejecuta en un procesador.

22. Un medio de soporte de programas, que almacena el producto de programa según la reivindicación 21.