ES2849963A1

ES2849963A1 - Sistema y metodo para presentar la interaccion tactil que utiliza un conjunto de transductores de ultrasonido

Info

Publication number: ES2849963A1
Application number: ES202030150A
Authority: ES
Inventors: Héctor Barreiro; Stephen Sinclair; Tristán Miguel Angel Otaduy
Original assignee: Universidad Rey Juan Carlos
Current assignee: Universidad Rey Juan Carlos
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2021-08-24
Anticipated expiration: 2040-02-21
Also published as: ES2849963B2; WO2021165555A1; EP4113254A1; US20230076264A1

Abstract

Sistema y método para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido. El método (100) comprende recibir (110) un campo objetivo (102); calcular (120) una o más trayectorias (514) de puntos focales de presión de intensidad variable de tal manera que se minimice la diferencia entre un campo de resultado (516) producido por una o más trayectorias de puntos focales de presión y el campo objetivo (102); y controlar (130) un conjunto de transductores de ultrasonido (620) en modo de modulación espacio-temporal para representar simultáneamente una o más trayectorias (514) calculadas de puntos focales de presión. La invención representa con precisión las interacciones dinámicas producidas en un entorno virtual con un campo de presión o fuerza variable.

Description

DESCRIPCIÓN

SISTEMA Y MÉTODO PARA REPRESENTAR LA INTERACCIÓN TÁCTIL QUE UTILIZA UN CONJUNTO DE TRANSDUCTORES DE ULTRASONIDO

Campo de la invención

La presente invenci ón está comprendida dentro del campo del sistema y los m étodos para representar interacciones táctiles que utilizan conjuntos de transductores de ultrasonido.

Antecedentes de la invención

Los hápticos de ultrasonido producen sensaciones táctiles directas en la piel en el aire (es decir, sin la necesidad de sostener o usar un dispositivo háptico), empleando un conjunto de transductores de ultrasonido como accionadores que generan ondas de presión de alta frecuencia en el espacio alrededor del dispositivo. Los conjuntos en fase de ultrasonido logran la estimulación en el aire a través de un fenómeno conocido como presión de radiación acústica. Múltiples transductores de ultrasonido, que producen una onda de ultrasonido de la misma frecuencia, se modulan en fase para lograr la máxima intensidad de presión combinada en una determinada ubicación en el espacio, conocida como punto focal. El foco de la onda de ultrasonido está determinado por su longitud de onda (por ejemplo, 8,5 mm para ultrasonido de 40 kHz).

Por lo tanto, al modular la activación de los transductores, es posible agregar las ondas de presión en puntos específicos en el espacio, y crear de este modo puntos focales de presión. La presión alcanza valores perceptibles en tales puntos focales y produce una sensación táctil en el aire. Las ondas de presión producen una interacción mecánica compleja en la piel, tanto en el espacio como en el tiempo, y esta interacción mecánica produce una activación y agregación de señales de mecanorreceptores para formar percepciones táctiles. La interacción con fluidos en un entorno virtual es un fenómeno interesante que se representa con hápticas de ultrasonido, ya que se pueden mover sin restringir el movimiento del usuario.

Iwamoto y col. [1] demostraron por primera vez la capacidad de utilizar ultrasonidos de conjunto en fase para enfocar suficiente presión de radiación acústica para inducir una sensación háptica en un área localizada de la mano, explotando este principio para la estimulación háptica en el aire limitada a un punto focal fijo. Posteriormente, Hoshi y col. [2] extendieron este logro para variar la ubicación focal con el tiempo, generando puntos focales móviles al variar temporalmente la modulación de los transductores, produciendo la sensación de un estímulo móvil. Aunque la deformación inducida de la piel es leve, la detección háptica se garantiza modulando la intensidad del campo a una frecuencia a la que los mecanorreceptores de la piel, principalmente los corpúsculos de Pacinia, son sensibles, aproximadamente de 150 a 250 Hz. Teniendo en cuenta la ubicación del punto focal como estable en relación con este rango de frecuencia, este método más tarde se conoció como modulación de amplitud (AM).

Estos primeros trabajos utilizaron una solución de tiempo variable anteriormente calculada para las fases de ultrasonido dada una distribución de amplitud espacial deseada. Debido a que estas fases deben determinarse mediante un procedimiento de optimización cuadrática no lineal, los cálculos no fueron susceptibles de control en tiempo real. Long y col. [3] diseñaron una solución eficiente que aprovecha la linealidad del problema propio de valor complejo asociado con las intensidades de punto focal deseadas.

Korres y Eid [4] señalaron que la eficiencia de esta solución admite un método de visualización diferente, en que las amplitudes de los puntos focales son relativamente estables, pero su ubicación se modula a tasas mucho más altas. Esto fue llamado modulación espacio-temporal (STM) por Kappus y Long [5], y mostraron que tales trayectorias podían producir formas táctiles reconocibles. Frier y col. [6] descubrieron que en STM hay una velocidad óptima de punto focal (entre 5 m/s y 8 m/s) para maximizar la sensibilidad de la piel. Recientemente, Frier y col. [7] analizaron la influencia combinada del muestreo espacial y temporal en STM.

Por lo tanto, actualmente hay dos métodos de control principales para controlar los dispositivos de ultrasonido: modulación de amplitud (AM) y modulación espaciotemporal (STM). AM controla la posición y la intensidad de la presión de los puntos focales para producir distribuciones de presión en la piel, mientras que STM controla las trayectorias de los puntos focales para dibujar formas en la piel. En ambos casos, el control de alto nivel de los puntos focales se traslada en un control de bajo nivel de los patrones de activación del transductor a través de métodos de optimización bien establecidos [2], [3].

Al eliminar la necesidad de sostener o usar un dispositivo háptico, los hápticos de ultrasonido permiten representar interacciones con entornos virtuales para lograr una experiencia táctil virtual más inmersiva y escalable. Para representar las interacciones táctiles virtuales, los trabajos anteriores simplemente presentan ubicaciones de contacto a la máxima intensidad, ya sea a través de AM o STM, sin considerar las distribuciones de fuerza producidas en las interacciones virtuales. En [8], un campo de presión objetivo se extrae de la interacción de una mano virtual con una simulación dinámica de fluido, y luego los controles AM se optimizan para inducir un campo de presión de mejor coincidencia en el usuario.

Sin embargo, AM sufre algunas limitaciones. En primer lugar, la intensidad de los puntos focales modula una onda de presión que induce una vibración perceptible en la piel (generalmente a 200 Hz). Además, el STM cubre áreas de piel más grandes con mayor intensidad percibida, al aprovechar la interferencia constructiva de las trayectorias de puntos focales con las ondas de piel que inducen. Sin embargo, todos los trabajos anteriores comandan STM con trayectorias de punto focal de intensidad constante que no representan una mejor coincidencia para las interacciones dinámicas. Ningún método anterior calcula trayectorias STM de intensidad variable para que coincidan mejor con las interacciones dinámicas. No es sorprendente que STM plantee un desafío más complejo que AM. Mientras que la representación AM puede considerarse como un problema cuasiestático, STM requiere la solución a un problema espacial y temporal.

Por lo tanto, existe la necesidad de un método para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido que represente con precisión las interacciones dinámicas producidas en un entorno (virtual o real) con un campo de presión o fuerza variable (por ejemplo, interacciones con un fluido que produce un campo de presión dinámica en un entorno virtual).

Referencias

[1] T. Iwamoto, M. Tatezono y H. Shinoda, "Non-contact method for producing tactile sensation using airborne ultrasound", en Actas de la 6ta Conferencia Internacional sobre Haptics: Perception, Devices and Scenarios, ser. EuroHaptics 2008. Springer-Verlag, 2008, págs. 504-513.

[2] T. Hoshi, M. Takahashi, T. Iwamoto y H. Shinoda, "Noncontact tactile display based on radiation pressure of airborne ultrasound", IEEE Transactions on Haptics, vol. 3, n.° 3, págs. 155-165, 2010.

[3] B. Long, S. A. Seah, T. Cárter y S. Subramanian, "Rendering volumetric haptic shapes in mid-air using ultrasound", ACM Transactions on Graphics (TOG), vol.

33, n.° 6, pág. 181,2014.

[4] G. Korres y M. Eid, "Haptogram: Ultrasonic point-cloud tactile stimulation", IEEE Access, vol. 4, págs. 7758-7769, 2016.

[5] B. Kappus y B. Long, "Spatiotemporal modulation for mid-air haptic feedback from an ultrasonic phased array", The Journal of the Acoustical Society of America, vol.

143, n.° 3, págs. 1836-1836, 2018.

[6] W. Frier, D. Ablart, J. Chilles, B. Long, M. Giordano, M. Obrist y S. Subramanian, "Using spatiotemporal modulation to draw tactile patterns in mid-air", en Haptics: Science, Technology, and Applications, D. Prattichizzo, H. Shinoda, H. Z. Tan, E. Ruffaldi y A. Frisoli, Eds. Springer International Publishing, 2018, págs. 270-281.

[7] W. Frier, D. Pittera, D. Ablart, M. Obrist y S. Subramanian, "Sampling strategy for ultrasonic mid-air haptics", en la Conferencia de CHI sobre Human Factors in Computing Systems Proceedings. ACM, 2019.

[8] H. Barreiro, S. Sinclair y M. A. Otaduy, "Ultrasound rendering of tactile interaction with fluids", en 2019 IEEE World Haptics Conference (WHC), 2019, págs.

521-526.

[9] G. A. Croes, "A method for solving traveling-salesman problems", Operations Research, vol. 6, n.° 6, págs. 791-812, 1958

Descripción de la invención

Los conjuntos de transductores de ultrasonido son capaces de producir sensaciones táctiles en la mano, prometiendo interacción háptica con manos libres para entornos virtuales. Sin embargo, controlar un conjunto de este tipo con respecto a la reproducción de una interacción percibida deseada sigue siendo un problema difícil. La presente invención realiza un mapeo dinámico de interacciones virtuales con los métodos de control existentes de dispositivos de ultrasonido, a saber, la modulación de las posiciones e intensidades de los puntos focales a lo largo del tiempo, un método conocido como modulación espacio-temporal (STM).

En particular, la invención presenta un enfoque de optimización que tiene en cuenta los parámetros perceptuales conocidos y las limitaciones del método STM. Esto da como resultado un conjunto de trayectorias de puntos focales optimizadas para reconstruir mejor un campo de presión objetivo dinámico (o un campo de fuerza objetivo dinámico). La presente invención realiza una optimización de enrutamiento de trayectoria para STM, el primer método que controla los ultrasonidos STM que representen la distribución de fuerza resultante de una interacción virtual dinámica. Un aspecto clave del método consiste en plantear la representación STM como un problema cuasiestático, utilizando aproximaciones cuidadosas para eliminar la variable temporal en cada actualización de representación dinámica. Como resultado, dado un campo de presión objetivo, la representación STM se plantea como el cálculo de trayectorias de puntos focales que producen el campo de presión cuasiestático que mejor se adapta. Luego, dado un campo de presión objetivo, un algoritmo de optimización calcula las trayectorias de los puntos focales. En una realización, el algoritmo de optimización inicializa primero las trayectorias sobre el dominio objetivo para optimizar la cobertura ponderada por la intensidad de la presión. Luego, en una escala más fina, el algoritmo de optimización refina las trayectorias para maximizar la similitud con la presión objetivo.

La presente invención se refiere a un método implementado por ordenador para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido. El método comprende recibir un campo objetivo, en que el campo objetivo es un campo de fuerza o un campo de presión; calcular una o más trayectorias de puntos focales de presión de intensidad variable de tal manera que se minimice la diferencia entre un campo de resultado producido por una o más trayectorias de puntos focales de presión y el campo objetivo; y controlar un conjunto de transductores de ultrasonido en modo de modulación espacio-temporal para representar simultáneamente una o más trayectorias calculadas de puntos focales de presión. Por lo tanto, el método determina una o más trayectorias de puntos focales de presión de modo que el campo de resultado producido por estas trayectorias coincida mejor con el campo objetivo.

En una realización, la etapa de calcular una o más trayectorias de puntos focales de presión comprende obtener una o más trayectorias iniciales de puntos focales de presión y optimizar la una o más trayectorias iniciales de puntos focales de presión minimizando un conjunto de términos de costo basándose en el campo objetivo y el campo de resultado producido por una o más trayectorias de puntos focales de presión.

Las trayectorias iniciales se calculan, preferentemente, aplicando un análisis de agrupación en los puntos objetivo para obtener un conjunto de puntos de muestra; encontrar una trayectoria con una longitud mínima que atraviese todos los puntos del conjunto; si la trayectoria es demasiado larga, se divide en subconjuntos; repetir las últimas dos etapas hasta que todas las trayectorias satisfagan una restricción de longitud máxima.

La optimización se realiza iterando, comenzando con una o más trayectorias iniciales, trayectorias de punto focal de presión con el objetivo de minimizar el conjunto de términos de costo.

El conjunto de términos de costo se minimiza preferentemente mediante la iteración de etapas de descenso de gradiente. El conjunto de términos de costo puede incluir cualquiera de los siguientes términos de costo: un término de costo de intensidad para maximizar la intensidad de campo, un término de costo de longitud para cumplir con una longitud de trayectoria objetivo, un término de costo de intersección para evitar que las muestras de trayectoria se acerquen a una distancia de caída, un término de costo de flexión para obtener trayectorias de baja curvatura, o una combinación de los mismos.

En una realización, el campo de resultado se obtiene aplicando una función de suavizado espacial a la intensidad de los puntos focales. La función de suavizado espacial se puede definir como:

P(x) = ^ Pi 0(||x - x¡M)

en que p(x) es la intensidad del campo de resultado en la posición x, xi es la posición más cercana a x en una trayectoria, pi es la intensidad del campo objetivo en la posición xi, 0 es una función gaussiana y y es una ganancia heurística.

El método puede comprender proyectar el campo objetivo en un plano para obtener una pluralidad de puntos objetivo definidos por una posición 2D y un valor objetivo. En este caso, el método puede comprender además deshacer la proyección para obtener una o más trayectorias 3D de puntos focales de presión.

En una realización, el método comprende además refinar el campo objetivo calculando la intersección del campo objetivo recibido con una superficie de un cuerpo o una parte de un cuerpo de un usuario. El método también puede comprender seguir la posición del cuerpo o la parte del cuerpo del usuario.

En una realización, el campo objetivo puede generarse a partir de una interacción de un usuario con un entorno virtual (por ejemplo, una simulación dinámica de fluido). El método puede comprender además calcular una simulación interactiva y extraer el campo objetivo de la simulación. En otra realización, el campo objetivo se genera a partir de una interacción de un usuario con un entorno real que se ubica de forma remota desde la ubicación del usuario, tal como teleoperación (por ejemplo, control remoto de una mano robótica sensorizada) o telepresencia.

En una realización, cada trayectoria de puntos focales de presión es una curva 3D que define una trayectoria cerrada. Los puntos focales de presión atraviesan preferentemente una o más trayectorias calculadas a una velocidad de referencia comprendida entre 5 m/s y 8 m/s. Cada trayectoria de puntos focales de presión satisface preferentemente una restricción de longitud de trayectoria máxima. El número de trayectorias calculadas de los puntos focales de presión puede limitarse a una cantidad máxima de trayectorias (por ejemplo, cuatro trayectorias).

La presente invención también se refiere a un sistema para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido. El sistema comprende un dispositivo de procesamiento de datos configurado para realizar las etapas del método.

Otro aspecto de la presente invención se refiere a un producto de programa informático y/o un medio de almacenamiento legible por ordenador para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido, que comprende un código de programa utilizable por ordenador para, cuando se ejecuta en un procesador, que realiza las etapas del método.

Breve descripción de los dibujos

A continuación se describe muy brevemente una serie de figuras que ayudan a comprender mejor la invención y que están expresamente relacionados con una realización de dicha invención, presentada como un ejemplo no limitativo de la misma.

La figura 1 representa un diagrama de flujo de un método para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido según una realización de la presente invención.

La figura 2 muestra las etapas de trayectorias de cálculo de puntos focales de presión según una realización.

La figura 3 muestra las etapas de trayectorias de cálculo de puntos focales de presión según otra realización.

La figura 4 es un diagrama de flujo para la etapa de obtener trayectorias iniciales de puntos focales de presión en la figura 2, según una realización.

La figura 5A muestra los puntos de presión objetivo de un campo objetivo producido en la mano del usuario y extraído de una simulación de fluido. Las figuras 5B representan los puntos de presión muestreados hacia abajo (agrupaciones) del campo objetivo. La figura 5C muestra la trayectoria inicial óptima para el conjunto completo de puntos de muestra de presión. La figura 5D muestra las trayectorias óptimas después de dividir el conjunto de puntos de muestra en subconjuntos para satisfacer una restricción de longitud de trayectoria máxima. La figura 5E representa el refinamiento de las trayectorias para maximizar la intensidad de la presión. La figura 5F muestra el campo de presión reconstruido resultante obtenido por el algoritmo de optimización.

La figura 6 representa un sistema para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido según una realización ejemplar.

La figura 7 representa la representación virtual de la mano de un usuario que interactúa con columnas virtuales de humo utilizadas en una simulación dinámica de fluidos dentro de un entorno virtual.

La figura 8A representa el campo objetivo de presión producido por las columnas de humo en la superficie de la mano virtual. La figura 8B ilustra el campo de presión reconstruido producido por la representación STM de trayectorias de puntos focales optimizadas dinámicamente según el presente método.

Las figuras 9 y 10 representan escenarios virtuales experimentales (con una o cuatro columnas de humo, respectivamente) y ejemplos representativos de campos objetivo y reconstruidos que utilizan el método basado en STM de la presente invención y un método basado en AM de la técnica anterior.

Descripción de una realización preferente de la invención

Cuando se usa una modulación espacio-temporal (STM) en la activación de los transductores de un conjunto de transductores de ultrasonido, un punto focal atraviesa una trayectoria en el espacio. La trayectoria P puede describirse formalmente como una posición dependiente del tiempo: P = x(t) e M3. . La intensidad percibida de una trayectoria de punto focal se maximiza bajo una interferencia constructiva entre el movimiento del punto focal y la propagación de las ondas de la piel (Frier y col. [6]). Esto sucede para velocidades de punto focal entre 5 m/s y 8 m/s; por lo tanto, se selecciona una velocidad de referencia v dentro de dicho margen para el algoritmo de representación. En una realización, la velocidad de referencia seleccionada v es 7 m/s. Además, para garantizar una interferencia constructiva en la trayectoria completa, las trayectorias se diseñan preferentemente como trayectorias cerradas (es decir, la trayectoria P es una curva 3D cerrada).

Frier y col. [6] suponen que se da la longitud de la trayectoria; por lo tanto, la frecuencia a la que se repite la trayectoria no se puede controlar de forma independiente y depende de la velocidad transversal y la longitud de la trayectoria. Según los experimentos preliminares, se ha observado que esto es aceptable hasta una longitud máxima de trayectoria. Más allá de esa longitud, la frecuencia con la que se repite la trayectoria es demasiado baja, y el estímulo ya no se percibe como continuo. Para determinar la frecuencia mínima aceptable (es decir, la longitud de trayectoria máxima aceptable), se hicieron círculos de diferentes radios a la velocidad transversal de referencia de 7 m/s, descubriendo que una frecuencia mínima de 50 Hz (es decir, una longitud de trayectoria máxima L = 140 mm) es un límite seguro para garantizar que el estímulo se perciba como continuo.

Normalmente, los dispositivos hápticos (es decir, los conjuntos de transductores de ultrasonido) permiten STM de múltiples puntos focales simultáneamente. Cada punto focal puede atravesar una trayectoria diferente, con todos los puntos focales desplazándose a la velocidad de referencia v, y todas las trayectorias satisfacen la restricción de longitud máxima L. De los experimentos preliminares, el número de puntos focales simultáneos puede limitarse a un cierto número de trayectorias simultáneas (en una realización, a cuatro trayectorias). Más puntos focales pueden alcanzar una mayor cobertura, pero a costa de una notable degradación de la intensidad percibida.

En trabajos anteriores, STM se utiliza para representar curvas 3D, en las que la intensidad de la presión de radiación del punto focal móvil se mantiene constante a lo largo de dichas curvas. En la presente invención, se representa un campo de presión que varía temporal y espacialmente, en que la intensidad de la presión de radiación a lo largo de la trayectoria se adapta localmente a la intensidad del campo de presión. Una trayectoria se caracteriza con una intensidad de presión dependiente de la posición p(x).

Como un punto focal realiza ciclos múltiples veces a través de la misma posición xi, la intensidad de presión representada p(xi) = pi es la misma en todos los ciclos. Si la trayectoria se repite con suficiente frecuencia (por ejemplo, a más de 50 Hz), la presión de radiación representada produce una percepción táctil persistente. Esto es equivalente a aplicar una presión invariante en el tiempo en cada posición a lo largo de la trayectoria, con su magnitud efectiva una fracción de la presión representada. Con esta suposición, durante una ventana de tiempo, la presión efectiva puede considerarse como un campo espacialmente variable pero temporalmente invariable, es decir, un campo de presión cuasiestático.

La presión efectiva de la representación STM no es un simple promedio de tiempo de la presión representada. Según una realización, se sigue una heurística perceptiva para aproximar esta magnitud: representar los mismos estímulos que utilizan la modulación de amplitud (AM) y STM, y pedir a los sujetos que sintonicen la ganancia y de STM hasta que la intensidad perceptiva máxima sea similar. En la práctica, se utiliza una ganancia y = 1,4.

Los puntos focales exhiben una caída suave determinada por la longitud de onda de la señal de ultrasonido (por ejemplo, 8,6 mm para los 40 kHz de un dispositivo de ultrasonido de prueba). Como se muestra por Hoshi y col. [2], esta caída puede ser aproximada bien por una función gaussiana 0. En base a este hallazgo, junto con la ganancia heurística ^y, el campo de presión cuasiestático efectivo p(x) producido por una trayectoria de punto focal se puede aproximar como:

1 1 ll*-*ill2

^pOO= - P^í0 ( I|^z- * ^íII) = - Pi e 2 ff2 ; (1)

donde xi es la posición más cercana a x en la trayectoria. La desviación estándar o de la caída gaussiana se establece en el mismo valor que la longitud de onda de la señal de ultrasonido (por ejemplo, 8,6 mm para 40 Khz).

La suposición de campo de presión cuasiestático simplifica el algoritmo de representación de la presente invención. Dado un campo de presión objetivo, obtenido por ejemplo de una simulación de fluido, se buscan las trayectorias de puntos focales cuyo campo de presión cuasiestático reconstruye mejor el campo objetivo. Para garantizar que la suposición de campo de presión cuasiestática sea válida, esta búsqueda cumple preferentemente dos restricciones, a saber, que cada punto focal se desplaza a la velocidad de referencia v y la longitud de cada trayectoria es igual o más corta que la longitud máxima de la trayectoria L.

Dado un campo de presión objetivo o un campo de fuerza objetivo, un algoritmo de optimización de enrutamiento de trayectoria busca las trayectorias de puntos focales que producen un campo de presión cuasiestático de mejor coincidencia. La figura 1 representa, según una realización de la presente invención, un diagrama de flujo de un método 100 de representación de interacción táctil que utiliza un conjunto de transductores de ultrasonido que implementa un algoritmo de optimización de enrutamiento de trayectoria.

El método 100 comprende recibir 110 un campo objetivo 102. El campo objetivo, que es ya sea un campo de fuerza o un campo de presión, puede calcularse externamente al método de optimización (por ejemplo, mediante una simulación externa). El método también comprende calcular 120 una o más trayectorias de puntos focales de presión de intensidad variable, de modo que se minimiza la diferencia entre un campo de resultado producido por una o más trayectorias de puntos focales de presión y el campo objetivo. Finalmente, el método comprende controlar 130 un conjunto de transductores de ultrasonido en modo de modulación espacio-temporal para representar simultáneamente una o más trayectorias calculadas de puntos focales de presión.

En una realización, representada en la figura 2, la etapa de calcular 120 una o más trayectorias de puntos focales de presión comprende las siguientes etapas: obtener 202 una o más trayectorias iniciales de puntos focales de presión; y optimizar 204 la una o más trayectorias iniciales de puntos focales de presión minimizando un conjunto de términos de costo basados en el campo objetivo y el campo de resultado producido por la una o más trayectorias de puntos focales de presión. Alternativamente o además de las etapas de la realización de la figura 2, la etapa de calcular 120 una o más trayectorias de puntos focales de presión puede comprender las etapas representadas en el diagrama de flujo de la figura 3 obteniendo 302, del campo objetivo, un conjunto de puntos de muestra con un valor objetivo asociado y determinando 308 una o más trayectorias iniciales de puntos focales de presión que utiliza estos puntos de muestra. En una realización, el conjunto de puntos de muestra se obtiene aplicando un análisis de agrupación en el campo objetivo 102 (en particular, un análisis de agrupación en una pluralidad de puntos objetivo del campo objetivo). El análisis de agrupación puede ser un algoritmo de k-medias ponderado, en que los pesos considerados son el valor objetivo de los puntos objetivo. La una o más trayectorias iniciales de puntos focales de presión se determinan calculando 304 la trayectoria cerrada más corta que visita todos los puntos del conjunto de puntos de muestra para obtener una trayectoria inicial y, si la longitud de la trayectoria inicial excede una longitud máxima de trayectoria L, dividiendo 306 recursivamente el conjunto de puntos de muestra en subconjuntos y calculando la trayectoria cerrada más corta para cada subconjunto hasta que la longitud de la trayectoria de todos los subconjuntos satisfaga una restricción de longitud de trayectoria máxima.

Si las realizaciones de las figuras 2 y 3 se usan en combinación, la etapa de obtener 202 una o más trayectorias iniciales de puntos focales de presión de la figura 2 se implementa según las etapas mostradas en la figura 3. Alternativamente, como se ilustra en el diagrama de flujo de la figura 4, la etapa en la figura 2 de obtener 202 una o más trayectorias iniciales de puntos focales de presión puede comprender obtener 402, del campo objetivo, una pluralidad de puntos objetivo con una posición y un valor objetivo asociados; y determinar 404 la una o más trayectorias iniciales de puntos focales de presión seleccionando una o más secuencias de puntos objetivo. De esta manera, las trayectorias se pueden inicializar según diferentes métodos de inicialización, como aleatoriamente (por ejemplo, la figura 4), o aplicando el agrupamiento y el cálculo de la trayectoria más corta (figura 3). Una buena inicialización hace que el algoritmo de optimización sea más eficiente y/o converja a una mejor solución. Las trayectorias se calculan por optimización, y hay métodos de optimización que necesitan una inicialización y luego aplicar un refinamiento, y métodos de optimización que realizan un muestreo de trayectorias y seleccionan la mejor trayectoria.

Según una realización, el problema de optimización se puede resolver en dos etapas, en dos resoluciones diferentes, buscando trayectorias que maximicen la cobertura y la intensidad de presión integrada sujeta a la restricción de longitud de la trayectoria. La primera etapa es una etapa aproximada que realiza una búsqueda global (inicialización de trayectoria), mientras que la segunda etapa es una buena etapa que realiza una búsqueda local (refinamiento de trayectoria). En otra realización, solo una de estas dos etapas puede ser necesaria. Por ejemplo, una realización puede incluir usar solo la primera etapa si la precisión proporcionada es suficiente, o usar solo la segunda etapa si la potencia de cálculo permite ejecutar la etapa fina directamente.

Se puede calcular una simulación interactiva para extraer un campo de presión objetivo (o un campo de fuerza objetivo). Por ejemplo, se puede usar [8] una simulación interactiva de fluidos, siguiendo la mano del usuario y modelando la mano como un obstáculo en movimiento en una simulación 3D de un medio gaseoso. Como se describe en [8], la dinámica de fluidos se puede modelar usando ecuaciones de Euler incompresibles discretizadas en una cuadrícula Euleriana 3D, con advección semi-Lagrangiana y relajación Jacobi masivamente paralela para la resolución de presión. La simulación de fluidos se puede ejecutar en una GPU para obtener el máximo rendimiento.

El método puede comprender refinar el campo objetivo calculando la intersección del campo objetivo recibido con una superficie de un cuerpo o una parte de un cuerpo de un usuario. Para ese fin, el método puede comprender seguir la posición del cuerpo o la parte del cuerpo del usuario. Por ejemplo, para definir el campo de presión objetivo, la mano puede ser voxelizada y las posiciones de vóxel se seleccionan de modo que sean visibles desde el lado del dominio que corresponde a la ubicación del dispositivo de ultrasonido. Para simplificar el problema de optimización de trayectoria, puede ajustarse un plano a las posiciones de vóxel, de modo que las posiciones de vóxel se proyecten en el plano, haciendo que la optimización de trayectoria sea un problema 2D. Formalmente, el campo de presión objetivo puede describirse mediante un conjunto de puntos objetivo de presión T definidos por las posiciones 2D xi y sus valores de presión objetivo correspondientes p*(xi):

T = {(xi E l 2,p‘ (xi))}.

La primera etapa aproximada incluye la inicialización de la trayectoria. Para garantizar un alto rendimiento informático, la inicialización de las trayectorias utiliza preferentemente solo un subconjunto representativo de los puntos objetivo de presión (aunque también se puede considerar el conjunto completo de puntos objetivo de presión T, que requieren mayores recursos informáticos). Las figuras 5A a 5D representan la etapa de inicialización según la realización de la figura 3. Comenzando con un conjunto (o subconjunto) de puntos objetivo de presión 502 del campo objetivo 102 (por ejemplo, puntos objetivo de presión en la mano del usuario extraídos de una simulación de fluido, como se muestra en la figura 5A), se obtiene un conjunto 504 de puntos de muestra de presión 506 con un valor objetivo 302 asociado (figura 5B) aplicando una agrupación de k-medias ponderada al conjunto de puntos objetivo de presión 502. El análisis de agrupación produce un campo de presión objetivo de muestreo descendente formado por los puntos de muestra de presión 506.

Dado el conjunto 504 de puntos de muestra de presión 506, se busca un conjunto de trayectorias cerradas que visitan todos los puntos, sujeto a la longitud máxima de la trayectoria L. La solución óptima a este problema puede requerir un número arbitrariamente grande de trayectorias; sin embargo, como se señaló anteriormente, es aconsejable limitar el número de trayectorias a una cierta cantidad de trayectorias (por ejemplo, cuatro trayectorias). En consecuencia, las trayectorias resultantes pueden no visitar todos los puntos de muestra de presión, y se debe seleccionar un conjunto óptimo.

Este problema se resuelve de forma iterativa. Una trayectoria óptima (trayectoria cerrada más corta 508, figura 5C) que visita todos los puntos de muestra de presión 504 se calcula primero 304. Si la trayectoria cerrada más corta 508 es demasiado larga, el conjunto 504 de puntos de muestra de presión 506 se divide en dos subconjuntos y trayectorias óptimas (trayectorias cerradas más cortas 508 que visitan todos los puntos del subconjunto 510) se calculan por separado. Los subconjuntos 510 de los puntos de muestra de presión 506 se dividen recursivamente 306 hasta que todas las trayectorias cerradas más cortas de todos los subconjuntos 510 satisfagan la restricción de longitud máxima L. Si el número de trayectorias resultantes es mayor que cuatro, se mantienen las cuatro trayectorias con la presión integrada más alta (como en el ejemplo de la figura 5D), obteniendo así las trayectorias iniciales 512.

Las operaciones para calcular una trayectoria óptima para un conjunto de puntos y para dividir un conjunto de puntos en subconjuntos adicionales se describen a continuación según una realización, en que el conjunto de puntos es ya sea un conjunto 504 o un subconjunto 510 de puntos de muestra de presión 506.

Dado un conjunto de puntos, encontrar la trayectoria cerrada más corta 508 que visita todos los puntos corresponde al problema del vendedor ambulante. Este problema se puede resolver utilizando el algoritmo 2-opt [9], que admite trayectorias cerradas. El costo informático de 2-opt establece un límite superior en el tamaño del conjunto 504 de puntos de muestra de presión 506. En una realización, se establece un máximo de 50 puntos. Por lo tanto, la etapa de agrupación k-medias ponderada se ejecuta con 50 o menos agrupaciones.

Para dividir un conjunto de puntos, se encuentra la dirección de extensión máxima, los puntos a lo largo de esta dirección están delimitados y se coloca un plano de división ortogonal a la dirección en el punto medio de los dos límites. Para encontrar la dirección de propagación máxima, se calcula la matriz de covarianza de los puntos, ponderada por su valor de presión. La dirección de propagación máxima corresponde al vector propio con el valor propio más alto.

La segunda etapa fina incluye el refinamiento de la trayectoria. Después de la inicialización, las trayectorias pasan a través de grupos de presión y cumplen la restricción de longitud máxima. Sin embargo, debido a su muestreo aproximado, las trayectorias iniciales no están alineadas de manera óptima con picos de presión y crestas. El refinamiento de la trayectoria se ejecuta a una resolución más alta, muestreando cada trayectoria a N puntos. En una realización, N se establece en 20, que establece puntos de 7 mm separados entre sí, es decir, la distancia recorrida por un punto focal en 1 ms.

Durante el refinamiento, el objetivo consiste en maximizar la intensidad de la presión muestreando cada trayectoria y moviendo las muestras localmente hacia ubicaciones con mayor presión, mientras se asegura que las trayectorias conservan las siguientes propiedades: (i) satisfacen la restricción de longitud máxima; (ii) para alcanzar la cobertura máxima, no se cruzan (automáticamente); y (iii) no se doblan en ángulos agudos, ya que las decisiones de diseño del algoritmo provienen de observaciones perceptivas en trayectorias suaves, y las trayectorias con esquinas afiladas alcanzan una cobertura menor. Para implementar el refinamiento, el objetivo y las propiedades se formulan como términos de costo de una función objetivo, y se ejecuta un algoritmo de minimización.

P = {x¿} = arg min cp . . cb

Dadas las trayectorias con muestras {x¿ e M2}, formulamos un término de costo de intensidad de presión como:

cp= - Z ^íP*O ^í) (2)

El término de costo de intensidad de presión (Cp) se minimiza a medida que las muestras de trayectoria xi (es decir, puntos que forman o definen la trayectoria) se mueven a ubicaciones con mayor presión.

Con una longitud de trayectoria objetivo L, y N muestras por trayectoria, la longitud objetivo se obtiene si la longitud de cada segmento de trayectoria es L/N. Luego, un término de costo de longitud se formula como:

.1= Z í O l x ^ - X í l l - ^ ) 2; (3)

donde xi y xi+1 son dos muestras de trayectoria consecutivas.

Si dos trayectorias o dos porciones de una trayectoria se acercan más que la distancia de caída de los puntos focales, a, estimulan la superposición de áreas de la piel. El resultado puede considerarse ineficiente, ya que el área cubierta de la piel es más grande si las trayectorias se alejan. Un término de costo de intersección (automática) que evita que las muestras de trayectoria se acerquen demasiado se formula como:

2

Ci= Z í jm a x ( : - ||x ;-X i||,0 ) ; (4)

donde xi y xj son dos muestras de trayectoria consecutivas.

Finalmente, para favorecer trayectorias de baja curvatura, un término de costo de flexión se formula como:

cb ^{2 Oi+i-Xj) x (-¡--j}= Si arctan ^{-?) ;}

_{(-í+ i-- í)T (-¡--¡- i) ;}(5)

donde xM, xi y xi⁺¹son tres muestras de trayectoria consecutivas.

En una realización, las trayectorias se optimizan iterando etapas de descenso de gradiente de los cuatro términos de costo (aunque también se pueden considerar menos términos de costo o incluso términos de costo adicionales). Para el término de intensidad de presión, se establece una cuadrícula 2D con los valores objetivo de presión p*(x) y se utiliza la interpolación bicúbica para evaluar la presión a una resolución de subcuadrícula y calcular gradientes robustos. Además, se aplica una búsqueda de línea para garantizar que la etapa a lo largo del gradiente reduzca el costo. La figura 5E muestra un ejemplo de las trayectorias 514 calculadas después del refinamiento.

Para tener en cuenta la magnitud efectiva del campo de presión, se incorpora preferentemente una ganancia heurística ^y, como se explicó anteriormente en la ecuación (1). La presión representada de un punto en una trayectoria se establece como pi= ^yp*(xi), basándose en el campo de presión objetivo p*. La figura 5F muestra el campo de presión reconstruido (campo de resultado 516) según el modelo de presión cuasiestático analizado anteriormente en la ecuación (1).

Una vez que las trayectorias 2D 514 se calculan completamente, se vuelven a subir a 3D para la representación STM en el conjunto de transductores de ultrasonido. Esto se logra deshaciendo la proyección de los vóxeles de la mano.

Cada trayectoria tiene 140 mm de largo y se atraviesa en 20 ms a 7 m/s. La API de representación STM de un conjunto de transductores de ultrasonido actualiza cada 1 ms una ráfaga de X posiciones de punto focal consecutivas (por ejemplo, X es 40 en el Ultrahaptics STRATOS Explore USX). Por lo tanto, cada trayectoria se muestrea linealmente a 800 puntos espaciados a 0,175 mm. Estos puntos se alimentan en grupos de 40 puntos a la API de representación STM del conjunto de transductores de ultrasonido.

Según un aspecto adicional de la presente invención, se proporciona un sistema para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonidos. El sistema comprende un dispositivo de procesamiento de datos configurado para recibir un campo objetivo (ya sea un campo de fuerza o un campo de presión); calcular una o más trayectorias de puntos focales de presión de intensidad variable de tal manera que se minimice la diferencia entre un campo de resultado producido por una o más trayectorias de puntos focales de presión y el campo objetivo; y controlar un conjunto de transductores de ultrasonido en modo de modulación espacio-temporal para representar simultáneamente una o más trayectorias calculadas de puntos focales de presión (por ejemplo, calculando controles de modulación espacio-temporal correspondientes a las trayectorias de puntos focales 3D y enviando los controles a un conjunto de transductores de ultrasonido). El dispositivo de procesamiento de datos puede configurarse para implementar el método como se definió anteriormente en cualquiera de las diferentes realizaciones.

La figura 6 representa un sistema 600 según una realización ejemplar. El sistema 600 comprende un dispositivo de procesamiento de datos 610, tal como un ordenador con un procesador y una GPU. El dispositivo de procesamiento de datos 610 gestiona la interacción de la mano de un usuario 602 con medios fluidos gaseosos en un entorno virtual que utiliza un conjunto de transductores de ultrasonido 620. Un dispositivo de seguimiento 630 está configurado para seguir la posición del cuerpo o una parte del cuerpo del usuario. En el ejemplo representado, el dispositivo de seguimiento 630 es un dispositivo de seguimiento manual, como un controlador Leap Motion, que supervisa la posición de la mano 602 del usuario.

Tanto el dispositivo de seguimiento 630 como el conjunto de transductores de ultrasonido 620 están conectados (por ejemplo, a través de USB) al ordenador que ejecuta una simulación (por ejemplo, una simulación dinámica de fluido). El conjunto de transductores de ultrasonido 620 es accionado por un circuito accionador 640 controlado por el ordenador. El sistema puede comprender el circuito accionador 640 configurado para accionar el conjunto de transductores de ultrasonido 620. El sistema también puede comprender el conjunto de transductores de ultrasonido 620. El sistema puede comprender el dispositivo de seguimiento 630 para seguir la posición del cuerpo o la parte del cuerpo del usuario (en este caso particular, para seguir la posición de la mano del usuario 602).

El dispositivo de procesamiento de datos 610 implementa el método como se define en cualquiera de las figuras anteriores. Los retardos de fase calculados y los valores de amplitud en modo STM se envían desde el dispositivo de procesamiento de datos 610 al circuito accionador 640. El dispositivo de procesamiento de datos 610 puede configurarse para calcular una simulación interactiva (por ejemplo, simulación dinámica de fluido) y extraer el campo objetivo 102 de la simulación. En este caso, el campo objetivo 102 se genera a partir de una interacción de la mano 602 de un usuario con un entorno virtual. El ordenador recibe la posición de la mano y actualiza el campo objetivo 102 generado en la mano 602 del usuario basándose en la posición de la mano en el entorno virtual.

Las interacciones producidas durante la simulación virtual pueden mostrarse en un dispositivo de visualización 650, como un monitor, configurado para representar la simulación interactiva en un entorno virtual 704. La figura 7 representa la representación virtual (es decir, la mano virtual 702) de la mano del usuario 602 interactuando con columnas virtuales de humo 706 utilizadas en la simulación dinámica de fluidos. Las columnas de humo 706 generan un campo objetivo de presión 102 en la mano virtual 702 en el entorno virtual 704.

El dispositivo de procesamiento de datos 610 calcula el campo objetivo 102 y las trayectorias 514 de puntos focales de presión de intensidad variable que producen un campo de presión de mejor coincidencia en la mano del usuario, según el método descrito. La figura 8A representa el campo objetivo de presión 102 producido en la superficie de la mano por las columnas de humo de la figura 7, que establece el objetivo para el algoritmo de optimización del método. La figura 8B ilustra el campo de presión reconstruido, campo de resultado 516, producido por la representación STM de las trayectorias de puntos focales optimizadas dinámicamente.

En dicha interacción, la percepción háptica está dictada por un campo de presión que varía espacial y temporalmente en la piel, que se utiliza como objetivo para el algoritmo de optimización. Las figuras 9 y 10 comparan la calidad de reconstrucción del presente método de representación frente al método de representación de [8]. Las figuras 9A y 10A representan una representación en 3D de una simulación dinámica de fluido con una columna de humo 706 y cuatro columnas de humo 706, respectivamente; las figuras 9B y 10B representan el campo objetivo 102 respectivo generado en la mano virtual 702; las figuras 9C y 10C muestran el campo de resultado 516 respectivo representado por el presente método, mientras que las figuras 9D y 10D ilustran el campo 902 reconstruido representado por el método basado en AM de [8]. Estos resultados muestran que el método de la presente invención logra proporcionar una cobertura más grande y más uniforme que el método basado en AM de [8]. En particular, AM produce resultados ambiguos al representar la interacción con una columna ancha (figura 9D) o con múltiples columnas delgadas (figura 10D), mientras que el método basado en STM actual no sufre tal ambigüedad.

Claims

REIVINDICACIONES

1.- Un método para representar la interacción táctil que utiliza un conjunto de transductores de ultrasonido, caracterizado por que el método (100) comprende:

recibir (110) un campo objetivo (102), en que el campo objetivo (102) es un campo de fuerza o un campo de presión;

calcular (120) una o más trayectorias (514) de puntos focales de presión de intensidad variable de tal manera que la diferencia entre un campo de resultado (516) producido por una o más trayectorias de puntos focales de presión y el campo objetivo (102) se minimice; y

controlar (130) un conjunto de transductores de ultrasonido (620) en modo de modulación espacio-temporal para representar simultáneamente una o más trayectorias (514) calculadas de puntos focales de presión.

2.- El método según la reivindicación 1, caracterizado por que la etapa de cálculo (120) de una o más trayectorias (514) de puntos focales de presión comprende:

obtener (202) una o más trayectorias iniciales de puntos focales de presión; y

optimizar (204) la una o más trayectorias iniciales de puntos focales de presión minimizando un conjunto de términos de costo basados en el campo objetivo (102) y el campo de resultado (516) producido por la una o más trayectorias de puntos focales de presión.

3.- El método según la reivindicación 2, caracterizado por que el conjunto de términos de costo se minimiza iterando etapas de descenso de gradiente.

4.- El método según cualquiera de las reivindicaciones 2 a 3, caracterizado por que el conjunto de términos de costo incluye un término de costo de intensidad (c^p) para maximizar la intensidad de campo.

5.- El método según cualquiera de las reivindicaciones 2 a 4, caracterizado por que el conjunto de términos de costo incluye un término de costo de longitud (ci) para cumplir con una longitud de trayectoria objetivo (L).

6.- El método según cualquiera de las reivindicaciones 2 a 5, caracterizado por que el conjunto de términos de costo incluye un término de costo de intersección (ci) para evitar que las muestras de trayectoria se acerquen a una distancia de caída (a).

7.- El método según cualquiera de las reivindicaciones 2 a 6, caracterizado por que el conjunto de términos de costo incluye un término de costo de flexión (cb) para obtener trayectorias de baja curvatura.

8.- El método según cualquiera de las reivindicaciones 2 a 7, caracterizado por que la etapa de obtención (202) de una o más trayectorias iniciales de puntos focales de presión comprende:

obtener (402), del campo objetivo, una pluralidad de puntos objetivo (502) con una posición asociada y un valor objetivo; y

determinar (404) la una o más trayectorias iniciales de puntos focales de presión seleccionando una o más secuencias de puntos objetivo (502).

9.- El método según cualquiera de las reivindicaciones 1 a 7, caracterizado por que la etapa de cálculo (120) de una o más trayectorias de puntos focales de presión comprende:

obtener (302), del campo objetivo, un conjunto (504) de puntos de muestra (506) con un valor objetivo asociado; y

determinar (308) una o más trayectorias iniciales (512) de puntos focales de presión mediante:

calcular (304) la trayectoria cerrada más corta (508) que visita todos los puntos del conjunto (504) de puntos de muestra (506); y

dividir recursivamente (306) el conjunto (504) de puntos de muestra (506) en subconjuntos (510) y calcular la trayectoria cerrada más corta (508) para cada subconjunto (510) hasta que la longitud de la trayectoria satisfaga una restricción de longitud de trayectoria máxima para todos los subconjuntos (510).

10.- El método según la reivindicación 9, caracterizado por que el conjunto de puntos de muestra se obtiene aplicando un análisis de agrupación en una pluralidad de puntos objetivo (502) del campo objetivo (102).

11.- El método según la reivindicación 10, caracterizado por que el análisis de agrupación es un algoritmo de k-medias ponderado.

12.- El método según cualquier reivindicación anterior, caracterizado por que el campo de resultado se obtiene aplicando una función de suavizado espacial a la intensidad de los puntos focales.

13.- El método según la reivindicación 12, caracterizado por que la función de suavizado espacial se define como:

14.- El método según cualquier reivindicación anterior, que comprende además proyectar el campo objetivo en un plano para obtener una pluralidad de puntos objetivo definidos por una posición 2D (x¡) y un valor objetivo.

15.- El método según la reivindicación 14, que comprende además deshacer la proyección para obtener la una o más trayectorias de puntos focales de presión.

16.- El método según cualquier reivindicación anterior, que comprende además refinar el campo objetivo calculando la intersección del campo objetivo recibido con una superficie de un cuerpo o una parte de un cuerpo de un usuario.

17.- El método según la reivindicación 16, que comprende además el seguimiento de la posición del cuerpo o la parte del cuerpo del usuario.

18.

método según cualquiera de las reivindicaciones 1 a 17, caracterizado por que el campo objetivo se genera a partir de una interacción de un usuario con un entorno virtual.

19.

método según cualquiera de las reivindicaciones 1 a 17, caracterizado por que el campo objetivo se genera a partir de una interacción de un usuario con un entorno real alejado de la ubicación del usuario.

20.

método según cualquier reivindicación anterior, caracterizado por que cada trayectoria de puntos focales de presión es una curva 3D que define una trayectoria cerrada.

21.

método según cualquier reivindicación anterior, caracterizado por que los puntos focales de presión atraviesan la una o más trayectorias calculadas a una velocidad de referencia comprendida entre 5 m/s y 8 m/s.

22.- El método según cualquier reivindicación anterior, caracterizado por que cada trayectoria de puntos focales de presión satisface una restricción de longitud de trayectoria máxima.

23.- El método según cualquier reivindicación anterior, caracterizado por que el número de trayectorias calculadas de puntos focales de presión está limitado a un número máximo de trayectorias.

24.- El método según cualquier reivindicación anterior, que comprende además calcular una simulación interactiva y extraer el campo objetivo de la simulación.

25.- Un sistema para representar la interacción táctil usando un conjunto de transductores de ultrasonido, caracterizado por que el sistema (600) comprende un dispositivo de procesamiento de datos (610) configurado para:

26.- El sistema según la reivindicación 25, que comprende además un circuito accionador (640) para accionar el conjunto de transductores de ultrasonido (620).

27.- El sistema según la reivindicación 26, que comprende además el conjunto de transductores de ultrasonido (620).

28.- El sistema según cualquiera de las reivindicaciones 25 a 27, que comprende además un dispositivo de seguimiento (630) para seguir la posición del cuerpo o la parte del cuerpo del usuario.

29.- El sistema según la reivindicación 28, caracterizado por que el dispositivo de seguimiento (630) es un dispositivo de seguimiento manual.

30.- El sistema según cualquiera de las reivindicaciones 25 a 29, caracterizado por que el campo objetivo (102) se genera a partir de una interacción de un usuario con un entorno virtual.

31.- El sistema según cualquiera de las reivindicaciones 25 a 30, caracterizado por que el dispositivo de procesamiento de datos (610) está configurado para calcular una simulación interactiva y extraer el campo objetivo (102) de la simulación.

32.- El sistema según la reivindicación 31, que comprende además un dispositivo de visualización (650) configurado para representar la simulación interactiva en un entorno virtual (704).

33.- Un producto de programa informático para representar la interacción táctil usando un conjunto de transductores de ultrasonido, caracterizado por comprender un código de programa utilizable por ordenador para realizar, cuando se ejecuta en un procesador, las etapas del método definido en cualquiera de las reivindicaciones 1 a 24.

34.- Un medio de almacenamiento legible por ordenador que comprende instrucciones para hacer que un procesador lleve a cabo las etapas del método definido en cualquiera de las reivindicaciones 1 a 24.