ES2894549A1 - Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado - Google Patents

Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado Download PDF

Info

Publication number
ES2894549A1
ES2894549A1 ES202030858A ES202030858A ES2894549A1 ES 2894549 A1 ES2894549 A1 ES 2894549A1 ES 202030858 A ES202030858 A ES 202030858A ES 202030858 A ES202030858 A ES 202030858A ES 2894549 A1 ES2894549 A1 ES 2894549A1
Authority
ES
Spain
Prior art keywords
tool
optical
markers
viewer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES202030858A
Other languages
English (en)
Other versions
ES2894549B2 (es
Inventor
Jurado Sergio Garrido
Torrecilla Pedro Gerardo Marquínez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SEABERY SOLUCIONES SL
Original Assignee
Seabery Augmented Technology SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to ES202030858A priority Critical patent/ES2894549B2/es
Application filed by Seabery Augmented Technology SL filed Critical Seabery Augmented Technology SL
Priority to PCT/ES2021/070582 priority patent/WO2022034252A1/es
Priority to CN202180062413.0A priority patent/CN116075875A/zh
Priority to JP2023509749A priority patent/JP2023539810A/ja
Priority to US18/020,172 priority patent/US20230316669A1/en
Priority to KR1020237008446A priority patent/KR20230051527A/ko
Priority to AU2021323398A priority patent/AU2021323398A1/en
Priority to EP21855666.0A priority patent/EP4195182A1/en
Publication of ES2894549A1 publication Critical patent/ES2894549A1/es
Application granted granted Critical
Publication of ES2894549B2 publication Critical patent/ES2894549B2/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

Sistema de realidad aumentada o realidad virtual con localización activa de herramientas, uso y procedimiento asociado. La invención proporciona un sistema de realidad aumentada/virtual, RA/RV, que comprende: un objeto (1) con uno o más marcadores ópticos (7, 8) dispuestos sobre el mismo; una herramienta (2); un visor (3) de RA/RV; unos primeros medios (4) ópticos de adquisición de información y una unidad (5) de procesamiento conectada a, al menos, la herramienta (2) y al visor (3) de RA/RV. Ventajosamente, la herramienta (2) comprende unos segundos medios (6) ópticos de adquisición de información, de manera que el sistema opera incluso aunque existan oclusiones desde el visor (3). La unidad (5) de procesamiento recibe la información adquirida por los primeros medios (4) y/o por los segundos medios (6) ópticos, la procesa y calcula a partir de ella una trayectoria virtual de información relativa a la trayectoria recorrida por la herramienta (2) en el espacio real.

Description

DESCRIPCIÓN
SISTEMA DE REALIDAD AUMENTADA O REALIDAD VIRTUAL CON LOCALIZACIÓN ACTIVA DE HERRAMIENTAS, USO Y PROCEDIMIENTO ASOCIADO
CAMPO DE LA INVENCIÓN
La presente invención se refiere, en general, a un sistema de realidad aumentada o virtual, y más concretamente, a un sistema que permite la interacción de un usuario con dicho sistema mediante una herramienta, estando esta última caracterizada por comprender medios ópticos de adquisición de información y por ser capaz de detectarse a sí misma.
ANTECEDENTES DE LA INVENCIÓN
Los sistemas modernos de realidad virtual (RV) o realidad aumentada (RA) requieren la localización tridimensional (traslación y rotación 3D) de diversos objetos de interés respecto a un sistema de referencia común. En primer lugar, es necesario conocer la posición del usuario en tiempo real para estimar su punto de vista y poder mostrar los gráficos adecuados a través de un visor de RA/RV. Para ello se debe realizar la localización del propio visor en el entorno. Si bien en general la realidad aumentada y la realidad virtual se consideran diferentes entornos inmersivos, en la presente invención se utilizarán indistintamente. De este modo, cualquier referencia realizada a realidad aumentada se considerará también referido a realidad aumentada, y viceversa.
Además, en muchos de estos sistemas se permite interactuar con objetos reales o usarlos como herramientas. Por tanto, también es necesario conocer la localización de estos objetos en tiempo real y respecto al mismo sistema de referencia. En muchos sistemas comerciales (Oculus, HTC Vive, etc.) estos objetos corresponden a los mandos del usuario que se mueven libremente y que permiten interactuar con el entorno virtual. Un ejemplo de estos sistemas es la solución Soldamatic, un simulador de soldadura de RA/RV en el que se localiza en tiempo real un visor (máscara de soldadura), una pieza de soldadura y una antorcha o varilla de soldadura.
También es conocida la patente estadounidense US 9,230,449, donde se divulga cómo se puede diseñar un sistema de RA/RV de entrenamiento para soldadura. Conociendo la posición relativa entre pieza y la antorcha/varilla se simula el proceso de soldadura y se muestra gracias a la localización de un visor.
La detección 3D de objetos en sistema de RA/RV se basa en el uso de sensores ópticos y no ópticos, que pueden clasificarse como sigue:
a) Sensores no ópticos:
1.Sensores electromagnéticos: Se basan en estimar la posición del objeto usando un emisor de campo magnético y analizando los cambios en el flujo producidos por el movimiento del objeto. Sus principales problemas son: área de trabajo reducido (limitada a las proximidades del emisor electromagnético), la sensibilidad a interferencias por objetos metálicos en el entorno, alto coste económico y no permite establecer un punto de referencia en el entorno de manera directa. Como ventajas, cabe destacar su precisión y la ausencia de problemas de oclusión.
2. Sensores inerciales: Se basan en el uso de giróscopos y acelerómetros para conocer la posición y rotación de un objeto. Su principal problema es que acumulan error rápidamente por lo que por sí solos no son usables en muchas aplicaciones. Tampoco permiten establecer un punto de referencia en el entorno de manera directa; son sensibles a interferencias magnéticas y requieren un postprocesamiento complejo. Normalmente se usan en combinación con otro tipo de sensores (por ejemplo, ópticos). Como contrapartida, son baratos, portables, de tamaño reducido y no tienen problemas de oclusión, además de permitir conocer dirección de aceleraciones, incluida la gravedad (permite conocer la posición vertical en el entorno).
3. Sensores mecánicos: Se basan en la medición directa de la posición de un dispositivo físico que el usuario puede mover a distintas localizaciones (por ejemplo, brazos o guantes hápticos). Su principal desventaja es que los movimientos están restringidos a los permitidos por el dispositivo físico, por lo que uso está muy limitado. Como ventajas cabe mencionar que son robustos a interferencias y no presenta problemas de oclusión.
b) Sensores ópticos: Constituyen el tipo de sensor más extendido y son fundamentales para la presente invención. Se basa en el uso de cámaras para estimar la posición de los objetos. En este tipo de sistemas se observan los objetos en el campo visual de las cámaras y se estima su posición mediante algoritmos de tipo PnP ("Perspective-n-Point ") o técnicas de triangulación estéreo o multivista. Normalmente se utiliza algún tipo de marcadores ópticos para facilitar la detección del objeto en la imagen (LEDs, esferas retroreflectivas, marcadores impresos cuadrados, etc.). En cualquier caso, el objeto debe ser visible desde la cámara por lo que no funciona cuando existen oclusiones.
En los sistemas actuales de RA/RV existen dos arquitecturas principales en función de donde se sitúen las cámaras:
a) Cámaras en posiciones fijas:
En estos sistemas las cámaras están fijas en un lugar del entorno, por ejemplo, en el techo. Es la configuración típica de sistemas de captura de movimiento (MoCap) y también usada en muchos productos comerciales de RV (HTC Vive, primeras versiones de Oculus, Miller Live Arc, etc.). Estas cámaras se utilizan tanto para localizar el visor del usuario como para localizar los objetos u herramientas.
Entre sus principales ventajas es relevante señalar:
-Precisión alta.
-Permiten establecer un punto de referencia en el entorno.
-Volumen de trabajo grande y escalable con mayor número de cámaras.
-Puede detectar a más de un usuario simultáneamente.
No obstante, esta arquitectura también presenta una serie de limitaciones:
-Los objetos de interés deben ser visibles, no admite oclusiones.
-El máximo volumen de trabajo está limitado por la cobertura de las cámaras. -Las cámaras no pueden moverse, el volumen de trabajo es estático.
-Los marcadores sobre los objetos deben ser suficientemente grandes y tener suficiente separación para ser detectados. No admite objetos pequeños.
-Los resultados más precisos y robustos se obtienen usando LEDs o similares. En estos casos es necesario aplicar algoritmos de identificación de marcadores que pueden ser complejos.
-Requiere un proceso de calibración del sistema cada vez que se modifica la instalación, es decir, cada vez que se mueven las cámaras.
b) Cámaras en el visor:
En este caso las cámaras se encuentran en el propio visor del usuario. Se estima directamente la posición de los objetos de interés respecto al visor. Algunos ejemplos comerciales son Oculus Quest, Microsoft Hololens o Soldamatic.
Las principales ventajas de esta arquitectura son dos:
-Permiten mayor versatilidad que el sistema de cámaras fijas, ya que las cámaras se mueven con el usuario. Es decir, el volumen de trabajo se mueve con el usuario.
-El proceso de calibración solo se realiza una vez.
Como contrapartida, sufre una serie de desventajas:
-La precisión es menor que en el sistema de cámaras fijas. La detección se puede ver afectada por el emborronado debido al movimiento ("motion blur”) o la posición / ángulo de detección de los objetos de interés (especialmente si no se utilizan marcadores LEDs o similares).
-Los objetos de interés deben ser visibles, no admite oclusiones. Esto es especialmente problemático con aquellas herramientas con forma cilindrica que se usan habitualmente en dirección perpendicular al usuario (pincel, electrodo de soldadura, etc.).
-Los marcadores sobre los objetos deben ser suficientemente grandes y tener suficiente separación para ser detectados. No admite objetos pequeños. Eso limita el tipo de herramientas que se pueden detectar sin aumentar su tamaño para añadir marcadores.
-El máximo volumen de trabajo está limitado por la cobertura de las cámaras. Según la configuración puede dar lugar a "puntos ciegos” donde no haya detección.
-Solo detecta un único usuario (el que equipa el visor).
De acuerdo a lo anterior, existe una limitación en las soluciones de RA/RV disponibles en el estado de la técnica, ya que para la aplicación de la herramienta es necesario que el usuario tenga en su campo de visión la región del objeto sobre la que dicha herramienta va a ser aplicada. No obstante, esto no siempre es posible (por ejemplo, cuando se producen oclusiones visuales) o deseable (por ejemplo, cuando el sistema RA/RV simula un sistema de soldadura a ciegas, para competiciones de "blind welding”). En estos casos, aunque el usuario no tenga visión de la zona a la que se aplica la herramienta, seria muy adecuado que el sistema RA/RV fuera capaz de simular de forma realista el resultado de dicha interacción entre herramienta y objeto.
No obstante, ninguno de los sistemas divulgados en el estado de la técnica permite esto.
DESCRIPCIÓN BREVE DE LA INVENCIÓN
La presente invención se enmarca en los sistemas para localización tridimensional de objetos en sistemas de realidad aumentada (RA) o realidad virtual (RV) y permite solventar las limitaciones del estado de la técnica mencionadas anteriormente. El sistema propuesto permite conocer en tiempo real la posición y rotación 3D de un objeto relativo a un sistema de referencia común.
Tal y como se ha mencionado en la sección anterior, existe una necesidad en el estado de la técnica de disponer de un sistema RA/RV con arquitectura de cámaras y visor que sea robusto ante oclusiones, además de permitir una simulación realista de la interacción entre herramienta y objeto en una región más allá de la región visible desde el visor RA/RV que porta el usuario. Si bien la invención se referirá principalmente a visores personales, tales como gafas, o cascos de RA/RV, se considerarán incluidos en el ámbito de interpretación de este término también cualquier monitor o pantalla (por ejemplo, pantalla de un ordenador, dispositivo móvil, tableta o televisor) que permita representar el entorno de RA/RV. Del mismo modo, si bien el presente documento se referirá genéricamente a un "usuario” del sistema, se entenderán comprendidos en este término tanto personas como mecanismos robóticos, tales como por ejemplo brazos robóticos.
Más concretamente, un objeto principal de la presente invención se refiere a un sistema de RA/RV operable por un usuario, donde dicho sistema comprende:
- un objeto que comprende uno o más marcadores ópticos dispuestos sobre el mismo;
- una herramienta apta para su utilización por parte del usuario, que ocupa una posición o recorre una trayectoria real en un espacio;
- un visor de RA/RV, apto para su utilización por parte del usuario.
- unos primeros medios ópticos de adquisición de información, preferiblemente ubicados en el visor de RA/RV;
- una unidad de procesamiento conectada a, al menos, la herramienta y al visor de RA/RV. Dicha unidad de procesamiento comprende los medios hardware/software necesarios y que un experto en la materia puede reconocer (una o más unidades centrales de procesamiento o CPUs, una o más unidades de procesamiento gráfico o GPUs, uno o más servidores, una o más aplicaciones móviles, etc.) y las conexiones (cableadas, inalámbricas, etc.) necesarias.
Dicho sistema está ventajosamente caracterizado porque:
- la herramienta comprende unos segundos medios ópticos de adquisición de información.
- los marcadores ópticos comprenden unos primeros marcadores codificados con información óptica apta para su adquisición por los primeros medios ópticos, y unos segundos marcadores codificados con información óptica apta para su adquisición por los segundos medios ópticos; y
- la unidad de procesamiento comprende medios software/hardware configurados para recibir la información adquirida por los primeros medios ópticos y/o por los segundos medios ópticos, procesar dicha información y calcular una trayectoria virtual que comprende información relativa a la posición ocupada o a la trayectoria real recorrida por la herramienta en el espacio.
La herramienta comprende, preferentemente, los segundos medios ópticos de adquisición de información, lo que hace que pueda localizarse activamente a sí misma; mientras que los primeros medios ópticos de adquisición de información comprenden cámaras pasivas para detectar al objeto. De este modo, el sistema está especialmente optimizado para aquellas situaciones en las que se quiere simular el uso de una herramienta que interactúa sobre otro objeto. Por ejemplo, una antorcha/varilla de soldadura sobre una pieza, un pincel sobre un lienzo, una pistola de pintura industrial, o un bisturí sobre un cuerpo.
En realizaciones preferentes del sistema de RA/RV, este comprende adicionalmente un trazo virtual que se representa en el visor de RA/RV a partir de la trayectoria virtual calculada en la unidad de procesamiento.
En realizaciones ventajosas del sistema, la herramienta comprende unos terceros marcadores ópticos equipados con información óptica apta para su adquisición por los primeros medios ópticos. De este modo, el sistema puede localizar la herramienta cuando esta no está mirando hacia el objeto.
En realizaciones particulares del sistema, los segundos medios ópticos comprenden una cámara endoscópica alojada en la herramienta. La ventaja de la cámara endoscópica es que es muy compacta y se amolda fácilmente a todo tipo de herramientas, particularmente aquellas con forma cilindrica.
En otras realizaciones del sistema, la herramienta comprende al menos un actuador conectado a la unidad de procesamiento. De esta manera, dicho actuador permite adquirir más información adicional aparte de la trayectoria que ha recorrido la herramienta, por ejemplo, el actuador puede ser sensible a la fuerza con la que el usuario lo presiona o al tiempo de pulsación. Otras realizaciones alternativas comprenden una pluralidad de actuadores en la herramienta.
En algunas realizaciones particulares, los primeros medios ópticos y/o los segundos medios ópticos del sistema comprenden una o varias cámaras.
En realizaciones preferentes del sistema, la herramienta comprende, adicionalmente, uno o más sensores no ópticos para mejorar su precisión y robustez. Por ejemplo, la herramienta puede incorporar sensores inerciales, hápticos, térmicos, mecánicos, electromagnéticos, etc.
En ciertas realizaciones del sistema, los marcadores ópticos (tanto los colocados en el objeto como los que van ubicados en la herramienta) comprenden marcadores artificiales tales como LEDs, códigos QR, códigos de barras, esferas retrorreflectivas, y/o marcadores impresos; asi como marcadores naturales tales como puntos característicos del objeto y/o herramienta (por ejemplo, las esquinas de los mismos pueden ser empleados como puntos característicos). En este sentido, se entenderá como “información codificada” a cualquier información óptica asociada o comprendida en el objeto, de forma natural o añadida al mismo, que pueda ser captada por los medios ópticos de adquisición, y analizada por la unidad de procesamiento.
En una realización preferente de la invención, el visor se encuentra alojado en una máscara de soldadura; la herramienta comprende una antorcha de soldadura y/o elementos de aporte de material. Dichos elementos de aporte de material comprenden preferiblemente varillas de soldadura o electrodos de soldadura. Además, el objeto comprende una pieza sobre la que se simula la aplicación de un consumible de soldadura en los puntos delimitados por el trazo virtual. De este modo, la invención proporciona un simulador de RA/RV apropiado para su uso didáctico en soldadura e incluso en soldadura a ciegas.
En realizaciones alternativas, la herramienta comprende una pistola de pintura industrial, un bisturí o unos guantes hápticos. De este modo, la invención se puede aplicar en simuladores didácticos en diversos campos, como soldadura, la pintura y la medicina.
En otras realizaciones, la herramienta comprende un brazo robótico. De este modo, el sistema puede emplearse para la simulación de procesos industriales, procedimientos quirúrgicos de alta precisión o cualquier otra aplicación que requiera el uso de dicho brazo robótico.
Como se ha mencionado, el principal campo de interés son los simuladores de RA/RV en los que sea necesario localizar herramientas para simular interacción entre objetos. Este tipo de simuladores son especialmente útiles en el ámbito académico ya que permiten practicar y aprender procesos que requieren habilidades manuales con las correspondientes ventajas de RA/RV (ahorro de material, prácticas ilimitadas, gamificación, entornos seguros, etc.).
Un uso preferente del sistema de la invención consiste en simulación de RA de soldadura o soldadura a ciegas. En otras realizaciones preferentes, el sistema es apto para su uso en simuladores de RA/RV de pintura, cirugía u odontología. En realizaciones alternativas, su uso podría extrapolarse a cualquier otro contexto, más allá de RA/RV, que requiera localización precisa entre dos objetos.
También forma parte de la patente el procedimiento para operar el sistema descrito con anterioridad, destinado al cálculo de una trayectoria virtual en sistemas de RA/RV y caracterizado porque comprende la realización de las siguientes etapas: - localización del objeto y la herramienta desde los primeros medios y/o los segundos medios ópticos.
- adquisición, mediante los primeros medios ópticos y/o los segundos medios ópticos, de información basada en el seguimiento de los marcadores del objeto y en la trayectoria recorrida por la herramienta en el espacio.
- procesamiento de dicha información en la unidad de procesamiento para calcular una trayectoria virtual.
- se repiten periódicamente las etapas anteriores. El tiempo de actualización tras el cual se repite el proceso dependerá totalmente de la aplicación. En algunas aplicaciones se requiere una actualización continua o en tiempo real del trazo virtual, mientras que en otras aplicaciones dicha actualización puede ser ajustada discrecionalmente por parte del usuario.
En otras realizaciones del procedimiento, donde la localización de la herramienta del procedimiento comprende adicionalmente la detección de los terceros marcadores ópticos. De este modo, la localización de la herramienta puede refinarse utilizando esta información adicional.
En otras realizaciones ventajosas de la invención, la etapa de adquisición comprende la captación de información adicional de la herramienta a través de al menos un actuador. Dicho actuador puede ser un gatillo, botón o similar que sea sensible al tiempo y a la fuerza con la que el usuario actúa sobre la herramienta, siendo esta información relevante para generar la trayectoria virtual.
En realizaciones preferentes del procedimiento, este comprende la estimación de: -la posición entre el visor de RA/RV y el objeto;
-la posición entre la herramienta y el objeto; y
-la posición entre el visor de RA/RV y la herramienta.
Finalmente, cabe destacar fortalezas del sistema objeto de la invención son las siguientes:
-La precisión no se ve afectada por el movimiento del visor o por el ángulo/distancia desde el que se observa la herramienta. Es decir, la precisión es independiente del punto de vista del usuario.
-Las herramientas en los que se sitúa la cámara no necesitan obligatoriamente marcadores ópticos para ser detectados por lo que se pueden detectar objetos de tamaño mucho menor.
Además, la invención cuenta con las ventajas propias de los sistemas ópticos con cámaras en el visor, tales como:
-El volumen de trabajo se mueve con el propio usuario.
-Permiten establecer un punto de referencia en el entorno.
-El proceso de calibración solo se realiza una vez.
-No tiene interferencias por la presencia de otros objetos.
-Procesamiento computacional bajo.
-Bajo coste económico.
Las ventajas mencionadas anteriormente se cumplen cuando la herramienta observa los segundos marcadores ópticos del objeto base. Cuando la herramienta sale de dicho campo de visión, la herramienta podría seguir detectándose (si se desea) mediante el funcionamiento del sistema óptico estándar con cámaras en el visor, siempre y cuando la propia herramienta tenga marcadores ópticos. Por ejemplo, si se quiere simular un pincel pintando sobre un lienzo, se colocaría una cámara en el pincel y en el lienzo se colocarían marcadores ópticos. Cuando la cámara del pincel está mirando al lienzo, se puede conocer la posición relativa del pincel independientemente del visor del usuario. Sin embargo, cuando el pincel no esté mirando al lienzo, no es posible localizarlo con la cámara que lleva incorporada. En este caso habría que usar las cámaras del visor que porta el usuario.
Hay que destacar que la situación en la que se quiere simular la interacción de una herramienta sobre otro objeto es un proceso bastante habitual en muchas tareas que son susceptibles de ser simuladas mediante RA/RV (por ejemplo, pistola de pintura industrial sobre una pieza, pincel sobre lienzo, bisturí sobre cuerpo, antorcha de soldadura sobre una pieza, etc.).
En resumen, la invención proporciona un sistema RA/RV que comprende cámaras en un visor de RA/RV, cuya principal ventaja es que no se ve afectado por oclusiones ya que hay otra cámara situada en la propia herramienta con la que se interactúa con el objeto. En particular, gracias a la invención los objetos y/o las herramientas no tienen que ser visibles desde el punto de vista del usuario. De esta manera, se pueden detectar dichos objetos/herramientas independientemente de la posición del visor; es decir, no existen problemas de oclusión ni puntos ciegos. De hecho, es posible interactuar con la herramienta sin que exista visor RA/RV, aunque se entiende que este visor es necesario para poder observar los resultados de la simulación en algún momento.
A lo largo del texto, la palabra "comprende” (y sus derivados) no deben ser entendidos de un modo excluyente, sino que deben ser entendidos en el sentido en que admiten la posibilidad de que lo definido pueda incluir elementos o etapas adicionales. Además, en el ámbito de la invención cuando se hace referencia a medios "ópticos” no se pretende limitar al espectro electromagnético "visible” , sino que cualquier porción del mismo puede ser utilizada (ultravioleta, infrarrojos, etc.). Asimismo, se entenderá el concepto de "información óptica” como cualquier elemento que comprenda información codificada que pueda leerse o adquirirse mediante medios de reconocimiento ópticos. Dicha información óptica podrá, por tanto, estar codificada en una pluralidad de soportes físicos (entre ellos los códigos QR, LEDs, imágenes, caracteres, códigos de barras, esferas retrorreflectivas, marcadores impresos, etc.) siempre que su reconocimiento o lectura pueda realizarse por medios ópticos (por ejemplo, una cámara). Por otro lado, cuando se refiera una "cámara” dicha nomenclatura no es limitativa, de manera que sería equivalente a cualquier dispositivo capaz de adquirir información en forma de imagen y/o vídeo. Asimismo, cuando se hace referencia a trayectoria "real” se hace referencia a que es una trayectoria en el espacio físico real, mientras que una trayectoria "virtual” hace referencia a una trayectoria en el espacio de realidad virtual o aumentada. Existe una relación entre ambas trayectorias, pero no son necesariamente iguales.
DESCRIPCIÓN DE LAS FIGURAS
Para completar la descripción de la invención se proporciona un conjunto de figuras, que forman parte integral de la descripción e ilustran una realización preferente de la invención. Dichas figuras deben interpretarse de modo ilustrativo, no limitativo, y se detallan a continuación.
La Figura 1 muestra la realización preferente de la invención en la que la herramienta es una antorcha de soldadura, que comprende una cámara digital endoscópica. Cabe destacar que en la pantalla del visor se representa el trazo virtual, en este caso en tiempo real, aunque la frecuencia con la que se muestra la simulación se puede adaptar en función de las prestaciones de los medios hardware/software de la cámara y la unidad de procesamiento.
La Figura 2 ilustra dos realizaciones particulares del visor, con una (Figura 2a) y dos (Figura 2b) cámaras incorporadas.
La Figura 3 muestra un detalle de la herramienta, donde se aprecia cómo la cámara endoscópica está dispuesta en el interior de la misma.
La Figura 4 representa los dos tipos de marcadores ópticos dispuestos sobre el objeto. Los marcadores más grandes están diseñados especialmente para ser observados desde el visor de RA/RV, mientras que los más pequeños son empleados principalmente por la herramienta.
La Figura 5 representa dos puntos de vista de los marcadores ópticos impresos en el objeto, desde la/s cámara/s del visor y desde la cámara de la herramienta.
La Figura 6 ilustra una realización particular de la herramienta que comprende unos terceros marcadores ópticos para facilitar su localización. Asimismo, la herramienta dispone de una empuñadura ergonómica y un gatillo cómodamente accionable por el usuario.
La Figura 7 muestra el concatenamiento de las transformaciones de las matrices de transformación rígida en 3D (D1, D2, D3), incluyendo información de la rotación y de la traslación, de los distintos elementos del sistema (herramienta, objeto y visor) para facilitar su localización.
Las citadas Figuras se acompañan de una serie de referencias numéricas, correspondientes a los siguientes elementos:
(1) Objeto (pieza).
(2) Herramienta (antorcha de soldadura, pistola de pintura industrial, bisturí, guantes hápticos, etc.).
(3) Visor de RA/RV.
(4) Primeros medios ópticos de adquisición de información (en el visor).
(5) Unidad de procesamiento.
(6) Segundos medios ópticos de adquisición de información (en la herramienta). (7) Primeros marcadores ópticos sobre el objeto (para el visor).
(8) Segundos marcadores ópticos sobre el objeto (para la herramienta).
(9) Terceros marcadores ópticos en la herramienta.
(10) Actuador en la herramienta (gatillo o similar).
DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
En la Figura 1 se muestra una implementación preferente de la invención, referida a un sistema de RA/RV diseñado para detectar un objeto (1) sobre el que un usuario actúa mediante una herramienta (2), sensible al movimiento que ejerce el usuario sobre ella y que también debe ser detectada por el sistema. El objeto (1) es, por lo general, de mayor tamaño que la herramienta (2). El usuario porta un visor (3) de RA/RV que le proporciona un campo de visión dentro de un espacio que comprende el objeto (1), la herramienta (2) y sus alrededores. Dicho visor (3) comprende, preferentemente, unos primeros medios (4) ópticos de adquisición de información (principalmente imagen, en esta realización), en particular, una o más cámaras (mostradas en la Figura 2). No obstante, en otras realizaciones de la invención los primeros medios (4) ópticos de adquisición pueden estar instalados o dispuestos sobre otros elementos (por ejemplo, sobre un trípode o soporte análogo), siempre que permitan proporcionar una perspectiva general del objeto (1), para la adquisición de información/imágenes del mismo.
El sistema comprende, adicionalmente, una unidad (5) de procesamiento, que dispone de los medios hardware/softwares necesarios para recibir la información, por ejemplo, las imágenes adquiridas desde el visor (3) de RA/RV y/o desde la herramienta (2). Además, dicha unidad (5) de procesamiento permite el almacenamiento de toda la información asociada a la simulación, para poder revisarla o analizarla posteriormente.
La principal ventaja de la invención es que la propia herramienta (2) comprende unos segundos medios (6) ópticos de adquisición de información (en particular, en la Figura 1 dichos medios comprenden una cámara endoscópica). Además, sobre el objeto (1) se colocan una pluralidad de marcadores ópticos (7, 8) que, a su vez, comprenden unos primeros marcadores (7) ópticos que permiten el seguimiento con los primeros medios (4) ópticos, y unos segundos marcadores (8) ópticos que permiten el seguimiento a través de los segundos medios (6) ópticos incorporados en la herramienta (2). En diferentes realizaciones de la invención, los primeros (7) y los segundos (8) marcadores pueden tener formas o propiedades iguales o diferentes, pudiendo asimismo coincidir parcial o totalmente.
En la realización preferente de la Figura 1, Los primeros marcadores (7), visibles desde el visor (3), son de mayor tamaño que los segundos marcadores (8) específicamente diseñados para ser visibles desde los segundos medios (4) ópticos. Tanto los primeros marcadores (7) como los segundos marcadores (8) ópticos están codificados con información óptica apta para su adquisición por medio de primeros medios (4) y/o los segundos medios (6), pudiendo ser dicha información óptica de alguno de estos tipos: etiquetas codificadas, códigos QR, imágenes, LEDs, caracteres o cualquier otra fuente de información susceptible de reconocimiento óptico.
En la Figura 1 el objeto (1) es una pieza en T de PVC (simulando ser una pieza de soldadura) y la herramienta (2) es una antorcha de soldadura. No obstante, en otras realizaciones preferentes el objeto (1) puede ser cualquier tipo de pieza, un lienzo o un cuerpo; y dicha herramienta (2) puede ser una pistola de pintura industrial, una herramienta de pintura artística, un bisturí, un destornillador, unos guantes hápticos, etc. En general, la herramienta (2) es más pequeña que el objeto (1), por lo que es un elemento que no siempre se observa de forma nítida desde el visor (3) de RA/RV, ya sea por oclusiones, por encontrarse en posición perpendicular o por ser especialmente pequeño. Por este motivo, el objeto (1) presenta una pluralidad de marcadores (7, 8) ópticos que faciliten la detección tanto desde la cámara de la herramienta (2), así como la detección desde las cámaras del visor (3) de RA/RV.
La unidad (5) de procesamiento está configurada para recibir las imágenes adquiridas por los primeros medios (4) y/o los segundos medios (6), procesarlas y calcular una trayectoria virtual. Posteriormente, esta trayectoria virtual se representa mediante un trazo virtual (2’) que se grafica en el visor (3) de RA/RV, estando dicho trazo virtual (2’) relacionado con la trayectoria real que ha recorrido la herramienta (2). Así, el sistema permite seguir y representar la interacción del usuario con el objeto (1) incluso en puntos que no pertenecen al campo de visión del visor (3). Por tanto, a la unidad (5) de procesamiento llegan las imágenes de todas las cámaras del sistema (entre ellas, las del visor (3) y las de la propia herramienta (2)), las cuales son procesadas para detectar los marcadores (7, 8) y así estimar la localización de los distintos elementos del sistema. La unidad (5) de procesamiento puede estar conectada de manera cableada al resto de elementos del sistema, o bien dicha conexión puede ser inalámbrica.
La Figura 3 ilustra en mayor detalle la herramienta (2) consistente en una antorcha de soldadura, tal y como se mostraba en la Figura 1, que tiene incorporada una cámara endoscópica alojada en su interior.
La Figura 4 representa los primeros marcadores (7) ópticos, optimizados para el visor (3) de RA/RV; y los segundos marcadores (8), diseñados específicamente para ser vistos por la herramienta (2). Cabe destacar que, en la realización particular de la invención orientada a soldadura, los segundos marcadores (8) se encuentran en la unión del objeto (1) donde se simula la aplicación de un consumible de soldadura. Puesto que en tal caso se pretende poder evaluar la calidad de la soldadura simulada a través de la trayectoria virtual y del trazo virtual (2’), se requiere que los segundos marcadores (8) sean más pequeños y estén más próximos entre sí para tener mayor resolución y facilitar el seguimiento efectuado por la unidad (5) de procesamiento. Además, no es necesario que los segundos marcadores (8) sean muy grandes, ya que la herramienta (2) trabaja preferentemente muy cercana a los mismos.
La Figura 5 muestra los distintos puntos de vista de las distintas cámaras: la cámara del visor (3) RA/RV localiza los primeros marcadores (7) ópticos mientras que la cámara de la herramienta (2) observa los segundos marcadores (8) ópticos. Los primeros marcadores (7) para estimar la posición desde el visor (3) de RA/RV deben ser visibles desde el mismo, como los que ya se usan en sistemas actuales. Se debe tener en cuenta la posibilidad de oclusiones, que deben ser visibles desde una distancia mayor, etc. Los segundos marcadores (8) para estimar la posición desde la herramienta (2) deben ser visibles desde la cámara de ésta. Por ejemplo, si la herramienta (2) va a trabajar a una distancia muy cercana de la pieza, los marcadores (7, 8) ópticos deberán tener un tamaño reducido para que sean visibles. Los marcadores (7, 8) ópticos del objeto (1) dependerán también de la aplicación: pueden ser marcadores impresos, esferas retroreflectivas, LEDs, etc. Sin embargo, deben permitir conocer la posición de la herramienta (2) desde el visor (3) de RA/RV usando el objeto (1) como intermediario. En el caso de la Figura 1, donde el sistema emula un caso de soldadura usando unos marcadores (7, 8) ópticos cuadrados, la herramienta (2) se usa desde una distancia cercana. Por ello, el objeto (1) tendrá una serie de segundos marcadores (7) ópticos discrecionalmente pequeños para ser detectados desde la herramienta (2) y unos primeros marcadores (8) de mayor tamaño para ser detectados desde el visor (3) de RA/RV. En cualquier caso, esta separación entre los marcadores (7, 8) ópticos no tiene por qué ser estricta. Se podrían usar los mismos marcadores (7, 8) para ambas estimaciones, desde la herramienta (2) y desde el visor (3) , si la aplicación lo permite.
La Figura 6 ilustra otra realización aún más ventajosa de la invención, donde la herramienta (2) comprende además unos terceros marcadores (9) ópticos y un actuador (10), en particular un gatillo, para que puede ser controlada cómodamente por el usuario. Los terceros marcadores (9) ópticos colocados en la propia herramienta (2) permiten que esta se pueda detectar desde el visor (3) de RA/RV cuando la herramienta (2) no está observando su área de trabajo (es decir, cuando no está mirando hacia los segundos marcadores (8) ópticos, los pequeños en este caso). Esto equivaldría a la detección estándar de herramientas en sistemas RA/RV. En el caso de simulación de soldadura, el actuador (10) permite emular la aplicación de un consumible de soldadura, de manera que el tiempo y la fuerza con la que dicho actuador (10) es operado permite modular la cantidad de consumible. En tal caso, el trazo virtual (2’) incluye información no sólo a las posiciones del espacio real que recorre la herramienta (2), sino también de la fuerza y la duración de la pulsación aplicada sobre el actuador (10). Posteriormente, gracias a que la unidad (5) de procesamiento también almacena toda la información asociada a la soldadura efectuada por el usuario, esta puede ser evaluada con posteridad (ya sea empleando la propia pantalla del visor (3) de RA/RV o medios de representación gráfica adicionales, como otro monitor), lo que es útil cuando el simulador se emplea con fines educativos. Así, se puede registrar los puntos de la trayectoria virtual donde se ha permanecido demasiado tiempo o se ha aplicado una cantidad excesiva de consumible.
Gracias a que la propia herramienta (2) comprende los segundos medios (6) ópticos de adquisición de información, la invención presenta estas ventajas:
-Permite posicionar la herramienta (2) respecto al objeto (1) independientemente de la posición del visor (3).
-La estimación entre la herramienta (2) y el visor (3) de RA/RV no se ve afectada por el punto de vista del visor (3).
-Se puede conseguir mayor precisión ya que generalmente la herramienta (2) está más cerca del objeto (1) que el visor (3) de RA/RV y presenta menos o ninguna oclusión entre ellos.
-Si el objeto (1) se detecta desde el visor (3), se puede conocer la posición de la herramienta (2) respecto al visor concatenando las matrices de transformación rígida de los distintos elementos: herramienta (2), objeto (1) y visor (3) de RA/RV. Por tanto, se puede seguir mostrando la herramienta (2) en RA/RV, aunque no sea detectada directamente desde el visor (3). Esto se ilustra en la Figura 7, en la que D1 es la transformación necesaria para proceder a la detección del objeto (1) respecto al visor (3) de RA/RV, D2 denota la transformación asociada a la detección del objeto (1) respecto a la herramienta (2); mientras que D3 es la concatenación de D1 y D2 y permite la detección de la herramienta (2) respecto al visor (3) de RA/RV.
-Si la herramienta (2) no puede localizarse respecto al objeto (1), como es el caso de que la herramienta (2) salga del campo de visión del visor (3) de RA/RV, esta se podría seguir detectando respecto al visor (3) siempre y cuando dicha herramienta (2) incluya los terceros marcadores (9) ópticos, tal y como se hace en los sistemas actuales de RA/RV.
La principal limitación del sistema propuesto es que el posicionamiento entre la herramienta (2) y el objeto (1) solo se puede estimar cuando la herramienta (2) está orientada mirando hacia el objeto (1). No obstante, en muchas aplicaciones es común que la herramienta (2) esté observando el objeto (1) durante gran parte del proceso o que sea durante este momento cuando más precisión y robustez se necesite. Por ejemplo, en el caso de que la invención se emplee como simulador de soldadura, la precisión y robustez en la localización de la herramienta (2) es necesaria cuando se está realizando la soldadura y la antorcha está mirando hacia el objeto (1). El resto del tiempo puede ser interesante que se detecte la herramienta (2) para mostrar información en la pantalla del visor (3) de RA/RV, pero no es crítico para la simulación. En cualquier caso, cuando la cámara de la herramienta (2) no está observando el objeto (1), la herramienta (2) se podría seguir detectando mediante las cámaras del visor (3) como ya se hace en los sistemas actuales, siempre y cuando la herramienta (2) también incluya los terceros marcadores (9) sintéticos.
En lo referente al tipo de cámara que comprende la herramienta (2), depende del tipo de aplicación y de los requisitos de la misma. Por ejemplo, algunas consideraciones que se podrían tener en cuenta:
-Si la herramienta (2) se usa desde una distancia corta, será necesaria una cámara con una distancia de enfoque reducida.
-Si la cámara se va a mover rápido, será necesario usar cámaras con mayor tasa de refresco para evitar desenfoque por movimiento.
-Si la herramienta (2) es pequeña se puede usar una cámara de tamaño reducido (por ejemplo, una cámara endoscópica).
-Si se quiere que la herramienta (2) sea inalámbrica, se podría usar un sistema de cámara inalámbrico.
Para cada aplicación existirá un proceso de diseño en el que se decida cuál es el mejor tipo de cámara para la herramienta (2), y en qué lugar de esta se situará; así como cuál es el mejor diseño de marcadores (7, 8) ópticos para el objeto (1). El objetivo de este diseño es optimizar la visibilidad de los marcadores (7, 8) ópticos desde la herramienta (2) a la vez que habilitar la detección del objeto (1) desde el visor (3) de RA/RV.
Otro aspecto importante que mencionar es la calibración del sistema, en particular, las cámaras. Al hacer la estimación independiente del visor (3) de RA/RV, los requisitos de calibración de las cámaras en el visor (3) no son tan exigentes, ya que la precisión y resolución de detalles más finos se obtienen gracias a la cámara incorporada en la propia herramienta (2). Sin embargo, sí es necesario realizar una calibración más exhaustiva de la cámara de la herramienta (2). Al igual que cualquier sistema óptico de detección, esta calibración cuenta con dos partes:
-Calibración intrínseca: distancia focal, centro óptico y parámetros de distorsión de la cámara.
-Calibración extrínseca: posición relativa de la cámara con respecto a la herramienta (2).
En otras realizaciones ventajosas de la invención, los segundos medios (6) ópticos de adquisición de información comprende una pluralidad de cámaras configuradas para proporcionar un sistema estéreo, multivista o similar y así proporcionar una mayor precisión y/o mayor área de trabajo de la herramienta (2).
En otras realizaciones de la invención, se combinan elementos y ventajas de varias de las distintas realizaciones preferentes referidas anteriormente.
Otro objeto de la invención se refiere al procedimiento para estimar la posición entre visor (3) de RA/RV y herramienta (2), que se va a denotar como P3. Para ello se requiere obtener la posición entre visor (3) de RA/RV y objeto (1), denominada P1 de aquí en adelante; así como la posición P2, referida a la posición entre la herramienta (2) y el objeto (1). El caso más sencillo de dicho procedimiento ocurre cuando la herramienta (2) carece de los terceros marcadores (9) ópticos. En tal caso, cada iteración (cuya duración va definida por el tiempo de actualización de la información que haya fijado el usuario) comprende la realización de los siguientes pasos (en cualquier orden técnicamente posible):
- Captura de imagen desde los primeros medios (4) ópticos de adquisición de información;
- Si se han detectado los primeros marcadores (7) ópticos, cálculo de P1 a partir de las posiciones de dichos primeros marcadores (7) ópticos. - Captura de imagen desde los segundos medios (6) ópticos de adquisición de información;
- Si se han detectado los segundos marcadores (8) ópticos, cálculo de P2 a partir de las posiciones de dichos segundos marcadores (8) ópticos.
- Si se han calculado P1 y P2, se combinan ambas posiciones para calcular P3, que nos permite ubicar la posición entre visor (3) de RA/RV y herramienta (2).
En realizaciones alternativas, la herramienta (2) comprende los terceros marcadores (9) ópticos y el procedimiento para estimar la transformación D3 comprende, además de los pasos indicados en el procedimiento anterior, la realización de los siguientes pasos:
-Si no se ha podido estimar P3 a partir de los pasos del procedimiento anterior (por ejemplo, debido a oclusiones) o si se quiere refinar la localización mediante el uso de los terceros marcadores (9) ópticos:
• Se detectan los terceros marcadores (9) ópticos mediante los primeros medios (4) ópticos de adquisición de información.
• Estimar u optimizar la posición P3 usando dicha información (imagen) adquirida.
-Si alguna de las posiciones P1, P2 o P3 no ha podido ser obtenida (por oclusiones, etc.), se estima la posición faltante a partir de la combinación de las otras dos.

Claims (17)

REIVINDICACIONES
1.
Figure imgf000021_0001
- Sistema de realidad aumentada/virtual, RA/RV, operable por un usuario, donde dicho sistema comprende:
- un objeto (1) que comprende uno o más marcadores (7, 8) ópticos dispuestos sobre el mismo;
- una herramienta (2) apta para su utilización por parte del usuario, que ocupa una posición o recorre una trayectoria real en un espacio;
- un visor (3) de RA/RV;
- unos primeros medios (4) ópticos de adquisición de información;
- una unidad (5) de procesamiento conectada a, al menos, la herramienta (2) y al visor (3) de RA/RV;
donde dicho sistema está caracterizado por que
- la herramienta (2) comprende unos segundos medios (6) ópticos de adquisición de información;
- los marcadores (7, 8) ópticos comprenden unos primeros marcadores (7) codificados con información óptica apta para su adquisición por los primeros medios (4) ópticos, y unos segundos marcadores (8) codificados con información óptica apta para su adquisición por los segundos medios (6) ópticos; y
- la unidad (5) de procesamiento comprende medios software/hardware configurados para recibir la información adquirida por los primeros medios (4) ópticos y/o por los segundos medios (6) ópticos, procesar dicha información y calcular una trayectoria virtual que comprende información relativa a la posición ocupada o a la trayectoria real recorrida por la herramienta (2) en el espacio.
2.
Figure imgf000021_0002
- Sistema según la reivindicación anterior, que comprende adicionalmente un trazo virtual (2’) que se representa en el visor (3) de RA/RV a partir de la trayectoria virtual calculada en la unidad (5) de procesamiento.
3.
Figure imgf000021_0003
- Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende unos terceros marcadores (9) ópticos equipados con información óptica apta para su adquisición por los primeros medios (4) ópticos.
4.
Figure imgf000021_0004
- Sistema según cualquiera de las reivindicaciones anteriores, donde los segundos medios (6) ópticos comprenden una cámara endoscópica alojada en la herramienta (2).
5. - Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende un actuador (10) conectado a la unidad (5) de procesamiento.
6.
Figure imgf000022_0001
-Sistema según cualquiera de las reivindicaciones anteriores, donde los primeros medios (4) ópticos y/o los segundos medios (6) ópticos comprenden una o varias cámaras.
7. - Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende, adicionalmente, uno o más sensores no ópticos.
8.
Figure imgf000022_0002
- Sistema según cualquiera de las reivindicaciones anteriores, donde los marcadores (7, 8, 9) ópticos comprenden LEDs, códigos QR, códigos de barras, esferas retroreflectivas, marcadores impresos y/o puntos característicos.
9. -Sistema según cualquiera de las reivindicaciones anteriores, donde:
- el visor (3) de RA/RV se encuentra alojado en una máscara de soldadura;
- la herramienta (2) comprende una antorcha de soldadura y/o elementos de aporte de material; y
- el objeto (1) comprende una pieza sobre la que se simula la aplicación de un consumible de soldadura en los puntos delimitados por el trazo virtual (2’).
10.
Figure imgf000022_0003
- Sistema según las reivindicaciones 1-7, donde la herramienta (2) comprende una pistola de pintura industrial, un bisturí, un guante háptico, y/o un brazo robótico.
11.
Figure imgf000022_0004
- Sistema según cualquiera de las reivindicaciones anteriores, donde el visor (3) de RA/RV comprende unas gafas, una máscara, un monitor, y/o una pantalla de un dispositivo móvil.
12.
Figure imgf000022_0005
- Sistema según cualquiera de las reivindicaciones anteriores, donde los primeros medios (4) ópticos de adquisición de información están comprendidos en el visor (3) de RA/RV.
13.
Figure imgf000022_0006
- Uso de un sistema según cualquiera de las reivindicaciones anteriores, para la representación de entornos de RA/RV para simulación de técnicas de soldadura, de soldadura a ciegas, de pintura industrial, de procedimientos quirúrgicos y/u odontológicos.
14.
Figure imgf000023_0001
- Procedimiento para el cálculo de una trayectoria virtual en sistemas de realidad aumentada/virtual, RA/RV, que comprende el uso de un sistema según cualquiera de las reivindicaciones 1-12, caracterizado por que comprende la realización de las siguientes etapas:
- localización del objeto (1) y la herramienta (2) desde los primeros medios (4) y/o los segundos medios (6) ópticos;
- adquisición, mediante los primeros medios (4) ópticos y/o los segundos medios (6) ópticos, de información basada en el seguimiento de los marcadores (7,8) del objeto (1) y en la trayectoria recorrida por la herramienta (2) en el espacio;
- procesamiento de dicha información en la unidad (5) de procesamiento para calcular una trayectoria virtual;
- se repiten periódicamente las etapas anteriores.
15.
Figure imgf000023_0002
- Procedimiento según la reivindicación anterior, donde la localización de la herramienta (2) comprende adicionalmente la detección de los terceros marcadores (9) ópticos.
16.
Figure imgf000023_0003
- Procedimiento según la reivindicación anterior, donde la etapa de adquisición comprende la captación de información adicional de la herramienta (2) a través de al menos un actuador (10).
17.
Figure imgf000023_0004
- Procedimiento según cualquiera de las reivindicaciones 14-16, que comprende la estimación de:
-la posición entre el visor (3) de RA/RV y el objeto (1);
-la posición entre la herramienta (2) y el objeto (1); y
-la posición entre el visor (3) de RA/RV y la herramienta (2).
ES202030858A 2020-08-10 2020-08-10 Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado Active ES2894549B2 (es)

Priority Applications (8)

Application Number Priority Date Filing Date Title
ES202030858A ES2894549B2 (es) 2020-08-10 2020-08-10 Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado
CN202180062413.0A CN116075875A (zh) 2020-08-10 2021-07-30 具有主动工具定位的增强现实或虚拟现实系统、用途和相关程序
JP2023509749A JP2023539810A (ja) 2020-08-10 2021-07-30 ツール、使用、関連プロセスの動的位置特定を備えた、拡張現実又は仮想現実システム
US18/020,172 US20230316669A1 (en) 2020-08-10 2021-07-30 Augmented reality or virtual reality system with active localisation of tools, use and associated procedure,
PCT/ES2021/070582 WO2022034252A1 (es) 2020-08-10 2021-07-30 Sistema de realidad aumentada o realidad virtual con localización activa de herramientas, uso y procedimiento asociado
KR1020237008446A KR20230051527A (ko) 2020-08-10 2021-07-30 도구, 사용 및 관련된 프로세스를 능동적으로 위치 추정(로컬라이제이션)하는 증강 현실 또는 가상 현실 시스템
AU2021323398A AU2021323398A1 (en) 2020-08-10 2021-07-30 Augmented reality or virtual reality system with active localisation of tools, use and associated process
EP21855666.0A EP4195182A1 (en) 2020-08-10 2021-07-30 Augmented reality or virtual reality system with active localisation of tools, use and associated procedure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES202030858A ES2894549B2 (es) 2020-08-10 2020-08-10 Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado

Publications (2)

Publication Number Publication Date
ES2894549A1 true ES2894549A1 (es) 2022-02-14
ES2894549B2 ES2894549B2 (es) 2022-06-22

Family

ID=80246600

Family Applications (1)

Application Number Title Priority Date Filing Date
ES202030858A Active ES2894549B2 (es) 2020-08-10 2020-08-10 Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado

Country Status (8)

Country Link
US (1) US20230316669A1 (es)
EP (1) EP4195182A1 (es)
JP (1) JP2023539810A (es)
KR (1) KR20230051527A (es)
CN (1) CN116075875A (es)
AU (1) AU2021323398A1 (es)
ES (1) ES2894549B2 (es)
WO (1) WO2022034252A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2958167A1 (es) * 2022-07-06 2024-02-02 Seabery Soluciones S L Metodo y sistema de simulacion de operaciones de soldadura
JP7460823B1 (ja) 2023-04-20 2024-04-02 川崎車両株式会社 ３次元ｃａｄシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016022452A1 (en) * 2014-08-07 2016-02-11 Illinois Tool Works Inc. System and method of monitoring a welding environment
WO2016144744A1 (en) * 2015-03-09 2016-09-15 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
EP3318361A1 (en) * 2016-11-07 2018-05-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230449B2 (en) 2009-07-08 2016-01-05 Lincoln Global, Inc. Welding training system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016022452A1 (en) * 2014-08-07 2016-02-11 Illinois Tool Works Inc. System and method of monitoring a welding environment
WO2016144744A1 (en) * 2015-03-09 2016-09-15 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
EP3318361A1 (en) * 2016-11-07 2018-05-09 Lincoln Global, Inc. Welding system providing visual and audio cues to a welding helmet with a display

Also Published As

Publication number Publication date
US20230316669A1 (en) 2023-10-05
ES2894549B2 (es) 2022-06-22
KR20230051527A (ko) 2023-04-18
AU2021323398A1 (en) 2023-03-02
CN116075875A (zh) 2023-05-05
WO2022034252A1 (es) 2022-02-17
JP2023539810A (ja) 2023-09-20
EP4195182A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
KR101519775B1 (ko) 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
JP6839656B2 (ja) 視標追跡システム
Regazzoni et al. RGB cams vs RGB-D sensors: Low cost motion capture technologies performances and limitations
ES2894549B2 (es) Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado
US20170315364A1 (en) Virtual object display device, method, program, and system
CN111465886A (zh) 头戴式显示器的选择性跟踪
US11574561B2 (en) Virtual reality surgical system including a surgical tool assembly with haptic feedback
US20070252832A1 (en) System And Method For Operating In Virtual 3D Space And System For Selecting An Operation Via A Visualizing System
JP2006302034A (ja) 画像処理方法、画像処理装置
JPWO2014010004A1 (ja) 入力装置、情報処理システム、情報処理装置、および情報処理方法
JP2006301654A (ja) 画像呈示装置
JP2006192548A (ja) 身まねロボットシステムとその身まね動作制御方法
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
JP5024766B2 (ja) 三次元表示装置
EP3659115A1 (en) Positioning system
JP2016063394A (ja) 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
KR102360179B1 (ko) 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
Andersen et al. Ar interfaces for mid-air 6-dof alignment: Ergonomics-aware design and evaluation
JP7443014B2 (ja) ロボットアーム試験装置
ES2807674B2 (es) Metodo, sistema y producto de programa para interaccion en entornos de realidad virtual mediante dispositivo haptico de realimentacion de fuerzas de escritorio
Plopski et al. Tracking systems: Calibration, hardware, and peripherals
Scheel et al. Mobile 3D gaze tracking calibration
ES2255384A1 (es) Sistema portatil para captura y analisis tridimensional del movimiento humano en puestos de trabajo.

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2894549

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20220214

FG2A Definitive protection

Ref document number: 2894549

Country of ref document: ES

Kind code of ref document: B2

Effective date: 20220622

PC2A Transfer of patent

Owner name: SEABERY SOLUCIONES, S.L.

Effective date: 20240322