ES2233201A1 - Sistema de simulacion de realidad mixta. - Google Patents
Sistema de simulacion de realidad mixta.Info
- Publication number
- ES2233201A1 ES2233201A1 ES200302732A ES200302732A ES2233201A1 ES 2233201 A1 ES2233201 A1 ES 2233201A1 ES 200302732 A ES200302732 A ES 200302732A ES 200302732 A ES200302732 A ES 200302732A ES 2233201 A1 ES2233201 A1 ES 2233201A1
- Authority
- ES
- Spain
- Prior art keywords
- active user
- group
- data
- motion capture
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 12
- 239000000470 constituent Substances 0.000 claims 1
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000012636 effector Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000037230 mobility Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000011872 anthropometric measurement Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G06F19/00—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Un sistema de simulación de realidad mixta, que comprende: - un sistema de captura de movimiento (20) en tiempo real, que incluye los siguientes elementos conectados entre sí, - al menos una unidad de procesamiento de datos (PC1, PC2), - un grupo de marcadores (22) sujetables al cuerpo de un usuario activo (100) del sistema, - una pluralidad de cámaras (21) dispuestas de forma que en todo momento como mínimo dos de ellas puedan captar un mismo marcador (22), - dos guantes de datos (30), - una estación gráfica (10), - un primer dispositivo de visualización (40) para dicho usuario activo, y - al menos una maqueta física (60), estando configurada dicha estación gráfica para procesar la información proporcionada por el sistema de captura de movimiento y los guantes de datos, y para enviar en tiempo real dicha información en forma de imágenes al primer dispositivo de visualización.
Description
Sistema de simulación de realidad mixta.
La presente invención se enmarca dentro de las
técnicas de simulación y análisis virtual, aplicables especialmente
al sector de la automoción.
En relación con el sector del automóvil, el
lanzamiento al mercado de un nuevo modelo debe afrontar el
constante recorte de los plazos de desarrollo, exigido por la
disminución del ciclo de vida de los vehículos y la necesaria
diversificación de la gama para atender la mayor demanda posible. El
éxito de esta adaptación se debe, en gran medida, a la introducción
y al desarrollo de las técnicas de simulación y análisis virtual.
Hasta la introducción de la Realidad Virtual (RV), todas las
valoraciones de diseño, calidad superficial y ergonomía se
realizaban sobre modelos físicos, modelados a mano o fresados
durante la fase inicial del proyecto, o en forma de vehículos
funcionantes durante la fase de prototipos. Con la utilización de
la RV se ha reducido el número de modelos necesarios en cada
proyecto, ya que las valoraciones de diseño y calidad superficial
se realizan ya en gran parte sobre modelos virtuales, con el ahorro
en tiempo y costes que ello conlleva.
Hoy en día la realidad virtual permite adelantar
la toma de decisiones sobre ciertos proyectos: el tiempo de
fabricación de un prototipo virtual es, por ejemplo, de una semana
frente a los dos meses necesarios para un modelo fresado. Esto
permite tener en cuenta un mayor número de variantes, con lo que se
llega a la fase de prototipos físicos con el proyecto más
\hbox{maduro.}
Hasta la fecha, la tecnología ha permitido
introducir a las personas en espacios que no existen físicamente,
sino que son tan sólo una representación concebida desde los
equipos informáticos (mediante RV).
La invención se refiere a un sistema de acuerdo
con la reivindicación 1. Realizaciones preferidas del sistema se
definen en las reivindicaciones dependientes.
Es un objetivo de la presente invención
proporcionar un sistema que permita realizar diversas simulaciones
en prototipos virtuales, sin necesidad de recurrir a prototipos
físicos.
Es también un objetivo de la presente invención
proporcionar un sistema que implemente el sentido del tacto al
sentido de la vista, que es el que ya se aplica para análisis
virtuales, de forma que el usuario del sistema se encuentra más
inmerso en la virtualidad y, por tanto, su valoración será más
objetiva.
Mediante el sistema de la invención se introduce
en la valoración virtual las restricciones que tiene el observador
real en un prototipo físico.
El sistema de la invención permite hacer
valoraciones más objetivas de prototipos virtuales de automóviles
sin necesidad de realizar los modelos físicos completamente.
El sistema de simulación de realidad mixta de la
presente invención comprende:
- un sistema de captura de movimiento en tiempo
real que incluye los siguientes elementos conectados entre sí:
- -
- al menos una unidad de procesamiento de datos,
- -
- un grupo de marcadores sujetables al cuerpo de un usuario activo del sistema, preferiblemente definiendo dicho grupo de marcadores el esqueleto de dicho usuario activo,
- -
- una pluralidad de cámaras dispuestas de forma que en todo momento como mínimo dos de ellas puedan captar un mismo marcador,
estando la unidad de procesamiento de datos
configurada para adquirir y procesar un primer grupo de datos
relativos a la información capturada por dichas cámaras y extraer
de dicho primer grupo de datos, preferiblemente mediante cálculo de
la biomecánica de dicho usuario activo, un primer grupo de
coordenadas de posición y vectores directores de las articulaciones
de dicho usuario activo,
- medios de envío de dicho primer grupo de
coordenadas de posición y vectores directores hacia una estación
gráfica,
- dos guantes de datos configurados para
proporcionar un segundo grupo de coordenadas de posición y vectores
directores de los dedos de las manos de dicho usuario activo,
- medios de envío de dicho segundo grupo de
coordenadas de posición y vectores directores hacia una estación
gráfica,
- un primer dispositivo de visualización para
dicho usuario activo, como puede ser un casco estereoscópico, y
- al menos una maqueta física, representativa de
un entorno real,
estando configurada dicha estación gráfica para
procesar la información proporcionada por los primero y segundo
grupo de coordenadas de posición y vectores directores,
representativos de un entorno virtual y del cuerpo virtual del
usuario activo, y para enviar en tiempo real dicha información en
forma de imágenes al primer dispositivo de
visualización,
de forma que las imágenes percibidas por dicho
usuario activo del sistema dependen de la posición de la cabeza de
dicho usuario activo, de la posición de dicha maqueta física y de la
posición del cuerpo del usuario activo con relación a la maqueta
física.
Gracias a la maqueta física, el usuario activo se
encuentra en la correcta posición respecto al entorno virtual y
tiene contacto físico con aquellas partes definidas para el
análisis; esta maqueta física permite al usuario activo del sistema
relacionar mediante el tacto la virtualidad que está viendo con la
realidad que está tocando.
Este usuario activo del sistema es quien está
inmerso en el "entorno virtual" y puede interactuar en ella;
este usuario activo se encuentra en la misma posición en la que
estaría en el prototipo real y tiene contacto físico con la maqueta
física.
Preferiblemente dicha maqueta física está
constituida por elementos regulables y calibrables, de forma que
dicha maqueta sea polivalente para diversos modelos.
Mediante este sistema se da un salto desde la
Realidad Virtual a la Realidad Mixta, para conseguir que la
validación virtual sea, además de objetiva, lógica, priorizando
aquellos puntos de vista que son visibles e importantes. El cuerpo
virtual en el prototipo pasa a ser una representación geométrica del
cuerpo, que con las restricciones impuestas por una maqueta física
ayuda a lograr una valoración del prototipo virtual mucho más
cercana a la real. Mediante la combinación de elementos físicos
(diferentes maquetas correspondientes a diversas zonas del
vehículo) y virtuales (resto de geometrías del entorno de cada
maqueta), el sistema permite, por ejemplo, evaluar la ergonomía de
cualquier interior de un vehículo en una fase muy temprana de su
desarrollo.
Preferiblemente el sistema además comprende un
segundo dispositivo de visualización para al menos, un usuario
pasivo del sistema. Este usuario o usuarios pasivos observan los
resultados de la simulación en dicho segundo dispositivo de
visualización, como puede ser una pantalla estereoscópica (o
\hbox{ StereoWall )} pero no pueden interactuar en
el sistema. El o los usuarios pasivos tienen la opción de elegir
qué punto de vista desean: el mismo que el del usuario activo o un
punto de vista sin referencia con éste.
El sistema de la invención presenta varias
innovaciones tecnológicas:
- i)
- Unión en un sólo sistema de distintos dispositivos de entrada (sistema óptico de captura del movimiento, guante de datos) y distintos dispositivos efectores (casco estereoscópico, pantalla estereoscópica), todos ellos gestionados por una estación gráfica de última generación.
- ii)
- Adaptación de un sistema de captura óptico, proveniente del mundo de la animación por ordenador, para trabajos de ingeniería, con unos requisitos determinados de luz, precisión y procesado de la información en tiempo real.
- iii)
- Utilización de un software modular de Realidad Virtual que permite: configurar los distintos dispositivos efectores; representar con un alto nivel de definición y realismo las superficies virtuales a valorar; utilizar distintos avatares dentro de la escena virtual, bien adaptándolos a las medidas antropométricas de los distintos usuarios o bien utilizando modelos humanos disponibles en librerías; crear simulaciones de luz en la escena virtual, con resultados muy cercanos a la realidad; procesar todos los datos de los dispositivos de entrada y modificar la escena virtual a tiempo real, aprovechando al máximo los recursos de nuestro hardware.
- iv)
- Evolución hacia un nuevo concepto de realidad virtual más inmersivo, la realidad mixta. Este nuevo concepto intenta suplir las carencias actuales de la realidad virtual en lo que respecta al sentido del tacto.
De los cinco sentidos principales (vista, oído,
tacto, gusto y olfato) la Realidad Virtual ha evolucionado
básicamente en el campo del sentido de la vista y del oído. Por lo
que respecta al tacto, existen algunos dispositivos de
realimentación de fuerza (force feedback), a nivel de prototipos,
que empiezan a trabajar en este campo. Pero todos se encuentran con
un problema básico de falta de ordenadores capaces de trabajar con
una frecuencia de refresco de 1000 fps, que es la frecuencia
necesaria para engañar al sentido del tacto, frente a los 30 fps
necesarios para el sentido de la vista.
Por todo esto el sistema utiliza el concepto de
realidad mixta, al utilizar por un lado dispositivos efectores de
realidad virtual para el sentido de la vista y por el otro, una
maqueta física que introduce las restricciones para el sentido del
tacto.
Entre las ventajas del sistema, se pueden
destacar:
- Mediante la Realidad Mixta se obtiene una
validación virtual lógica.
- En el aspecto económico, la adopción de este
sistema permite analizar en cada maqueta física toda la gama de
versiones y opciones de cada producto.
- La ventaja más importante es el ahorro de
tiempo de desarrollo, puesto que las maquetas permiten realizar
diferentes pruebas con pocos y sencillos cambios, ya sean de piezas
físicas como de piezas virtuales, que resultan fáciles de ejecutar.
Se trata así de un sistema diseñado para aportar una gran
flexibilidad a la configuración de las simulaciones.
- Se trata de simulaciones que aportan calidad a
las evaluaciones, ya que emplean archivos virtuales de geometría
teórica exacta y una serie de maquetas físicas calibradas con un
error inferior a 0,5 mm.
El sistema de la invención puede ser también
utilizado para realizar los siguientes análisis, lo que extenderá
el uso del sistema de la invención a lo largo de todo el desarrollo
del ciclo de vida de nuevos productos:
- -
- Análisis de montabilidades: se aplica el sistema de la invención para el análisis del montaje y desmontaje de todos los componentes del vehículo, tanto para el reciclaje futuro de éste, como para que el usuario final pueda realizar de forma fácil las tareas básicas de mantenimiento, cambio de las lámparas, ruedas, batería, etc.
- -
- Virtual Manufacturing: se aplica el sistema de la invención para analizar todo el proceso de fabricación en una Fábrica Virtual. Se podrá analizar la ergonomía de las operaciones y del puesto de trabajo, y colaborar en la definición de los métodos y tiempos de los procesos de ensamblaje, soldadura, pintura y montaje, de manera que sean lo más cómodos posible y garanticen una mayor rapidez de la operación y la máxima calidad de ejecución. Esta tarea de diseño industrial incluirá la simplificación de las tareas a realizar en la cadena mediante contenedores, carros y herramientas que hagan fácil su utilización por el trabajador.
Estos análisis ya se realizan en la actualidad,
pero se efectúan sobre prototipos físicos, en el caso de las
montabilidades, y con las preseries en el caso del proceso de
fabricación. Con la ayuda del sistema de la invención se hace sobre
Prototipos Virtuales y en la Fábrica Virtual, reduciendo el tiempo y
los costes de desarrollo de los nuevos productos y recortando su
tiempo de fabricación.
A continuación se pasa a describir de manera muy
breve una serie de dibujos que ayudan a comprender mejor la
invención y que se relacionan expresamente con una realización de
dicha invención que se presenta como un ejemplo no limitativo de
ésta.
La Figura 1 muestra un esquema del sistema de la
invención y los principales elementos que lo componen.
La Figura 2 muestra una posible realización de
parte del sistema de captura del movimiento.
La Figura 3 muestra dos posibles realizaciones de
una maqueta física.
En la figura 1 se muestra un esquema del sistema
de simulación de realidad mixta de acuerdo con una realización
preferida del mismo. Como se muestra en dicho esquema, en el
sistema de simulación de la invención podemos distinguir:
- una estación gráfica 10 sobre la que rueda,
entre otros, el software de realidad virtual,
- un sistema de captura de movimiento 20 (que se
muestra con más detalle en la figura 2), que es una de las entradas
del sistema,
- dos guantes de datos 30 (de los cuales, para
evitar complicar el dibujo, sólo se muestra uno), que es otra de
las entradas del sistema,
- un ratón 3D 51 para obtener los puntos de vista
deseados por los usuarios pasivos del sistema,
- un casco estereoscópico 40 en la cabeza de un
usuario activo 100,
- una pantalla estereoscópica 50 para
visualización por parte de uno o más usuarios pasivos (no
mostrados), y
- la maqueta física 60 (que se muestra con más
detalle en la figura 3), en este caso representativa del puesto de
conducción.
La estación gráfica 10, de acuerdo con este
ejemplo de realización, se trata de un supercomputador de última
generación capaz de modelizar en tiempo real más de un millón de
polígonos y 256 Mbyte de texturas. Tiene la capacidad de renderizar
grandes cantidades de información, y procesa todos los datos que le
llegan, modificando la escena virtual en tiempo real.
Como se muestra en la figura 2, en la presente
invención se utiliza un sistema de captura del movimiento que es
una adaptación de un sistema de captura que se utiliza en el mundo
de la animación. Consta de seis cámaras 21, dos más que el sistema
estándar utilizado en animación, para poder reducir al máximo las
zonas ocultas a las cámaras que se generan al utilizar la maqueta
física dentro de la zona de captura.
En este caso la iluminación es mediante luz
infrarroja, para que la luz del sistema de captura no impida la
visualización de la simulación por parte de las usuarios pasivos,
que se realiza en la pantalla estereoscópica 50 (de 2,4 x 1,8 m)
contigua al emplazamiento de la maqueta.
El sistema de captura del movimiento también
incluye un juego de marcadores para seguimiento del cuerpo entero
del usuario activo 100; el número de marcadores están en función
del análisis a realizar, dependiendo de si el usuario activo está
de pie o sentado; en la presente realización se han utilizado
veintidós marcadores 22, modelo sentado.
Así mismo incluye dos ordenadores PC1 y PC2. En
el ordenador PC1 hay seis tarjetas gráficas, una por cámara, que
reciben las imágenes de la zona de captura a una frecuencia de 50
Hz. Este PC simplemente adquiere esta información y la transmite al
PC2 para su posterior procesado.
El PC2 tiene instalado un software que permite
procesar las imágenes adquiridas en el PC1 para extraer las
coordenadas de cada posición y orientación de las articulaciones
del usuario activo. Este software está especialmente diseñado para
resolver de forma eficiente el problema de las oclusiones, común a
todos los sistemas de captación de movimientos ópticos. La
reconstrucción de las coordenadas 3D de una articulación se realiza
mediante los datos de la lente (procedentes del proceso de
calibración) y la posición del centroide de la proyección de dicho
marcador en al menos dos cámaras. Si en un instante dado un
marcador no es visto simultáneamente por dos o más cámaras, se
produce una "oclusión". El software de este sistema resuelve
este problema mediante un sofisticado modelo matemático que permite
el cálculo de la solución óptica para la posición de todos los
marcadores, incluso en el caso de que se produzcan oclusiones.
Una vez extraídas las coordenadas de posición y
los vectores directores de todas las articulaciones (huesos), éstas
son enviadas por el puerto serie
RS-232 en paquetes hacia la estación gráfica 10, a una velocidad de 100 Mbit/s.
RS-232 en paquetes hacia la estación gráfica 10, a una velocidad de 100 Mbit/s.
Otro aspecto importante del funcionamiento del
sistema de seguimiento y captura del movimiento es el volumen de
captura, ya que afecta directamente a la precisión de ésta. El
sistema está diseñado para trabajar de manera óptima en un volumen
máximo de
\hbox{4 m} de diámetro y 2,2 m de altura. Para
ello las cámaras tienen que estar dispuestas en un diámetro de 7 m
y una altura de 2,8 m. Si se trabaja en estas condiciones la
precisión es de 2,2 mm. La primera maqueta física 60 que se exhibe
tiene unas dimensiones de 1800 x 750 x 1400 mm, por lo que se puede
reducir el volumen de captura a 2 m de diámetro y 2 m de altura,
con lo que la precisión aumentará hasta aproximadamente 1,5 mm.
Para tener una captura de alta precisión de los
movimientos de las manos, el sistema de la invención utiliza los
guantes de datos 30, que permiten captar la posición exacta de cada
dedo. Las coordenadas de la posición de la mano dentro del sistema
las obtiene del sistema óptico de captura del movimiento. Las
coordenadas relativas de las distintas falanges de la mano son
captadas por los sensores (galgas extensiométricas) que incorpora
el guante. Ambos datos son enviados a la estación gráfica de forma
independiente y por distintos puertos serie
RS-232.
Por su parte, el casco estereoscópico 40 es el
dispositivo de visualización (efector) más importante del sistema,
ya que es el que da la inmersión necesaria para que la simulación
sea lo más real posible para el usuario activo 100 del sistema de
la invención. Las características técnicas de este casco
estereoscópico deberían ser: alta resolución (1600 x 1200
píxels), campo de visión aproximadamente como el del ojo humano (140º en horizontal y 90º en vertical) y ergonomía de uso (poco peso, fácilmente adaptable a distintos usuarios, etc.). Actualmente los cascos estereoscópicos disponibles en el mercado que se acercan a estas características, lo hacen sólo en resolución y campo de visión, pero no en ergonomía, ya que utilizan tecnologías CRT (Cathode Ray Tube) y necesitan estructuras especiales para soportar su gran peso. Otro inconveniente muy importante es su elevado coste. Por todo esto el sistema de la invención utiliza el casco estereoscópico CyberMlND HI-RES 900 3D de menor resolución y campo de visión, pero con una buena ergonomía; en un futuro próximo se espera poder introducir alguno de los cascos estereoscópicos que en la actualidad se están desarrollando con tecnología LCD y que están enfocados a la industria del automóvil.
píxels), campo de visión aproximadamente como el del ojo humano (140º en horizontal y 90º en vertical) y ergonomía de uso (poco peso, fácilmente adaptable a distintos usuarios, etc.). Actualmente los cascos estereoscópicos disponibles en el mercado que se acercan a estas características, lo hacen sólo en resolución y campo de visión, pero no en ergonomía, ya que utilizan tecnologías CRT (Cathode Ray Tube) y necesitan estructuras especiales para soportar su gran peso. Otro inconveniente muy importante es su elevado coste. Por todo esto el sistema de la invención utiliza el casco estereoscópico CyberMlND HI-RES 900 3D de menor resolución y campo de visión, pero con una buena ergonomía; en un futuro próximo se espera poder introducir alguno de los cascos estereoscópicos que en la actualidad se están desarrollando con tecnología LCD y que están enfocados a la industria del automóvil.
Por su parte, la pantalla estereoscópica 50 o
StereoWall, consta de dos proyectores CRT con filtros polarizados y
una pantalla Fresnel. Gracias a la utilización de filtros y gafas
polarizados, es posible separar la imagen del proyector superior en
un ojo y la del proyector inferior en el otro, creando en nuestro
cerebro el efecto de que los objetos proyectados sobre la pantalla
Fresnel, con propiedades especiales para conservar la polarización
de los haces de luz, están en 3D. La gran ventaja de este sistema
de realidad virtual es que puede ser utilizado por un gran grupo de
personas al mismo tiempo. De esta forma, las simulaciones
realizadas por el sistema de la invención pueden ser vistas al
mismo tiempo por distintas personas de diferentes áreas de
proyectos, diseño, marketing, calidad, etc. (usuarios pasivos del
sistema). Estos usuarios pasivos tienen la opción de elegir qué
punto de vista desean, el mismo que el del usuario activo o un
punto de vista sin referencia con éste. En el segundo caso la
navegación dentro del entorno virtual se realiza mediante el ratón
3D 51.
La maqueta física 60 es un elemento importante
dentro del sistema de la invención, puesto que es la que aporta al
usuario activo 100 del sistema la sensación de tacto, ayudándole a
encontrar su posición en la escena virtual. Para el diseño de la
maqueta física utilizada en esta realización, que se han tenido en
cuenta los siguientes requisitos:
- Impedir que la maqueta oculte partes del cuerpo
del usuario, para evitar problemas en la captura del movimiento de
éste.
- Se han introducido los elementos básicos de los
que dispone el usuario de cualquier vehículo estando en el puesto
de conducción, esto es asiento, volante y pedalería. Pero se pueden
introducir el resto de elementos básicos, como el pomo de cambio de
marchas, el espejo retrovisor interior, etc.
- Se han utilizado materiales ligeros para la
estructura (aluminio), evitando que en ningún caso la maqueta
sobrepase los 100 kg. de peso.
- Todos los elementos se han fijado sobre bases
regulables y calibrables, para tener una maqueta polivalente para
que valga para distintos modelos.
Así, por ejemplo, el asiento será intercambiable
según el modelo que se quiera simular, y fijado sobre guías; el
volante y la pedalería: también intercambiables y regulables según
modelo.
En el ejemplo de realización mostrado, el sistema
de simulación de realidad mixta de la invención se vale del
siguiente software para la correcta ejecución de la simulación:
1. Visualizador de Realidad Virtual (Virtual
Design 2): que es el software base del sistema, cuyas principales
características son:
- Motor de visualización muy optimizado para
estaciones gráficas, con unos rendimientos muy superiores a
cualquier otra solución sobre otras plataformas. Se puede llegar a
trabajar con 1 millón de polígonos y 256 Mbyte de texturas a 30 fps
(frames por segundo).
- Software modular: Incorpora distintos módulos
con funciones específicas y módulos para la conexión
on-line con otras aplicaciones, aprovechando así los
recursos gráficos de éstas.
- Es configurable para cualquier tipo de salida
gráfica: estéreo activo, estéreo pasivo, casco estereoscópico,
etc.
- Gestiona la mayoría de los periféricos de
Realidad Virtual.
2. Módulo de ergonomía (ERG VD2): es el que
permite enlazar on-line VD2 con el software de
antropometría del cuerpo humano (RAMSIS VR), y obtener un avatar
dentro de la escena virtual que se adapte a las medidas
antropométricas del usuario activo del sistema. Además este módulo
hace de enlace entre el sistema de captura de movimiento óptico y
RAMSIS VR, para poder unir los movimientos del esqueleto del
usuario con los del esqueleto de RAMSIS VR.
3. Software de modelos humanos (RAMSIS VR):
RAMSIS es un software de modelos humanos. A partir del estudio de
poblaciones de distintos países (Alemania, Japón, etc.) y su
evolución en el tiempo, extrae distintas librerías de modelos
humanos de poblaciones actuales y futuras, las cuales son la base
para el desarrollo del package de nuestros productos. Por ejemplo,
si se está diseñando un modelo de vehículo con un lanzamiento al
mercado previsto para el 2004, se utilizarán modelos humanos que
representen las medidas antropométricas que tendrá la población ese
año en los países a los cuales va destinado el vehículo. Dentro de
estas librerías de modelos humanos existen distintos percentiles,
que representan a los porcentajes de población que tienen ese
tamaño o uno inferior. Por ejemplo, el 95 percentil es el modelo más
grande que se utiliza, ya que el 95% de la población es de menor
tamaño que él. Para el sistema de la invención se utiliza RAMSIS
VR, que además de las características de RAMSIS, incorpora la
posibilidad de conectarse con VD2.
Una vez conocidos los elementos que componen el
sistema de la invención, el funcionamiento del mismo sería el
siguiente:
Como se ha indicado, el usuario activo 100 del
sistema se encuentra ubicado en la maqueta física 60 en la misma
posición en la que estaría dentro del prototipo real y tiene
contacto físico con el asiento, la pedalería y el volante de la
maqueta. Lleva colocados en su cuerpo marcadores 22 en las
articulaciones y en la cabeza. En las manos lleva guantes de datos
30 conectados a la estación gráfica 10 (entrada) a través de
puertos serie RS-232. En la cabeza lleva un casco
estereoscópico 40 conectado a la estación gráfica 10 (salida) a
través de dos cables de vídeo.
El usuario activo 100 recibe constantemente las
imágenes actualizadas, según la posición de la cabeza, de las
superficies del prototipo a valorar y de su propio cuerpo (avatar)
dentro de éste. En el momento en que mueve la cabeza, el sistema
óptico de captura del movimiento capta la nueva posición. Después de
procesar la nueva posición, envía los datos a la estación gráfica,
que recalcula la nueva imagen que el usuario ve de la escena
virtual y la envía a través de dos cables VGA a la pantalla
estereoscópica y a través de dos cables de vídeo al casco
estereoscópico. Esta operación se hace a 30 fps, con lo que el
usuario activo no percibe ningún salto en las imágenes y cree estar
realmente en el interior del prototipo.
Si al movimiento de la cabeza se le añade el de
alguna parte del cuerpo, por ejemplo el brazo y la mano derechos,
el sistema de captura del movimiento 20 y los guantes de datos 30
envían los datos de la nueva posición a la estación gráfica 10,
donde el software VD2 genera el avatar del usuario en esta nueva
posición y éste lo visualiza también a tiempo real. Esta simulación
es de gran importancia para que la persona que está utilizando el
sistema tenga realmente la sensación de encontrarse dentro del
entorno virtual.
Con los elementos indicados en este ejemplo de
realización, el sistema es capaz de realizar dos tipos de
simulaciones:
- La primera de ellas es la descrita
anteriormente, en la cual el avatar de la escena virtual se adapta
a las medidas del usuario activo para que la inmersión de éste sea
la completa; en este caso los usuarios u observadores pasivos ven lo
mismo que lo que está viendo el usuario activo.
- En el segundo caso se trabaja con distintos
avatares de distintos tamaños (percentiles) que representan
distintos modelos humanos de poblaciones futuras. Estos distintos
percentiles se unen al movimiento del usuario activo, con la
consecuente pérdida de inmersión para éste. Por el contrario, los
observadores pasivos tienen la posibilidad de navegar dentro de la
escena virtual para analizar puntos de vista diferentes al del
usuario activo. Por ejemplo, si se está simulando la posición del
brazo y de la mano en el apoyabrazo de la puerta con los modelos
del 5 percentil mujer y el 95 percentil hombre, casos extremos con
los que normalmente se trabaja, los usuarios pasivos pueden ver el
brazo y la mano apoyados en la puerta desde todos los puntos de
vista que decidan, sacando conclusiones sobre la ergonomía en cada
caso, de manera mucho más rápida que mediante simulaciones en las
estaciones de trabajo convencionales.
Claims (8)
1. Un sistema de simulación de realidad mixta,
que comprende
- un sistema de captura de movimiento (20) en
tiempo real, que incluye los siguientes elementos conectados entre
sí:
- -
- al menos una unidad de procesamiento de datos (PC1, PC2),
- -
- un grupo de marcadores (22) sujetables al cuerpo de un usuario activo (100) del sistema,
- -
- una pluralidad de cámaras (21) dispuestas de forma que en todo momento como mínimo dos de ellas puedan captar un mismo marcador (22),
estando la unidad de procesamiento de datos
configurada para adquirir y procesar un primer grupo de datos
relativos a la información capturada por dichas cámaras y extraer
de dicho primer grupo de datos un primer grupo de coordenadas de
posición y vectores directores de las articulaciones de dicho
usuario
activo,
- medios de envío de dicho primer grupo de
coordenadas de posición y vectores directores hacia una estación
gráfica,
- dos guantes de datos (30), configurados para
proporcionar un segundo grupo de coordenadas de posición y vectores
directores de los dedos de las manos de dicho usuario activo,
- medios de envío de dicho segundo grupo de
coordenadas de posición y vectores directores, hacia una estación
gráfica (10),
- un primer dispositivo de visualización (40)
para dicho usuario activo, y
- al menos una maqueta física (60),
estando configurada dicha estación gráfica para
procesar la información proporcionada por los primer y segundo
grupo de coordenadas de posición y vectores directores, y para
enviar en tiempo real dicha información en forma de imágenes al
primer dispositivo de
visualización,
de forma que las imágenes percibidas por dicho
usuario activo del sistema dependen de la posición de la cabeza de
dicho usuario activo, de la posición de dicha maqueta física y de
la posición del cuerpo del usuario activo con relación a la maqueta
física.
2. Sistema según reivindicación 1,
caracterizado porque dicha unidad de procesamiento de datos
está configurada para crear un origen de coordenadas común a un
entorno virtual relacionado con el sistema de captura de movimiento
(20) y a un entorno real relacionado con la maqueta física (60).
3. Sistema según cualquiera de las
reivindicaciones anteriores, caracterizado porque dicho
grupo de marcadores (22) define el esqueleto de dicho usuario
activo.
4. Sistema según reivindicación 3,
caracterizado porque dicha unidad de procesamiento de datos
está configurada extraer de dicho primer grupo de datos un primer
grupo de coordenadas de posición y vectores directores de las
articulaciones de dicho usuario activo mediante cálculo de la
biomecánica de dicho usuario activo.
5. Sistema según cualquiera de las
reivindicaciones anteriores, caracterizado porque dicho
sistema de captura de movimiento en tiempo real es un sistema de
captura de movimiento de cuerpo entero.
6. Sistema según cualquiera de las
reivindicaciones anteriores, caracterizado porque dicha
maqueta física (60) está constituida por elementos regulables y
calibrables.
7. Sistema según cualquiera de las
reivindicaciones anteriores, caracterizado porque el sistema
de simulación comprende un segundo dispositivo de visualización
(50) para al menos, un usuario pasivo del sistema.
8. Sistema según cualquiera de las
reivindicaciones anteriores, caracterizado porque dicha
estación gráfica está configurada para controlar los diferentes
elementos constitutivos del sistema.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200302732A ES2233201B1 (es) | 2003-11-21 | 2003-11-21 | Sistema de simulacion de realidad mixta. |
| EP04380231A EP1533683A3 (en) | 2003-11-21 | 2004-11-19 | Mixed reality simulation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200302732A ES2233201B1 (es) | 2003-11-21 | 2003-11-21 | Sistema de simulacion de realidad mixta. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2233201A1 true ES2233201A1 (es) | 2005-06-01 |
| ES2233201B1 ES2233201B1 (es) | 2006-07-16 |
Family
ID=34429689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200302732A Expired - Fee Related ES2233201B1 (es) | 2003-11-21 | 2003-11-21 | Sistema de simulacion de realidad mixta. |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP1533683A3 (es) |
| ES (1) | ES2233201B1 (es) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112289125A (zh) * | 2020-11-16 | 2021-01-29 | 株洲壹星科技股份有限公司 | 一种车辆mr模拟驾驶实训方法及实训装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005011432B4 (de) * | 2005-03-12 | 2019-03-21 | Volkswagen Ag | Datenhandschuh |
| CN100585329C (zh) * | 2007-04-10 | 2010-01-27 | 南京航空航天大学 | 基于指端标记的视频手指定位系统及其定位方法 |
| CA2662318C (en) * | 2009-01-17 | 2014-12-02 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
| US9251721B2 (en) | 2010-04-09 | 2016-02-02 | University Of Florida Research Foundation, Inc. | Interactive mixed reality system and uses thereof |
| CN103208214A (zh) * | 2013-03-15 | 2013-07-17 | 江苏省电力公司 | 一种电力变电站新型仿真系统 |
| WO2016112383A1 (en) * | 2015-01-10 | 2016-07-14 | University Of Florida Research Foundation, Inc. | Simulation features combining mixed reality and modular tracking |
| DE102015003881B4 (de) * | 2015-03-26 | 2024-07-11 | Audi Ag | Verfahren zum Bereitstellen einer Simulation einer virtuellen Umgebung mit zumindest einem Teil eines Kraftfahrzeugs und Kraftfahrzeugsimulationsanordnung |
| CN105225551A (zh) * | 2015-11-12 | 2016-01-06 | 武汉科迪奥电力科技有限公司 | 基于虚拟现实技术的高压开关柜培训方法 |
| CN107844191A (zh) * | 2016-09-21 | 2018-03-27 | 北京诺亦腾科技有限公司 | 用于虚拟现实的动作捕捉装置 |
| CN106530891A (zh) * | 2017-01-03 | 2017-03-22 | 刘晨 | 基于vr技术的驾驶模拟系统 |
| CN109445585A (zh) * | 2018-10-22 | 2019-03-08 | 广州星唯信息科技有限公司 | 一种基于手势操控模拟真实驾驶方向方法 |
| US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
| IT201900017573A1 (it) * | 2019-09-30 | 2021-03-30 | Italdesign Giugiaro Spa | Metodo e apparecchiatura per verificare e/o configurare la disposizione degli elementi fisici di un veicolo |
| US11322037B2 (en) * | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
| WO2021137788A1 (en) * | 2019-12-31 | 2021-07-08 | Borcelik Celik San. Tic. A.S. | A bridge crane simulator with increased virtual reality |
| DE102020130113A1 (de) | 2020-11-16 | 2022-05-19 | Audi Aktiengesellschaft | Verfahren zur Validierung und/oder Anpassung eines virtuellen Innenraummodells und Verfahren zur Herstellung eines Kraftfahrzeugs |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5831584A (en) * | 1995-07-28 | 1998-11-03 | Chrysler Corporation | Hand calibration system and virtual display selection for vehicle simulator |
| EP1124212A1 (fr) * | 2000-02-10 | 2001-08-16 | Renault | Procédé et dispositif de présentation visuelle d'un espace virtuel à trois dimentsions simulant un véhicule automobile |
| GB2369467A (en) * | 2000-08-02 | 2002-05-29 | Ford Global Tech Inc | Subjective evaluation of a vehicle design |
| US6415043B1 (en) * | 1997-01-13 | 2002-07-02 | Qualisys Ab | Method and arrangement for determining the position of an object |
-
2003
- 2003-11-21 ES ES200302732A patent/ES2233201B1/es not_active Expired - Fee Related
-
2004
- 2004-11-19 EP EP04380231A patent/EP1533683A3/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5831584A (en) * | 1995-07-28 | 1998-11-03 | Chrysler Corporation | Hand calibration system and virtual display selection for vehicle simulator |
| US6415043B1 (en) * | 1997-01-13 | 2002-07-02 | Qualisys Ab | Method and arrangement for determining the position of an object |
| EP1124212A1 (fr) * | 2000-02-10 | 2001-08-16 | Renault | Procédé et dispositif de présentation visuelle d'un espace virtuel à trois dimentsions simulant un véhicule automobile |
| GB2369467A (en) * | 2000-08-02 | 2002-05-29 | Ford Global Tech Inc | Subjective evaluation of a vehicle design |
Non-Patent Citations (1)
| Title |
|---|
| Recuperado de World Patent Index en EPOQUE Database. & EP 1124212 A1 (RENAULT) 16.08.2001, resumen; figuras. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112289125A (zh) * | 2020-11-16 | 2021-01-29 | 株洲壹星科技股份有限公司 | 一种车辆mr模拟驾驶实训方法及实训装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2233201B1 (es) | 2006-07-16 |
| EP1533683A3 (en) | 2007-03-28 |
| EP1533683A2 (en) | 2005-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2233201B1 (es) | Sistema de simulacion de realidad mixta. | |
| JP6226697B2 (ja) | 仮想現実ディスプレイシステム | |
| CN109791442B (zh) | 表面建模系统和方法 | |
| US20210283496A1 (en) | Realistic Virtual/Augmented/Mixed Reality Viewing and Interactions | |
| US10762714B2 (en) | Method and system for calibrating a virtual reality system | |
| JP6352426B2 (ja) | ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム | |
| CN105159450B (zh) | 一种便携式可交互桌面级虚拟现实系统 | |
| US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
| US20080030429A1 (en) | System and method of enhanced virtual reality | |
| WO2009153975A1 (ja) | 電子ミラー装置 | |
| Grossman et al. | An evaluation of depth perception on volumetric displays | |
| WO2015090421A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
| Vasylevska et al. | Towards efficient spatial compression in self-overlapping virtual environments | |
| JP2006301654A (ja) | 画像呈示装置 | |
| CN115244492A (zh) | 物理对象对增强现实中的虚拟对象的遮挡 | |
| Basu | A brief chronology of Virtual Reality | |
| Debarba et al. | Embodied interaction using non-planar projections in immersive virtual reality | |
| Shao et al. | Development of a 1: 1 Scale True Perception Virtual Reality System for design review in automotive industry | |
| US9679352B2 (en) | Method for operating a display device and system with a display device | |
| JP2017069924A (ja) | 画像表示装置 | |
| Rolland et al. | Teleportal Augmented Reality System: Integrating virtual objects, remote collaborators, and physical reality for distributed networked manufacturing | |
| Smith et al. | Really getting into your work: The use of immersive simulations | |
| Moreau et al. | Stereoscopic displays for Virtual Reality in the car manufacturing industry: application to design review and ergonomic studies | |
| Adelstein et al. | Rotation and direction judgment from visual images head-slaved in two and three degrees-of-freedom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20050601 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2233201B1 Country of ref document: ES |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20180809 |