ES2924844A1 - Dispositivo de visualizacion para realidad virtual compartida, sistema que comprende dicho dispositivo, y procedimiento de realidad virtual compartida usando dicho sistema - Google Patents

Abstract

La invención describe un dispositivo de visualización (1) para realidad virtual compartida que comprende un medio de pantalla (2), una cámara (3), unos sensores de orientación (4), una unidad de almacenamiento (5) configurada para almacenar al menos un vídeo envolvente, unos medios de comunicación inalámbrica (6) y una unidad de procesamiento (7) configurada para: recibir las imágenes captadas por la cámara (3) y su orientación espacial; detectar la posición de una clave de croma (8) dispuesta en el entorno del dispositivo (1), modificar las imágenes recibidas sustituyendo la clave de croma (8) por la porción de vídeo envolvente que corresponde a su posición dichas imágenes y a la orientación de la cámara (3), y reproducir por el medio de pantalla (2) las imágenes modificadas. La invención también describe un sistema y un procedimiento de realidad virtual compartida que emplean el dispositivo anterior.

Description

DESCRIPCIÓN

DISPOSITIVO DE VISUALIZACIÓN PARA REALIDAD VIRTUAL COMPARTIDA.

SISTEMA QUE COMPRENDE DICHO DISPOSITIVO. Y PROCEDIMIENTO DE

REALIDAD VIRTUAL COMPARTIDA USANDO DICHO SISTEMA

OBJETO DE LA INVENCIÓN

La presente invención pertenece al campo de la realidad virtual y la realidad aumentada.

Un primer objeto de la presente invención es un nuevo dispositivo de visualización para realidad virtual compartida que está particularmente diseñado para permitir que varios usuarios interaccionen entre sí dentro de un entorno virtual.

Un segundo objeto de la presente invención es un nuevo sistema de realidad virtual compartida que comprende una pluralidad de dispositivos de visualización como el descrito.

Un tercer objeto de la presente invención es un nuevo procedimiento de realidad virtual compartida llevado a cabo por el sistema descrito.

ANTECEDENTES DE LA INVENCIÓN

En la actualidad, la realidad aumentada o mixta se basa en mezclar imágenes reales con virtuales. Para ello, existen fundamentalmente dos tecnologías claramente diferenciadas.

La primera tecnología está basada en el uso de gafas semi-transparentes que permiten ver la realidad y en las que se insertan dispositivos que permiten la sobreimpresión de elementos virtuales. Esta solución tiene el inconveniente de que es muy complicado sustituir el fondo, ya que los objetos virtuales se visualizan en primer plano dejando la imagen real detrás. Algunos dispositivos actuales que emplean esta solución son Microsoft Hololens, Google Glass o Vuzix M400.

La segunda tecnología se basa en captar los objetos reales mediante algún tipo de sensor y reflejarlos en la realidad virtual mediante algún tipo de avatar digital. Esta solución requiere un elevado número de sensores, más elevado cuanto mejor se quiera reflejar la realidad. Además, es necesaria una muy elevada capacidad de computación para construir los avatares digitales en función de esos sensores antes de representarlos en la pantalla del dispositivo.

El documento US10587868B2 describe un sistema de realidad mixta monousuario que utiliza una clave de croma para crear un fondo virtual y una cámara de profundidad para detectar la posición de la cabeza y las manos del usuario. La dirección de la visión se detecta mediante un punto de referencia. Este sistema está pensado para un único usuario que debe necesariamente estar sentado en una especie de cabina.

El documento ES1136432U describe un sistema de adaptación de realidad virtual a realidad mixta. Para ello, se utilizan cámaras superpuestas al visor de realidad virtual y se procesan las imágenes obtenidas por las cámaras añadiendo los objetos virtuales, sin aclarar cómo se obtiene la posición de los objetos virtuales con relación al usuario.

DESCRIPCIÓN DE LA INVENCIÓN

Los inventores de la presente invención han desarrollado un nuevo sistema de realidad virtual compartida que permite a varias personas disfrutar conjuntamente de la realidad virtual. Los usuarios se ven a sí mismos y al resto de usuarios, y además pueden interactuar con los objetos reales situados a su alrededor, aunque siempre inmersos en un entorno virtual.

Un primer aspecto de la invención está dirigido a un dispositivo de visualización para realidad virtual compartida configurado para ser portado por un usuario. Este dispositivo, que está específicamente diseñado para este propósito, tiene una forma similar a un “visor de realidad virtual’, en el sentido de que se trata de un cuerpo configurado para acoplarse a la cabeza de un usuario adaptándose a la parte superior de su cara, concretamente a la zona de los ojos, de manera que cubre completamente su campo de visión. Este cuerpo está conectado a unas cintas configuradas para rodear la cabeza del usuario hasta llegar a la nuca, ya sea por encima y/o lateralmente, de manera que el cuerpo queda firmemente fijado en su posición natural sin necesidad de que el usuario tenga que emplear las manos.

Pues bien, este nuevo dispositivo de visualización para realidad virtual compartida comprende los siguientes elementos: medio de pantalla, cámara, sensores de orientación, unidad de almacenamiento, medios de comunicación inalámbrica y unidad de procesamiento. A continuación, se describe cada uno de estos elementos con mayor detalle.

a) Medio de pantalla

El medio de pantalla comprende dos zonas diferenciadas situadas frente a cada uno de los ojos del usuario cuando éste porta el dispositivo. El medio de pantalla puede implementarse principalmente de dos modos: a través de una única pantalla dividida en dos zonas diferenciadas; o bien a través de dos pantallas independientes. En cualquiera de los casos, el medio de pantalla está configurado para mostrar en cada momento una imagen diferente a cada ojo.

Se trata de un medio de pantalla del tipo convencionalmente empleado en gafas de realidad virtual convencionales, que permite reproducir en cada una de las zonas unas imágenes en movimiento similares obtenidas desde dos puntos separados una distancia equivalente a la distancia de separación de los ojos de una persona. Como es conocido, la diferencia de perspectiva en las imágenes vistas por cada ojo crea en el usuario la impresión de visión en 3D. El medio de pantalla puede ser de cualquier tipo conocido habitualmente utilizado para este propósito, por ejemplo de tipo LCD, LED, u otros.

b) Cámara

La cámara configurada para captar imágenes de un área situada enfrente del dispositivo. Esta cámara está dispuesta en una zona frontal del cuerpo del dispositivo y orientada también en dirección frontal, es decir, está ubicada y orientada de una manera similar a los ojos del usuario que porta el dispositivo. Así, las imágenes captadas por la cámara son esencialmente las mismas que captaría el usuario del dispositivo si no tuviera puesto el dispositivo, que bloquea completamente su campo de visión.

En principio, sería posible utilizar una única cámara individual para captar las imágenes del área frente al dispositivo. Sin embargo, en una realización particularmente preferida de la invención, la cámara es una cámara estereoscópica. Como es conocido, una cámara estereoscópica comprende realmente dos cámaras individuales situadas con una separación y orientación relativa equivalentes a las de los ojos del usuario. El uso de una cámara estereoscópica resulta particularmente ventajoso porque proporciona una imagen con efecto tridimensional, de manera que la experiencia del usuario es mucho más real.

c) Sensores de orientación

Se trata de un conjunto de sensores configurados para obtener una orientación espacial de la cámara.

La orientación espacial de la cámara, o equivalentemente la orientación espacial del cuerpo del dispositivo al cual la cámara estereoscópica está rígidamente fijada, puede obtenerse utilizando diferentes conjuntos de sensores. Por ejemplo, en una realización particularmente preferida de la invención, los sensores de orientación comprenden un sistema inercial, un compás, y un regulador de dirección. El sistema inercial está formado por un conjunto de acelerómetros y giróscopos que obtienen la dirección tridimensional del espacio hacia la que apunta la cámara. El compás obtiene la dirección del dispositivo con relación al polo norte magnético. El regulador de dirección sirve para ajustar la dirección del compás y compensar la deriva del sistema inercial.

d) Unidad de almacenamiento

La unidad de almacenamiento está configurada para almacenar al menos un vídeo envolvente.

La unidad de almacenamiento puede en principio ser de cualquier tipo, como por ejemplo una memoria RAM, ROM, EEPROM, Flash, SSD, caché o en general cualquier tipo que permita un rápido acceso y reproducción de su contenido.

Por otra parte, un vídeo envolvente es aquel que comprende información visual correspondiente a varias direcciones del espacio. Por ejemplo, puede tratarse de un vídeo esférico (vídeo con imágenes de todas las direcciones del espacio), de un vídeo semi-esférico (vídeo con imágenes de la mitad superior de las direcciones del espacio), de un vídeo circular (vídeo con imágenes de una banda de altura limitada en las 360o del espacio), o cualquier otro. En cualquiera de los casos, el vídeo puede estar formado por imágenes reales o por imágenes virtuales generadas por ordenador. En el primer caso, se obtiene de una manera conocida a través de la grabación simultánea de varias cámaras con diferentes orientaciones y de una posterior fusión de las imágenes en un solo archivo visual.

e) Medios de comunicación inalámbrica

Los medios de comunicación inalámbrica están configurados para recibir señales de coordinación para la reproducción del vídeo envolvente en el medio de pantalla.

En principio, los medios de comunicación inalámbrica pueden ser de cualquier tipo siempre que permitan la comunicación entre el dispositivo de la invención y una entidad externa que envía señales de coordinación para asegurar que todos los vídeos envolventes se reproducen al mismo tiempo en los dispositivos de visualización de todos los usuarios. Es decir, la coordinación consiste fundamentalmente en asegurar una correcta sincronización en cuanto a la reproducción del vídeo con el propósito de asegurar que todos los usuarios ven simultáneamente las mismas imágenes (si están mirando en la misma dirección). Por ejemplo, en realizaciones preferidas de la invención se eligen de entre medios Bluetooth, WiFi, Wimax, Zigbee, GPRS, UMTS, GSM, 2G, 3G, 4G, 5G, o cualquier otro adecuado.

f) Unidad de procesamiento

La unidad de procesamiento está en comunicación con todos los elementos anteriores: el medio de pantalla, la cámara, los sensores de orientación, la unidad de almacenamiento y los medios de comunicación inalámbrica. En principio, la unidad de procesamiento puede ser de cualquier tipo siempre que tenga capacidad de cálculo suficiente para llevar a cabo las tareas que se describen en este documento. Por ejemplo, la unidad de procesamiento puede ser un microprocesador, un microcontrolador, una FPGA, un DSP, un ASIC, o cualquier otro adecuado.

La unidad de procesamiento está configurada para llevar a cabo los siguientes pasos:

- Recibir las imágenes captadas por la cámara y la orientación espacial de dicha cámara detectada por los sensores de orientación.

Como se ha mencionado con anterioridad en este documento, la cámara está fijada al cuerpo del dispositivo en una zona frontal, es decir, una posición equivalente a la posición de los ojos del usuario cuando éste está portando el dispositivo. Por lo tanto, cuando el usuario porta el dispositivo, la cámara capta unas imágenes que son esencialmente equivalentes a las que captarían los propios ojos del usuario si no llevara puesto el dispositivo.

- Detectar en las imágenes recibidas la posición de una clave de croma dispuesta en el entorno del dispositivo portado por el usuario.

Una clave de croma es un fondo (por ejemplo, una tela, una pared pintada, u otros) que tiene un color que puede detectarse y sustituirse por otra imagen de una manera particularmente sencilla en unas imágenes grabadas. Un color de clave de croma utilizado con frecuencia es el color verde, aunque son posibles otras opciones. Como se describirá con detalle más adelante en este documento, para utilizar este dispositivo, el usuario que porta el dispositivo se sitúa en un recinto rodeado por una clave de croma, por ejemplo una habitación pintada de verde o similar. Las imágenes captadas por la cámara, por tanto, tendrán una serie de objetos en primer plano (por ejemplo, el propio usuario o partes del mismo (brazos, piernas, etc.), otros usuarios, así como posibles objetos reales ubicados en el recinto en cuestión (por ejemplo, un sofá, sillas, etc.). En este paso, el medio de procesamiento analiza esas imágenes para detectar la clave de croma, es decir, las zonas de la imagen donde no hay objetos en primer plano que impidan ver la clave de croma situada en el fondo.

- Modificar las imágenes recibidas sustituyendo en ellas la clave de croma detectada por la porción de vídeo envolvente que corresponde a la posición de la clave de croma en dichas imágenes y a la orientación de la cámara.

La porción de vídeo envolvente mencionada se refiere a la zona del vídeo que corresponde al área del espacio donde se encuentra la clave de croma. Esta porción de vídeo puede definirse, por ejemplo, en función de un determinado ángulo sólido representativo de la región del espacio donde las imágenes captadas por la cámara incluyen la clave de croma. Pues bien, en este paso el medio de procesamiento extrae de las imágenes recibidas la clave de croma e inserta la porción correspondiente de vídeo envolvente. El resultado son unas imágenes modificadas en las que se observan objetos reales en primer plano y el vídeo esférico en segundo plano, generándose así la impresión de que los objetos reales (incluyendo tanto al propio usuario como a otros usuarios situados en el mismo recinto) están inmersos en el vídeo envolvente.

- Reproducir a través del medio de pantalla las imágenes modificadas. De ese modo, el usuario tiene la impresión de estar inmerso junto al resto de usuarios en el vídeo envolvente.

De manera preferida, el dispositivo comprenderá además unos auriculares configurados para transmitir a los oídos del usuario sonidos correspondientes al vídeo envolvente. Los auriculares, que naturalmente estarán conectados al medio de procesamiento, pueden ser de cualquier tipo conocido en la técnica. A modo de ejemplo, puede tratarse de unos auriculares de tipo casco, es decir, que cubren la oreja de manera esencialmente completa, como es habitual en los visores de realidad virtual convencionales.

Así, para utilizar el dispositivo de la invención, los usuarios se ubican en un entorno rodeado por una clave de croma, por ejemplo una habitación forrada de tela verde o similar, en cuyo interior puede haber otros objetos reales además de los propios usuarios. El procedimiento de la invención insertará un fondo detrás de todos los objetos reales, de manera que el usuario tendrá la impresión de encontrarse inmerso en el vídeo esférico. Por ejemplo, los objetos reales pueden incluir una cesta similar a la de un globo en cuyo interior se encuentran los usuarios. Alrededor de la cesta, toda la habitación, incluyendo techo y suelo, está pintado de verde. En el dispositivo de cada usuario, todas las paredes pintadas de verde de la habitación son sustituidas por un vídeo esférico grabado con un dron. El usuario puede así asomarse de la cesta para ver el paisaje (vídeo insertado) y, al mismo tiempo, ver tanto la cesta como al resto de usuarios (objetos reales), así como interaccionar normalmente con ellos. Los auriculares pueden reproducir sonidos de manera sincronizada con el vídeo para añadir realismo a la experiencia.

Un segundo aspecto de la presente invención está dirigido a un sistema de realidad virtual compartida que comprende fundamentalmente un entorno con color de clave de croma, una pluralidad de dispositivos de visualización, y una unidad de coordinación. A continuación, se define cada uno de estos elementos con mayor detalle.

a) Entorno con color de clave croma

Se trata de un entorno configurado para alojar varios usuarios en su interior y que tiene un color de clave de croma. Por ejemplo, puede tratarse de un recinto con paredes, techo y/o suelo pintados de verde o cubiertos por una tela verde. La zona del recinto cubierta por la tela verde puede variar en función de las aplicaciones. Por ejemplo, puede dejarse el suelo sin cubrir para que los usuarios puedan desplazarse normalmente por el recinto durante la experiencia. En cualquier caso, se trata de un entorno de un tamaño grande en comparación con los usuarios, de manera que haya sitio para que varios usuarios disfruten de la experiencia de manera simultánea.

b) Dispositivos de visualización

Se trata de una pluralidad de dispositivos de visualización del tipo descrito más arriba en este documento y que están configurados para ser portados porcada uno de dichos usuarios. Por ejemplo, podrían utilizarse 10 dispositivos, cada uno de los cuales es portado por un usuario.

c) Unidad de coordinación

La unidad de coordinación está en comunicación con los dispositivos de visualización, y está configurada para enviar señales de coordinación a dichos dispositivos de visualización para ordenar el arranque o parada del vídeo envolvente de manera coordinada en todos los dispositivos.

La unidad de coordinación puede ser cualquier dispositivo con capacidad de comunicación con los dispositivos de visualización. Así, por ejemplo, la unidad de coordinación puede comprender uno de entre los siguientes medios de comunicación: medios Bluetooth, WiFi, Wimax, Zigbee, GPRS, UMTS, GSM, 2G, 3G, 4G, 5G, o cualquier otro adecuado. La unidad de coordinación puede incluir conectado al medio de comunicación también un medio de procesamiento configurado para sincronizar las órdenes de arranque o parada del vídeo en todos los dispositivos. El medio de procesamiento puede ser de cualquier tipo, incluyendo un microprocesador, un microcontrolador, una FPGA, un DSP, un ASIC, o cualquier otro adecuado.

Este medio de procesamiento puede estar programado para funcionar de manera autónoma o, alternativamente, puede ser manejado por un usuario. En este segundo caso, la unidad de coordinación podría ser, por ejemplo un ordenador, ¡Pad o teléfono móvil adecuadamente programados para permitir a una persona ordenar el arranque o parada de manera sincronizada de los vídeos en todos los dispositivos.

Un tercer aspecto de la presente invención está dirigido a un procedimiento de realidad virtual compartida utilizando un sistema como el descrito en los párrafos anteriores. El procedimiento comprende fundamentalmente los siguientes pasos:

1. Mediante la cámara del dispositivo portado porcada usuario, captar las imágenes del entorno de cada dispositivo.

2. Mediante los sensores de orientación del dispositivo portado por cada usuario, determinar la orientación de la cámara de cada dispositivo.

3. Mediante el medio de procesamiento del dispositivo portado por cada usuario, recibir las imágenes obtenidas por la cámara de dicho dispositivo y la orientación de dicha cámara detectada por los sensores de orientación.

4. Mediante el medio de procesamiento del dispositivo portado por cada usuario, detectar en las imágenes recibidas la posición de la clave de croma dispuesta en el entorno del usuario.

5. Mediante el medio de procesamiento del dispositivo portado por cada usuario, modificar las imágenes recibidas sustituyendo en ellas la clave de croma detectada por la porción de vídeo envolvente que corresponde a la posición de la clave de croma en dichas imágenes y a la orientación de la cámara.

6. Mediante el medio de procesamiento del dispositivo portado por cada usuario, reproducir en el medio de pantalla las imágenes modificadas.

La numeración de los pasos no implica necesariamente que éstos se lleven a cabo en el orden en que éstos se mencionan. Por ejemplo, la captación de las imágenes y la determinación de la orientación de la cámara son procesos simultáneos que se realizan de manera continua en todo momento. Estos datos se envían al medio de procesamiento, el cual también de manera continua detecta el croma en las imágenes, sustituye el croma por el vídeo envolvente en cuestión y, por último, reproduce las imágenes modificadas por el medio de pantalla. Los pasos de tratamiento de imágenes que lleva a cabo el medio de procesamiento para detectar la clave de croma, sustituirla por el vídeo, y reproducir el vídeo por el medio de pantalla deben realizarse de una manera suficientemente rápida como para que el usuario no note un retardo entre sus movimientos de cabeza y su correspondiente reflejo en las imágenes que observa por el medio de pantalla. En cualquier caso, el efecto final de este procedimiento es que todos y cada uno de los usuarios ven, de manera simultánea e independientemente de la dirección hacia la que miren en cada momento, los objetos reales ubicados sobre un fondo formado por el vídeo reproducido de manera sincronizada para todos ellos.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La Fig. 1 muestra una vista lateral de la cabeza de un usuario que porta un dispositivo de acuerdo con la presente invención.

La Fig. 2 muestra un esquema de los diferentes elementos que conforman el dispositivo de acuerdo con la presente invención.

La Fig. 3 muestra una vista en perspectiva simplificada de un sistema de acuerdo con la presente invención.

La Fig. 4 muestra una vista esquemática de un sistema de acuerdo con la presente invención.

La Fig. 5 muestra una imagen real de un ejemplo de aplicación del sistema de acuerdo con la presente invención.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

Se describen a continuación algunos ejemplos del dispositivo (1) de la invención, así como de sistemas (20) que incluyen el dispositivo (1) de la invención.

Las Figs. 1 y 2 muestran de diferentes modos el dispositivo (1) de la presente invención. Como se puede apreciar, el dispositivo (1) adopta la forma general de un visor de realidad virtual. Se trata de un cuerpo configurado para fijarse sobre los ojos del usuario con ayuda de unas cintas, concretamente de un par de cintas que pasan por los laterales de la cabeza del usuario y se unen en la nuca y una cinta adicional que pasa por la parte superior de la cabeza del usuario también hasta la nuca. El cuerpo se amolda a la cara del usuario en la zona de los ojos, estando dotado de unos bordes blandos de forma ergonómica para apoyarse en frente y mejillas de manera que los ojos del usuario quedan completamente cubiertos por una cavidad delimitada por los mencionados bordes ergonómicos. En el interior de esa cavidad, situada frente a los ojos del usuario, hay una pantalla (2) que está separada en dos zonas, una ubicada frente a cada ojo.

Una cámara estereoscópica (3) está también fijada al cuerpo en su zona exterior frontal, es decir, en la zona situada inmediatamente delante de los ojos del usuario. Como es conocido, la cámara estereoscópica (3) comprende dos cámaras (3i, 3d) separadas una distancia equivalente a la separación entre los ojos de una persona y orientadas esencialmente en paralelo. Es decir, cuando el usuario porta el dispositivo, cada cámara individual de la cámara estereoscópica (3) está situada en la posición y orientación que corresponde a cada uno de los ojos del usuario.

El cuerpo también dispone en su interior de unos sensores de orientación (4) que obtienen la orientación espacial de la cámara estereoscópica (3). Como se ha mencionado con anterioridad en este documento, los sensores de orientación (4) pueden ser de diferentes tipos, aunque en este ejemplo comprenden un sistema inercial (4a), un compás (4b), y un regulador de dirección. El sistema inercial (4a) está formado por un conjunto de acelerómetros y giróscopos que obtienen la dirección tridimensional del espacio hacia la que apunta la cámara estereoscópica. El compás (4b) obtiene la dirección del dispositivo con relación al polo norte magnético. El regulador de dirección sirve para ajustar la dirección del compás (4b) y compensar la deriva del sistema inercial. En conjunto, estos tres elementos obtienen la dirección del espacio hacia la cual está orientada la cámara estereoscópica (3).

El cuerpo aloja también una unidad de almacenamiento (5). La unidad de almacenamiento (5), por ejemplo una RAM, tiene almacenado uno o varios vídeos envolventes, en este caso vídeos esféricos que abarcan todas las direcciones del espacio. Por ejemplo, puede tratarse de un vídeo esférico grabado con ayuda de un dron dotado de una pluralidad de cámaras orientadas en diferentes direcciones del espacio. El modo en que se puede obtener un vídeo esférico es conocido en la técnica.

El cuerpo aloja también unos medios de comunicación inalámbrica (6). En este ejemplo concreto, los medios de comunicación inalámbrica (6) son medios Bluetooth que permiten la comunicación en distancias cortas de hasta aproximadamente 10 metros.

También alojada en el interior de la carcasa que conforma el cuerpo se encuentra una unidad de procesamiento (7), en este ejemplo concreto un microprocesador de gran capacidad de cálculo. La unidad de procesamiento (7) está conectada con el resto de elementos mencionados: la pantalla, la cámara estereoscópica, los sensores de orientación, la unidad de almacenamiento y los medios de comunicación inalámbrica. Adicionalmente, en este ejemplo la unidad de procesamiento (7) está también conectada con unos auriculares (10), un auricular derecho (10d) y un auricular izquierdo (10i), que están fijados a las cintas de sujeción del dispositivo (1) de modo que, cuando el usuario está portando el dispositivo (1), quedan ubicados sobre sus oídos.

La Fig. 3 muestra un ejemplo de sistema (20) según la presente invención. Como se puede apreciar, tres usuarios que tienen puestos tres dispositivos (1) como el descrito en los párrafos anteriores están en el interior de una habitación que tiene las cuatro paredes cubiertas con una clave de croma (8). Aunque no se aprecia en las figuras, en este ejemplo concreto la clave de croma es una tela de color verde sin brillos que forra las paredes de la habitación. En este contexto, una unidad de coordinación (9) (no mostrada en la Fig. 3) marca el inicio de la experiencia ordenando arranque del vídeo esférico almacenado en el medio de almacenamiento (5) de cada uno de los dispositivos (U

En cada dispositivo (1), comienza un proceso por el cual la cámara estereoscópica (3) capta imágenes del entorno real del usuario que lo porta y las envía al medio de procesamiento (7). Las imágenes captadas por la cámara estereoscópica (3) estarán formadas por objetos reales (es decir, los otros dos usuarios que deambulan libremente por el recinto, así como posibles partes del propio usuario tales como manos o pies) situados sobre un fondo de color verde que constituye el croma (8). Simultáneamente, los sensores de orientación (4) detectan la dirección hacia la cual está orientada la cámara estereoscópica (3) y también la envían al medio de procesamiento (7). El medio de procesamiento (7), en tiempo real, analiza las imágenes para determinar aquellas áreas donde está el croma (8) y, en función de la orientación correspondiente, sustituye en dichas áreas el color verde por el trozo de vídeo esférico correspondiente a esa posición. Puesto que la unidad de coordinación (9) asegura que el vídeo esférico arranca de manera simultánea en todos los dispositivos (1), la sincronización temporal de los vídeos está asegurada.

El medio de procesamiento (7) muestra las imágenes modificadas, de manera que el usuario puede mirar libremente a su alrededor y en todo momento ve los objetos reales en las posiciones en las que realmente se encuentran sobre un fondo constituido por el vídeo esférico en cuestión. El usuario puede ver y tocar a otros usuarios o a cualquier otro objeto real que haya dentro del recinto, siempre con el vídeo como imagen de fondo. El efecto inmersivo es tan completo como en cualquier sistema de realidad virtual convencional, con la salvedad de que dentro de las imágenes virtuales mostradas hay objetos físicos reales con los que el usuario puede interaccionar normalmente. La situación se muestra de manera esquemática en la Fig. 4, donde se observa como dentro del recinto puede haber usuarios y objetos reales (OR) que interaccionan con el vídeo esférico mostradoLa Fig. 5, por último, muestra un ejemplo de imagen real donde dos usuarios están sentados en un sofá observando un vídeo esférico del espacio exterior. Los dos usuarios, que pueden verse y tocarse en tiempo real, están sentados en un sofá que pueden también ver y sentir normalmente. Sofá y usuarios están completamente integrados en el entorno virtual creado por el vídeo esférico que reproducen los respectivos dispositivos (1).

Claims (3)

REIVINDICACIONES

1. Dispositivo de visualización (1) para realidad virtual compartida configurado para ser portado por un usuario, caracterizado por que comprende:

- un medio de pantalla (2) que comprende dos zonas diferenciadas situadas frente a cada uno de los ojos del usuario cuando éste porta el dispositivo (1);

- una cámara (3) configurada para captar imágenes de un área situada enfrente del dispositivo (1);

- unos sensores de orientación (4) configurados para obtener una orientación espacial de la cámara (3);

- una unidad de almacenamiento (5) configurada para almacenar al menos un vídeo envolvente;

- unos medios de comunicación inalámbrica (6) configurados para recibir señales de coordinación para la reproducción del vídeo envolvente en el medio de pantalla (2); y

- una unidad de procesamiento (7) en comunicación con el medio de pantalla (2), la cámara (3), los sensores de orientación (4), la unidad de almacenamiento (5) y los medios de comunicación inalámbrica (6), donde la unidad de procesamiento (7) está configurada para:

recibir las imágenes captadas por la cámara (3) y la orientación espacial de dicha cámara (3) detectada por los sensores de orientación (4), detectar en las imágenes recibidas la posición de una clave de croma (8) dispuesta en el entorno del dispositivo (1) portado por el usuario, modificar las imágenes recibidas sustituyendo en ellas la clave de croma (8) detectada por la porción de vídeo envolvente que corresponde a la posición de la clave de croma (8) en dichas imágenes y a la orientación de la cámara (3), y

reproducir a través del medio de pantalla (2) las imágenes modificadas.

2. Sistema (20) de realidad virtual compartida, caracterizado por que comprende - un entorno con color de clave croma (8) configurado para alojar varios usuarios en su interior;

- una pluralidad de dispositivos de visualización (1) según la reivindicación 1 configurados para ser portados por cada uno de dichos usuarios; y

- una unidad de coordinación (9) en comunicación con los dispositivos de visualización (1), configurada para enviar señales de coordinación a dichos dispositivos de visualización (1) para ordenar el arranque o parada del vídeo envolvente de manera coordinada en todos los dispositivos (1).

3.

Procedimiento de realidad virtual compartida utilizando un sistema (20) de realidad virtual según la reivindicación 2, caracterizado por que comprende los siguientes pasos:

- mediante la cámara (3) del dispositivo (1) portado por cada usuario, captar las imágenes del entorno de cada dispositivo (1);

- mediante los sensores de orientación (4) del dispositivo (1) portado por cada usuario, determinar la orientación de la cámara (3) de cada dispositivo (1);

- mediante el medio de procesamiento (7) del dispositivo (1) portado por cada usuario, recibir las imágenes obtenidas por la cámara (3) de dicho dispositivo (1) y la orientación de dicha cámara (1) detectada por los sensores de orientación (4);

- mediante el medio de procesamiento (7) del dispositivo (1) portado por cada usuario, detectar en las imágenes recibidas la posición de la clave de croma (8) dispuesta en el entorno del usuario;

- mediante el medio de procesamiento (7) del dispositivo (1) portado por cada usuario, modificar las imágenes recibidas sustituyendo en ellas la clave de croma (8) detectada por la porción de vídeo envolvente que corresponde a la posición de la clave de croma (8) en dichas imágenes y a l a orientación de la cámara (3), y

- mediante el medio de procesamiento (7) del dispositivo (1) portado por cada usuario, reproducir en el medio de pantalla (2) las imágenes modificadas.