ES2881265T3 - Sistema y método de trasmisión para visor montado en casco (HMD) - Google Patents

Sistema y método de trasmisión para visor montado en casco (HMD) Download PDF

Info

Publication number
ES2881265T3
ES2881265T3 ES17787604T ES17787604T ES2881265T3 ES 2881265 T3 ES2881265 T3 ES 2881265T3 ES 17787604 T ES17787604 T ES 17787604T ES 17787604 T ES17787604 T ES 17787604T ES 2881265 T3 ES2881265 T3 ES 2881265T3
Authority
ES
Spain
Prior art keywords
image
transmission system
view
field
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17787604T
Other languages
English (en)
Inventor
Jamil El-Imad
Jesús Hormigo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtually Live Switzerland GmbH
Original Assignee
Virtually Live Switzerland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtually Live Switzerland GmbH filed Critical Virtually Live Switzerland GmbH
Application granted granted Critical
Publication of ES2881265T3 publication Critical patent/ES2881265T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Un sistema de transmisión de imágenes montado en casco (10) en combinación con un visor montado en caso, HMD, dispositivo (1), siendo el sistema de transmisión de imagen y el dispositivo HMD locales el uno con respecto al otro: - el dispositivo HMD comprende: uno o más visores (3); uno o más sensores (4,5,6) para determinar el movimiento, la posición y la actitud del visor; y una o más entradas de imagen configuradas para recibir datos de imagen para la visualización directa en el visor o visores sin procesamiento de imagen por el HMD desde el sistema de transmisión de imagen, - el sistema de transmisión de imagen está configurado para comunicar una imagen estereoscópica al dispositivo HMD para transmitir la información de imagen a un usuario, donde el sistema de transmisión de imagen (10) comprende: una o más entradas para recibir los datos de los sensores; una o más entradas de imagen (100) configuradas para recibir datos de imagen preprocesados para la visualización directa del campo de visión en uno o más visores sin procesamiento de imagen por el sistema de transmisión de imagen y donde el sistema de transmisión recibe, durante el uso, los datos de imagen preprocesados del campo de visión; y una o más salidas de imagen para transmitir datos de imagen para la visualización directa en uno o más visores del campo de visión sin procesamiento de imagen por parte del sistema HMD caracterizado porque dicho sistema de transmisión de imagen configurado para recibir datos de imagen preprocesados adicionales fuera del campo de visión y que aún no se muestran en el visor.

Description

DESCRIPCIÓN
Sistema y método de trasmisión para visor montado en casco (HMD)
La presente invención se refiere a visores montados en cascos y a los sistemas y métodos para la transmisión de contenidos a esos visores montados en cascos, particularmente contenidos de realidad virtual.
La visualización de contenidos de realidad virtual requiere que el usuario/participante tenga acceso a un hardware, software y/o ancho de banda sustancial. Un objeto de esta invención es reducir los requisitos de hardware, software y ancho de banda para permitir la visualización y participación en eventos de realidad virtual.
El documento US2016/189429 divulga un sistema de visor montado en casco (HMD) que trata un entorno virtual inmersivo en el que la percepción del usuario de la escena que se muestra en e1HMD se distorsiona cuando el usuario gira la cabeza, alterando su campo de visión. El HMD recibe los datos de imagen desde un dispositivo informático remoto y muestra esos datos. La distorsión puede ser desconcertante y/o desorientadora para un usuario que espera que un elemento estático (un árbol, por ejemplo) se mantenga estático al mover la cabeza y no cambie de forma y se convierta en un árbol en ángulo durante el movimiento de la cabeza, por ejemplo. Este documento señala que la distorsión sucede porque no todos los píxeles de un escaneado se muestran al mismo tiempo y se propone resolver este problema recibiendo los datos de visualización de trama y corrigiendo ciertos valores de píxeles en los datos de visualización para compensar el movimiento del HMD.
La invención se expone en las reivindicaciones adjuntas.
Para que la presente invención pueda entenderse más fácilmente, se describirán ahora, a modo de ejemplo, las realizaciones de la misma con referencia a las figuras acompañantes:
La Figura 1 es una representación esquemática de un sistema de visor montado en casco con un conjunto de sensores externos;
La Figura 2 es una representación esquemática de una realización de la presente invención en comunicación con recursos gráficos y de procesamiento remotos;
La Figura 3 es una representación esquemática de una realización de la presente invención en comunicación con recursos gráficos y de procesamiento remotos y muestra los detalles de la pantalla del visor montado en casco; La Figura 4 es una representación esquemática de una serie de datos de imagen para el uso con las realizaciones de la presente invención;
La Figura 5 es una representación esquemática de una realización de la presente invención en comunicación con recursos gráficos y de procesamiento remotos y muestra los detalles de la pantalla del visor montado en casco; La Figura 6 es una representación esquemática de una realización de la presente invención en comunicación con recursos gráficos y de procesamiento remotos y muestra los detalles de la pantalla del visor montado en casco; Las Figuras 7 y 8 muestran un campo de visión para el uso con las realizaciones de la invención; y
Las Figuras 9 y 12 son representaciones esquemáticas de campos de visión para el uso con las realizaciones de la presente invención.
Con referencia a la Figura 1, se muestra esquemáticamente un sistema de visor montado en casco 1 que comprende los siguientes componentes básicos: una máscara de visualización montada en el casco 2 que contiene una o más pantallas de visualización 3 (no mostradas en la figura 1), un sensor de movimiento y posición 4, un rastreador ocular 5 y otro sensor de movimiento y posición 6. La Figura 1 también muestra un conjunto 7 de sensores externos a la máscara 2 para detectar la posición en un sistema de coordenadas xyz del marcador de posición 6. La Figura 1 también muestra un dispositivo de interfaz de usuario que comprende un joystick de puntero 8. El puntero 8 puede incorporar su propio marcador de posición, de modo que su posición puede determinarse con respecto a la máscara del visor montado en casco 2 y al conjunto de sensores externos 7.
Algunos de los sensores 4,5,6 están montados en la máscara 2 o en el HMD y otros sensores 7,8 están ubicados de forma remota con respecto al HMD. Una categoría de sensores 4,6,7 determina la posición y la actitud en el entorno real del HMD y mide los movimientos del HMD mediante acelerómetros y similares, por ejemplo, acelerómetros montados en el HMD que miden el movimiento, la ubicación y la actitud del HMD (balanceo, cabeceo, desvío). El puntero 8 u otro dispositivo de interfaz de usuario, como un joystick, un puntero o un guante, se utiliza para recibir las órdenes del usuario. Un conjunto de sensores remotos 7 puede rastrear la posición de1HMD en el usuario en una "zona segura" creada por el usuario y visible para el mismo dentro del entorno virtual.
Un usuario lleva la máscara 2 y ve las imágenes en uno o más visores 3 dentro de la máscara 2 mientras sostiene la interfaz de usuario 8 que también puede aparecer en las imágenes de la pantalla 3. Preferiblemente, las imágenes proporcionadas por el visor son imágenes estereoscópicas de un entorno virtual. El sistema de transmisión está configurado para suministrar opcionalmente una señal de audio sincronizada con la señal de imagen o vídeo. Preferiblemente, el sistema de transmisión ofrece audio sincronizado como parte de la experiencia de realidad virtual, a través del puerto del HDMI.
La interfaz de usuario 8 puede ser un elemento que se puede llevar puesto, como un guante, un calcetín o una muñequera, o puede ser un elemento distinto, como un joystick o un puntero.
Los datos procedentes de todos los sensores se transmiten mediante una conexión por cable y/o una conexión inalámbrica a una consola 10 que también se encarga de transmitir los datos de imagen a una o varias pantallas de visualización 3 de la máscara 2.
La consola 10 se muestra en la figura 2 conectada a un monitor externo 18 para que un administrador u operador distinto del usuario del visor montado en casco 2 pueda ver las imágenes en el monitor externo 18 que están apareciendo en la máscara 2.
A diferencia de los sistemas convencionales, la consola 10 comprende un sistema de transmisión de imágenes al visor montado en casco 10 que tiene al menos una entrada 100 configurada para recibir datos de imagen preprocesados para la visualización directa del campo de visión 50 en uno o más visores 3 sin procesamiento de imagen por el sistema de transmisión de imagen 10. La consola 10 que presenta la presente invención transmite datos de imagen para la visualización directa en uno o más visores 3 del campo de visión 50 sin procesamiento de imagen por el dispositivo de visor montado en casco 1.
Preferiblemente, la consola 10 y la máscara del visor montado en casco 2 son locales respectivamente, ya sea en el mismo espacio o habitación y más preferiblemente en la misma red inalámbrica o también preferiblemente en comunicación entre sí a través de una conexión por cable. Preferiblemente, la conexión a la máscara del visor montado en casco 2 para las imágenes a mostrar es a través de una conexión HDMI y la conexión de datos de la máscara a la consola 10 tiene lugar a través de una conexión USB.
Los visores de realidad virtual requieren muchos recursos informáticos y de procesamiento gráfico. En las realizaciones de la presente invención, los recursos informáticos y de procesamiento gráfico 21 se proporcionan de forma remota desde el visor montado en casco 1 y la consola 10, pero se conectan a estos elementos locales mediante un bus de comunicación de baja latencia 20. El procesamiento gráfico puede realizarse a través de un sistema en la nube GPU alojado en un clúster de realidad virtual CUDA. El operador de realidad virtual proporciona una infraestructura propia 21 para coordinar el empaquetamiento y distribución de los datos a través del bus de comunicación de baja latencia 20 y a los elementos remotos que proporcionan los recursos informáticos y el procesamiento gráfico. El bus de comunicación 20 está conectado a la consola 10 a través de un puerto de entrada 100.
Los recursos informáticos y de procesamiento gráfico 21 se proporcionan de forma remota desde el visor montado en casco 1 y la consola 10. De este modo, la consola 10 solo tiene que proporcionar muy poco o ningún procesamiento de imágenes. Los recursos informáticos y de procesamiento gráfico 21 son responsables de la mayoría, si no de todo el procesamiento y renderización de imágenes para su transmisión a través del bus 20 a la consola 10. La consola no requiere o tiene la funcionalidad de realizar ningún otro procesamiento de imagen significativo, excepto reformatear potencialmente la imagen para que sea compatible con la configuración de la pantalla de1HMD 3. El procesamiento de imágenes se realiza más en los recursos informáticos y de procesamiento gráfico remotos 21 que en la consola 10 y, preferiblemente, no se realiza el procesamiento de imagen en el HMD 1. Toda la renderización de las imágenes se puede hacer en los recursos informáticos y de procesamiento gráfico remotos 21.
Volviendo a la figura 3, el entorno virtual que se muestra en la pantalla de1HMD 3 es un panorama alpino. El usuario mira directamente al frente, en línea recta y a nivel con el horizonte en el medio de la pantalla. La consola 10 que presenta la presente invención solicita que se renderice una imagen fuera de la escena a través del bus de comunicación 20 y la imagen se renderiza y se devuelve a través del bus de comunicación 20 como imagen I que se reporta lo más directamente posible sin procesamiento o preprocesamiento gráfico a través de la salida HDMI de la consola 12 directamente a la pantalla 3 que muestra un campo de visión 50 de la imagen I.
Los sensores del sistema del visor montado en casco 4, 5, 6 y 7, 8 monitorizan las actividades del usuario e identifican hacia dónde mira el usuario para determinar cuál será el siguiente campo de visión 50 que se le mostrará. La consola 10 recibe los datos de los sensores 4, 5, 6, 7, 8 del visor montado en casco y solicita la siguiente imagen del campo de visión, que se prepara y renderiza de forma remota y se envía a través del bus de comunicación 20 a la consola 10, donde se transmite a la pantalla 3 sin que el sistema de transmisión de imagen / consola 10 la procese. Las imágenes l emitidas por la consola 10 al sistema del visor montado en casco 1 se envían sin procesar las imágenes por el sistema de transmisión de imágenes del visor montado en casco 10.
Dado que los recursos informáticos y de procesamiento gráfico 21 están conectados a través de un bus de comunicación de baja latencia, la consola 10 puede ser básicamente de naturaleza informática. El umbral de latencia debe ser inferior a 20 microsegundos.
La figura 4 muestra un campo de visión (FOV 1) 50(1) que es la imagen que aparece en la pantalla 3. Fuera del campo de visión 50(1), la imagen continúa en el entorno virtual, pero las regiones 51(2-9) de la imagen I que se encuentran fuera del campo de visión 50(1) no se muestran. Las regiones que quedan fuera del campo de visión (FOV1) se encuentran por encima 51(2) y por debajo 51(6), a la izquierda 51(8) y a la derecha 51(4) y en las esquinas superior derecha51(3), inferior derecha 51(5), inferior izquierda 51(7) y superior izquierda 51(9). La figura 4 muestra las regiones como sustancialmente rectangulares, pero las regiones pueden definirse de forma diferente; ver las figuras 9 a 12, donde las regiones 51 fuera del campo de visión (FOV1) 50 se muestran como lóbulos elípticos 51 en las figuras 9 y 10 y como una periferia rectangular en la figura 11 y como barras laterales en la figura 12.
La figura 5 muestra otra realización de la presente invención en la que los datos de los sensores de1HMD 4,5,6,7,8 se utilizan en el centro de recursos informáticos y de procesamiento gráfico remotos 21 para devolver no solo los datos de imagen del campo de visión a través del bus 20, sino también los datos de imagen además en el campo de visión de los datos de imagen que están fuera del campo de visión y que aún no aparecen en la pantalla 3. En el ejemplo de la figura 5, los datos del sensor del HMD se usan por los recursos informáticos remotos para predecir que el usuario mirará a continuación a la derecha del campo de visión, por lo que, además de renderizar el campo de visión, el recurso informático remoto también renderiza y envía los datos de imagen a la derecha del campo de visión de vuelta a la consola 10 a través del bus de comunicación de baja latencia 20. Si la consola 10 identifica que el usuario ha movido efectivamente su mirada hacia la derecha del campo de visión de la pantalla, un selector 17 puede recoger una versión revisada del campo de visión para mostrar la parte derecha del campo de visión junto con la región "derecha" de los datos de imagen a la derecha del campo de visión.
Con referencia ahora a la figura 6, otra realización de la presente invención envía los datos de los sensores de1HMD 4,5,6,7,8 directamente al selector 17 en la consola local 10. En esta realización, los datos de los sensores no se transmiten a través del bus de comunicación 20 a los recursos informáticos o de procesamiento gráfico remotos. Los datos de los sensores se mantienen locales en el sistema del visor montado en casco y en la consola 10.
Además de renderizar el campo de visión, los recursos informáticos y de procesamiento gráfico remotos 21 transmiten a través del bus de comunicación 20 todas las regiones 51(2-9) que rodean el campo de visión 50(1) y las transmiten a la consola local 10, donde son prealmacenadas y quedan disponibles para la selección por el selector 17. El selector 17 puede operar bajo el control de los datos de los sensores y en respuesta a los datos de los sensores para predecir o identificar dónde se sitúa la mirada del usuario fuera del campo de visión y, en respuesta a ese cambio direccional de la mirada del usuario, el selector 17 recoge la región prealmacenada fuera del campo de visión y la transmite directamente a la pantalla del visor montado en casco sin más preprocesamiento o procesamiento gráfico. Mantener los datos de los sensores y la funcionalidad de predicción localmente en la consola y en el visor montado en casco permite que la consola sea autónoma de los recursos informáticos y de procesamiento gráfico ubicados remotamente.
La figura 7 muestra el campo de visión (FOV 1) y una región de la derecha fuera del FOV 1 que se almacena en la consola 10 (es decir, la región de la derecha se recibe pero no se muestra en el FOV), lista para ser transmitida inmediatamente cuando la mirada del usuario gire hacia la parte derecha del FOV 1. Esta forma de almacenamiento intermedio se denomina en este documento "prealmacenamiento". Asimismo, la figura 8 muestra una región exterior por encima del FOV 1 que se almacena (o prealmacena) en la consola 10, lista para ser transmitida inmediatamente a la pantalla del visor montado en casco.
La gama de sensores disponibles para el sistema también puede incluir rastreadores oculares que identifican la parte de la pantalla que el usuario está mirando o hacia la que se mueve mediante el seguimiento de su mirada (también conocido como rastreadores de la mirada) - tales sensores son ópticos no invasivos y van montados dentro del casco.
Cuando en esta especificación y en las reivindicaciones se emplean los términos "comprende" y "que comprende" y sus variantes significa que se incluyen las características, pasos o enteros especificados. Los términos no deben interpretarse como excluyentes de la presencia de otras características, pasos o componentes.

Claims (15)

REIVINDICACIONES
1. Un sistema de transmisión de imágenes montado en casco (10) en combinación con un visor montado en caso, HMD, dispositivo (1), siendo el sistema de transmisión de imagen y el dispositivo HMD locales el uno con respecto al otro:
• el dispositivo HMD comprende:
uno o más visores (3);
uno o más sensores (4,5,6) para determinar el movimiento, la posición y la actitud del visor; y
una o más entradas de imagen configuradas para recibir datos de imagen para la visualización directa en el visor o visores sin procesamiento de imagen por el h Md desde el sistema de transmisión de imagen,
• el sistema de transmisión de imagen está configurado para comunicar una imagen estereoscópica al dispositivo HMD para transmitir la información de imagen a un usuario, donde el sistema de transmisión de imagen (10) comprende: una o más entradas para recibir los datos de los sensores;
una o más entradas de imagen (100) configuradas para recibir datos de imagen preprocesados para la visualización directa del campo de visión en uno o más visores sin procesamiento de imagen por el sistema de transmisión de imagen y donde el sistema de transmisión recibe, durante el uso, los datos de imagen preprocesados del campo de visión; y
una o más salidas de imagen para transmitir datos de imagen para la visualización directa en uno o más visores del campo de visión sin procesamiento de imagen por parte del sistema HMD
caracterizado porque
dicho sistema de transmisión de imagen configurado para recibir datos de imagen preprocesados adicionales fuera del campo de visión y que aún no se muestran en el visor.
2. El sistema de la reivindicación 1, donde la combinación comprende además un recurso informático y de procesamiento gráfico (21) remoto del sistema de transmisión de imagen y del dispositivo HMD y conectado al sistema de transmisión de imagen y al dispositivo HMD mediante un bus de comunicación (20), teniendo el recurso informático y de procesamiento gráfico la funcionalidad de realizar la mayor parte del procesamiento de imagen y renderización de las imágenes a través del bus de comunicación (20) al sistema de transmisión de imagen (10).
3. El sistema de la reivindicación 1 o 2, donde el dispositivo HMD y el sistema de transmisión de imagen están conectados de forma inalámbrica entre sí en la misma red o a través de un método de comunicación de campo cercano, por ejemplo, Bluetooth; o donde el dispositivo HMD y el sistema de transmisión de imagen están conectados entre sí con una conexión por cable.
4. El sistema de cualquier reivindicación anterior, donde el sistema de transmisión comprende una memoria intermedia para recibir datos de imágenes preprocesados para la visualización directa en el campo de visión en uno o más visores sin procesamiento de imagen por el sistema de transmisión de imagen.
5. El sistema de cualquier reivindicación anterior, donde los datos de imagen preprocesados adicionales se refieren a una o más imágenes que se encuentran fuera del campo de visión en una o más direcciones predeterminadas en relación con el campo de visión.
6. El sistema de cualquier reivindicación anterior, donde los datos de los sensores recibidos de los sensores se emiten desde una o más salidas del sistema de transmisión para proporcionar los datos de los sensores para el procesamiento en un recurso de procesamiento para determinar una o más direcciones en las que el campo de visión puede moverse.
7. El sistema de cualquier reivindicación anterior, donde el sistema de transmisión dispone de un recurso de procesamiento y los datos de los sensores recibidos son procesados por el sistema de transmisión para determinar una o más direcciones en las que el campo de visión puede moverse.
8. El sistema de cualquiera de las reivindicaciones 1 a 7, donde el sistema de transmisión almacena los datos de imagen del campo de visión y además almacena los datos de imagen de una o más regiones de imagen que se encuentran fuera del campo de visión.
9. El sistema de cualquier reivindicación anterior, donde el sistema de transmisión tiene un selector para transmitir los datos de imagen prealmacenados al HMD, la selección se basa en una dirección prevista hacia la que puede moverse el campo de visión; y/o donde hay un bucle de datos local en el cual el sistema de transmisión recibe los datos de los sensores del HMD y determina una dirección del campo de visión y transmite la imagen de una región de imagen que se encuentra fuera del campo de visión en la dirección determinada.
10. El sistema de cualquier reivindicación anterior, donde uno o más sensores de1HMD está en un bucle local y los datos de los sensores no se envían todos de forma remota para informar qué datos de imagen preprocesados hay que transmitir.
11. El sistema de cualquier reivindicación anterior, donde un conjunto de sensores remotos puede rastrear la posición del HMD que porta el usuario en una zona segura creada por el usuario y visible para el usuario dentro del entorno virtual.
12. El sistema de cualquier reivindicación anterior, donde uno o el recurso informático remoto de1HMD y el sistema de transmisión de imagen tiene un potente procesador para generar imágenes que dotar al entorno virtual y renderizar las imágenes en 3D estereoscópicas para la transmisión al HMD del usuario a través del sistema de transmisión de imagen.
13. El sistema de cualquiera de las reivindicaciones anteriores, donde el recurso informático remoto es un recurso informático y de procesamiento gráfico responsable de la mayor parte, si no de todo, el procesamiento y renderización de las imágenes para la transmisión a través de un bus de comunicación de baja latencia al sistema de transmisión de imagen, de modo que el sistema de transmisión de imagen solo transmite muy poco o ningún procesamiento de la imagen.
14. El sistema de cualquier reivindicación anterior, donde el sistema de transmisión de imagen no tiene la funcionalidad de realizar el procesamiento de imagen, excepto para reformatear una imagen para que sea compatible con la configuración de la pantalla en el HMD.
15. El sistema de la reivindicación 2 o cualquier reivindicación dependiente de la misma, donde el recurso informático y de procesamiento gráfico remoto tiene más funcionalidad de procesamiento de imagen que el sistema de transmisión de imagen.
ES17787604T 2016-10-18 2017-10-18 Sistema y método de trasmisión para visor montado en casco (HMD) Active ES2881265T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1617595.2A GB2555378B (en) 2016-10-18 2016-10-18 HMD delivery system and method
PCT/GB2017/053149 WO2018073584A1 (en) 2016-10-18 2017-10-18 Hmd delivery system and method

Publications (1)

Publication Number Publication Date
ES2881265T3 true ES2881265T3 (es) 2021-11-29

Family

ID=57680911

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17787604T Active ES2881265T3 (es) 2016-10-18 2017-10-18 Sistema y método de trasmisión para visor montado en casco (HMD)

Country Status (11)

Country Link
US (1) US10863161B2 (es)
EP (1) EP3510437B1 (es)
JP (2) JP7338941B2 (es)
KR (1) KR102572528B1 (es)
CN (1) CN109863443B (es)
AU (1) AU2017346451B2 (es)
ES (1) ES2881265T3 (es)
GB (1) GB2555378B (es)
RU (1) RU2760300C2 (es)
SG (1) SG11201903245YA (es)
WO (1) WO2018073584A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341537B2 (en) 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US11055056B1 (en) * 2018-09-25 2021-07-06 Facebook Technologies, Llc Split system for artificial reality
KR102579700B1 (ko) * 2019-06-03 2023-09-18 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841409A (en) * 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
JP5156571B2 (ja) 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
CA2857691A1 (en) * 2011-12-02 2013-06-06 Jerry G. Aguren Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5891131B2 (ja) 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
CA3069173C (en) * 2016-01-12 2023-05-02 Esight Corp. Language element vision augmentation methods and devices
CA3084546C (en) * 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming

Also Published As

Publication number Publication date
US10863161B2 (en) 2020-12-08
JP2022062039A (ja) 2022-04-19
CN109863443B (zh) 2022-04-01
GB2555378A (en) 2018-05-02
CN109863443A (zh) 2019-06-07
GB2555378B (en) 2021-06-09
WO2018073584A1 (en) 2018-04-26
RU2019113515A3 (es) 2021-02-10
KR20190065396A (ko) 2019-06-11
JP7338941B2 (ja) 2023-09-05
KR102572528B1 (ko) 2023-08-30
GB201617595D0 (en) 2016-11-30
RU2760300C2 (ru) 2021-11-23
JP2020501465A (ja) 2020-01-16
RU2019113515A (ru) 2020-11-20
JP7362796B2 (ja) 2023-10-17
SG11201903245YA (en) 2019-05-30
AU2017346451B2 (en) 2022-03-03
US20190253692A1 (en) 2019-08-15
EP3510437A1 (en) 2019-07-17
EP3510437B1 (en) 2021-04-21
AU2017346451A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
ES2881265T3 (es) Sistema y método de trasmisión para visor montado en casco (HMD)
AU2017314940B2 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
JP2019028368A (ja) レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
JP6563043B2 (ja) 映像表示システム
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
CN116485929A (zh) 增强现实系统和操作增强现实系统的方法
JP2020035455A (ja) 媒介現実コンテンツの共有
US8780178B2 (en) Device and method for displaying three-dimensional images using head tracking
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US20180359462A1 (en) Information processing apparatus
JP2020501465A5 (es)
US11270673B2 (en) Image generation apparatus, image generation method, and program
JP6442619B2 (ja) 情報処理装置
JP2020106587A (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
JP2019022121A (ja) 画像処理装置、および画像処理装置の制御方法
JP7057197B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP2017033465A (ja) 方法、および、プログラム