ES2898216T3 - Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada - Google Patents

Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada Download PDF

Info

Publication number
ES2898216T3
ES2898216T3 ES18731752T ES18731752T ES2898216T3 ES 2898216 T3 ES2898216 T3 ES 2898216T3 ES 18731752 T ES18731752 T ES 18731752T ES 18731752 T ES18731752 T ES 18731752T ES 2898216 T3 ES2898216 T3 ES 2898216T3
Authority
ES
Spain
Prior art keywords
hmd
camera
video
motion
streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18731752T
Other languages
English (en)
Inventor
José Araujo
Volodya Grancharov
Gunilla Berndtsson
Haran Alvin Jude Hari
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Application granted granted Critical
Publication of ES2898216T3 publication Critical patent/ES2898216T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

Una pantalla montada en la cabeza, HMD, (100) que comprende: una cámara (101) configurada para capturar un video de una escena del mundo real con un primer campo de visión (111), un circuito de interfaz de red (102) configurado para transmitir en continuo video a un dispositivo de visualización de recepción (140), y medios de procesamiento (103), caracterizada por que estos son operativos para: generar un modelo tridimensional, 3D, de la escena del mundo real, generar un video a partir del modelo 3D utilizando un segundo campo de visión que es más ancho que el primer campo de visión (111), estimar un movimiento de la cámara (101), y si el movimiento estimado de la cámara (101) satisface una o más condiciones indicativas de movimiento rápido: transmitir en continuo el video generado al dispositivo de visualización de recepción (140), de lo contrario: transmitir en continuo el video capturado al dispositivo de visualización de recepción (140).

Description

DESCRIPCIÓN
Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada
Campo técnico
La invención se refiere a una pantalla montada en la cabeza (HMD), a un método realizado por una HMD, a un programa informático correspondiente y a un correspondiente medio de almacenamiento legible por ordenador. Antecedentes
Las pantallas montadas en la cabeza (HMD) o dispositivos similares se pueden usar en aplicaciones de guía visual remota. Por ejemplo, un ingeniero de soporte que visita un sitio para dar servicio a una estación base de radio puede llevar puesta una HMD que comprende una cámara frontal que captura un video de la escena física del mundo real que está viendo el ingeniero de soporte, tal como un armario de estación base de radio. La HMD se puede utilizar para mostrar documentación relevante al ingeniero de soporte, mientras que al mismo tiempo transmite en continuo el video capturado a una ubicación remota, por ejemplo, a un Centro de operaciones de red (NOC), donde es visualizado por un experto que guía y/o ayuda al ingeniero de soporte.
Debido al campo de visión (FoV) limitado de la cámara incluida en la HMD, la persona que ve el video capturado por la cámara de la HMD solo tiene un FoV limitado del sitio visitado por el ingeniero de soporte. En particular, este es el caso si la cámara HMD está con zum ampliado para proporcionar una vista de cerca del equipo que se va a reparar. Como resultado del FoV limitado del video capturado, la persona que mira el video capturado puede sufrir mareo por movimiento inducido visualmente (VIMS). En particular, este es el caso si la cámara HMD se mueve rápidamente, por ejemplo, si el ingeniero de soporte gira la cabeza o cambia de posición rápidamente. Generalmente, el VIMS es causado por un movimiento que se ve pero no se siente. Debido al FoV limitado, el video solo captura un subconjunto de puntos de referencia visuales en la escena del mundo real.
La patente US 9288468 B2 da a conocer un dispositivo y un método para amortiguar el movimiento de un video transmitido en continuo desde el dispositivo montado en la cabeza de una persona a un dispositivo remoto de visualización de video cuando se detecta el movimiento de la persona, y reducir la ventana de visualización transmitida al dispositivo remoto.
La patente US 2014/268356 A1 da a conocer un dispositivo y método que restringe el campo de visión de un usuario en respuesta a la detección de un estado de usuario, que indica mareo por movimiento. Ajoy S Fernandes ET AL: "Combating VR sickness through subtle dynamic field-of-view modification", Simposio de IEEE de 2016 sobre interfaces de usuario 3D (3DUI), 1 de marzo de 2016 (01/03/2016), páginas 201-210, describe la restricción del campo de visión de un usuario de un dispositivo montado en la cabeza con el fin de minimizar el mareo por movimiento de realidad virtual.
Compendio
Es un objetivo de la invención dar a conocer una alternativa mejorada a las técnicas mencionadas y a la técnica anterior.
Más específicamente, es un objetivo de la invención dar a conocer soluciones mejoradas para aplicaciones de guía visual remota. En particular, es un objetivo de la invención dar a conocer soluciones para la colaboración visual remota que mitiguen el riesgo de VIMS.
Estos y otros objetivos de la invención se consiguen mediante diferentes aspectos de la invención, tal como se definen en las reivindicaciones independientes. Las realizaciones de la invención están caracterizadas por las reivindicaciones dependientes.
Según un primer aspecto de la invención, se da a conocer una HMD. La HMD comprende una cámara configurada para capturar un video de una escena del mundo real con un primer FoV, un circuito de interfaz de red configurado para transmitir en continuo video a un dispositivo de visualización de recepción, y medios de procesamiento. Los medios de procesamiento son operativos para generar un modelo 3D de la escena del mundo real y generar un video a partir del modelo 3D utilizando un segundo FoV que es más ancho que el primer FoV. Los medios de procesamiento son además operativos para estimar un movimiento de la cámara y, si el movimiento estimado de la cámara satisface una o más condiciones indicativas de movimiento rápido, transmitir en continuo el video generado al dispositivo de visualización de recepción, de lo contrario, transmitir en continuo el video capturado a el dispositivo de visualización de recepción.
Según un segundo aspecto de la invención, se da a conocer un método realizado por una HMD. El método comprende capturar un video de una escena del mundo real con un primer FoV utilizando una cámara incluida en la HMD, generar un modelo 3D de la escena del mundo real y generar un video a partir del modelo 3D utilizando un segundo FoV que es más ancho que el primer FoV. El método comprende además estimar un movimiento de la cámara y, si el movimiento estimado de la cámara satisface una o más condiciones indicativas de movimiento rápido, transmitir en continuo el video generado a un dispositivo de visualización de recepción utilizando un circuito de interfaz de red incluido en la HMD, en caso contrario, transmitir en continuo el video capturado al dispositivo de visualización de recepción usando el circuito de interfaz de red.
Según un tercer aspecto de la invención, se da a conocer un programa informático. El programa informático comprende instrucciones ejecutables por ordenador para hacer que una HMD realice el método según una realización del segundo aspecto de la invención, cuando las instrucciones ejecutables por ordenador se ejecutan en una unidad de procesamiento incluida en la HMD.
Según un cuarto aspecto de la invención, se da a conocer un medio de almacenamiento legible por ordenador. El medio de almacenamiento legible por ordenador tiene almacenado en el mismo el programa informático según el tercer aspecto de la invención.
La invención hace uso de la comprensión de que el riesgo de sufrir VIMS para un espectador del video que es transmitido en continuo por una realización de la HMD, se mitiga al transmitir en continuo un video generado con zum alejado, en lugar del video capturado, si la cámara se mueve rápidamente.
Aunque las ventajas de la invención se han descrito en algunos casos haciendo referencia a realizaciones del primer aspecto de la invención, un razonamiento correspondiente aplica a realizaciones de otros aspectos de la invención. Otros objetivos, características y ventajas de la invención resultarán evidentes al estudiar la siguiente descripción detallada, los dibujos y las reivindicaciones adjuntas. Los expertos en la materia se dan cuenta de que se pueden combinar diferentes características de la invención para crear realizaciones distintas de las descritas a continuación.
Breve descripción de los dibujos
Lo anterior, así como los objetivos, características y ventajas adicionales de la invención, se entenderán mejor a través de la siguiente descripción detallada ilustrativa y no limitativa de realizaciones de la invención, haciendo referencia a los dibujos adjuntos, en los que:
La figura 1 ilustra una HMD en un escenario de colaboración remota, de acuerdo con realizaciones de la invención. La figura 2 ilustra la transmisión de video en continuo por la HMD, de acuerdo con realizaciones de la invención. La figura 3 muestra una realización de los medios de procesamiento incluidos en la HMD.
La figura 4 muestra otra realización de los medios de procesamiento incluidos en la HMD.
La figura 5 muestra un método realizado por una HMD, de acuerdo con realizaciones de la invención.
Todas las figuras son esquemáticas, no necesariamente a escala, y generalmente solo muestran partes que son necesarias para dilucidar la invención, donde otras partes pueden omitirse o simplemente sugerirse.
Descripción detallada
A continuación la invención se describirá con más detalle en la presente memoria, haciendo referencia a los dibujos adjuntos, en los que se muestran ciertas realizaciones de la invención. Sin embargo, esta invención puede realizarse de muchas formas diferentes y no debe interpretarse como limitada a las realizaciones expuestas en el presente documento. Por el contrario, estas realizaciones se proporcionan a modo de ejemplo para que esta descripción sea minuciosa y completa, y transmita completamente el alcance de la invención a los expertos en la materia.
La presente invención se refiere a la guía visual remota, que en el presente contexto abarca capturar un video usando una cámara montada en la cabeza, que lleva puesta una primera persona, por ejemplo, un ingeniero de soporte que porta una pantalla montada en la cabeza (HMD), y que comparte el video capturado (por ejemplo, por transmisión en continuo) con una segunda persona que visiona el video capturado en una ubicación diferente, potencialmente remota. La segunda persona puede ser, por ejemplo, un experto que guía y/o ayuda al ingeniero de soporte que está visitando un sitio que requiere mantenimiento, por ejemplo, una estación base de radio u otro equipo de una red de telecomunicaciones. Si bien las realizaciones de la invención se describen principalmente en relación con el equipo de servicio de una red de telecomunicaciones, se apreciará que las realizaciones de la invención se pueden utilizar en muchos tipos diferentes de aplicaciones de guía visual remota, tales como mantenimiento de vehículos (por ejemplo, automóviles, camiones) , trenes y aviones), mantenimiento de electrodomésticos (por ejemplo, lavavajillas, lavadoras, refrigeradores y bombas de calor), mantenimiento de ordenadores y equipos de red en centros de datos, monitorización de trabajos de construcción, vigilancia (por ejemplo, por guardias de seguridad o personal de aplicación de la ley) , etcétera.
En la figura 1, se ilustra una HMD 100, de acuerdo con realizaciones de la invención. La HMD 100 comprende una cámara 101 que está configurada para capturar un video de una escena del mundo real con un primer campo de visión (FoV) 111. La cámara 101 puede, por ejemplo, ser una cámara frontal que captura la escena delante del usuario 151 que lleva la HMD 100. La HMD 100 comprende además un circuito de interfaz de red 102 que está configurado para transmitir en continuo vídeo a un dispositivo de visualización de recepción 140, donde este puede ser representado y mostrado a un espectador 152. Tal como se ilustra en la figura 1, la persona 151 que lleva la HMD100 (a la que se hace referencia en el presente documento como el "usuario") y el espectador 152 pueden estar en ubicaciones diferentes, potencialmente remotas. Por lo demás, se supone que el usuario 151 y el espectador 152 están colaborando remotamente. Por ejemplo, el usuario 151 puede ser un ingeniero de soporte que visita un sitio de estación base de radio de una red de telecomunicaciones, en el que está desplegado un armario 121 de estación base de radio. El espectador 152, que ve el flujo de video en vivo capturado por la cámara 101 usando el dispositivo de visualización de recepción 140, puede ser un experto que guía y/o ayuda al ingeniero de soporte (el espectador) 151.
El circuito de interfaz de red 102 puede, por ejemplo, estar basado en cualquier tecnología de comunicaciones inalámbrica o por cable conocida. Por ejemplo, el circuito de interfaz de red 102 puede estar basado en una tecnología de radio de corto alcance, tal como red de área local inalámbrica (WLAN, Wireless Local Area Network)/Wi-Fi o Bluetooth, o una tecnología de radio celular, tal como el sistema global para comunicaciones móviles (GSM, Global System for Mobile Communications), el sistema universal de telecomunicaciones móviles (UMTS, Universal Mobile Telecommunications System), evolución a largo plazo (LTE, Long Term Evolution) o una tecnología 5G basada en NR/NX. Las comunicaciones, es decir, el intercambio de datos, entre la HMD 100 y el dispositivo de visualización de recepción 140, en particular la transmisión de video en continuo, pueden comenzar usando cualquier protocolo adecuado, por ejemplo, el Protocolo de transferencia de hipertexto (HTTP), el Protocolo de aplicación restringida (CoAP), el protocolo de transmisión continua en tiempo real(RTSP, Real-time Streaming Protocol), el protocolo de transporte en tiempo real (RTP, Real-time Transport Protocol), el protocolo de control de transporte en tiempo real (RTCP, Real-time Transport Control Protocol), transmisión en continuo adaptativa dinámica sobre HTTP (DASH, Dynamic Adaptive Streaming over HTTP), o similares. Tal como se ejemplifica en la figura 1, las comunicaciones entre la HMD 100 y el dispositivo de visualización de recepción 140 pueden transportarse a través de conexiones cableadas o inalámbricas 131 y 132 y una o más redes de comunicaciones 130, por ejemplo, internet.
La HMD 100 comprende además medios de procesamiento 103 que son operativos para hacer que la HMD 100 funcione de acuerdo con las realizaciones de la invención expuestas en este documento. Más específicamente, la HMD 100 es operativa para generar un modelo 3D de la escena del mundo real, y para generar un video a partir del modelo 3D utilizando un segundo FoV que es más ancho que el primer FoV 111, es decir, una vista "con zum alejado" de la escena del mundo real. El modelo 3D puede, por ejemplo, ser generado a partir del video capturado por la cámara 101 (para este propósito, la cámara 101 necesita alejarse, es decir, aumentar su FoV 111) y/o desde una cámara adicional incluida en la HMD 100, por ejemplo, formando una cámara estereoscópica. Como alternativa, o además, el modelo 3D puede generarse a partir de uno o más sensores de profundidad, por ejemplo, utilizando LIDAR o tecnologías de radar similares, u otros tipos de escáneres 3D. LIDAR mide la distancia a un objeto objetivo iluminando el objeto con luz láser pulsada y detectando los pulsos reflejados con un sensor. Las diferencias en los tiempos de retorno del láser y las longitudes de onda se pueden utilizar para generar una representación en 3D, es decir, un modelo 3D, del objeto y, por consiguiente, un modelo de una escena del mundo real que comprende una pluralidad de objetos.
El modelo 3D puede, por ejemplo, generarse, almacenarse y procesarse como una nube de puntos. En general, una nube de puntos es un conjunto de puntos de datos en algún sistema de coordenadas. Sobre la base de la nube de puntos, se puede generar una superficie 3D utilizando una serie de metodologías conocidas en el campo de los gráficos por ordenador. Una descripción general de los métodos para reconstruir superficies a partir de nubes de puntos ha sido proporcionada por M. Berger, A. Tagliasacchi, LM Seversky, P. Alliez, G. Guennebaud, JA Levine, A. Sharf y CT Silva, "A Survey of Surface Reconstruction from Point Clouds", Computer Graphics Forum, Volumen 36, páginas 301 -329, Wiley, 2017. Como ejemplo, el mapeo en tiempo real de escenas interiores utilizando una cámara de profundidad en movimiento de bajo costo (un sensor Kinect de Microsoft) ha sido presentado por RA Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, AJ Davison, P. Kohi, J. Shotton, S. Hodges y A. Fitzgibbon, "KinectFusion: Real-time dense surface mapping and tracking", Décimo Simposio Internacional de IEEE sobre Realidad Mixta y Aumentada (ISMAR), páginas 127-136, IEEE, 2012. Como otro ejemplo, la reconstrucción 3D en tiempo real de un espacio que incluye personas, muebles y objetos, utilizando cámaras de profundidad estéreo, ha sido demostrada por S. Orts-Escolano et al., "Holoportation: Virtual 3D Teleportation in Real-time", Actas del 29.° Simposio anual sobre software y tecnología de interfaz de usuario (UIST '16), páginas 741 -754, ACM, 2016.
El video se puede generar posteriormente a partir del modelo 3D, por ejemplo, representado por una nube de puntos, tal como es sabido en el campo de los gráficos por ordenador. Esto se puede conseguir, por ejemplo, mediante el uso de software fácilmente disponible, tal como Point Cloud Library (PCL) (http://pointclouds.org/). un marco para el procesamiento de imágenes 2D/3D y nubes de puntos, la Open Graphics Library (OpenGL) (https://www.opengl.org/), una biblioteca para representar gráficos vectoriales en 2D y 3D, o Unity 3D (https://unity3d.com/), un motor de juegos para representar videos en 2D y 3D.
La HMD 100 también es operativa para estimar un movimiento de la cámara 101. Por ejemplo, la HMD 100 puede comprender además al menos un sensor de movimiento 104 configurado para detectar un movimiento de la HMD 100, tal como acelerómetros, giroscopios, magnetómetros, sensores del sistema de posicionamiento global (GPS), o similares. La HMD 100 es operativa para estimar el movimiento de la cámara 101 basándose en el movimiento detectado de la HMD 100, analizando datos de medición y/o señales recibidas del sensor o sensores de movimiento 104 y basándose en la geometría de la HMD 100, en particular, en la distancia entre la cámara 101 y el o los sensores de movimiento 104. Más específicamente, la HMD 100 puede ser operativa para estimar al menos uno de un movimiento de rotación, un movimiento de inclinación o un movimiento de traslación de la cámara 101, que es causado por un movimiento correspondiente de la cabeza del usuario 151 que lleva la HMD 100.
Como alternativa, la HMD 100 puede ser operativa para estimar el movimiento de la cámara 101 basándose en el análisis de cuadros posteriores del video capturado por la cámara 101. Esto puede conseguirse, por ejemplo, mediante la estimación de movimiento (global) que se conoce a partir de codificación/compresión de video. La estimación de movimiento es el proceso de determinar los vectores de movimiento que describen una transformación de una imagen a otra, generalmente entre cuadros adyacentes en una secuencia de video, tal como el video capturado por la cámara 101. Esto puede conseguirse, por ejemplo, utilizando algoritmo de correspondencia de bloques para localizar macrobloques correspondientes en una secuencia de cuadros de video, tal como se conoce en la técnica.
La HMD 100 es además operativa para determinar si el movimiento estimado de la cámara 101 satisface una o más condiciones que son indicativas de movimiento rápido y, si es así, transmite en continuo el video generado al dispositivo de visualización de recepción 140, es decir, el video generado a partir del modelo 3D que utiliza un segundo FoV que es más ancho que el primer FoV 111. La HMD 100 es operativa además, si el movimiento estimado de la cámara 101 no satisface las una o más condiciones que son indicativas de movimiento rápido, para transmitir en continuo el video capturado al dispositivo de visualización de recepción 140, es decir, el video capturado por la cámara 101 usando el primer FoV 111. Las una o más condiciones indicativas de movimiento rápido son preferiblemente indicativas de un régimen de movimiento en el que es probable que los espectadores del video capturado sufran VIMS.
Las una o más condiciones pueden ser, por ejemplo, valores umbral para cualquiera, o una combinación de, una velocidad o velocidad de traslación, una aceleración de traslación, una velocidad de rotación y una aceleración de rotación. A este respecto, la HMD 100 puede ser operativa para determinar si el movimiento estimado de la cámara 101 satisface las una o más condiciones que son indicativas de movimiento rápido, comparando el movimiento estimado de la cámara 101 con uno o más valores umbral. Por ejemplo, la HMD 100 puede ser operativa para determinar que el movimiento estimado de la cámara 101 satisface las una o más condiciones que son indicativas de movimiento rápido si el movimiento estimado excede uno o más valores umbral. Este puede ser el caso, por ejemplo, si el usuario 151 que lleva la HMD 100 mueve su cabeza rápidamente, por traslación (hacia adelante/atrás/izquierda/derecha), rotación (girando a la izquierda/derecha) o inclinación (hacia adelante/hacia atrás/hacia la izquierda/hacia la derecha), de su cabeza.
Como ejemplo, la HMD 100 puede ser operativa para mantener un seguimiento del movimiento de la cámara 101 promediando, y potencialmente ponderando, varios valores de movimiento estimados de la cámara 101 durante un cierto período de tiempo, por ejemplo, entre unas pocas décimas de segundo y unos pocos segundos. Preferiblemente, el valor actual para el movimiento estimado promedio de la cámara 101, VCra, se calcula regularmente, por ejemplo, para cada cuadro de vídeo capturado por la cámara 101, es decir, a la velocidad de cuadros del vídeo capturado. Alternativamente, el valor actual para el movimiento estimado promedio de la cámara 101 se puede calcular para cada n-th cuadro (es decir, en 1/n de la velocidad de cuadros), donde n es un número entero positivo. Por ejemplo, en un tiempo actual fo, el movimiento estimado promedio actual de la cámara 101 se puede calcular como:
dónde V(t) es el movimiento estimado de la cámara 101 en el tiempo t, y la función de peso w(t) se selecciona de manera que:
£ n=0 W(^n) “ !> y w(t/) < w(t j ) por t i < t j .
En este ejemplo particular, el movimiento estimado de la cámara 101, V (t), puede ser cualquier componente de velocidad, tal como un componente de velocidad de traslación o de rotación, un valor absoluto de una velocidad de traslación o de rotación, o una combinación de los mismos.
Los uno o más valores umbral pueden, por ejemplo, ser configurados por un fabricante de la HMD 100, un proveedor de un software usado para colaboración remota, software que es ejecutado por los medios de procesamiento 103, o por el usuario 151. Los valores umbral pueden ser expresados como valores absolutos o relativos. Haciendo referencia al ejemplo anterior, se puede considerar que la condición indicativa de movimiento rápido se cumple, por ejemplo, si el movimiento estimado actual de la cámara 101, V(t0), excede el movimiento estimado promedio actual de la cámara 101, Vbra(t0), en una cierta cantidad, es decir, si
l / ( t 0) > a ■ l/ave( t0),
dónde a > 1. Por ejemplo, si a = 1,5, la condición indicativa de movimiento rápido se satisface si el movimiento estimado actual de la cámara 101 excede su movimiento promedio actual en al menos un 50%.
Opcionalmente, los uno o más valores umbral se pueden aprender y ajustar durante el funcionamiento normal. Por ejemplo, el dispositivo de visualización de recepción 140 puede ser operativo para detectar si el espectador 152 sufre de VIMS y notificar a la HMD 100 en consecuencia. En correspondencia, la HMD 100 puede ser operativa, al recibir dicha notificación, para registrar valores de movimiento estimados, tales como velocidad o aceleración de traslación/rotación, que desencadenan VIMS. Basándose en tales valores de movimiento estimados registrados, la HMD 100 puede ser operativa para determinar uno o más valores umbral que se seleccionan para minimizar el riesgo de que el espectador 152 sufra VIMS. Por ejemplo, en base a los valores de movimiento estimados registrados, los valores umbral pueden establecerse en un límite inferior, o justo por debajo del límite inferior, de los valores de movimiento estimados registrados que desencadenan VIMS.
Las realizaciones de la invención son ventajosas porque el riesgo de que una persona (como el espectador 152) vea un flujo de vídeo que es recibido desde, y capturado por una cámara no estacionaria (tal como la cámara 101 incluida en la HMD 100 que lleva el usuario 151) se reduce. Esto se consigue conmutando entre transmitir en continuo el video capturado por la cámara 101 si la HMD 100 no se mueve rápidamente, es decir, si el movimiento estimado de la cámara 101 no satisface las una o más condiciones indicativas de movimiento rápido, y transmitir en continuo un video que se genera a partir de un modelo 3D de la escena del mundo real utilizando un segundo FoV que es más ancho que el primer FoV 111 de la cámara 101, si la HMD 100 se mueve rápidamente, al dispositivo de visualización de recepción 140. Al alejar el zum del primer FoV 111 de la cámara 101 a un segundo FoV mayor para el video generado, puntos de referencia adicionales de la escena del mundo real, tal como la puerta 122 que se muestra en la figura 1, se hacen visibles en el video transmitido (generado) en continuo que se muestra al espectador 152. Por consiguiente, el riesgo para el espectador 152 de sufrir VIMS se reduce, o incluso se mitiga. Opcionalmente, la HMD 100 puede ser operativa para generar el modelo 3D de la escena del mundo real solo si el movimiento estimado de la cámara 101 satisface las una o más condiciones indicativas de movimiento rápido. De ese modo, se reduce la cantidad de procesamiento requerido para generar el modelo 3D a partir del video capturado, y/o los datos recibidos de cámaras adicionales y/o sensores de profundidad, lo que, ventajosamente, tiene como resultado una mayor vida útil de la batería de la HMD 100.
Opcionalmente, la HMD 100 puede ser operativa para generar el video a partir del modelo 3D usando un segundo FoV que es más ancho que el primer FoV sólo si el movimiento estimado de la cámara 101 satisface las una o más condiciones indicativas de movimiento rápido. Por lo tanto, se reduce la cantidad de procesamiento que se requiere para generar el video a partir del modelo 3D, lo que tiene como resultado, ventajosamente, una mayor vida útil de la batería de la HMD 100.
La conmutación entre diferentes representaciones de video por la HMD 100, es decir, entre video capturado y video generado, dependiendo de si el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento rápido, de acuerdo con las realizaciones de la invención, se muestra además en la figura 2. Más específicamente, la figura 2A ejemplifica un cuadro 210 del video capturado por la cámara 101, cuando el usuario 151 que lleva puesta la HMD 100 está frente al armario 121 de la estación base de radio, tal como se muestra en la figura 1, donde el cuadro 210 de vídeo capturado se muestra en el dispositivo de visualización de recepción 140. En la figura 2B, se ejemplifica un cuadro 220 de vídeo que se genera a partir del modelo 3D de la escena del mundo real que está observando el usuario 151. Se apreciará que el cuadro 220 que se muestra en la figura 2B se genera a partir de un modelo 3D de la escena del mundo real y normalmente es menos detallado que el cuadro 210 que se muestra en la figura 2A, que es capturado por la cámara 101. El nivel de detalle, en particular con respecto a los detalles, la textura de la superficie y similares, depende típicamente de los recursos de procesamiento que estén disponibles para generar el video a partir del modelo 3D. Se debe observar que el cuadro 220 se genera sustancialmente con el mismo FoV que el cuadro capturado 210, es decir, el primer FoV 111 de la cámara 101. Por el contrario, la figura 2C ilustra un cuadro 230 que se genera a partir del modelo 3D de la escena del mundo real con un FoV que es más ancho que el primer FoV 111 de la cámara 101 utilizada para capturar el cuadro 210. En otras palabras, el cuadro 230 proporciona una vista con zum alejado, de la escena del mundo real que está frente al usuario 151 que lleva la HMD 100, generado a partir de un modelo 3D de la escena del mundo real. Ventajosamente, la vista con zum alejado del cuadro 230, en comparación con el cuadro 220, contiene un punto de referencia adicional en la escena del mundo real, la puerta 122. Debido a este punto de referencia adicional, el riesgo para el espectador 152 remoto de sufrir VIMS se reduce, o incluso se mitiga.
También haciendo referencia a la figura 1, la HMD 100 puede ser operativa para transmitir en continuo el video generado al dispositivo de visualización de recepción 140 si el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento rápido y el primer FoV 111 es menor que un valor umbral que es representativo del FoV humano. De lo contrario, la HMD 100 está operativo para transmitir en continuo el video capturado al dispositivo de visualización de recepción 140. El valor umbral que es representativo del FoV humano puede, por ejemplo, ser configurado por un fabricante de la HMD 100, un proveedor de un software utilizado para colaboración remota, software que es ejecutado por los medios de procesamiento 103, o por el usuario 151, y puede presentar un valor genérico para el FoV humano o un valor específico que representa el FoV del espectador 152.
La HMD 100 puede ser operativa además para determinar el segundo FoV basándose en el primer FoV 111 y en el movimiento estimado de la cámara 101. Por ejemplo, el segundo FoV puede seleccionarse de manera que al menos un punto de referencia adicional sea visible en el video generado. La presencia de puntos de referencia adicionales, y su ubicación respectiva con respecto a un primer FoV actual 111 de la cámara 101, puede determinarse basándose en el modelo 3D generado de la escena del mundo real y en el movimiento estimado de la cámara 101. Este último se puede utilizar para determinar hasta qué punto es necesario ampliar el FoV para que un punto de referencia en la escena del mundo real sea visible en el video generado. En particular, este es el caso de los puntos de referencia que están a punto de hacerse visibles en el video generado, debido al movimiento de la cámara 101 y al movimiento asociado del primer FoV 111. La presencia de puntos de referencia adicionales en el video generado que se transmite en continuo al dispositivo de visualización de recepción 140 reduce el riesgo de que el espectador 152 sufra VIMS. Alternativamente, el segundo FoV puede ser preconfigurado por un fabricante de la HMD 100, un proveedor de un software utilizado para colaboración remota, software que es ejecutado por los medios de procesamiento 103, por el usuario 151 o por el espectador 152. Por ejemplo, el dispositivo de visualización de recepción 140 puede ser operativo para permitir que el espectador 152 ajuste el segundo FoV cambiando un ajuste en el dispositivo de visualización de recepción 140, ajuste que es señalizado a la HMD 100.
La HMD 100 puede ser operativa además, después de transmitir en continuo el video generado al dispositivo de visualización de recepción 140, para transmitir en continuo el video capturado al dispositivo de visualización de recepción 140 en respuesta a al menos uno de: transmitir en continuo el video generado durante un período de tiempo predeterminado, y determinar que el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento estabilizado. En otras palabras, la HMD 100 es operativa para volver a transmitir en continuo el video capturado si, por ejemplo, el movimiento estimado de la cámara 101 satisface las una o más condiciones indicativas de movimiento rápido durante un cierto período de tiempo, tal como cinco segundos. Este período de tiempo se selecciona para permitir que el cerebro del espectador 152 se adapte al movimiento rápido, por ejemplo, debido a los puntos de referencia adicionales que son visibles en el video generado con el zum alejado. La HMD 100 puede ser operativa para determinar que el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento estabilizado en base a uno o más valores umbral, similar a lo que se ha descrito anteriormente en relación con determinar si el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento rápido. Por ejemplo, si las una o más condiciones que son indicativas de movimiento rápido se expresan como que exceden un valor umbral para una aceleración medida, ya sea traslacional o de rotación, de la HMD 100 o la cámara 101, las una o más condiciones indicativas de movimiento estabilizado pueden expresarse en términos de que el movimiento estimado de la cámara 101 no excede, es decir, es menor que, un valor umbral correspondiente para la aceleración medida. Los conjuntos de uno o más valores umbral para detectar movimiento rápido y movimiento estabilizado, respectivamente, pueden ser idénticos o no. Ventajosamente, se utilizan valores diferentes para proporcionar un efecto de histéresis y para impedir una conmutación rápida de ida y vuelta entre la transmisión continua del video capturado y transmisión continua del video generado con zum alejado. Alternativamente, se puede usar un temporizador para garantizar que el video capturado se transmite en continuo durante un cierto período de tiempo antes de que la HMD 100 conmute a transmitir en continuo el video generado con el zum alejado, o viceversa.
Mientras que las realizaciones de la invención se han descrito principalmente haciendo referencia a la HMD 100, se apreciará que las realizaciones de la invención pueden basarse en dispositivos de cámara distintos de las HMD. Por ejemplo, se pueden implementar realizaciones de la invención en un teléfono móvil, un teléfono inteligente, una tableta, una cámara digital o similar, que se puede sostener en la mano del usuario 151 o acoplar a una parte del cuerpo del usuario 151. Como ejemplo, se pueden implementar realizaciones de la invención en una cámara montada en la cabeza, por ejemplo, una cámara GoPro, que está fijada a la cabeza del usuario 151 o a un casco que lleva puesto el usuario 151.
A continuación, se describen realizaciones de los medios de procesamiento 103 comprendidos en realizaciones de la HMD, tales como la HMD 100, haciendo referencia a las figuras 3 y 4.
En la figura 3 se muestra una primera realización 300 de los medios de procesamiento 103. Los medios de procesamiento 300 comprenden una unidad de procesamiento 302, tal como un procesador de propósito general, y un medio de almacenamiento legible por ordenador 303, tal como una memoria de acceso aleatorio (RAM), una memoria Flash o similar. Además, los medios de procesamiento 300 comprenden una o más interfaces 301 ("E/S" en la figura 3) para controlar y/o recibir información de otros componentes incluidos en la HMD, tales como la cámara 101, el circuito de interfaz de red 102, y el sensor o sensores de movimiento 104. La memoria 303 contiene instrucciones 304 ejecutables por ordenador, es decir, un programa informático o software, para hacer que la HMD se haga operativa para funcionar de acuerdo con las realizaciones de la invención que se describen en este documento, cuando las instrucciones 304 ejecutables por ordenador se ejecutan en la unidad de procesamiento 302.
Una realización alternativa 400 de los medios de procesamiento 103 se ilustra en la figura 4. De manera similar a los medios de procesamiento 300, los medios de procesamiento 400 comprenden una o más interfaces 401 ("E/S" en la figura 4) para controlar y/o recibir información de otros componentes comprendidos en la HMD, tales como la cámara 101, el circuito de interfaz de red 102 y el sensor o sensores de movimiento 104. Los medios de procesamiento 400 comprenden además un módulo de modelo 402, un módulo de vídeo 403, un módulo de movimiento 404 y un módulo de transmisión en continuo 405, que están configurados para hacer que la HMD funcione de acuerdo con las realizaciones de la invención descritas en este documento.
En particular, el módulo de modelo 402 está configurado para generar un modelo 3D de la escena del mundo real, y el módulo de video 403 está configurado para generar un video a partir del modelo 3D usando un segundo FoV que es más ancho que el primer FoV 111. El módulo de movimiento 404 está configurado para estimar un movimiento de la cámara 101. El módulo de transmisión en continuo 405 está configurado para transmitir en continuo el video generado al dispositivo de visualización de recepción 140 si el movimiento estimado de la cámara satisface una o más condiciones indicativas de movimiento rápido; de lo contrario, o sino transmitir en continuo el vídeo capturado al dispositivo de visualización de recepción 140. Preferiblemente, las una o más condiciones indicativas de movimiento rápido son indicativas de un régimen de movimiento en el que los espectadores del vídeo capturado sufren VIMS. Opcionalmente, el módulo de transmisión en continuo 405 puede configurarse para transmitir en continuo el video generado al dispositivo de visualización de recepción 140 si el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento rápido y el primer FoV 111 es menor que un valor umbral representativo del FoV humano, o sino transmitir en continuo el vídeo capturado al dispositivo de visualización de recepción 140.
Opcionalmente, el módulo de movimiento 404 puede configurarse para estimar el movimiento de la cámara 101 basándose en el movimiento detectado de la HMD 100. Alternativamente, el módulo de movimiento 404 puede configurarse para estimar el movimiento de la cámara 101 basándose en el análisis de cuadros posteriores de el video capturado.
Opcionalmente, el módulo de vídeo 403 puede configurarse para determinar el segundo FoV basándose en el primer FoV 111 y en el movimiento estimado de la cámara 101.
Opcionalmente, el módulo de transmisión en continuo 405 puede configurarse además para transmitir en continuo el video capturado al dispositivo de visualización de recepción 140 después de transmitir en continuo el video generado al dispositivo de visualización de recepción 140 y en respuesta a al menos una de las transmisiones en continuo del video generado durante una duración predeterminada de tiempo, y determinar que el movimiento estimado de la cámara 101 satisface una o más condiciones indicativas de movimiento estabilizado.
Los módulos 402-405 comprendidos en los medios de procesamiento 400 pueden configurarse además para realizar operaciones adicionales o alternativas de acuerdo con realizaciones de la invención, tal como se describe en este documento.
Las interfaces 301 y 401, y los módulos 402-405, así como cualquier módulo adicional comprendido en los medios de procesamiento 400, pueden implementarse mediante cualquier tipo de circuito electrónico, por ejemplo, uno cualquiera o una combinación de circuitos electrónicos analógicos, circuitos electrónicos digitales y medios de procesamiento que ejecutan un programa informático adecuado, es decir, software.
A continuación, se describen realizaciones 500 del método realizado por una HMD, tal como la HMD 100, haciendo referencia a la figura 5.
El método 500 comprende capturar 501 un video de una escena del mundo real con un primer FoV usando una cámara 101 incluida en la HMD 100, generar 503/513 un modelo 3D de la escena del mundo real y generar 504/514 un video del modelo 3D usa un segundo FoV que es más ancho que el primer FoV 111. El método 500 comprende además estimar 505 un movimiento de la cámara 101, y transmitir en continuo 515 el video generado a un dispositivo de visualización de recepción 140 usando un circuito de interfaz de red 102 comprendido en la HMD 100 si el movimiento estimado de la cámara 101 satisface 506 una o más condiciones indicativas de movimiento rápido, o sino transmitiendo en continuo 525 el video capturado al dispositivo de visualización de recepción 140 usando el circuito de interfaz de red 102. Preferiblemente, las una o más condiciones indicativas de movimiento rápido son indicativas de un régimen de movimiento en el que los espectadores del video capturado sufren VIMS.
Opcionalmente, el vídeo 504 generado se transmite en continuo 515 al dispositivo de visualización de recepción 140 si el movimiento 505 estimado de la cámara 101 satisface 506 una o más condiciones indicativas de movimiento rápido y el primer FoV 111 es menor que un valor umbral representativo del FoV humano, y sino el vídeo capturado se transmite en continuo 525 al dispositivo de visualización de recepción 140.
Opcionalmente, el movimiento de la cámara 101 se estima 505 basándose en un movimiento detectado de la HMD 100 usando al menos un sensor de movimiento 104 incluido en la HMD 100. Alternativamente, el movimiento de la cámara 101 se estima 505 basándose en el análisis de cuadros posteriores de el video 501 capturado.
Opcionalmente, el método 500 puede comprender además determinar 512 el segundo FoV basándose en el primer FoV 111 y el movimiento 505 estimado de la cámara 101.
Opcionalmente, el método 500 comprende además transmitir en continuo 525 el video capturado al dispositivo de visualización de recepción 140 después de transmitir en continuo 515 el video generado al dispositivo de visualización de recepción 140 y en respuesta a al menos uno de transmitir en continuo 516 del video generado durante un período de tiempo predeterminado y determinar que el movimiento estimado de la cámara satisface 517 una o más condiciones indicativas de movimiento estabilizado.
Se apreciará que el método 500 puede comprender etapas adicionales o modificadas de acuerdo con lo que se describe a lo largo de esta descripción. Una realización del método 500 puede implementarse como software, tal como el programa informático 304, para ser ejecutado por una unidad de procesamiento comprendida en una HMD, por lo que la HMD pasa a ser operativa para funcionar de acuerdo con las realizaciones de la invención descritas en este documento.
El experto en la materia se da cuenta de que la invención no se limita en modo alguno a las realizaciones descritas anteriormente. Por el contrario, son posibles muchas modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas.

Claims (16)

REIVINDICACIONES
1. Una pantalla montada en la cabeza, HMD, (100) que comprende:
una cámara (101) configurada para capturar un video de una escena del mundo real con un primer campo de visión (111),
un circuito de interfaz de red (102) configurado para transmitir en continuo video a un dispositivo de visualización de recepción (140), y
medios de procesamiento (103), caracterizada por que estos son operativos para:
generar un modelo tridimensional, 3D, de la escena del mundo real,
generar un video a partir del modelo 3D utilizando un segundo campo de visión que es más ancho que el primer campo de visión (111),
estimar un movimiento de la cámara (101), y
si el movimiento estimado de la cámara (101) satisface una o más condiciones indicativas de movimiento rápido:
transmitir en continuo el video generado al dispositivo de visualización de recepción (140), de lo contrario: transmitir en continuo el video capturado al dispositivo de visualización de recepción (140).
2. La HMD según la reivindicación 1, siendo operativos los medios de procesamiento (103) para, si el movimiento estimado de la cámara (101) satisface una o más condiciones indicativas de movimiento rápido y el primer campo de visión (111) es menor que un valor umbral representativo del campo de visión humano, transmitir en continuo el video generado al dispositivo de visualización de recepción (140), de lo contrario transmitir en continuo el video capturado al dispositivo de visualización de recepción (140).
3. La HMD según la reivindicación 1 o 2, que comprende además al menos un sensor de movimiento (104) configurado para detectar un movimiento de la HMD (100), siendo los medios de procesamiento (103) operativos para estimar el movimiento de la cámara (101) basándose en el movimiento detectado de la HMD (100).
4. La HMD según la reivindicación 1 o 2, siendo los medios de procesamiento (103) operativos para estimar el movimiento de la cámara (101) basándose en el análisis de cuadros posteriores del vídeo capturado.
5. La HMD según una cualquiera de las reivindicaciones 1 a 4, siendo los medios de procesamiento (103) operativos además para determinar el segundo campo de visión en base al primer campo de visión (111) y al movimiento estimado de la cámara (101).
6. La HMD según una cualquiera de las reivindicaciones 1 a 5, en la que las una o más condiciones indicativas de movimiento rápido son indicativas de un régimen de movimiento en el que los espectadores (152) del vídeo capturado sufren mareo por movimiento inducido visualmente, VIMS.
7. La HMD según una cualquiera de las reivindicaciones 1 a 6, siendo los medios de procesamiento (103) operativos además para, después de transmitir en continuo el video generado al dispositivo de visualización de recepción (140), transmitir en continuo el video capturado al dispositivo de visualización de recepción (140) en respuesta a al menos uno de:
transmitir en continuo el video generado durante un período de tiempo predeterminado, y
determinar que el movimiento estimado de la cámara (101) satisface una o más condiciones indicativas de movimiento estabilizado.
8. Un método (500) llevado a cabo por una pantalla montada en la cabeza, HMD, comprendiendo el método:
capturar (501) un video de una escena del mundo real con un primer campo de visión utilizando una cámara incluida en la HMD,
estando el método caracterizado por las siguientes etapas:
generar (503, 513) un modelo tridimensional, 3D, de la escena del mundo real,
generar (504, 514) un video a partir del modelo 3D usando un segundo campo de visión que es más ancho que el primer campo de visión,
estimar (505) un movimiento de la cámara, y
si el movimiento estimado de la cámara satisface (506) una o más condiciones indicativas de movimiento rápido:
transmitir en continuo (515) el video generado a un dispositivo de visualización de recepción utilizando un circuito de interfaz de red comprendido en la HMD, de lo contrario:
transmitir en continuo (525) el vídeo capturado al dispositivo de visualización de recepción utilizando el circuito de interfaz de red.
9. El método según la reivindicación 8, en el que, si el movimiento estimado de la cámara satisface (506) una o más condiciones indicativas de movimiento rápido y el primer campo de visión es menor que un valor umbral representativo del campo de visión humano, el video generado se transmite en continuo (515) al dispositivo de visualización de recepción, de lo contrario, el video capturado se transmite en continuo (525) al dispositivo de visualización de recepción.
10. El método según la reivindicación 8 o 9, en el que el movimiento de la cámara se estima (505) basándose en un movimiento detectado de la HMD usando al menos un sensor de movimiento incluido en la HMD.
11. El método según la reivindicación 8 o 9, en el que el movimiento de la cámara se estima (505) basándose en el análisis de cuadros posteriores del vídeo capturado.
12. El método según cualquiera de las reivindicaciones 8 a 11, que comprende además determinar (512) el segundo campo de visión basándose en el primer campo de visión y en el movimiento estimado (505) de la cámara.
13. El método según una cualquiera de las reivindicaciones 8 a 12, en el que las una o más condiciones indicativas de movimiento rápido son indicativas de un régimen de movimiento en el que los espectadores del vídeo capturado sufren mareo por movimiento inducido visualmente, VIMS.
14. El método según una cualquiera de las reivindicaciones 8 a 13, que comprende además, después de transmitir en continuo (515) el video generado al dispositivo de visualización de recepción, transmitir en continuo (525) el video capturado al dispositivo de visualización de recepción en respuesta a al menos uno de:
transmitir en continuo (516) el video generado durante un período de tiempo predeterminado, y determinar que el movimiento estimado de la cámara satisface (517) una o más condiciones indicativas de movimiento estabilizado.
15. Un programa informático (304) que comprende instrucciones ejecutables por ordenador para hacer que una pantalla montada en la cabeza, HMD, realice el método según cualquiera de las reivindicaciones 8 a 14, cuando las instrucciones ejecutables por ordenador se ejecutan en una unidad de procesamiento (302) comprendida en la HMD, la HMD comprende una cámara y una interfaz de red.
16. Un medio de almacenamiento legible por ordenador (303) que tiene almacenado en el mismo el programa informático (304) según la reivindicación 15.
ES18731752T 2018-03-28 2018-06-04 Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada Active ES2898216T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862649106P 2018-03-28 2018-03-28
PCT/EP2018/064592 WO2019185173A1 (en) 2018-03-28 2018-06-04 Head-mounted display and method to reduce visually induced motion sickness in a connected remote display

Publications (1)

Publication Number Publication Date
ES2898216T3 true ES2898216T3 (es) 2022-03-04

Family

ID=62631050

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18731752T Active ES2898216T3 (es) 2018-03-28 2018-06-04 Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada

Country Status (16)

Country Link
US (1) US11587285B2 (es)
EP (1) EP3776143B1 (es)
JP (1) JP6993516B2 (es)
KR (1) KR102456332B1 (es)
CN (1) CN111788538B (es)
AR (1) AR114718A1 (es)
AU (1) AU2018416431B2 (es)
BR (1) BR112020014077B1 (es)
CA (1) CA3093180C (es)
CO (1) CO2020008872A2 (es)
ES (1) ES2898216T3 (es)
MX (1) MX2020009804A (es)
RU (1) RU2751981C1 (es)
SG (1) SG11202006241XA (es)
WO (1) WO2019185173A1 (es)
ZA (1) ZA202003994B (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
EP4143793A4 (en) * 2020-04-30 2024-05-22 Marsupial Holdings Inc. DISPLAY DEVICE WAS WEARABLE NEAR THE EYE WITH EXTENDED FIELD OF VISION
WO2022060518A1 (en) * 2020-09-15 2022-03-24 Carnelian Laboratories Llc Head-mountable device and connector
US11816231B2 (en) 2021-11-22 2023-11-14 Bank Of America Corporation Using machine-learning models to determine graduated levels of access to secured data for remote devices

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US9648907B2 (en) 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US9288468B2 (en) 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9390344B2 (en) 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP6511893B2 (ja) * 2015-03-23 2019-05-15 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
KR20170044319A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이의 시야 확장 방법
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Also Published As

Publication number Publication date
US20210335032A1 (en) 2021-10-28
AU2018416431B2 (en) 2021-07-29
CO2020008872A2 (es) 2020-07-31
RU2751981C1 (ru) 2021-07-21
KR20200123833A (ko) 2020-10-30
AR114718A1 (es) 2020-10-07
EP3776143A1 (en) 2021-02-17
CN111788538A (zh) 2020-10-16
EP3776143B1 (en) 2021-09-29
ZA202003994B (en) 2022-09-28
KR102456332B1 (ko) 2022-10-20
MX2020009804A (es) 2020-10-14
WO2019185173A1 (en) 2019-10-03
US11587285B2 (en) 2023-02-21
SG11202006241XA (en) 2020-07-29
CN111788538B (zh) 2023-08-25
BR112020014077B1 (pt) 2022-10-04
JP6993516B2 (ja) 2022-01-13
AU2018416431A1 (en) 2020-08-13
CA3093180A1 (en) 2019-10-03
CA3093180C (en) 2023-02-28
BR112020014077A2 (pt) 2020-12-01
JP2021520668A (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
ES2898216T3 (es) Pantalla montada en la cabeza y método para reducir el mareo por movimiento inducido visualmente en una pantalla remota conectada
ES2966264T3 (es) Sistema y método de visualización portátil
JP6503070B2 (ja) 携帯型デバイスの位置を決定するための方法
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
JP6983837B2 (ja) 複数のカメラからのビューを組み合わせる方法及びカメラシステム
CA2870751C (en) Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
US9965830B2 (en) Image processing apparatus, image processing method, and program
KR20180051607A (ko) 픽셀 속도들을 사용하는 전자 디스플레이 안정화
US10419747B2 (en) System and methods for performing electronic display stabilization via retained lightfield rendering
GB2556910A (en) Virtual reality display
ES2890428T3 (es) Dispositivo de visualización montado en la cabeza y su método
US20200249748A1 (en) Artificial reality system having adaptive degrees of freedom (dof) selection
ES2931181T3 (es) Método y sistema para determinar una dirección de mirada actual
US20150256764A1 (en) Active-tracking based systems and methods for generating mirror image
KR20180038175A (ko) 가상 현실 서비스를 제공하는 서버, 디바이스 및 방법
JP6482855B2 (ja) 監視システム
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
ES2928951T3 (es) Aparato y procedimiento de generación de una señal de imagen
CN111684784B (zh) 图像处理方法和装置
KR20150006582A (ko) 열화상 카메라에서 촬영된 개체가 사람인지 여부를 판단하는 방법 및 이를 이용한 열화상 시스템
WO2020049665A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2014099695A (ja) 移動体観測装置