ES2642263T3 - Control de contenido de realidad virtual - Google Patents

Control de contenido de realidad virtual Download PDF

Info

Publication number
ES2642263T3
ES2642263T3 ES14200212.0T ES14200212T ES2642263T3 ES 2642263 T3 ES2642263 T3 ES 2642263T3 ES 14200212 T ES14200212 T ES 14200212T ES 2642263 T3 ES2642263 T3 ES 2642263T3
Authority
ES
Spain
Prior art keywords
virtual reality
reality content
observer
interest
visual virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES14200212.0T
Other languages
English (en)
Inventor
Jussi Artturi LEPPÄNEN
Antti Johannes Eronen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Application granted granted Critical
Publication of ES2642263T3 publication Critical patent/ES2642263T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Control de contenido de realidad virtual Campo tecnologico
Las realizaciones de la presente invencion se refieren a controlar el avance de contenido de realidad virtual. Tal contenido de realidad virtual puede visualizarse, por ejemplo, usando un dispositivo de visualizacion montado en la cabeza.
Antecedentes
La realidad virtual proporciona un entorno simulado por ordenador que simula la presencia de un observador en ese entorno. Un observador puede experimentar, por ejemplo, un entorno de realidad virtual usando un dispositivo de visualizacion montado en la cabeza que comprende una pantalla estereoscopica.
El documento WO 2013/036237 desvela un metodo que comprende detectar lo que esta mirando un usuario en una pantalla de visualizacion y responder modificando la reproduccion de medios de audio o visuales.
El documento US 2006/0256133 desvela un sistema que determina si una mirada del usuario cae dentro de un llmite espacial predeterminado de un area de visualizacion de publicidad y reproduce un anuncio basado en video en respuesta a una determination de este tipo.
El documento US 2010/0079508 desvela un dispositivo electronico que tiene capacidades de detection de mirada que permiten que el dispositivo detecte cuando esta mirando un usuario en el dispositivo.
El documento WO 2013/095416 desvela un procesador que determina las caracterlsticas de la interaction de un usuario con una escena de un video de flujo continuo y responde.
Breve sumario
De acuerdo con diversas realizaciones de la invencion, pero no necesariamente todas, se proporciona un metodo, que comprende: determinar al menos una primera region de interes en un primer instante en un contenido de realidad virtual visual que esta configurado para extenderse mas alla de un campo de vision del observador cuando se visualiza el contenido de realidad virtual visual; monitorizar, mientras un observador esta visualizando el contenido de realidad virtual visual, si una proportion definida del campo de vision del observador coincide con la primera region de interes en el contenido de realidad virtual visual; controlar el avance del contenido de realidad virtual visual basandose en si la proporcion definida del campo de vision del observador coincide con la primera region de interes determinada en el contenido de realidad virtual visual; determinar una nueva segunda region de interes, situada fuera del campo de vision del observador mientras el observador esta visualizando el contenido de realidad virtual visual, en un segundo instante en el contenido de realidad virtual visual; determinar, mientras el observador esta visualizando el contenido de realidad virtual visual, que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual; y detener el avance de al menos una portion del contenido de realidad virtual visual, que comprende la nueva segunda region de interes, basandose en la determinacion de que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual.
De acuerdo con diversas realizaciones de la invencion, pero no necesariamente todas, se proporciona codigo de programa informatico que, cuando se realiza por al menos un procesador, provoca que al menos se realice lo siguiente: determinar al menos una primera region de interes en un primer instante en un contenido de realidad virtual visual que esta configurado para extenderse mas alla de un campo de vision del observador cuando se visualiza el contenido de realidad virtual visual; monitorizar, mientras un observador esta visualizando el contenido de realidad virtual visual, si una proporcion definida del campo de vision del observador coincide con la primera region de interes en el contenido de realidad virtual visual; controlar el avance del contenido de realidad virtual visual basandose en si la proporcion definida del campo de vision del observador coincide con la primera region de interes determinada en el contenido de realidad virtual visual; determinar una nueva segunda region de interes, situada fuera del campo de vision del observador mientras el observador esta visualizando el contenido de realidad virtual visual, en un segundo instante en el contenido de realidad virtual visual; determinar, mientras el observador esta visualizando el contenido de realidad virtual visual, que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual; y detener el avance de al menos una porcion del contenido de realidad virtual visual, que comprende la nueva segunda region de interes, basandose en la determinacion de que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual.
El codigo de programa informatico puede proporcionarse por un programa informatico. El programa informatico puede almacenarse en un medio legible por ordenador no transitorio.
5
10
15
20
25
30
35
40
45
50
55
60
65
De acuerdo con diversas realizaciones de la invencion, pero no necesariamente todas, se proporciona un aparato, que comprende: medios para determinar al menos una primera region de interes en contenido de realidad virtual visual que esta configurado para extenderse mas alla de un campo de vision del observador cuando se visualiza el contenido de realidad virtual visual; medios para monitorizar, mientras un observador esta visualizando el contenido de realidad virtual visual, si una proporcion definida de un campo de vision del observador coincide con la primera region de interes en el contenido de realidad virtual visual; y medios para controlar el avance del contenido de realidad virtual visual basandose en si la al menos una porcion definida del campo de vision del observador coincide con la al menos una region de interes determinada en el contenido de realidad virtual visual; medios para determinar una nueva segunda region de interes, situada fuera del campo de vision del observador mientras el observador esta visualizando el contenido de realidad virtual visual, en un segundo instante en el contenido de realidad virtual visual; medios para determinar, mientras el observador esta visualizando el contenido de realidad virtual visual, que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual; y medios para detener el avance de al menos una porcion del contenido de realidad virtual visual, que comprende la nueva segunda region de interes, basandose en la determinacion de que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en la proporcion de contenido de realidad virtual visual de un campo de vision del observador coincide con la al menos una region de interes identificada por el al menos un identificador.
De acuerdo con diversas realizaciones de la invencion, pero no necesariamente todas, se proporcionan ejemplos segun se reivindican en las reivindicaciones adjuntas.
Breve descripcion
Para un mejor entendimiento de diversos ejemplos descritos en la descripcion detallada, se hara ahora referencia a modo de ejemplo unicamente a los dibujos adjuntos en los que:
La Figura 1 ilustra un primer aparato en forma de un chip o un conjunto de chips;
La Figura 2 ilustra un segundo aparato en forma de un dispositivo electronico que comprende el primer aparato ilustrado en la Figura 1;
La Figura 3 ilustra un tercer aparato en forma de un chip/conjunto de chips;
La Figura 4 ilustra un cuarto aparato en forma de un dispositivo electronico que comprende el aparato ilustrado en la Figura 3;
La Figura 5 ilustra un diagrama de flujo de un primer metodo realizado por el primer y/o segundo aparato;
La Figura 6 ilustra un diagrama de flujo de un segundo metodo realizado por el tercer y/o cuarto aparato;
Las Figuras 7 y 8 ilustran detalles esquematicos en los que se esta creando contenido de realidad virtual;
La Figura 9 ilustra una region de interes en un primer instante en un contenido de realidad virtual visual;
La Figura 10 ilustra multiples regiones de interes en un segundo instante en el contenido de realidad virtual visual;
La Figura 11 ilustra una region de interes en un tercer instante en el contenido de realidad virtual visual;
La Figuras 12A y 12B ilustran dos diferentes ejemplos de una proporcion definida de un campo de vision de un observador;
La Figura 13 ilustra un diagrama esquematico de un observador que visualiza el contenido de realidad virtual visual en el primer instante en el contenido de realidad virtual visual, como se ilustra esquematicamente en la Figura 9;
La Figura 14 ilustra un observador que visualiza el contenido de realidad virtual visual en el tercer instante en el contenido de realidad virtual visual, como se ilustra esquematicamente en la Figura 11; y
La Figura 15 ilustra esquematicamente el observador que visualiza el contenido de realidad virtual visual en el tercer instante en el contenido de realidad virtual visual, como se ilustra esquematicamente en la Figura 11, donde el usuario ha movido su campo de vision con relacion a la Figura 14.
Descripcion detallada
Las realizaciones de la invencion se refieren a controlar el avance de contenido de realidad virtual visual basandose en si al menos una proporcion definida del campo de vision de un usuario coincide con al menos una region de interes predefinida en el contenido de realidad virtual visual.
La Figura 1 ilustra un aparato 10 que puede ser un chip o un conjunto de chips. El aparato 10 puede formar parte de un dispositivo informatico tal como el ilustrado en la Figura 2.
El aparato 10 comprende al menos un procesador 12 y al menos una memoria 14. Un unico procesador 12 y una unica memoria 14 se muestran en la Figura 1 y se analizan a continuacion simplemente para fines de ilustracion.
El procesador 12 esta configurado para leer desde y escribir en la memoria 14. El procesador 12 puede comprender una interfaz de salida mediante la que se emiten datos y/o comandos mediante el procesador 12 y una interfaz de entrada mediante la que se introducen datos y/o comandos al procesador 12.
5
10
15
20
25
30
35
40
45
50
55
60
65
La memoria 14 se ilustra almacenando un programa informatico 17 que comprende instrucciones/codigo de programa informatico 18 que controlan la operacion del aparato 10 cuando se cargan en el procesador 12. El procesador 12, leyendo la memoria 14, puede cargar y ejecutar el codigo de programa informatico 18. El codigo de programa informatico 18 proporciona la logica y rutinas que posibilitan que el aparato 10 realice los metodos ilustrados en la Figura 5 y descritos a continuacion. En este sentido, el procesador 12, la memoria 14 y el codigo de programa informatico 18 proporcionan medios para realizar los metodos ilustrados en la Figura 5 y descritos a continuacion.
Aunque la memoria 14 se ilustra como un unico componente en la Figura 1, puede implementarse como uno o mas componentes separados, algunos o todos los cuales pueden estar integrados y/o se extralbles y/o pueden proporcionar almacenamiento dinamico/en cache permanente/semi-permanente.
El codigo de programa informatico 18 puede llegar al aparato 10 por cualquier mecanismo de entrega 30 adecuado. El mecanismo de entrega 30 puede ser, por ejemplo, un medio de almacenamiento legible por ordenador no transitorio tal como un disco optico o una tarjeta de memoria. El mecanismo de entrega 30 puede ser una senal configurada para transferir de manera fiable el codigo de programa informatico 18. El aparato 10 puede provocar la propagacion o transmision del codigo de programa informatico 18 como una senal de datos de ordenador.
La Figura 2 ilustra un segundo aparato 20 en forma de un dispositivo informatico que comprende el primer aparato 10. El segundo aparato 20 puede ser, por ejemplo, un ordenador personal.
En el ejemplo ilustrado en la Figura 2, el procesador 12 y la memoria 14 estan co-ubicados en un alojamiento/cuerpo 27. El segundo aparato 20 puede comprender adicionalmente una pantalla y uno o mas dispositivos de entrada de usuario (tal como un raton informatico), por ejemplo.
Los elementos 12 y 14 estan acoplados operacionalmente y puede existir cualquier numero o combination de elementos intermedios entre ellos (incluyendo elementos no intermedios).
En la Figura 2, la memoria 14 se ilustra almacenando datos de contenido de realidad virtual 21. Los datos de contenido de realidad virtual 21 pueden comprender, por ejemplo, contenido audiovisual en forma de un video (tal como una pellcula) o un videojuego. Los datos de contenido de realidad virtual 21 proporcionan contenido de realidad virtual que puede experimentarse, por ejemplo, por un observador que usa un dispositivo de visualization montado en la cabeza. Los datos de contenido de realidad virtual 21 comprenden datos de contenido de realidad virtual visuales 22, una pluralidad de identificadores 24 y multiples pistas de audio 26.
Los datos de contenido de realidad virtual visuales 22 proporcionan contenido de realidad virtual visual. El contenido de realidad virtual visual puede ser contenido estereoscopico y/o contenido panoramico que se extiende mas alla de un campo de vision del observador cuando se visualiza. En algunos ejemplos, el contenido de realidad virtual visual es contenido de realidad virtual visual de 360° en el que un observador puede experimentar un entorno virtual simulado por ordenador en 360°. En algunos otros ejemplos, el contenido de realidad virtual visual puede cubrir menos de los 360° completos alrededor del observador, tal como 270° o alguna otra cantidad. En algunas implementaciones, el contenido de realidad virtual visual es visible usando un dispositivo de visualizacion montado en la cabeza y un observador puede experimentar el entorno virtual simulado por ordenador moviendo, por ejemplo, su cabeza mientras esta llevando el dispositivo de visualizacion montado en la cabeza. En otras implementaciones, el contenido de realidad virtual visual es visible sin usar un dispositivo de visualizacion montado en la cabeza.
En algunas implementaciones, los datos de contenido de realidad virtual visuales 22 pueden incluir diferentes partes que forman los datos de contenido de realidad virtual visuales 22. Diferentes partes de los datos 22 pueden haberse codificado por separado y hacer referencia a diferentes tipos de contenido. Los diferentes tipos de contenido pueden representarse de manera separada. Por ejemplo, una o mas partes de los datos 22 pueden haberse codificado para proporcionar contenido de fondo/escenario visual, mientras que una o mas otras partes de los datos 22 pueden haberse codificado para proporcionar contenido de objeto de primer plano/en movimiento. El contenido de fondo/escenario puede representarse por separado del contenido de objeto de primer plano/en movimiento.
Los identificadores 24 identifican regiones de interes predefinidas en los datos de contenido de realidad virtual visuales. Los identificadores 24 son para uso al controlar el avance del contenido de realidad virtual visual. Esto se describira en mayor detalle a continuacion.
Las multiples pistas de audio 26 proporcionan audio que acompana el contenido de realidad virtual visual. Diferentes pistas de audio pueden proporcionar el audio para diferentes regiones virtuales del entorno (360°) simulado en el contenido de realidad virtual visual. Adicionalmente, algunas pistas de audio pueden proporcionar, por ejemplo, audio de fondo/ambiente mientras que otras pistas de audio pueden proporcionar audio de primer plano que puede incluir, por ejemplo, dialogo.
La Figura 3 ilustra un tercer aparato 110 que puede ser un chip o un conjunto de chips. El tercer aparato 110 puede formar parte de un dispositivo informatico tal como el ilustrado en la Figura 4.
5
10
15
20
25
30
35
40
45
50
55
60
65
El aparato 110 comprende al menos un procesador 112 y al menos una memoria 114. Un unico procesador 112 y una unica memoria 114 se muestran en la Figura 3 y se analizan a continuation simplemente para fines de ilustracion.
El procesador 112 esta configurado para leer desde y escribir en la memoria 114. El procesador 112 puede comprender una interfaz de salida mediante la que se emiten datos y/o comandos por el procesador 112 y una interfaz de entrada mediante la que se introducen datos y/o comandos al procesador 112.
La memoria 114 se ilustra almacenando un programa informatico 117 que comprende las instrucciones/codigo de programa informatico 118 que controlan la operation del aparato 110 cuando se cargan en el procesador 112. El procesador 112, leyendo la memoria 114, puede cargar y ejecutar el codigo de programa informatico 118. El codigo de programa informatico 118 proporciona la logica y rutinas que posibilitan que el aparato 110 realice los metodos ilustrados en la Figura 6 y descritos a continuacion. En este sentido, el procesador 112, la memoria 114 y el codigo de programa informatico 118 proporcionan medios para realizar los metodos ilustrados en la Figura 6 y descritos a continuacion.
Aunque la memoria 114 se ilustra como un unico componente en la Figura 3, puede implementarse como uno o mas componentes separados, algunos o todos los cuales pueden estar integrados/ser extralbles y/o pueden proporcionar almacenamiento dinamico/en cache permanente/semi-permanente.
El codigo de programa informatico 118 puede llegar en el aparato 110 mediante cualquier mecanismo de entrega 130 adecuado. El mecanismo de entrega 130 puede ser, por ejemplo, un medio de almacenamiento legible por ordenador no transitorio tal como un disco optico o una tarjeta de memoria. El mecanismo de entrega 130 puede ser una senal configurada para transferir de manera fiable el codigo de programa informatico 118. El aparato 110 puede provocar la propagation o transmision del codigo de programa informatico 118 como una senal de datos de ordenador.
La Figura 4 ilustra un cuarto aparato 120 en forma de un dispositivo informatico que comprende el tercer aparato 110. En algunas implementaciones, el aparato 120 esta configurado para conectarse a un dispositivo de visualization montado en la cabeza. En estas implementaciones, el aparato 120 puede ser, por ejemplo, una consola de juegos o un ordenador personal. En otras implementaciones, el aparato 120 puede ser un dispositivo de visualizacion montado en la cabeza o una combination de una consola de juegos/ordenador personal y un dispositivo de visualizacion montado en la cabeza.
En el ejemplo ilustrado en la Figura 4, la memoria 114 se ilustra almacenando los datos de contenido de realidad virtual 20 explicados anteriormente. El procesador 112 y la memoria 114 estan co-ubicados en un alojamiento/cuerpo 127.
Los elementos 12 y 14 estan acoplados operacionalmente y puede existir cualquier numero o combinacion de elementos intermedios entre ellos (no incluyendo elementos intermedios).
Un dispositivo de visualizacion montado en la cabeza puede comprender una pantalla estereoscopica y uno o mas sensores de movimiento. La pantalla estereoscopica comprende optica y uno o mas paneles de visualizacion, y esta configurada para posibilitar al observador visualizar el contenido de realidad virtual visual almacenado como los datos de contenido de realidad virtual visuales 22. El uno o mas sensores de movimiento pueden configurarse para detectar la orientation del dispositivo de visualizacion montado en la cabeza en tres dimensiones y para detectar el movimiento del dispositivo de visualizacion montado en la cabeza en tres dimensiones. El uno o mas sensores de movimiento pueden comprender, por ejemplo, uno o mas acelerometros, uno o mas magnetometros y/o uno o mas giroscopos.
Un dispositivo de visualizacion montado en la cabeza puede comprender tambien auriculares o audlfonos para transportar el audio en las pistas de audio 26 a un usuario/observador. Como alternativa, el audio en las pistas de audio 26 puede transportarse a un usuario/observador por altavoces separados.
Un primer ejemplo de un primer metodo de acuerdo con las realizaciones de la invention se describira ahora en relation con la Figura 5.
En el primer ejemplo del primer metodo, en el bloque 501 en la Figura 5, se crea y almacena contenido de realidad virtual como datos de contenido de realidad virtual 21. El aspecto visual se almacena como datos de contenido de realidad virtual visuales 22 y el aspecto audible se almacena como multiples pistas de audio 26.
En el bloque 502 en la Figura 5, un usuario proporciona entrada de usuario en el segundo aparato 20 que identifica diversas regiones de interes en los datos de contenido de realidad virtual visuales 22 en la memoria 14 del segundo aparato 20. La entrada de usuario provoca que el procesador 12 del segundo aparato 20 almacene los identificadores 24 en los datos de contenido de realidad virtual 21 que identifican aquellas regiones de interes en los datos de contenido de realidad virtual visuales 22.
5
10
15
20
25
30
35
40
45
50
55
60
65
Los identificadores almacenados 24 identifican diferentes regiones de interes en el contenido de realidad virtual visual en diferentes instantes en el contenido de realidad virtual visual. La identificacion de regiones de interes en el contenido de realidad virtual visual posibilita el avance del contenido de realidad virtual visual a controlarse cuando se consume. Esto se describe a continuacion en relacion con la Figura 6.
Un primer ejemplo de un segundo metodo de acuerdo con las realizaciones de la invencion se describira ahora en relacion con la Figura 6.
En este primer ejemplo del segundo metodo, los datos de contenido de realidad virtual 21 almacenados en la memoria 14 del segundo aparato 20 se proporcionan al cuarto aparato 120 ilustrado en la Figura 4. En algunas implementaciones de la invencion, los datos de contenido de realidad virtual 21 pueden almacenarse en un servidor y descargarse o enviarse por flujo continuo al cuarto aparato 120. En otras implementaciones, los datos de contenido de realidad virtual 21 pueden proporcionarse al cuarto aparato 120 por un disco optico o una tarjeta de memoria, por ejemplo.
En el bloque 601 en la Figura 6, un observador esta consumiendo el contenido de realidad virtual proporcionado por los datos de contenido de realidad virtual 21. Por ejemplo, el puede estar consumiendo el contenido de realidad virtual mediante un dispositivo de visualizacion montado en la cabeza. El procesador 112 del cuarto aparato 120 provoca y posibilita que el observador consuma el contenido de realidad virtual. Como se ha explicado anteriormente, el cuarto aparato 120 puede ser el dispositivo de visualizacion montado en la cabeza o un dispositivo informatico que esta conectado al dispositivo de visualizacion montado en la cabeza, tal como una consola de juegos o un ordenador personal, o puede ser una combinacion de los dos.
En el bloque 601 en la Figura 6, el procesador 112 del aparato 120 analiza los datos de contenido de realidad virtual visuales 22 y determina que hay al menos una region de interes en el contenido de realidad virtual visual (proporcionada por los datos de contenido de realidad virtual visuales 22) que forma parte del contenido de realidad virtual que se consume por el usuario. La al menos una region de interes se ha predefinido (de la manera anteriormente descrita en relacion con la Figura 5) y se identifica por al menos uno de los identificadores 24 que forma parte de los datos de contenido de realidad virtual 21.
En el bloque 602 en la Figura 6, el procesador 112 del cuarto aparato 120 monitoriza si al menos una proporcion definida de un campo de vision del observador coincide con la al menos una region de interes determinada en el contenido de realidad virtual visual. En algunas implementaciones, el procesador 112 empieza a monitorizar la posicion y orientacion de la proporcion definida del campo de vision del observador antes de que se haya determinado una region de interes. En otras implementaciones, esta monitorizacion unicamente comienza despues de que se haya identificado una region de interes por el procesador 112.
El campo de vision total del observador cuando se visualiza contenido de realidad virtual visual puede depender del dispositivo de visualizacion montado en la cabeza que se esta usando para ver el contenido de realidad virtual visual y, en particular, de la optica del contenido de realidad virtual visual.
En algunas implementaciones, la “proporcion definida” del campo de vision del observador puede ser el campo de vision total del observador cuando se visualiza el contenido de realidad virtual visual.
Por ejemplo, si el campo de vision total del observador cuando se visualiza el contenido de realidad virtual visual son 100° en un plano transversal, entonces en tales implementaciones la proporcion definida del campo de vision del observador abarca la totalidad de los 100°.
En otras implementaciones, la proporcion definida del campo de vision del observador puede ser menor que el campo de vision total del observador cuando se visualiza el contenido de realidad virtual visual. Por ejemplo, la proporcion definida podrla ser mucho menor que el campo de vision total del observador, tal como los 20° centrales del campo de vision del observador en un plano transversal, cuando el campo de vision total del observador son 100° en el plano transversal. Como alternativa, la proporcion definida podrla ahora ser una unica llnea de observacion dentro del campo de vision del observador, tal como una llnea situada en el centro del campo de vision del observador.
En el bloque 603 en la Figura 6, el procesador 112 del cuarto aparato 120 controla el avance del contenido de realidad virtual visual basandose en si la al menos una proporcion definida del campo de vision del observador coincide con la al menos una region de interes determinada en el contenido de realidad virtual visual. En algunas implementaciones, si el procesador 112 determina que la proporcion definida del campo de vision del observador coincide con la al menos una region de interes en el contenido de realidad virtual visual, posibilita el avance del contenido de realidad virtual visual. Por ejemplo, si el contenido de realidad virtual visual es un video (tal como una pelicula), posibilita que continue la reproduccion del video. Si el contenido de realidad virtual visual es un videojuego, posibilita que el videojuego avance.
5
10
15
20
25
30
35
40
45
50
55
60
65
Como alternativa, si la proporcion definida del campo de vision del observador no coincide con la al menos una region de interes determinada en el contenido de realidad virtual visual, el procesador 112 puede detener el avance de al menos una porcion del contenido de realidad virtual visual. Por ejemplo, si el contenido de realidad virtual visual es un video (tal como una pellcula), el procesador 112 puede pausar la totalidad o una region del contenido de realidad virtual visual (tal como una region que contiene la al menos una region de interes determinada) hasta que la proporcion definida del campo de vision del observador y la al menos una region de interes determinada empiezan a coincidir. De manera similar, si el contenido de realidad virtual visual es un videojuego, el procesador 112 puede detener el avance de al menos una porcion del videojuego (tal como una region que contiene la al menos una region de interes determinada) hasta que una proporcion definida del campo de vision del observador empieza a coincidir con la al menos una region de interes determinada.
En implementaciones donde diferentes partes (tales como los objetos de primer plano/en movimiento y el fondo/ escenario) se representan de manera separada, la porcion que se detiene puede ser los objetos de primer plano/en movimiento y el fondo/escenario puede continuar moviendose/animandose. Por ejemplo, las hojas pueden moverse y el agua puede fluir. El movimiento/animacion puede hacerse en bucle.
Ademas de lo anterior, el procesador 112 puede controlar el avance de audio basandose en si la proporcion definida del campo de vision del observador coincide con al menos una region de interes determinada. Por ejemplo, puede pausar una o mas pistas de audio si la proporcion definida del campo de vision del observador no coincide con la al menos una region de interes determinada. Puede comenzar la reproduccion de esa/esas pista o pistas de audio si y cuando la proporcion definida del campo de vision del observador empieza a coincidir con la al menos una region de interes determinada. La pista o pistas de audio pausadas/recomenzadas pueden incluir audio que se pretende que se sincronice con eventos en una porcion del contenido de realidad virtual visual donde se ha detenido el avance. La pista o pistas de audio pausadas/recomenzadas podrlan ser audio direccional desde la al menos una region de interes determinada. La pista o pistas de audio pausadas/recomenzadas podrlan incluir, por ejemplo, dialogo de uno o mas actores en la region de interes determinada o musica o efectos de sonido.
En algunas implementaciones, el procesador 112 puede posibilitar que continue o comience la reproduccion de una o mas pistas de audio mientras se ha pausado la reproduccion de una o mas otras pistas de audio. La otra pista o pistas de audio podrlan incluir musica ambiente o sonidos del entorno, por ejemplo. La otra pista o pistas de audio podrlan hacerse en bucle en algunas implementaciones.
Controlar el avance de contenido de realidad virtual visual basandose en si una proporcion definida de un campo de vision del observador coincide con una o mas regiones de interes predefinidas es ventajoso porque proporciona un mecanismo para evitar que un observador se pierda partes importantes de contenido de realidad virtual visual. Por ejemplo, puede evitar que un observador se pierda puntos de representacion destacados en contenido de realidad virtual visual pausando al menos parte del contenido de realidad virtual visual hasta que el campo de vision del observador este en una posicion apropiada. El observador, por lo tanto, puede explorar un entorno virtual completamente sin preocuparse de que se este perdiendo puntos importantes.
Un segundo ejemplo del primer metodo de acuerdo con las realizaciones de la invencion se describira ahora en relacion con las Figuras 5, 7 y 8.
La Figura 7 ilustra un diagrama esquematico en el que se graba contenido de realidad virtual (visual y audible) por uno o mas dispositivos de grabacion de contenido de realidad virtual 703. El contenido de realidad virtual puede ser contenido grabado profesionalmente, o contenido grabado por un amateur. El dispositivo o dispositivos de grabacion de contenido de realidad virtual 703 son grabaciones de contenido tanto visual como audible. En la escena que se esta grabando, un primer actor 701 y un segundo actor 702 estan situados en una playa 704. El primer actor 701 lanza una pelota 705 al segundo actor 702.
La Figura 7 ilustra la escena en un primer instante donde el primer actor 701 no ha lanzado aun la pelota 705 al segundo actor 702. La Figura 8 ilustra la escena en un punto en el instante donde la pelota 705 ha sido cogida por el segundo actor 702. La llnea discontinua designada por el numero de referencia 706 representa el movimiento de la pelota 705.
La Figura 9 ilustra el contenido de realidad virtual visual proporcionado por los datos de contenido de realidad virtual visuales 22 que se crean por el dispositivo o dispositivos de creacion de contenido de realidad virtual 703 cuando la escena se captura en la Figuras 7 y 8. Un director de la pellcula elige identificar el primer actor 701 y la pelota 705 como una region de interes 901. El proporciona entrada de usuario apropiada al segundo aparato 120 y, en respuesta, el procesador 12 del segundo aparato 20 crea y almacena un identificador que identifica la region de interes 901 en los datos de contenido de realidad virtual 21, en el primer instante en la reproduccion del contenido de realidad virtual visual que se representa en la Figura 9.
La Figura 10 ilustra un segundo instante en el contenido de realidad virtual visual, que es posterior al primer instante. En el segundo instante, el primer actor 701 ha lanzado la pelota 705 al segundo actor 702, pero la pelota 705 no ha alcanzado al segundo actor 702. El director de la pellcula decide identificar el primer actor 701 como una primera
5
10
15
20
25
30
35
40
45
50
55
60
65
region de interes 1001, la pelota 705 como una segunda region de interes 1002 y el segundo actor 702 como una tercera region de interes 1003 para el segundo instante en el contenido de realidad virtual visual. El director proporciona entrada de usuario apropiada al segundo aparato 120 y, en respuesta, el procesador 112 crea y almacena los identificadores 24 en la memoria 14 que identifican las regiones de interes 1001, 1002 y 1003 en los datos de contenido de realidad virtual visuales 22 en el segundo instante en la reproduccion del contenido de realidad virtual visual.
La Figura 11 ilustra el contenido de realidad virtual visual en un tercer instante, posterior al primer y segundo instantes. En el tercer instante, el segundo actor 702 ha cogido la pelota 705. El director de la pellcula decide que el desea identificar el segundo actor 702 y la pelota 705 como una region de interes 1101 y proporciona entrada de usuario apropiada al segundo aparato 120. En respuesta, el procesador 112 del segundo aparato 120 crea y almacena un identificador que identifica la region de interes 1101 en el contenido de realidad virtual visual en el tercer instante en la reproduccion del contenido de realidad virtual visual.
En algunas implementaciones, las regiones de interes pueden no identificarse por un usuario manualmente proporcionando entrada de usuario. Como alternativa, las regiones de interes pueden identificarse automaticamente por analisis de imagen realizado por el procesador 12, y los correspondientes identificadores pueden crearse y almacenarse tambien automaticamente.
Un segundo ejemplo del segundo metodo de acuerdo con las realizaciones de la invencion se describira ahora en relacion con las Figuras 6 y 12A a 15.
La Figura 12A ilustra un primer ejemplo de una proportion definida de un campo de vision de un observador en un plano transversal. En el ejemplo ilustrado en la Figura 12A, la position de visualization del observador se designa por el punto etiquetado con el numero de referencia 1203. Una primera llnea discontinua 1201 ilustra un primer extremo de un campo de vision del observador en el plano transversal y una segunda llnea discontinua 1202 designa un segundo extremo de un campo de vision del observador en el plano transversal. La flecha curvada etiquetada con el numero de referencia 1204 designa un tercer extremo del campo de vision del observador en el plano transversal. El area delimitada por las llneas 1201, 1202 y 1204 representa el area que es visible por el observador en el plano transversal, cuando se visualiza contenido de realidad virtual visual (por ejemplo, mediante un dispositivo de visualizacion montado en la cabeza).
En el primer ejemplo, el entramado en la Figura 12A indica que la totalidad del campo de vision del observador, cuando se visualiza el contenido de realidad virtual visual (por ejemplo, mediante un dispositivo de visualizacion montado en la cabeza), se considera que es la “proporcion definida” de ese campo de vision.
Un campo de vision de la vida real del ser humano puede ser casi 180° en un plano transversal. El campo de vision de un observador total mientras visualiza el contenido de realidad virtual visual puede ser el mismo o menor que un campo de vision de la vida real del ser humano.
La Figura 12B ilustra un segundo ejemplo de una proporcion definida de un campo de vision de un observador. En este ejemplo, el area entre la primera llnea discontinua etiquetada con el numero de referencia 1201, la llnea discontinua etiquetada con el numero de referencia 1202 y la flecha curvada etiquetada con el numero de referencia 1204 representan el area que es visible por un observador en un plano transversal, cuando se visualiza contenido de realidad virtual visual, como se ha descrito anteriormente. Sin embargo, el ejemplo ilustrado en la Figura 12B se diferencia del ejemplo ilustrado en la Figura 12A en que la “proporcion definida” del campo de vision del observador es menor que el campo de vision total del observador cuando se visualiza contenido de realidad virtual visual. En este ejemplo, la proporcion definida del campo de vision del observador es la region angular entre la tercera y cuarta llneas discontinuas etiquetadas con los numeros de referencia 1205 y 1206 y se indica por entramado. Abarca una portion central del campo de vision del observador. En este ejemplo, la proporcion definida del campo de vision podrla ser cualquier cantidad que sea menor que el campo de vision total del observador cuando se visualiza contenido de realidad virtual visual.
Se apreciara que las Figuras 12A y 12B proporcionan ejemplos de una proporcion definida de un campo de vision de un observador en un plano transversal para fines de ilustracion. En la practica, el procesador 112 puede monitorizar tambien si una proporcion definida del campo de vision del observador en un plano vertical coincide con una region de interes. El procesador 112 puede determinar, por ejemplo, un angulo solido para determinar si una proporcion definida de un campo de vision del observador coincide con una region de interes en contenido de realidad virtual visual.
Al monitorizar si una proporcion definida de un campo de vision del observador coincide con una region de interes en contenido de realidad virtual visual, el procesador 112 puede configurarse para determinar un punto de vision del observador (por ejemplo, rastreando una cabeza del observador) y configurarse para determinar si una llnea (teorica), area o volumen que emana desde el punto de vista del observador intersecta la region de interes.
5
10
15
20
25
30
35
40
45
50
55
60
65
En algunas implementaciones, el procesador 112 puede configurarse para monitorizar si una proportion definida de un campo de vision del observador coincide con una region de interes en contenido de realidad virtual visual usando una o mas camaras para rastrear una mirada del observador. Este puede ser el caso en implementaciones en las que el contenido de realidad virtual se visualiza usando un dispositivo de visualization montado en la cabeza y en implementaciones donde no. Si no se usa un dispositivo de visualizacion montado en la cabeza, el contenido de realidad virtual visual podrla visualizarse, por ejemplo, en una o mas pantallas que rodean al observador.
En implementaciones donde se rastrea la mirada del observador, si el contenido de realidad virtual visual es estereoscopico, el procesador 112 puede configurarse para determinar la profundidad de la region o regiones de interes y determinar la profundidad de una mirada del observador. El procesador 112 puede configurarse adicionalmente para monitorizar si al menos una proporcion definida de un campo de vision del observador coincide con la region o regiones de interes determinadas comparando la profundidad de la mirada del observador con la profundidad de la region o regiones de interes.
Las Figuras 13 a 15 ilustran un diagrama esquematico de un observador que visualiza el contenido de realidad virtual visual que se mostro grabandose en la Figuras 7 y 8 y que incluye los identificadores que se crearon y almacenaron como se ha descrito anteriormente e ilustrado en la Figuras 9 a 11.
En este segundo ejemplo del segundo metodo, el procesador 112 puede realizar ciclos continuamente a traves del metodo ilustrado en la Figura 6. Esto se describe en detalle a continuation.
La reproduction del contenido de realidad virtual visual comienza y alcanza el primer instante en la reproduction del contenido de realidad virtual visual, como se ilustra en la Figura 9. La Figura 13 ilustra esquematicamente un observador 1301 que visualiza el contenido de realidad virtual visual en el primer instante en la reproduccion del contenido de realidad virtual visual. Cuando el observador alcanza el primer instante en la reproduccion del contenido de realidad virtual visual, el procesador 112, que realiza ciclos continuamente a traves del metodo ilustrado en la Figura 6, determina que hay un identificador almacenado en los datos de contenido de realidad virtual 21 que identifican una region de interes 901 en el primer instante en la reproduccion del contenido de realidad virtual visual (como se muestra en la Figura 9). En el bloque 602 en la Figura 6, el procesador 112 determina que la proporcion definida del campo de vision del observador coincide con la region de interes 901 en el primer instante en la reproduccion del contenido de realidad virtual visual. En consecuencia, en el bloque 603 en la Figura 6, el procesador 112 controla el avance del contenido de realidad virtual visual posibilitando la reproduccion del contenido de realidad virtual visual y que cualquier audio sincronizado con los eventos en la region de interes 901 continue.
El avance/reproduccion del contenido de realidad virtual visual continua y, en este ejemplo, el campo de vision del observador sigue dirigido hacia el primer actor 701. La Figura 14 ilustra un observador que visualiza el contenido de realidad virtual visual en el tercer instante en la reproduccion del contenido de realidad virtual visual (como se muestra en la Figura 11) cuando la pelota 705 se ha lanzado desde el primer actor 701 al segundo actor 702.
Mientras la pelota 705 esta en el aire, el primer actor 701 se indica que es una region de interes, como se representa por el cuadro de llnea discontinua 1001 en la Figura 10. Por lo tanto, el procesador 112 del cuarto aparato 120 continua para permitir que el contenido de realidad virtual visual avance mientras estaba realizando ciclos a traves del metodo de la Figura 6. Sin embargo, en el tercer instante (como se ilustra en la Figura 11), el primer actor 701 ya no es una region de interes, y la unica region de interes en el contenido de realidad virtual visual es el segundo actor 702 que sujeta la pelota 705 como se indica por el recuadro de llnea discontinua 1101 en la Figura 11. El procesador 112 determina que la (nueva) region de interes 1101 es la unica region de interes en el tercer instante en la reproduccion del contenido de realidad virtual visual, y monitoriza si al menos una proporcion definida del campo de vision del observador coincide con la (nueva) region de interes 1101 determinada. Sin embargo, inicialmente, como se representa en la Figura 14, la proporcion definida del campo de vision del observador ya no coincide con cualesquiera regiones de interes en el tercer instante en la reproduccion del contenido de realidad virtual visual. En consecuencia, en este ejemplo, en el bloque 603 en la Figura 6, el procesador 112 controla el avance del contenido de realidad virtual visual provocando que se detenga el avance/reproduccion de al menos una portion del contenido de realidad virtual visual. Por ejemplo, la totalidad del contenido de realidad virtual visual puede pausarse, o simplemente una porcion que comprende la al menos una region de interes.
En algunas implementaciones, el procesador 112 puede no detener el avance del contenido de realidad virtual visual instantaneamente cuando determina que la proporcion definida del campo de vision del observador no coincide con una region de interes. Puede haber, por ejemplo, un corto retardo antes de que lo haga y, si la proporcion definida del campo de vision del observador empieza a coincidir con una region de interes durante el periodo de retardo, no se detiene el avance del contenido de realidad virtual visual. Esto puede ayudar a evitar la pausa y recomienzo frecuentes del contenido.
El procesador 112 puede no detener el avance/reproduccion del contenido de realidad virtual visual en algunas implementaciones. En su lugar, puede ralentizar el avance/reproduccion de la totalidad del contenido de realidad virtual visual o una porcion del mismo (tal como una porcion que comprende la al menos una region de interes).
5
10
15
20
25
30
35
40
45
50
55
60
65
El observador a continuacion mueve su campo de vision de manera que la proporcion definida de su campo de vision coincide con la region de interes 1101 en el tercer instante en la reproduction del contenido de realidad virtual visual, como se representa en la Figura 15. El procesador 112 determina que la proporcion definida del campo de vision del observador ahora coincide con la region de interes 1101 en el tercer instante en la reproduccion del contenido de realidad virtual visual y controla el avance del contenido de realidad virtual visual volviendo a posibilitar el avance/reproduccion del contenido de realidad virtual visual.
En algunas implementaciones, puede no ser necesario que la proporcion definida del campo de vision del observador coincida con una region de interes determinada para que el procesador 112 vuelva a posibilitar el avance del contenido de realidad virtual visual. Por ejemplo, el procesador 112 puede configurarse para monitorizar una trayectoria de movimiento de la proporcion definida del campo de vision del observador y para controlar el avance del contenido de realidad virtual visual basandose en si la proporcion definida del campo de vision del observador se espera que coincida con una region de interes determinada. Esto puede hacerse, por ejemplo, interpolando la trayectoria de movimiento de la proporcion definida del campo de vision del observador y determinar si la trayectoria interpolada coincide con la region de interes determinada.
Las referencias a 'medio de almacenamiento legible por ordenador', 'ordenador', 'procesador' etc., deberlan entenderse para que abarquen no unicamente ordenadores que tienen diferentes arquitecturas tales como arquitecturas de unico/multiple procesador y arquitecturas secuenciales (Von Neumann)/paralelas sino tambien circuitos especializados tales como campos de matrices de puertas programables (FPGA), circuitos especlficos de la aplicacion (ASIC), dispositivos de procesamiento de senales y otra circuiterla de procesamiento. Las referencias a programa informatico, instrucciones, codigo etc., deberlan entenderse que abarcan software para un procesador programable o firmware tal como, por ejemplo, el contenido programable de un dispositivo de hardware ya sean instrucciones para un procesador, o ajustes de configuration para un dispositivo de funcion fija, matriz de puertas o dispositivo de logica programable etc.
Como se usa en esta solicitud, el termino 'circuiterla' se refiere a todo lo siguiente:
(a) implementaciones de circuito unicamente de hardware (tales como implementaciones en unicamente circuiterla analogica y/o digital) y
(b) a combinaciones de circuitos y software (y/o firmware), tal como (donde sea aplicable): (i) a una combination de procesador o procesadores o (ii) a porciones de procesador o procesadores/software (incluyendo procesador o procesadores de senales digitales), software, y memoria o memorias que funcionan juntos para provocar que un aparato, tal como un telefono movil o servidor, realice diversas funciones) y
(c) a circuitos, tales como un microprocesador o microprocesadores o una portion de un microprocesador o microprocesadores, que requieren software o firmware para operation, incluso si el software o firmware no esta flsicamente presente.
Esta definition de 'circuiterla' se aplica a todos los usos de este termino en esta solicitud, incluyendo en cualquier reivindicacion. Como un ejemplo adicional, como se usa en esta solicitud, el termino “circuiterla” cubrirla tambien una implementation de simplemente un procesador (o multiples procesadores) o porcion de un procesador y su (o sus) software y/o firmware adjunto. El termino “circuiterla” cubrirla tambien, por ejemplo y si fuera aplicable al elemento de reivindicacion particular, un circuito integrado de banda base o circuito integrado de procesador de aplicaciones para un telefono movil o un circuito integrado similar en un servidor, un dispositivo de red celular u otro dispositivo de red.
Los bloques ilustrados en las Figuras 5 y 6 pueden representar etapas en un metodo y/o secciones de codigo en los programas informaticos 17 y 18. La ilustracion de un orden particular de los bloques no implica necesariamente que sea un orden requerido o preferido de los bloques y el orden y disposition del bloque puede variarse. Adicionalmente, puede ser posible que se omitan algunos bloques.
Aunque las realizaciones de la presente invention se han descrito en los parrafos precedentes con referencia a diversos ejemplos, deberla apreciarse que pueden realizarse modificaciones a los ejemplos sin alejarse del alcance de la invencion segun se reivindica. Por ejemplo, en algunas implementaciones, el procesador 112 puede configurarse para provocar la visualization de uno o mas indicadores (tal como una o mas flechas) que indican a un observador donde esta/estan la region o regiones de interes en un instante particular en contenido de realidad virtual visual. El procesador 112 puede provocar que el indicador o indicadores aparezcan, por ejemplo, si el avance del contenido de realidad virtual visual se ha detenido/pausado, o si se ha detenido/pausado durante mas de un periodo de tiempo umbral.
La forma del contenido de realidad virtual visual puede ser diferente de la anteriormente descrita. Por ejemplo, puede comprender actualizar dinamicamente contenido de information tal como una o mas fuentes de pagina web de actualization dinamica.
Las caracterlsticas descritas en la description anterior pueden usarse en combinaciones distintas de las combinaciones expllcitamente descritas.
Aunque las funciones se han descrito con referenda a ciertas caracterlsticas, estas funciones pueden realizarse por otras caracterlsticas ya se hayan descrito o no.
Aunque las caracterlsticas se han descrito con referencia a ciertas realizaciones, estas caracterlsticas pueden estar 5 tambien presentes en otras realizaciones ya se hayan descrito o no.
Aunque se ha intentado en la memoria descriptiva anterior llamar la atencion a aquellas caracterlsticas de la invencion consideradas de importancia particular deberla entenderse que el solicitante reivindica proteccion con respecto a cualquier caracterlstica patentable o combinacion de caracterlsticas anteriormente mencionadas y/o 10 mostradas en los dibujos ya se haya puesto o no enfasis particular en las mismas.

Claims (15)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un metodo, que comprende:
    determinar al menos una primera region de interes (901) en un primer instante en un contenido de realidad virtual visual que esta configurado para extenderse mas alla de un campo de vision del observador cuando se visualiza el contenido de realidad virtual visual;
    monitorizar, mientras un observador (1301; 1302) esta visualizando el contenido de realidad virtual visual, si una proporcion definida del campo de vision del observador coincide con la primera region de interes en el contenido de realidad virtual visual;
    controlar el avance del contenido de realidad virtual visual basandose en si la proporcion definida del campo de vision del observador coincide con la primera region de interes determinada en el contenido de realidad virtual visual;
    determinar una nueva segunda region de interes (1101), situada fuera del campo de vision del observador mientras el observador esta visualizando el contenido de realidad virtual visual, en un segundo instante en el contenido de realidad virtual visual;
    determinar, mientras el observador esta visualizando el contenido de realidad virtual visual, que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual; y
    detener el avance de al menos una porcion del contenido de realidad virtual visual, que comprende la nueva segunda region de interes, basandose en la determinacion de que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual.
  2. 2. El metodo de la reivindicacion 1, en el que controlar el avance del contenido de realidad virtual visual comprende posibilitar el avance del contenido de realidad virtual visual en respuesta a la determinacion de que la proporcion definida del campo de vision del observador coincide con la primera o la segunda regiones de interes en el contenido de realidad virtual visual.
  3. 3. El metodo de las reivindicaciones 1 y 2, en el que controlar el avance del contenido de realidad virtual visual comprende detener el avance de al menos una porcion del contenido de realidad virtual visual en respuesta a la determinacion de que la proporcion definida del campo de vision del observador no coincide con la primera o la segunda regiones de interes en el contenido de realidad virtual visual.
  4. 4. El metodo de la reivindicacion 3, en el que se detiene el avance de una porcion del contenido de realidad virtual visual que comprende la primera o la segunda regiones de interes.
  5. 5. El metodo de cualquiera de las reivindicaciones anteriores, que comprende adicionalmente:
    provocar que la reproduction de al menos una pista de audio se pause en respuesta a la determinacion de que la proporcion definida del campo de vision del observador no coincide con la primera region de interes en el contenido de realidad virtual visual.
  6. 6. El metodo de la reivindicacion 5, que comprende adicionalmente:
    posibilitar la reproduccion de al menos una pista de audio adicional, diferente de la al menos una pista de audio, cuando se ha pausado la reproduccion de la al menos una pista de audio.
  7. 7. El metodo de cualquiera de las reivindicaciones anteriores, en el que el contenido de realidad virtual visual es contenido de video de realidad virtual y controlar el avance del contenido de realidad virtual visual comprende controlar la reproduccion del contenido de video de realidad virtual.
  8. 8. El metodo de cualquiera de las reivindicaciones anteriores, que comprende adicionalmente:
    determinar que la primera region de interes ya no es una region de interes.
  9. 9. El metodo de cualquiera de las reivindicaciones anteriores, en el que el contenido de realidad virtual visual lo proporcionan datos de contenido de realidad virtual (21) almacenados en una memoria y los datos de contenido de realidad virtual comprenden una pluralidad de identificadores (24) que identifican regiones de interes en el contenido de realidad virtual visual.
  10. 10. El metodo de cualquiera de las reivindicaciones anteriores, en el que monitorizar si una proporcion definida de un campo de vision del observador coincide con la primera o la segunda regiones de interes en el contenido de realidad virtual visual comprende el rastreo de movimientos de cabeza de un observador y/o una mirada del observador.
  11. 11. El metodo de cualquiera de las reivindicaciones anteriores, en el que la proporcion definida del campo de vision del observador es el campo de vision total del observador cuando se visualiza el contenido de realidad virtual visual
    5
    10
    15
    20
    25
    30
    o es menor que el campo de vision total del observador.
  12. 12. El metodo de la reivindicacion 11, en el que el contenido de realidad virtual visual es contenido de realidad virtual visual de 360°.
  13. 13. Codigo de programa informatico que, cuando lo realiza al menos un procesador, hace que se realice el metodo de cualquiera de las reivindicaciones anteriores.
  14. 14. Un aparato (110; 120), que comprende:
    medios (112, 114, 117, 118) para determinar al menos una primera region de interes en un contenido de realidad virtual visual que esta configurado para extenderse mas alla de un campo de vision del observador cuando se visualiza el contenido de realidad virtual visual;
    medios (112, 114, 117, 118) para monitorizar, mientras un observador esta visualizando el contenido de realidad virtual visual, si una proporcion definida de un campo de vision del observador coincide con la primera region de interes en el contenido de realidad virtual visual; y
    medios (112, 114, 117, 118) para controlar el avance del contenido de realidad virtual visual basandose en si la al menos una porcion definida del campo de vision del observador coincide con la al menos una region de interes determinada en el contenido de realidad virtual visual;
    medios (112, 114, 117, 118) para determinar una nueva segunda region de interes, situada fuera del campo de vision del observador mientras el observador esta visualizando el contenido de realidad virtual visual, en un segundo instante en el contenido de realidad virtual visual;
    medios (112, 114, 117, 118) para determinar, mientras el observador esta visualizando el contenido de realidad virtual visual, que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual; y
    medios (112, 114, 117, 118) para detener el avance de al menos una porcion del contenido de realidad virtual visual, que comprende la nueva segunda region de interes, basandose en la determinacion de que la proporcion definida del campo de vision del observador no coincide con la nueva segunda region de interes en el contenido de realidad virtual visual.
  15. 15. El aparato de la reivindicacion 14, que comprende adicionalmente medios (112, 114, 117, 118) para realizar el metodo de una o mas de las reivindicaciones 2 a 12.
ES14200212.0T 2014-12-23 2014-12-23 Control de contenido de realidad virtual Active ES2642263T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP14200212.0A EP3037915B1 (en) 2014-12-23 2014-12-23 Virtual reality content control

Publications (1)

Publication Number Publication Date
ES2642263T3 true ES2642263T3 (es) 2017-11-16

Family

ID=52292688

Family Applications (1)

Application Number Title Priority Date Filing Date
ES14200212.0T Active ES2642263T3 (es) 2014-12-23 2014-12-23 Control de contenido de realidad virtual

Country Status (8)

Country Link
US (1) US20170371518A1 (es)
EP (1) EP3037915B1 (es)
JP (1) JP6670838B2 (es)
CN (1) CN107111364B (es)
ES (1) ES2642263T3 (es)
MX (1) MX2017008496A (es)
WO (1) WO2016102763A1 (es)
ZA (1) ZA201704823B (es)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
EP3367383B1 (en) 2017-02-23 2023-12-20 Nokia Technologies Oy Virtual reality
US11451689B2 (en) * 2017-04-09 2022-09-20 Insoundz Ltd. System and method for matching audio content to virtual reality visual content
US10477105B2 (en) * 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
EP3422146A1 (en) * 2017-06-28 2019-01-02 Nokia Technologies Oy An apparatus and associated methods for presenting sensory scenes
US11122258B2 (en) 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US11303814B2 (en) 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US11587200B2 (en) 2018-09-28 2023-02-21 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN115690374B (zh) * 2023-01-03 2023-04-07 江西格如灵科技有限公司 一种基于模型边缘射线检测的交互方法、装置及设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115058A (ja) * 2001-08-02 2003-04-18 Matsushita Electric Ind Co Ltd 表示装置および表示方法
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5367833B2 (ja) * 2009-09-29 2013-12-11 株式会社東芝 関心領域抽出装置及びプログラム
US8330793B2 (en) * 2009-10-09 2012-12-11 Hewlett-Packard Development Company, L.P. Video conference
JP5054215B2 (ja) * 2010-05-13 2012-10-24 キヤノン株式会社 映像再生装置およびその制御方法およびプログラム
JP2012094990A (ja) * 2010-10-25 2012-05-17 Duse Technologies Co Ltd 視点連動画像表示システム
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5698574B2 (ja) * 2011-03-15 2015-04-08 オリンパスイメージング株式会社 音声・映像情報報知システム及びその制御方法
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
EP2754005A4 (en) * 2011-09-08 2015-04-22 Intel Corp LOCATION SELECTION BASED ON LOOK FOR AUDIOVISUAL READING
JP2013057918A (ja) * 2011-09-09 2013-03-28 Shigeto Umeda 可変長の広告を表示また、入札するシステム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
DE112011105891T5 (de) * 2011-12-21 2014-10-02 Hewlett-Packard Development Company, L.P. Interaktives Streaming Video
JP5344073B2 (ja) * 2012-09-14 2013-11-20 日本電気株式会社 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5826730B2 (ja) * 2012-09-20 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user

Also Published As

Publication number Publication date
EP3037915A1 (en) 2016-06-29
WO2016102763A1 (en) 2016-06-30
MX2017008496A (es) 2017-10-11
ZA201704823B (en) 2019-01-30
CN107111364A (zh) 2017-08-29
US20170371518A1 (en) 2017-12-28
CN107111364B (zh) 2020-05-15
EP3037915B1 (en) 2017-08-16
JP2018506205A (ja) 2018-03-01
JP6670838B2 (ja) 2020-03-25

Similar Documents

Publication Publication Date Title
ES2642263T3 (es) Control de contenido de realidad virtual
US12094053B2 (en) Systems and associated methods for creating a viewing experience
US11880932B2 (en) Systems and associated methods for creating a viewing experience
ES2957832T3 (es) Colocación de objetos basada en la mirada dentro de un entorno de realidad virtual
BR102017019134A2 (pt) Método, dispositivos e sistemas para zoom automático quando executando uma cena de realidade aumentada
US9626773B2 (en) Augmented reality alteration detector
US9429912B2 (en) Mixed reality holographic object development
CN102458594B (zh) 模拟虚拟照相机的性能的系统和方法
KR20150014988A (ko) 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
WO2019006650A1 (zh) 虚拟现实内容的显示方法和装置
US11164377B2 (en) Motion-controlled portals in virtual reality
US10229523B2 (en) Augmented reality alteration detector
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
EP3252690A1 (en) Apparatus and associated methods
US20200015727A1 (en) Virtual forced fixation
TWI669654B (zh) 模擬環境顯示系統及方法
US20220036761A1 (en) Augmented reality assisted training
US20180357665A1 (en) System for Calculating Probability of Advertisement Exposure of 360 Game Replay Video
Zamłyńska et al. Study on AR Application Efficiency of Selected iOS and Android OS Mobile Devices
JP6400551B2 (ja) 空間像演出装置、空間像演出装置の制御方法および映像システム
TW201643677A (zh) 電子裝置以及使用者介面操作方法
NZ743078A (en) Systems and associated methods for creating a viewing experience
TWM478175U (zh) 紀錄影音看屋資訊的穿戴式電腦裝置
JP2017058626A (ja) 空間像演出装置およびその制御方法
JP2017058629A (ja) 空間像演出装置、その制御方法およびプログラム