ES2902979T3 - Experiencias de entretenimiento aumentadas estratificadas - Google Patents
Experiencias de entretenimiento aumentadas estratificadas Download PDFInfo
- Publication number
- ES2902979T3 ES2902979T3 ES18721565T ES18721565T ES2902979T3 ES 2902979 T3 ES2902979 T3 ES 2902979T3 ES 18721565 T ES18721565 T ES 18721565T ES 18721565 T ES18721565 T ES 18721565T ES 2902979 T3 ES2902979 T3 ES 2902979T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- images
- layer
- spatial
- cinema
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 257
- 239000010410 layer Substances 0.000 claims abstract description 253
- 239000002356 single layer Substances 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000005192 partition Methods 0.000 claims abstract description 8
- 238000000926 separation method Methods 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000000844 transformation Methods 0.000 claims description 7
- 230000001052 transient effect Effects 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000712 assembly Effects 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000014616 translation Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000004308 accommodation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001886 ciliary effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010013082 Discomfort Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Un método que comprende: recibir (452) una señal de vídeo multi-capa y multi-vista que comprende una o más imágenes (176-1) de cine de una sola capa en una capa de imagen de cine y una o más imágenes (176-2, 176-3) de dispositivo de una sola capa en una o más capas de imagen de dispositivo, habiéndose las imágenes de cine de una sola capa en la capa de imagen de cine y las imágenes de dispositivo de una sola capa en la una o más capas de imagen de dispositivo derivado previamente de una o más imágenes no estratificadas multi-vista; recuperar (454), de la capa de imagen de cine de la señal de vídeo multi-capa multi-vista, las una o más imágenes de cine de una sola capa, representando, las una o más imágenes de cine de una sola capa, un primer subconjunto apropiado de uno o más objetos visuales (118) de entre una pluralidad de objetos visuales según se representa originalmente por las una o más imágenes no estratificadas multi-vista; recuperar (456), de una o más capas de imagen de dispositivo de la señal de vídeo multi-vista multi-capa, las una o más imágenes de dispositivo de una sola capa, representando, las una o más imágenes de dispositivo, uno o más segundos subconjuntos apropiados de uno o más objetos visuales (120) de entre la pluralidad de objetos visuales según se representa originalmente por las una o más imágenes no estratificadas multi-vista; hacer (458) que el primer subconjunto apropiado de objetos visuales según se representa en las una o más imágenes de cine de una sola capa se reproduzca para un espectador (112-0, 112-1, 112-2) en un dispositivo (104) de representación visual de cine en un espacio en 3D (126); hacer (460) que los uno o más segundos subconjuntos apropiados de objetos visuales según se representa en las una o más imágenes de dispositivo de una sola capa se reproduzcan de manera concurrente al espectador en un dispositivo (116, 116-1, 116-2) de representación visual de dispositivo en el espacio en 3D; en el que el primer subconjunto apropiado de objetos visuales, según se reproduce en el dispositivo de representación visual de cine, y los uno o más segundos subconjuntos apropiados de objetos visuales, según se reproduce en el dispositivo de representación visual de dispositivo, representa colectivamente la pluralidad de objetos visuales ubicados en las mismas ubicaciones espaciales en un espacio de imagen en 3D (196), según se representa originalmente en las una o más imágenes no estratificadas multi-vista; en el que la información espacial que describe las ubicaciones espaciales en el espacio de la imagen en 3D en el que se encuentra la pluralidad de objetos visuales se había previamente usado para dividir la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista, en la capa de imagen de cine y en las una o más capas de imagen de dispositivo.
Description
DESCRIPCIÓN
Experiencias de entretenimiento aumentadas estratificadas
La presente invención se refiere en general a experiencias de entretenimiento tridimensionales (en 3D) y, en particular, a experiencias de entretenimiento en 3D aumentadas estratificadas.
Antecedentes
Al visualizar un objeto del mundo real en una escena del mundo real, el cerebro humano usa un proceso de acomodación que controla los músculos ciliares para adaptar cada una de las lentes oculares, ubicadas detrás de las pupilas en los dos ojos, a ciertas distancias focales (o potencias) para centrarse en el objeto del mundo real. Al mismo tiempo, el cerebro humano utiliza un proceso de vergencia para controlar los músculos extraoculares para que simultáneamente converjan o diverjan los dos ojos hacia el objeto del mundo real, con el fin de respaldar la percepción del objeto del mundo real como objeto en 3d .
A modo de comparación, al visualizar un objeto representado en imágenes en 3D, el cerebro humano utiliza un proceso de acomodación para controlar los músculos ciliares para fijar las lentes oculares de los ojos del espectador para enfocar en un dispositivo de representación visual (como, por ejemplo, de cine, etc.) con el fin de respaldar la visión clara de las imágenes en 3D reproducidas en el dispositivo de representación visual, independientemente de dónde se suponga que esté ubicado el objeto representado en las imágenes en 3D. Al mismo tiempo, el cerebro humano utiliza un proceso de vergencia para controlar los músculos extraoculares para que los ojos converjan o diverjan simultáneamente hacia el objeto representado en las imágenes en 3D, con el fin de respaldar la percepción del objeto representado como objeto en 3D.
Si el objeto representado tiene un paralaje negativo relativamente grande y, de este modo, se percibe visualmente como relativamente cerca de los ojos frente al dispositivo de representación visual, el proceso de acomodación intenta fijar más los ojos en el dispositivo de representación visual mientras el proceso de vergencia busca converger o divergir los ojos hacia el objeto representado a una distancia relativamente cercana, provocando por ello un conflicto de acomodación-vergencia. Este conflicto de acomodación-vergencia en la visión de imágenes en 3D es propenso a inducir malestares/enfermedades fisiológicos/as graves; por lo tanto, raras veces se utilizan paralajes negativos relativamente grandes, especialmente para experiencias de entretenimiento cinematográfico en 3D.
El documento Aljoscha Smolic et al: “Three-Dimensional vídeo Postproduction and Processing”, Actas del IEEE, IEEE. Nueva York, EE. UU., Vol. 99, núm. 4, 1 de abril de 2011 (2011-04-01), páginas 607-625, XP011363624, ISSN: 0018-9219, DOI: 10.1109/JPROC.2010.2098350, afirma dar una visión general del estado de la técnica en postproducción y procesamiento de vídeo 3-D. Primero, se describen los fundamentos de la estereografía que establecen las reglas para la creación de contenido en 3-D. La manipulación de la composición de profundidad de un par estéreo dado mediante síntesis de vista se identifica como una funcionalidad clave en este contexto. Se describen algoritmos básicos para adaptar y corregir propiedades estéreo fundamentales como distorsiones geométricas, alineación de colores y geometría estéreo. Luego, la reproducción basada en imágenes en profundidad se explica como una solución ampliamente aplicada para la síntesis de vista en la creación de contenido 3-D. Finalmente, se cubre la conversión de 2-D a 3-D, que se afirma que es un área especial para la reutilización del contenido 2-D heredado existente en 3-D. Se combinan en el documento diversos algoritmos en flujos de trabajo interactivos.
El documento EP 1117074 A2 describe un administrador de estado de juego que gestiona el estado de un juego de realidad aumentada (información pertinente con relación a la reproducción de cada objeto virtual, la puntuación de un jugador, el recuento de la ronda de juego y similares). Un generador de vídeo de punto de vista objetivo genera un vídeo de cada objeto virtual visualizado en una cámara. Una unidad de composición de vídeo de punto de vista objetivo genera un vídeo compuesto del vídeo del objeto virtual y de un vídeo detectado realmente, y lo emite a un dispositivo de representación visual. Un generador de vídeo de punto de vista subjetivo genera un vídeo del objeto virtual visualizado desde un dispositivo de representación visual montado en cabeza. Una unidad de composición de vídeo de punto de vista subjetivo genera un vídeo compuesto del vídeo del objeto virtual y de un vídeo detectado realmente, y lo emite al dispositivo de representación visual montado en cabeza.
Los enfoques descritos en esta sección son enfoques que podrían seguirse, pero no necesariamente enfoques que se hayan concebido o planeado anteriormente. Por lo tanto, a menos que se indique lo contrario, no se debe asumir que cualquiera de los enfoques descritos en esta sección califique como estado de la técnica meramente en virtud de su inclusión en esta sección. De manera similar, no se debe asumir sobre la base de esta sección que los problemas identificados con respecto a uno o más enfoques han sido reconocidos en ninguna técnica anterior, a menos que se indique lo contrario.
Breve descripción de los dibujos
La presente invención se ilustra a modo de ejemplo, y no a modo de limitación, en las figuras de los dibujos que se
acompañan, y en las que los números de referencia similares se refieren a elementos similares, y en las que: la figura 1A ilustra objetos visuales en 3D de ejemplo representados en una imagen multi-vista; las figuras 1B a 1E ilustran un ejemplo de espacio en 3D en el que un espectador debe visualizar la pluralidad de objetos visuales según se representa en la imagen multi-vista, con un dispositivo de representación visual de cine y el dispositivo de representación visual de un dispositivo portátil;
la figura 1F ilustra una distribución de píxeles en 3D de ejemplo derivada de un mapa tensorial; la figura 1G ilustra imágenes de una sola capa de ejemplo de la imagen de vista no estratificada generada en base a un mapa tensorial; la figura 1H ilustra un mapa tensorial reconstruido en funcionamientos de reproducción de imagen;
las figuras 2A a 2C ilustran configuraciones de ejemplo de un sistema de entretenimiento aumentado;
las figuras 3A y 3B ilustran entornos de ejemplo multi-espectador en los que un dispositivo de representación visual de cine sirve como dispositivo de representación visual compartido para múltiples espectadores;
las figuras 4A y 4B ilustran flujos de procesos de ejemplo; y
la figura 5 ilustra una plataforma de equipo físico informático o hardware de ejemplo en la que se puede implantar un ordenador o un dispositivo informático según se describe en el presente documento.
Descripción de realizaciones de ejemplo
En el presente documento se describen realizaciones de ejemplo, que se refieren a experiencias de entretenimiento en 3D aumentadas estratificadas. En la siguiente descripción, con fines explicativos, se exponen numerosos detalles específicos con el fin de proporcionar una comprensión completa de la presente invención. Sin embargo, resultará evidente que la presente invención se puede poner en práctica sin estos detalles específicos. En otros casos, las estructuras y dispositivos bien conocidos no se describen en detalle de manera exhaustiva, con el fin de evitar tapar, eclipsar o embrollar innecesariamente la presente invención.
Se describen en el presente documento realizaciones de ejemplo de acuerdo con el siguiente esquema:
1. Vista general
2. Experiencia de entretenimiento aumentada
3. Generación de imágenes estratificadas
4. Mapa tensoriales
5. Codificador de imagen estratificada y sistema de entretenimiento aumentado
6. Ejemplo de flujos de proceso
7. Mecanismos de implantación - vista general del hardware
1. Vista general
Esta vista general presenta una descripción básica de algunos aspectos de una realización de ejemplo de la presente invención. Debe tenerse en cuenta que esta vista general no es un sumario extenso o exhaustivo de los aspectos de la realización de ejemplo. Lo que es más, debe tenerse en cuenta que esta vista general no debe entenderse como identificación de ningún aspecto o elemento particularmente significativo de la realización de ejemplo, ni como delimitación de alcance ninguno de la realización de ejemplo en particular, ni de la invención en general. Esta vista general simplemente presenta algunos conceptos que se relacionan con la realización de ejemplo en un formato condensado y simplificado, y debe entenderse meramente como un preludio conceptual de la descripción más detallada de las realizaciones de ejemplo que sigue a continuación. Nótese que, aunque en el presente documento se analizan realizaciones separadas, puede hacerse cualquier combinación de realizaciones y/o de realizaciones parciales analizadas en el presente documento para formar realizaciones adicionales.
Las técnicas descritas en el presente documento se pueden usar con tecnologías en 3D para proporcionar experiencias de entretenimiento aumentadas, en las que un espectador puede usar una combinación de un dispositivo compartido de representación visual y de un dispositivo individual de representación visual del dispositivo portátil del espectador para visualizar imágenes que representen objetos en 3D en un espacio de imagen unificado. A modo de ejemplo, pero no de limitación, el dispositivo compartido de representación visual puede ser un dispositivo de representación visual de cine, tal como uno asociado a cualquiera de los siguientes elementos: Dolby en 3D, RealD, en 3D basado en polarización lineal, en 3D basado en polarización circular, en 3D basado en
separación espacial espectral, etc. El dispositivo de representación visual de dispositivo del dispositivo portátil puede ser un dispositivo de representación visual móvil con relación al dispositivo compartido de representación visual, tal como uno asociado con un proyector de imágenes, un dispositivo de representación visual AR, un dispositivo de representación visual HoloLens, un dispositivo de representación visual Magic Leap, un dispositivo de representación visual de realidad mixta (MR), un dispositivo de representación visual tensorial, un dispositivo de representación visual volumétrica, un dispositivo de representación visual de campo de luz (LF), un dispositivo de representación visual Immy, un dispositivo de representación visual Meta, un par de lentes AR relativamente simple, un dispositivo de representación visual con cualquier elemento en una amplia gama de capacidades para superar el conflicto de acomodación-vergencia, etc. Los dispositivos portátiles y los dispositivos de representación visual de dispositivos se pueden encontrar en la solicitud de patente de EE. UU. núm. 15/945,237, bajo el título de solicitud "Augmented 3d Entertainment Systems" por Ajit Ninan y Neil Mammen, presentada el 4 de abril de 2018.
Las imágenes de cine en 2D o en 3D se pueden visualizar en el dispositivo de representación visual de cine. Un espectador que está viendo las imágenes de cine puede ver (o percibir visualmente) simultáneamente objetos en 3D adicionales o información adicional de profundidad en 3D en las imágenes del dispositivo reproducidas en los dispositivos de representación visual del dispositivo. Algunos de los objetos en 3D adicionales representados en las imágenes del dispositivo pueden aparecer como salidos del dispositivo de representación visual de cine frente al espectador. El espectador puede rastrear cualquiera de estos objetos en 3D como si dicho objeto en 3D estuviera realmente presente en un espacio en 3D (físico) en el que se encuentra el espectador. A medida que el espectador se mueve alrededor del objeto en 3D, el espectador puede ver detalles visuales previamente ocluidos del objeto en 3D alrededor del objeto en 3D con una dimensión o profundidad de realismo añadida/aumentada. De este modo, a través de la combinación de las imágenes del dispositivo y las imágenes del cine, el espectador puede obtener una sensación (por ejemplo, psicovisual, psicofísica, etc.) de que el objeto está flotando alrededor, al ver diferentes paralajes en respuesta a los movimientos de la cabeza del espectador.
El dispositivo de representación visual de dispositivo se puede configurar para que esté ubicado virtual o físicamente relativamente cerca del espectador en uno o más planos de imagen. De este modo, incluso cuando el espectador está viendo los objetos en 3D representados en las imágenes del dispositivo, que pueden estar ubicados relativamente cerca del espectador en comparación con los objetos representados en las imágenes de cine, los objetos en 3D representados en las imágenes del dispositivo siguen siendo de paralaje positivo con relación al dispositivo de representación visual de dispositivo (o con los planos de imagen asociados con el dispositivo de representación visual de dispositivo) en el que se reproducen las imágenes del dispositivo. De este modo, el conflicto de acomodación-vergencia que se produciría con otros enfoques puede evitarse o atenuarse en gran medida con técnicas como las descritas en el presente documento. El dispositivo de representación visual del dispositivo puede representar visualmente o proyectar imágenes de dispositivo de representación visual del dispositivo en un solo plano de imagen de una sola distancia o en múltiples planos de imagen de múltiples distancias diferentes (por ejemplo, a través de multiplexación por división de tiempo, etc.) frente al espectador. Estas distancias de los planos de imagen pueden ser fijas o autoajustables. Se pueden encontrar dispositivos de representación visual de dispositivos de ejemplo con plano/s de imagen de distancia/s sintonizables automáticamente desde los espectadores en la solicitud de patente de EE. UU. núm. 15/798,274, bajo el título de solicitud "Eyewear Devices with Focus Tunable Lenses", presentada el 30 de octubre de 2017.
De este modo, un dispositivo portátil según las técnicas descritas en el presente documento ofrece al espectador al menos dos planos de imagen de diferentes profundidades en los que las imágenes del cine y del dispositivo se reproducen sincrónicamente. Un primer plano de imagen de los al menos dos planos de imagen corresponde al del dispositivo de representación visual de cine, mientras que uno o más segundos planos de imagen de los al menos dos planos de imagen corresponden a los del dispositivo de representación visual del dispositivo.
Los objetos visuales representados en imágenes no estratificadas multi-vista (por ejemplo, pre-estratificadas, no estratificadas, monolíticas, unitarias, etc.) se pueden ubicar virtualmente en diversas ubicaciones espaciales en un espacio de imagen en 3D representado en las imágenes multi-vista. Según se usa en el presente documento, una imagen no estratificada multi-vista se refiere a una imagen multi-vista a la que se van a aplicar las funciones de generación de imágenes estratificadas.
En base a las ubicaciones espaciales, los objetos visuales representados en las imágenes no estratificadas multivista pueden dividirse en diferentes capas de imagen. Para cada imagen no estratificada multi-vista, cada una de las capas de imagen comprende imágenes de una sola capa que representan un subconjunto de los objetos visuales.
Entre las diferentes capas de imagen, una capa de imagen de cine puede comprender imágenes de una sola capa que representan un subconjunto de objetos visuales en las imágenes no estratificadas multi-vista que están relativamente lejos de un espectador en una ubicación espacial de referencia, tales como las que estén cerca o detrás del dispositivo de representación visual de cine. Una o más capas de imagen del dispositivo puede/n comprender imágenes de una sola capa que representan uno o más subconjuntos de objetos visuales en las imágenes no estratificadas multi-vista que estén relativamente cerca del espectador en la ubicación espacial de referencia, tal como las que parezcan surgir frente al espectador fuera del dispositivo de representación visual de cine.
Las imágenes de una sola capa en la capa de imagen de cine se pueden usar para derivar las imágenes del dispositivo de representación visual de cine que se van a reproducir en el dispositivo de representación visual de cine, mientras que las imágenes de una sola capa en las capas de imagen del dispositivo se pueden usar para derivar las imágenes del dispositivo de representación visual que se van a reproducir con el dispositivo de representación visual de dispositivo del dispositivo portátil. El espacio de la imagen en 3D se puede anclar o proyectar en el espacio físico en 3D utilizando la porción del espacio de la imagen en 3D representada en las imágenes del dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine. Las otras porciones del espacio de la imagen en 3D representadas en las imágenes del dispositivo de representación visual del dispositivo se pueden transformar espacialmente para que se unan sin problemas con la porción del espacio de la imagen en 3D representada en las imágenes del dispositivo de representación visual de cine. Se pueden aplicar diferentes transformaciones espaciales a diferentes dispositivos portátiles dependiendo de las respectivas ubicaciones espaciales y/o direcciones espaciales de los dispositivos portátiles, de modo que las otras porciones del espacio de la imagen en 3D, según se representa individualmente en los diferentes dispositivos portátiles, se puedan unir sin problemas con la porción del espacio de imagen en 3D representada en las imágenes del dispositivo de representación visual de cine.
Se puede usar un solo reproductor de imagen o múltiples reproductores de imagen para accionar simultáneamente las funciones de reproducción de imagen de cine y las funciones de reproducción de imagen del dispositivo. Múltiples espectadores presentes en un espacio en 3D (por ejemplo, un cine, una sala de cine, etc.) pueden registrar sus dispositivos portátiles con los reproductores de imagen para experimentar una sesión de entretenimiento aumentada.
En algunas realizaciones, los dispositivos portátiles se pueden registrar automáticamente. Por ejemplo, se puede hacer uso de un rastreador de dispositivo en el espacio en 3D para rastrear/monitorizar las posiciones espaciales y las direcciones espaciales de los dispositivos portátiles en el espacio en 3D. Además, de manera opcional o alternativa, el rastreador de dispositivo puede obtener información de identificación del dispositivo para los dispositivos portátiles, tal como direcciones MAC, direcciones de red, direcciones IP, etc., a través del rastreo/de la monitorización remoto/a del dispositivo. La información de identificación del dispositivo, las posiciones espaciales y las direcciones espaciales de los dispositivos portátiles se pueden usar para registrar los dispositivos portátiles y para entregar imágenes de dispositivo de representación visual de dispositivo a los dispositivos portátiles registrados en las direcciones correctas MAC, de red, IP, etc. Se puede encontrar un rastreo de dispositivo de ejemplo en la solicitud de patente de EE. UU. número. 15/949,536, bajo el título de solicitud "Passive Multi-Wearable-Devices Tracking", por Ajit Ninan y Neil Mammen, presentada el 10 de abril de 2018.
Con las técnicas descritas en el presente documento, se pueden reproducir simultáneamente múltiples imágenes de dispositivo de representación visual derivadas de diferentes capas de imagen en el dispositivo de representación visual del dispositivo y en el dispositivo de representación visual de cine, y se puede proporcionar o reconstruir una apariencia perfecta del espacio de la imagen en 3D con todos los objetos visuales ubicados en las mismas ubicaciones espaciales que se han representado anteriormente en las imágenes originales no estratificadas multivista, de las cuales se derivan directa o indirectamente las imágenes de representación visual múltiple de diferentes capas de imagen.
Una imagen no estratificada multi-vista puede comprender imágenes de vista no estratificadas (única) que corresponden a diferentes vistas (por ejemplo, direcciones de visión, campos de vistas, etc.). En base a la información de profundidad asociada con cada imagen de vista no estratificada, en la imagen no estratificada multivista, se puede construir un mapa tensorial (por ejemplo, de orden 3, en las/los dimensiones/coordenadas/ejes x, y, z, etc.) en funciones de generación de imagen estratificada para generar una distribución de píxeles de la imagen de vista no estratificada de la imagen no estratificada multi-vista del espacio de imagen en 3D. El píxel en la distribución de píxeles generada a partir del mapa tensorial se representa en las/los dimensiones/coordenadas/ejes x, y y z (por ejemplo, con columnas de un fotograma de imagen, en la fila del fotograma de imagen, con la profundidad, etc.). Dado el mapa tensorial, se pueden generar imágenes de una sola capa con, por ejemplo, superficies de separación de capas. Las funciones de generación de capa de imagen basadas en mapas tensorial se pueden aplicar a cada imagen de vista en las imágenes de vista de la imagen no estratificada multi-vista para generar imágenes de una sola capa tal, para cada imagen de vista en diferentes capas de imagen.
Los mapas tensoriales también se pueden usar en funciones de reproducción de imagen. Por ejemplo, cuando las imágenes de una sola capa se utilizan para generar imágenes de representación visual a reproducir con un dispositivo portátil de un espectador, las imágenes de una sola capa o las imágenes de representación visual se pueden transformar espacialmente en base a la posición espacial real y a la dirección espacial real del dispositivo portátil por traslación, rotación, escalado, etc.
Las imágenes de dispositivo de representación visual de cine generadas a partir de las imágenes de una sola capa en la capa de imagen de cine se pueden usar con información de profundidad para construir una porción de un mapa tensorial que corresponde a una porción del espacio de la imagen en 3D. Las imágenes de dispositivo de representación visual de dispositivo generadas a partir de las imágenes de una sola capa en las una o más capas de
imagen del dispositivo pueden usarse con información de profundidad para construir otras porciones del espacio de la imagen en 3D. Las imágenes de dispositivo de representación visual de dispositivo se pueden generar individualmente para un dispositivo portátil en base a una posición espacial específica y/o a una dirección espacial específica del dispositivo portátil con las restricciones de que otras porciones del mapa tensorial construido a partir del dispositivo representen visualmente imágenes que se unen sin problemas a la porción del mismo mapa tensorial construido a partir de las imágenes del dispositivo de representación visual de cine. De este modo, según las técnicas descritas en el presente documento, el espacio de imagen en 3D, que se reproduce por la combinación de las imágenes de dispositivo de representación visual de cine y las imágenes de dispositivo de representación visual de dispositivo, refleja con precisión o fidelidad el espacio de imagen en 3D según se representa originalmente en la imagen no estratificada multi-vista.
Las realizaciones de ejemplo descritas en el presente documento se refieren a la generación de capas de imagen. Se accede a la información espacial que describe ubicaciones espaciales de una pluralidad de objetos visuales como en un espacio de imagen tridimensional (en 3D) según es representado en una o más imágenes no estratificadas multi-vista. Cada una de las una o más imágenes no estratificadas multi-vista comprende una pluralidad de imágenes no estratificadas de una sola vista correspondientes a una pluralidad de direcciones de visualización. En base a la información espacial que describe las ubicaciones espaciales de la pluralidad de objetos visuales en el espacio de la imagen en 3D según se representa en las una o más imágenes no estratificadas multivista, se realiza: generar, a partir de las una o más imágenes no estratificadas multi-vista, un capa de imagen de cine que comprende una o más imágenes de cine de una sola capa que representan un primer subconjunto apropiado de uno o más objetos visuales de entre la pluralidad de objetos visuales; generar, a partir de las una o más imágenes no estratificadas multi-vista, una o más capas de imagen de dispositivo, cada una de las cuales comprende una o más imágenes de dispositivo de una sola capa que representa/n uno o más segundos subconjuntos apropiados de uno o más objetos visuales de entre la pluralidad de objetos visuales; etc. Una señal de vídeo multi-capa y multi-vista que comprende las una o más imágenes de cine de una sola capa en la capa de imagen de cine y las una o más imágenes de dispositivo de una sola capa en las una o más capas de imagen de dispositivo se envía a uno o más dispositivos aguas abajo. para reproducir.
Las realizaciones de ejemplo descritas en el presente documento se refieren a la representación de imagen de dispositivo de representación visual de cine e imágenes de dispositivo de representación visual de dispositivo generadas a partir de capas de imagen. Se recibe una señal de vídeo multi-capa y multi-vista que comprende una o más imágenes de cine de una sola capa en una capa de imagen de cine y una o más imágenes de dispositivo de una sola capa en una o más capas de imagen de dispositivo. Las imágenes de cine de una sola capa en la capa de imagen de cine y las imágenes de dispositivo de una sola capa en las una o más capas de imagen de dispositivo se derivaron anteriormente de una o más imágenes no estratificadas multi-vista. Las una o más imágenes de cine de una sola capa se recuperan de la capa de imagen de cine de la señal de vídeo multi-capa y multi-vista. Las una o más imágenes de cine de una sola capa representan un primer subconjunto apropiado de uno o más objetos visuales de entre una pluralidad de objetos visuales según se representa originalmente por las una o más imágenes no estratificadas multi-vista. Las una o más imágenes de dispositivo de una sola capa se recuperan de las una o más capas de imagen de dispositivo de la señal de vídeo multi-capa multi-vista. Las una o más imágenes del dispositivo representan uno o más segundos subconjuntos apropiados de uno o más objetos visuales de entre la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista. Se hace que el primer subconjunto apropiado de objetos visuales, según se representa en las una o más primeras imágenes de una sola capa multi-vista, se reproduzca a un espectador en un dispositivo de representación visual de cine en un espacio en 3d . Se hace que los uno o más segundos subconjuntos apropiados de objetos visuales representados en las una o más segundas imágenes de una sola capa multi-vista se reproduzcan de manera concurrente al espectador en un dispositivo de representación visual de dispositivo en el espacio en 3D. El primer subconjunto apropiado de objetos visuales, según se reproduce en el dispositivo de representación visual de cine, y los uno o más segundos subconjuntos apropiados de objetos visuales, según se reproduce en el colectivo de dispositivo de representación visual del dispositivo, representan la pluralidad de objetos visuales ubicados en las mismas ubicaciones espaciales en un espacio de imagen en 3D, como originalmente se representa por las una o más imágenes no estratificadas multi-vista. La información espacial que describe las ubicaciones espaciales en el espacio de la imagen en 3D en el que se encuentra la pluralidad de objetos visuales se usó previamente para dividir la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista, en la capa de imagen de cine y en las una o más capas de imagen del dispositivo.
En algunas realizaciones de ejemplo, los mecanismos descritos en el presente documento forman parte de un sistema de procesamiento de medios, que incluye, pero no se limita a, cualquiera de los siguientes elementos: servidor basado en la nube, dispositivo móvil, sistema de realidad virtual, sistema de realidad aumentada, dispositivo de representación visual en cabeza, dispositivo de representación visual montado en casco, sistema tipo CAVE, dispositivo de representación visual en tamaño de pared, dispositivo de videojuego, dispositivo de representación visual, reproductor multimedia, servidor multimedia, sistema de producción multimedia, sistemas de cámara, sistemas de casa, dispositivos de comunicación, sistema de procesamiento de vídeo, sistema de códec de vídeo, sistema de estudio, servidor en cascada, sistema de servicio de contenido basado en la nube, dispositivo de mano, máquina de juegos, televisión, dispositivo de representación visual de cine, ordenador portátil, ordenador de libro, tableta, radioteléfono celular, lector de libros electrónico, terminal de punto de venta, ordenador de escritorio,
estación de trabajo de ordenador, servidor de ordenador, quiosco de ordenador o diversos tipos alternativos de terminales y de unidades de procesamiento de medios.
Resultará fácilmente evidente para el experto en la técnica entender las diversas modificaciones de las realizaciones preferidas y los principios y características genéricos descritos en el presente documento. De este modo, no se pretende que la divulgación se limite a las realizaciones mostradas, sino que se le conceda el más amplio alcance consistente con los principios y características descritos en el presente documento.
2. Experiencia de entretenimiento aumentada
En algunas realizaciones de ejemplo, las técnicas descritas en el presente documento se pueden utilizar para presentar contenido de imagen integrado (por ejemplo, en 3D, multi-vista, etc.) con dispositivos de representación visual compartidos (por ejemplo, dispositivos de representación visual de cine, etc.) y dispositivos de representación visual de dispositivos portátiles para aumentar/perfeccionar las experiencias de entretenimiento de los espectadores. Mientras visualiza el contenido de la imagen de cine en un dispositivo de representación visual de cine, un espectador puede visualizar simultáneamente el contenido de imagen de dispositivo reproducido en un dispositivo de representación visual de dispositivo de un dispositivo portátil utilizado por el espectador. El contenido de la imagen de cine y el contenido de imagen de dispositivo, que puede derivarse de imágenes no estratificadas multivista, presentan colectivamente todos los objetos visuales originalmente representados en las mismas imágenes no estratificadas multi-vista.
El dispositivo portátil y el dispositivo de representación visual del dispositivo que lo acompaña representan una adición a un dispositivo de representación visual de cine, a una pantalla de entretenimiento plana como un televisor, etc. Por ejemplo, el dispositivo portátil puede ser un par de gafas AR que use el espectador. El dispositivo portátil puede implantar tecnologías de separación de los ojos izquierdo y derecho para visualizar contenido en 3D en el dispositivo de representación visual de cine. Al mismo tiempo, el dispositivo portátil (o los lectores de imágenes con el mismo) pueden reproducir el contenido de imagen de dispositivo de forma sincrónica con la reproducción del contenido de la imagen del cine en 2D o en 3D en el dispositivo de representación visual de cine. De este modo, el dispositivo portátil puede añadir una nueva dimensión o un nuevo intervalo de profundidad a la dimensión o intervalo de profundidad al que, de otro modo, el dispositivo de representación visual de cine podría proporcionar por sí sólo.
En el caso de que se reproduzca el contenido de la imagen de cine en 3D en el dispositivo de representación visual de cine, el contenido de imagen de dispositivo reproducido en el dispositivo portátil puede ser el contenido de imagen de dispositivo en 3D. En algunas realizaciones, el contenido de imagen de dispositivo en 3D según lo reproduce el dispositivo portátil puede (por ejemplo, principalmente, substancialmente, parcialmente, etc.) enfocarse en objetos visuales entre el espectador y el dispositivo de representación visual de cine. Tales porciones de contenido de imagen en 3D serían de paralaje y profundidad negativos si se reprodujeran en el dispositivo de representación visual de cine. A modo de comparación, según las técnicas descritas en el presente documento, las porciones del contenido de la imagen en 3D entre el espectador y el dispositivo de representación visual de cine pueden representarse visualmente mediante el dispositivo portátil con paralaje y profundidad positivos. De este modo, se puede proporcionar al espectador una transición en gran medida cómoda entre los objetos visuales de paralaje positivo, según los reproduce el dispositivo de representación visual de cine, y los objetos visuales de paralaje también positivo según los reproduce por el dispositivo portátil.
En el caso de que se reproduzca el contenido de la imagen de cine en 2D en el dispositivo de representación visual de cine, el contenido de imagen de dispositivo reproducido en las gafas AR puede ser contenido de imagen de dispositivo en 3D que complementa el contenido de la imagen de cine en 2D. El contenido de imagen de dispositivo en 3D según la reproduce el dispositivo portátil puede (por ejemplo, principalmente, substancialmente, parcialmente, etc.) enfocarse en porciones de contenido de imagen en 3d en el contenido de imagen general que representa objetos visuales como objetos en 3D entre el espectador y el dispositivo de representación visual de cine, y, opcionalmente, detrás del dispositivo de representación visual de cine con relación al espectador, con oclusiones y/o desobstrucciones apropiadas de detalles en 3D, dependiendo de las posiciones espaciales y/o de las direcciones espaciales del dispositivo portátil. Algunas de estas porciones de contenido de imagen en 3D serían de paralaje y profundidad negativos si se reprodujeran en el dispositivo de representación visual de cine. A modo de comparación, con las técnicas descritas en el presente documento, todas las porciones de contenido de imagen en 3D entre el espectador y el dispositivo de representación visual de cine, e incluso detrás del dispositivo de representación visual de cine, pueden representarse visualmente mediante las gafas AR con paralaje y profundidad positivos. De este modo, se puede proporcionar al espectador una transición en gran medida cómoda y sin problemas cuando el espectador rastrea los objetos visuales tal según se reproducen en el dispositivo de representación visual de cine y según se reproducen con el dispositivo portátil.
En contraste con otros enfoques que o bien limitan los objetos visuales a una profundidad muy baja frente al dispositivo de representación visual de cine o bien intentan aumentar la profundidad representando visualmente objetos visuales con un paralaje negativo relativamente grande, el enfoque bajo las técnicas según se describen en el presente documento puede utilizarse para representar visualmente objetos visuales con una profundidad relativamente grande frente al dispositivo de representación visual de cine sin introducir un paralaje negativo
relativamente grande. De este modo, las técnicas descritas en el presente documento pueden proporcionar soluciones eficaces para prevenir o resolver el conflicto de acomodación-vergencia.
Cuando sólo se usa el dispositivo de representación visual de cine (sin un dispositivo portátil según se describe en el presente documento) para reproducir objetos visuales en 3D, un objeto visual en 3D específico puede pasar de estar detrás del dispositivo de representación visual de cine a estar frente al dispositivo de representación visual de cine. Si el objeto visual en 3D específico está demasiado lejos del dispositivo de representación visual de cine, es posible que el contenido de la imagen de cine no pueda reproducir el objeto visual en 3D específico, ya que el objeto visual en 3D específico puede moverse fuera del intervalo de ángulo de visión sólido soportado por el dispositivo de representación visual de cine.
En comparación, con las técnicas descritas en el presente documento, el objeto visual en 3D específico se puede representar visualmente o reproducir con el dispositivo portátil para soportar un intervalo de ángulo de visión mucho mayor que el que podría soportar el dispositivo de representación visual de cine solo. De este modo, el espectador puede seguir rastreando visualmente el objeto visual en 3D específico dentro de un intervalo de ángulo de visión mucho mayor sin estar limitado o restringido al ángulo sólido soportado por el dispositivo de representación visual de cine solo.
Las técnicas descritas en el presente documento se pueden implantar con cualquier combinación de un dispositivo compartido de representación visual, en una amplia variedad de dispositivos de representación visual compartidos, con un dispositivo portátil, en una amplia variedad de dispositivos portátiles. En lugar de representar visualmente imágenes en 3D con un solo dispositivo compartido de representación visual o un solo dispositivo de representación visual dedicado, se pueden usar múltiples dispositivos de representación visual simultáneamente para representar visualmente múltiples capas de imagen generadas a partir del mismo contenido de imagen multi-vista. Cada una de estas capas de imagen se puede reproducir para representar objetos visuales de paralaje positivo o con profundidad (o no mayor que la cantidad tolerable de paralaje negativo). Los dispositivos portátiles de ejemplo incluyen, pero sin limitarse necesariamente a, sólo algunos de o todos los elementos siguientes: un proyector de imágenes, un dispositivo de representación visual AR, un dispositivo de representación visua1HoloLens, un dispositivo de representación visual Magic Leap, un dispositivo de representación visual de realidad mixta (MR), un dispositivo de representación visual tensorial, un dispositivo de representación visual volumétrico , un dispositivo de representación visual de campo de luz (LF), un dispositivo de representación visual Immy, un dispositivo de representación visual Meta, un par de gafas AR relativamente simple, un dispositivo de representación visual con cualquier capacidad dentro de una amplia gama de capacidades para superar el conflicto de acomodación-vergencia, etc.
El dispositivo portátil puede ser un sistema AR relativamente simple que proyecta, se enfoca en un solo plano de imagen (por ejemplo, un dispositivo de representación visual virtual, un dispositivo de representación visual real, un dispositivo de representación visual LF, etc.) de una distancia o punto de alojamiento relativamente cercano. El espectador puede tener opciones dadas para usar el dispositivo portátil para evitar el paralaje negativo y/o visualizar contenido de imagen en 3d adicional u objetos visuales sincrónicamente además del contenido de imagen en 2D o en 3D u objetos visuales presentados con el dispositivo de representación visual de cine en un intervalo de profundidad compatible con el dispositivo de representación visual de cine. De este modo, se pueden proporcionar experiencias de visualización diferenciadas a los espectadores y engañar a la mente para que piense que las múltiples capas de imagen reproducidas en múltiples dispositivos de representación visual con múltiples profundidades son en realidad el contenido general de la imagen reproducido en un solo dispositivo de representación visual con un potente intervalo de profundidad. El cerebro humano puede aceptar fácilmente (o adaptarse fácilmente a) estas percepciones, ya que las experiencias de entretenimiento aumentadas según se describen en el presente documento son fisiológicamente más cómodas que la experiencia de visualización con un paralaje negativo relativamente grande, y representan un umbral de aceptación psicológica más bajo que el umbral de aceptación psicológica representado por la experiencia de visualización con el paralaje negativo relativamente grande.
3. Generación de imágenes estratificadas
La figura 1A ilustra objetos visuales en 3D de ejemplo (por ejemplo, 118, 120, etc.) representados en una imagen no estratificada multi-vista. Una imagen no estratificada multi-vista puede comprender una pluralidad de imágenes de vista no estratificadas (únicas) que corresponden a una pluralidad de vistas diferentes (por ejemplo, direcciones de visualización, campos de vistas, etc.). Cada imagen de vista no estratificada de entre la pluralidad de imágenes de vista no estratificadas de la imagen no estratificada multi-vista puede corresponder a una vista respectiva de entre la pluralidad de vistas diferentes. Por ejemplo, una imagen no estratificada multi-vista puede comprender una primera imagen de vista no estratificada que corresponde a una vista izquierda (por ejemplo, para ser reproducida al ojo izquierdo de un espectador, etc.) y una segunda imagen de vista no estratificada que corresponde a una vista derecha (por ejemplo, para ser reproducida al ojo derecho del espectador, etc.).
En algunas realizaciones, la imagen no estratificada multi-vista representa una pluralidad de objetos visuales (en 3D) en un espacio 196 de imagen en 3D. Para simplificar, sólo dos objetos visuales (en 3D) (120 y 118) están en el espacio en 3D (196) de imagen según se ilustra en la figura 1A. Sin embargo, debe tenerse en cuenta que una
imagen no estratificada multi-vista según se describe en el presente documento puede representar cualquier cantidad de objetos visuales (en 3D). Los objetos visuales de ejemplo pueden incluir, pero sin limitarse necesariamente a, humanos, avatares, figuras generadas por ordenador, animales, plantas, montañas, ríos, cielo, casas, parques, puentes, aviones, automóviles, barcos u otros objetos visuales que pueden ser reproducidos y percibidos por el sistema de visión humano, etc.
La imagen no estratificada multi-vista se puede adquirir/capturar/componer a partir de una escena en 3D física o virtual mediante cualquier combinación de una amplia variedad de dispositivos de captura, que pueden estar presentes física o virtualmente en la escena en 3D. En algunas realizaciones, se puede usar un modelo de objeto visual para reproducir o generar algunas o todas las porciones de la imagen en la imagen no estratificada multi-vista. Los dispositivos de captura de ejemplo incluyen, pero sin limitarse a, cámaras de estudio, cámaras multi-vista, cámaras de campo de luz, cámaras que comprenden elementos de microlentes, cámaras HDR, cámaras de teléfonos móviles, cámaras que están integradas con dispositivos informáticos, cámaras que funcionan en conjunto con dispositivos informáticos, cámaras no profesionales, cámaras profesionales, cámaras virtuales, generadores de imagen por ordenador, reproductores de imagen por ordenador, generadores de gráficos por ordenador, animadores por ordenador, generadores de imágenes virtuales, etc. Obsérvese que la escena en 3D de la que deriva la imagen no estratificada puede ser completamente una escena en 3D física, completamente una escena en 3D virtual o una combinación de una o más escenas en 3D físicas y/o una o más escenas en 3D virtuales.
El espacio en 3D (196) de imagen puede representar una porción de la escena en 3D a partir de la cual se adquiere/captura/compone la imagen no estratificada multi-vista. Los ejemplos del espacio en 3D (196) de imagen pueden incluir, pero sin limitarse necesariamente a sólo uno, los siguientes elementos: la escena en 3D completa, una o más porciones destacadas de la escena en 3D, una o más porciones detalladas de la escena en 3D, una relativamente grande, una relativamente pequeña, y similares.
La figura 1B ilustra un ejemplo de espacio en 3D 126 en el que el espectador está ubicado para visualizar la pluralidad de objetos visuales en el espacio en 3D (196) de imagen a través de imágenes reproducidas con dispositivos de representación visual (de imagen) tales como un dispositivo 104 de representación visual de cine, un dispositivo 116 de representación visual de dispositivo de un dispositivo portátil utilizado por el espectador, etc.
Los ejemplos del espacio en 3D (126) pueden incluir, pero sin limitarse necesariamente a, cualquier elemento de entre: un espacio en 3D de referencia, un espacio físico, un cine, un teatro, una sala de conciertos, un auditorio, un parque de atracciones, un bar, una casa, una habitación, una sala de exposiciones, un local, un bar, un barco, un avión, etc. El espacio en 3D (126) puede ser un volumen tridimensional de posiciones espaciales en las que se puede representar en un sistema de coordenadas espaciales tridimensionales (por ejemplo, un sistema de coordenadas de referencia, un sistema de coordenadas mundial, etc.) estacionario con respecto al espacio en 3D (126).
A modo de ilustración, pero no de limitación, el sistema de coordenadas espaciales tridimensionales estacionarias utilizado para representar posiciones espaciales en el espacio en 3D (126) puede ser un sistema cartesiano de coordenadas de referencia representado en la esquina inferior izquierda del espacio en 3D (126). El sistema cartesiano de coordenadas de referencia puede comprender un origen del sistema de coordenadas en una posición espacial de referencia indicada como "p" según se muestra en la figura 1B. La posición espacial "p" de referencia puede seleccionarse a partir de cualquier posición espacial estacionaria en el espacio en 3D (126).
El espacio en 3D (196) de imagen representado en la imagen no estratificada multi-vista puede o no ser del mismo tamaño (o coextendido) que el del espacio en 3D (126) en el que se utilizan los dispositivos de representación visual para reproducir. la pluralidad de objetos visuales en la imagen no estratificada multi-vista. Dependiendo del contenido de imagen específico (por ejemplo, paisaje amplio, habitación pequeña, etc.) o de las aplicaciones de dispositivo de representación visual relacionadas con la imagen no estratificada multi-vista, el espacio en 3D (196) de imagen según se reproduce puede ser (por ejemplo, mucho, etc.) mayor o menor que el espacio en 3D (126) en el que se encuentran el espectador (112-0) y los dispositivos de representación visual (por ejemplo, 104, 116, etc.).
La reproducción de la pluralidad de objetos visuales bajo las técnicas según se describen en el presente documento permite al espectador (112-0) tener la experiencia de usuario de estar presente en el espacio en 3D (196) de imagen, como si el espacio en 3D (126) en el que el espectador (112-0) se encuentra se fundiera, fusionara o proyectara en el espacio en 3D (196) de imagen, o como si los objetos visuales (por ejemplo, 118, 120, etc.) fueran objetos en 3D reales presentes en, o formando parte de, el espacio en 3D (126).
En algunas realizaciones, un sistema de entretenimiento aumentado que implanta algunas o todas las técnicas descritas en el presente documento toma imágenes de una sola capa en una pluralidad de capas de imagen que fueron previamente generadas por un dispositivo aguas arriba, tal como un codificador de imágenes estratificadas (por ejemplo, el 180 de la figura 2A, etc.), etc., a partir de la imagen no estratificada multi-vista, genera imágenes de dispositivo de representación visual de cine e imágenes de dispositivo de representación visual de dispositivo a partir de las imágenes de una sola capa recibidas, y reproduce las imágenes de dispositivo de representación visual de cine y las imágenes de dispositivo de representación visual de dispositivo en dispositivos de representación visual
múltiples (por ejemplo, 104, 116, etc.) en el espacio en 3D (126), incluyendo los dispositivos de representación visual de los dispositivos portátiles utilizados por los espectadores, en lugar de reproducir directamente la imagen no estratificada multi-vista (o las imágenes no estratificadas de una sola vista) en un solo dispositivo de representación visual en el espacio en 3D (126).
En algunas realizaciones, el dispositivo aguas arriba o el codificador de imágenes estratificadas (180 de la figura 2A) accede a información espacial que describe ubicaciones espaciales de cada objeto visual de entre la pluralidad de objetos visuales en el espacio en 3D (196) de imagen, según se representa en la imagen no estratificada multi-vista. Los ejemplos de información espacial pueden incluir, pero sin limitarse necesariamente a, uno o más elementos de entre: imagen de profundidad, información de disparidad, información epipolar, malla en 3D, etc.
En base a la información espacial que describe las ubicaciones espaciales de la pluralidad de objetos visuales en el espacio en 3D (196) de imagen según se representa en las una o más imágenes no estratificadas de vistas múltiples, el codificador de imágenes estratificadas (180 de la figura 2A) genera la pluralidad de capas de imagen a partir de la imagen no estratificada multi-vista.
Cada capa de imagen de entre la pluralidad de capas de imagen comprende una o más imágenes de una sola capa multi-vista que representan un subconjunto apropiado de uno o más objetos visuales en una pluralidad de objetos visuales (por ejemplo, originalmente, anteriormente, etc.) representados en la imagen no estratificada multi-vista.
Se puede usar cualquier combinación de una variedad de factores selectivos, umbrales de relación espacial, criterios de relación espacial, etc., para seleccionar objetos visuales, de entre la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista, que se incluirán en una capa de imagen particular de entre la pluralidad de capas de imagen. Los factores selectivos de ejemplo, umbrales de relación espacial, criterios de relación espacial, etc., incluyen, pero sin limitarse sólo necesariamente a, uno o más elementos de entre: ubicaciones espaciales de dispositivos de representación visual en el espacio en 3D (126); ubicaciones espaciales del espectador (112-0) en el espacio en 3D (126); posiciones espaciales de objetos visuales en relación con las ubicaciones espaciales de los dispositivos de representación visual o del espectador (112-0); direcciones espaciales de objetos visuales en el espacio en 3D (126) con respecto al espectador (112-0); importancia artística relativa de los objetos visuales; propiedades visuales (por ejemplo, brillo, colores, etc.) de los objetos visuales; características de movimiento (por ejemplo, objetos en movimiento, objetos estacionarios, fondo, etc.) de los objetos visuales; ubicaciones espaciales pasadas de objetos visuales; direcciones espaciales pasadas de objetos visuales; etc.
A modo de ejemplo, pero no de limitación, la pluralidad de capas de imagen se puede generar a partir de la imagen no estratificada multi-vista en base a las profundidades de los objetos visuales representados en la imagen no estratificada multi-vista. Según se ilustra en la figura 1B, el espacio en 3D (196) de imagen de la imagen no estratificada multi-vista puede proyectarse o superponerse en el espacio en 3D (126) con relación al espectador (por ejemplo, de referencia, real, etc.) (112-0) ubicado en la posición espacial 192 (por ejemplo, de referencia, etc.) estacionaria en el espacio en 3D (126). Las profundidades de los objetos visuales de entre la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista se pueden medir con relación a la posición espacial de referencia (192) del espectador (112-0) a lo largo de una dirección espacial de referencia del espectador (112- 0). Esta dirección espacial de referencia del espectador (112-0) puede determinarse como una dirección de visión frontal de un dispositivo portátil utilizado por el espectador (112-0), cuya dirección de visión frontal se origina en la posición espacial (192) de referencia del espectador. (112-0) hacia el dispositivo (104) de representación visual de cine e intercepta perpendicularmente el dispositivo (104) de representación visual de cine.
El dispositivo (104) de representación visual de cine puede desplegarse como un dispositivo de representación visual estacionario en el espacio en 3D (126), por ejemplo, para ser visualizado por un solo espectador o por múltiples espectadores. El dispositivo (116) de representación visual de dispositivo puede ser un dispositivo de representación visual específico entre dispositivos de representación visual individuales de dispositivos portátiles individuales utilizados por los espectadores, incluido el espectador (112-0), y puede no estar necesariamente estacionario en el espacio en 3D (126).
Según las técnicas descritas en el presente documento, tanto el dispositivo (116) de representación visual de dispositivo del dispositivo portátil utilizado por el espectador (112-0) como el dispositivo (104) de representación visual de cine que se comparte entre los espectadores se utilizan para reproducir al espectador (112-0) las imágenes de una sola capa de entre la pluralidad de capas de imagen generadas a partir de la imagen no estratificada multivista.
Según se ilustra en la figura 1B, el codificador de imágenes estratificadas puede usar una superficie 194 de separación de capas para dividir un primer subconjunto apropiado de objetos visuales (por ejemplo, 118, etc.) que están en o detrás de la superficie de separación (194) de capas con relación al espectador (112 -0), en una capa de imagen de cine. La capa de imagen de cine comprende una pluralidad de primeras imágenes de una sola capa multi-vista generadas a partir de porciones de imagen, de entre la pluralidad de imágenes de vista no estratificadas de la imagen no estratificada multi-vista, que representan el primer subconjunto apropiado de objetos visuales (por ejemplo, 118, etc.).
Además, el codificador de imágenes estratificadas puede usar la superficie (194) de separación de capas para dividir uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.) que están antes de la superficie (194) de separación de capas con relación al espectador (112-0) en una o más capas de imagen del dispositivo. Cada segundo subconjunto apropiado en los uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.) corresponde a una capa de imagen de dispositivo respectiva en las una o más capas de imagen de dispositivo. La capa de imagen respectiva comprende una pluralidad respectiva de segundas imágenes de una sola capa multi-vista generadas a partir de porciones de imagen respectivas, de entre la pluralidad de imágenes de vista no estratificadas de la imagen no estratificada multi-vista, que representan cada segundo subconjunto apropiado de objetos visuales (por ejemplo, 118, etc.). De este modo, las una o más capas de imagen del dispositivo comprenden una o más pluralidades de segundas imágenes de una sola capa multi-vista generadas a partir de porciones de imagen, de entre la pluralidad de imágenes de vista no estratificadas de la imagen no estratificada multi-vista, que representan los uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 118, etc.).
Además de una superficie de separación de capas, tal como la 194, según se ilustra en la figura 1B, en algunas realizaciones se pueden usar cero o más superficies de separación de capas adicionales para dividir las una o más capas de imagen del dispositivo entre sí. Por ejemplo, se pueden usar superficies adicionales de separación de capas para separar o distinguir un subconjunto de otro subconjunto entre los uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.) en los casos en que haya múltiples segundos subconjuntos apropiados de objetos visuales. En algunas realizaciones, un objeto visual (por ejemplo, un objeto en 3D, etc.) puede abarcar más de una capa de imagen. Por ejemplo, un objeto visual, tal como un automóvil, puede tener una porción del objeto visual, como la porción delantera del automóvil, en una primera capa de imagen del dispositivo, y otras porciones del objeto visual, como la porción trasera del automóvil, en una o más capas de imagen del segundo dispositivo. Además, opcional o alternativamente, un objeto visual según se describe en el presente documento puede abarcar la capa de imagen de cine y una o más de las capas de imagen del dispositivo.
Según se ilustra en la figura 1C, el dispositivo portátil utilizado por el espectador (112-0) puede comprender uno o más dispositivos 116-1, 116-2 de representación visual de dispositivo, etc., (o un solo dispositivo de representación visual de dispositivo con diferentes profundidades de plano de imagen) desde la posición espacial (192) de referencia del espectador (112-0). Las imágenes de una sola capa en la capa de imágenes de cine divididas por la superficie (194) de separación de capas pueden usarse para generar imágenes de dispositivo de representación visual de cine reproducidas/representadas visualmente en la representación visual (104) de cine. Las imágenes de una sola capa en una de las una o más capas de imagen del dispositivo divididas adicionalmente por la superficie (194-1) de separación de capas pueden usarse para generar imágenes de dispositivo de representación visual de dispositivo reproducidas/representadas visualmente en la representación visual (116-1) del dispositivo. Las imágenes de una sola capa en el resto de las una o más capas de imagen del dispositivo pueden usarse para generar imágenes de representación visual adicionales reproducidas/representadas visualmente en la representación visual (116-2) del dispositivo. Las imágenes de dispositivo de representación visual de cine reproducidas/representadas visualmente en las diferentes profundidades del plano de la imagen se pueden reproducir simultáneamente o de manera secuencial en el tiempo en un solo tiempo de actualización de imagen o en un único intervalo de fotograma de imagen usando multiplexación por división de tiempo.
Los ejemplos de superficies de separación de capas según se describen en el presente documento pueden incluir, pero sin limitarse necesariamente a, cualesquiera elementos de entre: planos, superficies curvas, formas regulares, formas irregulares, etc.
En algunas realizaciones, se establece una posición espacial de la superficie (194) de separación de capas con relación al dispositivo (104) de representación visual de cine. En un ejemplo, la superficie (194) de separación de capas puede coincidir con el dispositivo (104) de representación visual de cine. En otro ejemplo, la superficie (194) de separación de capas puede establecerse a una distancia específica ya sea detrás (como se ilustra en la figura 1B) o delante (como se ilustra en la figura ID) del dispositivo (104) de representación visual de cine. La distancia específica de la superficie (194) de separación de capas al dispositivo (104) de representación visual de cine puede ser, sin limitación, una de entre las siguientes: una distancia relativamente pequeña, una distancia relativamente grande, una distancia cero, un metro de distancia, cinco metros de distancia, una fracción de profundidad o de distancia entre el dispositivo (104) de representación visual de cine y la posición espacial (192) del espectador (112 0), etc. De este modo, la distancia específica de la superficie (194) de separación de capas al dispositivo (104) de representación visual de cine puede reflejar un umbral de distancia (o un umbral de profundidad relativo) utilizado para separar objetos visuales de entre la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista en diferentes capas de imagen.
En algunas realizaciones, se establece una posición espacial de la superficie (194) de separación de capas con relación al espectador (112-0) en la posición espacial (de referencia) (192). Por ejemplo, la superficie (194) de separación de capas puede establecerse a una distancia específica del espectador (112-0). La distancia específica desde la superficie (194) de separación de capas al espectador (112-0) puede ser, sin limitación, una de las siguientes: una distancia relativamente pequeña, una distancia relativamente grande, cinco metros de distancia, 20
metros de distancia, 50 metros de distancia, etc. De este modo, la distancia específica de la superficie (194) de separación de capas al espectador (112-0) puede representar un umbral de distancia (o un umbral de profundidad relativa) utilizado para separar objetos visuales de entre la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista en diferentes capas de imagen.
En algunas realizaciones, se establece una posición espacial de la superficie (194) de separación de capas en relación con otra ubicación espacial distinta de las del espectador (112-0) en la posición espacial (de referencia) (192) y el dispositivo (104) de representación visual de cine. Por ejemplo, la superficie (194) de separación de capas puede establecerse a una distancia específica del origen "p" del sistema de coordenadas de referencia. La distancia específica de la superficie (194) de separación de capas al origen "p" puede ser, sin limitación, una de las siguientes: una distancia relativamente pequeña, una distancia relativamente grande, una distancia cero, un metro de distancia, cinco metros de distancia, 20 metros de distancia, 50 metros de distancia, etc. De este modo, la distancia específica de la superficie (194) de separación de capas al origen "p" puede representar un umbral de distancia (o un umbral de profundidad relativa) utilizado para separar objetos visuales de entre la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista en diferentes capas de imagen.
En algunas realizaciones, según se ilustra en la figura IE, el codificador de imágenes estratificadas puede dividir la pluralidad de objetos visuales de la imagen no estratificada multi-vista en capas de imagen, en base a relaciones espaciales con referencia a entidades presentes física o virtualmente en el espacio en 3D (126), sin usar una superficie (por ejemplo, 194 de la figura 1B o la figura 1C, etc.) de separación de capas.
Por ejemplo, la pluralidad de objetos visuales (por ejemplo, 118, 120, etc.) se puede dividir en función de si estos objetos visuales cumplen respectivamente ciertos umbrales (o criterios) de relación espacial que están relacionados con uno o más elementos de entre: el dispositivo (104) de representación visual de cine, el espectador (112-0) en la ubicación espacial (de referencia) (192), el origen "p" del sistema de coordenadas de referencia, etc., según se muestra en la figura 1B.
Un primer subconjunto apropiado de objetos visuales (por ejemplo, 118, etc.) que cumplen umbrales (o criterios) de relación espacial específicos con respecto al dispositivo (104) de representación visual de cine puede dividirse en una capa de imagen de cine. Uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.) que no cumplen los umbrales (o criterios) de relación espacial específicos con respecto al dispositivo (104) de representación visual de cine se dividen en una o más capas de imagen del dispositivo. Los umbrales (o criterios) de relación espacial específicos relativos al dispositivo (104) de representación visual de cine pueden comprender umbrales (o criterios) de relación espacial adicionales que se pueden usar para dividir las una o más capas de imagen del dispositivo entre sí. Por ejemplo, los umbrales (o criterios) de relación espacial adicionales pueden usarse para separar o distinguir un subconjunto de otro subconjunto entre los uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.).
En algunas realizaciones, los umbrales de relación espacial pueden comprender un umbral de profundidad específico (por ejemplo, no más de un metro, no más de dos metros, no más de un valor de dimensión espacial establecido como un valor relativo a una dimensión espacial del dispositivo (104) de representación visual de cine, etc.). El umbral de profundidad especifica que todos los objetos visuales detrás de una profundidad específica del dispositivo (104) de representación visual de cine deben dividirse en la capa de imagen de cine. El umbral de profundidad especifica que todos los demás objetos visuales delante de la profundidad específica del dispositivo (104) de representación visual de cine deben dividirse en las una o más capas de imagen del dispositivo. El umbral de profundidad puede estar representado por un valor positivo, cero o un valor negativo, de la distancia específica al dispositivo (104) de representación visual de cine.
Además, opcional o alternativamente, se puede utilizar un umbral espacial diferente, tal como un umbral de paralaje espacial, un umbral de disparidad espacial, etc., en lugar del umbral de profundidad o además del umbral de profundidad con el fin de seleccionar o dividir la pluralidad de objetos visuales representados en la imagen no estratificada multi-vista en diferentes capas de imagen.
Por ejemplo, el dispositivo (104) de representación visual de cine puede representar un plano/superficie de paralaje cero en las funciones de reproducción de imagen. Cualquier objeto visual que se representara con imágenes de una sola capa reproducidas en el dispositivo (104) de representación visual de cine como detrás del dispositivo (104) de representación visual de cine sería de paralaje positivo, mientras que cualquier objeto visual que se representara con imágenes de una sola capa reproducidas en el dispositivo (104) de representación visual de cine como delante del dispositivo (104) de representación visual de cine sería de paralaje negativo.
En algunas realizaciones, los umbrales de relación espacial pueden comprender un umbral de paralaje específico. El umbral de paralaje especifica que todos los objetos visuales con no menos de un paralaje específico con respecto al plano/superficie de paralaje cero representado por el dispositivo (104) de representación visual de cine deben dividirse en la capa de imagen de cine. El umbral de paralaje especifica que todos los objetos visuales menores que el paralaje específico con respecto al plano/superficie de paralaje cero representado por el dispositivo (104) de representación visual de cine deben dividirse en las una o más capas de imagen del dispositivo. El umbral de
paralaje puede estar representado por un valor positivo, cero, o un valor negativo del paralaje específico.
Además, opcional o alternativamente, el dispositivo (104) de representación visual de cine puede representar un plano/superficie de disparidad cero en las funciones de reproducción de imagen. Cualquier objeto visual que se representara con imágenes de una sola capa reproducidas en el dispositivo (104) de representación visual de cine como detrás del dispositivo (104) de representación visual de cine tendría una disparidad positiva, mientras que cualquier objeto visual que se representara con imágenes de una sola capa reproducidas en el dispositivo (104) de representación visual de cine como delante del dispositivo (104) de representación visual de cine tendría una disparidad negativa.
En algunas realizaciones, los umbrales de relación espacial pueden comprender un umbral de disparidad específico. El umbral de disparidad especifica que todos los objetos visuales con no menos de una disparidad específica con respecto al plano/superficie de disparidad cero representado por el dispositivo (104) de representación visual de cine deben dividirse en la capa de imagen de cine. El umbral de disparidad especifica que todos los objetos visuales menores que la disparidad específica relativa al plano/superficie de disparidad cero representado por el dispositivo (104) de representación visual de cine deben dividirse en las una o más capas de imagen del dispositivo. El umbral de disparidad puede estar representado por un valor positivo, cero, o un valor negativo de la disparidad específica. En algunas realizaciones, la imagen no estratificada multi-vista puede ser una imagen no estratificada multi-vista específica de entre una pluralidad de imágenes no estratificadas multi-vista que constituyen una secuencia de tiempo de tales imágenes. La secuencia de tiempo de imágenes no estratificadas multi-vista puede representar un programa de medios, un programa de transmisión, una película, una sesión VR, una sesión AR, una sesión de presencia remota, un juego de ordenador, etc.).
En algunas realizaciones, algunas o todas las ubicaciones espaciales pasadas y/o futuras de objetos visuales, direcciones espaciales pasadas y/o futuras de los objetos visuales, características de movimiento pasadas y/o futuras de los objetos visuales, pertenencias pasadas y/o futuras de los objetos visuales en capas de imagen específicas, etc., pueden usarse para determinar si alguno de estos objetos visuales debe dividirse en una capa de imagen específica de entre la pluralidad de capas de imagen.
Por ejemplo, se puede determinar que un objeto visual esté previamente en una capa de imagen y, posteriormente, moverlo a ubicaciones espaciales, direcciones espaciales, etc., que correspondieran a una capa de imagen diferente. Para reducir el trasiego por el que el objeto visual baila demasiado rápido o con demasiada frecuencia entre o a través de diferentes capas de imagen en un período de tiempo relativamente corto, el codificador de imágenes estratificadas puede implantar uno o más elementos de entre: efectos/mecanismos de retardo, factores de atenuación, filtros de suavizado, procesamiento de ruido, etc. para permitir o asignar al objeto visual que permanezca en una capa de imagen en particular, tal como una capa de imagen anterior, una capa de imagen actual, etc., en lugar de dividirse o asignarse inmediatamente a la capa de imagen actual, a una nueva capa de imagen, etc. Cualquiera de estos efectos/mecanismos de retardo, factores de atenuación, filtros de suavizado, procesamiento de ruido, etc., puede funcionar supeditado a alguno de o a todos estos elementos: ubicaciones espaciales pasadas y/o futuras de objetos visuales, direcciones espaciales pasadas y/o futuras de los objetos visuales, características de movimiento pasadas y/o futuras de los objetos visuales, pertenencias/asignaciones pasadas y/o futuras de los objetos visuales en capas de imagen específicas, etc.
Además, opcional o alternativamente, la importancia artística relativa de los objetos visuales, las propiedades visuales (por ejemplo, brillo, colores, etc.) de los objetos visuales, las características de movimiento (por ejemplo, objetos en movimiento, objetos estacionarios, fondo, etc.) de los objetos visuales, etc., también pueden usarse como factores de selección, umbrales de relación espacial, criterios de relación espacial, etc., en lugar de o además de los factores de selección anteriores, los umbrales de relación espacial anteriores, los criterios de relación espacial anteriores, etc. según se analizó anteriormente.
En algunas realizaciones, el codificador de imágenes estratificadas puede codificar la pluralidad de capas de imagen con sus respectivas imágenes de una sola capa en una imagen multi-capa multi-vista. La imagen multi-capa multivista, junto con otra imagen multi-capa multi-vista generada a partir de otras imágenes no estratificadas multi-vista, se puede codificar en una señal de vídeo multi-capa multi-vista que se transmite directa o indirectamente a uno o más dispositivos aguas abajo. Los ejemplos de dispositivos aguas abajo pueden incluir, pero sin limitarse necesariamente a, cualquiera de los siguientes: sistemas de entretenimiento aumentados para reproducir la imagen multi-vista en una representación multi-capa, dispositivos de almacenamiento para almacenar la imagen multi-vista en la representación multi-capa, servidores en cascada de medios para transmitir la imagen multi-vista en la representación multi-capa, etc.
4. Mapa tensoriales
Como se señaló anteriormente, una imagen no estratificada multi-vista puede comprender una pluralidad de imágenes de vista no estratificadas (únicas) que corresponde a una pluralidad de vistas diferentes (por ejemplo, direcciones de visualización, campos de vistas, etc.). En algunas realizaciones, en base a la información de
profundidad para cada imagen de vista no estratificada en la imagen no estratificada multi-vista, se puede construir un mapa tensorial (por ejemplo, de orden 3, en las/los dimensiones/coordenadas/ejes x, y, z, etc.) para generar una distribución de píxeles de la imagen de vista no estratificada en la imagen no estratificada multi-vista en el espacio en 3D de imagen. El píxel en la distribución de píxeles generada a partir del mapa tensorial se representa no sólo en las/los dimensiones/coordenadas/ejes x e y (por ejemplo, en las columnas de un fotograma de imagen, en la fila del fotograma de imagen, etc.) sino también en la dimensión/coordenada/eje z (por ejemplo, en la profundidad, etc.). La figura IF ilustra una distribución 188 de píxeles en 3D de ejemplo de una imagen de vista no estratificada en una imagen no estratificada multi-vista que se deriva de un mapa tensorial. la figura 1G ilustra imágenes 176-1 a 176-3 de una sola capa de ejemplo generadas a partir de la imagen de vista no estratificada basada en la distribución (188) de píxeles en 3D.
El mapa tensorial se puede construir en un espacio en 3D (por ejemplo, el 196, etc.) de imagen, representado en la imagen no estratificada multi-vista en base a (a) una distribución de píxeles en 2D en las/los dimensiones/coordenadas/ejes x e y según se representa en la imagen de vista no estratificada, y (b) información de profundidad que indica (por ejemplo, con precisión, aproximadamente, etc.) la dimensión/eje z de cada píxel en la distribución. En base al mapa tensorial, la distribución de píxeles en 2D en la imagen de vista no estratificada se puede ahora representar como la distribución (188) de píxeles en 3D en el espacio en 3D (196) de imagen.
Con la distribución (188) de píxeles en 3D de la imagen no estratificada multi-vista, se pueden generar imágenes de una sola capa, por ejemplo, con superficies de separación de capas. A modo de ejemplo, pero no de limitación, se pueden colocar dos superficies 194-2 y 194-3 de separación de capas en el espacio en 3D (196) de imagen para separar los píxeles de la distribución (188) de píxeles en 3D en tres imágenes (176 -1 a 176-3) de una sola capa en tres capas diferentes de imagen.
Como se ilustra en la figura 1G, una primera distribución 188-1 de píxeles en 3D de la distribución (188) de píxeles en 3D, que puede incluir todos los píxeles con profundidades desde el espectador en la posición espacial (192) de referencia hasta la primera superficie (194-2) de separación de capas a lo largo de la profundidad o en la dirección z (la dirección de visión frontal del espectador), se proyecta en la primera imagen (176-1) de una sola capa que se va a reproducir con un dispositivo de representación visual de dispositivo de un dispositivo portátil en una primera profundidad (por ejemplo, una profundidad correspondiente a un plano de imagen soportado por el dispositivo de representación visual de dispositivo del dispositivo portátil, etc.) de un espectador en la ubicación espacial (192) de referencia. Los píxeles en 3D en la primera distribución (188-1) de píxeles en 3D se pueden proyectar en píxeles en 2D (por ejemplo, 178-1, 178-2, etc.) de la primera imagen (176-1) de una sola capa en base a las/los dimensiones/coordenadas/ejes x e y de los píxeles en 3D en la primera distribución (188-1) de píxeles en 3D.
Una segunda distribución 188-2 de píxeles en 3D de la distribución (188) de píxeles en 3D, que puede incluir todos los píxeles con profundidades desde la primera superficie (194-2) de separación de capas hasta la segunda superficie (194-3) de separación de capas a lo largo de la profundidad o en la dirección z, se proyecta en la segunda imagen (176-2) de una sola capa que se va a reproducir con el dispositivo de representación visual de dispositivo del dispositivo portátil en una segunda profundidad (por ejemplo, en la profundidad correspondiente a la primera superficie (194-2) de separación de capa desde el espectador en la ubicación espacial (192) de referencia. Los píxeles en 3D en la segunda distribución de píxeles en 3D (188-2) pueden proyectarse en los píxeles en 2D (por ejemplo, 178-3, 178-4, etc.) de la segunda imagen (176-2) de una sola capa en base a las/los dimensiones/coordenadas/ejes x e y de los píxeles en 3D en la segunda distribución (188-2) de píxeles en 3D. Una tercera distribución 188-3 de píxeles en 3D de la distribución (188) de píxeles en 3D, que puede incluir todos los píxeles con profundidades detrás de la segunda superficie (194-3) de separación de capa a lo largo de la profundidad o la dirección z, se proyecta en la tercera imagen (176-3) de una sola capa que se va a reproducir con el dispositivo de representación visual de cine a una tercera profundidad (por ejemplo, a una profundidad correspondiente al dispositivo de representación visual de cine desde el espectador en la ubicación espacial (192) de referencia. Lo píxeles en 3D en la tercera distribución (188-3) de píxeles en 3D se puede proyectar en píxeles en 2D (por ejemplo, 178-5, 178-6, etc.) de la tercera imagen (176-3) de una sola capa en base a las/los dimensiones/coordenadas/ejes x e y de los píxeles en 3D en la tercera distribución (188-3) de píxeles en 3D.
Las técnicas de generación de capa de imagen basadas en mapas tensoriales pueden aplicarse a cada imagen de vista, de entre la pluralidad de imágenes de vista de la imagen no estratificada multi-vista, para generar imágenes de una sola capa para cada tal imagen de vista, respectivamente. De este modo, se pueden generar imágenes de una sola capa en una pluralidad de capas de imagen a partir de la imagen no estratificada multi-vista utilizando estas técnicas de generación de capa de imagen.
Cuando las imágenes de una sola capa se proporcionan a un reproductor de imagen en un sistema de entretenimiento aumentado para su reproducción con un dispositivo portátil de un espectador, las imágenes de una sola capa se pueden transformar espacialmente en base a la posición espacial real y a la dirección espacial real del dispositivo portátil por traslación, rotación, escalado, etc. Por ejemplo, la primera imagen (176-1) de una sola capa (o una capa de imagen de cine) se puede reproducir en un dispositivo de representación visual de cine, mientras que
las imágenes segunda y tercera (176-2 y 176-3) de una sola capa (o capas de imagen de dispositivo) se pueden reproducir con un dispositivo de representación visual de dispositivo de un dispositivo de representación visual portátil.
Un espectador relativamente distante puede ver la primera imagen de una sola capa (176-1) como una imagen relativamente pequeña inversamente proporcional a la distancia entre el espectador relativamente distante y el dispositivo de representación visual de cine; de este modo, la segunda y tercera imágenes de una sola capa se pueden escalar proporcionalmente para que coincidan con los tamaños o relaciones de aspecto de la primera imagen de una sola capa (176-1) tal como es visualizada por el espectador relativamente distante. Además, dado que el espectador relativamente distante puede estar ubicado más atrás de un espectador en una ubicación espacial de referencia (por ejemplo, la 192, etc.), las imágenes u objetos visuales segunda/o y tercera/o de una sola capa en la misma pueden traducirse espacialmente basándose al menos en parte en la distancia entre el espectador relativamente distante y el espectador en la ubicación espacial (192) de referencia. Si una dirección espacial del dispositivo portátil del espectador relativamente distante no coincide con la dirección de visión frontal de un espectador en la ubicación espacial (192) de referencia utilizada para generar capas de imagen e imágenes de una sola capa, las imágenes u objetos visuales segunda/o y tercera/o de una sola capa en ella pueden rotarse espacialmente basándose, al menos en parte, en el ángulo o en la distancia angular entre la dirección espacial del dispositivo portátil del espectador relativamente distante y la dirección de visión frontal del espectador en la ubicación espacial (192) de referencia. Asimismo, para un espectador relativamente cercano, las transformaciones espaciales tales como traslaciones, rotaciones, escalado, etc., se pueden aplicar de manera similar a imágenes de una sola capa basadas en posiciones espaciales y/o en direcciones espaciales del espectador relativamente cercano.
En algunas realizaciones, los mapas tensoriales también se pueden usar en funciones de reproducción de imágenes, según se ilustra en la figura 1H. Por ejemplo, las imágenes de dispositivo de representación visual de cine, según se generan a partir de las imágenes de una sola capa en la capa de imagen de cine y se reproducen en el dispositivo (104) de representación visual de cine , se pueden usar para reproducir una porción de un mapa tensorial (o una distribución de píxeles) que corresponde a una porción del espacio en 3D (196) de imagen en el espacio físico en 3D (126) en el que el espectador está ubicado en una ubicación espacial que puede ser la misma o puede ser diferente de la ubicación espacial (192) de referencia. Las imágenes de dispositivo de representación visual de dispositivo, generadas a partir de las imágenes de una sola capa en una o más capas de imagen del dispositivo, y reproducidas con el dispositivo de representación visual de dispositivo en uno o más planos (por ejemplo, 116, 116-1, etc.) de imagen, se pueden utilizar para reflejar otras porciones del mapa tensorial (o la distribución de píxeles) que corresponden a porciones restantes del espacio en 3D (196) de imagen en el espacio físico en 3D (126). Las imágenes de dispositivo de representación visual de dispositivo se pueden generar individualmente para un dispositivo portátil en base a transformaciones espaciales (por ejemplo, traslaciones, rotaciones, escalado, etc.) que dependen de una posición espacial específica y/o de una dirección espacial específica del dispositivo portátil, con restricciones que otras porciones del mapa tensorial (o la distribución de píxeles) reflejadas a partir de las imágenes del dispositivo de representación visual de dispositivo unen sin problemas con la porción del mismo mapa tensorial (o con la distribución de píxeles) reflejada a partir de las imágenes del dispositivo de representación visual de cine. Además, opcionalmente, algunas o todas las funciones de procesamiento de imágenes tales como interpolación, nitidez, desenfoque, desobstrucción, etc., pueden realizarse en funciones de reproducción de imágenes bajo las técnicas según se describen en el presente documento. De este modo, un espacio de imagen en 3D reproducido por la combinación de las imágenes de dispositivo de representación visual de cine con las imágenes de dispositivo de representación visual de dispositivo reflejan con precisión o fidelidad la distribución (188) de píxeles en 3D en el espacio en 3D (196) de imagen según se representa originalmente en la imagen no estratificada multi-vista.
5. Codificador de imagen estratificada y sistema de entretenimiento aumentado
La figura 2A ilustra una configuración de ejemplo 100 de un sistema de entretenimiento aumentado que comprende un codificador 180 de imágenes estratificadas, un receptor 110 de contenido de imágenes, reproductores de imagen (por ejemplo, 106, 108, etc.), un rastreador 122 de dispositivo, uno o más dispositivos portátiles tales como un dispositivo portátil 102-1 de reproducción de imágenes de un espectador 112-1, etc., en un espacio en 3D (por ejemplo, 126, etc.). Algunos o todos los componentes/dispositivos que se muestran en la figura 2A puede implantarse mediante uno o más componentes mecánicos, uno o más componentes electroópticos, uno o más dispositivos informáticos, módulos, unidades, etc., en equipo lógico informático (software), equipo físico informático (hardware), una combinación de software y hardware, etc. Algunos o todos los componentes/dispositivos, según se representa en la figura 2a, puede/n ser comunicativamente (por ejemplo, de manera inalámbrica, con conexiones por cable, etc.) acoplado/s con algunos otros componentes/dispositivos, según se muestra en la figura 2a, o con otros componentes/dispositivos no representados en la figura 2A.
En algunas realizaciones, el codificador (180) de imágenes estratificadas comprende un receptor 182 de imágenes no estratificadas, un generador 186 de imágenes estratificadas, un almacén 184 de datos de imágenes no estratificadas, etc.
En algunas realizaciones, el receptor (182) de imágenes no estratificadas comprende software, hardware, una combinación de software y hardware, etc., estando configurado para recibir imágenes no estratificadas multi-vista, como, por ejemplo, en una señal de vídeo de imagen no estratificada o en datos de imágenes no estratificadas almacenados desde una fuente de imágenes no estratificadas, tales como el almacén (184) de datos de imágenes no estratificadas, una fuente de imágenes basada en la nube, un sistema de cámara en conexión con una aplicación VR, una aplicación AR, una aplicación de presencia remota, una aplicación de representación visual, etc.
En algunas realizaciones, el generador (186) de imágenes estratificadas comprende software, hardware, una combinación de software y hardware, etc., estando configurado para acceder a información espacial que describe ubicaciones espaciales de cada objeto visual en una pluralidad de objetos visuales en un espacio de imagen en 3D (por ejemplo, 196 de la figura 1A, etc.) según se muestra en cada una de las imágenes no estratificadas multi-vista. En base a la información espacial que describe las ubicaciones espaciales de la pluralidad de objetos visuales en el espacio (196 de la figura 1A) de imagen en 3D en cada una de las imágenes no estratificadas multi-vista, el generador (186) de imágenes estratificadas genera imágenes de una sola capa en una pluralidad de capas de imagen de cada una de tales imágenes no estratificadas multi-vista. De este modo, cada capa de imagen de entre la pluralidad de capas de imagen comprende imágenes de una sola capa multi-vista de entre todas las imágenes no estratificadas multi-vista.
En un ejemplo no limitante, una primera capa de imagen de entre la pluralidad de capas de imagen se puede usar como una capa de imagen de cine por dispositivos receptores aguas abajo, donde otras capas de imagen de entre la pluralidad de capas de imagen pueden ser usadas como capas de imagen de dispositivo por los dispositivos receptores aguas abajo.
El generador (186) de imágenes estratificadas codifica las imágenes de una sola capa multi-vista de entre la pluralidad de capas de imagen generadas a partir de las imágenes no estratificadas multi-vista en el contenido de la imagen 114, y proporciona/transmite el contenido (114) de imagen a uno o más dispositivos aguas abajo tales como el receptor (110) de contenido de entrada, el almacén de datos, los sistemas de cine en 3D, etc.
En algunas realizaciones, el receptor (110) de contenido de imagen comprende un receptor 152 de imagen multivista (MV), un transmisor 156 de capa de imagen, un repositorio 154 de datos, etc.
En algunas realizaciones, el receptor (152) de imágenes multi-vista comprende software, hardware, una combinación de software y hardware, etc., estando configurado para recibir el contenido (114) de imagen (de entrada) de una fuente de imagen tal como el codificador (180) de imágenes estratificadas, una fuente de imagen basada en la nube, un sistema de cámara en conexión con una aplicación de RV, una aplicación de RA, una aplicación de presencia remota, una aplicación de representación visual, etc.; decodificar la cascada (114) de imágenes de entrada en una secuencia de imágenes multi-vista multi-capa. Cada imagen multi-capa multi-vista comprende una o más imágenes de cine de una sola capa en una capa de imagen de cine y una o más imágenes de dispositivo de una sola capa en una o más capas de imagen de dispositivo, según son decodificadas por el receptor (152) de imágenes multi-vista a partir de la señal de vídeo multi-capa y multi-vista.
A partir de la capa de imágenes de cine, el transmisor (156) de capa de imagen identifica o genera las una o más imágenes de cine de una sola capa. Las una o más imágenes de cine de una sola capa puede/n representar un primer subconjunto apropiado de uno o más objetos visuales (por ejemplo, 118, etc.) de una pluralidad de objetos visuales (por ejemplo, 118, 120, etc.) que habían sido representados en una imagen no estratificada multi-vista (original), a partir de la cual se derivaron previamente las imágenes de dispositivo y cine de una sola capa en la capa de imagen de cine y las una o más capas de imagen de dispositivo.
A partir de las una o más capas de imagen de dispositivo, el transmisor (156) de capa de imagen identifica o genera una o más imágenes de dispositivo de una sola capa. Las una o más imágenes de una sola capa de dispositivo pueden representar uno o más segundos subconjuntos apropiados de uno o más objetos visuales (por ejemplo, 120, etc.) de entre la pluralidad de objetos visuales (por ejemplo, 118, 120, etc.) que habían sido representados por la imagen no estratificada multi-vista (original).
En algunas realizaciones, el transmisor (156) de la capa de imagen envía o, si no, proporciona, mediante un flujo 158 de datos, todas las imágenes de cine de una sola capa a los reproductores (106, 108) de imagen, o a un reproductor (por ejemplo, 106, etc.) de imagen de cine en el mismo. Además, el transmisor (156) de capa de imagen envía o, si no, proporciona, a través del flujo (158) de datos, todas las imágenes de dispositivo de una sola capa a los reproductores (106, 108) de imagen, o a un reproductor (por ejemplo, 108, etc..) de imagen de dispositivo en el mismo.
El usuario (112-1) puede moverse para provocar cambios en las posiciones espaciales y direcciones espaciales del dispositivo portátil (102-1) en el tiempo de ejecución. En algunas realizaciones, el rastreador (122) de dispositivo comprende software, hardware, una combinación de software y hardware, etc., y está configurado para rastrear/monitorizar posiciones espaciales y/o direcciones espaciales del dispositivo portátil (102-1); generar datos
de posición y dirección del dispositivo portátil (102-1) en base a las posiciones espaciales y/o direcciones espaciales del dispositivo portátil (102-1); etc.
Los datos posicionales y direccionales del dispositivo portátil (102-1) generados por el rastreador (122) de dispositivos pueden tener una resolución de tiempo relativamente fina (por ejemplo, cada milisegundo, cada cinco milisegundos, etc.), y pueden ser utilizados por otros dispositivos tales como el receptor de contenido de imágenes (110) y/o los reproductores (106, 108) de imagen para establecer/determinar las posiciones espaciales y/o las direcciones espaciales del dispositivo portátil (102-1) en una resolución de tiempo dada (por ejemplo, cada milisegundo, cada cinco milisegundos, etc.).
Los ejemplos de rastreadores de dispositivos según se describen en el presente documento pueden incluir, pero sin limitarse necesariamente a, cualquier elemento de entre: rastreadores de dispositivos externos, rastreadores de dispositivos internos, rastreadores de dispositivos de afuera hacia adentro, rastreadores de dispositivos de adentro hacia afuera, etc. A modo de ejemplo, pero no de limitación, el rastreador (122) de dispositivo en la configuración (100) según se ilustra en la figura 2a representa un rastreador de dispositivo externo. Debe notarse, sin embargo, que, en otras realizaciones, un rastreador de dispositivo de adentro hacia afuera, que puede ser parte del dispositivo portátil (102-1), colocado con el dispositivo portátil (102-1), moviéndose conjuntamente con el dispositivo portátil (102-1), etc., se puede también utilizar además o en lugar del rastreador (122) de dispositivo (externo). El rastreador (122) de dispositivo puede rastrear las coordenadas espaciales de un número relativamente grande de dispositivos portátiles que incluyen, pero sin limitarse necesariamente a, el dispositivo portátil (102-1), y que están presentes en el espacio en 3D (126).
A modo de ilustración, pero no de limitación, un sistema de coordenadas espaciales tridimensional estacionario usado para representar posiciones espaciales en el espacio en 3D (126) puede ser el sistema cartesiano de coordenadas de referencia. la figura 2A representa sólo dos dimensiones espaciales de ejemplo, a saber, un eje x y un eje z, del sistema cartesiano de coordenadas de referencia; el sistema cartesiano de coordenadas de referencia puede comprender otra dimensión espacial, a saber, el eje y ortogonal, tanto al eje x como al eje z, que se señala en la figura 2A. El sistema cartesiano de coordenadas de referencia puede comprender un origen del sistema de coordenadas en una posición espacial de referencia indicada como "p" según se muestra en la figura 2A. La posición espacial de referencia puede seleccionarse de cualquier posición espacial estacionaria en el espacio en 3D (126).
El dispositivo portátil (102-1) puede, pero no está necesariamente limitado únicamente a, ser un dispositivo de cuerpo rígido (o de forma espacial fija) en funcionamiento. Las posiciones espaciales en el dispositivo portátil (102-1) se pueden representar en un sistema de coordenadas espaciales tridimensionales estacionario con relación al dispositivo portátil (102-1). El sistema cartesiano de coordenadas estacionario del dispositivo en referencia al sistema cartesiano de coordenadas de referencia se puede utilizar para representar posiciones espaciales y direcciones espaciales en el dispositivo portátil (102-1). El sistema cartesiano de coordenadas estacionario del dispositivo comprende tres dimensiones espaciales representadas por ejes respectivos que incluyen un eje x1 y un eje z1, según se muestra en la figura 2A, y un eje y1 ortogonal a los ejes x1 y z1 que no se representa en la figura 2A. El sistema cartesiano de coordenadas estacionario del dispositivo puede comprender un origen del sistema de coordenadas en una posición espacial estacionaria del dispositivo indicada como "p1", según se muestra en la figura 2A. La posición espacial estacionaria del dispositivo puede seleccionarse a partir de cualquier posición espacial estacionaria para el dispositivo portátil (102-1). En algunas realizaciones, si existe una ubicación espacial que suponga un punto de simetría en el dispositivo portátil (102-1), entonces tal ubicación espacial puede seleccionarse como la posición espacial estacionaria "p1" del dispositivo para que sirva como el origen de coordenadas para el sistema cartesiano de coordenadas estacionario del dispositivo.
En algunas realizaciones, el rastreador (122) de dispositivo rastrea o determina repetidamente (por ejemplo, en tiempo real, casi en tiempo real, dentro de un presupuesto estricto de disposición temporal, cada 1 milisegundo, cada 2 milisegundos, etc.) uno o más coordenadas del dispositivo portátil (102-1) en un punto de tiempo dado en el sistema cartesiano de coordenadas de referencia del espacio en 3D (126). En algunas realizaciones, las una o más coordenadas espaciales del dispositivo portátil (102-1) pueden estar representadas por una o más coordenadas espaciales de la posición espacial estacionaria del dispositivo "p1" que está estacionaria en el dispositivo portátil (102-1) con relación al sistema cartesiano de coordenadas de referencia del espacio en 3D (126).
Las coordenadas espaciales de la ubicación espacial estacionaria "p1" del dispositivo del dispositivo portátil (102-1) constituyen una trayectoria espacial del dispositivo portátil (102-1) que puede representarse como funciones del tiempo. Cualquier combinación de una o más características de movimiento del dispositivo portátil (102-1) puede determinarse a partir de estas funciones de tiempo que representan la trayectoria espacial del dispositivo portátil (102-1).
Por ejemplo, posiciones/desplazamientos lineales (a lo largo del tiempo) del dispositivo portátil (102-1) en relación con un punto de referencia, como el origen "p" del sistema cartesiano de coordenadas de referencia, estacionario en el espacio en 3D (126) se puede determinar o derivar (por ejemplo, como una diferencia vectorial, etc.) a partir de la trayectoria espacial (representada por las funciones del tiempo según se mencionó anteriormente) del dispositivo portátil (102-1). Además, opcional o alternativamente, las velocidades lineales, celeridades, aceleraciones, etc., (a lo
largo del tiempo) del dispositivo portátil (102-1) con relación al punto de referencia estacionario en el espacio en 3D (126) pueden determinarse o derivarse (por ejemplo, como derivada de primer orden, como derivada de segundo orden, etc.) a partir de la trayectoria espacial del dispositivo portátil (102-1).
De manera similar, las posiciones/desplazamientos angulares (por ejemplo, A1, etc.) (a lo largo del tiempo) del dispositivo portátil (102-1) pueden determinarse o derivarse de posiciones/desplazamientos angulares del sistema de coordenadas estacionario del dispositivo (por ejemplo, x1, y1, z1, etc.) con relación al sistema cartesiano de coordenadas de referencia (por ejemplo, x, y, z, etc.).
Además, opcional o alternativamente, las velocidades, celeridades, aceleraciones, etc., lineales o angulares, (a lo largo del tiempo) del dispositivo portátil (102-1) con relación al sistema de coordenadas de referencia en el espacio en 3D (126) pueden ser determinadas o derivadas (por ejemplo, como derivada de primer orden, como derivada de segundo orden, etc.) de las posiciones/desplazamientos lineales o angulares (por ejemplo, p1, a1, etc.) del dispositivo portátil (102-1).
En algunas realizaciones, los reproductores [s/c.] (106, 108) de imágenes se pueden implantar por separado como reproductor (por ejemplo, 106, etc.) de imágenes de cine y reproductor (por ejemplo, 108) de imágenes de dispositivos, según se ilustran en la figura 2B y la figura 2C. Además, de manera opcional o alternativa, los reproductores de imagen tales como el reproductor (106) de imágenes de cine, el reproductor (108) de imágenes del dispositivo, etc., pueden implantarse colectivamente dentro de un único dispositivo (por ejemplo, un servidor de amplitud de cine, etc.) como el ilustrado en la figura 2A. Cualquier reproductor de imagen individual de los reproductores (106, 108) de imagen, tales como el reproductor (106) de imágenes de cine, el reproductor (108) de imágenes del dispositivo, etc., puede implantarse con múltiples componentes (por ejemplo, en ordenador, dispositivo, máquina virtual, etc.) que trabajan en paralelo para soportar funciones de reproducción de imágenes en tiempo real en conexión con un número relativamente grande de espectadores que concurren en el espacio en 3D (126).
A modo de ejemplo, pero no de limitación, los reproductores (106, 108) de imagen comprenden un receptor 160 de capa de imagen, un registro 170 de dispositivo, un generador 162 de imágenes de dispositivo de representación visual, etc. Los reproductores (106, 108) de imagen pueden incluir, pero sin necesariamente limitarse a, cualquier elemento de entre: un reproductor de imagen central, un reproductor de imagen distribuido, un reproductor de imagen implantado como parte de un dispositivo portátil (por ejemplo, 102-1, etc.), un reproductor de imagen externo a algunos o a todos los dispositivos portátiles (por ejemplo, 102-1, etc.) en el espacio en 3D (126), implantados parcialmente como parte de un dispositivo portátil (por ejemplo, 102-1, etc.) e implantados parcialmente en un dispositivo externo independiente al dispositivo portátil (102-1), etc.
En algunas realizaciones, el receptor (160) de capa de imagen comprende software, hardware, una combinación de software y hardware, etc., estando configurado para recibir, a través del flujo (158) de datos, una capa de imagen de cine y una o más capas de imagen de dispositivo para cada imagen multi-capa multi-vista que está en una secuencia de imágenes multi-capa multi-vista.
En algunas realizaciones, el registro (170) de dispositivo comprende software, hardware, una combinación de software y hardware, etc., estando configurado para recibir información de ID de dispositivo (por ejemplo, direcciones MAC, direcciones de red, direcciones IP, etc.) de dispositivos portátiles (por ejemplo, 102-1, etc.) en el espacio en 3D (126); y registra cada uno de los dispositivos portátiles (por ejemplo, 102-1, etc.) para recibir imágenes de dispositivo de representación visual de dispositivo que se reproducirán en los dispositivos portátiles (por ejemplo, 102-1, etc.); etc.
En base a imágenes de cine de una sola capa en la capa de imagen de cine, el generador (162) de imágenes de dispositivo de representación visual genera una o más imágenes de dispositivo de representación visual de cine; y hace que las una o más imágenes de dispositivo de representación visual de cine se representen en el dispositivo (104) de representación visual de cine; etc.
En algunas realizaciones, los reproductores (106, 108) de imagen, o el generador (162) de imágenes de dispositivo de representación visual en ellos, recibe/n datos de posición y direccionales de cada uno de los dispositivos portátiles (por ejemplo, 102-1, etc.) según rastreo/monitorización realizado/a por el rastreador (122) de dispositivo en el espacio en 3D (126); genera/n una o más imágenes de dispositivo de representación visual de dispositivo respectivas para cada uno de los dispositivos portátiles (por ejemplo, 102-1, etc.), en base a imágenes de dispositivo de una sola capa en las una o más capas de imagen del dispositivo y a los datos de posición y dirección de cada tal dispositivo portátil (por ejemplo, 102-1, etc.); hace/n que las respectivas imágenes de dispositivo de representación visual de uno o más dispositivos se representen con cada uno de tales dispositivos portátiles (por ejemplo, 102-1, etc.) en el dispositivo de representación visual de dispositivo respectivo (por ejemplo, 116 de la figura 1B, etc.); etc. Los reproductores de imagen (por ejemplo, 106, 108, etc.) pueden comunicar información de control, información de estado, datos de posición, datos de imagen tales como las imágenes de dispositivo de representación visual de dispositivo, los metadatos, etc., con dispositivos (por ejemplo, 102-1, etc.) de reproducción de imágenes portátiles a través de una o más conexiones de datos. Las conexiones de datos de ejemplo pueden incluir, pero sin limitarse a,
conexiones de datos inalámbricas, conexiones de datos por cable, conexiones de datos basadas en radiofrecuencia, conexiones de datos móviles, conexiones de datos Wi-Fi, conexiones de datos por infrarrojos, conexiones de datos por cable HDMI, conexiones de datos a través de cable óptico, conexiones de datos a través de interfaz en serie de alta velocidad (HSSI), interfaz digital en serie de alta definición (HD-SDI), 12G-SDI, cable USB y similares para el asiento/reposabrazos/suelo, etc.
Los ejemplos de imágenes de dispositivo de representación visual de cine y/o de imágenes de dispositivo de representación visual de dispositivo incluyen, pero sin limitarse necesariamente a, los siguientes: una imagen monoscópica, una combinación de una imagen de vista izquierda con una imagen de vista derecha, una combinación de dos o más imágenes multi-vista, etc.
En escenarios operativos en los que una capa de imagen comprende una pluralidad de imágenes de una sola capa de vista diferentes, el reproductor (106) de imágenes de cine y/o el reproductor (108) de imágenes del dispositivo pueden identificar, seleccionar y/o interpolar una imagen de vista izquierda y una imagen de vista derecha de entre la pluralidad de imágenes de una sola capa de vista diferentes. Por ejemplo, pueden generarse una o ambas de tales imágenes de la vista izquierda y de la vista derecha mediante la interpolación de imágenes y/o la reconstrucción de imágenes que combine/n imágenes diferentes de una sola capa de vista en la imagen de la vista izquierda y/o la imagen de la vista derecha.
En algunas realizaciones, los reproductores (106, 108) de imagen realizan funciones de gestión de dispositivo de representación visual como parte de la reproducción de imágenes de dispositivo de representación visual de cine y/o de imágenes de dispositivo de representación visual de dispositivo.
El sistema de entretenimiento aumentado puede usarse para soportar aplicaciones de vídeo en tiempo real, aplicaciones de vídeo casi en tiempo real, aplicaciones de vídeo en tiempo no real, aplicaciones de realidad virtual (VR), aplicaciones de realidad aumentada (Ar ), aplicaciones de presencia remota, aplicaciones de entretenimiento para automóviles, aplicaciones de dispositivo de representación visual montadas en el casco, aplicaciones de dispositivo de representación visual de cabeza, juegos, aplicaciones de dispositivo de representación visual en 2D, aplicaciones de dispositivo de representación visual en 3D, aplicaciones de dispositivo de representación visual multi-vista, etc. Algunos o todos los datos (114) de contenido de imagen de entrada se pueden recibir, generar o se puede acceder a ellos por el sistema de entretenimiento aumentado en tiempo real, en tiempo casi real, en tiempo no real, etc.
Las técnicas descritas en el presente documento se pueden utilizar para soportar la reproducción y visualización de imágenes en 3D o multi-vista con una amplia variedad de dispositivos de representación visual. Los dispositivos de representación visual (por ejemplo, 104, un dispositivo de representación visual de dispositivo de un dispositivo portátil, etc.) de ejemplo pueden incluir, pero no necesariamente se limitan únicamente a, cualquier elemento de entre: un dispositivo de representación visual de cine, un dispositivo de representación visual de cine en casa, una televisión, un sistema de dispositivo de representación visual basado en proyección , un sistema de dispositivo de representación visual basado en luz de fondo, un sistema de dispositivo de representación visual basado en campo de luz, un sistema de dispositivo de representación visual basado en guía de ondas de luz, un sistema de dispositivo de representación visual basado en cristal líquido, un sistema basado en diodos emisores de luz, un sistema basado en diodos emisores de luz orgánicos, un proyector de imágenes, un dispositivo de representación visual AR, un Dispositivo de representación visual HoloLens, un dispositivo de representación visual Magic Leap, un dispositivo de representación visual de realidad mixta (MR), un dispositivo de representación visual tensorial, un dispositivo de representación visual volumétrico, un dispositivo de representación visual de campo de luz (LF), un dispositivo de representación visual Immy, un dispositivo de representación visual Meta, un par relativamente simple de gafas AR, un dispositivo de representación visual con cualquier capacidad enmarcada en una amplia gama de capacidades para superar el conflicto de acomodación-vergencia, etc.
En algunas realizaciones, en lugar de recibir imágenes multi-capa multi-vista que comprendan imágenes de una sola capa en una pluralidad de capas de imagen desde una fuente de imagen externa tal como el codificador (180) de imágenes estratificadas, el receptor (152) de imágenes multi-vista puede recibir o recuperar estas imágenes multicapa multi-vista desde el repositorio (154) de datos, por ejemplo localmente. El repositorio (154) de datos representa una o más bases de datos, una o más unidades/módulos/dispositivos de almacenamiento de datos, etc., configurados para soportar funciones tales como almacenar, actualizar, recuperar, borrar, etc., con respecto a algunas de o todas las imágenes multi-capa multi-vista, etc.
En algunas realizaciones, en lugar de enviar directamente capas de imagen a reproductores de imagen (por ejemplo, a un reproductor de imagen de cine, a un reproductor de imagen del dispositivo, etc.), los conjuntos de imágenes que comprenden imágenes de una sola capa seleccionadas específicamente en las capas de imagen pueden enviarse a los reproductores de imagen (por ejemplo, 106, 108, etc.). El transmisor (156) de capa de imagen puede recibir, desde un reproductor de imagen que esté entre los reproductores (106, 108) de imagen y/o desde el rastreador (122) de dispositivo, datos de posición y direccionales del dispositivo portátil (102-1) como rastreados/monitorizados por el rastreador (122) de dispositivo; establecer/determinar posiciones espaciales y/o direcciones espaciales de un dispositivo portátil dado (por ejemplo, 102-1, etc.) a lo largo del tiempo con relación al
sistema de coordenadas de referencia; y generar uno o más conjuntos de imágenes seleccionando imágenes específicas de una sola capa que estén entre las capas de imagen de cada imagen multi-capa multi-vista recibida. Las imágenes específicas de una sola capa se pueden adaptar específicamente al dispositivo portátil (102-1) de acuerdo con las posiciones espaciales y/o direcciones espaciales del dispositivo portátil (102-1). Además, el transmisor (156) de capa de imagen puede codificar los uno o más conjuntos de imágenes en un lanzamiento en cascada de vídeo; proporcionar/transmitir, mediante el flujo (158) de datos, la cascada de vídeo al reproductor (106, 108) de imagen; etc. Los conjuntos de imágenes pueden ser utilizados por los reproductores (106, 108) de imagen para generar las imágenes de dispositivo de representación visual de dispositivo para el dispositivo portátil (102-1) usando reconstrucciones/interpolaciones de imágenes. Se pueden encontrar ejemplos de conjuntos de imágenes y reconstrucciones/interpolaciones de imágenes en la solicitud de patente de EE. u U. núm. 15/949,720, bajo el título de solicitud "Adapting Video Images for Wearable Devices" por Ajit Ninan y Neil Mammen, presentada el 10 de abril de 2018.
Las técnicas que se describen en el presente documento se pueden implantar en una variedad de arquitecturas de sistemas. Algunas o todas las funciones de procesamiento de imágenes según se describen en el presente documento pueden ser implantadas por uno o más de los servidores en cascada de vídeo basados en la nube, servidores en cascada de vídeo colocados o incorporados en dispositivos portátiles, clientes en cascada de vídeo, receptores de contenido de imagen, dispositivos de reproducción de imagen, etc. en uno o más factores tales como tipos de aplicaciones de vídeo, presupuestos de ancho de banda/tasa de bits, capacidades informáticas, recursos, cargas, etc., de los dispositivos receptores, capacidades informáticas, recursos, cargas, etc., de servidores en cascada de vídeo, receptores de contenido de imagen, dispositivos de reproducción de imagen, redes informáticas subyacentes, etc.; un receptor de contenido de imagen puede realizar algunas funciones de procesamiento de imagen, mientras que un dispositivo de procesamiento de imagen puede realizar otras funciones de procesamiento de imagen, etc.
La figura 2B ilustra otra configuración de ejemplo 100-1 de un sistema de entretenimiento aumentado (en 3D) que comprende un dispositivo portátil de ojos para visualización y reproducción de imagen en 3D, tal como un dispositivo portátil 102 con un dispositivo 112 de representación visual de dispositivo, un dispositivo 104 de representación visual de cine, un reproductor 106 de imagen de cine, un reproductor 108 de imagen de dispositivo, un receptor 110 de contenido de imagen, etc. Algunos o todos los componentes/dispositivos según se representan en la figura 2B pueden implantarse mediante uno o más componentes mecánicos, uno o más componentes electroópticos, uno o más dispositivos informáticos, módulos, unidades, etc., en software, hardware, una combinación de software y hardware, etc. Algunos o todos los componentes/dispositivos, según se representan en la figura 2B, se pueden conectar en comunicación (por ejemplo, de manera inalámbrica, con conexiones por cable, etc.) acoplados a algunos otros componentes/dispositivos representados en la figura 2B, o con otros componentes/dispositivos no representados en la figura 2B.
En algunas realizaciones, el receptor (110) de contenido de imagen envía o, de otro modo, proporciona las imágenes de cine de una sola capa (según se analizó anteriormente con relación a la figura 2A) decodificadas desde la capa de imagen de cine para el reproductor (106) de imagen de cine. Además, el receptor (110) de contenido de imagen envía o, de otro modo, proporciona las imágenes de dispositivo de una sola capa (según se analizó anteriormente con relación a la figura 2A), decodificadas desde las capas de imagen de dispositivo, al reproductor (108) de imagen del dispositivo.
En base a las imágenes de cine de una sola capa, el reproductor (106) de imagen de cine reproduce imágenes de dispositivo de representación visual de cine en el dispositivo (104) de representación visual de cine, que puede ser un elemento de entre: una primera imagen monoscópica, una combinación de una primera imagen de vista izquierda con una primera imagen de vista derecha, una combinación de dos o más primeras imágenes multi-vista, etc.
En base a las imágenes del dispositivo de una sola capa, el reproductor (108) de imagen de dispositivo hace que el dispositivo portátil (102) reproduzca imágenes de dispositivo de representación visual de dispositivo, en un dispositivo 116 de representación visual de dispositivo, que puede ser un elemento de entre: una segunda imagen monoscópica, una combinación de una segunda imagen de vista izquierda con una segunda imagen de vista derecha, una combinación de dos o más segundas imágenes multi-vista, etc.
En algunas realizaciones, el dispositivo (116) de representación visual de dispositivo no es un dispositivo de representación visual física, sino más bien un plano de imagen o un dispositivo de representación visual virtual creado por los rayos de luz emitidos por el lector o los lectores de imagen en el dispositivo portátil (102).
En algunas realizaciones, el primer subconjunto apropiado de objetos visuales (por ejemplo, 118, etc.) según se representa en un par formado por una imagen de dispositivo de representación visual de cine de vista izquierda y una imagen de dispositivo de representación visual de cine de vista derecha reproducido en el dispositivo (104) de representación visual de cine y los uno o más segundos subconjuntos apropiados de objetos visuales (por ejemplo, 120, etc.) según se muestra en el dispositivo de representación visual de dispositivo correspondiente, las imágenes reproducidas en el dispositivo (116) de representación visual de dispositivo son simultáneamente (por ejemplo, al mismo tiempo, sincrónicamente, dentro del mismo intervalo de fotograma de imagen, etc.) reproducidas para
representar colectivamente una pluralidad de objetos visuales (por ejemplo, 118, 120, etc.) ubicados en diferentes ubicaciones espaciales en un espacio de imagen en 3D (por ejemplo, 196 de la figura 1A, etc.). Estas ubicaciones espaciales en el espacio en 3D (196) de imagen pueden ser las mismas que las especificadas o descritas en la información espacial de una imagen no estratificada multi-vista que se había usado para dividir la pluralidad de objetos visuales en la capa de imagen de cine (o el primer subconjunto apropiado de objetos visuales) y las una o más capas de imagen de dispositivo (o los uno o más segundos subconjuntos apropiados de objetos visuales) en primer lugar.
En algunas realizaciones, el reproductor (106) de imagen de cine y/o el reproductor (108) de imagen de dispositivo realizan funciones de gestión de dispositivo de representación visual como parte de la reproducción de (a) la imagen de dispositivo de representación visual de cine de la vista izquierda y la imagen de dispositivo de representación visual de cine de la vista derecha y/o (b) las imágenes de dispositivo de representación visual de dispositivo.
En escenarios operativos en los que un sistema de entretenimiento aumentado según se describe en el presente documento funciona en un entorno multi-espectador, las posiciones espaciales (incluidas, pero sin limitarse a, las posiciones de asientos individuales de múltiples usuarios) y/o las direcciones espaciales de dispositivos portátiles individuales de los múltiples usuarios se pueden rastrear, calcular y/o usar para superponer (o poner por encima) el contenido de imagen de dispositivo individual reproducido con los dispositivos portátiles individuales de los espectadores con contenido de pantalla grande (o contenido de imagen de cine) reproducido en un dispositivo compartido de representación visual como un dispositivo de representación visual de cine, un dispositivo de representación visual de proyección, etc.
La figura 3A ilustra una vista en perspectiva de un ejemplo de entorno multi-espectador que comprende un espacio en 3D (por ejemplo, 126, etc.) y un dispositivo (por ejemplo, 104, etc.) de representación visual de cine como un dispositivo compartido de representación visual para múltiples espectadores. El espacio en 3D (126) puede comprender un área 324 de público que comprende una pluralidad de espacios (por ejemplo, 326, etc.) de asiento. Los múltiples espectadores que usan sus respectivos dispositivos portátiles pueden sentarse dentro de la pluralidad de espacios de asiento en el área (324) de público para visualizar el contenido de la imagen cinematográfica reproducida en el dispositivo (104) de representación visual de cine y visualizar contenido de imagen de dispositivo correctamente superpuesto reproducido individualmente por los dispositivos portátiles simultáneamente a la visualización del contenido de imagen de cine. Dada una configuración geométrica específica del espacio en 3D (126), las alturas, distancias lineales y distancias angulares de los dispositivos portátiles pueden variar substancialmente con relación al dispositivo (104) de representación visual de cine en el entorno multi-espectador.
Las posiciones reales de los asientos de los espectadores y sus dispositivos portátiles se pueden determinar en cualquier combinación de entre una o más múltiples maneras diferentes. En un ejemplo, una posición de asiento específica (o un espacio de asiento específico) de un espectador y el dispositivo portátil del espectador se puede determinar en base a un tique específico emitido para el espectador o para el dispositivo portátil del espectador. En otro ejemplo, los marcadores de fiducia se pueden incrustar en el contenido de imagen de cine o en áreas espaciales circundantes al dispositivo (104) de representación visual de cine. El dispositivo portátil (o de cabeza) puede adquirir imágenes de rastreo con marcadores de imagen generados en respuesta a los rayos de luz de los marcadores de fiducia. Basándose en los marcadores de imagen en las imágenes de rastreo, el dispositivo portátil puede (por ejemplo, con precisión, etc.) determinar posiciones espaciales y/o direcciones espaciales del dispositivo portátil en cualquier momento dado en una sesión de entretenimiento aumentada. Se pueden encontrar ejemplos de determinaciones de posiciones espaciales y/o direcciones espaciales de dispositivos portátiles basados en marcadores de fiducia en la solicitud de patente de EE. UU. núm. 15/949.720 mencionada anteriormente, bajo el título de solicitud "Adapting Video Images for Wearable Devices" de Ajit Ninan y Neil Mammen, presentada el 10 de abril de 2018.
En un ejemplo adicional, se pueden fijar o asignar diferentes dispositivos portátiles (por ejemplo, dispositivo de cabeza Ar , etc.) a sus respectivas posiciones de asiento (o espacios de asiento) en el espacio en 3D (126).
Además, opcional o alternativamente, puede usarse detección de ubicación por radiofrecuencia (RF) para determinar posiciones espaciales y/o direcciones espaciales de un dispositivo portátil en cualquier tiempo dado en una sesión de entretenimiento aumentado. Se pueden encontrar ejemplos de determinaciones de posiciones espaciales y/o direcciones espaciales de dispositivos portátiles basadas en la detección de ubicación de RF en la patente de Ee . UU. núm. 7.580.378.
En algunas realizaciones, un espacio en 3D (126) (por ejemplo, relativamente grande, etc.) se puede desglosar en múltiples zonas (por ejemplo, una de las cuales puede ser la 328 de la figura 3B, etc.). Se pueden usar múltiples servidores en cascada de medios para lanzar en cascada contenido de imagen de dispositivo a los espectadores en las múltiples zonas (por ejemplo, la 328, etc.). Los espectadores en cada zona (por ejemplo, la 328, etc.) pueden ser soportados por el servidor en cascada de medios respectivo dentro de los múltiples servidores en cascada de medios. En algunas realizaciones, el servidor en cascada de medios genera contenido de imagen de dispositivo específico del espectador para cada espectador de los espectadores sentados en la zona (328) designada para ser soportada por el servidor en cascada de medios. Al recibir el contenido de imagen de dispositivo específico del
espectador, el dispositivo portátil del espectador en la zona (328) puede reproducir el contenido de imagen de dispositivo específico del espectador con poca o ninguna adaptación adicional o con funciones de reproducción de imagen relativamente simples (por ejemplo, interpolación/reconstrucción/selección, etc.). En algunas realizaciones, el servidor en cascada de medios puede generar contenido de imagen de dispositivo específico de zona para todos los espectadores en la zona en la zona (328) soportada por el servidor en cascada de medios. Al recibir el contenido de imagen de dispositivo específico de la zona, el dispositivo portátil de un espectador individual en la zona (328) puede adaptar el contenido de imagen de dispositivo específico de la zona en base a las posiciones espaciales y/o direcciones espaciales del dispositivo portátil, y reproducir el contenido de imagen de dispositivo adaptado.
En algunas realizaciones, el reproductor (106) de imagen de cine, el reproductor (108) de imagen de dispositivo y el rastreador (122) de dispositivo se pueden implantar en uno o más servidores de medios centrales ubicados lejos de los dispositivos portátiles (por ejemplo, 102- 1, 102-2, etc.). El rastreador (122) de dispositivo que funciona conjuntamente al conjunto (124) de sensor de rastreo determina posiciones espaciales y/o direcciones espaciales de los dispositivos portátiles (por ejemplo, 102-1, 102-2, etc.) en tiempo real en una sesión de entretenimiento aumentado (por ejemplo, una sesión de realidad virtual, una sesión de realidad aumentada, una sesión de presencia remota, una sesión de juegos de ordenador, una película, etc.).
El primer dispositivo portátil (102-1) puede ser, pero sin limitarse necesariamente a, un dispositivo de cuerpo rígido en posiciones espaciales en las que se puede representar en un sistema de coordenadas espaciales tridimensionales estacionario con respecto al primer dispositivo portátil (102-1). El sistema cartesiano de coordenadas estacionario del dispositivo con relación al sistema cartesiano de coordenadas de referencia se puede utilizar para representar posiciones espaciales y direcciones espaciales en el primer dispositivo portátil (102-1). El sistema cartesiano de coordenadas estacionario del dispositivo comprende tres dimensiones espaciales representadas por ejes respectivos que incluyen un eje x1 y un eje z1, y un eje y1 ortogonal a ambos ejes x1 y z1 que no se representa en la figura 2c . El sistema cartesiano de coordenadas estacionario del dispositivo puede comprender un origen del sistema de coordenadas en una posición espacial estacionaria del dispositivo indicada como "p1". La posición espacial "p1" estacionaria del dispositivo puede seleccionarse de cualquier posición espacial estacionaria para el primer dispositivo portátil (102-1). En algunas realizaciones, si hay una ubicación espacial que constituya un punto de simetría en el primer dispositivo portátil (102-1), entonces tal ubicación espacial puede seleccionarse como la posición espacial "p1" estacionaria del dispositivo para que sirva como origen de coordenadas del sistema cartesiano de coordenadas estacionario del dispositivo.
De manera similar, el segundo dispositivo portátil (102-2) puede, pero sin limitarse necesariamente a, ser un dispositivo de cuerpo rígido en las posiciones espaciales en las que se puede representar en un segundo sistema de coordenadas espaciales tridimensionales estacionario con relación al segundo dispositivo portátil (102-2). El segundo sistema cartesiano de coordenadas estacionario del dispositivo con relación al sistema cartesiano de coordenadas de referencia se puede utilizar para representar posiciones espaciales y direcciones espaciales en el segundo dispositivo portátil (102-2). El segundo sistema cartesiano de coordenadas estacionario del dispositivo comprende tres dimensiones espaciales representadas por ejes respectivos que incluyen un eje x2 y un eje z2, y un eje y2 ortogonal a ambos ejes x2 y z2 que no se representa en la figura 2c . El segundo sistema cartesiano de coordenadas estacionario del dispositivo puede comprender un origen del sistema de coordenadas en una posición espacial estacionaria del dispositivo indicada como "p2". La posición espacial "p2" estacionaria del dispositivo puede seleccionarse de cualquier posición espacial estacionaria para el primer dispositivo portátil (102-1). En algunas realizaciones, si hay una ubicación espacial que constituya un punto de simetría en el segundo dispositivo portátil (102-2), entonces tal ubicación espacial puede seleccionarse como la posición espacial "p2" estacionaria del dispositivo para que sirva como origen de coordenadas del segundo sistema cartesiano de coordenadas estacionario del dispositivo.
Las posiciones espaciales y/o las direcciones espaciales de los dispositivos portátiles (por ejemplo, 102-1, 102-2, etc.) se pueden usar para adaptar el contenido de imagen de dispositivo en el contenido de imagen de dispositivo específicamente adaptado a dispositivos portátiles individuales y a espectadores y para reproducir contenido de imagen de dispositivo específicamente adaptado en los dispositivos portátiles individuales.
Además, las posiciones espaciales y/o las direcciones espaciales de los dispositivos portátiles (por ejemplo, 102-1, 102-2, etc.) pueden proporcionarse como funciones de tiempo para el reproductor (106) de imagen de cine y para el reproductor (108) de imagen del dispositivo. En función de las posiciones espaciales, de las direcciones espaciales, etc., de los dispositivos portátiles (por ejemplo, 102-1, 102-2, etc.), el reproductor (106) de imagen de cine y el reproductor de imagen del dispositivo pueden sincronizarse en cascada y reproducir contenido de imagen de dispositivo generado para un punto de tiempo particular con contenido de imagen de cine de lanzamiento en cascada y de reproducción generado para ese punto de tiempo particular, por ejemplo, mediante una marca de tiempo común que indexe el contenido de imagen de cine y el contenido de imagen de dispositivo. Las marcas de tiempo que indexan el contenido de la imagen del cine y el contenido de imagen de dispositivo se pueden almacenar o transmitir con el contenido de la imagen del cine y el contenido de imagen de dispositivo. Mientras las imágenes del dispositivo de representación visual de cine se reproducen en el dispositivo de representación visual de cine, las imágenes de dispositivo de representación visual de dispositivo correspondientes se lanzan en cascada a los dispositivos portátiles (por ejemplo, de antemano, etc.) y se reproducen en los dispositivos de representación visual
de dispositivo de manera sincronizada con la reproducción de las imágenes de dispositivo de representación visual de cine en el dispositivo de representación visual de cine al mismo tiempo.
En algunas realizaciones, parte o todo el contenido de la imagen de cine y el contenido de imagen de dispositivo se pueden almacenar localmente en lugar de o además de lanzarse en cascada de manera inalámbrica o con conexiones de datos cableadas desde un receptor de contenido de imagen o un reproductor de imagen. Por ejemplo, el contenido de imagen de dispositivo puede obtenerse de discos duros locales (por ejemplo, disponible en conexiones de datos USB en espacios de asiento individuales de espectadores, etc.). Un reproductor de imagen de cine puede enviar marcas de tiempo, mensajes de ping, etc., a todos los dispositivos portátiles en el espacio en 3D (126) para identificar qué contenido de imagen de dispositivo correspondiente debe reproducirse sincrónicamente con la reproducción del contenido de imagen de cine que se está reproduciendo en el dispositivo de representación visual de cine. Además, de manera opcional o alternativa, las marcas de agua, las huellas dactilares derivadas de la ejecución de algoritmos de huellas dactilares en el contenido de los medios, las marcas de fiducia, etc., pueden incrustarse, llevarse, representarse visualmente, transmitirse o rastrearse con el fin de sincronizar la reproducción del contenido de imagen de dispositivo correspondiente al contenido de imagen de cine, en lugar de o además de marcas de tiempo, mensajes de ping, etc.
De este modo, el sistema de rastreo central implantado con el rastreador (122) de dispositivo y el conjunto (124) de sensor de rastreo se puede usar para hacer de manera relativamente eficiente que la sincronización en cascada funcione y se reproduzca el contenido de imagen de cine y el contenido de imagen de dispositivo en el sistema de entretenimiento aumentado, en comparación con un sistema de entretenimiento con rastreo de dispositivo distribuido, que probablemente incurra en costes de fabricación de dispositivos relativamente altos, costos de mantenimiento de dispositivos relativamente altos (por ejemplo, en los costes de lavado/limpieza de dispositivos relativamente altos en un entorno comercial que comparte un dispositivo portátil entre diferentes espectadores sucesivos, etc.), costes de comunicación relativamente altos, costes de sincronización relativamente altos.
Un dispositivo portátil (por ejemplo, 102-1, 102-2, etc.), etc., puede ser accionado, por ejemplo, por un usuario (por ejemplo, 112-1, 112-2, etc.), para hacer movimientos relativos en relación con objetos estacionarios o sistemas de coordenadas estacionarios como el dispositivo (104) de representación visual de cine estacionario en el espacio en 3D (126). Estos movimientos relativos pueden estar representados por cualquier combinación de uno o más elementos de entre: posiciones/desplazamientos lineales, posiciones/desplazamientos angulares, celeridades/velocidades lineales, celeridades/velocidades angulares, aceleraciones lineales, aceleraciones rotacionales, etc.
Por ejemplo, el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) puede ser un objeto físico en 3D que tiene una posición espacial específica y una dirección espacial específica en cualquier punto de tiempo dado en un espacio físico tal como una sala de cine, un espacio de entretenimiento en casa, un local, etc.
La posición espacial específica del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) puede caracterizarse o medirse mediante coordenadas espaciales de una posición lineal específica del dispositivo portátil (por ejemplo, 102 1, 102 -2, etc.). Ejemplos de una posición lineal específica tal pueden ser un punto de simetría espacial, un punto central geométrico, etc., de un marco de gafas, de una posición correspondiente al punto medio entre los ojos del espectador, etc. Las coordenadas espaciales de ejemplo de una posición lineal pueden ser coordenadas espaciales de un sistema cartesiano de coordenadas, de un sistema de coordenadas polares y similares.
La dirección espacial específica del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) puede caracterizarse o medirse mediante coordenadas espaciales de una posición angular de un sistema de coordenadas tridimensional específico (por ejemplo, una primer sistema cartesiano de coordenadas estacionario del dispositivo del primer dispositivo portátil (102-1), un segundo sistema cartesiano de coordenadas estacionario del segundo dispositivo del segundo dispositivo portátil (102-2), etc.) fijado rígidamente a o estacionario con el dispositivo portátil (por ejemplo , 102-1, 102-2, etc.) en referencia a un sistema de coordenadas tridimensional de referencia estacionario en el espacio en 3D (126). El sistema de coordenadas tridimensional de referencia en el espacio en 3D (126) puede ser un sistema cartesiano de coordenadas de referencia que comprenda los ejes x, y y z (sólo se muestran los ejes x y z en la figura 2C) con su origen de coordenadas ubicado en una posición seleccionada "p" del dispositivo (104) de representación visual de cine. Los sistemas de coordenadas tridimensionales estacionarios de dispositivo de ejemplo fijados rígidamente o estacionarios con el dispositivo (102) de reproducción de imagen portátil pueden ser sistemas de coordenadas cartesianos tridimensionales con una dirección z positiva correspondiente a la dirección de visión frontal del espectador, una dirección x paralela a la distancia entre pupilas del espectador, y una dirección y perpendicular a las direcciones x y z. Las coordenadas espaciales de ejemplo de la posición angular pueden ser cabeceo, guiñada, balanceo, etc.
La posición espacial específica y la dirección espacial específica del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) pueden caracterizarse en general por seis dimensiones espaciales, tres de las cuales se relacionan con traslaciones y las otras tres de las cuales se refieren a rotaciones. En algunas realizaciones, las seis dimensiones espaciales utilizadas para caracterizar la posición espacial específica y la dirección espacial específica del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) son completamente independientes entre sí. En estas
realizaciones, el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) tiene seis grados de libertad. Sin embargo, es posible que las posiciones lineales o angulares correspondientes a un grado de libertad dado puedan estar todavía limitadas a un intervalo.
Por ejemplo, en una sala de cine, las posiciones lineales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) a lo largo de una dirección x (por ejemplo, oscilaciones, etc.) en el sistema cartesiano de coordenadas de referencia estacionario con el dispositivo (104) de representación visual de cine pueden limitarse a un intervalo correspondiente a una fracción del ancho de un asiento asignado al espectador (por ejemplo, 112-1, 112-2, etc.). Las posiciones lineales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) a lo largo de una dirección y (arcadas) en el sistema cartesiano de coordenadas estacionario al dispositivo (104) de representación visual de cine pueden limitarse a un intervalo correspondiente a una fracción de la cabeza del espectador. Las posiciones lineales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) a lo largo de una dirección z (por ejemplo, sobretensiones, etc.) en el sistema cartesiano de coordenadas estacionario con el dispositivo (104) de representación visual de cine pueden limitarse a un intervalo entre el respaldo del asiento del espectador (por ejemplo, 112-1, 112-2, etc.) y el respaldo de un asiento directamente en frente del asiento del espectador (por ejemplo, 112-1, 112-2, etc.).
La técnica descrita en el presente documento se puede utilizar para soportar la visualización de imágenes omnidireccionales hasta 360 grados (o hasta el ángulo sólido de 4n completo de una esfera). Por ejemplo, un dispositivo portátil como se describe en el presente documento puede visualizar imágenes de dispositivo de representación visual de dispositivo de dirección específica desde cualquier ángulo de visión hasta 360 grados (o hasta el ángulo sólido de 4n completo de una esfera), incluso aunque el dispositivo de representación visual de cine en el que se reproducen las imágenes de dispositivo de representación visual de cine esté fijo o estacionario en un espacio 3D. Al visualizar fuera del dispositivo de representación visual de cine, el espectador de un dispositivo portátil puede visualizar sólo las imágenes de dispositivo de representación visual de dispositivo derivadas de imagen de dispositivo de una sola capa en una o más capas de imagen de dispositivo. Sin embargo, en algunos escenarios operativos, las posiciones angulares del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) para guiñada en referencia al dispositivo (104) de representación visual de cine pueden estar limitadas a un primer intervalo (por ejemplo, de /- 20 grados angulares, /- 30 grados angulares, hasta /- 180 grados angulares, etc.) de las direcciones de visión frontal. Las posiciones angulares del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) para balanceos en referencia al dispositivo (104) de representación visual de cine pueden limitarse a un segundo intervalo (por ejemplo, de /- 20 grados angulares, /- 30 grados angulares, hasta /- 180 grados angulares, etc.) de las direcciones de visión frontal. Las posiciones angulares del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) para los cabeceos en referencia al dispositivo (104) de representación visual de cine pueden limitarse a un tercer intervalo (por ejemplo, de /- 20 grados angulares, /- 30 grados angulares, hasta /- 180 grados angulares, etc.) de las direcciones de visión frontal. Estos intervalos angulares pueden restringirse de manera diferente. Por ejemplo, el tercer intervalo puede establecerse para que sea relativamente pequeño, ya que los movimientos de balanceo tienden a generar náuseas y molestias fisiológicas relativamente graves.
Si cualquiera de los intervalos angulares o posicionales mencionados anteriormente se contrae, o se restringe, a un solo valor, entonces se pierde o se elimina un grado de libertad, correspondiente al intervalo posicional o angular de un solo valor, de los seis grados de libertad. El dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) tiene un grado cero de libertad cuando el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) es (por ejemplo, lógicamente, físicamente, etc.) fijo en traslación y en rotación con respecto al dispositivo (104) de representación visual de cine. El dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) tiene un grado de libertad cuando el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) está fijo en rotación, pero está confinado a moverse en una línea o en una curva unidimensional en traslación con respecto al dispositivo (104) de representación visual de cine. De manera similar, el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) tiene un grado de libertad cuando el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) está fijo en traslación, pero está confinado a rotar en una única dirección de rotación con respecto al dispositivo (104) de representación visual de cine.
En algunas realizaciones, el rastreador (122) de dispositivo, que funciona en conjunción con el conjunto (124) de sensor de rastreo, el cual está desplegado en el espacio en 3D (126), monitoriza las posiciones espaciales y las direcciones espaciales de los dispositivos portátiles en el espacio en 3D (126). En algunas realizaciones, el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) tiene fuentes de luz unidas de manera extraíble o inamovible al dispositivo portátil, o instaladas de otro modo en el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.). Estas fuentes de luz pueden emitir o reflejar rayos de luz tales como rayos de luz de longitudes de onda de luz visible, rayos de luz de longitudes de onda de luz invisible, luces infrarrojas, etc. Los ejemplos de fuentes de luz pueden incluir, pero sin limitarse necesariamente a, cualquiera de los siguientes: emisores de luz, diodos emisores de luz (LED), luces que no son LED, regeneradores de luz, reflectores de luz, dispositivos de dispersión de luz, retrorreflectores, etc. A modo de ejemplo, pero sin limitación, las fuentes de luz en el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) emiten o reflejan luz invisible tal como luz infrarroja, etc., con el propósito de rastrear el dispositivo.
En algunas realizaciones, uno o más sensores de imagen de rastreo en el conjunto (124) de sensor de rastreo generan imágenes de rastreo de dispositivo que capturan los rayos de luz de las fuentes de luz colocadas en los dispositivos portátiles que incluyen, pero sin limitarse a, el dispositivo portátil (por ejemplo, 102- 1, 102-2, etc.). Estos rayos de luz pueden emitirse, reflejarse/redirigirse/dispersarse hacia, etc., los sensores de imagen de rastreo en el
conjunto (124) de sensor de rastreo. Estos rayos de luz se pueden capturar de manera continua, en un horario de tiempo establecido, etc. Por ejemplo, las imágenes de rastreo del dispositivo se pueden tomar con una resolución de tiempo de un milisegundo o de una fracción de milisegundo, con una resolución de tiempo de cada centésima de segundo, con una resolución de tiempo de cada décima de segundo, etc.
En algunas realizaciones, el rastreador (122) de dispositivo rastrea o determina posiciones espaciales y direcciones espaciales de cada uno de los dispositivos portátiles en un punto de tiempo dado (por ejemplo, durante un intervalo de tiempo, durante todo el tiempo de duración de una película en 3D, etc.) en base a una o más imágenes de rastreo de dispositivo capturadas en el tiempo dado por los sensores (124) de imagen de rastreo a partir de los rayos de luz de las fuentes de luz de los dispositivos portátiles.
En algunas realizaciones, el reproductor (108) de imagen de dispositivo recibe, desde el rastreador (122) de dispositivo, posiciones espaciales y direcciones espaciales (por ejemplo, p1, a1, p2, a2, etc.) del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) a lo largo del tiempo (por ejemplo, durante un intervalo de tiempo, durante todo el tiempo de duración de una película en 3D, etc.). En base a las posiciones espaciales y a las direcciones espaciales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.), el reproductor (108) de imagen del dispositivo puede determinar las relaciones espaciales entre el dispositivo portátil (por ejemplo, 102-1, 102 -2, etc.) y el dispositivo (104) de representación visual de cine. En alguna realización, estas relaciones espaciales pueden estar representadas por una o más de entre: posiciones/desplazamientos lineales, posiciones/desplazamientos angulares, velocidades lineales o angulares, celeridades lineales o angulares, aceleraciones lineales o angulares, etc., del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) con relación al dispositivo (104) de representación visual de cine o al sistema cartesiano de coordenadas de referencia en el espacio en 3D (126).
Por ejemplo, en base a las imágenes del dispositivo de una sola capa derivadas de la imagen no estratificada multivista, el reproductor (108) de imagen del dispositivo puede determinar una o más imágenes del dispositivo en 3D que comprenden una o más imágenes del dispositivo de vista izquierda y una o más imágenes del dispositivo de vista derecha. El reproductor (108) de imagen del dispositivo o el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) pueden realizar una transformación espacial en las una o más imágenes del dispositivo de vista izquierda y en las una o más imágenes del dispositivo de vista derecha (en las una o más imágenes del dispositivo en 3D) - antes de reproducirlas - en base a las relaciones espaciales entre el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) y el dispositivo (104) de representación visual de cine .
En base a las imágenes del dispositivo de vista izquierda y a las imágenes del dispositivo de vista derecha transformadas por la transformación espacial, el reproductor (108) de imagen de dispositivo puede hacer que el dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) reproduzca estas imágenes de dispositivo de vista izquierda e imágenes de dispositivo de vista derecha en uno o más dispositivos de representación visual de dispositivo (por ejemplo, 116, etc.). El reproductor (108) de imagen del dispositivo puede comunicar información de control, información de estado, datos de posición, datos de imagen tales como imágenes de dispositivo, metadatos, etc., con dispositivos de reproducción de imagen portátiles (por ejemplo, 102-1, 102-2, etc.) a través de una o más conexiones de datos. Las conexiones de datos de ejemplo pueden incluir, pero sin limitarse a, conexiones de datos inalámbricas, conexiones de datos por cable, conexiones de datos basadas en radiofrecuencia, conexiones de datos móviles, conexiones de datos Wi-Fi, conexiones de datos por infrarrojos, conexiones de datos por cable HDMI, conexiones de datos a través de cable óptico, conexiones de datos a través de interfaz en serie de alta velocidad (HSSI), interfaz digital en serie de alta definición (HD-SDI), 12G-SDI, cable USB y similares para el asiento/reposabrazos/suelo, etc.
Además, opcional o alternativamente, algunas o todas las funciones de procesamiento de imagen tales como determinación de rotación de imagen, análisis de alineación de imagen, detecciones de corte de escena, transformación entre sistemas de coordenadas, amortiguación temporal, gestión de dispositivo de representación visual, radiolocalización de contenido, radiolocalización de color, gestión de campo de visión, etc., puede ser realizada por el receptor de contenido de imagen (110).
En algunas realizaciones, en lugar de utilizar un rastreador de dispositivo externo tal como el 122 que se muestra en la figura 2C, se puede usar un rastreador de dispositivo interno para rastrear/monitorizar las posiciones espaciales y/o las direcciones espaciales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.); generar los datos posicionales y direccionales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) en base a las posiciones espaciales y/o a las direcciones espaciales del dispositivo portátil (por ejemplo, 102-1, 102-2, etc.) .); etc.
En algunas realizaciones, el reproductor (108) de imagen de dispositivo puede funcionar o no con un único dispositivo portátil (por ejemplo, 102-1, etc.). A modo de ejemplo, pero no de limitación, el reproductor (108) de imagen de dispositivo, según se ilustra en la figura 2C, funciona con más de un dispositivo portátil (por ejemplo, 102 1 y 102-2, etc.) de manera concurrente.
En algunas realizaciones, el reproductor (108) de imagen de dispositivo recibe lanzamientos en cascada de vídeo para los dispositivos portátiles (102-1 y 102-2); genera una o más imágenes de dispositivo de representación visual a partir de datos de vídeo en los lanzamientos en cascada de vídeo para cada dispositivo portátil (102-1 o 102-2) de
acuerdo con los datos de posición y de dirección de cada uno de tales dispositivos portátiles (102-1 o 102-2); hace que las una o más imágenes de dispositivo de representación visual se reproduzcan con el dispositivo portátil respectivo (102-1 o 102-2) al espectador (112-1 o 112-2); etc.
6. Ejemplo de flujos de proceso
la figura 4A ilustra un flujo de proceso de ejemplo de acuerdo con una realización de ejemplo de la presente invención. En algunas realizaciones de ejemplo, uno o más dispositivos o componentes informáticos puede/n realizar este flujo de proceso. En el bloque 402, un codificador de imágenes estratificadas (por ejemplo, 180 de la figura 2A, etc.) accede a información espacial que describe las ubicaciones espaciales de una pluralidad de objetos visuales según un espacio de imagen tridimensional (en 3D) representado en una o más imágenes no estratificadas multi-vista. Cada una de las una o más imágenes no estratificadas multi-vista comprende una pluralidad de imágenes no estratificadas de una sola vista correspondientes a una pluralidad de direcciones de visualización. En el bloque 404, en base a la información espacial que describe las ubicaciones espaciales de la pluralidad de objetos visuales en el espacio de la imagen en 3D según se representa en las una o más imágenes no estratificadas de vistas múltiples, el codificador (180) de imágenes estratificadas genera, a partir de las una o más imágenes no estratificadas multi-vista, una capa de imagen de cine que comprende una o más imágenes de cine de una sola capa que representan un primer subconjunto apropiado de uno o más objetos visuales de entre la pluralidad de objetos visuales.
En el bloque 406, en base a la información espacial que describe las ubicaciones espaciales de la pluralidad de objetos visuales en el espacio de la imagen en 3D según se representa en las una o más imágenes no estratificadas de vistas múltiples, el codificador (180) de imágenes estratificadas genera, a partir de las una o más imágenes no estratificadas multi-vista, una o más capas de imagen de dispositivo, cada una de las cuales comprende una o más imágenes de dispositivo de una sola capa que representan uno o más segundos subconjuntos apropiados de uno o más objetos visuales de entre la pluralidad de objetos visuales.
En el bloque 408, el codificador (180) de imágenes estratificadas envía una señal de vídeo multi-capa y multi-vista que comprende las una o más imágenes de cine de una sola capa en la capa de imagen de cine y las una o más imágenes de dispositivo de una sola capa en las una o más capas de imagen de dispositivo para uno o más dispositivos aguas abajo para reproducir.
En una realización, la información espacial representa uno o más elementos de entre: información de profundidad, información de disparidad, información de paralaje, información de malla en 3D, información epipolar, información de mapa tensorial, etc.
En una realización, el espacio de imagen en 3D representa uno o más elementos de entre: una o más escenas del mundo real, una o más escenas del mundo virtual, una combinación de una o más escenas del mundo real con una o más escenas del mundo virtual, etc.
En una realización, la pluralidad de objetos visuales en el espacio de imagen en 3D según se representa en las una o más imágenes no estratificadas multi-vista está separada en la capa de imagen de cine y la capa de imagen de uno o más dispositivos usando una o más superficies de separación de capa. En una realización, al menos una de las una o más superficies de separación de capas coincide con un dispositivo de representación visual de cine que se utilizará para reproducir imágenes de dispositivo de representación visual de cine generadas a partir de imágenes de cine de capa única en la capa de imagen de cine. En una realización, ninguna de las una o más superficies de separación de capas coincide con un dispositivo de representación visual de cine que se va a utilizar para reproducir imágenes de dispositivo de representación visual de cine generadas a partir de imágenes de cine de capa única en la capa de imagen de cine.
En una realización, al menos una de las imágenes de cine de capa única en la capa de imagen de cine y las imágenes de dispositivo de capa única en las una o más capas de imagen de dispositivo se genera usando una distribución de píxeles en 3D generada con un mapa tensorial.
En una realización, la pluralidad de objetos visuales en el espacio de imagen en 3D según se representa en las una o más imágenes no estratificadas multi-vista se separa en la capa de imagen de cine y en las una o más capas de imagen del dispositivo en base a uno o más elementos de entre: ubicaciones espaciales de dispositivos de representación visual en un espacio de referencia en 3D; ubicaciones espaciales de un espectador en una ubicación espacial de referencia en un espacio de referencia en 3D; posiciones espaciales de objetos visuales proyectados en el espacio de referencia en 3D con relación a las ubicaciones espaciales de los dispositivos de representación visual o del espectador; direcciones espaciales de objetos visuales en el espacio de referencia en 3D con respecto al espectador (112-0); importancia artística relativa de los objetos visuales; propiedades visuales de los objetos visuales; características de movimiento de los objetos visuales; ubicaciones espaciales pasadas, presentes o futuras de los objetos visuales; direcciones espaciales pasadas, presentes o futuras de los objetos visuales; etc.
La figura 4B ilustra un flujo de proceso de ejemplo de acuerdo con una realización de ejemplo de la presente invención. En algunas realizaciones de ejemplo, uno o más dispositivos o componentes informáticos pueden realizar este flujo de proceso. En el bloque 452, un sistema de entretenimiento aumentado (por ejemplo, según se ilustra en la figura 2A, la figura 2B o la figura 2C, etc.) recibe una señal de vídeo multi-capa y multi-vista que comprende una o más imágenes de cine de una sola capa en una capa de imagen de cine y una o más imágenes de dispositivo de una sola capa en una o más capas de imagen de dispositivo. Las imágenes de cine de una sola capa en la capa de imagen de cine y las imágenes de dispositivo de una sola capa en la una o más capas de imagen de dispositivo se derivaron previamente de una o más imágenes no estratificadas multi-vista.
En el bloque 454, el sistema de entretenimiento aumentado recupera, a partir de la capa de imagen de cine de la señal de vídeo multi-vista multi-capa, las una o más imágenes de cine de una sola capa, las una o más imágenes de cine de una sola capa que representan un primer subconjunto apropiado de uno o más objetos visuales de entre una pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista.
En el bloque 456, el sistema de entretenimiento aumentado recupera, de las una o más capas de imagen de dispositivo de la señal de vídeo multi-capa y multi-vista, las una o más imágenes de dispositivo de una sola capa, las una o más imágenes de dispositivo que representan uno o más segundos subconjuntos apropiados de uno o más objetos visuales de entre la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista.
En el bloque 458, el sistema de entretenimiento aumentado hace que el primer subconjunto apropiado de objetos visuales representados en una o más imágenes de cine de una sola capa se reproduzcan a un espectador en un dispositivo de representación visual de cine en un espacio en 3D.
En el bloque 460, el sistema de entretenimiento aumentado hace que uno o más segundos subconjuntos apropiados de objetos visuales según se representan en la una o más imágenes de dispositivo de una sola capa se reproduzcan de manera concurrente al espectador en un dispositivo de representación visual de dispositivo en el espacio en 3D. En una realización, el primer subconjunto apropiado de objetos visuales reproducidos en el dispositivo de representación visual de cine y los uno o más segundos subconjuntos apropiados de objetos visuales reproducidos en el colectivo de dispositivos de representación visual de dispositivo representan la pluralidad de objetos visuales ubicados en las mismas ubicaciones espaciales en un espacio de imagen en 3D, según se representa originalmente en las una o más imágenes no estratificadas multi-vista. En una realización, la información espacial que describe las ubicaciones espaciales en el espacio de la imagen en 3D en el que se ubica la pluralidad de objetos visuales se usó previamente para dividir la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista, en la capa de imagen de cine y las una o más capas de imagen de dispositivo.
En una realización, el dispositivo de representación visual de dispositivo se puede mover espacialmente con uno o más grados de libertad con respecto al dispositivo de representación visual de cine.
En una realización, el dispositivo de representación visual de dispositivo es usado por un dispositivo portátil para reproducir imágenes; el dispositivo de representación visual de dispositivo está fijado espacialmente con relación al dispositivo portátil.
En una realización, el dispositivo de representación visual de cine es un dispositivo de representación visual estacionario; el dispositivo de representación visual de dispositivo representa un dispositivo de representación visual montado en cabeza de un dispositivo portátil utilizado por el espectador.
En una realización, el dispositivo de representación visual de cine en el espacio en 3D se usa para definir una superficie de separación de capas en el espacio de imagen en 3D; la pluralidad de objetos visuales se divide en el primer subconjunto apropiado de objetos visuales y en los uno o más segundos subconjuntos apropiados de objetos visuales en base, al menos en parte, a las relaciones espaciales de la pluralidad de objetos visuales con relación a la superficie de separación de capas.
En una realización, los uno o más segundos subconjuntos apropiados de objetos visuales se seleccionan de entre la pluralidad de objetos visuales en base a distancias espaciales a la superficie de separación de capas.
En una realización, al menos un objeto visual de entre la pluralidad de objetos visuales pisa la superficie de separación de capas; el primer subconjunto apropiado de objetos visuales incluye una porción de el al menos un objeto visual; los uno o más segundos subconjuntos apropiados de objetos visuales incluye la porción restante del al menos un objeto visual.
En una realización, el dispositivo de representación visual de cine representa una superficie espacial de paralaje cero en el espacio en 3D; un objeto visual representado por una imagen de dispositivo de representación visual de
cine como detrás del dispositivo de representación visual de cine tiene paralaje positivo; un objeto visual representado por la imagen del dispositivo de representación visual de cine como delante del dispositivo de representación visual de cine tiene paralaje negativo; la pluralidad de objetos visuales se divide en el primer subconjunto apropiado de objetos visuales y en los uno o más segundos subconjuntos apropiados de objetos visuales en base a paralajes individuales de objetos visuales individuales de entre la pluralidad de objetos visuales. En una realización, todos los objetos visuales en los uno o más segundos subconjuntos apropiados de objetos visuales deberían tener paralaje negativo si los uno o más segundos subconjuntos apropiados de objetos visuales fueran a reproducirse por imágenes de dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine.
En una realización, al menos un objeto visual en los uno o más segundos subconjuntos apropiados de objetos visuales debería tener paralaje positivo si los uno o más segundos subconjuntos apropiados de objetos visuales fueran a reproducirse por imágenes de dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine.
En una realización, el sistema de entretenimiento aumentado está configurado adicionalmente para: hacer que dos subconjuntos apropiados diferentes de objetos visuales en los uno o más segundos subconjuntos apropiados de objetos visuales según se representan en las una o más imágenes de dispositivo de una sola capa se reproduzcan en el dispositivo de representación visual de dispositivo en dos planos de imagen diferentes a dos distancias diferentes al espectador.
En una realización, el dispositivo de representación visual de dispositivo reproduce imágenes de dispositivo de representación visual de dispositivo en un plano de imagen de una distancia que se puede sintonizar en base a los ángulos de vergencia del espectador.
En una realización, el dispositivo de representación visual de dispositivo reproduce imágenes de dispositivo de representación visual de dispositivo en un plano de imagen de una distancia que está fija con relación al espectador. En una realización, el sistema de entretenimiento aumentado está configurado adicionalmente para: adaptar la una o más imágenes del dispositivo de una sola capa en imágenes de dispositivo de representación visual de dispositivo usando transformaciones espaciales en base a un elemento o más de entre: posiciones espaciales específicas o direcciones espaciales específicas, de un dispositivo portátil que incluye el dispositivo de representación visual de dispositivo.
En una realización, las transformaciones espaciales reconstruyen un modelo tensorial que se había usado previamente para generar la capa de imagen de cine y la una o más capas de imagen de dispositivo a partir de la una o más imágenes no estratificadas multi-vista.
En una realización, las imágenes del dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine representan un tipo de imágenes de entre: imágenes bidimensionales o imágenes en 3D.
En una realización, un dispositivo portátil que incluye el dispositivo de representación visual de dispositivo se encuentra entre una pluralidad de dispositivos portátiles en el espacio en 3D que se registran automáticamente con un sistema de medios para recibir el contenido de imagen de dispositivo para que se reproduzca de manera concurrente según el contenido de la imagen del cine que se está reproduciendo en el dispositivo de representación visual de cine. En una realización, los dispositivos portátiles se registran automáticamente con el sistema de medios en base a un elemento o más de entre: posiciones de asiento específicas en base a tiques emitidos específicos para los espectadores de los dispositivos portátiles, marcadores de fiducia incrustados en el contenido de imagen de cine o en áreas espaciales circundantes al dispositivo de representación visual de cine, rayos de luz codificados con información de identificación del dispositivo, detección de ubicación de radiofrecuencia (RF), zonas específicas de un área de público en el espacio en 3D, etc.
En una realización, un dispositivo portátil que incluye el dispositivo de representación visual de dispositivo se encuentra entre una pluralidad de dispositivos portátiles en el espacio en 3D que se divide en una pluralidad de zonas de un área de público en el espacio en 3D; los primeros dispositivos portátiles que se encuentran en una primera zona de entre la pluralidad de zonas reciben contenido de imagen de dispositivo desde un primer servidor de contenido de imagen de dispositivo (por ejemplo, un primer reproductor de imagen de dispositivo, etc.); los segundos dispositivos portátiles que se encuentran en una segunda zona de entre la pluralidad de zonas reciben contenido de imagen de dispositivo desde un segundo servidor de contenido de imagen de dispositivo (por ejemplo, un segundo reproductor de imagen de dispositivo, etc.).
En una realización, el sistema de entretenimiento aumentado está configurado adicionalmente para: rastrear dispositivos portátiles con conjuntos de sensores de dispositivo que están instalados en una o más ubicaciones de instalación espacial en el lugar en 3D. En una realización, al menos uno de los conjuntos de sensores de dispositivo
está en un elemento de entre: techo, pared, suelo, áreas espaciales cerca del dispositivo de representación visual de cine, áreas espaciales alejadas del dispositivo de representación visual de cine, espacios de asiento, respaldos de asientos, etc., en el lugar en 3D.
En diversas realizaciones de ejemplo, un aparato, un sistema, un aparato o uno o más de otros dispositivos informáticos realiza cualquier método anterior o parte de los métodos anteriores que se han descrito. En una realización, un medio de almacenamiento legible por ordenador no transitorio almacena instrucciones de software, las cuales, cuando son ejecutadas por uno o más procesadores, provocan la ejecución de un método según se describe en el presente documento.
Obsérvese que, aunque se analizan en el presente documento realizaciones separadas, puede realizarse cualquier combinación de realizaciones, enteras y/o parciales, de las analizadas en el presente documento para formar realizaciones adicionales.
7. Mecanismos de implantación - vista general del hardware
Según una realización, las técnicas descritas en el presente documento se implantan mediante uno o más dispositivos informáticos para fines especiales. Los dispositivos informáticos para fines especiales pueden estar cableados para realizar las técnicas, o pueden incluir dispositivos electrónicos digitales tales como uno o más circuitos integrados específicos de la aplicación (ASIC) o matrices de puertas programables en campo (FPGA) que estén programadas de manera persistente para realizar la técnicas, o puede incluir uno o más procesadores de hardware con fines generales programados para realizar las técnicas de acuerdo con instrucciones de programa en soporte lógico inalterable (firmware), memoria, otro almacenamiento o una combinación. Tales dispositivos informáticos con fines especiales pueden también combinar lógica cableada personalizada, ASIC o FPGA con programación personalizada para lograr las técnicas. Los dispositivos informáticos con fines especiales pueden ser sistemas informáticos de escritorio, sistemas informáticos portátiles, dispositivos de mano, dispositivos de red o cualquier otro dispositivo que incorpore lógica programada y/o cableada para implantar las técnicas.
Por ejemplo, la figura 5 es un diagrama de bloques que ilustra un sistema informático 500 en el que se puede implantar una realización de ejemplo de la invención. El sistema informático 500 incluye un bus 502 u otro mecanismo de comunicación para comunicar información, y un procesador 504 de hardware acoplado con el bus 502 para procesar información. El procesador 504 de hardware puede ser, por ejemplo, un microprocesador con fines generales.
El sistema informático 500 incluye también una memoria principal 506, tal como una memoria de acceso aleatorio (RAM) u otro dispositivo de almacenamiento dinámico acoplada/o al bus 502 para almacenar información e instrucciones para ser ejecutadas por el procesador 504. La memoria principal 506 también puede ser utilizada para almacenar variables temporales u otra información intermedia durante la ejecución de instrucciones que serán ejecutadas por el procesador 504. Tales instrucciones, cuando se almacenan en medios de almacenamiento no transitorios accesibles al procesador 504, convierten el sistema informático 500 en una máquina con fines especiales que se personaliza para realizar las funciones especificadas en las instrucciones.
El sistema informático 500 incluye adicionalmente una memoria 508 de sólo lectura (ROM) u otro dispositivo de almacenamiento estático acoplado al bus 502 para almacenar información estática e instrucciones para el procesador 504.
Se proporciona un dispositivo 510 de almacenamiento, tal como un disco magnético o un disco óptico, una RAM de estado sólido, y se acopla al bus 502 para almacenar información e instrucciones.
El sistema informático 500 se puede acoplar a través del bus 502 a un dispositivo 512 de representación visual, tal como un dispositivo de representación visual de cristal líquido, para representar visualmente información a un usuario informático. Un dispositivo 514 de entrada, que incluye teclas alfanuméricas y otras, está acoplado al bus 502 para comunicar información y selecciones de órdenes al procesador 504. Otro tipo de dispositivo de entrada de usuario es el control 516 de cursor, tal como un ratón, una bola de rastreo o teclas de dirección de cursor para comunicar información de dirección y selecciones de órdenes al procesador 504 y para controlar el movimiento de cursor en el dispositivo 512 de representación visual. Este dispositivo de entrada tiene típicamente dos grados de libertad en dos ejes, un primer eje (por ejemplo, x) y un segundo eje (por ejemplo, y), que permiten que el dispositivo especifique posiciones en un plano.
El sistema informático 500 puede implantar las técnicas descritas en el presente documento utilizando lógica cableada personalizada, uno o más ASIC o FPGA, firmware y/o lógica de programa, que, en combinación con el sistema informático, provoca que o programa al sistema informático 500 para que sea una máquina con fines especiales. De acuerdo con una realización, las técnicas del presente documento son realizadas por el sistema informático 500 en respuesta al procesador 504 que ejecuta una o más secuencias de una o más instrucciones contenidas en la memoria principal 506. Tales instrucciones pueden leerse en la memoria principal 506 desde otro medio de almacenamiento, tal como como dispositivo 510 de almacenamiento. La ejecución de las secuencias de
instrucciones contenidas en la memoria principal 506 hace que el procesador 504 realice los pasos de proceso descritos en el presente documento. En realizaciones alternativas, se puede usar circuitería cableada en lugar de o en combinación con instrucciones de software.
El término "medio de almacenamiento", según se usa en el presente documento, se refiere a cualquier medio no transitorio que almacena datos y/o instrucciones que hacen que una máquina funcione de una manera específica. Tales medios de almacenamiento pueden comprender medios no volátiles y/o medios volátiles. Los medios no volátiles incluyen, por ejemplo, discos ópticos o magnéticos, como el dispositivo 510 de almacenamiento. Los medios volátiles incluyen memoria dinámica, tal como la memoria principal 506. Las formas comunes de medios de almacenamiento incluyen, por ejemplo, disquetes, discos flexibles, discos duros, unidades de estado sólido, cintas magnéticas o cualquier otro medio de almacenamiento de datos magnético, CD-ROM, cualquier otro medio óptico de almacenamiento de datos, cualquier medio físico con patrones de agujeros, RAM, PROM y EPROM, FLASH-EPROM, NVRAM, cualquier otro microprocesador o cartucho de memoria.
Los medios de almacenamiento son distintos, pero pueden usarse junto con los medios de transmisión. Los medios de transmisión participan en la transferencia de información entre medios de almacenamiento. Por ejemplo, los medios de transmisión incluyen cables coaxiales, hilos de cobre y fibra óptica, incluyendo los hilos que componen el bus 502. Los medios de transmisión también pueden tomar la forma de ondas acústicas o de luz, tales como las que se generan durante las comunicaciones de datos por ondas de radio e infrarrojos.
Pueden estar implicadas diversas formas de medios en el transporte de una o más secuencias de una o más instrucciones al procesador 504 para la ejecución. Por ejemplo, las instrucciones se pueden llevar inicialmente en un disco magnético o en una unidad de estado sólido de un ordenador remoto. El ordenador remoto puede cargar las instrucciones en su memoria dinámica y enviar las instrucciones a través de una línea telefónica usando un módem. Un módem local al sistema informático 500 puede recibir los datos en la línea telefónica y utilizar un transmisor de infrarrojos para convertir los datos en una señal de infrarrojos. Un detector de infrarrojos puede recibir los datos transportados en la señal de infrarrojos, y la circuitería apropiada puede colocar los datos en el bus 502. El bus 502 lleva los datos a la memoria principal 506, desde la cual el procesador 504 recupera y ejecuta las instrucciones. Las instrucciones recibidas por la memoria principal 506 pueden opcionalmente almacenarse en el dispositivo 510 de almacenamiento antes o después de la ejecución por el procesador 504.
El sistema informático 500 incluye también una interfaz 518 de comunicación acoplada al bus 502. La interfaz 518 de comunicación proporciona un acoplamiento de comunicación de datos bidireccional a un enlace 520 de red que está conectado a una red local 522. Por ejemplo, la interfaz 518 de comunicación puede ser una tarjeta de red digital de servicios integrados (ISDN), un módem de cable, un módem de satélite o un módem para proporcionar una conexión de comunicación de datos al correspondiente tipo de línea telefónica. Como otro ejemplo, la interfaz 518 de comunicación puede ser una tarjeta de red de área local (LAN) para proporcionar una conexión de comunicación de datos a una lAn compatible. También se pueden implantar enlaces inalámbricos. En cualquier implantación tal, la interfaz 518 de comunicación envía y recibe señales eléctricas, electromagnéticas u ópticas que llevan lanzamientos en cascada de datos digitales que representan diversos tipos de información.
El enlace 520 de red proporciona típicamente comunicación de datos a través de una o más redes a otros dispositivos de datos. Por ejemplo, el enlace 520 de red puede proporcionar una conexión a través de la red local 522 a un ordenador central 524 o al equipo de datos operado por un proveedor 526 de servicios de internet (ISP). El ISP 526 proporciona a su vez servicios de comunicación de datos a través de la red mundial de comunicación de paquetes de datos. ahora comúnmente conocida como "Internet" 528. La red local 522 e Internet 528 utilizan señales eléctricas, electromagnéticas u ópticas que llevan lanzamientos en cascada de datos digitales. Las señales a través de las diversas redes y las señales en el enlace 520 de red y a través de la interfaz 518 de comunicación, que llevan los datos digitales hacia y desde el sistema informático 500, son formas de ejemplo de medios de transmisión. El sistema informático 500 puede enviar mensajes y recibir datos, incluido el código de programa, a través de la red, del enlace 520 de red y de la interfaz 518 de comunicación. En el ejemplo de Internet, un servidor 530 podría transmitir un código solicitado para un programa de aplicación a través de Internet 528, del ISP 526, de la red local 522 y de la interfaz 518 de comunicación.
El código recibido puede ser ejecutado por el procesador 504 a medida que se recibe y/o se almacena en el dispositivo 510 de almacenamiento, o en otro almacenamiento no volátil para la posterior ejecución.
Claims (14)
1. Un método que comprende:
recibir (452) una señal de vídeo multi-capa y multi-vista que comprende una o más imágenes (176-1) de cine de una sola capa en una capa de imagen de cine y una o más imágenes (176-2, 176-3) de dispositivo de una sola capa en una o más capas de imagen de dispositivo, habiéndose las imágenes de cine de una sola capa en la capa de imagen de cine y las imágenes de dispositivo de una sola capa en la una o más capas de imagen de dispositivo derivado previamente de una o más imágenes no estratificadas multi-vista;
recuperar (454), de la capa de imagen de cine de la señal de vídeo multi-capa multi-vista, las una o más imágenes de cine de una sola capa, representando, las una o más imágenes de cine de una sola capa, un primer subconjunto apropiado de uno o más objetos visuales (118) de entre una pluralidad de objetos visuales según se representa originalmente por las una o más imágenes no estratificadas multi-vista;
recuperar (456), de una o más capas de imagen de dispositivo de la señal de vídeo multi-vista multi-capa, las una o más imágenes de dispositivo de una sola capa, representando, las una o más imágenes de dispositivo, uno o más segundos subconjuntos apropiados de uno o más objetos visuales (120) de entre la pluralidad de objetos visuales según se representa originalmente por las una o más imágenes no estratificadas multi-vista;
hacer (458) que el primer subconjunto apropiado de objetos visuales según se representa en las una o más imágenes de cine de una sola capa se reproduzca para un espectador (112-0, 112-1, 112-2) en un dispositivo (104) de representación visual de cine en un espacio en 3D (126);
hacer (460) que los uno o más segundos subconjuntos apropiados de objetos visuales según se representa en las una o más imágenes de dispositivo de una sola capa se reproduzcan de manera concurrente al espectador en un dispositivo (116, 116-1, 116-2) de representación visual de dispositivo en el espacio en 3D;
en el que el primer subconjunto apropiado de objetos visuales, según se reproduce en el dispositivo de representación visual de cine, y los uno o más segundos subconjuntos apropiados de objetos visuales, según se reproduce en el dispositivo de representación visual de dispositivo, representa colectivamente la pluralidad de objetos visuales ubicados en las mismas ubicaciones espaciales en un espacio de imagen en 3D (196), según se representa originalmente en las una o más imágenes no estratificadas multi-vista;
en el que la información espacial que describe las ubicaciones espaciales en el espacio de la imagen en 3D en el que se encuentra la pluralidad de objetos visuales se había previamente usado para dividir la pluralidad de objetos visuales, según se representa originalmente por las una o más imágenes no estratificadas multi-vista, en la capa de imagen de cine y en las una o más capas de imagen de dispositivo.
2. El método de la reivindicación 1, en el que el dispositivo de representación visual de dispositivo se puede mover espacialmente con uno o más grados de libertad con respecto al dispositivo de representación visual de cine.
3. El método de la reivindicación 1, en el que el dispositivo de representación visual de dispositivo es utilizado por un dispositivo portátil (102-1, 102-2) para reproducir imágenes; y en el que el dispositivo de representación visual de dispositivo está fijado espacialmente con respecto al dispositivo portátil.
4. El método de la reivindicación 1, en el que el dispositivo de representación visual de cine en el espacio en 3D se usa para definir una superficie (194, 194-1, 194-2, 194-3) de separación de capas en el espacio de imagen en 3D; y en el que la pluralidad de objetos visuales se divide en el primer subconjunto apropiado de objetos visuales y en los uno o más segundos subconjuntos apropiados de objetos visuales en base, al menos en parte, a las relaciones espaciales de la pluralidad de objetos visuales con relación a la superficie de separación de capas.
en el que, opcionalmente:
los uno o más segundos subconjuntos apropiados de objetos visuales se seleccionan de entre la pluralidad de objetos visuales en base a las distancias espaciales a la superficie de separación de capas, o
al menos un objeto visual de entre la pluralidad de objetos visuales pisa la superficie de separación de capas; en el que el primer subconjunto apropiado de objetos visuales incluye una porción del al menos un objeto visual; y en el que los uno o más segundos subconjuntos apropiados de objetos visuales incluyen la porción restante del al menos un objeto visual.
5. El método de la reivindicación 1, en el que el dispositivo de representación visual de cine representa una superficie espacial de paralaje cero en el espacio en 3D; en el que un objeto visual representado por una imagen de dispositivo de representación visual de cine como detrás del dispositivo de representación visual de cine tiene paralaje positivo; en el que un objeto visual representado por la imagen de dispositivo de representación visual de
cine como delante del dispositivo de representación visual de cine tiene paralaje negativo; y en el que la pluralidad de objetos visuales se divide en el primer subconjunto apropiado de objetos visuales y en los uno o más segundos subconjuntos apropiados de objetos visuales en base a los paralajes individuales de objetos visuales individuales de entre la pluralidad de objetos visuales,
en el que, opcionalmente:
todos los objetos visuales en los uno o más segundos subconjuntos apropiados de objetos visuales van a tener paralaje negativo si los uno o más segundos subconjuntos apropiados de objetos visuales se reproducen con imágenes de dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine, o
al menos un objeto visual en los uno o más segundos subconjuntos apropiados de objetos visuales va a ser de paralaje positivo si los uno o más segundos subconjuntos apropiados de objetos visuales se reproducen con imágenes de dispositivo de representación visual de cine reproducidas en el dispositivo de representación visual de cine.
6. El método de la reivindicación 1, que comprende adicionalmente: hacer que dos subconjuntos apropiados diferentes de objetos visuales en los uno o más segundos subconjuntos apropiados de objetos visuales según se representa en las una o más imágenes de dispositivo de una sola capa se representen en el dispositivo de representación visual de dispositivo en dos planos de imagen diferentes de dos distancias diferentes al espectador.
7. El método de la reivindicación 1, en el que el dispositivo de representación visual de dispositivo reproduce imágenes de dispositivo de representación visual de dispositivo en un plano de imagen de una distancia que se puede sintonizar en base a los ángulos de vergencia del espectador.
8. El método de la reivindicación 1, en el que el dispositivo de representación visual de dispositivo presenta imágenes de dispositivo de representación visual de dispositivo en un plano de imagen de una distancia que está fija con relación al espectador.
9. El método de la reivindicación 1, que comprende adicionalmente adaptar la una o más imágenes de dispositivo de una sola capa en imágenes de dispositivo de representación visual de dispositivo usando transformaciones espaciales en base a uno o más de los siguientes elementos: posiciones espaciales específicas o direcciones espaciales específicas (p1, a1, p2, a2), de un dispositivo portátil que incluye el dispositivo de representación visual de dispositivo,
en el que, opcionalmente, las transformaciones espaciales reconstruyen un modelo tensorial que se había usado anteriormente para generar la capa de imagen de cine y una o más capas de imagen de dispositivo a partir de una o más imágenes no estratificadas multi-vista.
10. El método de la reivindicación 1, en el que un dispositivo portátil que incluye el dispositivo de representación visual de dispositivo se encuentra entre una pluralidad de dispositivos portátiles, en el espacio en 3D, que se registran automáticamente con un sistema de medios para recibir contenido de imagen de dispositivo que se va a reproducir de manera concurrente como contenido de la imagen del cine a reproducir en el dispositivo de representación visual de cine,
en el que, opcionalmente, los dispositivos portátiles se registran automáticamente con el sistema de medios en base a uno o más elementos de entre: posiciones de asiento específicas basadas en tiques emitidos específicos para los espectadores de los dispositivos portátiles, marcadores de fiducia incrustados en el contenido de imagen de cine o en áreas espaciales circundantes al dispositivo de representación visual de cine, rayos de luz codificados con información de identificación del dispositivo, detección de ubicación de radiofrecuencia (RF) o zonas específicas (328) de un área (324) de público en el espacio en 3D.
11. El método de la reivindicación 1, en el que un dispositivo portátil que incluye al dispositivo de representación visual de dispositivo se encuentra entre una pluralidad de dispositivos portátiles en el espacio en 3D que se divide en una pluralidad de zonas en el área de público en el espacio en 3D; en el que los primeros dispositivos portátiles en una primera zona de la pluralidad de zonas reciben contenido de imagen de dispositivo desde un primer servidor de contenido de imagen de dispositivo; en el que los segundos dispositivos portátiles en una segunda zona de entre la pluralidad de zonas reciben contenido de imagen de dispositivo desde un segundo servidor de contenido de imagen de dispositivo.
12. El método de la reivindicación 1, que comprende adicionalmente rastrear dispositivos portátiles con conjuntos (124) de sensores de dispositivo que están instalados en una o más ubicaciones de instalación espacial en el lugar en 3D,
en el que, opcionalmente, al menos uno de los conjuntos de sensores de dispositivo está en un lugar de entre: techo, pared, suelo, áreas espaciales cerca del dispositivo de representación visual de cine, áreas espaciales alejadas del dispositivo de representación visual de cine, espacios (326) de asiento, o respaldos de asientos, en el lugar en 3D.
13. Un medio de almacenamiento no transitorio legible por ordenador, que almacena instrucciones de software, que cuando son ejecutadas por uno o más procesadores hacen que se realice el método expuesto en cualquiera de las reivindicaciones 1-12.
14. Un dispositivo informático que comprende uno o más procesadores y uno o más medios de almacenamiento, que almacena un conjunto de instrucciones, las cuales, cuando son ejecutadas por uno o más procesadores, hacen que se realice el método expuesto en cualquiera de las reivindicaciones 1-12.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762484121P | 2017-04-11 | 2017-04-11 | |
| PCT/US2018/026974 WO2018191312A1 (en) | 2017-04-11 | 2018-04-10 | Layered augmented entertainment experiences |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2902979T3 true ES2902979T3 (es) | 2022-03-30 |
Family
ID=62092275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES18721565T Active ES2902979T3 (es) | 2017-04-11 | 2018-04-10 | Experiencias de entretenimiento aumentadas estratificadas |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US10991164B2 (es) |
| EP (2) | EP3610654B1 (es) |
| JP (3) | JP6654275B1 (es) |
| KR (3) | KR102087414B1 (es) |
| CN (3) | CN113709439B (es) |
| BR (2) | BR112019016820B1 (es) |
| ES (1) | ES2902979T3 (es) |
| PL (1) | PL3610654T3 (es) |
| RU (2) | RU2743518C2 (es) |
| WO (1) | WO2018191312A1 (es) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US11095927B2 (en) * | 2019-02-22 | 2021-08-17 | The Nielsen Company (Us), Llc | Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity |
| TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
| US11743559B2 (en) * | 2021-01-05 | 2023-08-29 | Mediatek Singapore Pte. Ltd. | Methods and systems for derived immersive tracks |
| WO2023038264A1 (ko) * | 2021-09-13 | 2023-03-16 | 삼성전자 주식회사 | 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법 |
| US20230245373A1 (en) * | 2022-01-28 | 2023-08-03 | Samsung Electronics Co., Ltd. | System and method for generating a three-dimensional photographic image |
Family Cites Families (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
| ATE500532T1 (de) * | 1998-02-20 | 2011-03-15 | Puredepth Ltd | Mehrschichtige anzeigevorrichtung und verfahren zur darstellung von bildern auf einer solchen anzeigevorrichtung |
| US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
| JP3363861B2 (ja) | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| US7580378B2 (en) | 2000-06-06 | 2009-08-25 | Alien Technology Corporation | Distance/ranging determination using relative phase data |
| MXPA03001029A (es) * | 2000-08-04 | 2003-05-27 | Dynamic Digital Depth Res Pty | Tecnica de codificacion y conversion de imagen. |
| US6803912B1 (en) * | 2001-08-02 | 2004-10-12 | Mark Resources, Llc | Real time three-dimensional multiple display imaging system |
| US20030038922A1 (en) * | 2001-08-22 | 2003-02-27 | Ferrell Stanford L. | Apparatus and method for displaying 4-D images |
| JP4188968B2 (ja) | 2003-01-20 | 2008-12-03 | 三洋電機株式会社 | 立体視用映像提供方法及び立体映像表示装置 |
| EP1712981A1 (en) * | 2005-04-15 | 2006-10-18 | Herman Bailey | Interactive augmented reality system |
| US20070035542A1 (en) * | 2005-07-27 | 2007-02-15 | Mediapod Llc | System, apparatus, and method for capturing and screening visual images for multi-dimensional display |
| CN101292516A (zh) * | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
| US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
| US7679641B2 (en) | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
| KR101842622B1 (ko) | 2007-03-16 | 2018-03-27 | 톰슨 라이센싱 | 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법 |
| JP5774985B2 (ja) * | 2008-06-06 | 2015-09-09 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の類似検索システム及び方法 |
| KR20110039537A (ko) * | 2008-07-21 | 2011-04-19 | 톰슨 라이센싱 | 3ｄ 비디오 신호들을 위한 멀티 표준 코딩 장치 |
| CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| KR101011293B1 (ko) * | 2009-01-19 | 2011-01-28 | 파나소닉 주식회사 | 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 프로그램, 및 집적 회로 |
| WO2010085361A2 (en) * | 2009-01-26 | 2010-07-29 | Thomson Licensing | Frame packing for video coding |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| ES2634941T3 (es) * | 2009-06-17 | 2017-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Medio de registro de información para reproducir vídeo de 3D, y dispositivo de reproducción |
| KR20110018261A (ko) | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
| US9049431B2 (en) | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
| US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| CN102959952B (zh) | 2010-06-27 | 2016-07-06 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
| CN101894267B (zh) * | 2010-07-06 | 2012-07-18 | 清华大学 | 一种三维对象特征视图选取方法 |
| WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| US9615079B2 (en) * | 2011-03-18 | 2017-04-04 | Sony Corporation | Image processing apparatus and image processing method |
| US10229538B2 (en) * | 2011-07-29 | 2019-03-12 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
| US20130038685A1 (en) * | 2011-08-12 | 2013-02-14 | Alcatel-Lucent Usa Inc. | 3d display apparatus, method and structures |
| US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| BR112014008822A2 (pt) | 2011-10-11 | 2017-08-08 | Timeplay Entertainment Corp | sistema de interação de localizações múltiplas e método para proporcionar experiência interativa a dois ou mais participantes localizados em um ou mais nodos interativos |
| US10514542B2 (en) | 2011-12-19 | 2019-12-24 | Dolby Laboratories Licensing Corporation | Head-mounted display |
| KR101872864B1 (ko) | 2011-12-19 | 2018-06-29 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
| CN104160705B (zh) | 2012-03-12 | 2018-11-16 | 杜比实验室特许公司 | 三维视觉动态范围编码 |
| WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
| US9483853B2 (en) * | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
| US9674501B2 (en) | 2012-07-06 | 2017-06-06 | Lg Electronics Inc. | Terminal for increasing visual comfort sensation of 3D object and control method thereof |
| WO2014016986A1 (ja) | 2012-07-27 | 2014-01-30 | Ｎｅｃソフト株式会社 | ３次元環境共有システム及び３次元環境共有方法 |
| US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| CN105191313A (zh) * | 2013-01-04 | 2015-12-23 | 三星电子株式会社 | 使用考虑相移的上采样的可伸缩视频编码方法和设备以及可伸缩视频解码方法和设备 |
| US8951071B2 (en) | 2013-03-15 | 2015-02-10 | Apple Inc. | Contact-support mechanism for increased retention force |
| US10019057B2 (en) * | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| US9679369B2 (en) * | 2013-09-12 | 2017-06-13 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
| US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
| WO2015137736A1 (ko) * | 2014-03-11 | 2015-09-17 | 삼성전자 주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| JP2015210580A (ja) * | 2014-04-24 | 2015-11-24 | エイディシーテクノロジー株式会社 | 表示システム及びウェアラブル機器 |
| WO2015194915A1 (ko) * | 2014-06-20 | 2015-12-23 | 삼성전자 주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| US10593113B2 (en) * | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
| JP6394174B2 (ja) * | 2014-08-19 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム |
| US20160103330A1 (en) | 2014-10-10 | 2016-04-14 | 3DOO, Inc. | System and method for adjusting parallax in three-dimensional stereoscopic image representation |
| KR101844883B1 (ko) * | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
| US20170038598A1 (en) * | 2015-03-04 | 2017-02-09 | Jay Song | Adjustable optical stereoscopic glasses |
| EP3265868A4 (en) | 2015-03-04 | 2018-11-14 | Song, Jay | Adjustable optical stereoscopic glasses |
| CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
| US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
| JP6917378B2 (ja) * | 2015-09-17 | 2021-08-11 | ファゾム・オプティクス・インコーポレイテッド | マルチビューディスプレイ並びに関連するシステム及び方法 |
| US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
| CN106534830B (zh) * | 2016-10-10 | 2019-04-26 | 上海蒙彤文化传播有限公司 | 一种基于虚拟现实的影院播放系统 |
| US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
| JP2018142162A (ja) | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
| CN109996055B (zh) * | 2017-12-06 | 2022-08-12 | 杜比实验室特许公司 | 位置零时延 |
-
2018
- 2018-04-10 WO PCT/US2018/026974 patent/WO2018191312A1/en active Application Filing
- 2018-04-10 CN CN202110931373.0A patent/CN113709439B/zh active Active
- 2018-04-10 JP JP2019544632A patent/JP6654275B1/ja active Active
- 2018-04-10 EP EP18721565.2A patent/EP3610654B1/en active Active
- 2018-04-10 CN CN201880011840.4A patent/CN111406412B/zh active Active
- 2018-04-10 KR KR1020197023910A patent/KR102087414B1/ko active IP Right Grant
- 2018-04-10 KR KR1020207027477A patent/KR102279143B1/ko active IP Right Grant
- 2018-04-10 BR BR112019016820-6A patent/BR112019016820B1/pt active IP Right Grant
- 2018-04-10 ES ES18721565T patent/ES2902979T3/es active Active
- 2018-04-10 PL PL18721565T patent/PL3610654T3/pl unknown
- 2018-04-10 CN CN202110930851.6A patent/CN113660539B/zh active Active
- 2018-04-10 KR KR1020207006343A patent/KR102161734B1/ko active IP Right Grant
- 2018-04-10 RU RU2020117045A patent/RU2743518C2/ru active
- 2018-04-10 EP EP21206636.9A patent/EP3988187B1/en active Active
- 2018-04-10 BR BR122021006807-0A patent/BR122021006807B1/pt active IP Right Grant
- 2018-04-10 RU RU2019124450A patent/RU2722495C1/ru active
- 2018-04-10 US US16/604,118 patent/US10991164B2/en active Active
-
2020
- 2020-01-29 JP JP2020012509A patent/JP6932796B2/ja active Active
-
2021
- 2021-04-26 US US17/240,954 patent/US11361520B2/en active Active
- 2021-08-18 JP JP2021133460A patent/JP7263451B2/ja active Active
-
2022
- 2022-04-28 US US17/731,770 patent/US11893700B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2902979T3 (es) | Experiencias de entretenimiento aumentadas estratificadas | |
| US11651555B2 (en) | Re-creation of virtual environment through a video call | |
| US11669991B2 (en) | Passive multi-wearable-devices tracking | |
| CN108693970B (zh) | 用于调适可穿戴装置的视频图像的方法和设备 | |
| WO2015027105A1 (en) | Virtual reality content stitching and awareness | |
| Yoshida | fVisiOn: glasses-free tabletop 3D display to provide virtual 3D media naturally alongside real media | |
| Grogorick et al. | Gaze and motion-aware real-time dome projection system | |
| Cohen et al. | A multiuser multiperspective stereographic QTVR browser complemented by java3D visualizer and emulator | |
| Wide-Field-of-View | 1.1 Augmented reality and virtual reality |