BR112019016820B1 - Método para experiências de entretenimento aumentadas em camadas - Google Patents
Método para experiências de entretenimento aumentadas em camadas Download PDFInfo
- Publication number
- BR112019016820B1 BR112019016820B1 BR112019016820-6A BR112019016820A BR112019016820B1 BR 112019016820 B1 BR112019016820 B1 BR 112019016820B1 BR 112019016820 A BR112019016820 A BR 112019016820A BR 112019016820 B1 BR112019016820 B1 BR 112019016820B1
- Authority
- BR
- Brazil
- Prior art keywords
- image
- images
- cinema
- visual objects
- layer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 70
- 230000003190 augmentative effect Effects 0.000 title description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 235
- 239000010410 layer Substances 0.000 claims description 225
- 239000002356 single layer Substances 0.000 claims description 116
- 238000000926 separation method Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 11
- 238000000844 transformation Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 40
- 238000009826 distribution Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000014616 translation Effects 0.000 description 8
- 230000004308 accommodation Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001886 ciliary effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010013082 Discomfort Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Informações espaciais que descrevem localizações espaciais de objetos visuais como em um espaço de imagem tridimensional (3D), conforme representado em uma ou mais imagens não estratificadas de múltiplas visualizações, são acessadas. Com base na informação espacial, uma camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo são geradas a partir de uma ou mais imagens não estratificadas de múltiplas visualizações. Um sinal de vídeo de múltiplas camadas, múltiplas visualizações compreendendo a camada de imagem de cinema e as camadas de imagem do dispositivo é enviado para dispositivos a jusante para renderização.
Description
[001] Este pedido reivindica o benefício de prioridade para o Pedido Provisório US n° 62/484.121, depositado em 11 de abril de 2017, que é incorporado ao presente documento como referência em sua totalidade.
[002] A presente invenção se refere, de modo geral, às experiências de entretenimento tridimensionais (3D) e, em particular, às experiências de entretenimento 3D ampliadas em camadas.
[003] Ao visualizar um objeto do mundo real em uma cena do mundo real, o cérebro humano usa um processo de acomodação para controlar os músculos ciliares, de modo a adaptar cada uma das lentes localizadas atrás das pupilas nos dois olhos a certas distâncias focais (ou potências) para focalizar o objeto do mundo real. Ao mesmo tempo, o cérebro humano usa um processo de vergência, de modo a controlar os músculos extraoculares para convergirem ou divergirem simultaneamente os dois olhos em direção ao objeto do mundo real, a fim de suportar a percepção do objeto do mundo real como um objeto 3D.
[004] A título de comparação, ao visualizar um objeto representado em imagens tridimensionais, o cérebro humano utiliza um processo de acomodação para controlar os músculos ciliares, de modo a fixar as lentes dos olhos do espectador a fim de focalizar uma tela de exibição (por exemplo, cinema, etc.) para suportar a vista clara das imagens 3D renderizadas na tela, independentemente de onde o objeto representado nas imagens 3D deve estar localizado. Ao mesmo tempo, o cérebro humano usa um processo de vergência para controlar os músculos extraoculares para simultaneamente convergirem ou divergirem os olhos em direção ao objeto representado nas imagens 3D, a fim de suportar a percepção do objeto representado como um objeto 3D.
[005] Se o objeto representado é de uma paralaxe negativa relativamente grande e, portanto, é visualmente percebido como relativamente próximo dos olhos na frente da tela, o processo de acomodação ainda tenta fixar os olhos na tela, enquanto o processo de convergência busca convergir ou divergir os olhos para o objeto representado a uma distância relativamente próxima, causando assim um conflito de acomodação e vergência. Esse conflito de acomodação e vergência na visualização de imagens em 3D é propenso a causar sérios desconfortos fisiológicos/doenças; portanto, raramente são usadas paralaxes negativas relativamente grandes, especialmente para experiências de entretenimento do cinema 3D.
[006] As abordagens descritas nesta seção são abordagens que podem ser buscadas, mas não necessariamente abordagens que foram previamente concebidas ou buscadas. Portanto, salvo indicação em contrário, não se deve presumir que qualquer uma das abordagens descritas nesta seção se qualifique como técnica anterior meramente em virtude de sua inclusão nesta seção. Da mesma forma, as questões identificadas com relação a uma ou mais abordagens não devem presumir que foram reconhecidas em qualquer técnica anterior com base nesta seção, a menos que indicado de outra forma.
[007] A presente invenção é ilustrada a título de exemplo, e não como limitação, nas figuras dos desenhos anexos e nos quais números de referência semelhantes se referem a elementos semelhantes e em que:
[008] A figura 1A ilustra exemplos de objetos visuais 3D representados em uma imagem com múltiplas vistas (multi-view); a figura 1B através da figura 1E ilustra um exemplo de espaço 3D, em que um espectador deve visualizar a pluralidade de objetos visuais, como representados na imagem de múltiplas vistas, com uma tela de cinema e um visor de dispositivo (device display) de um dispositivo vestível;
[009] A figura IF ilustra um exemplo de distribuição de pixels 3D derivada de um mapa tensorial; a figura 1G ilustra exemplos de imagens de camada única da imagem de vista (view image) não estratificada gerada com base em um mapa tensorial; figura 1H ilustra um mapa tensorial reconstruído em operações de renderização de imagem;
[010] As figuras 2A à 2C ilustram configurações de exemplo de um sistema de entretenimento ampliado;
[011] A figura 3A e figura 3B ilustram exemplos de ambientes de vários espectadores, nos quais uma tela de cinema serve como uma tela de exibição compartilhada para múltiplos espectadores;
[012] A figura 4A e figura 4B ilustram exemplos de fluxos de processo; e a figura 5 ilustra um exemplo de plataforma de hardware em que um computador ou um dispositivo de computação, conforme descrito no presente documento, pode ser implementado.
[013] Modalidades exemplares, que se relacionam com experiências de entretenimento 3D ampliadas em camadas são descritas no presente documento. Na descrição que se segue, para fins de explicação, são apresentados vários pormenores específicos, de modo a proporcionar uma compreensão completa da presente invenção. Será evidente, no entanto, que a presente invenção pode ser praticada sem estes detalhes específicos. Em outros casos, estruturas e dispositivos bem conhecidos não são descritos em detalhes exaustivos, a fim de evitar oclusão, obscurecimento ou ofuscação desnecessário da presente invenção.
[014] Modalidades exemplares são descritas no presente documento de acordo com a estrutura que se segue: 1. VISAO GERAL 2. EXPERIÊNCIA DE ENTRETENIMENTO AMPLIADA 3. GERAÇÃO DE IMAGEM EM CAMADAS 4. MAPA DO TENSOR 5. CODIFICADOR DE IMAGEM EM CAMADAS E SISTEMA DE ENTRETENIMENTO DE AMPLIADO 6. FLUXOS DE PROCESSO EXEMPLAR 7. VISTA GERAL DOS MECANISMOS DE IMPLEMENTAÇÃO - HARDWARE 8. EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DIVERSOS 1. VISAO GERAL
[015] Esta vista geral apresenta uma descrição básica de alguns aspectos de uma modalidade exemplificativa da presente invenção. Deve ser observado que esta vista geral não é um resumo extenso ou exaustivo de aspectos da modalidade exemplificativa. Além disso, deve ser notado que esta vista geral não se destina a ser entendida como identificando quaisquer aspectos ou elementos particularmente significativos da modalidade exemplar, nem como delineando qualquer âmbito da modalidade exemplificativa em particular, nem a invenção em geral. Esta vista geral apresenta, apenas, alguns conceitos que se relacionam com a modalidade exemplar em um formato condensado e simplificado, e deve ser entendida como meramente um prelúdio conceitual para uma descrição mais detalhada de modalidades exemplares que seguem abaixo. Deve ser observado que, embora as modalidades separadas sejam discutidas no presente documento, qualquer combinação de modalidades e/ou modalidades parciais discutidas no presente documento podem ser combinadas para formar modalidades adicionais.
[016] As técnicas descritas no presente documento podem ser usadas com tecnologias 3D para fornecer experiências de entretenimento ampliadas, em que um espectador pode usar uma combinação de um visor compartilhado e um visor de dispositivo individual do dispositivo vestível do espectador, para exibir imagens que retratam objetos 3D em um espaço de imagem unificado. Como exemplo, mas não como limitação, a exibição compartilhada pode ser uma tela de cinema, como uma associada a qualquer um dentre: Dolby® 3D, RealD, 3D com base em polarização linear, 3D com base em polarização circular, 3D com base em separação espacial espectral etc. O visor do dispositivo vestível pode ser um visor móvel em relação ao visor compartilhado, como uma associado a um projetor de imagem, um visor AR, um visor HoloLens, um visor de Magic Leap, um visor de Realidade Mista (MR), um visor tensor, um visor volumétrico, um visor de campo de luz (LF), um visor Immy, um visor Meta, um par relativamente simples de óculos AR, um visor com qualquer um em uma ampla gama de capacidades de superar o conflito de acomodação- vergência, etc. Exemplos de dispositivos vestíveis e visores de dispositivos podem ser encontrados no Pedido de Patente US Número 15/945.237 "AUGMENTED 3D ENTERTAINMENT SYSTEMS" de Ajit Ninan e Neil Mammen, depositado em 4 de abril de 2018, cujo conteúdo total é incorporado como referência como se estivesse totalmente estabelecido neste documento.
[017] Imagens de cinema 2D ou 3D podem ser exibidas na tela do cinema. Um espectador que esteja assistindo às imagens do cinema pode ver simultaneamente (ou perceber visualmente) objetos 3D adicionais ou informações adicionais de profundidade 3D, em imagens de dispositivos renderizadas nas telas dos dispositivos. Alguns dos objetos 3D adicionais representados nas imagens do dispositivo podem parecer estar fora da tela do cinema na frente do espectador. O espectador pode rastrear qualquer um desses objetos 3D como se esse objeto 3D estivesse realmente presente em um espaço 3D (físico), no qual o espectador está localizado. À medida que o espectador se desloca ao redor do objeto 3D, o espectador pode ver detalhes visuais anteriormente oclusos do objeto 3D com uma dimensão adicionada/ampliada ou profundidade de realismo. Assim, através da combinação das imagens do dispositivo e das imagens do cinema, o espectador pode obter uma sensação (por exemplo, psicovisual, psicofísica, etc.) do objeto flutuando ao ver uma paralaxe diferente em resposta aos movimentos da cabeça do espectador.
[018] O visor do dispositivo pode ser configurado para estar virtual ou fisicamente localizado relativamente próximo do espectador em um ou mais planos de imagem. Assim, mesmo quando o espectador está visualizando os objetos 3D representados nas imagens do dispositivo que podem estar localizados relativamente próximos ao espectador, em comparação com os objetos representados nas imagens de cinema, os objetos 3D representados nas imagens do dispositivo ainda apresentam paralaxe positiva em relação ao visor do dispositivo (ou os planos de imagem associados ao visor do dispositivo) nos quais as imagens do dispositivo são renderizadas. Assim, o conflito de acomodação-convergência que seria causado sob outras abordagens pode ser evitado ou muito melhorado com as técnicas descritas no presente documento. O visor do dispositivo pode exibir ou projetar imagens de exibição do dispositivo em um único plano de imagem de uma única distância ou em vários planos de imagem de várias distâncias diferentes (por exemplo, por meio de multiplexação por divisão de tempo, etc.) na frente do espectador. Essas distâncias dos planos de imagem podem ser fixas ou ajustáveis automaticamente. Exemplos de visores de dispositivos com plano (s) de imagem de distância (s) autoajustável podem ser encontrados no Pedido de Patente US número 15/798,274 intitulado "EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES" depositado em 30 outubro 2017, o conteúdo total do mesmo sendo incorporado como referência ao presente documento.
[019] Assim, um dispositivo vestível de acordo com técnicas como descritas no presente documento oferece ao espectador pelo menos dois planos de imagem de diferentes profundidades, em que as imagens de cinema e do dispositivo são renderizadas de forma síncrona. Um primeiro plano de imagem dos pelo menos dois planos de imagem corresponde ao da tela de cinema, enquanto um ou mais segundos planos de imagem dos pelo menos dois planos de imagem correspondem aos do visor do dispositivo.
[020] Os objetos visuais representados em imagens não estratificadas (unlayered) de múltiplas vistas (por exemplo, pré-camadas, não estratificadas, monolíticas, unitárias, etc.) podem estar localizados virtualmente em várias localizações espaciais em um espaço de imagem 3D representado nas imagens com múltiplas vistas. Como empregado no presente documento, uma imagem não estratificada com múltiplas vistas se refere a uma imagem com múltiplas vistas, à qual as operações de geração de imagens em camadas devem ser aplicadas.
[021] Com base nas localizações espaciais, os objetos visuais representados nas imagens não visualizadas de múltiplas vistas podem ser divididos em diferentes camadas de imagem. Para cada imagem não em camada de múltiplas vistas, cada uma das camadas de imagem compreende imagens de camada única representando um subconjunto dos objetos visuais.
[022] Entre as diferentes camadas de imagem, uma camada de imagem de cinema pode compreender imagens de camada única representando um subconjunto de objetos visuais em imagens não estratificadas de múltiplas vistas que estão relativamente longe de um espectador em um local de referência espacial como aqueles próximos ou atrás da tela de cinema. Uma ou mais camadas de imagem de dispositivo podem compreender imagens de camada única representando um ou mais subconjuntos de objetos visuais nas imagens não estratificadas de múltiplas vistas que estão relativamente próximas do espectador na localização espacial de referência, como aquelas que aparentam ser exibidas na frente do espectador fora da tela do cinema.
[023] As imagens de camada única na camada de imagem de cinema podem ser usadas para derivar as imagens da tela de cinema a serem renderizadas na tela de cinema, enquanto as imagens de camada única nas camadas de imagem do dispositivo podem ser usadas para derivar as imagens de exibição do dispositivo que devem ser renderizados com o visor do dispositivo vestível. O espaço da imagem 3D pode ser ancorado ou projetado no espaço físico 3D usando a parte do espaço da imagem 3D representada nas imagens da tela do cinema renderizadas na tela do cinema. As outras porções do espaço de imagem 3D representadas nas imagens de exibição do dispositivo podem ser transformadas espacialmente para se unirem perfeitamente à porção do espaço de imagem 3D representada nas imagens de tela de cinema. Diferentes transformações espaciais podem ser aplicadas a diferentes dispositivos vestíveis, dependendo das respectivas localizações espaciais e/ou direções espaciais dos dispositivos vestíveis, de modo que as outras partes do espaço da imagem 3D, como representadas individualmente nos diferentes dispositivos vestíveis, possam ser unidas com a parte do espaço da imagem 3D retratada nas imagens da tela do cinema.
[024] Um único renderizador de imagens ou vários renderizadores de imagens podem ser usados para conduzir simultaneamente operações de renderização de imagem de cinema e operações de renderização de imagem do dispositivo. Vários espectadores presentes no espaço 3D (por exemplo, um cinema, uma sala de cinema, etc.) podem registrar seus dispositivos vestíveis com os participantes da imagem para experimentar uma sessão de entretenimento ampliada.
[025] Em algumas modalidades, os dispositivos vestíveis podem ser registrados automaticamente. Por exemplo, um rastreador de dispositivos pode ser implantado no espaço 3D para rastrear/monitorar posições espaciais e direções espaciais dos dispositivos vestíveis no espaço 3D. Além disso, opcional ou alternativamente, o rastreador de dispositivo pode obter informações de ID do dispositivo para os dispositivos vestíveis, como endereços MAC, endereços de rede, endereços IP, etc., por meio de rastreamento/monitoramento de dispositivos remotos. As informações de ID do dispositivo, posições espaciais e direções espaciais dos dispositivos vestíveis podem ser usadas para registrar os dispositivos vestíveis e para liberar imagens de exibição do dispositivo aos dispositivos vestíveis registrados nos endereços MAC, endereços de rede, endereços IP, etc. Exemplos de rastreadores de dispositivos podem ser encontrados no Pedido de Patente US número 15/949.536, com intitulado "PASSIVE MULTI-WEARABLE-DEVICES TRACKING" de Ajit Ninan e Neil Mammen, depositado em 10 de abril de 2018, cujo conteúdo total é deste modo incorporado como referência como se estivesse totalmente estabelecido neste documento.
[026] De acordo com as técnicas descritas no presente documento, múltiplas imagens de visores, derivadas de diferentes camadas de imagem podem ser renderizadas simultaneamente na tela do dispositivo e na tela do cinema, e podem fornecer ou reconstruir uma aparência perfeita do espaço da imagem 3D com todos os objetos visuais localizados na mesma localização espacial, conforme descrito anteriormente nas imagens originais não estratificadas de múltiplas vistas, a partir das quais as imagens de múltiplas vistas de diferentes camadas de imagens são direta ou indiretamente derivadas.
[027] Uma imagem não estratificada de múltiplas vistas pode compreender imagens de vista (view image) não estratificadas (única) que correspondem a diferentes vistas (por exemplo, direções de vistas, campos de vistas, etc.). Com base nas informações de profundidade associadas a cada imagem de vista não estratificadas na imagem não estratificada de múltiplas vistas, um mapa tensorial (por exemplo, da ordem 3, nas dimensões, coordenadas/eixos x, y, z, etc.) pode ser construído em operações de geração de imagem em camadas para gerar uma distribuição de pixels da imagem de vista não estratificada na imagem não estratificada de múltiplas vistas no espaço da imagem 3D. Um pixel na distribuição de pixels gerados a partir do mapa tensorial é representado nas dimensões/coordenadas/eixos x, y e z, (por exemplo, colunas de um quadro de imagem, linha do quadro de imagem, profundidade, etc.). Dado o mapa tensorial, imagens de camada única podem ser geradas, por exemplo, com superfícies de separação de camadas. As operações de geração de camada de imagem com base no mapa tensorial podem ser aplicadas a cada imagem de vista nas imagens de vistas, na imagem não estratificada de múltiplas vistas para gerar imagens de camada única para cada imagem de vista em diferentes camadas de imagem.
[028] Mapas tensoriais também podem ser usados em operações de renderização de imagens. Por exemplo, quando as imagens de camada única são usadas para gerar imagens de exibição para renderização com um dispositivo vestível de um espectador, as imagens de camada única ou as imagens de exibição podem ser transformadas espacialmente, com base na posição espacial real e na direção espacial real do dispositivo vestível por translação, rotação, dimensionamento, etc.
[029] Imagens de tela de cinema geradas a partir de imagens de camada única na camada de imagem de cinema podem ser usadas com informações de profundidade para construir uma parte de um mapa tensorial que corresponde a uma parte do espaço de imagem 3D. Imagens de exibição de dispositivo geradas a partir de imagens de camada única em uma ou mais camadas de imagem de dispositivo podem ser usadas com informações de profundidade para construir outras partes do espaço de imagem 3D. As imagens de exibição do dispositivo podem ser geradas individualmente para um dispositivo vestível, com base em uma posição espacial específica e/ou uma direção espacial específica do dispositivo vestível com restrições que outras partes do mapa tensorial construídas a partir do dispositivo exibem imagens perfeitamente adjacentes à porção do mesmo mapa tensorial construído a partir das imagens de exibição do cinema. Assim, de acordo com as técnicas como descritas no presente documento, um espaço de imagem 3D como representado pela combinação das imagens de tela de cinema e as imagens de exibição de dispositivo reproduzem correta ou fielmente o espaço de imagem 3D como originalmente representado na imagem não estratificada de múltiplas vistas.
[030] Modalidades exemplares descritas no presente documento se referem à geração de camadas de imagem. Informações espaciais que descrevem localizações espaciais de uma pluralidade de objetos visuais como em um espaço de imagem tridimensional (3D), conforme representado em uma ou mais imagens não estratificadas de múltiplas vistas, são acessadas. Cada uma ou mais das imagens não estratificadas de múltiplas vistas compreende uma pluralidade de imagens não estratificadas de vista única que correspondem a uma pluralidade de direções de vistas. Com base nas informações espaciais que descrevem as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D, conforme representado em uma ou mais imagens não estratificadas de múltiplas vistas, realizando: geração a partir de uma ou mais imagens não estratificadas de múltiplas vistas, um camada de imagem de cinema compreendendo uma ou mais imagens de cinema de camada única representando um primeiro subconjunto apropriado de um ou mais objetos visuais na pluralidade de objetos visuais; geração, a partir de uma ou mais imagens não estratificadas de múltiplas vistas, de uma ou mais camadas de imagem de dispositivo, cada uma compreendendo uma ou mais imagens de dispositivo de camada única representando um ou mais subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais ; etc. Um sinal de vídeo de múltiplas vistas de múltiplas camadas compreendendo uma ou mais imagens de cinema de camada única na camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo é enviado para um ou mais dispositivos a jusante para renderização.
[031] Modalidades exemplares descritas no presente documento se referem à renderização de imagens de tela de cinema e imagens de exibição de dispositivo geradas a partir de camadas de imagem. É recebido um sinal de vídeo de múltiplas camadas de múltiplas vistas compreendendo uma ou mais imagens de cinema de camada única em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo. As imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo foram previamente derivadas de uma ou mais imagens não estratificadas de múltiplas vistas. A uma ou mais imagens de dispositivo ilustram de camada única são recuperadas de uma ou mais camadas de imagem de dispositivo do sinal de vídeo de múltiplas vistas de múltiplas camadas. A uma ou mais imagens de cinema de camada única representam um primeiro subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais, conforme originalmente representado por uma ou mais imagens não estratificadas de múltiplas vistas. As imagens de um ou mais dispositivos de camada única são recuperadas a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo de múltiplas vistas de múltiplas camadas. As imagens de um ou mais dispositivos representam um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais, como originalmente representados por uma ou mais imagens não estratificadas de múltiplas vistas. O primeiro subconjunto apropriado de objetos visuais, tal como representado em uma ou mais primeiras imagens de única camada com múltiplas vistas, é levado a renderizar a um espectador em uma tela de cinema em um espaço 3D. O um ou mais segundos subconjuntos apropriados de objetos visuais, conforme representado na uma ou mais segundas imagens de camada única de múltiplas vistas, são levados a renderização concorrentemente ao espectador em uma tela de exibição de dispositivo no espaço 3D. O primeiro subconjunto apropriado de objetos visuais, conforme exibido na tela de cinema, e um ou mais segundos subconjuntos apropriados de objetos visuais, conforme renderizados no visor de dispositivo coletivo, representam a pluralidade de objetos visuais localizados nos mesmos locais espaciais em um espaço de imagem 3D. originalmente representado por uma ou mais imagens não estratificadas de múltiplas vistas. Informações espaciais descrevendo as localizações espaciais no espaço da imagem 3D, em que a pluralidade de objetos visuais está localizada foi usada anteriormente para dividir a pluralidade de objetos visuais, como originalmente representados, por uma ou mais imagens não estratificadas com múltiplas vistas, na camada de imagem do cinema. e uma ou mais camadas de imagem do dispositivo.
[032] Em algumas modalidades exemplares, mecanismos como descritos no presente documento formam uma parte de um sistema de processamento de mídia, incluindo mas não limitado a qualquer um dentre: servidor com base em nuvem, dispositivo móvel, sistema de realidade virtual, sistema de realidade ampliada, dispositivo de exibição head-up (head-up display), sistema tipo CAVE, visor de parede, dispositivo de videogame, dispositivo de exibição, media player, servidor de mídia, sistema de produção de mídia, sistemas de câmera, sistemas com base doméstica, dispositivos de comunicação, sistema de processamento de vídeo, sistema codec de vídeo, sistema de estúdio, servidor de streaming, sistema de serviço de conteúdo com base em nuvem, um dispositivo portátil, máquina de jogo, televisão, cinema, computador portátil, computador netbook, computador tablet, radiotelefone celular, leitor de livros eletrônicos, terminal de ponto de venda, computador desktop, estação de trabalho de computador, servidor de computador, quiosque de computador ou vários outros tipos de terminais e unidades de processamento de mídia.
[033] Várias modificações às modalidades preferidas e os princípios e características genéricos descritos no presente documento serão facilmente evidentes aos versados na técnica. Assim, a divulgação não se destina a ser limitada às modalidades mostradas, mas deve estar de acordo com o escopo mais amplo consistente com os princípios e características descritos no presente documento.
[034] Em algumas modalidades exemplares, as técnicas descritas no presente documento podem ser utilizadas para apresentar conteúdo de imagem integrada (por exemplo, 3D, múltiplas vistas, etc.) com exibições compartilhadas (por exemplo, telas de cinema, etc.) e visores de dispositivos de dispositivos vestíveis para aumentar/melhorar as experiências de entretenimento dos espectadores. Ao visualizar o conteúdo da imagem de cinema em uma tela de cinema, o espectador pode visualizar, simultaneamente, o conteúdo da imagem do dispositivo renderizado com uma tela de exibição de dispositivo vestível usado pelo espectador. O conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo, que pode ser derivado de imagens não estratificadas (unlayered images) de múltiplas vistas, apresentam coletivamente todos os objetos visuais originalmente representados nas mesmas imagens não estratificadas visualizadas de múltiplas vistas.
[035] O dispositivo vestível e dispositivo visor que o acompanha representam um acréscimo a uma tela de cinema, uma tela de entretenimento plana, como uma TV, etc. Por exemplo, o dispositivo vestível pode ser um par de óculos AR usado pelo espectador. O dispositivo vestível pode implementar tecnologias de separação de olho esquerdo e direito para visualizar conteúdo 3D na tela do cinema. Ao mesmo tempo, o dispositivo vestível (ou dispositivos de imagem com o mesmo) pode renderizar o conteúdo da imagem do dispositivo de forma síncrona com a renderização de conteúdo de imagem de cinema 2D ou 3D na tela de cinema. Assim, o dispositivo vestível pode adicionar uma nova dimensão ou um novo intervalo de profundidade à dimensão ou intervalo de profundidade que, de outro modo, poderia ser fornecido apenas pela tela de cinema.
[036] No caso de conteúdo de imagem de cinema 3D ser renderizado na tela do cinema, o conteúdo da imagem do dispositivo renderizado no dispositivo vestível pode ser um conteúdo de imagem do dispositivo 3D. Em algumas modalidades, o conteúdo da imagem do dispositivo 3D tal como apresentado pelo dispositivo vestível (por exemplo, essencialmente, de forma substancial, parcialmente, etc.) foca em objetos visuais entre o espectador e a tela de cinema. Tais porções de conteúdo de imagem 3D seriam de paralaxe e profundidade negativa se renderizadas na tela de cinema. A título de comparação, nas técnicas descritas no presente documento, as porções de conteúdo da imagem 3D entre o espectador e a tela de cinema podem ser exibidas pelo dispositivo vestível com paralaxe e profundidade positivas. Assim, uma transição bastante confortável pode ser fornecida ao espectador entre os objetos visuais de paralaxe positiva, conforme representados na tela de cinema, e os objetos visuais de paralaxe também positiva, conforme representados pelo dispositivo vestível.
[037] No caso do conteúdo de imagem de cinema 2D sendo renderizado na tela do cinema, o conteúdo da imagem do dispositivo renderizado nos óculos AR pode ser um conteúdo de imagem de dispositivo 3D que complementa o conteúdo da imagem de cinema 2D. O conteúdo da imagem do dispositivo 3D renderizado pelo dispositivo vestível pode (por exemplo, principalmente, de forma substancial, parcialmente, etc.) se concentrar nas partes do conteúdo da imagem 3D no conteúdo geral da imagem que representa objetos visuais como objetos 3D entre o espectador e a tela de cinema e, opcionalmente, atrás da tela de cinema em relação ao espectador, com oclusões e/ou não oclusões apropriadas de detalhes 3D, dependendo das posições espaciais e/ou direções espaciais do dispositivo vestível. Algumas dessas porções de conteúdo de imagem 3D seriam de paralaxe e profundidade negativas se renderizadas na tela de cinema. A título de comparação, de acordo com as técnicas descritas no presente documento, todas as porções de conteúdo de imagem 3D entre o espectador e a tela de cinema e mesmo atrás da tela de cinema podem ser exibidas pelos óculos AR com paralaxe e profundidade positivas. Assim, uma transição amplamente confortável e sem interrupções pode ser fornecida ao espectador quando o espectador rastreia objetos visuais como renderizados na exibição do cinema e como renderizados com o dispositivo vestível.
[038] Em contraste com outras abordagens que limitam objetos visuais a uma profundidade muito rasa na frente da tela de cinema ou que tentam aumentar a profundidade exibindo objetos visuais com paralaxe negativa relativamente grande, a abordagem de acordo com as técnicas descritas no presente documento pode ser usada para exibir objetos visuais com uma profundidade relativamente grande na frente da tela do cinema, sem introduzir uma paralaxe negativa relativamente grande. Assim, as técnicas descritas no presente documento podem fornecer soluções eficazes para prevenir ou resolver o conflito de acomodação-convergência.
[039] Quando apenas a tela de cinema (sem um dispositivo vestível como descrito no presente documento) é usada para renderizar objetos visuais 3D, um objeto visual 3D específico pode passar de trás da tela do cinema para a frente da tela do cinema. Se o objeto visual 3D específico estiver muito longe da tela do cinema, o conteúdo da imagem do cinema talvez não consiga renderizar o objeto visual 3D específico, pois o objeto visual 3D específico pode sair de uma faixa sólida de ângulo de vista suportada pela tela do cinema.
[040] Em comparação, de acordo com as técnicas como descritas no presente documento, o objeto visual 3D específico pode ser exibido ou renderizado com o dispositivo vestível para suportar uma faixa de ângulo de vista muito maior do que a que poderia de outra forma ser suportada apenas pela tela de cinema. Assim, o espectador pode continuar a rastrear visualmente o objeto visual 3D específico dentro do intervalo de ângulo de vista muito maior sem ser limitado ou restringido ao ângulo sólido suportado apenas pela tela de cinema.
[041] As técnicas descritas no presente documento podem ser implementadas com qualquer combinação de uma tela de exibição compartilhada em uma ampla variedade de exibições compartilhadas e um dispositivo vestível em uma ampla variedade de dispositivos vestíveis. Em vez de exibir imagens 3D com um único visor compartilhado ou um único visor dedicado, vários visores podem ser usados simultaneamente para exibir várias camadas de imagens geradas a partir do mesmo conteúdo de imagem com múltiplas vistas. Cada uma dessas camadas de imagem pode ser renderizada para representar objetos visuais de paralaxe ou profundidade positiva (ou não maior do que uma quantidade tolerável de paralaxe negativa). Exemplos de dispositivos vestíveis incluem, mas não necessariamente limitados a, apenas alguns ou todos: um projetor de imagem, um visor AR, um visor HoloLens®, um visor Magic Leap®, um visor de Realidade Mista (MR), um display tensorial, um visor volumétrico, um visor de campo de luz (LF), um visor Immy, um visor Meta, um par relativamente simples de óculos AR, um visor com qualquer um em uma ampla gama de recursos para superar o conflito de acomodação-vergência, etc.
[042] O dispositivo vestível pode ser um sistema AR relativamente simples que projeta, foca em um único plano de imagem (por exemplo, uma tela de exibição virtual, um exibição real, uma tela de exibição LF, etc.) de uma distância relativamente próxima ou ponto de acomodação. O espectador pode ter opções para usar o dispositivo vestível, de modo a evitar paralaxe negativa e/ou visualizar conteúdo de imagem 3D adicional ou objetos visuais de forma síncrona, além de conteúdo de imagem 2D ou 3D ou objetos visuais apresentados com a tela de cinema em uma faixa de profundidade suportada por tela de cinema. Assim, experiências de v diferenciadas podem ser fornecidas aos espectadores e levar a mente a pensar nas múltiplas camadas de imagem renderizadas em vários visores com várias profundidades, como, na verdade, o conteúdo geral da imagem renderizada em uma única exibição de uma poderosa faixa de profundidade. O cérebro humano pode prontamente aceitar (ou pode ser facilmente adaptado) essas percepções, pois as experiências de entretenimento ampliadas, conforme descritas no presente documento, são fisiologicamente mais confortáveis do que uma experiência visual com paralaxe negativa relativamente grande e representam um limite de aceitação psicológica menor que um limite de aceitação psicológica representado pela experiência de visualização com a paralaxe negativa relativamente grande.
[043] A figura 1A ilustra exemplos de objetos visuais 3D (por exemplo, 118, 120, etc.) representados uma imagem não estratificada de múltiplas vistas. Uma imagem não estratificada de múltiplas vistas pode compreender uma pluralidade de imagens de vistas não estratificadas (simples) que corresponde a uma pluralidade de vistas diferentes (por exemplo, direções de vista, campos de vistas, etc.). Cada imagem de vista não estratificada na pluralidade de imagens de vistas não estratificadas da imagem não estratificadas de múltiplas vistas pode corresponder a uma vista respectiva na pluralidade de vistas diferentes. Por exemplo, uma imagem não estratificada de múltiplas vistas pode compreender uma primeira imagem de vista não estratificada, que corresponde a uma vista esquerda (por exemplo, para ser renderizada no olho esquerdo de um espectador, etc.) e uma segunda imagem de vista não estratificadas, que corresponde a uma vista direita (por exemplo, para ser renderizada para o olho direito do espectador, etc.).
[044] Em algumas modalidades, a imagem não estratificada de múltiplas vistas representa uma pluralidade de objetos visuais (3D) em um espaço de imagem 3D 196. Por simplicidade, apenas dois objetos visuais (3D) (120 e 118) estão no espaço de imagem 3D (196), como ilustrado na figura 1A. Deve ser observado, no entanto, que uma imagem não estratificada de múltiplas vistas, tal como descrita no presente documento, pode representar qualquer número de objetos visuais (3D). Exemplos de objetos visuais podem incluir, mas não estão necessariamente limitados aos humanos, avatares, figuras geradas por computador, animais, plantas, montanhas, rios, céu, casas, parques, pontes, aviões, carros, navios ou outros objetos visuais que podem ser renderizados e percebidos pelo sistema de vista humana, etc.
[045] A imagem não estratificada de múltiplas vistas pode ser adquirida/capturada/composta a partir de uma cena 3D física ou virtual por qualquer combinação de uma grande variedade de dispositivos de captura, que podem estar física ou virtualmente presentes na cena 3D. Em algumas modalidades, um modelo de objeto visual pode ser usado para renderizar ou gerar algumas ou todas as partes da imagem na imagem não estratificada de múltiplas vistas. Os dispositivos de captura de exemplo incluem, mas não estão limitados às câmeras de estúdio, câmeras com múltiplas vistas, câmeras de campo de luz, câmeras com elementos de microlentes, câmeras HDR, câmeras de celular, câmeras integradas a dispositivos de computação, câmeras que operam em conjunto com dispositivos de computação, câmeras não profissionais, câmeras profissionais, câmeras virtuais, geradores de imagem de computador, renderizadores de imagem de computador, geradores de computação gráfica, animadores de computador, geradores de imagem virtual, etc. Deve-se notar que a cena 3D da qual a imagem não estratificada de múltiplas vistas é derivada pode ser inteiramente uma cena 3D física, inteiramente uma cena 3D virtual, ou uma combinação de uma ou mais cenas 3D físicas e/ou um ou mais cenas 3D virtuais.
[046] O espaço da imagem 3D (196) pode representar uma parte da cena 3D da qual a imagem não estratificada de múltiplas vistas é adquirida/capturada/composta. Exemplos do espaço da imagem 3D (196) podem incluir, mas não são necessariamente limitados a apenas uma dentre: a cena 3D inteira, uma ou mais partes salientes da cena 3D, uma ou mais partes detalhadas da cena 3D, uma cena relativamente grande, relativamente pequena e semelhante.
[047] A figura 1B ilustra um exemplo de espaço 3D 126, no qual um espectador está localizado para visualizar a pluralidade de objetos visuais no espaço de imagem 3D (196) através de imagens renderizadas com telas (de imagem) como um visor de cinema 104, um visor de dispositivo 116 de um dispositivo vestível usado pelo espectador, etc.
[048] Exemplos do espaço 3D (126) podem incluir, mas não estão necessariamente limitados a apenas um: um espaço 3D de referência, um espaço físico, um cinema, um teatro, uma sala de concertos, um auditório, um parque de diversões, um bar, uma casa, uma sala, uma sala de exposições, um local, um bar, um navio, um avião, etc. O espaço 3D (126) pode ser um espaço tridimensional de posições espaciais o qual pode ser representado em um sistema de coordenadas espaciais tridimensionais (por exemplo, um sistema de coordenadas de referência, um sistema de coordenadas mundiais, etc.) estacionário em relação ao espaço 3D (126).
[049] A título de ilustração, mas não de limitação, o sistema de coordenadas espaciais tridimensionais estacionárias usado para representar posições espaciais no espaço 3D (126) pode ser um sistema de coordenadas cartesiano de referência representado no canto inferior esquerdo do espaço 3D (126). O sistema de coordenadas cartesianas de referência pode compreender uma origem de sistema de coordenadas em uma posição espacial de referência indicada como "p", como mostrado na figura 1B. A posição espacial de referência "p" pode ser selecionada de qualquer posição espacial estacionária para o espaço 3D (126).
[050] O espaço de imagem 3D (196) representado na imagem não estratificada de múltiplas vistas pode ou não ser do mesmo tamanho (ou coextensiva) que o do espaço 3D (126), no qual os mostradores são usados para renderizar a pluralidade de objetos visuais na imagem não estratificada de múltiplas vistas. Dependendo do conteúdo específico da imagem (por exemplo, paisagem ampla, sala pequena, etc.) ou exibir aplicativos relacionados à imagem não estratificada de múltiplas vistas, o espaço da imagem 3D (196) como renderizado pode ser (por exemplo, muito, etc.) maior ou menor que o espaço 3D (126), no qual o espectador (112-0) e os visores (por exemplo, 104, 116, etc.) estão localizados.
[051] Renderização da pluralidade de objetos visuais sob técnicas como descrito no presente documento permite que o espectador (112-0) tenha a experiência de usuário de estar presente no espaço de imagem 3D (196), como se o espaço 3D (126), no qual o espectador (112- 0) está localizado tivesse sido mesclado, fundido ou projetado no espaço da imagem 3D (196), ou como se os objetos visuais (por exemplo, 118, 120, etc.) fossem objetos 3D reais presentes, ou como parte do espaço 3D (126).
[052] Em algumas modalidades, um sistema de entretenimento ampliado implementando algumas ou todas as técnicas como descritas no presente documento realiza imagens de camada única em uma pluralidade de camadas de imagem que foram previamente geradas por um dispositivo a montante, tal como, um codificador de imagem em camadas (por exemplo, 180 da figura 2A, etc.), etc., a partir da imagem não estratificada de múltiplas vistas, gera imagens de tela de cinema e imagens de exibição de dispositivo a partir das imagens de camada única recebidas e processa as imagens de tela de cinema e o dispositivo exibe imagens em vários visores (por exemplo, 104, 116, etc.) no espaço 3D (126), incluindo visores de dispositivos de dispositivos vestíveis usados pelos telespectadores, em vez de renderizar diretamente a imagem não estratificada com múltiplas vistas (ou imagens não alinhadas de vista única) em um único monitor no espaço 3D (126).
[053] Em algumas modalidades, o dispositivo a montante ou o codificador de imagem em camadas (180 da figura 2A) acessa informações espaciais que descrevem localizações espaciais de cada objeto visual na pluralidade de objetos visuais no espaço de imagem 3D (196), conforme ilustrado na imagem não estratificadas de múltiplas vistas. Exemplos da informação espacial podem incluir, mas não são necessariamente limitados a, apenas um ou mais dentre: imagem de profundidade, informação de disparidade, informação epipolar, malha 3D, etc.
[054] Com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D (196), como representado em uma ou mais imagens não estratificadas de múltiplas vistas, o codificador de imagem em camadas (180 da figura 2A) gera a pluralidade de camadas de imagem a partir da imagem não estratificada de múltiplas vistas.
[055] Cada camada de imagem na pluralidade de camadas de imagem compreende uma ou mais imagens de camada única com múltiplas vistas representando um subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais (por exemplo, originalmente, anteriormente, etc.) ilustrados na imagem não estratificadas de múltiplas vistas.
[056] Qualquer combinação de uma variedade de fatores seletivos, limites de relações espaciais, critérios de relação espacial, etc., pode ser usada para selecionar objetos visuais, dentre a pluralidade de objetos visuais representados na imagem não estratificada de múltiplas vistas, para ser incluída em um determinado objeto. camada de imagem na pluralidade de camadas de imagem. Exemplos de fatores seletivos, limites de relações espaciais, critérios de relação espacial etc. incluem, mas não se limitam necessariamente a, apenas uma ou mais dos seguintes: localizações espaciais de vistas no espaço 3D (126); localizações espaciais do espectador (112-0) no espaço 3D (126); posições espaciais de objetos visuais em relação às localizações espaciais das exibições ou do espectador (1120); direções espaciais de objetos visuais no espaço 3D (126) em relação ao espectador (112-0); importância artística relativa de objetos visuais; propriedades visuais (por exemplo, brilho, cores, etc.) de objetos visuais; características de movimento (por exemplo, objetos em movimento, objetos estacionários, fundo, etc.) de objetos visuais; localizações espaciais passadas de objetos visuais; direções espaciais passadas de objetos visuais; etc.
[057] A título de exemplo, mas não de limitação, a pluralidade de camadas de imagem pode ser gerada a partir da imagem não estratificada de múltiplas vistas, com base nas profundidades dos objetos visuais representados na imagem não estratificada de múltiplas vistas. Como ilustrado na figura 1B, o espaço de imagem 3D (196) da imagem não estratificada de múltiplas vistas pode ser projetado ou sobreposto no espaço 3D (126) em relação ao espectador (por exemplo, referência, real, etc.) (112-0) localizado em a (por exemplo, referência, etc.) posição espacial 192 estacionária no espaço 3D (126). A profundidade dos objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada de múltiplas vistas pode ser medida em relação à posição espacial de referência (192) do espectador (112-0) ao longo de uma direção espacial de referência do espectador (112- 0) Esta direção espacial de referência do espectador (112-0) pode ser determinada como uma direção de vista frontal de um dispositivo vestível usado pelo espectador (112-0) - cuja direção de vista frontal se origina da posição espacial de referência (192) do espectador (112-0) para a tela de cinema (104) e intercepta- se perpendicularmente na tela de cinema (104).
[058] A tela de cinema (104) pode ser implantada como uma tela estacionária no espaço 3D (126), por exemplo, para ser visualizada por um único espectador ou múltiplos espectadores. O mostrador de dispositivo (116) pode ser um mostrador específico entre visores individuais de um dispositivo vestível individual usado pelos espectadores, incluindo o espectador (112-0), e pode não ser necessariamente estacionário no espaço 3D (126).
[059] De acordo com as técnicas descritas no presente documento, tanto o visor de dispositivo (116) do dispositivo vestível usado pelo espectador (112-0) e a tela de cinema (104) que é compartilhada entre os espectadores são usados para tornar as imagens de camada única na pluralidade de camadas de imagem geradas a partir da imagem não estratificada de múltiplas vistas para o espectador (112-0).
[060] Como ilustrado na figura 1B, o codificador de imagem em camadas pode usar uma superfície de separação de camada 194 para particionar um primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) que estão em ou atrás da superfície de separação de camada (194) em relação ao espectador (112 - 0) em uma camada de imagem de cinema. A camada de imagem de cinema compreende uma pluralidade de primeiras imagens de camada única com múltiplas vistas geradas a partir de porções de imagem, na pluralidade de imagens de vista não divididas da imagem não estratificada de múltiplas vistas, que representam o primeiro subconjunto apropriado de objetos visuais (por exemplo, 118 etc.).
[061] Além disso, o codificador de imagem em camadas pode usar a superfície de separação de camadas (194) para dividir um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) que estão antes da superfície de separação de camadas (194) em relação ao espectador (1120) em uma ou mais camadas de imagem do dispositivo. Cada segundo subconjunto apropriado em um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) corresponde a uma respectiva camada de imagem de dispositivo em uma ou mais camadas de imagem de dispositivo. A respectiva camada de imagem compreende uma respectiva pluralidade de segundas imagens múltiplas camadas de camada única geradas a partir das respectivas porções de imagem, na pluralidade de imagens de vista não estratificadas da imagem não estratificada de múltiplas vistas, que representam cada segundo subconjunto apropriado de objetos visuais (por exemplo , 118, etc.). Assim, uma ou mais camadas de imagem de dispositivo compreendem uma ou mais pluralidades de segundas imagens de múltiplas camadas de múltiplas vistas, geradas a partir de porções de imagem, na pluralidade de imagens de vista não estratificadas da imagem não estratificada de múltiplas vistas, que representam um ou mais segundos subconjunto apropriado de objetos visuais (por exemplo, 118, etc.).
[062] Além de uma superfície de separação de camada, tal como 194 como ilustrado na figura 1B, em algumas modalidades, podem ser utilizadas zero ou mais superfícies adicionais de separação de camadas para dividir uma ou mais camadas de imagem de dispositivo umas das outras. Por exemplo, superfícies adicionais de separação de camadas podem ser usadas para separar ou distinguir um subconjunto de um ou mais subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) em casos em que há vários subconjuntos apropriados de objetos visuais. Em algumas modalidades, um objeto visual (por exemplo, um objeto 3D, etc.) pode abranger mais de uma camada de imagem. Por exemplo, um objeto visual, como um carro, pode ter uma parte do objeto visual, como a parte dianteira do carro em uma camada de imagem do primeiro dispositivo, e outras partes do objeto visual, como a parte de trás do carro em um ou mais camadas de imagem do segundo dispositivo. Adicional, de forma opcional ou alternativamente, um objeto visual como descrito no presente documento pode abranger a camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo.
[063] Como ilustrado na figura 1C, o dispositivo vestível usado pelo espectador (112-0) pode compreender um ou mais visores de dispositivo 116-1, 1162, etc., (ou um único visor de dispositivo com diferentes profundidades de plano de imagem) da posição espacial de referência (192) do espectador (112-0). Imagens de camada única na camada de imagem de cinema, particionadas pela superfície de separação de camadas (194), podem ser usadas para gerar imagens de tela de cinema exibidas na tela de cinema (104). Imagens de camada única em uma dentre uma ou mais camadas de imagem de dispositivo como particionadas adicionalmente pela superfície de separação de camada (194-1) podem ser usadas para gerar imagens de exibição de dispositivo renderizadas/exibidas no visor do dispositivo (116-1). Imagens de camada única no restante de uma ou mais camadas de imagem do dispositivo podem ser usadas para gerar imagens de exibição adicionais renderizadas/exibidas na tela do dispositivo (116-2). As imagens de exibição renderizadas/exibidas nas diferentes profundidades do plano de imagem pode ser renderizada simultaneamente ou renderizada em tempo sequencial em um único tempo de atualização de imagem ou em um único intervalo de quadro de imagem usando multiplexação por divisão de tempo.
[064] Exemplos de superfícies de separação de camadas, como descritas no presente documento, podem incluir, mas não estão necessariamente limitadas a, apenas, quaisquer de: planos, superfícies curvas, formas regulares, formas irregulares, etc.
[065] Em algumas modalidades, uma posição espacial da superfície de separação de camadas (194) é ajustada em relação a tela de cinema (104). Em um exemplo, a superfície de separação de camadas (194) pode coincidir com a tela de cinema (104). Em outro exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica por trás (como ilustrado na figura 1B) ou na frente de (como ilustrado na figura 1D) da tela de cinema (104). A distância específica da superfície de separação de camadas (194) em relação a tela de cinema (104) pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, distância zero, um metro de distância, cinco metros de distância, fração de profundidade ou distância entre a tela de cinema (104) e a posição espacial (192) do espectador (112-0), etc. Assim, a distância específica da superfície de separação de camadas (194) para a tela de cinema (104) pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada de múltiplas vistas, em diferentes camadas de imagem.
[066] Em algumas modalidades, uma posição espacial da superfície de separação de camadas (194) é definida em relação ao espectador (112-0) na posição espacial (referência) (192). Por exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica do espectador (112-0). A distância específica da superfície de separação de camadas (194) para o espectador (112-0) pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, a cinco metros de distância, a 20 metros de distância, a 50 metros de distância etc. Assim, a distância específica da superfície de separação de camadas (194) para o espectador (112-0) pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada, de múltiplas vistas diferentes.
[067] Em algumas modalidades, uma posição espacial da superfície de separação da camada (194) é estabelecida em relação a outra localização espacial diferente das do espectador (112-0) na posição espacial (referência) (192) e a tela de cinema (104). Por exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica da origem "p" do sistema de coordenadas de referência. A distância específica da superfície de separação de camadas (194) à origem "p" pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, distância zero, um metro de distância, cinco metros de distância, 20 metros de distância, a 50 metros de distância, etc. Assim, a distância específica da superfície de separação de camadas (194) até a origem "p" pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada, de múltiplas vistas em diferentes camadas de imagem.
[068] Em algumas modalidades, como ilustrado na figura 1E, o codificador de imagem em camadas pode particionar a pluralidade de objetos visuais na imagem não estratificada de múltiplas vistas em camadas de imagem, com base em relações espaciais em referência a entidades presentes física ou virtualmente no espaço 3D (126), sem usar uma superfície de separação de camadas (por exemplo, 194 da figura 1B ou figura 1C, etc.).
[069] Por exemplo, a pluralidade de objetos visuais (por exemplo, 118, 120, etc.) pode ser particionada com base no fato desses objetos visuais atenderem a certos limites (ou critérios) de relação espacial relacionados a um ou mais dentre: a tela de cinema (104), o espectador (112-0) na localização espacial (referência) (192), a origem "p" do sistema de coordenadas de referência, etc., como mostrado na figura IB.
[070] Um primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) que atenda aos limites (ou critérios) de relação espacial específicos relativos à tela de cinema (104) pode ser particionado em uma camada de imagem de cinema. Um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) que não atendem aos limites (ou critérios) de relação espacial específicos relativos a tela de cinema (104) são particionados em uma ou mais camadas de imagem de dispositivo. Os limites (ou critérios) de relação espacial específicos, relativos à tela de cinema (104) podem compreender limites (ou critérios) de relação espacial adicionais que podem ser usados para particionar uma ou mais camadas de imagem de dispositivo uma da outra. Por exemplo, os limites (ou critérios) de relação espacial adicionais podem ser usados para separar ou distinguir um subconjunto de outro subconjunto entre um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.).
[071] Em algumas modalidades, os limites de relação espacial podem compreender um limite de profundidade específico (por exemplo, não mais do que um metro, não mais de dois metros, não mais do que um valor de dimensão espacial definido como um valor relativo para uma dimensão espacial da tela de cinema (104), etc.). O limite de profundidade especifica que todos os objetos visuais atrás de uma profundidade específica da tela do cinema (104) devem ser particionados na camada de imagem do cinema. O limite de profundidade especifica que todos os outros objetos visuais na frente da profundidade específica da tela de cinema (104) devem ser particionados em uma ou mais camadas de imagem do dispositivo. O limite de profundidade pode ser representado por um valor positivo, zero ou um valor negativo da distância específica para a tela de cinema (104).
[072] Além disso, opcional ou alternativamente, um limite espacial diferente, como um limite de paralaxe espacial, um limite de disparidade espacial, etc., pode ser usado em vez ou além do limite de profundidade com a finalidade de selecionar ou particionar a pluralidade de objetos visuais representados na imagem não estratificada de múltiplas vistas em diferentes camadas de imagem.
[073] Por exemplo, a tela de cinema (104) pode representar um plano/superfície de paralaxe zero em operações de renderização de imagens. Quaisquer objetos visuais que fossem representados com imagens de camada única renderizados na tela de cinema (104), como atrás da tela de cinema (104) seriam de paralaxes positivas, ao passo que quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela de cinema (104), à frente da tela de cinema (104), seriam de paralaxes negativas. Em algumas modalidades, os limites de relação espacial podem compreender um limite de paralaxe específico.
[074] O limite de paralaxe especifica que todos os objetos visuais, não menos que uma paralaxe específica, em relação ao plano/superfície de paralaxe zero, como representado pela tela de cinema (104), devem ser particionados na camada de imagem de cinema. O limite de paralaxe especifica que todos os objetos visuais menores do que a paralaxe específica em relação ao plano/superfície de paralaxe zero, conforme representado pela tela de cinema (104), devem ser particionados em uma ou mais camadas de imagem do dispositivo. O limite de paralaxe pode ser representado por um valor positivo, zero ou um valor negativo da paralaxe específica.
[075] Adicional, opcional ou alternativamente, a tela de cinema (104) pode representar um plano/superfície de disparidade zero nas operações de renderização de imagem. Quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela do cinema (104), como atrás da tela do cinema (104) seriam de disparidade positiva, ao passo que quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela de cinema (104), à frente da tela de cinema (104), seria de disparidade negativa.
[076] Em algumas modalidades, os limites de relação espacial podem compreender um limite de disparidade específico. O limite de disparidade especifica que todos os objetos visuais, não menos que uma disparidade específica relativa ao plano/superfície de disparidade zero, como representado pela tela de cinema (104), devem ser particionados na camada de imagem de cinema. O limite de disparidade especifica que todos os objetos visuais menores que a disparidade específica relativa ao plano/superfície de disparidade zero, conforme representado pela tela de cinema (104), devem ser particionados em uma ou mais camadas de imagem de dispositivo. O limite de disparidade pode ser representado por um valor positivo, zero ou um valor negativo da disparidade específica.
[077] Em algumas modalidades, a imagem não revestida de múltiplas vistas pode ser uma imagem não revestida de múltiplas vistas específica em uma pluralidade de imagens não revestidas de múltiplas vistas que constituem uma sequência temporal de tais imagens. A sequência de tempo de imagens não visualizadas com múltiplas vistas pode representar um programa de mídia, um programa de transmissão, um filme, uma sessão de VR, uma sessão de AR, uma sessão de presença remota, um jogo de computador, etc.).
[078] Em algumas modalidades, algumas ou todas as localizações espaciais passadas e/ou futuras de objetos visuais, direções espaciais passadas e/ou futuras dos objetos visuais, características de movimento passadas e/ou futuras dos objetos visuais, associações passadas e/ou futuras de os objetos visuais em camadas de imagem específicas, etc., podem ser utilizadas para determinar se algum destes objetos visuais deve ser particionado em uma camada de imagem específica na pluralidade de camadas de imagem.
[079] Por exemplo, um objeto visual pode ser previamente determinado em uma camada de imagem e, em seguida, movido para locais espaciais, direções espaciais, etc., o que corresponderia a uma camada de imagem diferente. Para reduzir o movimento em que o objeto visual dança rápido demais ou com frequência entre camadas de imagem diferentes em um período de tempo relativamente curto, um ou mais dentre: efeitos/mecanismos de retardo, fatores atenuantes, filtros de suavização, processamento de ruído, etc. podem ser implementados pelo codificador de imagem em camadas para permitir que o objeto visual permaneça em uma camada de imagem específica, como uma camada de imagem anterior, uma camada de imagem atual etc., em vez de ser particionado ou atribuído imediatamente à camada de imagem atual. uma nova camada de imagem, etc. Qualquer um desses efeitos/mecanismos de retardo, fatores de amortecimento, filtros de suavização, processamento de ruído, etc., podem operar em dependência de alguns ou de todos: localizações espaciais passadas e/ou futuras de objetos visuais, direções espaciais passadas e/ou futuras do objetos visuais, características de movimento passadas e/ou futuras dos objetos visuais, participações passadas e/ou futuras/atribuições dos objetos visuais em camadas de imagem específicas, etc.
[080] Além disso, opcional ou alternativamente, a importância artística relativa de objetos visuais, propriedades visuais (por exemplo, brilho, cores, etc.) de objetos visuais, características de movimento (por exemplo, objetos em movimento, objetos estacionários, plano de fundo, etc.) de objetos visuais, etc., também podem ser usadas como fatores de seleção, limites de relações espaciais, critérios de relação espacial, etc., em vez de ou além dos fatores de seleção anteriores, os limites das relações espaciais acima, os critérios de relação espacial acima referidos, etc., como discutido acima.
[081] Em algumas modalidades, o codificador de imagem em camadas pode codificar a pluralidade de camadas de imagem com suas respectivas imagens de camada única em uma imagem de múltiplas vistas em múltiplas camadas. A imagem de múltiplas camadas e múltiplas vistas, juntamente com outra imagem múltiplas camadas e múltiplas vistas gerada a partir de outras imagens não visualizadas com múltiplas vistas, pode ser codificada em um sinal de vídeo de múltiplas camadas múltiplas vistas que é direta ou indiretamente transmitida para um ou vários mais dispositivos a jusante. Exemplos de dispositivos a jusante podem incluir, mas não são necessariamente estão limitados a apenas um dos seguintes: sistemas de entretenimento ampliados para renderizar a imagem com múltiplas vistas em uma representação múltiplas camadas, dispositivos de armazenamento para armazenar a imagem com múltiplas vistas na representação em várias camadas, servidores de streaming de mídia para transmitir a imagem de múltiplas vistas na representação em várias camadas, etc.
[082] Como observado anteriormente, uma imagem não estratificada de múltiplas vistas pode compreender uma pluralidade de imagens de vistas não estratificadas (simples) que corresponde a uma pluralidade de vistas diferentes (por exemplo, direções de vistas, campos de vistas, etc.). Em algumas modalidades, com base na informação de profundidade para cada imagem de vista não estratificada na imagem não estratificada de múltiplas vistas, pode ser construído um mapa tensorial (por exemplo, da ordem 3, nas dimensões, coordenadas/eixos x, y, z, etc.) para gerar uma distribuição de pixels da imagem de vista não estratificada na imagem não estratificada de múltiplas vistas no espaço da imagem 3D. Um pixel na distribuição de pixels gerados a partir do mapa tensorial é representado não apenas nas dimensões/coordenadas/eixos x e y(por exemplo, colunas de um quadro de imagem, fileira do quadro de imagem, etc.), mas também na dimensão /coordenada/eixo z (por exemplo, profundidade, etc.).
[083] A figura 1F ilustra um exemplo de distribuição de pixels 3D 188 de uma imagem de vista não estratificada em uma imagem não estratificada de múltiplas vistas que é derivada de um mapa tensorial. A figura 1G ilustra exemplos de imagens de camada única 176-1 a 176-3 geradas a partir da imagem de vista não estratificada com base na distribuição de pixels 3D (188).
[084] O mapa tensorial pode ser construído em um espaço de imagem 3D (por exemplo, 196, etc.) representado na imagem não estratificada de múltiplas vistas com base em (a) uma distribuição de pixel 2D nas dimensões/coordenadas/eixos x e y como representado no imagem de vista não estratificada e (b) informações de profundidade que indicam (por exemplo, com precisão, aproximadamente, etc.) a dimensão/eixo z de cada pixel na distribuição. Com base no mapa tensorial, a distribuição de pixels 2D na imagem de vista não estratificada pode agora ser representada como a distribuição de pixels 3D (188) no espaço de imagem 3D (196).
[085] Com a distribuição 3D de pixels (188) da imagem não estratificada de múltiplas vistas, podem ser geradas imagens de camada única, por exemplo, com superfícies de separação de camadas. Como exemplo, mas não como limitação, duas superfícies de separação de camadas 194-2 e 194-3 podem ser colocadas no espaço de imagem 3D (196) para separar pixels da distribuição de pixels 3D (188) em três imagens de camada única (176 -1 a 176-3) em três diferentes camadas de imagem.
[086] Como ilustrado na figura 1G, uma primeira distribuição de pixels 3D 188-1 da distribuição de pixels 3D (188), que pode incluir todos os pixels com profundidades do espectador na posição espacial de referência (192) para a primeira superfície de separação de camada (194-2) ao longo da profundidade ou direção z (a direção de vista frontal do espectador), é projetada na primeira imagem de camada única (176-1) que deve ser renderizada com uma tela de exibição de dispositivo vestível em uma primeira profundidade (por exemplo, uma profundidade correspondente a um plano de imagem suportado pelo visor de dispositivo do dispositivo vestível, etc.) de um espectador, na localização espacial de referência (192). Pixels 3D na primeira distribuição de pixel 3D (188-1) podem ser projetados em pixels 2D (por exemplo, 178-1, 178-2, etc.) da primeira imagem de camada única (176-1) com base nas dimensões/coordenadas/eixos x e y dos pixels 3D na primeira distribuição de pixels 3D (188-1).
[087] Uma segunda distribuição de pixels 3D 188-2 da distribuição de pixels 3D (188), que pode incluir todos os pixels com profundidades desde a primeira superfície de separação de camada (194-2) até a segunda superfície de separação de camada (194-3) ao longo a profundidade ou direção z, é projetada na segunda imagem de camada única (176-2) que deve ser renderizada com o visor do dispositivo vestível em uma segunda profundidade (por exemplo, uma profundidade correspondente à primeira superfície de separação de camada (194-2) do espectador, na localização espacial de referência (192). Pixels 3D na segunda distribuição de pixel 3D (188-2) podem ser projetados em pixels 2D (por exemplo, 178-3, 178-4, etc.) da segunda imagem de camada única (176-2) com base nas dimensões/coordenadas/eixos dos pixels 3D na segunda distribuição 3D de pixels (188-2).
[088] Uma terceira distribuição de pixel 3D 188-3 da distribuição de pixel 3D (188), que pode incluir todos os pixels com profundidades atrás da segunda superfície de separação de camada (194-3) ao longo da profundidade ou direção z, é projetada na terceira imagem de camada simples (176-3) que deve ser renderizada com a tela de cinema em uma terceira profundidade (por exemplo, uma profundidade correspondente à tela de cinema do espectador na localização espacial de referência (192). Pixels 3D na terceira distribuição de pixel 3D (188-3) podem ser projetados em pixels 2D (por exemplo, 178-5, 178-6, etc.) da terceira imagem de camada única (176-3) com base nas dimensões/coordenadas/eixos x e y dos pixels 3D na terceira distribuição de pixels 3D (188-3).
[089] Técnicas de geração de camadas de imagem com base em mapas tensoriais podem ser aplicadas a cada imagem de vista na pluralidade de imagens de vista na imagem não estratificada de múltiplas vistas para gerar imagens de camada única para cada imagem de vista, respectivamente. Assim, imagens de camada única em uma pluralidade de camadas de imagem podem ser geradas a partir da imagem não estratificada de múltiplas vistas utilizando estas técnicas de geração de camadas de imagem.
[090] Quando as imagens de camada única são fornecidas a um renderizador de imagem em um sistema de entretenimento ampliado para renderização com um dispositivo vestível de um espectador, as imagens de camada única podem ser transformadas espacialmente com base na posição espacial real e na direção espacial real do dispositivo vestível, dispositivo por translação, rotação, escala, etc. Por exemplo, a primeira imagem de camada única (176-1) (ou uma camada de imagem de cinema) pode ser renderizada em uma tela de cinema, enquanto a segunda e terceira imagens de camada única (176-2 e 176-3) (ou dispositivo) camadas de imagem) podem ser renderizadas com uma tela de exibição de dispositivo de uma tela de exibição vestível.
[091] Um espectador relativamente distante pode ver a primeira imagem de camada única (176-1) como uma imagem relativamente pequena inversamente proporcional à distância entre o espectador relativamente distante e a tela de cinema; assim, a segunda e a terceira imagens de camada única podem ser dimensionadas proporcionalmente para coincidir com os tamanhos ou relações de aspecto da primeira imagem de camada única (176-1), como sendo visualizada pelo espectador relativamente distante. Além disso, uma vez que o espectador relativamente distante pode estar localizado mais para trás de um espectador em uma localização espacial de referência (por exemplo, 192, etc.), a segunda e terceira imagens de camada única ou objetos visuais podem ser traduzidas espacialmente, pelo menos em parte, na distância entre o espectador relativamente distante e um espectador na localização espacial de referência (192). Se uma direção espacial do dispositivo vestível do espectador relativamente distante não coincide com a direção de vista frontal de um espectador na localização espacial de referência (192) usada para gerar camadas de imagem e imagens de camada única, a segunda e a terceira imagens de camada única ou objetos visuais podem ser espacialmente rodados com base, pelo menos em parte, no ângulo ou distância angular entre a direcão espacial do dispositivo vestível do espectador relativamente distante e a direção de vista frontal do espectador na localização espacial de referência (192). Da mesma forma, para um espectador relativamente próximo, transformações espaciais como traduções, rotações, escala, etc., podem ser aplicadas de maneira semelhante a imagens de camada única com base em posições espaciais e/ou direções espaciais do espectador relativamente próximo.
[092] Em algumas modalidades, os mapas tensoriais também podem ser usados em operações de renderização de imagem, como ilustrado na figura 1H. Por exemplo, imagens de tela de cinema, como geradas a partir de imagens de camada única na camada de imagem de cinema e renderizadas na tela de cinema (104), podem ser usadas para reproduzir uma parte de um mapa de tensão (ou uma distribuição de pixels) que corresponde a uma porção do espaço da imagem 3D (196) no espaço físico 3D (126) no qual o espectador está localizado em uma localização espacial que pode ser a mesma ou pode ser diferente da localização espacial de referência (192). Imagens de exibição do dispositivo, geradas a partir de imagens de camada única em uma ou mais camadas de imagem do dispositivo e renderizadas com o visor do dispositivo em um ou mais planos de imagem (por exemplo, 116, 116-1, etc.) podem ser usadas para reproduzir outras porções dos mapas tensoriais (ou distribuição de pixels) que correspondem às porções restantes do espaço de imagem 3D (196) no espaço físico 3D (126). As imagens do visor do dispositivo podem ser geradas individualmente para um dispositivo vestível, com base em transformações espaciais (por exemplo, translações, rotações, escala, etc.) dependendo de uma posição espacial específica e/ou uma direção espacial específica do dispositivo vestível, com restrições que outras porções do mapa tensorial (ou a distribuição de pixels) reproduzidas a partir do dispositivo exibam imagens perfeitamente adjacentes com a parte do mesmo mapa tensorial (ou a distribuição de pixels) reproduzida a partir das imagens de tela de cinema. Adicional ou opcionalmente, algumas ou todas as operações de processamento de imagem, tais como interpolação, nitidez, desfoque, desoclusão, etc., podem ser realizadas em operações de renderização de imagem, de acordo com técnicas como descrito no presente documento. Assim, um espaço de imagem 3D como representado pela combinação das imagens de tela de cinema e as imagens de exibição do dispositivo reproduzem fielmente ou corretamente a distribuição de pixels 3D (188) no espaço de imagem 3D (196) como originalmente representado na imagem não estratificada de múltiplas vistas.
[093] A figura 2A ilustra uma configuração de exemplo 100 de um sistema de entretenimento ampliado que compreende um codificador de imagem em camadas 180, um receptor de conteúdo de imagem 110, renderizadores de imagem (por exemplo, 106, 108, etc.), um rastreador de dispositivo 122, um ou mais dispositivos vestíveis como um dispositivo de renderização de imagem vestível 102-1 de um espectador 112-1, etc., em um espaço 3D (por exemplo, 126, etc.). Alguns ou todos os componentes/dispositivos como representados na figura 2A pode ser implementado por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2A podem ser comunicativos (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2A ou com outros componentes/dispositivos não representados na figura 2A.
[094] Em algumas modalidades, o codificador de imagem em camadas (180) compreende um receptor de imagem não estratificada 182, um gerador de imagem em camadas 186, um armazenamento de dados de imagem não estratificada 184, etc.
[095] Em algumas modalidades, o receptor de imagem não estratificadas (182) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber imagens não estratificadas de múltiplas vistas, por exemplo em um sinal de vídeo de imagem não estratificada ou em dados de imagem, a partir de uma fonte de imagem não estratificada, como o armazenamento de dados de imagem não estratificadas (184), uma fonte de imagem com base em nuvem, um sistema de câmera em conexão com um aplicativo VR, um aplicativo AR, um aplicativo de presença remota, um aplicativo de exibição etc.
[096] Em algumas modalidades, o gerador de imagens em camadas (186) compreende software, hardware, uma combinação de software e hardware, etc., configurado para acessar informações espaciais que descrevem localizações espaciais de cada objeto visual em uma pluralidade de objetos visuais em um espaço de imagem 3D (por exemplo, 196 da figura 1A, etc.), conforme representado em cada uma das imagens não estratificadas de múltiplas vistas.
[097] Com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D (196 da figura 1A) em cada uma das imagens não estratificadas com múltiplas vistas, o gerador de imagens em camadas (186) gera uma camada simples. imagens em uma pluralidade de camadas de imagem de cada imagem não estratificada de múltiplas vistas. Assim, cada camada de imagem na pluralidade de camadas de imagem compreende imagens de camada única com múltiplas vistas de todas as imagens não estratificadas de múltiplas vistas.
[098] Em um exemplo não limitativo, uma primeira camada de imagem na pluralidade de camadas de imagem pode ser utilizada como camada de imagem de cinema por dispositivos receptores a jusante, onde outras camadas de imagem na pluralidade de camadas de imagem podem ser utilizadas como camadas de imagem de dispositivo a jusante pelos dispositivos receptores.
[099] O gerador de imagens em camadas (186) codifica as imagens de múltiplas camadas de múltiplas vistas na pluralidade de camadas de imagem geradas a partir das imagens não estratificadas de múltiplas vistas no conteúdo de imagem 114, e fornece/transmite o conteúdo de imagem (114) a um ou mais dispositivos jusante a como o receptor de conteúdo de entrada (110), armazenamento de dados, sistemas 3D de cinema, etc.
[0100] Em algumas modalidades, o receptor de conteúdo de imagem (110) compreende um receptor de imagem de múltiplas vistas (MV) 152, um transmissor de camada de imagem 156, um repositório de dados 154, etc.
[0101] Em algumas modalidades, o receptor de imagem de múltiplas vistas (152) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber o conteúdo de imagem (entrada) (114) de uma fonte de imagem como o codificador de imagem em camadas. (180), uma fonte de imagem com base em nuvem, um sistema de câmera em conexão com um aplicativo VR, um aplicativo AR, um aplicativo de presença remota, um aplicativo de exibição, etc.; decodificação do fluxo de imagem de entrada (114) em uma sequência de imagens de múltiplas vistas de múltiplas camadas. Cada imagem de múltiplas camadas de múltiplas vistas compreende uma ou mais imagens de cinema de camada única, em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única, em uma ou mais camadas de imagem de dispositivo, conforme decodificado pelo receptor de imagem multiponto (152) a partir do sinal de vídeo de múltiplas camadas de múltiplas vistas.
[0102] A partir da camada de imagem de cinema, o transmissor de camada de imagem (156) identifica ou gera uma ou mais imagens de cinema de camada única. Uma ou mais imagens de cinema de camada única podem representar um primeiro subconjunto apropriado de um ou mais objetos visuais (por exemplo, 118, etc.) em uma pluralidade de objetos visuais (por exemplo, 118, 120, etc.) que foram representados em uma imagem (original) não estratificada de múltiplas vistas, a partir da qual as imagens de cinema e dispositivo de camada única na camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo foram derivadas anteriormente.
[0103] A partir de uma ou mais camadas de imagem de dispositivo, o transmissor de camada de imagem (156) identifica ou gera uma ou mais imagens de dispositivo de camada única. As imagens de um ou mais dispositivos de camada única podem representar um ou mais subconjuntos apropriados de um ou mais objetos visuais (por exemplo, 120, etc.) na pluralidade de objetos visuais (por exemplo, 118, 120, etc.) que foram representados pela imagem não estratificada de múltiplas vistas (original).
[0104] Em algumas modalidades, o transmissor de camada de imagem (156) envia ou fornece, através de um fluxo de dados 158, todas as imagens de cinema de camada única para os renderizadores de imagem (106, 108) ou um renderizador de imagem de cinema (por exemplo, 106, etc.). Além disso, o transmissor de camada de imagem (156) envia ou fornece, através do fluxo de dados (158), todas as imagens de dispositivo de camada única para os renderizadores de imagem (106, 108) ou um renderizador de imagem de dispositivo (por exemplo, 108, etc.).
[0105] O usuário (112-1) pode se mover para causar mudanças nas posições espaciais e direções espaciais do dispositivo vestível (102-1) no tempo de execução. Em algumas modalidades, o rastreador de dispositivo (122) compreende software, hardware, uma combinação de software e hardware, etc., configurado para rastrear/monitorar posições espaciais e/ou direções espaciais do dispositivo vestível (102-1); gerar dados posicionais e direcionais do dispositivo vestível (102-1) com base nas posições espaciais e/ou direções espaciais do dispositivo vestível (102-1); etc.
[0106] Os dados posicionais e direcionais do dispositivo vestível (102-1) como gerado pelo rastreador de dispositivo (122) podem ser de uma resolução de tempo relativamente fina (por exemplo, a cada milissegundo, a cada cinco milissegundos, etc.) e podem ser usados por outros dispositivos tais como o receptor de conteúdo de imagem (110) e/ou os renderizadores de imagem (106, 108) para estabelecer/determinar as posições espaciais e/ou direções espaciais do dispositivo vestível (102-1) a uma determinada resolução de tempo (por exemplo, a cada milissegundo, a cada cinco milissegundos, etc.).
[0107] Exemplos de rastreadores de dispositivos, conforme descrito neste documento, podem incluir, mas não se limitam necessariamente, apenas: aos rastreadores de dispositivos externos, rastreadores de dispositivos internos, rastreadores de dispositivos externos, rastreadores de dispositivos de dentro para fora etc. A título de exemplo, mas não limitativo, o rastreador de dispositivo (122) na configuração (100) como ilustrado na figura 2A representa um rastreador de dispositivo externo. Deve ser observado, no entanto, que em outras modalidades, um rastreador de dispositivo dentro e fora, que pode ser uma parte do dispositivo vestível (102-1), colocado com o dispositivo vestível (102-1), comovendo-se com o dispositivo vestível (102-1), etc., também pode ser usado além ou em vez do rastreador de dispositivo (externo) (122). O rastreador de dispositivos (122) pode rastrear coordenadas espaciais de um número relativamente grande de dispositivos vestíveis, incluindo, mas não se limitando, ao dispositivo vestível (102-1), os quais estão presentes no espaço 3D (126).
[0108] A título de ilustração, mas não de limitação, um sistema de coordenadas espaciais tridimensionais estacionárias usado para representar posições espaciais no espaço 3D (126) pode ser um sistema de coordenadas cartesianas de referência. A figura 2A representa apenas duas dimensões espaciais de exemplo, nomeadamente um eixo x e um eixo z, do sistema de coordenadas cartesianas de referência; o sistema de coordenadas cartesianas de referência pode compreender outra dimensão espacial, nomeadamente um eixo y ortogonal a ambos os eixos x e z, que desponta da figura 2A. O sistema de coordenadas cartesianas de referência pode compreender uma origem de sistema de coordenadas em uma posição espacial de referência indicada como "p", como mostrado na figura 2A. A posição espacial de referência pode ser selecionada de qualquer posição espacial estacionária para o espaço 3D (126).
[0109] O dispositivo de vestir (102-1) pode, mas não está necessariamente limitado a ser, apenas, um dispositivo de corpo rígido (ou de uma forma espacial fixa) em operação. Posições espaciais no dispositivo vestível (102-1) podem ser representadas em um sistema de coordenadas espaciais tridimensional estacionário em relação ao dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias em referência ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias pode compreender três dimensões espaciais representadas pelos respectivos eixos incluindo um eixo x1 e um eixo z1 como mostrado na figura 2A e um eixo do y1 ortogonal a ambos os eixos x1 e z1 que não é ilustrado na figura 2A. O sistema de coordenadas cartesianas de dispositivo estacionário pode compreender uma origem de sistema de coordenadas em uma posição espacial estacionária de dispositivo indicada como "p1" como mostrado na figura 2A. A posição espacial estacionária do dispositivo pode ser selecionada de qualquer posição espacial estacionária para o dispositivo vestível (102-1). Em algumas modalidades, se existe uma localização espacial que é um ponto de simetria no dispositivo vestível (102-1), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário "p1" para servir como a origem coordenada para o sistema de coordenadas cartesianas estacionário.
[0110] Em algumas modalidades, o rastreador de dispositivo (122) repetidamente (por exemplo, em tempo real, em tempo quase real, dentro de um orçamento de tempo restrito, a cada 1 milissegundo, a cada 2 milissegundos, etc.) rastreia ou determina uma ou mais coordenadas espaciais do dispositivo vestível (102-1), em um determinado ponto de tempo no sistema de coordenadas cartesiano de referência do espaço 3D (126). Em algumas modalidades, uma ou mais coordenadas espaciais do dispositivo vestível (102-1) podem ser representadas por uma ou mais coordenadas espaciais da posição espacial estacionária do dispositivo "p1" que é estacionária para o dispositivo vestível (102-1) em relação ao sistema de coordenadas cartesianas de referência do espaço 3D (126).
[0111] As coordenadas espaciais da localização espacial estacionária do dispositivo "pi" do dispositivo vestível (102-1) constituem uma trajetória espacial do dispositivo vestível (102-1) que pode ser representado como funções do tempo. Qualquer combinação de uma ou mais características de movimento do dispositivo vestível (102-1) pode ser determinada a partir dessas funções de tempo representando a trajetória espacial do dispositivo vestível (102-1).
[0112] Por exemplo, posições lineares/deslocamentos (ao longo do tempo) do dispositivo vestível (102-1) em relação a um ponto de referência - como a origem "p" do sistema de coordenadas cartesiano de referência - estacionário no espaço 3D (126) podem ser determinadas ou derivadas (por exemplo, como uma diferença de vetor, etc.) da trajetória espacial (representada pelas funções do tempo como mencionado anteriormente) do dispositivo vestível (102-1). Adicional, opcional ou alternativamente, podem ser determinadas ou derivadas velocidades lineares, velocidades, acelerações, etc. (ao longo do tempo) do dispositivo vestível (102-1), em relação ao ponto de referência estacionário no espaço 3D (126) (por exemplo, como um derivado de primeira ordem, como um derivado de segunda ordem, etc.) da trajetória espacial do dispositivo vestível (102-1).
[0113] Da mesma forma, posições/deslocamentos angulares (por exemplo, a1, etc.) (com o passar do tempo) do dispositivo vestível (102-1) podem ser determinados ou derivados de posições/deslocamentos angulares do sistema de coordenadas estacionário-dispositivo (por exemplo, x1, y1, z1 etc.) em relação ao sistema de coordenadas cartesianas de referência (por exemplo, x, y, z, etc.)
[0114] Adicional, opcional ou alternativamente, velocidades lineares ou angulares, velocidades, acelerações, etc. (ao longo do tempo) do dispositivo vestível (102-1) em relação ao sistema de coordenadas de referência no espaço 3D (126) podem ser determinadas ou derivadas (por exemplo, como uma derivada de primeira ordem, como uma derivada de segunda ordem, etc.) de posições/deslocamentos lineares ou angulares (por exemplo, p1, a1, etc.) do dispositivo vestível (102-1).
[0115] Em algumas modalidades, a imagem renderizada (106, 108) pode ser implementada separadamente como um processador de imagem de cinema (por exemplo, 106, etc.) e um renderizador de imagem de dispositivo (por exemplo, 108) como ilustrado na figura 2B e figura 2C. Adicional, opcional ou alternativamente, os renderizadores de imagem como o renderizador de imagem de cinema (106), o renderizador de imagem de dispositivo (108), etc., podem ser implementados coletivamente dentro de um único dispositivo (por exemplo, servidor de cinema, etc.) como ilustrado na figura 2A. Qualquer renderizador de imagem individual nos renderizadores de imagem(106, 108), como o renderizador de imagem do cinema (106), o renderizador de imagem do dispositivo (108), etc., pode ser implementado em múltiplos casos (por exemplo, computador, dispositivo, máquina virtual, etc.) trabalhando em paralelo para suportar operações de renderização de imagens em tempo real em conexão com um número relativamente grande de espectadores simultaneamente no espaço 3D (126).
[0116] A título de exemplo, porem não como limitação, os renderizadores de imagem (106, 108) compreendem um receptor de camada de imagem 160, um registrador de dispositivo 170, um gerador de imagem de exibição 162, etc. Os renderizadores de imagem (106, 108) podem incluir, mas não são necessariamente limitados a, apenas, um dos seguintes: um renderizador de imagem central, um renderizador de imagem distribuído, um renderizador de imagem implementado como parte de um dispositivo vestível (por exemplo, 102-1, etc.), um renderizador de imagem externo a alguns ou a todos os dispositivos vestíveis (por exemplo, 102-1, etc.) no espaço 3D (126), parcialmente implementado como parte de um dispositivo vestível (por exemplo, 102-1, etc.) e parcialmente implementado em um dispositivo separado externo ao dispositivo vestível (102-1), etc.
[0117] Em algumas modalidades, o receptor de camada de imagem (160) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber, através do fluxo de dados (158), uma camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo para cada imagem de múltiplas camadas e múltiplas vistas em uma sequência de imagem de múltiplas camadas e múltiplas vistas.
[0118] Em algumas modalidades, o registro de dispositivo (170) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber informações de ID de dispositivo (por exemplo, endereços MAC, endereços de rede, endereços IP, etc.) de dispositivos vestíveis (por exemplo, 102-1, etc.) no espaço 3D (126); registrar cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.) para receber imagens de vista do dispositivo a serem apresentadas nos dispositivos vestíveis (por exemplo, 102-1, etc.); etc.
[0119] Com base em imagens de cinema de camada única na camada de imagem de cinema, o gerador de imagens de exibição (162) gera uma ou mais imagens de tela de cinema; faz com que uma ou mais imagens de tela de cinema sejam renderizadas na tela de cinema (104); etc.
[0120] Em algumas modalidades, os renderizadores de imagem (106, 108), ou o gerador de imagem de vista (162), recebem dados posicionais e direcionais de cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.) como rastreados/monitorizados pelo dispositivo rastreador (122) no espaço 3D (126); gera uma ou mais imagens de exibição do respectivo dispositivo para cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.), com base em imagens do dispositivo de camada única em uma ou mais camadas de imagem do dispositivo e nos dados posicionais e direcionais de cada um desses dispositivos vestíveis (por exemplo, 102-1, etc.); faz com que as respectivas uma ou mais imagens de exibição de dispositivo sejam renderizadas com cada um desses dispositivos vestíveis (por exemplo, 102-1, etc.) em um visor do respectivo dispositivo (por exemplo, 116 da figura 1B, etc.); etc. Os renderizadores de imagem (por exemplo, 106, 108, etc.) podem comunicar informações de controle, informações de status, dados posicionais, dados de imagem como imagens de exibição do dispositivo, metadados, etc., com dispositivos de renderização de imagem vestíveis (por exemplo, 102-1, etc.) em uma ou mais conexões de dados. Exemplos de conexões de dados podem incluir, mas não se limitam a conexões de dados sem fio, conexões de dados com fio, conexões de dados com base em radiofrequência, conexões de dados celulares, conexões de dados Wi-Fi, conexões de dados com base em infravermelho, conexões de dados via HDMI, conexões de dados através de cabo óptico, conexões de dados através de Interface Serial de Alta Velocidade (HSSI), Interface Serial Digital de Alta Definição (HD-SDI), 12G-SDI, cabo USB e similares para assento/apoio de braço/piso, etc.
[0121] Exemplos de imagens de tela de cinema e/ou imagens do visor do dispositivo incluem, mas não são necessariamente limitadas a apenas uma das seguintes: uma imagem monoscópica, uma combinação de uma imagem da esquerda e uma da direita, uma combinação de duas ou mais imagens de múltiplas vistas, etc.
[0122] Em cenários operacionais em que uma camada de imagem compreende uma pluralidade de imagens de camada única de vista diferentes, o renderizador de imagem de cinema (106) e/ou o renderizador de imagem de dispositivo (108) podem identificar, selecionar e/ou interpolar uma imagem de vista a esquerda e uma imagem da vista a direita entre a pluralidade de diferentes imagens de camada simples. Por exemplo, uma ou ambas as imagens de vista à esquerda e de vista à direita podem ser geradas por interpolação de imagem e/ou reconstrução de imagem que combina diferentes imagens de vista de camada única na imagem de vista a esquerda e/ou na imagem da vista a direita.
[0123] Em algumas modalidades, os renderizadores de imagem (106, 108) realizam operações de gerenciamento de exibição como parte da exibição de imagens de tela de cinema e/ou imagens de exibição de dispositivo.
[0124] O sistema de entretenimento ampliado pode ser usado para suportar aplicações de vídeo em tempo real, aplicações de vídeo quase em tempo real, aplicações de vídeo não em tempo real, aplicações de realidade virtual (VR), aplicações de realidade ampliada (AR), aplicações de presença remota, entretenimento automóvel. aplicativos, aplicativos de exibição montados em helmet, capacete, aplicativos de exibição heads up, jogos, aplicativos de exibição em 2D, aplicativos de exibição em 3D, aplicativos de exibição em múltiplas vistas, etc. Alguns ou todos os dados de conteúdo de imagem de entrada (114) podem ser recebidos, gerados ou acessados pelo sistema de entretenimento ampliado em tempo real, quase em tempo real, em tempo não real, etc.
[0125] As técnicas descritas no presente documento podem ser usadas para suportar renderização e visualização de imagens em 3D ou múltiplas vistas com uma ampla variedade de visores. Exemplos de visores (por exemplo, 104, um dispositivo visor de um dispositivo vestível, etc.) podem incluir, mas não são necessariamente limitados, apenas um dentre: um monitor de cinema, um home theater, uma televisão, um sistema de exibição com base em projeção, um sistema de exibição com base em luz de fundo, um sistema de exibição com base em campo de luz, um sistema de exibição com base em guia de ondas de luz, sistema de exibição com base em cristal líquido, sistema com base em diodos emissores de luz, um sistema com base em diodo orgânico emissor de luz, um visor HoloLens®, um visor Magic Leap®, um visor de Realidade Mista (MR), um visor tensorial, uma tela de exibição volumétrica, um campo de luz (LF), um visor Immy, uma visor Meta, um par relativamente simples de óculos AR, uma tela com qualquer um em uma ampla gama de capacidades de superação do conflito de acomodação-vergência, etc.
[0126] Em algumas formas de realização, em vez de receber imagens de múltiplas vistas de múltiplas camadas compreendendo imagens de camada única em uma pluralidade de camadas de imagem em uma pluralidade de camadas de imagem a partir de uma fonte de imagem externa, tal como o codificador de imagem em camadas (180), o receptor de imagem de múltiplas vistas (152) pode receber ou recuperar estas imagens múltiplas camadas com múltiplas vistas do repositório de dados (154), por exemplo, localmente. O repositório de dados (154) representa um ou mais bancos de dados, uma ou mais unidades de armazenamento de dados/módulos/dispositivos, etc., configurados para suportar operações como armazenamento, atualização, recuperação, exclusão, etc., com relação a algumas ou todas os as imagens de múltiplas vistas de múltiplas camadas, etc.
[0127] Em algumas modalidades, em vez de enviar diretamente camadas de imagem para os renderizadores de imagem (por exemplo, renderizador de imagem de cinema, dispositivo renderizador de imagem, etc.), conjuntos de imagens compreendendo especificamente imagens de camada única selecionadas nas camadas de imagem podem ser enviadas para imagem 106, 108, etc.). O transmissor de camada de imagem (156) pode receber, de um renderizador de imagem nos renderizadores de imagem (106, 108) e/ou do rastreador de dispositivo (122), dados posicionais e direcionais do dispositivo vestível (102-1) como rastreado/monitorado pelo rastreador de dispositivos (122); estabelecer/determinar posições espaciais e/ou direções espaciais de um dado dispositivo vestível (por exemplo, 102-1, etc.) ao longo do tempo em relação ao sistema de coordenadas de referência; e gerar um ou mais conjuntos de imagens, selecionando imagens específicas de camada única nas camadas de imagem de cada imagem de múltiplas camadas de múltiplas vistas recebidas. As imagens específicas de camada única podem ser especificamente adaptadas para o dispositivo vestível (102-1) de acordo com as posições espaciais e/ou direções espaciais do dispositivo vestível (102-1). Além disso, o transmissor de camada de imagem (156) pode codificar o conjunto de um ou de imagem em um fluxo de vídeo; fornecimento/transmissão, através do fluxo de dados (158), o fluxo de vídeo para o renderizador de imagem (106, 108); etc. Os conjuntos de imagens podem ser utilizados pelos renderizadores de imagem (106, 108) para gerar as imagens de exibição do dispositivo para o dispositivo vestível (102-1) usando reconstruções/interpolações de imagem. Exemplos de conjuntos de imagens e reconstruções de imagem/interpolações podem ser encontrados no pedido de Patente US 15/949.720, com um título de aplicação de "ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES" por Ajit Ninan e Neil Mammen, depositados em 10 de abril de 2018, cujo conteúdo total é por este meio incorporado como referência, como se estivesse totalmente estabelecido neste documento.
[0128] As técnicas descritas no presente documento podem ser implementadas em uma variedade de arquiteturas de sistemas. Algumas ou todas as operações de processamento de imagem, conforme descritas no presente documento, podem ser implementadas por um ou mais servidores de streaming de vídeo com base em nuvem, servidores de streaming de vídeo colocados ou incorporados aos dispositivos vestíveis, clientes de streaming de vídeo, receptores de conteúdo de imagem, dispositivos de renderização de imagem, etc. Com base em um ou mais fatores, como tipos de aplicativos de vídeo, orçamentos de largura de banda/bitrate, recursos de computação, recursos, cargas etc. de dispositivos de destinatário, recursos de computação, recursos, cargas etc. de servidores de streaming de vídeo e receptores de conteúdo de imagem, dispositivos de renderização de imagem, redes de computadores subjacentes, etc., algumas operações de processamento de imagem podem ser executadas por um receptor de conteúdo de imagem, enquanto outras operações de processamento de imagem podem ser executadas por um dispositivo de renderização de imagem, etc.
[0129] A figura 2B ilustra outra configuração de exemplo 100-1 de um sistema de entretenimento ampliado (3D) que compreende um dispositivo de óculos de visualização de renderização de imagem 3D, tal como um dispositivo de vestir 102 com um visor de dispositivo 112, uma tela de cinema 104, um processador de imagem de cinema 106, um dispositivo renderizador de imagens 108, um receptor de conteúdo de imagem 110, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2B podem ser implementados por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2B podem ser comunicativamente (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2B ou com outros componentes/dispositivos não representados na figura 2B.
[0130] Em algumas modalidades, o receptor de conteúdo de imagem (110) envia ou de outro modo proporciona, as imagens de cinema de camada única (como discutido anteriormente em relação à figura 2A) descodificadas da camada de imagem de cinema para o processador de imagem de cinema (106). Além disso, o receptor de conteúdo de imagem (110) envia ou, de outro modo, fornece as imagens de dispositivo de camada única (como discutido anteriormente em relação à figura 2A) decodificadas das camadas de imagem do dispositivo para o renderizador de imagem de dispositivo (108).
[0131] Com base nas imagens de cinema de camada única, o renderizador de imagem de cinema (106) renderiza imagens de tela de cinema na tela de cinema (104), que pode ser uma dentre: uma primeira imagem monoscópica, uma combinação de uma primeira imagem de vista esquerda e uma primeira imagem da vista direita, uma combinação de duas ou mais primeiras imagens de múltiplas vistas, etc.
[0132] Com base nas imagens de dispositivo de camada única, o renderizador de imagem do dispositivo (108) faz com que o dispositivo de vestir (102) processe imagens de exibição de dispositivo, em uma tela de dispositivo 116, que pode ser uma dentre: uma segunda imagem monoscópica, uma combinação de segunda imagem de vista à esquerda e segunda imagem de vista à direita, uma combinação de duas ou mais imagens de múltiplas vistas, etc.
[0133] Em algumas modalidades, o visor do dispositivo (116) não é uma tela de exibição física, mas sim um plano de imagem ou uma tela de exibição virtual criada por raios de luz emitidos por dispositivos de imagem (s) no dispositivo vestível (102).
[0134] Em algumas modalidades, o primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) como mostrado em um par de uma imagem de tela de cinema de exibição à esquerda e uma imagem de tela de cinema de exibição a direita renderizada na tela de cinema (104) e a mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) como representados em imagens de exibição de dispositivo correspondentes renderizadas na tela do dispositivo (116) são simultaneamente (por exemplo, simultânea, sincronicamente, dentro do mesmo intervalo de quadro de imagem, etc.) renderizadas para representar coletivamente uma pluralidade de objetos visuais (por exemplo, 118, 120, etc.) localizados em locais espaciais diferentes em um espaço de imagem 3D (por exemplo, 196 da Figura 1A, etc.). Essas localizações espaciais no espaço da imagem 3D (196) podem ser as mesmas especificadas ou descritas na informação espacial de uma imagem não estratificada de múltiplas vistas que foi usada para particionar a pluralidade de objetos visuais na camada de imagem do cinema (ou a primeira subconjunto de objetos visuais) e uma ou mais camadas de imagem do dispositivo (ou um ou mais segundos subconjuntos apropriados de objetos visuais) em primeiro lugar.
[0135] Em algumas modalidades, o renderizador de imagens de cinema (106) e/ou o renderizador de imagem do dispositivo (108) realizam operações de gerenciamento de exibição como parte da renderização (a) da imagem de tela de cinema da vista esquerda e da imagem de tela de cinema da direita e/ou b) as imagens do visor do dispositivo.
[0136] Em cenários operacionais nos quais um sistema de entretenimento ampliado como descrito no presente documento opera em um ambiente de múltiplos espectadores, posições espaciais (incluindo mas não limitado a posições individuais de múltiplos usuários) e/ou direções espaciais de dispositivos vestíveis individuais de múltiplos usuários, podem ser rastreado, calculado e/ou usado para sobrepor (ou sobrepor) conteúdo de imagem de dispositivo individual renderizado com os dispositivos vestíveis individuais dos espectadores com conteúdo de tela grande (ou conteúdo de imagem de cinema) renderizado em uma tela de exibição compartilhada, como uma tela de cinema, exibição de projeção, etc.
[0137] A figura 3A ilustra uma vista em perspectiva de um exemplo de ambiente de múltiplos espectadores compreendendo um espaço 3D (por exemplo, 126, etc.) e uma tela de cinema (por exemplo, 104, etc.) como uma tela de exibição compartilhada para múltiplos espectadores. O espaço 3D (126) pode compreender uma área de público 324 compreendendo uma pluralidade de espaços de assento (por exemplo, 326, etc.). Os vários espectadores que usam seus respectivos dispositivos vestíveis podem estar sentados na pluralidade de espaços de assento na área de público (324) para ver o conteúdo de imagem de cinema renderizado no visor de cinema (104) e visualizar o conteúdo de imagem de dispositivo adequadamente sobreposto, individualmente, pelos dispositivos vestíveis simultaneamente com a visualização do conteúdo da imagem do cinema. Dada uma configuração geométrica específica do espaço 3D (126), alturas, distâncias lineares e distâncias angulares dos dispositivos vestíveis podem variar substancialmente em relação à tela de cinema (104) no ambiente de múltiplos espectadores.
[0138] As posições reais do assento dos espectadores e seus dispositivos vestíveis podem ser determinadas em qualquer combinação de uma ou mais de várias maneiras diferentes. Em um exemplo, uma posição de assento específica (ou um espaço de assento específico) de um espectador e dispositivo vestível do espectador pode ser determinada com base em um bilhete específico emitido para o espectador ou dispositivo vestível do espectador. Em outro exemplo, os marcadores fiduciais podem ser incorporados ao conteúdo da imagem do cinema ou em áreas espaciais adjacentes à exibição do cinema (104). O dispositivo vestível (ou fone de ouvido) pode adquirir imagens de rastreamento com marcadores de imagem gerados em resposta aos raios de luz dos marcadores fiduciais. Com base nos marcadores de imagem nas imagens de rastreamento, o dispositivo vestível pode (por exemplo, precisamente, etc.) determinar posições espaciais e/ou direções espaciais do dispositivo vestível a qualquer momento, em uma sessão de entretenimento ampliada. Exemplos de determinações de posições espaciais e/ou direções espaciais de dispositivos vestíveis com base em marcadores fiduciais podem ser encontrados no Pedido de Patente US 15/949.720 mencionado anteriormente intitulado "ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES" de Ajit Ninan e Neil Mammen, depositado em 10 de abril de 2018.
[0139] Em um outro exemplo, diferentes dispositivos vestíveis (por exemplo, headsets AR, etc.) podem ser afixados ou atribuídos às suas posições de assento respectivas (ou espaços de assento) no espaço 3D (126).
[0140] Adicional, opcional ou alternativamente, a detecção de localização por radiofrequência (RF) pode ser usada para determinar posições espaciais e/ou direções espaciais de um dispositivo vestível a qualquer momento em uma sessão de entretenimento ampliada. Exemplos de determinações de posições espaciais e/ou direções espaciais de dispositivos vestíveis, com base na detecção de localização por RF, podem ser encontrados na Patente US número 7.580.378, cujo teor total é incorporado ao presente documento como referência, como se estivesse completamente estabelecido aqui.
[0141] Em algumas modalidades, um (por exemplo, relativamente grande, etc.) espaço 3D (126) pode ser segregado em múltiplas zonas (por exemplo, uma das quais pode ser a 328 da figura 3B, etc.). Vários servidores de streaming de mídia podem ser usados para transmitir conteúdo de imagem de dispositivo para espectadores em várias zonas (por exemplo, 328 etc.). Os espectadores em cada zona (por exemplo, 328, etc.) podem ser suportados por um respectivo servidor de streaming de mídia nos vários servidores de streaming de mídia. Em algumas modalidades, o servidor de streaming de mídia gera conteúdo de imagem de dispositivo específico do espectador para cada espectador dos espectadores sentados na zona (328) designada para suporte pelo servidor de streaming de mídia. Ao receber o conteúdo da imagem do dispositivo específico do espectador, o dispositivo vestível do espectador na zona (328) pode tornar o conteúdo da imagem do dispositivo específico do espectador sem adaptação ou com operações de renderização de imagem relativamente simples (por exemplo, interpolação de imagem/reconstrução/seleção, etc.). Em algumas modalidades, o servidor de streaming de mídia pode gerar conteúdo de imagem de dispositivo específico da zona para todos os espectadores na zona (328) suportada pelo servidor de streaming de mídia. Ao receber o conteúdo de imagem do dispositivo específico da zona, o dispositivo vestível de um espectador individual na zona (328) pode adaptar o conteúdo da imagem do dispositivo específico da zona com base nas posições espaciais e/ou direções espaciais do dispositivo vestível e tornar o conteúdo da imagem do dispositivo adaptado.
[0142] O sistema de entretenimento ampliado pode implementar ou operar técnicas de rastreamento de dispositivos para determinar posições espaciais e/ou direções espaciais de dispositivos vestíveis em tempo real, em uma sessão de entretenimento ampliada (por exemplo, uma sessão de VR, uma sessão de AR, uma sessão de presença remota, uma sessão de jogo de computador, um filme, etc.). Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser dimensionadas para rastrear/monitorar simultaneamente posições espaciais e/ou direções espaciais de dispositivos vestíveis, de um número relativamente grande de espectadores. As posições espaciais e/ou as direções espaciais dos dispositivos vestíveis podem ser usadas para adaptar o conteúdo da imagem do dispositivo em conteúdo de imagem de dispositivo especificamente adaptado para dispositivos vestíveis individuais e espectadores individuais e para tornar o conteúdo da imagem do dispositivo especificamente adaptado nos dispositivos vestíveis individuais.
[0143] Exemplos de técnicas de rastreamento de dispositivos podem incluir, mas não necessariamente se limitam apenas as: técnicas de rastreamento executadas somente por dispositivos vestíveis, técnicas de rastreamento executadas somente por dispositivos externos, técnicas de rastreamento executadas em parte por dispositivos vestíveis e em parte por dispositivos externos, rastreamento de dispositivos externo, rastreamento de dispositivos com acompanhamento de dentro para fora, rastreamento de dispositivos distribuídos por vários dispositivos em colaboração, rastreamento com base em marcas de referência, rastreamento com base em sinais de RF ou infravermelho etc. Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser adaptadas a ambientes específicos nos quais sistemas de entretenimento ampliados operam. Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser implementadas com custos relativamente baixos, complexidade relativamente baixa, redundância relativamente alta para resiliência, precisão relativamente alta, números relativamente altos de vários espectadores, etc.
[0144] Adicional, opcional ou alternativamente, as informações de ID de dispositivo incluindo, mas não se limitando a, endereços MAC, endereços de rede, endereços IP, etc., dos dispositivos vestíveis, podem ser obtidas pelas técnicas de rastreamento de dispositivos, como descrito no presente documento.
[0145] Algumas ou todas as posições espaciais, as direções espaciais, as informações de ID do dispositivo, endereços de rede, etc., dos dispositivos vestíveis podem ser usados para comunicar e registrar os dispositivos vestíveis (individualmente ou em um grupo/zona) com respectivos servidores de streaming de mídia para obter ou baixar o conteúdo da imagem do dispositivo para ser renderizado de forma síncrona com o conteúdo da imagem de cinema.
[0146] As informações de ID do dispositivo, posições espaciais específicas e/ou direções espaciais específicas dos dispositivos vestíveis em um determinado ponto de tempo, etc., podem ser usadas para sincronizar o conteúdo da imagem do dispositivo de streaming e renderização para o ponto de tempo específico com streaming e renderização do conteúdo de imagem de cinema gerado para o ponto de tempo específico. Por exemplo, imagens de cinema de camada única usadas para gerar uma imagem de tela de cinema 3D a ser renderizada na tela de cinema (104) em um primeiro ponto de tempo podem ser indexadas por um registro de tempo logicamente indicando o primeiro ponto de tempo. As imagens de dispositivo de camada única correspondentes usadas para gerar uma imagem de exibição de dispositivo 3D correspondente a ser renderizada com um dispositivo vestível no mesmo primeiro ponto de tempo podem ser indexadas pelo mesmo registro de data e hora. Assim, tanto o dispositivo de vestir como o renderizador de imagem do cinema (106) podem exibir a imagem de tela de cinema 3D e a imagem de exibição de dispositivo 3D correspondente simultaneamente.
[0147] A figura 2C ilustra um exemplo de configuração 100-2 de um sistema de entretenimento ampliado que compreende um rastreador de dispositivo 122 operando com um conjunto de sensor de rastreamento 124 para monitorar uma pluralidade de dispositivos vestíveis, como um primeiro dispositivo vestível 102-1 usado por um primeiro espectador 112-1, um segundo dispositivo vestível 102-2 usado por um segundo espectador 112-2, etc., em um espaço 3D (por exemplo, 126, etc.). Como ilustrado na figura 2C, o sistema de entretenimento ampliado compreende ainda um renderizador de imagem de cinema (por exemplo, 106, etc.), um renderizador de imagem de dispositivo (por exemplo, 108, etc.), um receptor de conteúdo de imagem (por exemplo, 110, etc.) (por exemplo, 104, etc.), um ou mais dispositivos vestíveis. Alguns ou todos os componentes/dispositivos como representados na figura 2C pode ser implementados por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2C podem ser comunicativamente (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2C ou com outros componentes/dispositivos não representados na figura 2C.
[0148] Em algumas modalidades, o rastreador de dispositivo (122) e o conjunto de sensor de rastreamento (124) representam um sistema de rastreamento central que é remoto dos dispositivos vestíveis que estão sob rastreamento. O rastreador de dispositivo (122) e o conjunto de sensor de rastreamento (124) podem realizar operações de rastreamento de dispositivo com os dispositivos vestíveis sem exigir que os dispositivos vestíveis implementem uma funcionalidade de autotratamento complicada e/ou ativa. Assim, os dispositivos vestíveis podem ser feitos com desenhos relativamente simples a custos relativamente baixos. Exemplos de rastreadores de dispositivos operando com conjuntos de sensores de rastreamento podem ser encontrados no Pedido de Patente US 15/949.536 mencionado anteriormente, com o título de aplicação de "PASSIVE MULTIWEARABLE-DEVICES TRACKING" por Ajit Ninan e Neil Mammen depositado em 10 de abril de 2018.
[0149] O sistema de rastreio central, como descrito no presente documento, pode ser utilizado para rastrear com precisão, fiabilidade e resposta os movimentos físicos de um único dispositivo vestível ou de múltiplos dispositivos vestíveis. Os componentes utilizados para fins de rastreamento não precisam ser miniaturizados em pegadas relativamente pequenas e mecânica e/ou eletricamente incorporados em um fator de forma geral de um dispositivo vestível. Algoritmos de análise complexos para rastrear posições espaciais e direções de vistas do dispositivo vestível não precisam ser projetados, aperfeiçoados e implementados no dispositivo vestível.
[0150] Em algumas modalidades, o renderizador de imagem de cinema (106), o renderizador de imagem de dispositivo (108) e o rastreador de dispositivo (122) podem ser implementados em um ou mais servidores de mídia central localizados longe dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.). O rastreador de dispositivo (122) operando em conjunto com o conjunto de sensor de rastreamento (124) determina as posições espaciais e/ou direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) em tempo real em um entretenimento ampliado sessão (por exemplo, uma sessão VR, uma sessão AR, uma sessão de presença remota, uma sessão de jogo de computador, um filme, etc.).
[0151] O primeiro dispositivo vestível (102-1) pode, mas não é necessariamente limitado apenas a estar em posições espaciais de dispositivo de corpo rígido em que pode ser representado em um sistema de coordenadas espaciais tridimensionais estacionário em relação ao primeiro dispositivo vestível (102 -1). O sistema de coordenadas cartesianas do dispositivo estacionário em relação ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no primeiro dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias do dispositivo compreende três dimensões espaciais representadas pelos respectivos eixos, incluindo um eixo x1 e um eixo z1, e um eixo y1 ortogonal a ambos os eixos x1e z1 que não é representado na figura 2C. O sistema de coordenadas cartesianas de dispositivo estacionário pode compreender uma origem do sistema de coordenadas em uma posição espacial estacionária do dispositivo indicada como "p1". A posição espacial estacionária do dispositivo "p1" pode ser selecionada de qualquer posição espacial estacionária para o primeiro dispositivo vestível (102-1). Em algumas modalidades, se houver uma localização espacial que seja um ponto de simetria no primeiro dispositivo vestível (102-1), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário "p1" para servir como a origem de coordenadas para a sistema de coordenadas cartesianas do dispositivo estacionário.
[0152] De forma semelhante, o segundo dispositivo de vestir (102-2) pode, mas não está necessariamente limitado apenas a estar em posições espaciais de um dispositivo de corpo rígido sobre as quais pode ser representado um segundo sistema de coordenadas espaciais tridimensional, estacionário em relação ao segundo dispositivo (102-2). O segundo sistema de coordenadas cartesianas estacionárias em relação ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no segundo dispositivo vestível (102-2). O segundo sistema de coordenadas cartesianas do dispositivo estacionário compreende três dimensões espaciais representadas pelos respectivos eixos incluindo um eixo x2 e um eixo z2, e um eixo y2 ortogonal a ambos os eixos x2 e z2 que não é representado na figura 2C. O segundo sistema de coordenadas cartesianas estacionárias do dispositivo pode compreender uma origem de sistema de coordenadas em uma posição espacial estacionária do dispositivo indicada como "p2". A posição espacial estacionária do dispositivo "p2" pode ser selecionada de qualquer posição espacial estacionária para o primeiro dispositivo vestível (102-1). Em algumas modalidades, se houver uma localização espacial que seja um ponto de simetria no segundo dispositivo vestível (102-2), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário "p2" para servir como a origem da coordenada ao segundo sistema de coordenadas cartesianas estacionárias.
[0153] As posições espaciais e/ou as direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) podem ser usadas para adaptar o conteúdo da imagem do dispositivo em conteúdo de imagem de dispositivo especificamente adaptado para dispositivos vestíveis individuais e espectadores individuais e para renderizar o conteúdo da imagem do dispositivo especificamente adaptado nos dispositivos vestíveis individuais.
[0154] Além disso, as posições espaciais e/ou as direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) podem ser fornecidas como funções de tempo para o renderizador de imagem de cinema (106) e o renderizador de imagem de dispositivo (108) Com base nas posições espaciais, as direções espaciais, etc., dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.), o renderizador de imagem do cinema (106) e o renderizador de imagem do dispositivo podem sincronizar o fluxo e renderizar o teor da imagem do dispositivo gerado para um ponto de tempo específico com transmissão e renderização de conteúdo de imagem de cinema gerado para o ponto de tempo específico, por exemplo, por meio de uma marca temporal comum que indexa o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo. Marcas temporais que indexam o conteúdo da imagem do cinema, o conteúdo da imagem do dispositivo podem ser armazenadas ou transmitidas com o conteúdo da imagem do cinema, o conteúdo da imagem do dispositivo. Enquanto as imagens da tela de cinema estão sendo renderizadas na tela do cinema, as imagens correspondentes do dispositivo são transmitidas para os dispositivos vestíveis (por exemplo, antecipadamente, etc.) e reproduzidas no dispositivo sendo exibidas em sincronia com a exibição das imagens do cinema na tela do cinema ao mesmo tempo.
[0155] Em algumas modalidades, algum ou todo o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo podem ser armazenados localmente em vez de serem transmitidos sem fio ou com conexões de dados com fio de um receptor de conteúdo de imagem ou um renderizador de imagem. Por exemplo, o conteúdo da imagem do dispositivo pode ser obtido a partir de discos rígidos locais (por exemplo, disponível a partir de conexões de dados USB em espaços individuais de espectadores, etc.). Marcas temporais, mensagens de pinging, etc., podem ser enviadas por um processador de imagem de cinema para todos os dispositivos vestíveis no espaço 3D (126) para identificar qual conteúdo de imagem de dispositivo correspondente deve ser renderizado em sincronia com a renderização do conteúdo da imagem de cinema. tela de cinema. Além disso, opcional ou alternativamente, a marca d'água, impressões digitais derivadas de algoritmos de impressão digital em execução no conteúdo da mídia, marcas de referência, etc., podem ser incorporadas, transportadas, exibidas, transmitidas ou rastreadas com a finalidade de sincronizar a renderização do conteúdo da imagem do dispositivo correspondente com o cinema. conteúdo de imagem, em vez de ou além de marcas temporais, pinging mensagens, etc.
[0156] Assim, o sistema de rastreio central, tal como implementado com o rastreador de dispositivos (122) e o conjunto de sensor de rastreio (124), pode ser usados para torná-lo uma operação relativamente eficiente para sincronizar a transmissão e renderizar o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo. sistema de entretenimento, em comparação com um sistema de entretenimento com rastreamento de dispositivo distribuído que pode incorrer em custos de fabricação relativamente altos, custos de manutenção de dispositivo relativamente altos (por exemplo, custos de lavagem/limpeza de dispositivo relativamente altos em um ambiente comercial que compartilha um dispositivo vestível entre diferentes espectadores sucessivos, etc.) custos de comunicação relativamente altos, custos de sincronização relativamente altos.
[0157] Um dispositivo vestível (por exemplo, 102-1, 102-2, etc.), etc., pode ser acionado, por exemplo, por um usuário (por exemplo, 112-1, 112-2, etc.), para fazer movimentos relativos em relação aos objetos estacionários ou sistemas de coordenadas estacionárias, tais como a tela de cinema (104) estacionária no espaço 3D (126). Estes movimentos relativos podem ser representados por qualquer combinação de um ou mais dentre: posições/deslocamentos lineares, posições/deslocamentos angulares, velocidades/velocidades lineares, velocidades/velocidades angulares, acelerações lineares, acelerações rotacionais, etc.
[0158] Por exemplo, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser um objeto físico em 3D que tenha uma posição espacial específica e uma direção espacial específica em qualquer ponto de tempo determinado em um espaço físico, como um movie theater, um espaço de entretenimento doméstico, um local, etc.
[0159] A posição espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser caracterizada ou medida por coordenadas espaciais de uma posição linear específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc). Exemplos de tal posição linear específica podem ser um ponto de simetria espacial, um ponto central geométrico, etc., de uma armação de óculos, uma posição correspondente ao ponto médio entre os olhos do espectador, etc. Exemplos de coordenadas espaciais de uma posição linear podem ser coordenadas espaciais de um sistema de coordenadas cartesianas, um sistema de coordenadas polares e similares.
[0160] A direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser caracterizada ou medida por coordenadas espaciais de uma posição angular de um sistema de coordenadas tridimensional específico (por exemplo, um primeiro sistema de coordenadas cartesianas de primeiro dispositivo estacionário do primeiro dispositivo vestível (102-1), um segundo sistema de coordenadas cartesianas do segundo dispositivo estacionário do segundo dispositivo vestível (102-2), etc.) fixado de forma rígida ou estacionária ao dispositivo de desgaste (por exemplo, 102-1, 102-2, etc.) em referência a um sistema de coordenadas tridimensional de referência estacionário no espaço 3D (126). O sistema de coordenadas tridimensional de referência no espaço 3D (126) pode ser um sistema de coordenadas cartesianas de referência compreendendo eixos x, y e z (apenas os eixos x e z são mostrados na figura 2C) com sua origem coordenada localizada em uma posição selecionada "p" da tela de cinema (104). Exemplo de dispositivo - sistemas de coordenadas tridimensionais estacionários rigidamente afixados ou estacionários com o dispositivo de renderização de imagem vestível (102) podem ser sistemas de coordenadas cartesianas tridimensionais com uma direção z positiva correspondente à direção de vista frontal do espectador, uma direção x paralela à distância interpupilar do espectador e uma direção y perpendicular às direções x e z. Exemplos de coordenadas espaciais da posição angular podem ser passo, guinada, roll, etc.
[0161] A posição espacial específica e a direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) podem ser caracterizadas geralmente por seis dimensões espaciais, três das quais relacionadas a translação, e as outras três às rotações. Em algumas modalidades, as seis dimensões espaciais utilizadas para caracterizar a posição espacial específica e a direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) são totalmente independentes em relação uma à outra. Nestas modalidades, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem seis graus de liberdade. No entanto, é possível que posições lineares ou angulares correspondendo a um determinado grau de liberdade possam ainda estar limitadas a um intervalo.
[0162] Por exemplo, em uma sala de cinema, posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção x (por exemplo, oscilações, etc.) no sistema de coordenadas cartesianas de referência estacionário para a tela de cinema (104) podem ser limitada\z a um intervalo correspondente a uma fração de uma largura de um assento atribuído ao espectador (por exemplo, 112-1, 112-2, etc.). Posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção y (suspensões) no sistema de coordenadas cartesianas estacionárias para a tela de cinema (104) podem ser limitadas a uma faixa correspondente a uma fração da cabeça do espectador. Posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção z (por exemplo, ondas, etc.) no sistema de coordenadas cartesianas estacionárias da tela de cinema (104) podem ser limitadas a um intervalo entre a parte de trás do assento do espectador (por exemplo, 112-1, 112-2, etc.) e o encosto de um assento diretamente em frente ao assento do espectador (por exemplo, 1121, 112-2 , etc.).
[0163] A técnica como descrita no presente documento pode ser usada para suportar a visualização de imagens omnidirecionais até 360 graus (ou até todo o ângulo 4π sólido de uma esfera). Por exemplo, um dispositivo vestível como descrito no presente documento pode visualizar imagens de exibição de dispositivo específicas de direção de qualquer ângulo de visualização de até 360 graus (ou até todo o ângulo sólido de 4π de uma esfera), mesmo que uma tela de cinema em que imagens de tela de cinema são renderizadas é fixa ou estacionária em um espaço 3D. Ao visualizar longe da tela de cinema, um espectador de um dispositivo vestível pode ver apenas as imagens de exibição do dispositivo derivadas de imagens de dispositivo de camada única em uma ou mais camadas de imagem do dispositivo. No entanto, em alguns cenários operacionais, as posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para guinadas em referência a tela de cinema (104) podem ser limitadas a um primeiro intervalo (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/- 180 graus angulares, etc.) de direções de vista frontal. Posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para passos em relação à tela de cinema (104) podem ser limitadas a uma segunda faixa (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/180 graus angulares, etc.) das direções de vista frontal. Posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para inclinações em relação à tela de cinema (104) podem ser limitadas a uma terceira faixa (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/- 180 graus angulares, etc.) das direções de vista frontal. Esses intervalos angulares podem ser limitados de forma diferente. Por exemplo, o terceiro intervalo pode ser ajustado para ser relativamente pequeno, uma vez que os movimentos de inclinação tendem a gerar náuseas relativamente sérias e desconfortos fisiológicos.
[0164] Se qualquer uma das faixas posicionais ou angulares mencionadas acima encolher, ou for restrita, a um único valor, então um grau de liberdade correspondente à faixa posicional ou angular de valor único é perdido ou removido a partir de seis graus de liberdade. O dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem zero grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é (por exemplo, lógica, fisicamente, etc.) fixado em translação e em rotação em relação à tela de cinema (104). O dispositivo vestível (por exemplo, 1021, 102-2, etc.) tem um grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é fixado em rotação, mas está confinado a mover-se junto de uma linha ou uma curva unidimensional na translação relativa à tela de cinema (104). Da mesma forma, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem um grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é fixo na translação, mas está confinado a girar em uma única direção de rotação relativa à tela de cinema (104).
[0165] Em algumas modalidades, o rastreador de dispositivo (122) operando com o conjunto de sensor de rastreamento (124), o último sendo implantado no espaço 3D (126), monitora as posições espaciais e direções espaciais dos dispositivos vestíveis no espaço 3D (126). Em algumas modalidades, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem fontes de luz ligadas de forma removível ou irremovível ao dispositivo de desgaste (por exemplo, 102-1, 102-2, etc. Essas fontes de luz podem emitir ou refletir raios de luz, como raios de luz, comprimentos de onda de luz visível, raios de luz invisíveis, luzes infravermelhas, etc. Exemplos de fontes de luz podem incluir, mas não são necessariamente limitados apenas, a qualquer um dentre: emissores de luz, diodos emissores de luz (LEDs), luzes não LED, regeneradores de luz, refletores de luz, dispositivos de dispersão de luz, retrorrefletores etc. A título de exemplo, mas não de limitação, as fontes de luz no dispositivo de vestir (por exemplo, 102-1, 102-2, etc.) emitem ou refletem luz invisível, como luz infravermelha, etc., para fins de rastreamento do dispositivo.
[0166] Em algumas modalidades, um ou mais sensores de imagem de rastreamento no conjunto do sensor de rastreamento (124) geram imagens de rastreamento do dispositivo que captam os raios de luz de fontes de luz colocadas nos dispositivos vestíveis, incluindo mas não limitados ao dispositivo vestível (por exemplo, 102-1, 102-2, etc.). Estes raios de luz podem ser emitidos, refletidos/redirecionados/espalhados, etc. para os sensores de rastreamento de imagem no conjunto do sensor de rastreamento (124). Esses raios de luz podem ser capturados continuamente, em um horário definido, etc. Por exemplo, as imagens de rastreamento de dispositivo podem ser tomadas em uma resolução de tempo de um milissegundo ou uma fração de milissegundo, em uma resolução de tempo a cada centésimo de segundo, em uma resolução de tempo de cada décimo de segundo, etc.
[0167] Em algumas modalidades, o rastreador de dispositivo (122) rastreia ou determina as posições espaciais e direções espaciais de cada um dos dispositivos vestíveis em um determinado ponto no tempo (por exemplo, durante um intervalo de tempo, durante todo o tempo de duração de um filme 3D, etc.) com base em uma ou mais imagens de rastreamento de dispositivo capturadas no ponto de tempo determinado pelos sensores de imagem de rastreamento (124) dos raios de luz das fontes de luz dos dispositivos vestíveis.
[0168] Em algumas modalidades, o dispositivo de renderização da imagem do dispositivo (108) recebe do localizador do dispositivo (122) posições espaciais e direções espaciais (por exemplo, p1, a1, p2, a2, etc.) do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo do tempo (por exemplo, durante um intervalo de tempo, durante todo o tempo de duração de um filme 3D, etc.). Com base nas posições espaciais e direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.), o renderizador de imagem do dispositivo (108) pode determinar relações espaciais entre o dispositivo vestível (por exemplo, 102-1, 102 -2, etc.) e a tela de cinema (104). Em algumas modalidades, estas relações espaciais podem ser representadas por uma ou mais dentre: posições/deslocamentos lineares, posições/deslocamentos angulares, velocidades lineares ou angulares, velocidades lineares ou angulares, acelerações lineares ou angulares, etc., do dispositivo vestível (por exemplo , 102-1, 102-2, etc.) em relação à tela de cinema (104) ou ao sistema de coordenadas cartesianas de referência no espaço 3D (126).
[0169] Por exemplo, com base nas imagens de dispositivo de camada única derivadas da imagem não estratificada de múltiplas vistas, o renderizador de imagem de dispositivo (108) pode determinar uma ou mais imagens de dispositivo 3D compreendendo uma ou mais imagens de dispositivo de vista à esquerda e um ou mais imagens de dispositivos de vista à direita. A imagem do dispositivo renderizador (108) ou o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode realizar uma transformação espacial em uma ou mais imagens do dispositivo de vista à esquerda e uma ou mais imagens do dispositivo de vista à direita a uma ou mais imagens de dispositivos 3D) - antes de renderizá-las - com base nas relações espaciais entre o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) e a tela de cinema (104).
[0170] Com base nas imagens do dispositivo de vista à esquerda e nas imagens do dispositivo de vista à direita transformadas pela transformação espacial, o renderizador de imagem do dispositivo (108) pode fazer com que o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) visualize imagens do dispositivo e visualize corretamente as imagens do dispositivo em uma ou mais telas do dispositivo (por exemplo, 116, etc.). O renderizador de imagem do dispositivo (108) pode comunicar informações de controle, informações de status, dados posicionais, dados de imagem, como imagens do dispositivo, metadados, etc., com dispositivos de renderização de imagem vestíveis (por exemplo, 102-1, 102-2, etc.) sobre uma ou mais conexões de dados. Exemplos de conexões de dados podem incluir, mas não estão limitadas, conexões de dados sem fio, conexões de dados com fio, conexões de dados com base em radiofrequência, conexões de dados celulares, conexões de dados Wi-Fi, conexões de dados com base em infravermelho, conexões de dados via HDMI, conexões de dados através de cabo óptico, conexões de dados através de Interface Serial de Alta Velocidade (HSSI), Interface Serial Digital de Alta Definição (HD-SDI), 12G-SDI, cabo USB e similares para assento/apoio de braço/piso, etc.
[0171] Além disso, opcional ou alternativamente, algumas ou todas as operações de processamento de imagem, como determinação de rotação de imagem, análise de alinhamento de imagem, detecção de corte de cena, transformação entre sistemas de coordenadas, amortecimento temporal, gerenciamento de exibição, mapeamento de conteúdo, mapeamento de cores, gerenciamento de campo de visão, etc., podem ser realizadas pelo receptor de conteúdo de imagem (110).
[0172] Em algumas modalidades, em vez de utilizar um rastreador de dispositivo externo, tal como 122, mostrado na figura 2C, um rastreador de dispositivo interno pode ser usado para rastrear/monitorar as posições espaciais e/ou direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.); gerar os dados posicionais e direcionais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) com base nas posições espaciais e/ou direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.); etc.
[0173] Em algumas modalidades, o dispositivo de renderização da imagem do dispositivo (108) pode ou não funcionar com apenas um único dispositivo vestível (por exemplo, 102-1, etc.). A título de exemplo, mas não limitativo, o renderizador de imagem do dispositivo (108), como ilustrado na figura 2C opera com mais do que um dispositivo vestível (por exemplo, 102-1 e 102-2, etc.) concorrentemente.
[0174] Em algumas modalidades, o renderizador de imagem do dispositivo (108) recebe fluxos de vídeo para os dispositivos vestíveis (102-1 e 102-2); gera uma ou mais imagens de exibição de dados de vídeo nos fluxos de vídeo para cada dispositivo vestível (102-1 ou 102-2) de acordo com os dados posicionais e direcionais de cada dispositivo vestível (102-1 ou 102-2); faz com que uma ou mais imagens de exibição sejam renderizadas com o respectivo dispositivo vestível (102-1 ou 102-2) para o espectador (112-1 ou 112-2); etc.
[0175] A figura 4A ilustra um exemplo de fluxo de processo de acordo com uma modalidade exemplificativa da presente invenção. Em algumas modalidades de exemplo, um ou mais dispositivos ou componentes de computação podem realizar esse fluxo de processo. No bloco 402, um codificador de imagem em camadas (por exemplo, 180 da figura 2A, etc.) acessa informação espacial que descreve localizações espaciais de uma pluralidade de objetos visuais como em um espaço de imagem tridimensional (3D) como representado em uma ou mais imagens não visualizadas com várias exibições. Cada uma ou mais das imagens não alinhadas de múltiplas vistas compreende uma pluralidade de imagens não alinhadas de vista única correspondendo a uma pluralidade de direções de vistas.
[0176] No bloco 404, com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens não alinhadas com múltiplas vistas, o codificador de imagem em camadas (180) gera, a partir daquela ou mais imagens não estratificadas de múltiplas vistas, uma camada de imagem de cinema compreendendo uma ou mais imagens de cinema de camada única, representando um primeiro subconjunto apropriado de um ou mais objetos visuais na pluralidade de objetos visuais.
[0177] No bloco 406, com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visíveis no espaço da imagem 3D, tal como representado na uma ou mais imagens não estratificadas de múltiplas vistas, o codificador de imagem em camadas (180) gera, a partir daquela ou mais imagens não estratificadas de múltiplas vistas, uma ou mais camadas de imagem de dispositivo, cada uma das quais compreende uma ou mais imagens de dispositivo de camada única representando um ou mais subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais.
[0178] No bloco 408, o codificador de imagem em camadas (180) envia um sinal de vídeo de múltiplas camadas de múltiplas vistas compreendendo uma ou mais imagens de cinema de camada única na camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo para um ou mais dispositivos a jusante da renderização.
[0179] Em uma modalidade, a informação espacial representa um ou mais dentre: informação de profundidade, informação de disparidade, informação de paralaxe, informação de malha 3D, informação epipolar, informação de mapa tensorial, etc.
[0180] Em uma modalidade, o espaço da imagem 3D representa uma dentre: uma ou mais cenas do mundo real, uma ou mais cenas do mundo virtual, uma combinação de uma ou mais cenas do mundo real e uma ou mais cenas do mundo virtual, etc.
[0181] Em uma modalidade, a pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens sem múltiplas vistas é separada na camada de imagem de cinema e em uma ou mais camadas de imagem de dispositivo, utilizando uma ou mais superfícies de separação de camadas. Em uma modalidade, pelo menos uma das superfícies de separação de uma ou mais camadas coincide com uma tela de cinema que é para ser utilizada para renderizar imagens de tela de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema. Em uma modalidade, nenhuma de uma ou mais superfícies de separação de camadas coincide com uma tela de cinema que é para ser utilizada para renderizar imagens de vista de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema.
[0182] Em uma modalidade, pelo menos uma das imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única nas uma ou mais camadas de imagem de dispositivo são geradas utilizando uma distribuição de pixels 3D gerada com um mapa tensorial.
[0183] Em uma modalidade, a pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens não visualizadas com múltiplas vistas, é separada na camada de imagem de cinema e em uma ou mais camadas de imagem de dispositivo, com base em um ou mais dentre: localizações de exibições em um espaço de referência 3D; localizações espaciais de um espectador em uma localização espacial de referência no espaço de referência 3D; posições espaciais de objetos visuais conforme projetadas no espaço de referência 3D, em relação às localizações espaciais das exibições ou do espectador; direções espaciais de objetos visuais no espaço de referência 3D, em relação ao espectador (112-0); importância artística relativa de objetos visuais; propriedades visuais de objetos visuais; características de movimento de objetos visuais; locais espaciais passados, presentes ou futuros de objetos visuais; direções espaciais passadas, presentes ou futuras dos objetos visuais; etc.
[0184] A figura 4B ilustra um exemplo de fluxo de processo de acordo com uma modalidade de exemplo da presente invenção. Em algumas modalidades de exemplo, um ou mais dispositivos ou componentes de computação podem realizar esse fluxo de processo. No bloco 452, um sistema de entretenimento ampliado (por exemplo, como ilustrado na figura 2A, figura 2B ou figura 2C, etc.) recebe um sinal de vídeo de múltiplas camadas, múltiplas vistas que compreende uma ou mais imagens de cinema de camada única em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem do dispositivo. As imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo foram anteriormente derivadas de uma ou mais imagens não visualizadas com múltiplas vistas.
[0185] No bloco 454, o sistema de entretenimento ampliado recupera, da camada de imagem de cinema do sinal de vídeo de múltiplas vistas, múltiplas camadas, uma ou mais imagens de cinema de camada única, uma ou mais imagens de cinema de camada única representando um primeiro subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais, tal como originalmente representados por uma ou mais imagens não estratificadas de múltiplas vistas.
[0186] No bloco 456, o sistema de entretenimento ampliado recupera, a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo múltiplas camadas de múltiplas vistas, uma ou mais imagens de dispositivo de camada única, uma ou mais imagens de dispositivo representando um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais, na pluralidade de objetos visuais como originalmente representados por uma ou mais imagens não estratificadas de múltiplas vistas.
[0187] No bloco 458, o sistema de entretenimento ampliado faz com que o primeiro subconjunto apropriado de objetos visuais, conforme representado nas imagens de cinema de uma ou mais camadas, seja renderizado a um espectador em uma tela de cinema em um espaço 3D.
[0188] No bloco 460, o sistema de entretenimento ampliado faz com que um ou mais segundos subconjuntos apropriados de objetos visuais, como representado em uma ou mais imagens de dispositivo de camada única, sejam renderizados simultaneamente para o espectador em uma tela de exibição de dispositivo no espaço 3D.
[0189] Em uma modalidade, o primeiro subconjunto apropriado de objetos visuais como mostrado na tela de cinema e o um ou mais segundos subconjuntos apropriados de objetos visuais, como mostrado no coletivo de exibição do dispositivo, representam a pluralidade de objetos visuais localizados nos mesmos locais espaciais em um espaço de imagem 3D, como originalmente representado por uma ou mais imagens não estratificadas com múltiplas vistas. Em uma modalidade, a informação espacial que descreve as localizações espaciais no espaço de imagem 3D no qual a pluralidade de objeto visual está localizada foi anteriormente usada para particionar a pluralidade de objetos visuais, como originalmente representado por uma ou mais imagens não estratificadas de múltiplas vistas, na camada de imagem do cinema e uma ou mais camadas de imagem do dispositivo.
[0190] Em uma modalidade, o mostrador do dispositivo é movível espacialmente com um ou mais graus de liberdade em relação, à tela de cinema.
[0191] Em uma modalidade, o visor do dispositivo é usado por um dispositivo vestível para renderizar imagens; a tela do dispositivo é fixada espacialmente em relação ao dispositivo vestível.
[0192] Em uma modalidade, a tela de cinema é um mostrador estacionário; o visor do dispositivo representa uma tela de exibição montada na cabeça de um dispositivo vestível usado pelo espectador.
[0193] Em uma modalidade, a tela de cinema no espaço 3D é utilizada para definir uma superfície de separação de camadas no espaço da imagem 3D; a pluralidade de objetos visuais é particionada no primeiro subconjunto próprio de objetos visuais e um ou mais segundos subconjuntos apropriados de objetos visuais com base, pelo menos em parte, nas relações espaciais da pluralidade de objetos visuais em relação à superfície de separação de camadas.
[0194] Em uma modalidade, o um ou mais segundos subconjuntos apropriados de objetos visuais são selecionados dentre a pluralidade de objetos visuais, com base em distâncias espaciais para a superfície de separação de camadas.
[0195] Em uma modalidade, pelo menos um objeto visual entre a pluralidade de objetos visuais passa pela superfície de separação de camadas; o primeiro subconjunto apropriado de objetos visuais inclui uma porção do pelo menos um objeto visual; o um ou mais segundos subconjuntos apropriados de objetos visuais incluem uma parte restante do pelo menos um objeto visual.
[0196] Em uma modalidade, o tela de cinema representa uma superfície espacial de paralaxe zero no espaço 3D; um objeto visual representado por uma imagem de tela de cinema como por trás da tela de cinema apresenta paralaxes positivas; um objeto visual representado pela imagem do cinema como na frente da tela do cinema apresenta paralaxes negativas; a pluralidade de objetos visuais é particionada no primeiro subconjunto próprio de objetos visuais e no um ou mais segundos subconjuntos apropriados de objetos visuais com base em paralaxes individuais de objetos visuais individuais na pluralidade de objetos visuais.
[0197] Em uma modalidade, todos os objetos visuais em um ou mais segundos subconjuntos apropriados de objetos visuais devem ser de paralaxes negativas se um ou mais segundos subconjuntos apropriados de objetos visuais forem renderizados por imagens de tela de cinema renderizadas na tela de cinema.
[0198] Em uma modalidade, pelo menos um objeto visual em um ou mais segundos subconjuntos apropriados de objetos visuais deve ser de paralaxe positiva se um ou mais segundos subconjuntos apropriados de objetos visuais forem renderizados por imagens de tela de cinema renderizadas na tela de cinema.
[0199] Em uma modalidade, o sistema de entretenimento ampliado é ainda configurado para executar: fazer com que dois subconjuntos apropriados diferentes de objetos visuais em um ou mais segundos subconjuntos apropriados de objetos visuais, conforme representado em uma ou mais imagens de dispositivo de camada única, sejam renderizados no exibição do dispositivo em dois diferentes planos de imagem de duas distâncias diferentes para o espectador.
[0200] Em uma modalidade, o visor do dispositivo renderiza as imagens de exibição do dispositivo em um plano de imagem a uma distância que é ajustável com base nos ângulos de convergência do espectador.
[0201] Em uma modalidade, o visor do dispositivo renderiza as imagens de exibição do dispositivo em um plano de imagem de uma distância que é fixa em relação ao espectador.
[0202] Em uma modalidade, o sistema de entretenimento ampliado está ainda configurado para executar: adaptação de uma ou mais imagens de dispositivo de camada única a imagens de exibição de dispositivo usando transformações espaciais com base em uma ou mais posições espaciais específicas ou direções espaciais específicas de um dispositivo vestível que inclui a exibição do dispositivo.
[0203] Em uma modalidade, as transformações espaciais reconstroem um modelo de tensor que foi anteriormente utilizado para gerar a camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo a partir de uma ou mais imagens não estratificadas de múltiplas vistas.
[0204] Em uma modalidade, as imagens de tela de cinema renderizadas no visor de cinema representam uma das seguintes: imagens bidimensionais ou imagens 3D.
[0205] Em uma modalidade, um dispositivo vestível que inclui a tela do dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se registra automaticamente com um sistema de mídia para receber conteúdo de imagem do dispositivo a ser renderizado simultaneamente, enquanto o conteúdo da imagem do cinema é renderizado no tela do cinema. Em uma modalidade, os dispositivos vestíveis que se registram automaticamente no sistema de mídia com base em um ou mais dentre: posições de assento específicas com base em bilhetes emitidos específicos para os espectadores dos dispositivos vestíveis, marcadores fiduciais embutidos no conteúdo de imagem de cinema ou em áreas espaciais em torno da tela de cinema, raios de luz codificados com informações de ID do dispositivo, detecção de localização por radiofrequência (RF), zonas específicas de uma área de público no espaço 3D, etc.
[0206] Em uma modalidade, um dispositivo vestível que inclui o visor do dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se divide em uma pluralidade de zonas em uma área de público no espaço 3D; primeiros dispositivos vestíveis em uma primeira zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo, a partir de um primeiro servidor de conteúdo de imagem de dispositivo (por exemplo, um primeiro renderizador de imagem de dispositivo, etc.); os segundos dispositivos vestíveis em uma segunda zona na pluralidade de zonas recebem o conteúdo da imagem do dispositivo a partir de um segundo servidor de conteúdo da imagem do dispositivo (por exemplo, um segundo renderizador da imagem do dispositivo, etc.).
[0207] Em uma modalidade, o sistema de entretenimento ampliado é ainda configurado para executar: rastreamento de dispositivos vestíveis com conjuntos de sensores de dispositivo que são instalados em um ou mais locais de instalação espacial no local 3D. Em uma modalidade, pelo menos um dos conjuntos de sensores de dispositivos encontra-se no: teto, parede, piso, áreas espaciais perto da tela de cinema, áreas espaciais afastadas da tela de cinema, lugares sentados, costas de bancos, etc. no local 3D.
[0208] Em várias modalidades de exemplo, um aparelho, um sistema, ou um ou mais dispositivos de computação, executam qualquer ou uma parte dos métodos anteriores, conforme descrito. Em uma modalidade, um meio de armazenamento legível por computador não transitório armazena instruções de software, que quando executadas por um ou mais processadores levam ao desempenho de um método como descrito no presente documento.
[0209] Observe que, embora as modalidades separadas sejam discutidas no presente documento, qualquer combinação de modalidades e/ou modalidades parciais discutidas no presente documento podem ser combinadas para formar modalidades adicionais.
[0210] De acordo com uma modalidade, as técnicas descritas no presente documento são implementadas por um ou mais dispositivos de computação para fins especiais. Os dispositivos de computação de finalidade especial podem ser conectados fisicamente para executar as técnicas ou podem incluir dispositivos eletrônicos digitais, como um ou mais circuitos integrados específicos de aplicativos (ASICs) ou matrizes de portas programáveis de campo (FPGAs) que são programados persistentemente para executar técnicas, ou podem incluir um ou mais processadores de hardware de uso geral programados para executar as técnicas de acordo com as instruções do programa em firmware, memória, outro armazenamento ou uma combinação. Esses dispositivos de computação para fins especiais também podem combinar lógica customizada física, ASICs ou FPGAs com programação personalizada para realizar as técnicas. Os dispositivos computacionais de finalidade especial podem ser sistemas de computadores de mesa, sistemas de computadores vestíveis, dispositivos de mão, dispositivos de rede ou qualquer outro dispositivo que incorpora lógica de hardware e/ou de programação para implementar as técnicas.
[0211] Por exemplo, a figura 5 é um diagrama de blocos que ilustra um sistema de computador 500 ,sobre o qual pode ser implementada uma modalidade exemplar da invenção. O sistema de computador 500 inclui um barramento 502 ou outro mecanismo de comunicação para passar informações, e um processador de hardware 504 acoplado com o barramento 502 para processar informações. O processador de hardware 504 pode ser, por exemplo, um microprocessador de uso geral.
[0212] O sistema de computador 500 também inclui uma memória principal 506, tal como uma memória de acesso aleatório (RAM) ou outro dispositivo de armazenamento dinâmico, acoplado ao barramento 502 para armazenar informação e instruções a serem executadas pelo processador 504. A memória principal 506 também pode ser usada para armazenar variáveis temporárias ou outras informações intermediárias durante a execução de instruções a serem executadas pelo processador 504. Tais instruções, quando armazenadas em meios de armazenamento não transitórios acessíveis ao processador 504, tornam o sistema de computador 500 em uma máquina de propósito especial que é personalizada para executar as operações especificadas nas instruções.
[0213] O sistema de computador 500 inclui ainda uma memória apenas de leitura (ROM) 508 ou outro dispositivo de armazenamento estático acoplado ao barramento 502 para armazenar informação estática e instruções para o processador 504.
[0214] Um dispositivo de armazenamento 510, tal como um disco magnético ou disco óptico, RAM de estado sólido é provida e acoplada ao barramento 502 para armazenar informação e instruções.
[0215] O sistema de computador 500 pode ser acoplado via barramento 502 a um visor 512, tal como um visor de cristal líquido, para exibir informação a um usuário de computador. Um dispositivo de entrada 514, incluindo teclas alfanuméricas e outras, é acoplado ao barramento 502 para comunicar informações e comandar as seleções para o processador 504. Outro tipo de dispositivo de entrada do usuário é o controle do cursor 516, tal como um mouse, um trackball ou teclas de direção do cursor para comunicar informação de direção e comandar seleções para o processador 504 e para controlar o movimento do cursor no visor 512. Este dispositivo de entrada tem tipicamente dois graus de liberdade em dois eixos, um primeiro eixo (por exemplo, x) e um segundo eixo (por exemplo, y), que permite ao dispositivo especificar posições em um plano.
[0216] O sistema de computador 500 pode implementar as técnicas descritas no presente documento usando lógica hard-wired personalizada, um ou mais ASICs ou FPGAs, firmware e/ou lógica de programa que em combinação com o sistema de computador provoca ou programa o sistema de computador 500 para ser uma máquina de finalidade especial. De acordo com uma modalidade, as técnicas do presente documento são executadas pelo sistema de computador 500 em resposta ao processador 504 executando uma ou mais sequências de uma ou mais instruções contidas na memória principal 506. Tais instruções podem ser lidas na memória principal 506 a partir de outro meio de armazenamento, tal como o dispositivo de armazenamento 510. A execução das sequências de instruções contidas na memória principal 506 faz com que o processador 504 execute as etapas do processo descritas no presente documento. Em modalidades alternativas, os circuitos com fios podem ser usados em vez de ou em combinação com instruções de software.
[0217] O termo "mídia de armazenamento", como usado no presente documento, se refere a qualquer mídia não transitória que armazena dados e/ou instruções que fazem com que uma máquina funcione de uma maneira específica. Esses meios de armazenamento podem compreender meios não voláteis e/ou meios voláteis. A mídia não volátil inclui, por exemplo, discos ópticos ou magnéticos, como o dispositivo de armazenamento 510. A mídia volátil inclui memória dinâmica, como a memória principal 506. Formas comuns de mídia de armazenamento incluem, por exemplo, um disquete, um disco flexível, disco rígido, unidade de estado sólido, fita magnética ou qualquer outro meio magnético de armazenamento de dados, um CD-ROM, qualquer outro meio de armazenamento óptico de dados, meio com padrões de furos, uma RAM, uma PROM e EPROM, uma FLASH- EPROM, NVRAM, qualquer outro chip ou cartucho de memória.
[0218] A mídia de armazenamento é distinta, mas pode ser usada em conjunto com a mídia de transmissão. A mídia de transmissão participa da transferência de informações entre a mídia de armazenamento. Por exemplo, o meio de transmissão inclui cabos coaxiais, fio de cobre e fibra ótica, incluindo os fios que compreendem o barramento 502. A mídia de transmissão também pode assumir a forma de ondas acústicas ou de luz, como aquelas geradas durante as comunicações de dados de ondas de rádio e infravermelho.
[0219] Várias formas de mídia podem estar envolvidas no transporte de uma ou mais sequências de uma ou mais instruções para o processador 504 para execução. Por exemplo, as instruções podem inicialmente ser transportadas em uma unidade de disco magnético ou de estado sólido de um computador remoto. O computador remoto pode carregar as instruções em sua memória dinâmica e enviar as instruções por uma linha telefônica usando um modem. Um modem local para o sistema de computador 500 pode receber os dados na linha telefônica e usar um transmissor infravermelho para converter os dados em um sinal infravermelho. Um detector infravermelho pode receber os dados transportados no sinal infravermelho e os circuitos apropriados podem colocar os dados no barramento 502. O barramento 502 transporta os dados para a memória principal 506, a partir da qual o processador 504 recupera e executa as instruções. As instruções recebidas pela memória principal 506 podem, opcionalmente, ser armazenadas no dispositivo de armazenamento 510 antes ou após a execução pelo processador 504.
[0220] O sistema de computador 500 também inclui uma interface de comunicação 518 acoplada ao barramento 502. A interface de comunicação 518 fornece um acoplamento de comunicação de dados bidirecional para um enlace de rede 520 que está conectado a uma rede local 522. Por exemplo, a interface de comunicação 518 pode ser uma placa de rede digital de serviços integrados (ISDN), modem de cabo, modem de satélite ou um modem para fornecer uma ligação de comunicação de dados para um tipo de linha telefônica correspondente. Como outro exemplo, a interface de comunicação 518 pode ser uma placa de rede de área local (LAN) para fornecer uma conexão de comunicação de dados para uma LAN compatível. Links sem fio também podem ser implementados. Em qualquer implementação deste tipo, a interface de comunicação 518 envia e recebe sinais elétricos, eletromagnéticos ou ópticos que transportam fluxos de dados digitais representando vários tipos de informação.
[0221] O link de rede 520 normalmente fornece comunicação de dados através de uma ou mais redes para outros dispositivos de dados. Por exemplo, o enlace de rede 520 pode fornecer uma conexão através da rede local 522 para um computador host 524 ou para um equipamento de dados operado por um provedor de serviços de Internet (ISP) 526. O ISP 526, por sua vez, fornece serviços de comunicação de dados através da rede mundial de comunicação de dados em pacotes, agora comumente referida como "Internet" 528. A rede local 522 e a Internet 528 usam sinais elétricos, eletromagnéticos ou ópticos que transportam fluxos de dados digitais. Os sinais através das várias redes e os sinais no link de rede 520 e através da interface de comunicação 518, que transportam os dados digitais de e para o sistema de computador 500, são exemplos de formas de meios de transmissão.
[0222] O sistema de computador 500 pode enviar mensagens e receber dados, incluindo código de programa, através da (s) rede (s), ligação de rede 520 e interface de comunicação 518. No exemplo da Internet, um servidor 530 pode transmitir um código pedido para um programa de aplicação através da Internet 528, ISP 526, rede local 522 e interface de comunicação 518.
[0223] O código recebido pode ser executado pelo processador 504 à medida que é recebido e/ou armazenado no dispositivo de armazenamento 510, ou outro armazenamento não volátil para execução posterior.
[0224] No relatório descritivo anterior, modalidades exemplares da invenção foram descritas com referência a inúmeros detalhes específicos que podem variar de implementação à implementação. Assim, o indicador único e exclusivo do que é a invenção, e é pretendido pelos requerentes como sendo a invenção, é o conjunto de reivindicações que são emitidas a partir deste pedido, na forma específica em que tais reivindicações são emitidas, incluindo qualquer correção subsequente. Quaisquer definições expressamente estabelecidas neste documento para os termos contidos em tais reivindicações devem reger o significado de tais termos usados nas reivindicações. Assim, nenhuma limitação, elemento, propriedade, característica, vantagem ou atributo que não seja expressamente recitado em uma reivindicação deve limitar o escopo de tal reivindicação de qualquer forma. O relatório descritivo e os desenhos devem, portanto, ser considerados em um sentido mais ilustrativo do que restritivo.
Claims (14)
1. Método, CARACTERIZADO pelo fato de que compreende: receber (452) um sinal de vídeo de múltiplas vistas de múltiplas camadas, compreendendo uma ou mais imagens de cinema de camada única (176-1) em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única (176-2, 176-3) em uma ou mais camadas de imagem de dispositivo, as imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única nas uma ou mais camadas de imagem de dispositivo sendo previamente derivadas a partir de uma ou mais imagens múltiplas vistas não estratificadas (unlayered); recuperar (454), a partir da camada de imagem de cinema do sinal de vídeo de múltiplas vistas de múltiplas camadas, a uma ou mais imagens de cinema de camada única, a uma ou mais imagens de cinema de camada única ilustrando um primeiro subconjunto adequado de um ou mais objetos visuais (118) em uma pluralidade de objetos visuais como originalmente ilustrados por uma ou mais imagens de múltiplas vistas não estratificadas; recuperar (456), a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo de múltiplas vistas de múltiplas camadas, a uma ou mais imagens de dispositivo de camada única, a uma ou mais imagens de dispositivo ilustrando um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais (120) na pluralidade de objetos visuais como originalmente ilustrado pela uma ou mais imagens de múltiplas vistas não estratificadas; causar (458) o primeiro subconjunto apropriado de objetos visuais, conforme ilustrado na uma ou mais imagens de cinema de camada única, a ser renderizado (rendered) a um espectador (112-0, 112-1, 112-2) em uma tela de cinema (104) em um espaço 3D (126); causar (460) o um ou mais segundos subconjuntos apropriados de objetos visuais, conforme ilustrados na uma ou mais imagens de dispositivo de camada única, a serem renderizados concomitantemente ao espectador em um visor de dispositivo (device display) (116, 116-1, 116-2) no espaço 3D; em que o primeiro subconjunto apropriado de objetos visuais conforme renderizados na tela de cinema e o um ou mais segundos subconjuntos apropriados de objetos visuais conforme renderizados no visor de dispositivo ilustram coletivamente a pluralidade de objetos visuais localizados nas mesmas localizações espaciais em um espaço de imagem 3D (196), conforme originalmente ilustrados pelas uma ou mais imagens de múltiplas vistas não estratificadas; em que informações espaciais descrevendo as localizações espaciais no espaço de imagem 3D no qual a pluralidade de objetos visuais está localizada era previamente utilizada para particionar a pluralidade de objetos visuais, conforme originalmente ilustrado pelas uma ou mais imagens de múltiplas vistas não estratificadas, na camada de imagem de cinema e nas uma ou mais camadas de imagem de dispositivo.
2. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o visor de dispositivo é espacialmente móvel com um ou mais graus de liberdade em relação a tela de cinema.
3. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o visor de dispositivo é usado por um dispositivo vestível (102-1, 102-2) para renderizar imagens; e em que visor de dispositivo está fixado espacialmente em relação ao dispositivo vestível.
4. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a tela de cinema no espaço 3D é utilizada para definir uma superfície de separação de camadas (194, 194-1, 194-2, 194-3) no espaço de imagem 3D; e em que a pluralidade de objetos visuais é particionada no primeiro subconjunto apropriado de objetos visuais e o um ou mais segundos subconjuntos apropriados de objetos visuais com base, pelo menos em parte, em relações espaciais da pluralidade de objetos visuais em relação à superfície de separação de camadas, em que opcionalmente: o um ou mais segundos subconjuntos apropriados de objetos visuais são selecionados dentre a pluralidade de objetos visuais com base nas distâncias espaciais para a superfície de separação de camadas, ou pelo menos um objeto visual dentre a pluralidade de objetos visuais atravessa a superfície de separação da camada; em que o primeiro subconjunto apropriado de objetos visuais inclui uma porção do pelo menos um objeto visual; e em que o um ou mais segundos subconjuntos apropriados de objetos visuais incluem uma parte restante do pelo menos um objeto visual.
5. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a tela de cinema representa uma superfície espacial de paralaxe zero no espaço 3D; em que um objeto visual representado por uma imagem de tela de cinema como por trás da tela de cinema possui paralaxes positivas; em que um objeto visual representado pela imagem de exibição do cinema como em frente da tela de cinema é de paralaxes negativas; e em que a pluralidade de objetos visuais é particionada no primeiro subconjunto apropriado de objetos visuais e um ou mais segundos subconjuntos apropriados de objetos visuais com base nas paralaxes individuais de objetos visuais individuais na pluralidade de objetos visuais, em que, opcionalmente: todos objetos visuais no um ou mais segundos subconjuntos apropriados de objetos visuais devem ser de paralaxes negativas se os um ou mais segundos subconjuntos apropriados de objetos visuais devessem ser renderizados por imagens de tela de cinema renderizadas na tela de cinema, ou pelo menos um objeto visual no um ou mais segundos subconjuntos apropriados de objetos visuais deve ser de paralaxe positiva se o um ou mais segundos subconjuntos apropriados de objetos visuais fossem renderizados por imagens de tela de cinema renderizadas na tela de cinema.
6. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que compreende ainda: fazer com que dois subconjuntos apropriados diferentes de objetos visuais nos um ou mais segundos subconjuntos apropriados de objetos visuais, como representado nas uma ou mais imagens de dispositivo de camada única a serem apresentadas no visor do dispositivo em dois diferentes planos de imagem de duas distâncias diferentes para o espectador.
7. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ao visor de dispositivo renderiza (renders) imagens de visor de dispositivo em um plano de imagem de uma distância que é sintonizável com base nos ângulos de vergência do espectador.
8. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o visor de dispositivo renderiza imagens de visor de dispositivo em um plano de imagem de uma distância que é fixada em relação ao espectador.
9. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que compreende ainda adaptar a uma ou mais imagens de dispositivo de camada única nas imagens de visor de dispositivo utilizando transformações espaciais com base em uma ou mais de: posições espaciais específicas ou direções espaciais específicas (p1, a1, p2, a2), de um dispositivo vestível que inclui o visor de dispositivo, em que opcionalmente, as transformações espaciais reconstroem um modelo de tensor que foi previamente utilizado para gerar a camada de imagem de cinema e a uma ou mais camadas de imagem de dispositivo a partir de uma ou mais imagens de múltiplas vistas não estratificadas.
10. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que um dispositivo vestível que inclui o visor de dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que registram automaticamente com um sistema de mídia para receber conteúdo de imagem de dispositivo a ser concomitantemente renderizado, enquanto conteúdo de imagem de cinema está sendo renderizado na tela de cinema, em que opcionalmente, os dispositivos vestíveis que se registram automaticamente com o sistema de mídia com base em uma ou mais dentre: posições de assentos específicas com base em bilhetes emitidos específicos para telespectadores dos dispositivos vestíveis, marcadores fiduciais incorporados no conteúdo de imagem de cinema ou nas áreas espaciais circunvizinhas à tela de cinema, raios de luz codificados com informações de ID de dispositivo, detecção de localização por radiofrequência (RF) ou zonas específicas (328) de uma área de audiência (324) no espaço 3D.
11. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que um dispositivo vestível que inclui o visor de dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se dividem em uma pluralidade de zonas em uma área de audiência no espaço 3D; em que os primeiros dispositivos vestíveis em uma primeira zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo a partir de um primeiro servidor de conteúdo de imagem de dispositivo; em que segundos dispositivos vestíveis em uma segunda zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo a partir de um segundo servidor de conteúdo de imagem de dispositivo.
12. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que compreende ainda rastrear dispositivos vestíveis com conjuntos de sensores de dispositivo (124) que são instalados em um ou mais locais de instalação espacial no local 3D, em que opcionalmente, pelo menos um dos conjuntos de sensores de dispositivo está em um dentre: teto, parede, piso, áreas espaciais próximas da tela de cinema, áreas espaciais longe da tela de cinema, espaços de assentos (326) ou encostos de assentos, no local 3D.
13. Mídia de armazenamento legível por computador não transitória, armazenando instruções de método, CARACTERIZADO pelo fato de que, quando executadas por um ou mais processadores, causam o desempenho do método conforme definido em qualquer uma das reivindicações 1 a 12.
14. Dispositivo de computação, CARACTERIZADO pelo fato de que compreende um ou mais processadores e uma ou mais mídias de armazenamento, armazenando um conjunto de instruções, que quando executadas por um ou mais processadores causam a realização do método conforme definido em qualquer uma das reivindicações 1 a 12.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762484121P | 2017-04-11 | 2017-04-11 | |
| US62/484.121 | 2017-04-11 | ||
| PCT/US2018/026974 WO2018191312A1 (en) | 2017-04-11 | 2018-04-10 | Layered augmented entertainment experiences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112019016820A2 BR112019016820A2 (pt) | 2020-04-07 |
| BR112019016820B1 true BR112019016820B1 (pt) | 2022-05-24 |
Family
ID=62092275
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112019016820-6A BR112019016820B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
| BR122021006807-0A BR122021006807B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR122021006807-0A BR122021006807B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US10991164B2 (pt) |
| EP (2) | EP3988187B1 (pt) |
| JP (3) | JP6654275B1 (pt) |
| KR (3) | KR102279143B1 (pt) |
| CN (3) | CN113660539B (pt) |
| BR (2) | BR112019016820B1 (pt) |
| ES (1) | ES2902979T3 (pt) |
| PL (1) | PL3610654T3 (pt) |
| RU (2) | RU2743518C2 (pt) |
| WO (1) | WO2018191312A1 (pt) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108693970B (zh) | 2017-04-11 | 2022-02-18 | 杜比实验室特许公司 | 用于调适可穿戴装置的视频图像的方法和设备 |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US11095927B2 (en) * | 2019-02-22 | 2021-08-17 | The Nielsen Company (Us), Llc | Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity |
| TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
| US11743559B2 (en) * | 2021-01-05 | 2023-08-29 | Mediatek Singapore Pte. Ltd. | Methods and systems for derived immersive tracks |
| US12101197B1 (en) * | 2021-07-06 | 2024-09-24 | Apple Inc. | Temporarily suspending spatial constraints |
| EP4383700A1 (en) * | 2021-09-13 | 2024-06-12 | Samsung Electronics Co., Ltd. | Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor |
| US20230245373A1 (en) * | 2022-01-28 | 2023-08-03 | Samsung Electronics Co., Ltd. | System and method for generating a three-dimensional photographic image |
Family Cites Families (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
| KR100614419B1 (ko) * | 1998-02-20 | 2006-08-21 | 딥 비디오 이미징 리미티드 | 다층 디스플레이 |
| US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
| JP3363861B2 (ja) * | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| US7580378B2 (en) | 2000-06-06 | 2009-08-25 | Alien Technology Corporation | Distance/ranging determination using relative phase data |
| KR20030029649A (ko) * | 2000-08-04 | 2003-04-14 | 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 | 화상 변환 및 부호화 기술 |
| US6803912B1 (en) * | 2001-08-02 | 2004-10-12 | Mark Resources, Llc | Real time three-dimensional multiple display imaging system |
| US20030038922A1 (en) * | 2001-08-22 | 2003-02-27 | Ferrell Stanford L. | Apparatus and method for displaying 4-D images |
| CN100551083C (zh) | 2003-01-20 | 2009-10-14 | 三洋电机株式会社 | 立体观察用图像提供方法和立体图像显示装置 |
| EP1712981A1 (en) * | 2005-04-15 | 2006-10-18 | Herman Bailey | Interactive augmented reality system |
| US20070035542A1 (en) * | 2005-07-27 | 2007-02-15 | Mediapod Llc | System, apparatus, and method for capturing and screening visual images for multi-dimensional display |
| CN101292516A (zh) * | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
| US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
| US7679641B2 (en) | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
| CA2680724C (en) | 2007-03-16 | 2016-01-26 | Thomson Licensing | System and method for combining text with three-dimensional content |
| WO2009148422A1 (en) * | 2008-06-06 | 2009-12-10 | Thomson Licensing | System and method for similarity search of images |
| KR20110039537A (ko) * | 2008-07-21 | 2011-04-19 | 톰슨 라이센싱 | 3ｄ 비디오 신호들을 위한 멀티 표준 코딩 장치 |
| CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| JP4560143B2 (ja) * | 2009-01-19 | 2010-10-13 | パナソニック株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、及び集積回路 |
| CN104768031B (zh) * | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | 用于视频解码的装置 |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| WO2010146847A1 (ja) * | 2009-06-17 | 2010-12-23 | パナソニック株式会社 | ３ｄ映像を再生するための情報記録媒体、及び再生装置 |
| KR20110018261A (ko) | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
| US9049431B2 (en) | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
| US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| KR101797495B1 (ko) | 2010-06-27 | 2017-11-15 | 엘지전자 주식회사 | 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법 |
| CN101894267B (zh) * | 2010-07-06 | 2012-07-18 | 清华大学 | 一种三维对象特征视图选取方法 |
| WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| CA2827621C (en) * | 2011-03-18 | 2019-02-26 | Sony Corporation | Image processing apparatus and image processing method |
| BR112014002234B1 (pt) * | 2011-07-29 | 2022-01-25 | Hewlett-Packard Delopment Company, L.P. | Sistema e método de estratificação visual |
| US20130038685A1 (en) * | 2011-08-12 | 2013-02-14 | Alcatel-Lucent Usa Inc. | 3d display apparatus, method and structures |
| US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| EP2767041A4 (en) * | 2011-10-11 | 2015-05-06 | Timeplay Entertainment Corp | SYSTEMS AND METHODS FOR INTERACTIVE EXPERIENCES AND CONTROLLINGS THEREFOR |
| KR101872864B1 (ko) | 2011-12-19 | 2018-06-29 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
| WO2013096052A2 (en) | 2011-12-19 | 2013-06-27 | Dolby Laboratories Licensing Corporation | Highly-extensible and versatile personal display |
| KR101654750B1 (ko) | 2012-03-12 | 2016-09-06 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 3d 시각적 다이나믹 레인지 코딩 |
| WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
| US9483853B2 (en) * | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
| KR101649660B1 (ko) | 2012-07-06 | 2016-08-19 | 엘지전자 주식회사 | 3d 객체에 대한 시각적 안정감을 증가시키는 단말 및 단말의 제어방법 |
| US20150213649A1 (en) * | 2012-07-27 | 2015-07-30 | Nec Solutions Innovators, Ltd. | Three-dimensional environment sharing system and three-dimensional environment sharing method |
| US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| JP2016502379A (ja) * | 2013-01-04 | 2016-01-21 | サムスン エレクトロニクス カンパニー リミテッド | 位相差を考慮した映像アップサンプリングを利用するスケーラブルビデオ符号化方法及びその装置、並びにスケーラブルビデオ復号化方法及びその装置 |
| US8951071B2 (en) | 2013-03-15 | 2015-02-10 | Apple Inc. | Contact-support mechanism for increased retention force |
| US10019057B2 (en) * | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| US9679369B2 (en) * | 2013-09-12 | 2017-06-13 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
| US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
| CA2942292A1 (en) * | 2014-03-11 | 2015-09-17 | Samsung Electronics Co., Ltd. | Depth image prediction mode transmission method and apparatus for encoding and decoding inter-layer video |
| JP2015210580A (ja) * | 2014-04-24 | 2015-11-24 | エイディシーテクノロジー株式会社 | 表示システム及びウェアラブル機器 |
| WO2015194915A1 (ko) * | 2014-06-20 | 2015-12-23 | 삼성전자 주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| US10593113B2 (en) * | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
| JP6394174B2 (ja) * | 2014-08-19 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム |
| US20160103330A1 (en) | 2014-10-10 | 2016-04-14 | 3DOO, Inc. | System and method for adjusting parallax in three-dimensional stereoscopic image representation |
| US9576399B2 (en) * | 2014-12-23 | 2017-02-21 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US20170038598A1 (en) * | 2015-03-04 | 2017-02-09 | Jay Song | Adjustable optical stereoscopic glasses |
| EP3265868A4 (en) | 2015-03-04 | 2018-11-14 | Song, Jay | Adjustable optical stereoscopic glasses |
| CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
| US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
| US10070118B2 (en) * | 2015-09-17 | 2018-09-04 | Lumii, Inc. | Multi-view displays and associated systems and methods |
| US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
| CN106534830B (zh) * | 2016-10-10 | 2019-04-26 | 上海蒙彤文化传播有限公司 | 一种基于虚拟现实的影院播放系统 |
| US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
| JP2018142162A (ja) * | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| CN108693970B (zh) | 2017-04-11 | 2022-02-18 | 杜比实验室特许公司 | 用于调适可穿戴装置的视频图像的方法和设备 |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
| CN109996055B (zh) * | 2017-12-06 | 2022-08-12 | 杜比实验室特许公司 | 位置零时延 |
-
2018
- 2018-04-10 BR BR112019016820-6A patent/BR112019016820B1/pt active IP Right Grant
- 2018-04-10 RU RU2020117045A patent/RU2743518C2/ru active
- 2018-04-10 JP JP2019544632A patent/JP6654275B1/ja active Active
- 2018-04-10 CN CN202110930851.6A patent/CN113660539B/zh active Active
- 2018-04-10 RU RU2019124450A patent/RU2722495C1/ru active
- 2018-04-10 EP EP21206636.9A patent/EP3988187B1/en active Active
- 2018-04-10 KR KR1020207027477A patent/KR102279143B1/ko active IP Right Grant
- 2018-04-10 CN CN202110931373.0A patent/CN113709439B/zh active Active
- 2018-04-10 EP EP18721565.2A patent/EP3610654B1/en active Active
- 2018-04-10 WO PCT/US2018/026974 patent/WO2018191312A1/en active Application Filing
- 2018-04-10 PL PL18721565T patent/PL3610654T3/pl unknown
- 2018-04-10 CN CN201880011840.4A patent/CN111406412B/zh active Active
- 2018-04-10 KR KR1020207006343A patent/KR102161734B1/ko active IP Right Grant
- 2018-04-10 BR BR122021006807-0A patent/BR122021006807B1/pt active IP Right Grant
- 2018-04-10 KR KR1020197023910A patent/KR102087414B1/ko active IP Right Grant
- 2018-04-10 ES ES18721565T patent/ES2902979T3/es active Active
- 2018-04-10 US US16/604,118 patent/US10991164B2/en active Active
-
2020
- 2020-01-29 JP JP2020012509A patent/JP6932796B2/ja active Active
-
2021
- 2021-04-26 US US17/240,954 patent/US11361520B2/en active Active
- 2021-08-18 JP JP2021133460A patent/JP7263451B2/ja active Active
-
2022
- 2022-04-28 US US17/731,770 patent/US11893700B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112019016820B1 (pt) | Método para experiências de entretenimento aumentadas em camadas | |
| US11368669B2 (en) | Generating stereoscopic light field panoramas using concentric viewing circles | |
| US20200320734A1 (en) | Passive Multi-Wearable-Devices Tracking | |
| US11882267B2 (en) | Adapting video images for wearable devices | |
| US20240031614A1 (en) | Streaming panoramic video of a scene from multiple viewpoints | |
| RU2828276C2 (ru) | Восприятия многослойных дополненных развлечений | |
| US20190052868A1 (en) | Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 10/04/2018, OBSERVADAS AS CONDICOES LEGAIS |