BR112019016820A2 - experiências de entretenimento aumentadas em camadas - Google Patents
experiências de entretenimento aumentadas em camadas Download PDFInfo
- Publication number
- BR112019016820A2 BR112019016820A2 BR112019016820A BR112019016820A BR112019016820A2 BR 112019016820 A2 BR112019016820 A2 BR 112019016820A2 BR 112019016820 A BR112019016820 A BR 112019016820A BR 112019016820 A BR112019016820 A BR 112019016820A BR 112019016820 A2 BR112019016820 A2 BR 112019016820A2
- Authority
- BR
- Brazil
- Prior art keywords
- image
- images
- cinema
- spatial
- visual objects
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 247
- 238000009877 rendering Methods 0.000 claims abstract description 41
- 239000010410 layer Substances 0.000 claims description 242
- 239000002356 single layer Substances 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 90
- 238000000926 separation method Methods 0.000 claims description 46
- 238000009826 distribution Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012800 visualization Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 7
- 238000000844 transformation Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 239000002365 multiple layer Substances 0.000 claims 2
- 238000012216 screening Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000014616 translation Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001886 ciliary effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
informações espaciais que descrevem localizações espaciais de objetos visuais como em um espaço de imagem tridimensional (3d), conforme representado em uma ou mais imagens não estratificadas de múltiplas visualizações, são acessadas. com base na informação espacial, uma camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo são geradas a partir de uma ou mais imagens não estratificadas de múltiplas visualizações. um sinal de vídeo de múltiplas camadas, múltiplas visualizações compreendendo a camada de imagem de cinema e as camadas de imagem do dispositivo é enviado para dispositivos a jusante para renderização.
Description
EXPERIÊNCIAS DE ENTRETENIMENTO AUMENTADAS EM CAMADAS REFERÊNCIA CRUZADA AO PEDIDO CORRELATO [001] Este pedido reivindica o benefício de prioridade para o Pedido Provisório US n° 62/484.121, depositado em 11 de abril de 2017, que é incorporado ao presente documento como referência em sua totalidade.
TECNOLOGIA [002] A presente invenção se refere, de modo geral, às experiências de entretenimento tridimensionais (3D) e, em particular, às experiências de entretenimento 3D ampliadas em camadas.
ANTECEDENTES [003] Ao visualizar um objeto do mundo real em uma cena do mundo real, o cérebro humano usa um processo de acomodação para controlar os músculos ciliares, de modo a adaptar cada uma das lentes localizadas atrás das pupilas nos dois olhos a certas distâncias focais (ou potências) para focalizar o objeto do mundo real. Ao mesmo tempo, o cérebro humano usa um processo de vergência, de modo a controlar os músculos extraoculares para convergirem ou divergirem simultaneamente os dois olhos em direção ao objeto do mundo real, a fim de suportar a percepção do objeto do mundo real como um objeto 3D.
[004] A título de comparação, ao visualizar um objeto representado em imagens tridimensionais, o cérebro humano utiliza um processo de acomodação para controlar os músculos ciliares, de modo a fixar as lentes dos olhos do espectador a fim de focalizar uma exibição (por exemplo, cinema, etc.) para suportar a vista clara das imagens 3D renderizadas na tela, independentemente de onde o objeto representado nas imagens 3D deve estar localizado. Ao mesmo tempo, o cérebro humano usa um processo de vergência para controlar os músculos extraoculares para simultaneamente convergirem ou divergirem os olhos em direção ao objeto representado nas imagens 3D, a fim de suportar a percepção do objeto
Petição 870190078464, de 13/08/2019, pág. 11/122
2/85 representado como um objeto 3D.
[005] Se o objeto representado é de uma paralaxe negativa relativamente grande e, portanto, é visualmente percebido como relativamente próximo dos olhos na frente da tela, o processo de acomodação ainda tenta fixar os olhos na tela, enquanto o processo de convergência busca convergir ou divergir os olhos para o objeto representado a uma distância relativamente próxima, causando assim um conflito de acomodação e vergência. Esse conflito de acomodação e vergência na visualização de imagens em 3D é propenso a causar sérios desconfortes fisiológicos/doenças; portanto, raramente são usadas paralaxes negativas relativamente grandes, especialmente para experiências de entretenimento do cinema 3D.
[006] As abordagens descritas nesta seção são abordagens que podem ser buscadas, mas não necessariamente abordagens que foram previamente concebidas ou buscadas. Portanto, salvo indicação em contrário, não se deve presumir que qualquer uma das abordagens descritas nesta seção se qualifique como técnica anterior meramente em virtude de sua inclusão nesta seção. Da mesma forma, as questões identificadas com relação a uma ou mais abordagens não devem presumir que foram reconhecidas em qualquer técnica anterior com base nesta seção, a menos que indicado de outra forma.
BREVE DESCRIÇÃO DOS DESENHOS [007] A presente invenção é ilustrada a título de exemplo, e não como limitação, nas figuras dos desenhos anexos e nos quais números de referência semelhantes se referem a elementos semelhantes e em que:
[008] A figura 1A ilustra exemplos de objetos visuais 3D representados em uma imagem com múltiplas visualizações; a figura 1B através da figura 1E ilustra um exemplo de espaço 3D, em que um espectador deve visualizar a pluralidade de objetos visuais, como representados na imagem de multivisão, com uma tela de
Petição 870190078464, de 13/08/2019, pág. 12/122
3/85 cinema e um dispositivo de exibição de um dispositivo vestivel;
[009] A figura IF ilustra um exemplo de distribuição de pixels 3D derivada de um mapa tensorial; a figura 1G ilustra exemplos de imagens de camada única da imagem de visualização sem camada gerada com base em um mapa tensorial; figura 1H ilustra um mapa tensorial reconstruído em operações de renderização de imagem;
[010] As figuras 2A à 2C ilustram configurações de exemplo de um sistema de entretenimento ampliado;
[011] A figura 3A e figura 3B ilustram exemplos de ambientes de vários espectadores, nos quais uma tela de cinema serve como uma exibição compartilhada para múltiplos espectadores;
[012] A figura 4A e figura 4B ilustram exemplos de fluxos de processo; e a figura 5 ilustra um exemplo de plataforma de hardware em que um computador ou um dispositivo de computação, conforme descrito no presente documento, pode ser implementado.
DESCRIÇÃO DE MODALIDADES EXEMPLARES [013] Modalidades exemplares, que se relacionam com experiências de entretenimento 3D ampliadas em camadas são descritas no presente documento. Na descrição que se segue, para fins de explicação, são apresentados vários pormenores específicos, de modo a proporcionar uma compreensão completa da presente invenção. Será evidente, no entanto, que a presente invenção pode ser praticada sem estes detalhes específicos. Em outros casos, estruturas e dispositivos bem conhecidos não são descritos em detalhes exaustivos, a fim de evitar oclusão, obscurecimento ou ofuscação desnecessário da presente invenção.
[014] Modalidades exemplares são descritas no presente documento de acordo com a estrutura que se segue:
1. VISÃO GERAL
Petição 870190078464, de 13/08/2019, pág. 13/122
4/85
2. EXPERIÊNCIA DE ENTRETENIMENTO AMPLIADA
3. GERAÇÃO DE IMAGEM EM CAMADAS
4. MAPA DO TENSOR
5. CODIFICADOR DE IMAGEM EM CAMADAS E SISTEMA DE ENTRETENIMENTO DE AMPLIADO
6. FLUXOS DE PROCESSO EXEMPLAR
7. VISTA GERAL DOS MECANISMOS DE IMPLEMENTAÇÃO HARDWARE
8. EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DIVERSOS
1. VISÃO GERAL [015] Esta vista geral apresenta uma descrição básica de alguns aspectos de uma modalidade exemplificativa da presente invenção. Deve ser observado que esta vista geral não é um resumo extenso ou exaustivo de aspectos da modalidade exemplificativa. Além disso, deve ser notado que esta vista geral não se destina a ser entendida como identificando quaisquer aspectos ou elementos particularmente significativos da modalidade exemplar, nem como delineando qualquer âmbito da modalidade exemplificativa em particular, nem a invenção em geral. Esta vista geral apresenta, apenas, alguns conceitos que se relacionam com a modalidade exemplar em um formato condensado e simplificado, e deve ser entendida como meramente um prelúdio conceituai para uma descrição mais detalhada de modalidades exemplares que seguem abaixo. Deve ser observado que, embora as modalidades separadas sejam discutidas no presente documento, qualquer combinação de modalidades e/ou modalidades parciais discutidas no presente documento podem ser combinadas para formar modalidades adicionais.
[016] As técnicas descritas no presente documento podem ser usadas com tecnologias 3D para fornecer experiências de entretenimento ampliadas, em que um espectador pode usar uma combinação de um visor compartilhado e um visor de
Petição 870190078464, de 13/08/2019, pág. 14/122
5/85 dispositivo individual do dispositivo vestível do espectador, para exibir imagens que retratam objetos 3D em um espaço de imagem unificado. Como exemplo, mas não como limitação, a exibição compartilhada pode ser uma tela de cinema, como uma associada a qualquer um dentre: Dolby 3D, RealD, 3D com base em polarização linear, 3D com base em polarização circular, 3D com base em separação espacial espectral etc. O visor do dispositivo vestível pode ser um visor móvel em relação ao visor compartilhado, como uma associado a um projetor de imagem, um visor AR, um visor HoloLens, um visor de Magic Leap, um visor de Realidade Mista (MR), um visor tensor, um visor volumétrico, um visor de campo de luz (LF), um visor Immy, um visor Meta, um par relativamente simples de óculos AR, um visor com qualquer um em uma ampla gama de capacidades de superar o conflito de acomodaçãovergência, etc. Exemplos de dispositivos vestíveis e visores de dispositivos podem ser encontrados no Pedido de Patente US Número 15/945.237 AUGMENTED 3D ENTERTAINMENT SYSTEMS de Ajit Ninan e Neil Mammen, depositado em 4 de abril de 2018, cujo conteúdo total é incorporado como referência como se estivesse totalmente estabelecido neste documento.
[017] Imagens de cinema 2D ou 3D podem ser exibidas na tela do cinema. Um espectador que esteja assistindo às imagens do cinema pode ver simultaneamente (ou perceber visualmente) objetos 3D adicionais ou informações adicionais de profundidade 3D, em imagens de dispositivos renderizadas nas telas dos dispositivos. Alguns dos objetos 3D adicionais representados nas imagens do dispositivo podem parecer estar fora da tela do cinema na frente do espectador. O espectador pode rastrear qualquer um desses objetos 3D como se esse objeto 3D estivesse realmente presente em um espaço 3D (físico), no qual o espectador está localizado. À medida que o espectador se desloca ao redor do objeto 3D, o espectador pode ver detalhes visuais anteriormente oclusos do objeto 3D com uma dimensão adicionada/ampliada ou profundidade de realismo. Assim, através da
Petição 870190078464, de 13/08/2019, pág. 15/122
6/85 combinação das imagens do dispositivo e das imagens do cinema, o espectador pode obter uma sensação (por exemplo, psicovisual, psicofísica, etc.) do objeto flutuando ao ver uma paralaxe diferente em resposta aos movimentos da cabeça do espectador.
[018] O visor do dispositivo pode ser configurado para estar virtual ou fisicamente localizado relativamente próximo do espectador em um ou mais planos de imagem. Assim, mesmo quando o espectador está visualizando os objetos 3D representados nas imagens do dispositivo que podem estar localizados relativamente próximos ao espectador, em comparação com os objetos representados nas imagens de cinema, os objetos 3D representados nas imagens do dispositivo ainda apresentam paralaxe positiva em relação ao visor do dispositivo (ou os planos de imagem associados ao visor do dispositivo) nos quais as imagens do dispositivo são renderizadas. Assim, o conflito de acomodação-convergência que seria causado sob outras abordagens pode ser evitado ou muito melhorado com as técnicas descritas no presente documento. O visor do dispositivo pode exibir ou projetar imagens de exibição do dispositivo em um único plano de imagem de uma única distância ou em vários planos de imagem de várias distâncias diferentes (por exemplo, por meio de mutiplexação por divisão de tempo, etc.) na frente do espectador. Essas distâncias dos planos de imagem podem ser fixas ou ajustáveis automaticamente. Exemplos de visores de dispositivos com plano (s) de imagem de distância (s) autoajustável podem ser encontrados no Pedido de Patente US número 15/798,274 intitulado EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES depositado em 30 outubro 2017, o conteúdo total do mesmo sendo incorporado como referência ao presente documento.
[019] Assim, um dispositivo vestível de acordo com técnicas como descritas no presente documento oferece ao espectador pelo menos dois planos de imagem de diferentes profundidades, em que as imagens de cinema e do dispositivo são
Petição 870190078464, de 13/08/2019, pág. 16/122
7/85 renderizadas de forma síncrona. Um primeiro plano de imagem dos pelo menos dois planos de imagem corresponde ao da tela de cinema, enquanto um ou mais segundos planos de imagem dos pelo menos dois planos de imagem correspondem aos do visor do dispositivo.
[020] Os objetos visuais representados em imagens de múltiplas visualizações não estratificadas (por exemplo, pré-camadas, não estratifiçadas, monolíticas, unitárias, etc.) podem estar localizados virtualmente em várias localizações espaciais em um espaço de imagem 3D representado nas imagens com múltiplas visualizações. Como empregado no presente documento, uma imagem não estratificada com múltiplas visualizações se refere a uma imagem com múltiplas visualizações, à qual as operações de geração de imagens em camadas devem ser aplicadas.
[021] Com base nas localizações espaciais, os objetos visuais representados nas imagens não visualizadas de múltiplas visualizações podem ser divididos em diferentes camadas de imagem. Para cada imagem não em camada de múltiplas visualizações, cada uma das camadas de imagem compreende imagens de camada única representando um subconjunto dos objetos visuais.
[022] Entre as diferentes camadas de imagem, uma camada de imagem de cinema pode compreender imagens de camada única representando um subconjunto de objetos visuais em imagens não estratificadas com múltiplas visualizações que estão relativamente longe de um espectador em um local de referência espacial como aqueles próximos ou atrás da tela de cinema. Uma ou mais camadas de imagem de dispositivo podem compreender imagens de camada única representando um ou mais subconjuntos de objetos visuais nas imagens não estratificadas de múltiplas visualizações que estão relativamente próximas do espectador na localização espacial de referência, como aquelas que aparentam ser exibidas na frente do espectador fora da tela do cinema.
Petição 870190078464, de 13/08/2019, pág. 17/122
8/85 [023] As imagens de camada única na camada de imagem de cinema podem ser usadas para derivar as imagens da tela de cinema a serem renderizadas na tela de cinema, enquanto as imagens de camada única nas camadas de imagem do dispositivo podem ser usadas para derivar as imagens de exibição do dispositivo que devem ser renderizados com o visor do dispositivo vestível. O espaço da imagem 3D pode ser ancorado ou projetado no espaço físico 3D usando a parte do espaço da imagem 3D representada nas imagens da tela do cinema renderizadas na tela do cinema. As outras porções do espaço de imagem 3D representadas nas imagens de exibição do dispositivo podem ser transformadas espacialmente para se unirem perfeitamente à porção do espaço de imagem 3D representada nas imagens de tela de cinema. Diferentes transformações espaciais podem ser aplicadas a diferentes dispositivos vestíveis, dependendo das respectivas localizações espaciais e/ou direções espaciais dos dispositivos vestíveis, de modo que as outras partes do espaço da imagem 3D, como representadas individualmente nos diferentes dispositivos vestíveis, possam ser unidas com a parte do espaço da imagem 3D retratada nas imagens da tela do cinema.
[024] Um único renderizador de imagens ou vários renderizadores de imagens podem ser usados para conduzir simultaneamente operações de renderização de imagem de cinema e operações de renderização de imagem do dispositivo. Vários espectadores presentes no espaço 3D (por exemplo, um cinema, uma sala de cinema, etc.) podem registrar seus dispositivos vestíveis com os participantes da imagem para experimentar uma sessão de entretenimento ampliada.
[025] Em algumas modalidades, os dispositivos vestíveis podem ser registrados automaticamente. Por exemplo, um rastreador de dispositivos pode ser implantado no espaço 3D para rastrear/monitorar posições espaciais e direções espaciais dos dispositivos vestíveis no espaço 3D. Além disso, opcional ou
Petição 870190078464, de 13/08/2019, pág. 18/122
9/85 alternativamente, o rastreador de dispositivo pode obter informações de ID do dispositivo para os dispositivos vestíveis, como endereços MAC, endereços de rede, endereços IP, etc., por meio de rastreamento/monitoramento de dispositivos remotos. As informações de ID do dispositivo, posições espaciais e direções espaciais dos dispositivos vestíveis podem ser usadas para registrar os dispositivos vestíveis e para liberar imagens de exibição do dispositivo aos dispositivos vestíveis registrados nos endereços MAC, endereços de rede, endereços IP, etc. Exemplos de rastreadores de dispositivos podem ser encontrados no Pedido de Patente US número 15/949.536, com intitulado PASSIVE MULTI-WEARABLE-DEVICES TRACKING de Ajit Ninan e Neil Mammen, depositado em 10 de abril de 2018, cujo conteúdo total é deste modo incorporado como referência como se estivesse totalmente estabelecido neste documento.
[026] De acordo com as técnicas descritas no presente documento, múltiplas imagens de visores, derivadas de diferentes camadas de imagem podem ser renderizadas simultaneamente na tela do dispositivo e na tela do cinema, e podem fornecer ou reconstruir uma aparência perfeita do espaço da imagem 3D com todos os objetos visuais localizados na mesma localização espacial, conforme descrito anteriormente nas imagens originais não estratificadas de múltiplas visualizações, a partir das quais as imagens de múltiplas visualizações de diferentes camadas de imagens são direta ou indiretamente derivadas.
[027] Uma imagem não estratificada de múltiplas visualizações pode compreender imagens de visualização não estratificadas (única) que correspondem a diferentes visualizações (por exemplo, direções de visualização, campos de visualizações, etc.). Com base nas informações de profundidade associadas a cada imagem de visualização não estratificadas na imagem não estratificada de múltiplas visualizações, um mapa tensorial (por exemplo, da ordem 3, nas dimensões, coordenadas/eixos x, y, z, etc.) pode ser construído em operações de geração de
Petição 870190078464, de 13/08/2019, pág. 19/122
10/85 imagem em camadas para gerar uma distribuição de pixels da imagem de visualização não estratificada na imagem não estratificada de múltiplas visualizações no espaço da imagem 3D. Um pixel na distribuição de pixels gerados a partir do mapa tensorial é representado nas dimensões/coordenadas/eixos x, y e z, (por exemplo, colunas de um quadro de imagem, linha do quadro de imagem, profundidade, etc.). Dado o mapa tensorial, imagens de camada única podem ser geradas, por exemplo, com superfícies de separação de camadas. As operações de geração de camada de imagem com base no mapa tensorial podem ser aplicadas a cada imagem de visualização nas imagens de visualizações, na imagem não estratificada de múltiplas visualizações para gerar imagens de camada única para cada imagem de visualização em diferentes camadas de imagem.
[028] Mapas tensoriais também podem ser usados em operações de renderização de imagens. Por exemplo, quando as imagens de camada única são usadas para gerar imagens de exibição para renderização com um dispositivo vestível de um espectador, as imagens de camada única ou as imagens de exibição podem ser transformadas espacialmente, com base na posição espacial real e na direção espacial real do dispositivo vestível por translação, rotação, dimensionamento, etc.
[029] Imagens de tela de cinema geradas a partir de imagens de camada única na camada de imagem de cinema podem ser usadas com informações de profundidade para construir uma parte de um mapa tensorial que corresponde a uma parte do espaço de imagem 3D. Imagens de exibição de dispositivo geradas a partir de imagens de camada única em uma ou mais camadas de imagem de dispositivo podem ser usadas com informações de profundidade para construir outras partes do espaço de imagem 3D. As imagens de exibição do dispositivo podem ser geradas individualmente para um dispositivo vestível, com base em uma posição espacial específica e/ou uma direção espacial específica do dispositivo vestível com
Petição 870190078464, de 13/08/2019, pág. 20/122
11/85 restrições que outras partes do mapa tensorial construídas a partir do dispositivo exibem imagens perfeitamente adjacentes à porção do mesmo mapa tensorial construído a partir das imagens de exibição do cinema. Assim, de acordo com as técnicas como descritas no presente documento, um espaço de imagem 3D como representado pela combinação das imagens de tela de cinema e as imagens de exibição de dispositivo reproduzem correta ou fielmente o espaço de imagem 3D como originalmente representado na imagem não estratificada de múltiplas visualizações.
[030] Modalidades exemplares descritas no presente documento se referem à geração de camadas de imagem. Informações espaciais que descrevem localizações espaciais de uma pluralidade de objetos visuais como em um espaço de imagem tridimensional (3D), conforme representado em uma ou mais imagens não estratificadas de múltiplas visualizações, são acessadas. Cada uma ou mais das imagens não estratificadas de múltiplas visualizações compreende uma pluralidade de imagens não estratificadas de visualização única que correspondem a uma pluralidade de direções de visualização. Com base nas informações espaciais que descrevem as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D, conforme representado em uma ou mais imagens não estratificadas de múltiplas visualizações, realizando: geração a partir de uma ou mais imagens não estratificadas de múltiplas visualizações, um camada de imagem de cinema compreendendo uma ou mais imagens de cinema de camada única representando um primeiro subconjunto apropriado de um ou mais objetos visuais na pluralidade de objetos visuais; geração, a partir de uma ou mais imagens não estratificadas com múltiplas visualizações, de uma ou mais camadas de imagem de dispositivo, cada uma compreendendo uma ou mais imagens de dispositivo de camada única representando um ou mais subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais ; etc. Um sinal de vídeo de múltiplas visualizações
Petição 870190078464, de 13/08/2019, pág. 21/122
12/85 de múltiplas camadas compreendendo uma ou mais imagens de cinema de camada única na camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo é enviado para um ou mais dispositivos a jusante para renderização.
[031] Modalidades exemplares descritas no presente documento se referem à renderização de imagens de tela de cinema e imagens de exibição de dispositivo geradas a partir de camadas de imagem. É recebido um sinal de vídeo de múltiplas camadas de múltiplas visualizações compreendendo uma ou mais imagens de cinema de camada única em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo. As imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo foram previamente derivadas de uma ou mais imagens não estratificadas de múltiplas visualizações. A uma ou mais imagens de dispositivo ilustram de camada única são recuperadas de uma ou mais camadas de imagem de dispositivo do sinal de vídeo de múltiplas visualizações de múltiplas camadas. A uma ou mais imagens de cinema de camada única representam um primeiro subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais, conforme originalmente representado por uma ou mais imagens não estratificadas de múltiplas visualizações. As imagens de um ou mais dispositivos de camada única são recuperadas a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo de múltiplas visualizações de múltiplas camadas. As imagens de um ou mais dispositivos representam um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais, como originalmente representados por uma ou mais imagens não estratificadas de múltiplas visualizações. O primeiro subconjunto apropriado de objetos visuais, tal como representado em uma ou mais primeiras imagens de única camada com múltiplas
Petição 870190078464, de 13/08/2019, pág. 22/122
13/85 visualizações, é levado a renderizar a um espectador em uma tela de cinema em um espaço 3D. 0 um ou mais segundos subconjuntos apropriados de objetos visuais, conforme representado na uma ou mais segundas imagens de camada única de múltiplas visualizações, são levados a renderização concorrentemente ao espectador em uma exibição de dispositivo no espaço 3D. 0 primeiro subconjunto apropriado de objetos visuais, conforme exibido na tela de cinema, e um ou mais segundos subconjuntos apropriados de objetos visuais, conforme renderizados no visor de dispositivo coletivo, representam a pluralidade de objetos visuais localizados nos mesmos locais espaciais em um espaço de imagem 3D. originalmente representado por uma ou mais imagens não estratificadas de múltiplas visualizações. Informações espaciais descrevendo as localizações espaciais no espaço da imagem 3D, em que a pluralidade de objetos visuais está localizada foi usada anteriormente para dividir a pluralidade de objetos visuais, como originalmente representados, por uma ou mais imagens não estratificadas com várias visualizações, na camada de imagem do cinema, e uma ou mais camadas de imagem do dispositivo.
[032] Em algumas modalidades exemplares, mecanismos como descritos no presente documento formam uma parte de um sistema de processamento de mídia, incluindo mas não limitado a qualquer um dentre: servidor com base em nuvem, dispositivo móvel, sistema de realidade virtual, sistema de realidade ampliada, dispositivo de exibição head-up dispositivo, sistema tipo CAVE, visor de parede, dispositivo de videogame, dispositivo de exibição, media player, servidor de mídia, sistema de produção de mídia, sistemas de câmera, sistemas com base doméstica, dispositivos de comunicação, sistema de processamento de vídeo, sistema codec de vídeo, sistema de estúdio, servidor de streaming, sistema de serviço de conteúdo com base em nuvem, um dispositivo portátil, máquina de jogo, televisão, cinema, computador portátil, computador netbook, computador tablet, radiotelefone celular,
Petição 870190078464, de 13/08/2019, pág. 23/122
14/85 leitor de livros eletrônicos, terminal de ponto de venda, computador desktop, estação de trabalho de computador, servidor de computador, quiosque de computador ou vários outros tipos de terminais e unidades de processamento de mídia.
[033] Várias modificações às modalidades preferidas e os princípios e características genéricos descritos no presente documento serão facilmente evidentes aos versados na técnica. Assim, a divulgação não se destina a ser limitada às modalidades mostradas, mas deve estar de acordo com o escopo mais amplo consistente com os princípios e características descritos no presente documento.
2. EXPERIÊNCIA DE ENTRETENIMENTO AMPLIADA [034] Em algumas modalidades exemplares, as técnicas descritas no presente documento podem ser utilizadas para apresentar conteúdo de imagem integrada (por exemplo, 3D, múltiplas visualizações, etc.) com exibições compartilhadas (por exemplo, telas de cinema, etc.) e visores de dispositivos de dispositivos vestíveis para aumentar/melhorar as experiências de entretenimento dos espectadores. Ao visualizar o conteúdo da imagem de cinema em uma tela de cinema, o espectador pode visualizar, simultaneamente, o conteúdo da imagem do dispositivo rendehzado com uma exibição de dispositivo vestível usado pelo espectador. O conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo, que pode ser derivado de imagens não estratificadas de múltiplas visualizações, apresentam coletivamente todos os objetos visuais originalmente representados nas mesmas imagens não estratificadas visualizadas de múltiplas visualizações.
[035] O dispositivo vestível e dispositivo visor que o acompanha representam um acréscimo a uma tela de cinema, uma tela de entretenimento plana, como uma TV, etc. Por exemplo, o dispositivo vestível pode ser um par de óculos AR usado pelo espectador. O dispositivo vestível pode implementar tecnologias de separação
Petição 870190078464, de 13/08/2019, pág. 24/122
15/85 de olho esquerdo e direito para visualizar conteúdo 3D na tela do cinema. Ao mesmo tempo, o dispositivo vestível (ou dispositivos de imagem com o mesmo) pode renderizar o conteúdo da imagem do dispositivo de forma síncrona com a renderização de conteúdo de imagem de cinema 2D ou 3D na tela de cinema. Assim, o dispositivo vestível pode adicionar uma nova dimensão ou um novo intervalo de profundidade à dimensão ou intervalo de profundidade que, de outro modo, podería ser fornecido apenas pela tela de cinema.
[036] No caso de conteúdo de imagem de cinema 3D ser renderizado na tela do cinema, o conteúdo da imagem do dispositivo renderizado no dispositivo vestível pode ser um conteúdo de imagem do dispositivo 3D. Em algumas modalidades, o conteúdo da imagem do dispositivo 3D tal como apresentado pelo dispositivo vestível (por exemplo, essencialmente, de forma substancial, parcialmente, etc.) foca em objetos visuais entre o espectador e a tela de cinema. Tais porções de conteúdo de imagem 3D seriam de paralaxe e profundidade negativa se renderizadas na tela de cinema. A título de comparação, nas técnicas descritas no presente documento, as porções de conteúdo da imagem 3D entre o espectador e a tela de cinema podem ser exibidas pelo dispositivo vestível com paralaxe e profundidade positivas. Assim, uma transição bastante confortável pode ser fornecida ao espectador entre os objetos visuais de paralaxe positiva, conforme representados na tela de cinema, e os objetos visuais de paralaxe também positiva, conforme representados pelo dispositivo vestível.
[037] No caso do conteúdo de imagem de cinema 2D sendo renderizado na tela do cinema, o conteúdo da imagem do dispositivo renderizado nos óculos AR pode ser um conteúdo de imagem de dispositivo 3D que complementa o conteúdo da imagem de cinema 2D. O conteúdo da imagem do dispositivo 3D renderizado pelo dispositivo vestível pode (por exemplo, principalmente, de forma substancial, parcialmente, etc.) se concentrar nas partes do conteúdo da imagem 3D no
Petição 870190078464, de 13/08/2019, pág. 25/122
16/85 conteúdo geral da imagem que representa objetos visuais como objetos 3D entre o espectador e a tela de cinema e, opcionalmente, atrás da tela de cinema em relação ao espectador, com oclusões e/ou não oclusões apropriadas de detalhes 3D, dependendo das posições espaciais e/ou direções espaciais do dispositivo vestível. Algumas dessas porções de conteúdo de imagem 3D seriam de paralaxe e profundidade negativas se renderizadas na tela de cinema. A título de comparação, de acordo com as técnicas descritas no presente documento, todas as porções de conteúdo de imagem 3D entre o espectador e a tela de cinema e mesmo atrás da tela de cinema podem ser exibidas pelos óculos AR com paralaxe e profundidade positivas. Assim, uma transição amplamente confortável e sem interrupções pode ser fornecida ao espectador quando o espectador rastreia objetos visuais como renderizados na exibição do cinema e como renderizados com o dispositivo vestível.
[038] Em contraste com outras abordagens que limitam objetos visuais a uma profundidade muito rasa na frente da tela de cinema ou que tentam aumentar a profundidade exibindo objetos visuais com paralaxe negativa relativamente grande, a abordagem de acordo com as técnicas descritas no presente documento pode ser usada para exibir objetos visuais com uma profundidade relativamente grande na frente da tela do cinema, sem introduzir uma paralaxe negativa relativamente grande. Assim, as técnicas descritas no presente documento podem fornecer soluções eficazes para prevenir ou resolver o conflito de acomodação-convergência.
[039] Quando apenas a tela de cinema (sem um dispositivo vestível como descrito no presente documento) é usada para renderizar objetos visuais 3D, um objeto visual 3D específico pode passar de trás da tela do cinema para a frente da tela do cinema. Se o objeto visual 3D específico estiver muito longe da tela do cinema, o conteúdo da imagem do cinema talvez não consiga renderizar o objeto visual 3D específico, pois o objeto visual 3D específico pode sair de uma faixa sólida de ângulo de vista suportada pela tela do cinema.
Petição 870190078464, de 13/08/2019, pág. 26/122
17/85 [040] Em comparação, de acordo com as técnicas como descritas no presente documento, o objeto visual 3D específico pode ser exibido ou renderizado com o dispositivo vestível para suportar uma faixa de ângulo de vista muito maior do que a que podería de outra forma ser suportada apenas pela tela de cinema. Assim, o espectador pode continuar a rastrear visualmente o objeto visual 3D específico dentro do intervalo de ângulo de vista muito maior sem ser limitado ou restringido ao ângulo sólido suportado apenas pela tela de cinema.
[041] As técnicas descritas no presente documento podem ser implementadas com qualquer combinação de uma exibição compartilhada em uma ampla variedade de exibições compartilhadas e um dispositivo vestível em uma ampla variedade de dispositivos vestíveis. Em vez de exibir imagens 3D com um único visor compartilhado ou um único visor dedicado, vários visores podem ser usados simultaneamente para exibir várias camadas de imagens geradas a partir do mesmo conteúdo de imagem com várias visualizações. Cada uma dessas camadas de imagem pode ser renderizada para representar objetos visuais de paralaxe ou profundidade positiva (ou não maior do que uma quantidade tolerável de paralaxe negativa). Exemplos de dispositivos vestíveis incluem, mas não necessariamente limitados a, apenas alguns ou todos: um projetor de imagem, um visor AR, um visor HoloLens, um visor Magic Leap, um visor de Realidade Mista (MR), um display tensohal, um visor voluméthco, um visor de campo de luz (LF), um visor Immy, um visor Meta, um par relativamente simples de óculos AR, um visor com qualquer um em uma ampla gama de recursos para superar o conflito de acomodação-vergência, etc.
[042] O dispositivo vestível pode ser um sistema AR relativamente simples que projeta, foca em um único plano de imagem (por exemplo, uma exibição virtual, um exibição real, uma exibição LF, etc.) de uma distância relativamente próxima ou ponto de acomodação. O espectador pode ter opções para usar o dispositivo
Petição 870190078464, de 13/08/2019, pág. 27/122
18/85 vestível, de modo a evitar paralaxe negativa e/ou visualizar conteúdo de imagem 3D adicional ou objetos visuais de forma síncrona, além de conteúdo de imagem 2D ou 3D ou objetos visuais apresentados com a tela de cinema em uma faixa de profundidade suportada por tela de cinema. Assim, experiências de visualização diferenciadas podem ser fornecidas aos espectadores e levar a mente a pensar nas múltiplas camadas de imagem renderizadas em vários visores com várias profundidades, como, na verdade, o conteúdo geral da imagem renderizada em uma única exibição de uma poderosa faixa de profundidade. O cérebro humano pode prontamente aceitar (ou pode ser facilmente adaptado) essas percepções, pois as experiências de entretenimento ampliadas, conforme descritas no presente documento, são fisiologicamente mais confortáveis do que uma experiência visual com paralaxe negativa relativamente grande e representam um limite de aceitação psicológica menor que um limite de aceitação psicológica representado pela experiência de visualização com a paralaxe negativa relativamente grande.
3. GERAÇÃO DE IMAGEM EM CAMADAS [043] A figura 1A ilustra exemplos de objetos visuais 3D (por exemplo, 118, 120, etc.) representados uma imagem não estratificada de múltiplas visualizações. Uma imagem não estratificada de múltiplas visualizações pode compreender uma pluralidade de imagens de visualizações não estratificadas (simples) que corresponde a uma pluralidade de visualizações diferentes (por exemplo, direções de visualização, campos de visualizações, etc.). Cada imagem de visualização não estratificada na pluralidade de imagens de visualizações não estratificadas da imagem não estratificadas de múltiplas visualizações pode corresponder a uma vista respectiva na pluralidade de visualizações diferentes. Por exemplo, uma imagem não estratificada de múltiplas visualizações pode compreender uma primeira imagem de visualização não estratificada, que corresponde a uma vista esquerda (por exemplo, para ser renderizada no olho esquerdo de um espectador, etc.) e uma
Petição 870190078464, de 13/08/2019, pág. 28/122
19/85 segunda imagem de visualização não estratificadas, que corresponde a uma vista a direita (por exemplo, para ser renderizada para o olho direito do espectador, etc.).
[044] Em algumas modalidades, a imagem não estratificada de múltiplas visualizações representa uma pluralidade de objetos visuais (3D) em um espaço de imagem 3D 196. Por simplicidade, apenas dois objetos visuais (3D) (120 e 118) estão no espaço de imagem 3D (196), como ilustrado na figura 1A. Deve ser observado, no entanto, que uma imagem não estratificada de múltiplas visualizações, tal como descrita no presente documento, pode representar qualquer número de objetos visuais (3D). Exemplos de objetos visuais podem incluir, mas não estão necessariamente limitados aos humanos, avatares, figuras geradas por computador, animais, plantas, montanhas, rios, céu, casas, parques, pontes, aviões, carros, navios ou outros objetos visuais que podem ser renderizados e percebidos pelo sistema de vista humana, etc.
[045] A imagem não estratificada de múltiplas visualizações pode ser adquirida/capturada/composta a partir de uma cena 3D física ou virtual por qualquer combinação de uma grande variedade de dispositivos de captura, que podem estar física ou virtualmente presentes na cena 3D. Em algumas modalidades, um modelo de objeto visual pode ser usado para renderizar ou gerar algumas ou todas as partes da imagem na imagem não estratificada de múltiplas visualizações. Os dispositivos de captura de exemplo incluem, mas não estão limitados às câmeras de estúdio, câmeras com múltiplas visualizações, câmeras de campo de luz, câmeras com elementos de microlentes, câmeras HDR, câmeras de celular, câmeras integradas a dispositivos de computação, câmeras que operam em conjunto com dispositivos de computação, câmeras não profissionais, câmeras profissionais, câmeras virtuais, geradores de imagem de computador, renderizadores de imagem de computador, geradores de computação gráfica, animadores de computador, geradores de imagem virtual, etc. Deve-se notar que a cena 3D da qual a imagem não
Petição 870190078464, de 13/08/2019, pág. 29/122
20/85 estratificada de múltiplas visualizações é derivada pode ser inteiramente uma cena 3D física, inteiramente uma cena 3D virtual, ou uma combinação de uma ou mais cenas 3D físicas e/ou um ou mais cenas 3D virtuais.
[046] O espaço da imagem 3D (196) pode representar uma parte da cena 3D da qual a imagem não estratificada de múltiplas visualizações é adquirida/capturada/composta. Exemplos do espaço da imagem 3D (196) podem incluir, mas não são necessariamente limitados a apenas uma dentre: a cena 3D inteira, uma ou mais partes salientes da cena 3D, uma ou mais partes detalhadas da cena 3D, uma cena relativamente grande, relativamente pequena e semelhante.
[047] A figura 1B ilustra um exemplo de espaço 3D 126, no qual um espectador está localizado para visualizar a pluralidade de objetos visuais no espaço de imagem 3D (196) através de imagens renderizadas com telas (de imagem) como um visor de cinema 104, um dispositivo de exibição 116 de um dispositivo vestível usado pelo espectador, etc.
[048] Exemplos do espaço 3D (126) podem incluir, mas não estão necessariamente limitados a apenas um: um espaço 3D de referência, um espaço físico, um cinema, um teatro, uma sala de concertos, um auditório, um parque de diversões, um bar, uma casa, uma sala, uma sala de exposições, um local, um bar, um navio, um avião, etc. O espaço 3D (126) pode ser um espaço tridimensional de posições espaciais o qual pode ser representado em um sistema de coordenadas espaciais tridimensionais (por exemplo, um sistema de coordenadas de referência, um sistema de coordenadas mundiais, etc.) estacionário em relação ao espaço 3D (126).
[049] A título de ilustração, mas não de limitação, o sistema de coordenadas espaciais tridimensionais estacionárias usado para representar posições espaciais no espaço 3D (126) pode ser um sistema de coordenadas cartesiano de referência representado no canto inferior esquerdo do espaço 3D (126). O sistema de
Petição 870190078464, de 13/08/2019, pág. 30/122
21/85 coordenadas cartesianas de referência pode compreender uma origem de sistema de coordenadas em uma posição espacial de referência indicada como p, como mostrado na figura 1B. A posição espacial de referência p pode ser selecionada de qualquer posição espacial estacionária para o espaço 3D (126).
[050] O espaço de imagem 3D (196) representado na imagem não estratificada de múltiplas visualizações pode ou não ser do mesmo tamanho (ou coextensiva) que o do espaço 3D (126), no qual os mostradores são usados para renderizar a pluralidade de objetos visuais na imagem não estratificada de múltiplas visualizações. Dependendo do conteúdo específico da imagem (por exemplo, paisagem ampla, sala pequena, etc.) ou exibir aplicativos relacionados à imagem não estratificada de múltiplas visualizações, o espaço da imagem 3D (196) como renderizado pode ser (por exemplo, muito, etc.) maior ou menor que o espaço 3D (126), no qual o espectador (112-0) e os visores (por exemplo, 104, 116, etc.) estão localizados.
[051] Renderização da pluralidade de objetos visuais sob técnicas como descrito no presente documento permite que o espectador (112-0) tenha a experiência de usuário de estar presente no espaço de imagem 3D (196), como se o espaço 3D (126), no qual o espectador (112- 0) está localizado tivesse sido mesclado, fundido ou projetado no espaço da imagem 3D (196), ou como se os objetos visuais (por exemplo, 118, 120, etc.) fossem objetos 3D reais presentes, ou como parte do espaço 3D (126).
[052] Em algumas modalidades, um sistema de entretenimento ampliado implementando algumas ou todas as técnicas como descritas no presente documento realiza imagens de camada única em uma pluralidade de camadas de imagem que foram previamente geradas por um dispositivo a montante, tal como, um codificador de imagem em camadas (por exemplo, 180 da figura 2A, etc.), etc., a partir da imagem não estratificada de múltiplas visualizações, gera imagens de tela
Petição 870190078464, de 13/08/2019, pág. 31/122
22/85 de cinema e imagens de exibição de dispositivo a partir das imagens de camada única recebidas e processa as imagens de tela de cinema e o dispositivo exibe imagens em vários visores (por exemplo, 104, 116, etc.) no espaço 3D (126), incluindo visores de dispositivos de dispositivos vestíveis usados pelos telespectadores, em vez de renderizar diretamente a imagem não estratificada com múltiplas visualizações (ou imagens não alinhadas de visualização única) em um único monitor no espaço 3D (126).
[053] Em algumas modalidades, o dispositivo a montante ou o codificador de imagem em camadas (180 da figura 2A) acessa informações espaciais que descrevem localizações espaciais de cada objeto visual na pluralidade de objetos visuais no espaço de imagem 3D (196), conforme ilustrado na imagem não estratificadas de múltiplas visualizações. Exemplos da informação espacial podem incluir, mas não são necessariamente limitados a, apenas um ou mais dentre: imagem de profundidade, informação de disparidade, informação epipolar, malha 3D, etc.
[054] Com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D (196), como representado em uma ou mais imagens não estratificadas com múltiplas visualizações, o codificador de imagem em camadas (180 da figura 2A) gera a pluralidade de camadas de imagem a partir da imagem não estratificada de múltiplas visualizações.
[055] Cada camada de imagem na pluralidade de camadas de imagem compreende uma ou mais imagens de camada única com múltiplas visualizações representando um subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais (por exemplo, originalmente, anteriormente, etc.) ilustrados na imagem não estratificadas de múltiplas visualizações.
[056] Qualquer combinação de uma variedade de fatores seletivos, limites de
Petição 870190078464, de 13/08/2019, pág. 32/122
23/85 relações espaciais, critérios de relação espacial, etc., pode ser usada para selecionar objetos visuais, dentre a pluralidade de objetos visuais representados na imagem não estratificada de múltiplas visualizações, para ser incluída em um determinado objeto, camada de imagem na pluralidade de camadas de imagem. Exemplos de fatores seletivos, limites de relações espaciais, critérios de relação espacial etc. incluem, mas não se limitam necessariamente a, apenas uma ou mais dos seguintes: localizações espaciais de visualizações no espaço 3D (126); localizações espaciais do espectador (112-0) no espaço 3D (126); posições espaciais de objetos visuais em relação às localizações espaciais das exibições ou do espectador (112-0); direções espaciais de objetos visuais no espaço 3D (126) em relação ao espectador (112-0); importância artística relativa de objetos visuais; propriedades visuais (por exemplo, brilho, cores, etc.) de objetos visuais; características de movimento (por exemplo, objetos em movimento, objetos estacionários, fundo, etc.) de objetos visuais; localizações espaciais passadas de objetos visuais; direções espaciais passadas de objetos visuais; etc.
[057] A título de exemplo, mas não de limitação, a pluralidade de camadas de imagem pode ser gerada a partir da imagem não estratificada de múltiplas visualizações, com base nas profundidades dos objetos visuais representados na imagem não estratificada de múltiplas visualizações. Como ilustrado na figura 1B, o espaço de imagem 3D (196) da imagem não estratificada de múltiplas visualizações pode ser projetado ou sobreposto no espaço 3D (126) em relação ao espectador (por exemplo, referência, real, etc.) (112-0) localizado em a (por exemplo, referência, etc.) posição espacial 192 estacionária no espaço 3D (126). A profundidade dos objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada de múltiplas visualizações pode ser medida em relação à posição espacial de referência (192) do espectador (112-0) ao longo de uma direção espacial de referência do espectador (112- 0) Esta direção espacial de referência do
Petição 870190078464, de 13/08/2019, pág. 33/122
24/85 espectador (112-0) pode ser determinada como uma direção de visualização frontal de um dispositivo vestível usado pelo espectador (112-0) - cuja direção de visualização frontal se origina da posição espacial de referência (192) do espectador (112-0) para a tela de cinema (104) e intercepta-se perpendicularmente na tela de cinema (104).
[058] A tela de cinema (104) pode ser implantada como uma tela estacionária no espaço 3D (126), por exemplo, para ser visualizada por um único espectador ou múltiplos espectadores. O mostrador de dispositivo (116) pode ser um mostrador específico entre visores individuais de um dispositivo vestível individual usado pelos espectadores, incluindo o espectador (112-0), e pode não ser necessariamente estacionário no espaço 3D (126).
[059] De acordo com as técnicas descritas no presente documento, tanto o dispositivo de exibição (116) do dispositivo vestível usado pelo espectador (112-0) e a tela de cinema (104) que é compartilhada entre os espectadores são usados para tornar as imagens de camada única na pluralidade de camadas de imagem geradas a partir da imagem não estratificada de múltiplas visualizações para o espectador (112-0).
[060] Como ilustrado na figura 1B, o codificador de imagem em camadas pode usar uma superfície de separação de camada 194 para particionar um primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) que estão em ou atrás da superfície de separação de camada (194) em relação ao espectador (112 0) em uma camada de imagem de cinema. A camada de imagem de cinema compreende uma pluralidade de primeiras imagens de camada única com várias visualizações geradas a partir de porções de imagem, na pluralidade de imagens de visualização não divididas da imagem não estratificada de múltiplas visualizações, que representam o primeiro subconjunto apropriado de objetos visuais (por exemplo, 118 etc.).
Petição 870190078464, de 13/08/2019, pág. 34/122
25/85 [061] Além disso, o codificador de imagem em camadas pode usar a superfície de separação de camadas (194) para dividir um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) que estão antes da superfície de separação de camadas (194) em relação ao espectador (1120) em uma ou mais camadas de imagem do dispositivo. Cada segundo subconjunto apropriado em um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) corresponde a uma respectiva camada de imagem de dispositivo em uma ou mais camadas de imagem de dispositivo. A respectiva camada de imagem compreende uma respectiva pluralidade de segundas imagens múltiplas camadas de camada única geradas a partir das respectivas porções de imagem, na pluralidade de imagens de visualização não estratificadas da imagem não estratificada de múltiplas visualizações, que representam cada segundo subconjunto apropriado de objetos visuais (por exemplo ,118, etc.). Assim, uma ou mais camadas de imagem de dispositivo compreendem uma ou mais pluralidades de segundas imagens de múltiplas camadas de múltiplas visualizações, geradas a partir de porções de imagem, na pluralidade de imagens de visualização não estratificadas da imagem não estratificada de múltiplas visualizações, que representam um ou mais segundos subconjunto apropriado de objetos visuais (por exemplo, 118, etc.).
[062] Além de uma superfície de separação de camada, tal como 194 como ilustrado na figura 1B, em algumas modalidades, podem ser utilizadas zero ou mais superfícies adicionais de separação de camadas para dividir uma ou mais camadas de imagem de dispositivo umas das outras. Por exemplo, superfícies adicionais de separação de camadas podem ser usadas para separar ou distinguir um subconjunto de um ou mais subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) em casos em que há vários subconjuntos apropriados de objetos visuais. Em algumas modalidades, um objeto visual (por exemplo, um objeto 3D, etc.) pode abranger mais de uma camada de imagem. Por exemplo, um objeto
Petição 870190078464, de 13/08/2019, pág. 35/122
26/85 visual, como um carro, pode ter uma parte do objeto visual, como a parte dianteira do carro em uma camada de imagem do primeiro dispositivo, e outras partes do objeto visual, como a parte de trás do carro em um ou mais camadas de imagem do segundo dispositivo. Adicional, de forma opcional ou alternativamente, um objeto visual como descrito no presente documento pode abranger a camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo.
[063] Como ilustrado na figura 1C, o dispositivo vestível usado pelo espectador (112-0) pode compreender um ou mais visores de dispositivo 116-1, 1162, etc., (ou um único visor de dispositivo com diferentes profundidades de plano de imagem) da posição espacial de referência (192) do espectador (112-0). Imagens de camada única na camada de imagem de cinema, particionadas pela superfície de separação de camadas (194), podem ser usadas para gerar imagens de tela de cinema exibidas na tela de cinema (104). Imagens de camada única em uma dentre uma ou mais camadas de imagem de dispositivo como particionadas adicionalmente pela superfície de separação de camada (194-1) podem ser usadas para gerar imagens de exibição de dispositivo renderizadas/exibidas no visor do dispositivo (116-1). Imagens de camada única no restante de uma ou mais camadas de imagem do dispositivo podem ser usadas para gerar imagens de exibição adicionais renderizadas/exibidas na tela do dispositivo (116-2). As imagens de exibição renderizadas/exibidas nas diferentes profundidades do plano de imagem pode ser renderizada simultaneamente ou renderizada em tempo sequencial em um único tempo de atualização de imagem ou em um único intervalo de quadro de imagem usando multiplexação por divisão de tempo.
[064] Exemplos de superfícies de separação de camadas, como descritas no presente documento, podem incluir, mas não estão necessariamente limitadas a, apenas, quaisquer de: planos, superfícies curvas, formas regulares, formas irregulares, etc.
Petição 870190078464, de 13/08/2019, pág. 36/122
27/85 [065] Em algumas modalidades, uma posição espacial da superfície de separação de camadas (194) é ajustada em relação a tela de cinema (104). Em um exemplo, a superfície de separação de camadas (194) pode coincidir com a tela de cinema (104). Em outro exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica por trás (como ilustrado na figura 1B) ou na frente de (como ilustrado na figura 1D) da tela de cinema (104). A distância específica da superfície de separação de camadas (194) em relação a tela de cinema (104) pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, distância zero, um metro de distância, cinco metros de distância, fração de profundidade ou distância entre a tela de cinema (104) e a posição espacial (192) do espectador (112-0), etc. Assim, a distância específica da superfície de separação de camadas (194) para a tela de cinema (104) pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada de múltiplas visualizações, em diferentes camadas de imagem.
[066] Em algumas modalidades, uma posição espacial da superfície de separação de camadas (194) é definida em relação ao espectador (112-0) na posição espacial (referência) (192). Por exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica do espectador (112-0). A distância específica da superfície de separação de camadas (194) para o espectador (112-0) pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, a cinco metros de distância, a 20 metros de distância, a 50 metros de distância etc. Assim, a distância específica da superfície de separação de camadas (194) para o espectador (112-0) pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados
Petição 870190078464, de 13/08/2019, pág. 37/122
28/85 na imagem não estratificada, de múltiplas visualizações diferentes.
[067] Em algumas modalidades, uma posição espacial da superfície de separação da camada (194) é estabelecida em relação a outra localização espacial diferente das do espectador (112-0) na posição espacial (referência) (192) e a tela de cinema ( 104). Por exemplo, a superfície de separação de camadas (194) pode ser ajustada a uma distância específica da origem p do sistema de coordenadas de referência. A distância específica da superfície de separação de camadas (194) à origem p pode ser, sem limitação, uma dentre: uma distância relativamente pequena, uma distância relativamente grande, distância zero, um metro de distância, cinco metros de distância, 20 metros de distância, a 50 metros de distância, etc. Assim, a distância específica da superfície de separação de camadas (194) até a origem p pode representar um limite de distância (ou um limite de profundidade relativa) usado para separar objetos visuais na pluralidade de objetos visuais representados na imagem não estratificada, de múltiplas visualizações em diferentes camadas de imagem.
[068] Em algumas modalidades, como ilustrado na figura 1E, o codificador de imagem em camadas pode particionar a pluralidade de objetos visuais na imagem não estratificada de múltiplas visualizações em camadas de imagem, com base em relações espaciais em referência a entidades presentes física ou virtualmente no espaço 3D (126), sem usar uma superfície de separação de camadas (por exemplo, 194 da figura 1B ou figura 1C, etc.).
[069] Por exemplo, a pluralidade de objetos visuais (por exemplo, 118, 120, etc.) pode ser particionada com base no fato desses objetos visuais atenderem a certos limites (ou critérios) de relação espacial relacionados a um ou mais dentre: a tela de cinema (104), o espectador (112-0) na localização espacial (referência) (192), a origem p do sistema de coordenadas de referência, etc., como mostrado na figura IB.
Petição 870190078464, de 13/08/2019, pág. 38/122
29/85 [070] Um primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) que atenda aos limites (ou critérios) de relação espacial específicos relativos à tela de cinema (104) pode ser particionado em uma camada de imagem de cinema. Um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) que não atendem aos limites (ou critérios) de relação espacial específicos relativos a tela de cinema (104) são particionados em uma ou mais camadas de imagem de dispositivo. Os limites (ou critérios) de relação espacial específicos, relativos à tela de cinema (104) podem compreender limites (ou critérios) de relação espacial adicionais que podem ser usados para particionar uma ou mais camadas de imagem de dispositivo uma da outra. Por exemplo, os limites (ou critérios) de relação espacial adicionais podem ser usados para separar ou distinguir um subconjunto de outro subconjunto entre um ou mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.).
[071] Em algumas modalidades, os limites de relação espacial podem compreender um limite de profundidade específico (por exemplo, não mais do que um metro, não mais de dois metros, não mais do que um valor de dimensão espacial definido como um valor relativo para uma dimensão espacial da tela de cinema (104), etc.). O limite de profundidade especifica que todos os objetos visuais atrás de uma profundidade específica da tela do cinema (104) devem ser particionados na camada de imagem do cinema. O limite de profundidade especifica que todos os outros objetos visuais na frente da profundidade específica da tela de cinema (104) devem ser particionados em uma ou mais camadas de imagem do dispositivo. O limite de profundidade pode ser representado por um valor positivo, zero ou um valor negativo da distância específica para a tela de cinema (104).
[072] Além disso, opcional ou alternativamente, um limite espacial diferente, como um limite de paralaxe espacial, um limite de disparidade espacial, etc., pode ser usado em vez ou além do limite de profundidade com a finalidade de selecionar
Petição 870190078464, de 13/08/2019, pág. 39/122
30/85 ou particionar a pluralidade de objetos visuais representados na imagem não estratificada de múltiplas visualizações em diferentes camadas de imagem.
[073] Por exemplo, a tela de cinema (104) pode representar um plano/superfície de paralaxe zero em operações de renderização de imagens. Quaisquer objetos visuais que fossem representados com imagens de camada única renderizados na tela de cinema (104), como atrás da tela de cinema (104) seriam de paralaxes positivas, ao passo que quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela de cinema (104), à frente da tela de cinema (104), seriam de paralaxes negativas. Em algumas modalidades, os limites de relação espacial podem compreender um limite de paralaxe específico.
[074] O limite de paralaxe especifica que todos os objetos visuais, não menos que uma paralaxe específica, em relação ao plano/superfície de paralaxe zero, como representado pela tela de cinema (104), devem ser particionados na camada de imagem de cinema. O limite de paralaxe especifica que todos os objetos visuais menores do que a paralaxe específica em relação ao plano/superfície de paralaxe zero, conforme representado pela tela de cinema (104), devem ser particionados em uma ou mais camadas de imagem do dispositivo. O limite de paralaxe pode ser representado por um valor positivo, zero ou um valor negativo da paralaxe específica.
[075] Adicional, opcional ou alternativamente, a tela de cinema (104) pode representar um plano/superfície de disparidade zero nas operações de renderização de imagem. Quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela do cinema (104), como atrás da tela do cinema (104) seriam de disparidade positiva, ao passo que quaisquer objetos visuais que fossem representados com imagens de camada única renderizadas na tela de cinema (104), à frente da tela de cinema (104), seria de disparidade negativa.
Petição 870190078464, de 13/08/2019, pág. 40/122
31/85 [076] Em algumas modalidades, os limites de relação espacial podem compreender um limite de disparidade específico. O limite de disparidade especifica que todos os objetos visuais, não menos que uma disparidade específica relativa ao plano/superfície de disparidade zero, como representado pela tela de cinema (104), devem ser particionados na camada de imagem de cinema. O limite de disparidade especifica que todos os objetos visuais menores que a disparidade específica relativa ao plano/superfície de disparidade zero, conforme representado pela tela de cinema (104), devem ser particionados em uma ou mais camadas de imagem de dispositivo. O limite de disparidade pode ser representado por um valor positivo, zero ou um valor negativo da disparidade específica.
[077] Em algumas modalidades, a imagem não revestida de múltiplas visualizações pode ser uma imagem não revestida de múltiplas visualizações específica em uma pluralidade de imagens não revestidas de múltiplas visualizações que constituem uma sequência temporal de tais imagens. A sequência de tempo de imagens não visualizadas com várias visualizações pode representar um programa de mídia, um programa de transmissão, um filme, uma sessão de VR, uma sessão de AR, uma sessão de presença remota, um jogo de computador, etc.).
[078] Em algumas modalidades, algumas ou todas as localizações espaciais passadas e/ou futuras de objetos visuais, direções espaciais passadas e/ou futuras dos objetos visuais, características de movimento passadas e/ou futuras dos objetos visuais, associações passadas e/ou futuras de os objetos visuais em camadas de imagem específicas, etc., podem ser utilizadas para determinar se algum destes objetos visuais deve ser particionado em uma camada de imagem específica na pluralidade de camadas de imagem.
[079] Por exemplo, um objeto visual pode ser previamente determinado em uma camada de imagem e, em seguida, movido para locais espaciais, direções espaciais, etc., o que correspondería a uma camada de imagem diferente. Para
Petição 870190078464, de 13/08/2019, pág. 41/122
32/85 reduzir o movimento em que o objeto visual dança rápido demais ou com frequência entre camadas de imagem diferentes em um período de tempo relativamente curto, um ou mais dentre: efeitos/mecanismos de retardo, fatores atenuantes, filtros de suavização, processamento de ruído, etc. podem ser implementados pelo codificador de imagem em camadas para permitir que o objeto visual permaneça em uma camada de imagem específica, como uma camada de imagem anterior, uma camada de imagem atual etc., em vez de ser particionado ou atribuído imediatamente à camada de imagem atual, uma nova camada de imagem, etc. Qualquer um desses efeitos/mecanismos de retardo, fatores de amortecimento, filtros de suavização, processamento de ruído, etc., podem operar em dependência de alguns ou de todos: localizações espaciais passadas e/ou futuras de objetos visuais, direções espaciais passadas e/ou futuras do objetos visuais, características de movimento passadas e/ou futuras dos objetos visuais, participações passadas e/ou futuras/atribuições dos objetos visuais em camadas de imagem específicas, etc.
[080] Além disso, opcional ou alternativamente, a importância artística relativa de objetos visuais, propriedades visuais (por exemplo, brilho, cores, etc.) de objetos visuais, características de movimento (por exemplo, objetos em movimento, objetos estacionários, plano de fundo, etc.) de objetos visuais, etc., também podem ser usadas como fatores de seleção, limites de relações espaciais, critérios de relação espacial, etc., em vez de ou além dos fatores de seleção anteriores, os limites das relações espaciais acima, os critérios de relação espacial acima referidos, etc., como discutido acima.
[081] Em algumas modalidades, o codificador de imagem em camadas pode codificar a pluralidade de camadas de imagem com suas respectivas imagens de camada única em uma imagem de múltiplas visualizações em múltiplas camadas. A imagem de múltiplas camadas e múltiplas visualizações, juntamente com outra
Petição 870190078464, de 13/08/2019, pág. 42/122
33/85 imagem múltiplas camadas e múltiplas visualizações gerada a partir de outras imagens não visualizadas com múltiplas visualizações, pode ser codificada em um sinal de vídeo de múltiplas camadas múltiplas visualizações que é direta ou indiretamente transmitida para um ou vários mais dispositivos a jusante. Exemplos de dispositivos a jusante podem incluir, mas não são necessariamente estão limitados a apenas um dos seguintes: sistemas de entretenimento ampliados para renderizar a imagem com múltiplas visualizações em uma representação múltiplas camadas, dispositivos de armazenamento para armazenar a imagem com várias visualizações na representação em várias camadas, servidores de streaming de mídia para transmitir a imagem de várias visualizações na representação em várias camadas, etc.
4. MAPA TENSORIAL [082] Como observado anteriormente, uma imagem não estratificada de múltiplas visualizações pode compreender uma pluralidade de imagens de visualizações não estratificadas (simples) que corresponde a uma pluralidade de visualizações diferentes (por exemplo, direções de visualização, campos de visualizações, etc.). Em algumas modalidades, com base na informação de profundidade para cada imagem de visualização não estratificada na imagem não estratificada de múltiplas visualizações, pode ser construído um mapa tensorial (por exemplo, da ordem 3, nas dimensões, coordenadas/eixos x, y, z, etc.) para gerar uma distribuição de pixels da imagem de visualização não estratificada na imagem não estratificada de múltiplas visualizações no espaço da imagem 3D. Um pixel na distribuição de pixels gerados a partir do mapa tensorial é representado não apenas nas dimensões/coordenadas/eixos x e y(por exemplo, colunas de um quadro de imagem, fileira do quadro de imagem, etc.), mas também na dimensão /coordenada/eixo z (por exemplo, profundidade, etc.).
[083] Afigura 1F ilustra um exemplo de distribuição de pixels 3D 188 de uma
Petição 870190078464, de 13/08/2019, pág. 43/122
34/85 imagem de visualização não estratificada em uma imagem não estratificada de múltiplas visualizações que é derivada de um mapa tensorial. A figura 1G ilustra exemplos de imagens de camada única 176-1 a 176-3 geradas a partir da imagem de visualização não estratificada com base na distribuição de pixels 3D (188).
[084] O mapa tensorial pode ser construído em um espaço de imagem 3D (por exemplo, 196, etc.) representado na imagem não estratificada de múltiplas visualizações com base em (a) uma distribuição de pixel 2D nas dimensões/coordenadas/eixos x e y como representado no imagem de visualização não estratificada e (b) informações de profundidade que indicam (por exemplo, com precisão, aproximadamente, etc.) a dimensão/eixo z de cada pixel na distribuição. Com base no mapa tensorial, a distribuição de pixels 2D na imagem de visualização não estratificada pode agora ser representada como a distribuição de pixels 3D (188) no espaço de imagem 3D (196).
[085] Com a distribuição 3D de pixels (188) da imagem não estratificada de múltiplas visualizações, podem ser geradas imagens de camada única, por exemplo, com superfícies de separação de camadas. Como exemplo, mas não como limitação, duas superfícies de separação de camadas 194-2 e 194-3 podem ser colocadas no espaço de imagem 3D (196) para separar pixels da distribuição de pixels 3D (188) em três imagens de camada única (176 -1 a 176-3) em três diferentes camadas de imagem.
[086] Como ilustrado na figura 1G, uma primeira distribuição de pixels 3D 188-1 da distribuição de pixels 3D (188), que pode incluir todos os pixels com profundidades do espectador na posição espacial de referência (192) para a primeira superfície de separação de camada (194-2) ao longo da profundidade ou direção z (a direção de visualização frontal do espectador), é projetada na primeira imagem de camada única (176-1) que deve ser renderizada com uma exibição de dispositivo vestível em uma primeira profundidade (por exemplo, uma profundidade
Petição 870190078464, de 13/08/2019, pág. 44/122
35/85 correspondente a um plano de imagem suportado pelo dispositivo de exibição do dispositivo vestível, etc.) de um espectador, na localização espacial de referência (192). Pixels 3D na primeira distribuição de pixel 3D (188-1) podem ser projetados em pixels 2D (por exemplo, 178-1, 178-2, etc.) da primeira imagem de camada única (176-1) com base nas dimensões/coordenadas/eixos x e y dos pixels 3D na primeira distribuição de pixels 3D (188-1).
[087] Uma segunda distribuição de pixels 3D 188-2 da distribuição de pixels 3D (188), que pode incluir todos os pixels com profundidades desde a primeira superfície de separação de camada (194-2) até a segunda superfície de separação de camada (194-3) ao longo a profundidade ou direção z, é projetada na segunda imagem de camada única (176-2) que deve ser renderizada com o visor do dispositivo vestível em uma segunda profundidade (por exemplo, uma profundidade correspondente à primeira superfície de separação de camada (194-2) do espectador, na localização espacial de referência (192). Pixels 3D na segunda distribuição de pixel 3D (188-2) podem ser projetados em pixels 2D (por exemplo, 178-3, 178-4, etc.) da segunda imagem de camada única (176-2) com base nas dimensões/coordenadas/eixos dos pixels 3D na segunda distribuição 3D de pixels (188-2).
[088] Uma terceira distribuição de pixel 3D 188-3 da distribuição de pixel 3D (188), que pode incluir todos os pixels com profundidades atrás da segunda superfície de separação de camada (194-3) ao longo da profundidade ou direção z, é projetada na terceira imagem de camada simples (176-3) que deve ser renderizada com a tela de cinema em uma terceira profundidade (por exemplo, uma profundidade correspondente à tela de cinema do espectador na localização espacial de referência (192). Pixels 3D na terceira distribuição de pixel 3D (188-3) podem ser projetados em pixels 2D (por exemplo, 178-5, 178-6, etc.) da terceira imagem de camada única (176-3) com base nas dimensões/coordenadas/eixos x e y
Petição 870190078464, de 13/08/2019, pág. 45/122
36/85 dos pixels 3D na terceira distribuição de pixels 3D (188-3).
[089] Técnicas de geração de camadas de imagem com base em mapas tensoriais podem ser aplicadas a cada imagem de visualização na pluralidade de imagens de visualização na imagem não estratificada de múltiplas visualizações para gerar imagens de camada única para cada imagem de visualização, respectivamente. Assim, imagens de camada única em uma pluralidade de camadas de imagem podem ser geradas a partir da imagem não estratificada de múltiplas visualizações utilizando estas técnicas de geração de camadas de imagem.
[090] Quando as imagens de camada única são fornecidas a um renderizador de imagem em um sistema de entretenimento ampliado para renderização com um dispositivo vestível de um espectador, as imagens de camada única podem ser transformadas espacialmente com base na posição espacial real e na direção espacial real do dispositivo vestível, dispositivo por translação, rotação, escala, etc. Por exemplo, a primeira imagem de camada única (176-1) (ou uma camada de imagem de cinema) pode ser renderizada em uma tela de cinema, enquanto a segunda e terceira imagens de camada única (176-2 e 176-3) (ou dispositivo) camadas de imagem) podem ser renderizadas com uma exibição de dispositivo de uma exibição vestível.
[091] Um espectador relativamente distante pode ver a primeira imagem de camada única (176-1) como uma imagem relativamente pequena inversamente proporcional à distância entre o espectador relativamente distante e a tela de cinema; assim, a segunda e a terceira imagens de camada única podem ser dimensionadas proporcionalmente para coincidir com os tamanhos ou relações de aspecto da primeira imagem de camada única (176-1), como sendo visualizações pelo espectador relativamente distante. Além disso, uma vez que o espectador relativamente distante pode estar localizado mais para trás de um espectador em uma localização espacial de referência (por exemplo, 192, etc.), a segunda e terceira
Petição 870190078464, de 13/08/2019, pág. 46/122
37/85 imagens de camada única ou objetos visuais podem ser traduzidas espacialmente, pelo menos em parte, na distância entre o espectador relativamente distante e um espectador na localização espacial de referência (192). Se uma direção espacial do dispositivo vestível do espectador relativamente distante não coincide com a direção de visualização frontal de um espectador na localização espacial de referência (192) usada para gerar camadas de imagem e imagens de camada única, a segunda e a terceira imagens de camada única ou objetos visuais podem ser espacialmente rodados com base, pelo menos em parte, no ângulo ou distância angular entre a direção espacial do dispositivo vestível do espectador relativamente distante e a direção de visualização frontal do espectador na localização espacial de referência (192). Da mesma forma, para um espectador relativamente próximo, transformações espaciais como traduções, rotações, escala, etc., podem ser aplicadas de maneira semelhante a imagens de camada única com base em posições espaciais e/ou direções espaciais do espectador relativamente próximo.
[092] Em algumas modalidades, os mapas tensoriais também podem ser usados em operações de renderização de imagem, como ilustrado na figura 1H. Por exemplo, imagens de tela de cinema, como geradas a partir de imagens de camada única na camada de imagem de cinema e renderizadas na tela de cinema (104), podem ser usadas para reproduzir uma parte de um mapa de tensão (ou uma distribuição de pixels) que corresponde a uma porção do espaço da imagem 3D (196) no espaço físico 3D (126) no qual o espectador está localizado em uma localização espacial que pode ser a mesma ou pode ser diferente da localização espacial de referência (192). Imagens de exibição do dispositivo, geradas a partir de imagens de camada única em uma ou mais camadas de imagem do dispositivo e renderizadas com o visor do dispositivo em um ou mais planos de imagem (por exemplo, 116, 116-1, etc.) podem ser usadas para reproduzir outras porções dos mapas tensoriais (ou distribuição de pixels) que correspondem às porções restantes
Petição 870190078464, de 13/08/2019, pág. 47/122
38/85 do espaço de imagem 3D (196) no espaço físico 3D (126). As imagens do visor do dispositivo podem ser geradas individualmente para um dispositivo vestível, com base em transformações espaciais (por exemplo, translações, rotações, escala, etc.) dependendo de uma posição espacial específica e/ou uma direção espacial específica do dispositivo vestível, com restrições que outras porções do mapa tensorial (ou a distribuição de pixels) reproduzidas a partir do dispositivo exibam imagens perfeitamente adjacentes com a parte do mesmo mapa tensorial (ou a distribuição de pixels) reproduzida a partir das imagens de tela de cinema. Adicional ou opcionalmente, algumas ou todas as operações de processamento de imagem, tais como interpolação, nitidez, desfoque, desoclusão, etc., podem ser realizadas em operações de renderização de imagem, de acordo com técnicas como descrito no presente documento. Assim, um espaço de imagem 3D como representado pela combinação das imagens de tela de cinema e as imagens de exibição do dispositivo reproduzem fielmente ou corretamente a distribuição de pixels 3D (188) no espaço de imagem 3D (196) como originalmente representado na imagem não estratificada de múltiplas visualizações.
5. CODIFICADOR DE IMAGEM EM CAMADAS E SISTEMA DE ENTRETENIMENTO AMPLIADO [093] A figura 2A ilustra uma configuração de exemplo 100 de um sistema de entretenimento ampliado que compreende um codificador de imagem em camadas 180, um receptor de conteúdo de imagem 110, renderizadores de imagem (por exemplo, 106, 108, etc.), um rastreador de dispositivo 122, um ou mais dispositivos vestíveis como um dispositivo de renderização de imagem vestível 102-1 de um espectador 112-1, etc., em um espaço 3D (por exemplo, 126, etc.). Alguns ou todos os componentes/dispositivos como representados na figura 2A pode ser implementado por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em
Petição 870190078464, de 13/08/2019, pág. 48/122
39/85 software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2A podem ser comunicativos (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2A ou com outros componentes/dispositivos não representados na figura 2A.
[094] Em algumas modalidades, o codificador de imagem em camadas (180) compreende um receptor de imagem não estratificada 182, um gerador de imagem em camadas 186, um armazenamento de dados de imagem não estratificada 184, etc.
[095] Em algumas modalidades, o receptor de imagem não estratificadas (182) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber imagens não estratificadas de múltiplas visualizações, por exemplo em um sinal de vídeo de imagem não estratificada ou em dados de imagem, a partir de uma fonte de imagem não estratificada, como o armazenamento de dados de imagem não estratificadas (184), uma fonte de imagem com base em nuvem, um sistema de câmera em conexão com um aplicativo VR, um aplicativo AR, um aplicativo de presença remota, um aplicativo de exibição etc.
[096] Em algumas modalidades, o gerador de imagens em camadas (186) compreende software, hardware, uma combinação de software e hardware, etc., configurado para acessar informações espaciais que descrevem localizações espaciais de cada objeto visual em uma pluralidade de objetos visuais em um espaço de imagem 3D (por exemplo, 196 da figura 1A, etc.), conforme representado em cada uma das imagens não estratificadas com múltiplas visualizações.
[097] Com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D (196 da figura 1A) em cada uma das imagens não estratificadas com visualizações múltiplas, o gerador de imagens em camadas (186) gera uma camada simples, imagens em uma
Petição 870190078464, de 13/08/2019, pág. 49/122
40/85 pluralidade de camadas de imagem de cada imagem não estratificada de múltiplas visualizações. Assim, cada camada de imagem na pluralidade de camadas de imagem compreende imagens de camada única com múltiplas visualizações de todas as imagens não estratificadas de múltiplas visualizações.
[098] Em um exemplo não limitativo, uma primeira camada de imagem na pluralidade de camadas de imagem pode ser utilizada como camada de imagem de cinema por dispositivos receptores a jusante, onde outras camadas de imagem na pluralidade de camadas de imagem podem ser utilizadas como camadas de imagem de dispositivo a jusante pelos dispositivos receptores.
[099] O gerador de imagens em camadas (186) codifica as imagens de múltiplas camadas de múltiplas visualizações na pluralidade de camadas de imagem geradas a partir das imagens não estratificadas de múltiplas visualizações no conteúdo de imagem 114, e fornece/transmite o conteúdo de imagem (114) a um ou mais dispositivos jusante a como o receptor de conteúdo de entrada (110), armazenamento de dados, sistemas 3D de cinema, etc.
[0100] Em algumas modalidades, o receptor de conteúdo de imagem (110) compreende um receptor de imagem de múltiplas visualizações (MV) 152, um transmissor de camada de imagem 156, um repositório de dados 154, etc.
[0101] Em algumas modalidades, o receptor de imagem de múltiplas visualizações (152) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber o conteúdo de imagem (entrada) (114) de uma fonte de imagem como o codificador de imagem em camadas. (180), uma fonte de imagem com base em nuvem, um sistema de câmera em conexão com um aplicativo VR, um aplicativo AR, um aplicativo de presença remota, um aplicativo de exibição, etc.; decodificação do fluxo de imagem de entrada (114) em uma sequência de imagens de múltiplas visualizações de múltiplas camadas. Cada imagem de múltiplas camadas de múltiplas visualizações compreende uma ou mais
Petição 870190078464, de 13/08/2019, pág. 50/122
41/85 imagens de cinema de camada única, em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única, em uma ou mais camadas de imagem de dispositivo, conforme decodificado pelo receptor de imagem multiponto (152) a partir do sinal de vídeo de múltiplas camadas de múltiplas visualizações.
[0102] A partir da camada de imagem de cinema, o transmissor de camada de imagem (156) identifica ou gera uma ou mais imagens de cinema de camada única. Uma ou mais imagens de cinema de camada única podem representar um primeiro subconjunto apropriado de um ou mais objetos visuais (por exemplo, 118, etc.) em uma pluralidade de objetos visuais (por exemplo, 118, 120, etc.) que foram representados em uma imagem (original) não estratificada de múltiplas visualizações, a partir da qual as imagens de cinema e dispositivo de camada única na camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo foram derivadas anteriormente.
[0103] A partir de uma ou mais camadas de imagem de dispositivo, o transmissor de camada de imagem (156) identifica ou gera uma ou mais imagens de dispositivo de camada única. As imagens de um ou mais dispositivos de camada única podem representar um ou mais subconjuntos apropriados de um ou mais objetos visuais (por exemplo, 120, etc.) na pluralidade de objetos visuais (por exemplo, 118, 120, etc.) que foram representados pela imagem não estratificada de múltiplas visualizações (original).
[0104] Em algumas modalidades, o transmissor de camada de imagem (156) envia ou fornece, através de um fluxo de dados 158, todas as imagens de cinema de camada única para os renderizadores de imagem (106, 108) ou um renderizador de imagem de cinema (por exemplo, 106, etc.). Além disso, o transmissor de camada de imagem (156) envia ou fornece, através do fluxo de dados (158), todas as imagens de dispositivo de camada única para os renderizadores de imagem (106, 108) ou um renderizador de imagem de dispositivo (por exemplo, 108, etc.).
Petição 870190078464, de 13/08/2019, pág. 51/122
42/85 [0105] 0 usuário (112-1) pode se mover para causar mudanças nas posições espaciais e direções espaciais do dispositivo vestível (102-1) no tempo de execução. Em algumas modalidades, o rastreador de dispositivo (122) compreende software, hardware, uma combinação de software e hardware, etc., configurado para rastrear/monitorar posições espaciais e/ou direções espaciais do dispositivo vestível (102-1); gerar dados posicionais e direcionais do dispositivo vestível (102-1) com base nas posições espaciais e/ou direções espaciais do dispositivo vestível (102-1); etc.
[0106] Os dados posicionais e direcionais do dispositivo vestível (102-1) como gerado pelo rastreador de dispositivo (122) podem ser de uma resolução de tempo relativamente fina (por exemplo, a cada milissegundo, a cada cinco milissegundos, etc.) e podem ser usados por outros dispositivos tais como o receptor de conteúdo de imagem (110) e/ou os renderizadores de imagem (106, 108) para estabelecer/determinar as posições espaciais e/ou direções espaciais do dispositivo vestível (102-1) a uma determinada resolução de tempo (por exemplo, a cada milissegundo, a cada cinco milissegundos, etc.).
[0107] Exemplos de rastreadores de dispositivos, conforme descrito neste documento, podem incluir, mas não se limitam necessariamente, apenas: aos rastreadores de dispositivos externos, rastreadores de dispositivos internos, rastreadores de dispositivos externos, rastreadores de dispositivos de dentro para fora etc. A título de exemplo, mas não limitativo, o rastreador de dispositivo (122) na configuração (100) como ilustrado na figura 2A representa um rastreador de dispositivo externo. Deve ser observado, no entanto, que em outras modalidades, um rastreador de dispositivo dentro e fora, que pode ser uma parte do dispositivo vestível (102-1), colocado com o dispositivo vestível (102-1), comovendo-se com o dispositivo vestível (102-1), etc., também pode ser usado além ou em vez do rastreador de dispositivo (externo) (122). O rastreador de dispositivos (122) pode
Petição 870190078464, de 13/08/2019, pág. 52/122
43/85 rastrear coordenadas espaciais de um número relativamente grande de dispositivos vestíveis, incluindo, mas não se limitando, ao dispositivo vestível (102-1), os quais estão presentes no espaço 3D (126).
[0108] A título de ilustração, mas não de limitação, um sistema de coordenadas espaciais tridimensionais estacionárias usado para representar posições espaciais no espaço 3D (126) pode ser um sistema de coordenadas cartesianas de referência. A figura 2A representa apenas duas dimensões espaciais de exemplo, nomeadamente um eixo x e um eixo z, do sistema de coordenadas cartesianas de referência; o sistema de coordenadas cartesianas de referência pode compreender outra dimensão espacial, nomeadamente um eixo y ortogonal a ambos os eixos x e z, que disponta da figura 2A. O sistema de coordenadas cartesianas de referência pode compreender uma origem de sistema de coordenadas em uma posição espacial de referência indicada como p, como mostrado na figura 2A. A posição espacial de referência pode ser selecionada de qualquer posição espacial estacionária para o espaço 3D (126).
[0109] O dispositivo de vestir (102-1) pode, mas não está necessariamente limitado a ser, apenas, um dispositivo de corpo rígido (ou de uma forma espacial fixa) em operação. Posições espaciais no dispositivo vestível (102-1) podem ser representadas em um sistema de coordenadas espaciais tridimensional estacionário em relação ao dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias em referência ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias pode compreender três dimensões espaciais representadas pelos respectivos eixos incluindo um eixo x1 e um eixo z1 como mostrado na figura 2A e um eixo do y1 ortogonal a ambos os eixos x1 e z1 que não é ilustrado na figura 2A. O sistema de coordenadas cartesianas de dispositivo estacionário pode compreender uma origem
Petição 870190078464, de 13/08/2019, pág. 53/122
44/85 de sistema de coordenadas em uma posição espacial estacionária de dispositivo indicada como p1 como mostrado na figura 2A. A posição espacial estacionária do dispositivo pode ser selecionada de qualquer posição espacial estacionária para o dispositivo vestível (102-1). Em algumas modalidades, se existe uma localização espacial que é um ponto de simetria no dispositivo vestível (102-1), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário p1 para servir como a origem coordenada para o sistema de coordenadas cartesianas estacionário.
[0110] Em algumas modalidades, o rastreador de dispositivo (122) repetidamente (por exemplo, em tempo real, em tempo quase real, dentro de um orçamento de tempo restrito, a cada 1 milissegundo, a cada 2 milissegundos, etc.) rastreia ou determina uma ou mais coordenadas espaciais do dispositivo vestível (102-1), em um determinado ponto de tempo no sistema de coordenadas cartesiano de referência do espaço 3D (126). Em algumas modalidades, uma ou mais coordenadas espaciais do dispositivo vestível (102-1) podem ser representadas por uma ou mais coordenadas espaciais da posição espacial estacionária do dispositivo p1 que é estacionária para o dispositivo vestível (102-1) em relação ao sistema de coordenadas cartesianas de referência do espaço 3D (126).
[0111] As coordenadas espaciais da localização espacial estacionária do dispositivo pi do dispositivo vestível (102-1) constituem uma trajetória espacial do dispositivo vestível (102-1) que pode ser representado como funções do tempo. Qualquer combinação de uma ou mais características de movimento do dispositivo vestível (102-1) pode ser determinada a partir dessas funções de tempo representando a trajetória espacial do dispositivo vestível (102-1).
[0112] Por exemplo, posições lineares/deslocamentos (ao longo do tempo) do dispositivo vestível (102-1) em relação a um ponto de referência - como a origem p do sistema de coordenadas cartesiano de referência - estacionário no espaço 3D
Petição 870190078464, de 13/08/2019, pág. 54/122
45/85 (126) podem ser determinadas ou derivadas (por exemplo, como uma diferença de vetor, etc.) da trajetória espacial (representada pelas funções do tempo como mencionado anteriormente) do dispositivo vestível (102-1). Adicional, opcional ou alternativamente, podem ser determinadas ou derivadas velocidades lineares, velocidades, acelerações, etc. (ao longo do tempo) do dispositivo vestível (102-1), em relação ao ponto de referência estacionário no espaço 3D (126) (por exemplo, como um derivado de primeira ordem, como um derivado de segunda ordem, etc.) da trajetória espacial do dispositivo vestível (102-1).
[0113] Da mesma forma, posições/deslocamentos angulares (por exemplo, a1, etc.) (com o passar do tempo) do dispositivo vestível (102-1) podem ser determinados ou derivados de posições/deslocamentos angulares do sistema de coordenadas estacionário-dispositivo (por exemplo, x1, y1, z1 etc.) em relação ao sistema de coordenadas cartesianas de referência (por exemplo, x, y, z, etc.) [0114] Adicional, opcional ou alternativamente, velocidades lineares ou angulares, velocidades, acelerações, etc. (ao longo do tempo) do dispositivo vestível (102-1) em relação ao sistema de coordenadas de referência no espaço 3D (126) podem ser determinadas ou derivadas (por exemplo, como uma derivada de primeira ordem, como uma derivada de segunda ordem, etc.) de posições/deslocamentos lineares ou angulares (por exemplo, p1, a1, etc.) do dispositivo vestível (102-1).
[0115] Em algumas modalidades, a imagem renderizada (106, 108) pode ser implementada separadamente como um processador de imagem de cinema (por exemplo, 106, etc.) e um renderizador de imagem de dispositivo (por exemplo, 108) como ilustrado na figura 2B e figura 2C. Adicional, opcional ou alternativamente, os renderizadores de imagem como o renderizador de imagem de cinema (106), o renderizador de imagem de dispositivo (108), etc., podem ser implementados coletivamente dentro de um único dispositivo (por exemplo, servidor de cinema, etc.)
Petição 870190078464, de 13/08/2019, pág. 55/122
46/85 como ilustrado na figura 2A. Qualquer renderizador de imagem individual nos renderizadores de imagem(106, 108), como o renderizador de imagem do cinema (106), o renderizador de imagem do dispositivo (108), etc., pode ser implementado em múltiplos casos (por exemplo, computador, dispositivo, máquina virtual, etc.) trabalhando em paralelo para suportar operações de renderização de imagens em tempo real em conexão com um número relativamente grande de espectadores simultaneamente no espaço 3D (126).
[0116] A título de exemplo, porem não como limitação, os renderizadores de imagem (106, 108) compreendem um receptor de camada de imagem 160, um registrador de dispositivo 170, um gerador de imagem de exibição 162, etc. Os renderizadores de imagem (106, 108) podem incluir, mas não são necessariamente limitados a, apenas, um dos seguintes: um renderizador de imagem central, um renderizador de imagem distribuído, um renderizador de imagem implementado como parte de um dispositivo vestível (por exemplo, 102-1, etc.), um renderizador de imagem externo a alguns ou a todos os dispositivos vestíveis (por exemplo, 102-1, etc.) no espaço 3D (126), parcialmente implementado como parte de um dispositivo vestível (por exemplo, 102-1, etc.) e parcialmente implementado em um dispositivo separado externo ao dispositivo vestível (102-1), etc.
[0117] Em algumas modalidades, o receptor de camada de imagem (160) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber, através do fluxo de dados (158), uma camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo para cada imagem de múltiplas camadas e múltiplas visualizações em uma sequência de imagem de múltiplas camadas e múltiplas visualizações.
[0118] Em algumas modalidades, o registro de dispositivo (170) compreende software, hardware, uma combinação de software e hardware, etc., configurado para receber informações de ID de dispositivo (por exemplo, endereços MAC, endereços
Petição 870190078464, de 13/08/2019, pág. 56/122
47/85 de rede, endereços IP, etc.) de dispositivos vestíveis (por exemplo, 102-1, etc.) no espaço 3D (126); registrar cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.) para receber imagens de visualização do dispositivo a serem apresentadas nos dispositivos vestíveis (por exemplo, 102-1, etc.); etc.
[0119] Com base em imagens de cinema de camada única na camada de imagem de cinema, o gerador de imagens de exibição (162) gera uma ou mais imagens de tela de cinema; faz com que uma ou mais imagens de tela de cinema sejam renderizadas na tela de cinema (104); etc.
[0120] Em algumas modalidades, os renderizadores de imagem (106, 108), ou o gerador de imagem de visualização (162), recebem dados posicionais e direcionais de cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.) como rastreados/monitorizados pelo dispositivo rastreador (122) no espaço 3D (126); gera uma ou mais imagens de exibição do respectivo dispositivo para cada um dos dispositivos vestíveis (por exemplo, 102-1, etc.), com base em imagens do dispositivo de camada única em uma ou mais camadas de imagem do dispositivo e nos dados posicionais e direcionais de cada um desses dispositivos vestíveis (por exemplo, 102-1, etc.); faz com que as respectivas uma ou mais imagens de exibição de dispositivo sejam renderizadas com cada um desses dispositivos vestíveis (por exemplo, 102-1, etc.) em um visor do respectivo dispositivo (por exemplo, 116 da figura 1B, etc.); etc. Os renderizadores de imagem (por exemplo, 106, 108, etc.) podem comunicar informações de controle, informações de status, dados posicionais, dados de imagem como imagens de exibição do dispositivo, metadados, etc., com dispositivos de renderização de imagem vestíveis (por exemplo, 102-1, etc.) em uma ou mais conexões de dados. Exemplos de conexões de dados podem incluir, mas não se limitam a conexões de dados sem fio, conexões de dados com fio, conexões de dados com base em radiofrequência, conexões de dados celulares, conexões de dados Wi-Fi, conexões de dados com base em infravermelho,
Petição 870190078464, de 13/08/2019, pág. 57/122
48/85 conexões de dados via HDMI, conexões de dados através de cabo óptico, conexões de dados através de Interface Serial de Alta Velocidade (HSSI), Interface Serial Digital de Alta Definição (HD-SDI), 12G-SDI, cabo USB e similares para assento/apoio de braço/piso, etc.
[0121] Exemplos de imagens de tela de cinema e/ou imagens do visor do dispositivo incluem, mas não são necessariamente limitadas a apenas uma das seguintes: uma imagem monoscópica, uma combinação de uma imagem da esquerda e uma da direita, uma combinação de duas ou mais imagens de múltiplas visualizações, etc.
[0122] Em cenários operacionais em que uma camada de imagem compreende uma pluralidade de imagens de camada única de vista diferentes, o renderizador de imagem de cinema (106) e/ou o renderizador de imagem de dispositivo (108) podem identificar, selecionar e/ou interpolar uma imagem de visualização a esquerda e uma imagem da visualização a direita entre a pluralidade de diferentes imagens de camada simples. Por exemplo, uma ou ambas as imagens de visualização à esquerda e de visualização à direita podem ser geradas por interpolação de imagem e/ou reconstrução de imagem que combina diferentes imagens de visualização de camada única na imagem de visualização a esquerda e/ou na imagem da visualização a direita.
[0123] Em algumas modalidades, os renderizadores de imagem (106, 108) realizam operações de gerenciamento de exibição como parte da exibição de imagens de tela de cinema e/ou imagens de exibição de dispositivo.
[0124] O sistema de entretenimento ampliado pode ser usado para suportar aplicações de vídeo em tempo real, aplicações de vídeo quase em tempo real, aplicações de vídeo não em tempo real, aplicações de realidade virtual (VR), aplicações de realidade ampliada (AR), aplicações de presença remota, entretenimento automóvel, aplicativos, aplicativos de exibição montados em helmet,
Petição 870190078464, de 13/08/2019, pág. 58/122
49/85 capacete, aplicativos de exibição heads up, jogos, aplicativos de exibição em 2D, aplicativos de exibição em 3D, aplicativos de exibição em várias visualizações, etc. Alguns ou todos os dados de conteúdo de imagem de entrada (114) podem ser recebidos, gerados ou acessados pelo sistema de entretenimento ampliado em tempo real, quase em tempo real, em tempo não real, etc.
[0125] As técnicas descritas no presente documento podem ser usadas para suportar renderização e visualização de imagens em 3D ou múltiplas visualizações com uma ampla variedade de visualizações. Exemplos de visualizações (por exemplo, 104, um dispositivo visor de um dispositivo vestível, etc.) podem incluir, mas não são necessariamente limitados, apenas um dentre: um monitor de cinema, um home theater, uma televisão, um sistema de exibição com base em projeção, um sistema de exibição com base em luz de fundo, um sistema de exibição com base em campo de luz, um sistema de exibição com base em guia de ondas de luz, sistema de exibição com base em cristal líquido, sistema com base em diodos emissores de luz, um sistema com base em diodo orgânico emissor de luz, um visor HoloLens, um visor Magic Leap, um visor de Realidade Mista (MR), um visor tensohal, uma exibição volumétrica, um campo de luz (LF), um visor Immy, uma visor Meta, um par relativamente simples de óculos AR, uma tela com qualquer um em uma ampla gama de capacidades de superação do conflito de acomodaçãovergência, etc.
[0126] Em algumas formas de realização, em vez de receber imagens de múltiplas visualizações de múltiplas camadas compreendendo imagens de camada única em uma pluralidade de camadas de imagem em uma pluralidade de camadas de imagem a partir de uma fonte de imagem externa, tal como o codificador de imagem em camadas (180), o receptor de imagem de múltiplas visualizações (152) pode receber ou recuperar estas imagens múltiplas camadas com múltiplas visualizações do repositório de dados (154), por exemplo, localmente. O repositório
Petição 870190078464, de 13/08/2019, pág. 59/122
50/85 de dados (154) representa um ou mais bancos de dados, uma ou mais unidades de armazenamento de dados/módulos/dispositivos, etc., configurados para suportar operações como armazenamento, atualização, recuperação, exclusão, etc., com relação a algumas ou todas os as imagens de múltiplas visualizações de múltiplas camadas, etc.
[0127] Em algumas modalidades, em vez de enviar diretamente camadas de imagem para os renderizadores de imagem (por exemplo, renderizador de imagem de cinema, dispositivo renderizador de imagem, etc.), conjuntos de imagens compreendendo especificamente imagens de camada única selecionadas nas camadas de imagem podem ser enviadas para imagem 106, 108, etc.). O transmissor de camada de imagem (156) pode receber, de um renderizador de imagem nos renderizadores de imagem (106, 108) e/ou do rastreador de dispositivo (122), dados posicionais e direcionais do dispositivo vestível (102-1) como rastreado/monitorado pelo rastreador de dispositivos (122); estabelecer/determinar posições espaciais e/ou direções espaciais de um dado dispositivo vestível (por exemplo, 102-1, etc.) ao longo do tempo em relação ao sistema de coordenadas de referência; e gerar um ou mais conjuntos de imagens, selecionando imagens específicas de camada única nas camadas de imagem de cada imagem de múltiplas camadas de múltiplas visualizações recebidas. As imagens específicas de camada única podem ser especificamente adaptadas para o dispositivo vestível (102-1) de acordo com as posições espaciais e/ou direções espaciais do dispositivo vestível (102-1). Além disso, o transmissor de camada de imagem (156) pode codificar o conjunto de um ou de imagem em um fluxo de vídeo; fornecimento/transmissão, através do fluxo de dados (158), o fluxo de vídeo para o renderizador de imagem (106, 108); etc. Os conjuntos de imagens podem ser utilizados pelos renderizadores de imagem (106, 108) para gerar as imagens de exibição do dispositivo para o dispositivo vestível (102-1) usando reconstruções/interpolações de imagem.
Petição 870190078464, de 13/08/2019, pág. 60/122
51/85
Exemplos de conjuntos de imagens e reconstruções de imagem/interpolações podem ser encontrados no pedido de Patente US 15/949.720, com um título de aplicação de ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES por Ajit Ninan e Neil Mammen, depositados em 10 de abril de 2018, cujo conteúdo total é por este meio incorporado como referência, como se estivesse totalmente estabelecido neste documento.
[0128] As técnicas descritas no presente documento podem ser implementadas em uma variedade de arquiteturas de sistemas. Algumas ou todas as operações de processamento de imagem, conforme descritas no presente documento, podem ser implementadas por um ou mais servidores de streaming de vídeo com base em nuvem, servidores de streaming de vídeo colocados ou incorporados aos dispositivos vestíveis, clientes de streaming de vídeo, receptores de conteúdo de imagem, dispositivos de renderização de imagem, etc. Com base em um ou mais fatores, como tipos de aplicativos de vídeo, orçamentos de largura de banda/bitrate, recursos de computação, recursos, cargas etc. de dispositivos de destinatário, recursos de computação, recursos, cargas etc. de servidores de streaming de vídeo e receptores de conteúdo de imagem, dispositivos de renderização de imagem, redes de computadores subjacentes, etc., algumas operações de processamento de imagem podem ser executadas por um receptor de conteúdo de imagem, enquanto outras operações de processamento de imagem podem ser executadas por um dispositivo de renderização de imagem, etc.
[0129] A figura 2B ilustra outra configuração de exemplo 100-1 de um sistema de entretenimento ampliado (3D) que compreende um dispositivo de óculos de visualização de renderização de imagem 3D, tal como um dispositivo de vestir 102 com um dispositivo de exibição 112, uma tela de cinema 104, um processador de imagem de cinema 106, um dispositivo renderizador de imagens 108, um receptor de conteúdo de imagem 110, etc. Alguns ou todos os
Petição 870190078464, de 13/08/2019, pág. 61/122
52/85 componentes/dispositivos como representados na figura 2B podem ser implementados por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2B podem ser comunicativamente (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2B ou com outros componentes/dispositivos não representados na figura 2B.
[0130] Em algumas modalidades, o receptor de conteúdo de imagem (110) envia ou de outro modo proporciona, as imagens de cinema de camada única (como discutido anteriormente em relação à figura 2A) descodificadas da camada de imagem de cinema para o processador de imagem de cinema (106). Além disso, o receptor de conteúdo de imagem (110) envia ou, de outro modo, fornece as imagens de dispositivo de camada única (como discutido anteriormente em relação à figura 2A) decodificadas das camadas de imagem do dispositivo para o renderizador de imagem de dispositivo (108).
[0131] Com base nas imagens de cinema de camada única, o renderizador de imagem de cinema (106) rendehza imagens de tela de cinema na tela de cinema (104), que pode ser uma dentre: uma primeira imagem monoscópica, uma combinação de uma primeira imagem de visualização esquerda e uma primeira imagem da vista direita, uma combinação de duas ou mais primeiras imagens de múltiplas visualizações, etc.
[0132] Com base nas imagens de dispositivo de camada única, o renderizador de imagem do dispositivo (108) faz com que o dispositivo de vestir (102) processe imagens de exibição de dispositivo, em uma tela de dispositivo 116, que pode ser uma dentre: uma segunda imagem monoscópica, uma combinação de segunda imagem de visualização à esquerda e segunda imagem de visualização à
Petição 870190078464, de 13/08/2019, pág. 62/122
53/85 direita, uma combinação de duas ou mais imagens de múltiplas visualizações, etc.
[0133] Em algumas modalidades, o visor do dispositivo (116) não é uma exibição física, mas sim um plano de imagem ou uma exibição virtual criada por raios de luz emitidos por dispositivos de imagem (s) no dispositivo vestível (102).
[0134] Em algumas modalidades, o primeiro subconjunto apropriado de objetos visuais (por exemplo, 118, etc.) como mostrado em um par de uma imagem de tela de cinema de exibição à esquerda e uma imagem de tela de cinema de exibição a direita renderizada na tela de cinema (104) e a mais segundos subconjuntos apropriados de objetos visuais (por exemplo, 120, etc.) como representados em imagens de exibição de dispositivo correspondentes renderizadas na tela do dispositivo (116) são simultaneamente (por exemplo, simultânea, sincronicamente, dentro do mesmo intervalo de quadro de imagem, etc.) renderizadas para representar coletivamente uma pluralidade de objetos visuais (por exemplo, 118, 120, etc.) localizados em locais espaciais diferentes em um espaço de imagem 3D (por exemplo, 196 da Figura 1A, etc.). Essas localizações espaciais no espaço da imagem 3D (196) podem ser as mesmas especificadas ou descritas na informação espacial de uma imagem não estratificada de múltiplas visualizações que foi usada para particionar a pluralidade de objetos visuais na camada de imagem do cinema (ou a primeira subconjunto de objetos visuais) e uma ou mais camadas de imagem do dispositivo (ou um ou mais segundos subconjuntos apropriados de objetos visuais) em primeiro lugar.
[0135] Em algumas modalidades, o renderizador de imagens de cinema (106) e/ou o renderizador de imagem do dispositivo (108) realizam operações de gerenciamento de exibição como parte da renderização (a) da imagem de tela de cinema da vista esquerda e da imagem de tela de cinema da direita e/ou b) as imagens do visor do dispositivo.
[0136] Em cenários operacionais nos quais um sistema de entretenimento
Petição 870190078464, de 13/08/2019, pág. 63/122
54/85 ampliado como descrito no presente documento opera em um ambiente de múltiplos espectadores, posições espaciais (incluindo mas não limitado a posições individuais de múltiplos usuários) e/ou direções espaciais de dispositivos vestíveis individuais de múltiplos usuários, podem ser rastreado, calculado e/ou usado para sobrepor (ou sobrepor) conteúdo de imagem de dispositivo individual renderizado com os dispositivos vestíveis individuais dos espectadores com conteúdo de tela grande (ou conteúdo de imagem de cinema) renderizado em uma exibição compartilhada, como uma tela de cinema, exibição de projeção, etc.
[0137] A figura 3A ilustra uma vista em perspectiva de um exemplo de ambiente de múltiplos espectadores compreendendo um espaço 3D (por exemplo, 126, etc.) e uma tela de cinema (por exemplo, 104, etc.) como uma exibição compartilhada para múltiplos espectadores. O espaço 3D (126) pode compreender uma área de público 324 compreendendo uma pluralidade de espaços de assento (por exemplo, 326, etc.). Os vários espectadores que usam seus respectivos dispositivos vestíveis podem estar sentados na pluralidade de espaços de assento na área de público (324) para ver o conteúdo de imagem de cinema renderizado no visor de cinema (104) e visualizar o conteúdo de imagem de dispositivo adequadamente sobreposto, individualmente, pelos dispositivos vestíveis simultaneamente com a visualização do conteúdo da imagem do cinema. Dada uma configuração geométrica específica do espaço 3D (126), alturas, distâncias lineares e distâncias angulares dos dispositivos vestíveis podem variar substancialmente em relação à tela de cinema (104) no ambiente de múltiplos espectadores.
[0138] As posições reais do assento dos espectadores e seus dispositivos vestíveis podem ser determinadas em qualquer combinação de uma ou mais de várias maneiras diferentes. Em um exemplo, uma posição de assento específica (ou um espaço de assento específico) de um espectador e dispositivo vestível do espectador pode ser determinada com base em um bilhete específico emitido para o
Petição 870190078464, de 13/08/2019, pág. 64/122
55/85 espectador ou dispositivo vestível do espectador. Em outro exemplo, os marcadores fiduciais podem ser incorporados ao conteúdo da imagem do cinema ou em áreas espaciais adjacentes à exibição do cinema (104). O dispositivo vestível (ou fone de ouvido) pode adquirir imagens de rastreamento com marcadores de imagem gerados em resposta aos raios de luz dos marcadores fiduciais. Com base nos marcadores de imagem nas imagens de rastreamento, o dispositivo vestível pode (por exemplo, precisamente, etc.) determinar posições espaciais e/ou direções espaciais do dispositivo vestível a qualquer momento, em uma sessão de entretenimento ampliada. Exemplos de determinações de posições espaciais e/ou direções espaciais de dispositivos vestíveis com base em marcadores fiduciais podem ser encontrados no Pedido de Patente US 15/949.720 mencionado anteriormente intitulado ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES de Ajit Ninan e Neil Mammen, depositado em 10 de abril de 2018.
[0139] Em um outro exemplo, diferentes dispositivos vestíveis (por exemplo, headsets AR, etc.) podem ser afixados ou atribuídos às suas posições de assento respectivas (ou espaços de assento) no espaço 3D (126).
[0140] Adicional, opcional ou alternativamente, a detecção de localização por radiofrequência (RF) pode ser usada para determinar posições espaciais e/ou direções espaciais de um dispositivo vestível a qualquer momento em uma sessão de entretenimento ampliada. Exemplos de determinações de posições espaciais e/ou direções espaciais de dispositivos vestíveis, com base na detecção de localização por RF, podem ser encontrados na Patente US número 7.580.378, cujo teor total é incorporado ao presente documento como referência, como se estivesse completamente estabelecido aqui.
[0141] Em algumas modalidades, um (por exemplo, relativamente grande, etc.) espaço 3D (126) pode ser segregado em múltiplas zonas (por exemplo, uma das quais pode ser a 328 da figura 3B, etc.). Vários servidores de streaming de
Petição 870190078464, de 13/08/2019, pág. 65/122
56/85 mídia podem ser usados para transmitir conteúdo de imagem de dispositivo para espectadores em várias zonas (por exemplo, 328 etc.). Os espectadores em cada zona (por exemplo, 328, etc.) podem ser suportados por um respectivo servidor de streaming de mídia nos vários servidores de streaming de mídia. Em algumas modalidades, o servidor de streaming de mídia gera conteúdo de imagem de dispositivo específico do espectador para cada espectador dos espectadores sentados na zona (328) designada para suporte pelo servidor de streaming de mídia. Ao receber o conteúdo da imagem do dispositivo específico do espectador, o dispositivo vestível do espectador na zona (328) pode tornar o conteúdo da imagem do dispositivo específico do espectador sem adaptação ou com operações de renderização de imagem relativamente simples (por exemplo, interpelação de imagem/reconstrução/seleção, etc.). Em algumas modalidades, o servidor de streaming de mídia pode gerar conteúdo de imagem de dispositivo específico da zona para todos os espectadores na zona (328) suportada pelo servidor de streaming de mídia. Ao receber o conteúdo de imagem do dispositivo específico da zona, o dispositivo vestível de um espectador individual na zona (328) pode adaptar o conteúdo da imagem do dispositivo específico da zona com base nas posições espaciais e/ou direções espaciais do dispositivo vestível e tornar o conteúdo da imagem do dispositivo adaptado.
[0142] O sistema de entretenimento ampliado pode implementar ou operar técnicas de rastreamento de dispositivos para determinar posições espaciais e/ou direções espaciais de dispositivos vestíveis em tempo real, em uma sessão de entretenimento ampliada (por exemplo, uma sessão de VR, uma sessão de AR, uma sessão de presença remota, uma sessão de jogo de computador, um filme, etc.). Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser dimensionadas para rastrear/monitorar simultaneamente posições espaciais e/ou direções espaciais de dispositivos vestíveis, de um número relativamente grande de
Petição 870190078464, de 13/08/2019, pág. 66/122
57/85 espectadores. As posições espaciais e/ou as direções espaciais dos dispositivos vestíveis podem ser usadas para adaptar o conteúdo da imagem do dispositivo em conteúdo de imagem de dispositivo especificamente adaptado para dispositivos vestíveis individuais e espectadores individuais e para tornar o conteúdo da imagem do dispositivo especificamente adaptado nos dispositivos vestíveis individuais.
[0143] Exemplos de técnicas de rastreamento de dispositivos podem incluir, mas não necessariamente se limitam apenas as: técnicas de rastreamento executadas somente por dispositivos vestíveis, técnicas de rastreamento executadas somente por dispositivos externos, técnicas de rastreamento executadas em parte por dispositivos vestíveis e em parte por dispositivos externos, rastreamento de dispositivos externo, rastreamento de dispositivos com acompanhamento de dentro para fora, rastreamento de dispositivos distribuídos por vários dispositivos em colaboração, rastreamento com base em marcas de referência, rastreamento com base em sinais de RF ou infravermelho etc. Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser adaptadas a ambientes específicos nos quais sistemas de entretenimento ampliados operam. Algumas ou todas essas técnicas de rastreamento de dispositivos podem ser implementadas com custos relativamente baixos, complexidade relativamente baixa, redundância relativamente alta para resiliência, precisão relativamente alta, números relativamente altos de vários espectadores, etc.
[0144] Adicional, opcional ou alternativamente, as informações de ID de dispositivo incluindo, mas não se limitando a, endereços MAC, endereços de rede, endereços IP, etc., dos dispositivos vestíveis, podem ser obtidas pelas técnicas de rastreamento de dispositivos, como descrito no presente documento.
[0145] Algumas ou todas as posições espaciais, as direções espaciais, as informações de ID do dispositivo, endereços de rede, etc., dos dispositivos vestíveis podem ser usados para comunicar e registrar os dispositivos vestíveis
Petição 870190078464, de 13/08/2019, pág. 67/122
58/85 (individualmente ou em um grupo/zona) com respectivos servidores de streaming de mídia para obter ou baixar o conteúdo da imagem do dispositivo para ser renderizado de forma síncrona com o conteúdo da imagem de cinema.
[0146] As informações de ID do dispositivo, posições espaciais específicas e/ou direções espaciais específicas dos dispositivos vestíveis em um determinado ponto de tempo, etc., podem ser usadas para sincronizar o conteúdo da imagem do dispositivo de streaming e renderização para o ponto de tempo específico com streaming e renderização do conteúdo de imagem de cinema gerado para o ponto de tempo específico. Por exemplo, imagens de cinema de camada única usadas para gerar uma imagem de tela de cinema 3D a ser renderizada na tela de cinema (104) em um primeiro ponto de tempo podem ser indexadas por um registro de tempo logicamente indicando o primeiro ponto de tempo. As imagens de dispositivo de camada única correspondentes usadas para gerar uma imagem de exibição de dispositivo 3D correspondente a ser renderizada com um dispositivo vestível no mesmo primeiro ponto de tempo podem ser indexadas pelo mesmo registro de data e hora. Assim, tanto o dispositivo de vestir como o renderizador de imagem do cinema (106) podem exibir a imagem de tela de cinema 3D e a imagem de exibição de dispositivo 3D correspondente simultaneamente.
[0147] A figura 2C ilustra um exemplo de configuração 100-2 de um sistema de entretenimento ampliado que compreende um rastreador de dispositivo 122 operando com um conjunto de sensor de rastreamento 124 para monitorar uma pluralidade de dispositivos vestíveis, como um primeiro dispositivo vestível 102-1 usado por um primeiro espectador 112-1, um segundo dispositivo vestível 102-2 usado por um segundo espectador 112-2, etc., em um espaço 3D (por exemplo, 126, etc.). Como ilustrado na figura 2C, o sistema de entretenimento ampliado compreende ainda um renderizador de imagem de cinema (por exemplo, 106, etc.), um renderizador de imagem de dispositivo (por exemplo, 108, etc.), um receptor de
Petição 870190078464, de 13/08/2019, pág. 68/122
59/85 conteúdo de imagem (por exemplo, 110, etc.) (por exemplo, 104, etc.), um ou mais dispositivos vestíveis. Alguns ou todos os componentes/dispositivos como representados na figura 2C pode ser implementados por um ou mais componentes mecânicos, um ou mais componentes eletro-ópticos, um ou mais dispositivos de computação, módulos, unidades, etc., em software, hardware, uma combinação de software e hardware, etc. Alguns ou todos os componentes/dispositivos como representados na figura 2C podem ser comunicativamente (por exemplo, sem fios, com ligações com fios, etc.) acoplados a alguns outros componentes/dispositivos como representado na figura 2C ou com outros componentes/dispositivos não representados na figura 2C.
[0148] Em algumas modalidades, o rastreador de dispositivo (122) e o conjunto de sensor de rastreamento (124) representam um sistema de rastreamento central que é remoto dos dispositivos vestíveis que estão sob rastreamento. O rastreador de dispositivo (122) e o conjunto de sensor de rastreamento (124) podem realizar operações de rastreamento de dispositivo com os dispositivos vestíveis sem exigir que os dispositivos vestíveis implementem uma funcionalidade de autotratamento complicada e/ou ativa. Assim, os dispositivos vestíveis podem ser feitos com desenhos relativamente simples a custos relativamente baixos. Exemplos de rastreadores de dispositivos operando com conjuntos de sensores de rastreamento podem ser encontrados no Pedido de Patente US 15/949.536 mencionado anteriormente, com o título de aplicação de PASSIVE MULTIWEARABLE-DEVICES TRACKING por Ajit Ninan e Neil Mammen depositado em 10 de abril de 2018.
[0149] O sistema de rastreio central, como descrito no presente documento, pode ser utilizado para rastrear com precisão, fiabilidade e resposta os movimentos físicos de um único dispositivo vestível ou de múltiplos dispositivos vestíveis. Os componentes utilizados para fins de rastreamento não precisam ser miniaturizados
Petição 870190078464, de 13/08/2019, pág. 69/122
60/85 em pegadas relativamente pequenas e mecânica e/ou eletricamente incorporados em um fator de forma geral de um dispositivo vestível. Algoritmos de análise complexos para rastrear posições espaciais e direções de visualização do dispositivo vestível não precisam ser projetados, aperfeiçoados e implementados no dispositivo vestível.
[0150] Em algumas modalidades, o renderizador de imagem de cinema (106), o renderizador de imagem de dispositivo (108) e o rastreador de dispositivo (122) podem ser implementados em um ou mais servidores de mídia central localizados longe dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.). O rastreador de dispositivo (122) operando em conjunto com o conjunto de sensor de rastreamento (124) determina as posições espaciais e/ou direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) em tempo real em um entretenimento ampliado sessão (por exemplo, uma sessão VR, uma sessão AR, uma sessão de presença remota, uma sessão de jogo de computador, um filme, etc.).
[0151] O primeiro dispositivo vestível (102-1) pode, mas não é necessariamente limitado apenas a estar em posições espaciais de dispositivo de corpo rígido em que pode ser representado em um sistema de coordenadas espaciais tridimensionais estacionário em relação ao primeiro dispositivo vestível (102 -1). O sistema de coordenadas cartesianas do dispositivo estacionário em relação ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no primeiro dispositivo vestível (102-1). O sistema de coordenadas cartesianas estacionárias do dispositivo compreende três dimensões espaciais representadas pelos respectivos eixos, incluindo um eixo x1 e um eixo z1, e um eixo y1 ortogonal a ambos os eixos x1e z1 que não é representado na figura 2C. O sistema de coordenadas cartesianas de dispositivo estacionário pode compreender uma origem do sistema de coordenadas
Petição 870190078464, de 13/08/2019, pág. 70/122
61/85 em uma posição espacial estacionária do dispositivo indicada como p1. A posição espacial estacionária do dispositivo p1 pode ser selecionada de qualquer posição espacial estacionária para o primeiro dispositivo vestível (102-1). Em algumas modalidades, se houver uma localização espacial que seja um ponto de simetria no primeiro dispositivo vestível (102-1), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário p1 para servir como a origem de coordenadas para a sistema de coordenadas cartesianas do dispositivo estacionário.
[0152] De forma semelhante, o segundo dispositivo de vestir (102-2) pode, mas não está necessariamente limitado apenas a estar em posições espaciais de um dispositivo de corpo rígido sobre as quais pode ser representado um segundo sistema de coordenadas espaciais tridimensional, estacionário em relação ao segundo dispositivo (102-2). O segundo sistema de coordenadas cartesianas estacionárias em relação ao sistema de coordenadas cartesianas de referência pode ser usado para representar posições espaciais e direções espaciais no segundo dispositivo vestível (102-2). O segundo sistema de coordenadas cartesianas do dispositivo estacionário compreende três dimensões espaciais representadas pelos respectivos eixos incluindo um eixo x2 e um eixo z2, e um eixo y2 ortogonal a ambos os eixos x2 e z2 que não é representado na figura 2C. O segundo sistema de coordenadas cartesianas estacionárias do dispositivo pode compreender uma origem de sistema de coordenadas em uma posição espacial estacionária do dispositivo indicada como p2. A posição espacial estacionária do dispositivo p2 pode ser selecionada de qualquer posição espacial estacionária para o primeiro dispositivo vestível (102-1). Em algumas modalidades, se houver uma localização espacial que seja um ponto de simetria no segundo dispositivo vestível (102-2), então essa localização espacial pode ser selecionada como a posição espacial de dispositivo estacionário p2 para servir como a origem da coordenada ao segundo
Petição 870190078464, de 13/08/2019, pág. 71/122
62/85 sistema de coordenadas cartesianas estacionárias.
[0153] As posições espaciais e/ou as direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) podem ser usadas para adaptar o conteúdo da imagem do dispositivo em conteúdo de imagem de dispositivo especificamente adaptado para dispositivos vestíveis individuais e espectadores individuais e para renderizar o conteúdo da imagem do dispositivo especificamente adaptado nos dispositivos vestíveis individuais.
[0154] Além disso, as posições espaciais e/ou as direções espaciais dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.) podem ser fornecidas como funções de tempo para o renderizador de imagem de cinema (106) e o renderizador de imagem de dispositivo (108) Com base nas posições espaciais, as direções espaciais, etc., dos dispositivos vestíveis (por exemplo, 102-1, 102-2, etc.), o renderizador de imagem do cinema (106) e o renderizador de imagem do dispositivo podem sincronizar o fluxo e renderizar o teor da imagem do dispositivo gerado para um ponto de tempo específico com transmissão e renderização de conteúdo de imagem de cinema gerado para o ponto de tempo específico, por exemplo, por meio de uma marca temporal comum que indexa o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo. Marcas temporais que indexam o conteúdo da imagem do cinema, o conteúdo da imagem do dispositivo podem ser armazenadas ou transmitidas com o conteúdo da imagem do cinema, o conteúdo da imagem do dispositivo. Enquanto as imagens da tela de cinema estão sendo renderizadas na tela do cinema, as imagens correspondentes do dispositivo são transmitidas para os dispositivos vestíveis (por exemplo, antecipadamente, etc.) e reproduzidas no dispositivo sendo exibidas em sincronia com a exibição das imagens do cinema na tela do cinema ao mesmo tempo.
[0155] Em algumas modalidades, algum ou todo o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo podem ser armazenados localmente
Petição 870190078464, de 13/08/2019, pág. 72/122
63/85 em vez de serem transmitidos sem fio ou com conexões de dados com fio de um receptor de conteúdo de imagem ou um renderizador de imagem. Por exemplo, o conteúdo da imagem do dispositivo pode ser obtido a partir de discos rígidos locais (por exemplo, disponível a partir de conexões de dados USB em espaços individuais de espectadores, etc.). Marcas temporais, mensagens de pinging, etc., podem ser enviadas por um processador de imagem de cinema para todos os dispositivos vestíveis no espaço 3D (126) para identificar qual conteúdo de imagem de dispositivo correspondente deve ser renderizado em sincronia com a renderização do conteúdo da imagem de cinema, tela de cinema. Além disso, opcional ou alternativamente, a marca d'água, impressões digitais derivadas de algoritmos de impressão digital em execução no conteúdo da mídia, marcas de referência, etc., podem ser incorporadas, transportadas, exibidas, transmitidas ou rastreadas com a finalidade de sincronizar a renderização do conteúdo da imagem do dispositivo correspondente com o cinema, conteúdo de imagem, em vez de ou além de marcas temporais, pinging mensagens, etc.
[0156] Assim, o sistema de rastreio central, tal como implementado com o rastreador de dispositivos (122) e o conjunto de sensor de rastreio (124), pode ser usados para tomá-lo uma operação relativamente eficiente para sincronizar a transmissão e renderizar o conteúdo da imagem do cinema e o conteúdo da imagem do dispositivo, sistema de entretenimento, em comparação com um sistema de entretenimento com rastreamento de dispositivo distribuído que pode incorrer em custos de fabricação relativamente altos, custos de manutenção de dispositivo relativamente altos (por exemplo, custos de lavagem/limpeza de dispositivo relativamente altos em um ambiente comercial que compartilha um dispositivo vestível entre diferentes espectadores sucessivos, etc.) custos de comunicação relativamente altos, custos de sincronização relativamente altos.
[0157] Um dispositivo vestível (por exemplo, 102-1, 102-2, etc.), etc., pode
Petição 870190078464, de 13/08/2019, pág. 73/122
64/85 ser acionado, por exemplo, por um usuário (por exemplo, 112-1, 112-2, etc.), para fazer movimentos relativos em relação aos objetos estacionários ou sistemas de coordenadas estacionárias, tais como a tela de cinema (104) estacionária no espaço 3D (126). Estes movimentos relativos podem ser representados por qualquer combinação de um ou mais dentre: posições/deslocamentos lineares, posições/deslocamentos angulares, velocidades/velocidades lineares, velocidades/velocidades angulares, acelerações lineares, acelerações rotacionais, etc.
[0158] Por exemplo, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser um objeto físico em 3D que tenha uma posição espacial específica e uma direção espacial específica em qualquer ponto de tempo determinado em um espaço físico, como um movie theater, um espaço de entretenimento doméstico, um local, etc.
[0159] A posição espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser caracterizada ou medida por coordenadas espaciais de uma posição linear específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc). Exemplos de tal posição linear específica podem ser um ponto de simetria espacial, um ponto central geométrico, etc., de uma armação de óculos, uma posição correspondente ao ponto médio entre os olhos do espectador, etc. Exemplos de coordenadas espaciais de uma posição linear podem ser coordenadas espaciais de um sistema de coordenadas cartesianas, um sistema de coordenadas polares e similares.
[0160] A direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode ser caracterizada ou medida por coordenadas espaciais de uma posição angular de um sistema de coordenadas tridimensional específico (por exemplo, um primeiro sistema de coordenadas cartesianas de primeiro dispositivo estacionário do primeiro dispositivo vestível (102-1), um segundo sistema de
Petição 870190078464, de 13/08/2019, pág. 74/122
65/85 coordenadas cartesianas do segundo dispositivo estacionário do segundo dispositivo vestível (102-2), etc.) fixado de forma rígida ou estacionária ao dispositivo de desgaste (por exemplo, 102-1, 102-2, etc.) em referência a um sistema de coordenadas tridimensional de referência estacionário no espaço 3D (126). O sistema de coordenadas tridimensional de referência no espaço 3D (126) pode ser um sistema de coordenadas cartesianas de referência compreendendo eixos x, y e z (apenas os eixos x e z são mostrados na figura 2C) com sua origem coordenada localizada em uma posição selecionada p da tela de cinema (104). Exemplo de dispositivo - sistemas de coordenadas tridimensionais estacionários rigidamente afixados ou estacionários com o dispositivo de renderização de imagem vestível (102) podem ser sistemas de coordenadas cartesianas tridimensionais com uma direção z positiva correspondente à direção de visualização frontal do espectador, uma direção x paralela à distância interpupilar do espectador e uma direção y perpendicular às direções x e z. Exemplos de coordenadas espaciais da posição angular podem ser passo, guinada, roll, etc.
[0161] A posição espacial específica e a direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) podem ser caracterizadas geralmente por seis dimensões espaciais, três das quais relacionadas a translação, e as outras três às rotações. Em algumas modalidades, as seis dimensões espaciais utilizadas para caracterizar a posição espacial específica e a direção espacial específica do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) são totalmente independentes em relação uma à outra. Nestas modalidades, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem seis graus de liberdade. No entanto, é possível que posições lineares ou angulares correspondendo a um determinado grau de liberdade possam ainda estar limitadas a um intervalo.
[0162] Por exemplo, em uma sala de cinema, posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção x (por
Petição 870190078464, de 13/08/2019, pág. 75/122
66/85 exemplo, oscilações, etc.) no sistema de coordenadas cartesianas de referência estacionário para a tela de cinema (104) podem ser limitada\z a um intervalo correspondente a uma fração de uma largura de um assento atribuído ao espectador (por exemplo, 112-1, 112-2, etc.). Posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção y (suspensões) no sistema de coordenadas cartesianas estacionárias para a tela de cinema (104) podem ser limitadas a uma faixa correspondente a um fração da cabeça do espectador. Posições lineares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo de uma direção z (por exemplo, ondas, etc.) no sistema de coordenadas cartesianas estacionárias da tela de cinema (104) podem ser limitadas a um intervalo entre a parte de trás do assento do espectador (por exemplo, 112-1, 112-2, etc.) e o encosto de um assento diretamente em frente ao assento do espectador (por exemplo, 1121, 112-2 , etc.).
[0163] A técnica como descrita no presente documento pode ser usada para suportar a visualização de imagens omnidirecionais até 360 graus (ou até todo o ângulo 4π sólido de uma esfera). Por exemplo, um dispositivo vestível como descrito no presente documento pode visualizar imagens de exibição de dispositivo específicas de direção de qualquer ângulo de visualização de até 360 graus (ou até todo o ângulo sólido de 4π de uma esfera), mesmo que uma tela de cinema em que imagens de tela de cinema são renderizadas é fixa ou estacionária em um espaço 3D. Ao visualizar longe da tela de cinema, um espectador de um dispositivo vestível pode ver apenas as imagens de exibição do dispositivo derivadas de imagens de dispositivo de camada única em uma ou mais camadas de imagem do dispositivo. No entanto, em alguns cenários operacionais, as posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para guinadas em referência a tela de cinema (104) podem ser limitadas a um primeiro intervalo (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/- 180 graus angulares, etc.) de direções de
Petição 870190078464, de 13/08/2019, pág. 76/122
67/85 vista frontal. Posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para passos em relação à tela de cinema (104) podem ser limitadas a uma segunda faixa (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/180 graus angulares, etc.) das direções de visualização frontal. Posições angulares do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) para inclinações em relação à tela de cinema (104) podem ser limitadas a uma terceira faixa (por exemplo, +/- 20 graus angulares, +/- 30 graus angulares, até +/- 180 graus angulares, etc.) das direções de visualização frontal. Esses intervalos angulares podem ser limitados de forma diferente. Por exemplo, o terceiro intervalo pode ser ajustado para ser relativamente pequeno, uma vez que os movimentos de inclinação tendem a gerar náuseas relativamente sérias e desconfortes fisiológicos.
[0164] Se qualquer uma das faixas posicionais ou angulares mencionadas acima encolher, ou for restrita, a um único valor, então um grau de liberdade correspondente à faixa posicionai ou angular de valor único é perdido ou removido a partir de seis graus de liberdade. O dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem zero grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é (por exemplo, lógica, fisicamente, etc.) fixado em translação e em rotação em relação à tela de cinema (104). O dispositivo vestível (por exemplo, 1021, 102-2, etc.) tem um grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é fixado em rotação, mas está confinado a mover-se junto de uma linha ou uma curva unidimensional na translação relativa à tela de cinema (104). Da mesma forma, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem um grau de liberdade quando o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) é fixo na translação, mas está confinado a girar em uma única direção de rotação relativa à tela de cinema (104).
[0165] Em algumas modalidades, o rastreador de dispositivo (122) operando com o conjunto de sensor de rastreamento (124), o último sendo implantado no
Petição 870190078464, de 13/08/2019, pág. 77/122
68/85 espaço 3D (126), monitora as posições espaciais e direções espaciais dos dispositivos vestíveis no espaço 3D (126). Em algumas modalidades, o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) tem fontes de luz ligadas de forma removível ou irremovível ao dispositivo de desgaste (por exemplo, 102-1, 102-2, etc. Essas fontes de luz podem emitir ou refletir raios de luz, como raios de luz, comprimentos de onda de luz visível, raios de luz invisíveis, luzes infravermelhas, etc. Exemplos de fontes de luz podem incluir, mas não são necessariamente limitados apenas, a qualquer um dentre: emissores de luz, diodos emissores de luz (LEDs), luzes não LED, regeneradores de luz, refletores de luz, dispositivos de dispersão de luz, retrorefletores etc. A título de exemplo, mas não de limitação, as fontes de luz no dispositivo de vestir (por exemplo, 102-1, 102-2, etc.) emitem ou refletem luz invisível, como luz infravermelha, etc., para fins de rastreamento do dispositivo.
[0166] Em algumas modalidades, um ou mais sensores de imagem de rastreamento no conjunto do sensor de rastreamento (124) geram imagens de rastreamento do dispositivo que captam os raios de luz de fontes de luz colocadas nos dispositivos vestíveis, incluindo mas não limitados ao dispositivo vestível (por exemplo, 102-1, 102-2, etc.). Estes raios de luz podem ser emitidos, refletidos/redirecionados/espalhados, etc. para os sensores de rastreamento de imagem no conjunto do sensor de rastreamento (124). Esses raios de luz podem ser capturados continuamente, em um horário definido, etc. Por exemplo, as imagens de rastreamento de dispositivo podem ser tomadas em uma resolução de tempo de um milissegundo ou uma fração de milissegundo, em uma resolução de tempo a cada centésimo de segundo, em uma resolução de tempo de cada décimo de segundo, etc.
[0167] Em algumas modalidades, o rastreador de dispositivo (122) rastreia ou determina as posições espaciais e direções espaciais de cada um dos
Petição 870190078464, de 13/08/2019, pág. 78/122
69/85 dispositivos vestíveis em um determinado ponto no tempo (por exemplo, durante um intervalo de tempo, durante todo o tempo de duração de um filme 3D, etc.) com base em uma ou mais imagens de rastreamento de dispositivo capturadas no ponto de tempo determinado pelos sensores de imagem de rastreamento (124) dos raios de luz das fontes de luz dos dispositivos vestíveis.
[0168] Em algumas modalidades, o dispositivo de renderização da imagem do dispositivo (108) recebe do localizador do dispositivo (122) posições espaciais e direções espaciais (por exemplo, p1, a1, p2, a2, etc.) do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) ao longo do tempo (por exemplo, durante um intervalo de tempo, durante todo o tempo de duração de um filme 3D, etc.). Com base nas posições espaciais e direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.), o renderizador de imagem do dispositivo (108) pode determinar relações espaciais entre o dispositivo vestível (por exemplo, 102-1, 102 -2, etc.) e a tela de cinema (104). Em algumas modalidades, estas relações espaciais podem ser representadas por uma ou mais dentre: posições/deslocamentos lineares, posições/deslocamentos angulares, velocidades lineares ou angulares, velocidades lineares ou angulares, acelerações lineares ou angulares, etc., do dispositivo vestível (por exemplo , 102-1, 102-2, etc.) em relação à tela de cinema (104) ou ao sistema de coordenadas cartesianas de referência no espaço 3D (126).
[0169] Por exemplo, com base nas imagens de dispositivo de camada única derivadas da imagem não estratificada de múltiplas visualizações, o renderizador de imagem de dispositivo (108) pode determinar uma ou mais imagens de dispositivo 3D compreendendo uma ou mais imagens de dispositivo de visualização à esquerda e um ou mais dispositivos de visualização de imagens à direita. A imagem do dispositivo renderizador (108) ou o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) pode realizar uma transformação espacial em uma ou mais imagens do dispositivo de visualização à esquerda e uma ou mais imagens do dispositivo de
Petição 870190078464, de 13/08/2019, pág. 79/122
70/85 visualização à direita a uma ou mais imagens de dispositivos 3D) - antes de renderizá-las - com base nas relações espaciais entre o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) e a tela de cinema (104).
[0170] Com base nas imagens do dispositivo de visualização à esquerda e nas imagens do dispositivo de visualização à direita transformadas pela transformação espacial, o renderizador de imagem do dispositivo (108) pode fazer com que o dispositivo vestível (por exemplo, 102-1, 102-2, etc.) visualize imagens do dispositivo e visualize corretamente as imagens do dispositivo em uma ou mais telas do dispositivo (por exemplo, 116, etc.). O renderizador de imagem do dispositivo (108) pode comunicar informações de controle, informações de status, dados posicionais, dados de imagem, como imagens do dispositivo, metadados, etc., com dispositivos de renderização de imagem vestíveis (por exemplo, 102-1, 102-2, etc.) sobre uma ou mais conexões de dados. Exemplos de conexões de dados podem incluir, mas não estão limitadas, conexões de dados sem fio, conexões de dados com fio, conexões de dados com base em radiofrequência, conexões de dados celulares, conexões de dados Wi-Fi, conexões de dados com base em infravermelho, conexões de dados via HDMI, conexões de dados através de cabo óptico, conexões de dados através de Interface Serial de Alta Velocidade (HSSI), Interface Serial Digital de Alta Definição (HD-SDI), 12G-SDI, cabo USB e similares para assento/apoio de braço/piso, etc.
[0171] Além disso, opcional ou alternativamente, algumas ou todas as operações de processamento de imagem, como determinação de rotação de imagem, análise de alinhamento de imagem, detecção de corte de cena, transformação entre sistemas de coordenadas, amortecimento temporal, gerenciamento de exibição, mapeamento de conteúdo, mapeamento de cores, gerenciamento de campo de visão, etc., podem ser realizadas pelo receptor de conteúdo de imagem (110).
Petição 870190078464, de 13/08/2019, pág. 80/122
71/85 [0172] Em algumas modalidades, em vez de utilizar um rastreador de dispositivo externo, tal como 122, mostrado na figura 2C, um rastreador de dispositivo interno pode ser usado para rastrear/monitorar as posições espaciais e/ou direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.); gerar os dados posicionais e direcionais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.) com base nas posições espaciais e/ou direções espaciais do dispositivo vestível (por exemplo, 102-1, 102-2, etc.); etc.
[0173] Em algumas modalidades, o dispositivo de renderização da imagem do dispositivo (108) pode ou não funcionar com apenas um único dispositivo vestível (por exemplo, 102-1, etc.). A título de exemplo, mas não limitativo, o renderizador de imagem do dispositivo (108), como ilustrado na figura 2C opera com mais do que um dispositivo vestível (por exemplo, 102-1 e 102-2, etc.) concorrentemente.
[0174] Em algumas modalidades, o renderizador de imagem do dispositivo (108) recebe fluxos de vídeo para os dispositivos vestíveis (102-1 e 102-2); gera uma ou mais imagens de exibição de dados de vídeo nos fluxos de vídeo para cada dispositivo vestível (102-1 ou 102-2) de acordo com os dados posicionais e direcionais de cada dispositivo vestível (102-1 ou 102-2); faz com que uma ou mais imagens de exibição sejam renderizadas com o respectivo dispositivo vestível (102-1 ou 102-2) para o espectador (112-1 ou 112-2); etc.
6. EXEMPLO DE FLUXO DE PROCESSO [0175] A figura 4A ilustra um exemplo de fluxo de processo de acordo com uma modalidade exemplificativa da presente invenção. Em algumas modalidades de exemplo, um ou mais dispositivos ou componentes de computação podem realizar esse fluxo de processo. No bloco 402, um codificador de imagem em camadas (por exemplo, 180 da figura 2A, etc.) acessa informação espacial que descreve localizações espaciais de uma pluralidade de objetos visuais como em um espaço de imagem tridimensional (3D) como representado em uma ou mais imagens não
Petição 870190078464, de 13/08/2019, pág. 81/122
72/85 visualizadas com várias exibições. Cada uma ou mais das imagens não alinhadas de múltiplas visualizações compreende uma pluralidade de imagens não alinhadas de visualização única correspondendo a uma pluralidade de direções de visualização.
[0176] No bloco 404, com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens não alinhadas com visualizações múltiplas, o codificador de imagem em camadas (180) gera, a partir daquela ou mais imagens não estratificadas com múltiplas visualizações, uma camada de imagem de cinema compreendendo uma ou mais imagens de cinema de camada única, representando um primeiro subconjunto apropriado de um ou mais objetos visuais na pluralidade de objetos visuais.
[0177] No bloco 406, com base na informação espacial que descreve as localizações espaciais da pluralidade de objetos visíveis no espaço da imagem 3D, tal como representado na uma ou mais imagens não estratificadas de múltiplas visualizações, o codificador de imagem em camadas (180) gera, a partir daquela ou mais imagens não estratificadas com múltiplas visualizações, uma ou mais camadas de imagem de dispositivo, cada uma das quais compreende uma ou mais imagens de dispositivo de camada única representando um ou mais subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais.
[0178] No bloco 408, o codificador de imagem em camadas (180) envia um sinal de vídeo de múltiplas camadas de múltiplas visualizações compreendendo uma ou mais imagens de cinema de camada única na camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo para um ou mais dispositivos a jusante da renderização.
[0179] Em uma modalidade, a informação espacial representa um ou mais dentre: informação de profundidade, informação de disparidade, informação de
Petição 870190078464, de 13/08/2019, pág. 82/122
73/85 paralaxe, informação de malha 3D, informação epipolar, informação de mapa tensorial, etc.
[0180] Em uma modalidade, o espaço da imagem 3D representa uma dentre: uma ou mais cenas do mundo real, uma ou mais cenas do mundo virtual, uma combinação de uma ou mais cenas do mundo real e uma ou mais cenas do mundo virtual, etc.
[0181] Em uma modalidade, a pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens sem múltiplas visualizações é separada na camada de imagem de cinema e em uma ou mais camadas de imagem de dispositivo, utilizando uma ou mais superfícies de separação de camadas. Em uma modalidade, pelo menos uma das superfícies de separação de uma ou mais camadas coincide com uma tela de cinema que é para ser utilizada para renderizar imagens de tela de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema. Em uma modalidade, nenhuma de uma ou mais superfícies de separação de camadas coincide com uma tela de cinema que é para ser utilizada para renderizar imagens de visualização de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema.
[0182] Em uma modalidade, pelo menos uma das imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única nas uma ou mais camadas de imagem de dispositivo são geradas utilizando uma distribuição de pixels 3D gerada com um mapa tensorial.
[0183] Em uma modalidade, a pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens não visualizadas com múltiplas visualizações, é separada na camada de imagem de cinema e em uma ou mais camadas de imagem de dispositivo, com base em um ou mais dentre: localizações de exibições em um espaço de referência 3D; localizações espaciais de
Petição 870190078464, de 13/08/2019, pág. 83/122
74/85 um espectador em uma localização espacial de referência no espaço de referência 3D; posições espaciais de objetos visuais conforme projetadas no espaço de referência 3D, em relação às localizações espaciais das exibições ou do espectador; direções espaciais de objetos visuais no espaço de referência 3D, em relação ao espectador (112-0); importância artística relativa de objetos visuais; propriedades visuais de objetos visuais; características de movimento de objetos visuais; locais espaciais passados, presentes ou futuros de objetos visuais; direções espaciais passadas, presentes ou futuras dos objetos visuais; etc.
[0184] A figura 4B ilustra um exemplo de fluxo de processo de acordo com uma modalidade de exemplo da presente invenção. Em algumas modalidades de exemplo, um ou mais dispositivos ou componentes de computação podem realizar esse fluxo de processo. No bloco 452, um sistema de entretenimento ampliado (por exemplo, como ilustrado na figura 2A, figura 2B ou figura 2C, etc.) recebe um sinal de vídeo de múltiplas camadas, múltiplas visualizações que compreende uma ou mais imagens de cinema de camada única em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem do dispositivo. As imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo foram anteriormente derivadas de uma ou mais imagens não visualizadas com múltiplas visualizações.
[0185] No bloco 454, o sistema de entretenimento ampliado recupera, da camada de imagem de cinema do sinal de vídeo de múltiplas visualizações, múltiplas camadas, uma ou mais imagens de cinema de camada única, uma ou mais imagens de cinema de camada única representando um primeiro subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais, tal como originalmente representados por uma ou mais imagens não estratificadas com múltiplas visualizações.
Petição 870190078464, de 13/08/2019, pág. 84/122
75/85 [0186] No bloco 456, o sistema de entretenimento ampliado recupera, a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo múltiplas camadas de múltiplas visualizações, uma ou mais imagens de dispositivo de camada única, uma ou mais imagens de dispositivo representando um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais, na pluralidade de objetos visuais como originalmente representados por uma ou mais imagens não estratificadas de múltiplas visualizações.
[0187] No bloco 458, o sistema de entretenimento ampliado faz com que o primeiro subconjunto apropriado de objetos visuais, conforme representado nas imagens de cinema de uma ou mais camadas, seja renderizado a um espectador em uma tela de cinema em um espaço 3D.
[0188] No bloco 460, o sistema de entretenimento ampliado faz com que um ou mais segundos subconjuntos apropriados de objetos visuais, como representado em uma ou mais imagens de dispositivo de camada única, sejam renderizados simultaneamente para o espectador em uma exibição de dispositivo no espaço 3D.
[0189] Em uma modalidade, o primeiro subconjunto apropriado de objetos visuais como mostrado na tela de cinema e o um ou mais segundos subconjuntos apropriados de objetos visuais, como mostrado no coletivo de exibição do dispositivo, representam a pluralidade de objetos visuais localizados nos mesmos locais espaciais em um espaço de imagem 3D, como originalmente representado por uma ou mais imagens não estratificadas com várias visualizações. Em uma modalidade, a informação espacial que descreve as localizações espaciais no espaço de imagem 3D no qual a pluralidade de objeto visual está localizada foi anteriormente usada para particionar a pluralidade de objetos visuais, como originalmente representado por uma ou mais imagens não estratificadas com múltiplas visualizações, na camada de imagem do cinema e uma ou mais camadas de imagem do dispositivo.
Petição 870190078464, de 13/08/2019, pág. 85/122
76/85 [0190] Em uma modalidade, o mostrador do dispositivo é movível espacialmente com um ou mais graus de liberdade em relação, à tela de cinema.
[0191] Em uma modalidade, o visor do dispositivo é usado por um dispositivo vestível para renderizar imagens; a tela do dispositivo é fixada espacialmente em relação ao dispositivo vestível.
[0192] Em uma modalidade, a tela de cinema é um mostrador estacionário; o visor do dispositivo representa uma exibição montada na cabeça de um dispositivo vestível usado pelo espectador.
[0193] Em uma modalidade, a tela de cinema no espaço 3D é utilizada para definir uma superfície de separação de camadas no espaço da imagem 3D; a pluralidade de objetos visuais é particionada no primeiro subconjunto próprio de objetos visuais e um ou mais segundos subconjuntos apropriados de objetos visuais com base, pelo menos em parte, nas relações espaciais da pluralidade de objetos visuais em relação à superfície de separação de camadas.
[0194] Em uma modalidade, o um ou mais segundos subconjuntos apropriados de objetos visuais são selecionados dentre a pluralidade de objetos visuais, com base em distâncias espaciais para a superfície de separação de camadas.
[0195] Em uma modalidade, pelo menos um objeto visual entre a pluralidade de objetos visuais passa pela superfície de separação de camadas; o primeiro subconjunto apropriado de objetos visuais inclui uma porção do pelo menos um objeto visual; o um ou mais segundos subconjuntos apropriados de objetos visuais incluem uma parte restante do pelo menos um objeto visual.
[0196] Em uma modalidade, o tela de cinema representa uma superfície espacial de paralaxe zero no espaço 3D; um objeto visual representado por uma imagem de tela de cinema como por trás da tela de cinema apresenta paralaxes positivas; um objeto visual representado pela imagem do cinema como na frente da
Petição 870190078464, de 13/08/2019, pág. 86/122
77/85 tela do cinema apresenta paralaxes negativas; a pluralidade de objetos visuais é particionada no primeiro subconjunto próprio de objetos visuais e no um ou mais segundos subconjuntos apropriados de objetos visuais com base em paralaxes individuais de objetos visuais individuais na pluralidade de objetos visuais.
[0197] Em uma modalidade, todos os objetos visuais em um ou mais segundos subconjuntos apropriados de objetos visuais devem ser de paralaxes negativas se um ou mais segundos subconjuntos apropriados de objetos visuais forem renderizados por imagens de tela de cinema renderizadas na tela de cinema.
[0198] Em uma modalidade, pelo menos um objeto visual em um ou mais segundos subconjuntos apropriados de objetos visuais deve ser de paralaxe positiva se um ou mais segundos subconjuntos apropriados de objetos visuais forem renderizados por imagens de tela de cinema renderizadas na tela de cinema .
[0199] Em uma modalidade, o sistema de entretenimento ampliado é ainda configurado para executar: fazer com que dois subconjuntos apropriados diferentes de objetos visuais em um ou mais segundos subconjuntos apropriados de objetos visuais, conforme representado em uma ou mais imagens de dispositivo de camada única, sejam renderizados no exibição do dispositivo em dois diferentes planos de imagem de duas distâncias diferentes para o espectador.
[0200] Em uma modalidade, o visor do dispositivo renderiza as imagens de exibição do dispositivo em um plano de imagem a uma distância que é ajustável com base nos ângulos de convergência do espectador.
[0201] Em uma modalidade, o visor do dispositivo renderiza as imagens de exibição do dispositivo em um plano de imagem de uma distância que é fixa em relação ao espectador.
[0202] Em uma modalidade, o sistema de entretenimento ampliado está ainda configurado para executar: adaptação de uma ou mais imagens de dispositivo de camada única a imagens de exibição de dispositivo usando transformações
Petição 870190078464, de 13/08/2019, pág. 87/122
78/85 espaciais com base em uma ou mais posições espaciais específicas ou direções espaciais específicas de um dispositivo vestível que inclui a exibição do dispositivo.
[0203] Em uma modalidade, as transformações espaciais reconstroem um modelo de tensor que foi anteriormente utilizado para gerar a camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo a partir de uma ou mais imagens não estratificadas com múltiplas visualizações.
[0204] Em uma modalidade, as imagens de tela de cinema renderizadas no visor de cinema representam uma das seguintes: imagens bidimensionais ou imagens 3D.
[0205] Em uma modalidade, um dispositivo vestível que inclui a tela do dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se registra automaticamente com um sistema de mídia para receber conteúdo de imagem do dispositivo a ser renderizado simultaneamente, enquanto o conteúdo da imagem do cinema é renderizado no tela do cinema. Em uma modalidade, os dispositivos vestíveis que se registram automaticamente no sistema de mídia com base em um ou mais dentre: posições de assento específicas com base em bilhetes emitidos específicos para os espectadores dos dispositivos vestíveis, marcadores fiduciais embutidos no conteúdo de imagem de cinema ou em áreas espaciais em tomo da tela de cinema, raios de luz codificados com informações de ID do dispositivo, detecção de localização por radiofrequência (RF), zonas específicas de uma área de público no espaço 3D, etc.
[0206] Em uma modalidade, um dispositivo vestível que inclui o visor do dispositivo está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se divide em uma pluralidade de zonas em uma área de público no espaço 3D; primeiros dispositivos vestíveis em uma primeira zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo, a partir de um primeiro servidor de conteúdo de imagem de dispositivo (por exemplo, um primeiro renderizador de
Petição 870190078464, de 13/08/2019, pág. 88/122
79/85 imagem de dispositivo, etc.); os segundos dispositivos vestíveis em uma segunda zona na pluralidade de zonas recebem o conteúdo da imagem do dispositivo a partir de um segundo servidor de conteúdo da imagem do dispositivo (por exemplo, um segundo renderizador da imagem do dispositivo, etc.).
[0207] Em uma modalidade, o sistema de entretenimento ampliado é ainda configurado para executar: rastreamento de dispositivos vestíveis com conjuntos de sensores de dispositivo que são instalados em um ou mais locais de instalação espacial no local 3D. Em uma modalidade, pelo menos um dos conjuntos de sensores de dispositivos encontra-se no: teto, parede, piso, áreas espaciais perto da tela de cinema, áreas espaciais afastadas da tela de cinema, lugares sentados, costas de bancos, etc. no lugar 3D.
[0208] Em várias modalidades de exemplo, um aparelho, um sistema, ou um ou mais dispositivos de computação, executam qualquer ou uma parte dos métodos anteriores, conforme descrito. Em uma modalidade, um meio de armazenamento legível por computador não transitório armazena instruções de software, que quando executadas por um ou mais processadores levam ao desempenho de um método como descrito no presente documento.
[0209] Observe que, embora as modalidades separadas sejam discutidas no presente documento, qualquer combinação de modalidades e/ou modalidades parciais discutidas no presente documento podem ser combinadas para formar modalidades adicionais.
7. VISTA GERAL DOS MECANISMOS DE IMPLEMENTAÇÃO HARDWARE [0210] De acordo com uma modalidade, as técnicas descritas no presente documento são implementadas por um ou mais dispositivos de computação para fins especiais. Os dispositivos de computação de finalidade especial podem ser conectados fisicamente para executar as técnicas ou podem incluir dispositivos
Petição 870190078464, de 13/08/2019, pág. 89/122
80/85 eletrônicos digitais, como um ou mais circuitos integrados específicos de aplicativos (ASICs) ou matrizes de portas programáveis de campo (FPGAs) que são programados persistentemente para executar técnicas, ou podem incluir um ou mais processadores de hardware de uso geral programados para executar as técnicas de acordo com as instruções do programa em firmware, memória, outro armazenamento ou uma combinação. Esses dispositivos de computação para fins especiais também podem combinar lógica customizada física, ASICs ou FPGAs com programação personalizada para realizar as técnicas. Os dispositivos computacionais de finalidade especial podem ser sistemas de computadores de mesa, sistemas de computadores vestíveis, dispositivos de mão, dispositivos de rede ou qualquer outro dispositivo que incorpora lógica de hardware e/ou de programação para implementar as técnicas.
[0211] Por exemplo, a figura 5 é um diagrama de blocos que ilustra um sistema de computador 500 ,sobre o qual pode ser implementada uma modalidade exemplar da invenção. O sistema de computador 500 inclui um barramento 502 ou outro mecanismo de comunicação para passar informações, e um processador de hardware 504 acoplado com o barramento 502 para processar informações. O processador de hardware 504 pode ser, por exemplo, um microprocessador de uso geral.
[0212] O sistema de computador 500 também inclui uma memória principal 506, tal como uma memória de acesso aleatório (RAM) ou outro dispositivo de armazenamento dinâmico, acoplado ao barramento 502 para armazenar informação e instruções a serem executadas pelo processador 504. A memória principal 506 também pode ser usada para armazenar variáveis temporárias ou outras informações intermediárias durante a execução de instruções a serem executadas pelo processador 504. Tais instruções, quando armazenadas em meios de armazenamento não transitórios acessíveis ao processador 504, tornam o sistema
Petição 870190078464, de 13/08/2019, pág. 90/122
81/85 de computador 500 em uma máquina de propósito especial que é personalizada para executar as operações especificadas nas instruções.
[0213] O sistema de computador 500 inclui ainda uma memória apenas de leitura (ROM) 508 ou outro dispositivo de armazenamento estático acoplado ao barramento 502 para armazenar informação estática e instruções para o processador 504.
[0214] Um dispositivo de armazenamento 510, tal como um disco magnético ou disco óptico, RAM de estado sólido é provida e acoplada ao barramento 502 para armazenar informação e instruções.
[0215] O sistema de computador 500 pode ser acoplado via barramento 502 a um visor 512, tal como um visor de cristal líquido, para exibir informação a um usuário de computador. Um dispositivo de entrada 514, incluindo teclas alfanuméricas e outras, é acoplado ao barramento 502 para comunicar informações e comandar as seleções para o processador 504. Outro tipo de dispositivo de entrada do usuário é o controle do cursor 516, tal como um mouse, um trackball ou teclas de direção do cursor para comunicar informação de direção e comandar seleções para o processador 504 e para controlar o movimento do cursor no visor 512. Este dispositivo de entrada tem tipicamente dois graus de liberdade em dois eixos, um primeiro eixo (por exemplo, x) e um segundo eixo (por exemplo, y), que permite ao dispositivo especificar posições em um plano.
[0216] O sistema de computador 500 pode implementar as técnicas descritas no presente documento usando lógica hard-wired personalizada, um ou mais ASICs ou FPGAs, firmware e/ou lógica de programa que em combinação com o sistema de computador provoca ou programa o sistema de computador 500 para ser uma máquina de finalidade especial. De acordo com uma modalidade, as técnicas do presente documento são executadas pelo sistema de computador 500 em resposta ao processador 504 executando uma ou mais sequências de uma ou
Petição 870190078464, de 13/08/2019, pág. 91/122
82/85 mais instruções contidas na memória principal 506. Tais instruções podem ser lidas na memória principal 506 a partir de outro meio de armazenamento, tal como o dispositivo de armazenamento 510. A execução das sequências de instruções contidas na memória principal 506 faz com que o processador 504 execute as etapas do processo descritas no presente documento. Em modalidades alternativas, os circuitos com fios podem ser usados em vez de ou em combinação com instruções de software.
[0217] O termo mídia de armazenamento, como usado no presente documento, se refere a qualquer mídia não transitória que armazena dados e/ou instruções que fazem com que uma máquina funcione de uma maneira específica. Esses meios de armazenamento podem compreender meios não voláteis e/ou meios voláteis. A mídia não volátil inclui, por exemplo, discos ópticos ou magnéticos, como o dispositivo de armazenamento 510. A mídia volátil inclui memória dinâmica, como a memória principal 506. Formas comuns de mídia de armazenamento incluem, por exemplo, um disquete, um disco flexível, disco rígido, unidade de estado sólido, fita magnética ou qualquer outro meio magnético de armazenamento de dados, um CD-ROM, qualquer outro meio de armazenamento óptico de dados, meio com padrões de furos, uma RAM, uma PROM e EPROM, uma FLASHEPROM, NVRAM, qualquer outro chip ou cartucho de memória.
[0218] A mídia de armazenamento é distinta, mas pode ser usada em conjunto com a mídia de transmissão. A mídia de transmissão participa da transferência de informações entre a mídia de armazenamento. Por exemplo, o meio de transmissão inclui cabos coaxiais, fio de cobre e fibra ótica, incluindo os fios que compreendem o barramento 502. A mídia de transmissão também pode assumir a forma de ondas acústicas ou de luz, como aquelas geradas durante as comunicações de dados de ondas de rádio e infravermelho.
[0219] Várias formas de mídia podem estar envolvidas no transporte de uma
Petição 870190078464, de 13/08/2019, pág. 92/122
83/85 ou mais sequências de uma ou mais instruções para o processador 504 para execução. Por exemplo, as instruções podem inicialmente ser transportadas em uma unidade de disco magnético ou de estado sólido de um computador remoto. O computador remoto pode carregar as instruções em sua memória dinâmica e enviar as instruções por uma linha telefônica usando um modem. Um modem local para o sistema de computador 500 pode receber os dados na linha telefônica e usar um transmissor infravermelho para converter os dados em um sinal infravermelho. Um detector infravermelho pode receber os dados transportados no sinal infravermelho e os circuitos apropriados podem colocar os dados no barramento 502. O barramento 502 transporta os dados para a memória principal 506, a partir da qual o processador 504 recupera e executa as instruções. As instruções recebidas pela memória principal 506 podem, opcionalmente, ser armazenadas no dispositivo de armazenamento 510 antes ou após a execução pelo processador 504.
[0220] O sistema de computador 500 também inclui uma interface de comunicação 518 acoplada ao barramento 502. A interface de comunicação 518 fornece um acoplamento de comunicação de dados bidirecional para um enlace de rede 520 que está conectado a uma rede local 522. Por exemplo, a interface de comunicação 518 pode ser uma placa de rede digital de serviços integrados (ISDN), modem de cabo, modem de satélite ou um modem para fornecer uma ligação de comunicação de dados para um tipo de linha telefônica correspondente. Como outro exemplo, a interface de comunicação 518 pode ser uma placa de rede de área local (LAN) para fornecer uma conexão de comunicação de dados para uma LAN compatível. Links sem fio também podem ser implementados. Em qualquer implementação deste tipo, a interface de comunicação 518 envia e recebe sinais elétricos, eletromagnéticos ou ópticos que transportam fluxos de dados digitais representando vários tipos de informação.
[0221] O link de rede 520 normalmente fornece comunicação de dados
Petição 870190078464, de 13/08/2019, pág. 93/122
84/85 através de uma ou mais redes para outros dispositivos de dados. Por exemplo, o enlace de rede 520 pode fornecer uma conexão através da rede local 522 para um computador host 524 ou para um equipamento de dados operado por um provedor de serviços de Internet (ISP) 526. O ISP 526, por sua vez, fornece serviços de comunicação de dados através da rede mundial de comunicação de dados em pacotes, agora comumente referida como Internet 528. A rede local 522 e a Internet 528 usam sinais elétricos, eletromagnéticos ou ópticos que transportam fluxos de dados digitais. Os sinais através das várias redes e os sinais no link de rede 520 e através da interface de comunicação 518, que transportam os dados digitais de e para o sistema de computador 500, são exemplos de formas de meios de transmissão.
[0222] O sistema de computador 500 pode enviar mensagens e receber dados, incluindo código de programa, através da (s) rede (s), ligação de rede 520 e interface de comunicação 518. No exemplo da Internet, um servidor 530 pode transmitir um código pedido para um programa de aplicação através da Internet 528, ISP 526, rede local 522 e interface de comunicação 518.
[0223] O código recebido pode ser executado pelo processador 504 à medida que é recebido e/ou armazenado no dispositivo de armazenamento 510, ou outro armazenamento não volátil para execução posterior.
8. EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DIVERSOS [0224] No relatório descritivo anterior, modalidades exemplares da invenção foram descritas com referência a inúmeros detalhes específicos que podem variar de implementação à implementação. Assim, o indicador único e exclusivo do que é a invenção, e é pretendido pelos requerentes como sendo a invenção, é o conjunto de reivindicações que são emitidas a partir deste pedido, na forma específica em que tais reivindicações são emitidas, incluindo qualquer correção subsequente. Quaisquer definições expressamente estabelecidas neste documento para os
Petição 870190078464, de 13/08/2019, pág. 94/122
85/85 termos contidos em tais reivindicações devem reger o significado de tais termos usados nas reivindicações. Assim, nenhuma limitação, elemento, propriedade, característica, vantagem ou atributo que não seja expressamente recitado em uma reivindicação deve limitar o escopo de tal reivindicação de qualquer forma. O relatório descritivo e os desenhos devem, portanto, ser considerados em um sentido mais ilustrativo do que restritivo.
Claims (33)
- REIVINDICAÇÕES1. Método, CARACTERIZADO pelo fato de que compreende:acesso às informações espaciais que descrevem localizações espaciais de uma pluralidade de objetos visuais, como em um espaço de imagem tridimensional (3D) como representado em uma ou mais imagens não estratificadas de múltiplas visualizações, cada uma ou mais imagens de múltiplas visualizações não estratificadas compreendendo uma pluralidade de imagens não estratificadas de visualização única correspondendo a uma pluralidade de direções de visualização;com base nas informações espaciais que descrevem as localizações espaciais da pluralidade de objetos visuais no espaço da imagem 3D, conforme representado em uma ou mais imagens não estratificadas de múltiplas visualizações, realizando:geração, a partir de uma ou mais imagens não estratificadas de múltiplas visualizações, uma camada de imagem de cinema compreendendo uma ou mais imagens de cinema de camada única representando um primeiro subconjunto apropriado de um ou mais objetos visuais na pluralidade de objetos visuais;geração, a partir de uma ou mais imagens não estratificadas de múltiplas visualizações, uma ou mais camadas de imagem de dispositivo, cada uma compreendendo uma ou mais imagens de dispositivo de camada única representando um ou mais subconjuntos apropriados de um ou mais objetos visuais na pluralidade de objetos visuais;envio de um sinal de vídeo de múltiplas camadas de múltiplas visualizações compreendendo uma ou mais imagens de cinema de camada única na camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única, em uma ou mais camadas de imagem de dispositivo para um ou mais dispositivos a jusante para renderização.
- 2. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato dePetição 870190078464, de 13/08/2019, pág. 96/1222/9 que a informação espacial representa uma ou mais dentre: informação de profundidade, informação de disparidade, informação de paralaxe, informação de malha 3D, informação epipolar ou informação de mapa tensorial.
- 3. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o espaço da imagem 3D representa uma dentre: uma ou mais cenas do mundo real, uma ou mais cenas do mundo virtual ou uma combinação de uma ou mais cenas do mundo real e uma ou mais cenas do mundo virtual.
- 4. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a pluralidade de objetos visuais no espaço da imagem 3D, tal como representados em uma ou mais imagens não estratificadas, de múltiplas visualizações são separadas na camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo, utilizando uma ou mais camadas de superfícies de separação.
- 5. Método de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que pelo menos uma das uma ou mais superfícies de separação de camadas coincide com uma tela de cinema que é usada para renderizar imagens de tela de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema.
- 6. Método de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que nenhuma das uma ou mais superfícies de separação de camadas coincide com uma tela cinema que deve ser utilizada para renderizar imagens de tela de cinema geradas a partir de imagens de cinema de camada única na camada de imagem de cinema.
- 7. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que, pelo menos, uma das imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivo de camada única na uma ou mais camadas de imagem de dispositivo são geradas utilizando uma distribuição 3D dePetição 870190078464, de 13/08/2019, pág. 97/1223/9 pixels gerada com um mapa tensorial.
- 8. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a pluralidade de objetos visuais no espaço da imagem 3D, tal como representado na uma ou mais imagens não estratificadas, de múltiplas visualizações são separadas na camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo com base em uma ou mais dentre: localizações espaciais de visores em um espaço de referência 3D; localizações espaciais de um espectador em uma localização espacial de referência no espaço de referência 3D; posições espaciais de objetos visuais conforme projetadas no espaço de referência 3D, em relação às localizações espaciais das visualizações ou do espectador; direções espaciais de objetos visuais no espaço de referência 3D, em relação ao espectador; importância artística relativa de objetos visuais; propriedades visuais de objetos visuais; características de movimento de objetos visuais; locais espaciais passados, presentes ou futuros de objetos visuais; ou direções espaciais passadas, presentes ou futuras de objetos visuais.
- 9. Método, CARACTERIZADO pelo fato de que compreende:recepção de um sinal de vídeo de múltiplas visualizações, múltiplas camadas compreendendo uma ou mais imagens de cinema de camada única em uma camada de imagem de cinema e uma ou mais imagens de dispositivo de camada única em uma ou mais camadas de imagem de dispositivo, as imagens de cinema de camada única na camada de imagem de cinema e as imagens de dispositivos de camada única na uma ou mais camadas de imagem de dispositivo sendo previamente derivadas de uma ou mais imagens não estratificadas de múltiplas visualizações;recuperação, a partir da camada de imagem de cinema, do sinal de vídeo de múltiplas visualizações, múltiplas camadas, uma ou mais imagens de cinema de camada única, uma ou mais imagens de cinema de camada única representando umPetição 870190078464, de 13/08/2019, pág. 98/1224/9 primeiro subconjunto apropriado de um ou mais objetos visuais em uma pluralidade de objetos visuais, tal como originalmente representados por uma ou mais imagens não estratificadas de múltiplas visualizações.recuperação a partir de uma ou mais camadas de imagem de dispositivo do sinal de vídeo múltiplas camadas de múltiplas visualizações, uma ou mais imagens de dispositivo de camada única, uma ou mais imagens de dispositivo representando um ou mais segundos subconjuntos apropriados de um ou mais objetos visuais, na pluralidade de objetos visuais como originalmente representados por uma ou mais imagens não estratificadas de múltiplas visualizações;fazendo com que o primeiro subconjunto apropriado de objetos visuais, conforme representado nas imagens de cinema de uma ou mais camadas, seja renderizado a um espectador em uma tela de cinema em um espaço 3D;fazendo com que um ou mais segundos subconjuntos apropriados de objetos visuais, como representado na uma ou mais imagens de dispositivo de camada única, sejam renderizados simultaneamente, para o espectador em uma exibição de dispositivo no espaço 3D;em que o primeiro subconjunto apropriado de objetos visuais, tal como apresentado na tela de cinema, e um ou mais segundos subconjuntos apropriados de objetos visuais, tal como renderizados no conjunto de dispositivos, representam a pluralidade de objetos visuais localizados nas mesmas localizações espaciais em um espaço de imagem 3D, como originalmente representado por uma ou mais imagens não visualizadas com múltiplas visualizações;onde a informação espacial descrevendo as localizações espaciais no espaço de imagem 3D, no qual a pluralidade de objeto visual está localizada foi previamente usada para particionar a pluralidade de objetos visuais, como originalmente representada por uma ou mais imagens não visualizadas de múltiplas visualizações, na camada de imagem de cinema e uma ou mais camadas dePetição 870190078464, de 13/08/2019, pág. 99/1225/9 imagem do dispositivo.
- 10. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o dispositivo de visualização pode ser movido espacialmente com um ou mais graus de liberdade em relação ao espectador de cinema.
- 11. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o visor do dispositivo é usado por um dispositivo vestível para renderizar imagens; e em que o visor do dispositivo está fixado espacialmente em relação ao dispositivo vestível.
- 12. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a tela de cinema é um visor estacionário e em que o visor do dispositivo representa um visor montado em um cabeçote de um dispositivo vestível usado pelo telespectador.
- 13. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a tela de cinema no espaço 3D é utilizada para definir uma superfície de separação de camadas no espaço de imagem 3D; e em que a pluralidade de objetos visuais é particionada no primeiro subconjunto próprio de objetos visuais e um ou mais segundos subconjuntos apropriados de objetos visuais com base, pelo menos em parte, em relações espaciais da pluralidade de objetos visuais em relação à superfície de separação de camadas.
- 14. Método de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o um ou mais segundos subconjuntos apropriados de objetos visuais são selecionados dentre a pluralidade de objetos visuais com base nas distâncias espaciais para a superfície de separação de camadas.
- 15. Método de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que, pelo menos, um objeto visual entre a pluralidade de objetos visuais atravessa a superfície de separação da camada; em que o primeiro subconjunto apropriado de objetos visuais inclui uma porção do pelo menos um objeto visual; ePetição 870190078464, de 13/08/2019, pág. 100/1226/9 em que o um ou mais segundos subconjuntos apropriados de objetos visuais incluem uma parte restante do pelo menos um objeto visual.
- 16. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a tela de cinema representa uma superfície espacial de paralaxe zero no espaço 3D; em que um objeto visual representado por uma imagem de tela de cinema como por trás da tela de cinema possui paralaxes positivas; em que um objeto visual representado pela imagem de exibição do cinema como em frente da tela de cinema apresenta paralaxes negativas; e em que os vários objetos visuais são particionados no primeiro subconjunto próprio de objetos visuais e um ou mais segundos subconjuntos apropriados de objetos visuais com base nas paralaxes individuais de objetos visuais individuais na pluralidade de objetos visuais.
- 17. Método de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que todos os objetos visuais em um ou mais segundos subconjuntos apropriados de objetos visíveis devem ser de paralaxes negativas se os um ou mais segundos subconjuntos apropriados de objetos visuais devessem ser renderizados por imagens de tela de cinema renderizadas na tela de cinema.
- 18. Método de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que pelo menos um objeto visual no um ou mais segundos subconjuntos apropriados de objetos visíveis deve ser de paralaxe positiva se o um ou mais segundos subconjuntos apropriados de objetos visíveis fossem renderizados por imagens de tela de cinema renderizadas na tela de cinema.
- 19. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que compreende ainda: fazer com que dois subconjuntos adequados diferentes de objetos visíveis nos um ou mais segundos subconjuntos apropriados de objetos visuais, como representado nas uma ou mais imagens de dispositivo de camada única a serem apresentadas no visor do dispositivo em dois diferentes planos de imagem de duas distâncias diferentes para o espectador.Petição 870190078464, de 13/08/2019, pág. 101/1227/9
- 20. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que ao visor do dispositivo processa imagens de visualização do dispositivo em um plano de imagem de uma distância que é sintonizável com base nos ângulos de vergência do espectador.
- 21. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o visor do dispositivo processa imagens de visualização do dispositivo em um plano de imagem de uma distância que é fixada em relação ao espectador.
- 22. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que compreende, ainda, a adaptação de uma ou mais imagens de dispositivo de camada única em imagens de visualização de dispositivo utilizando transformações espaciais com base em uma ou mais de: posições espaciais específicas ou direções espaciais específicas de um dispositivo vestível que inclui o visor do dispositivo.
- 23. Método de acordo com a reivindicação 22, CARACTERIZADO pelo fato de que as transformações espaciais reconstroem um modelo de tensor que foi anteriormente utilizado para gerar a camada de imagem de cinema e uma ou mais camadas de imagem de dispositivo a partir de uma ou mais imagens não estratificadas de múltiplas visualizações.
- 24. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que as imagens de visualização de cinema apresentadas na tela de cinema representam uma de: imagens bidimensionais ou imagens 3D.
- 25. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que um dispositivo vestível que inclui o dispositivo de visualização está entre uma pluralidade de dispositivos vestíveis no espaço 3D que registram automaticamente com um sistema de mídia para receber o conteúdo a ser concorrentemente renderizado,enquanto o conteúdo de imagem de cinema está sendo renderizado na tela de cinema.
- 26. Método de acordo com a reivindicação 25, CARACTERIZADO pelo fatoPetição 870190078464, de 13/08/2019, pág. 102/1228/9 de que os dispositivos vestíveis que se registram automaticamente no sistema de meios com base em uma ou mais dentre: posições específicas dos assentos com base em bilhetes emitidos específicos para os telespectadores dos dispositivos vestíveis, marcadores fiduciais incorporados ao conteúdo da imagem cinematográfica ou áreas para a tela de cinema, raios de luz codificados com informações de ID de dispositivo, detecção de localização por radiofrequência (RF) ou zonas específicas de uma área de público-alvo no espaço 3D.
- 27. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que um dispositivo vestível que inclui o dispositivo de visualização está entre uma pluralidade de dispositivos vestíveis no espaço 3D que se dividem em uma pluralidade de zonas de público no espaço 3D; em que os primeiros dispositivos vestíveis em uma primeira zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo a partir de um primeiro servidor de conteúdo de imagem de dispositivo; em que os segundos dispositivos vestíveis em uma segunda zona na pluralidade de zonas recebem conteúdo de imagem de dispositivo a partir de um segundo servidor de conteúdo de imagem de dispositivo.
- 28. Método de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que compreende ainda o rastreio de dispositivos vestíveis com conjuntos de sensores de dispositivo que são instalados em um ou mais locais de instalação espacial no local 3D.
- 29. Método de acordo com a reivindicação 28, CARACTERIZADO pelo fato de que pelo menos um dos conjuntos de sensores de dispositivo está em um dentre: teto, parede, piso, áreas espaciais próximas da tela de cinema, áreas espaciais fora da tela de cinema, espaços de assentos ou encostos de assentos, no lugar 3D.
- 30. Aparelho, CARACTERIZADO pelo fato de que executa qualquer um dos métodos de acordo com as reivindicações 1-29.
- 31. Sistema, CARACTERIZADO pelo fato de que executa qualquer um dosPetição 870190078464, de 13/08/2019, pág. 103/1229/9 métodos conforme definido nas reivindicações 1-29.
- 32. Meio de armazenamento legível por computador não transitório, armazenando instruções de software, CARACTERIZADO pelo fato de que, quando executadas por um ou mais processadores, causam o desempenho do método descrito em qualquer uma das reivindicações 1-29.
- 33. Dispositivo de computação, CARACTERIZADO pelo fato de que compreende um ou mais processadores e uma ou mais mídias de armazenamento, armazenando um conjunto de instruções, que quando executadas por um ou mais processadores causam a realização do método descrito em qualquer uma das reivindicações 1-29.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762484121P | 2017-04-11 | 2017-04-11 | |
| US62/484.121 | 2017-04-11 | ||
| PCT/US2018/026974 WO2018191312A1 (en) | 2017-04-11 | 2018-04-10 | Layered augmented entertainment experiences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112019016820A2 true BR112019016820A2 (pt) | 2020-04-07 |
| BR112019016820B1 BR112019016820B1 (pt) | 2022-05-24 |
Family
ID=62092275
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112019016820-6A BR112019016820B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
| BR122021006807-0A BR122021006807B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR122021006807-0A BR122021006807B1 (pt) | 2017-04-11 | 2018-04-10 | Método para experiências de entretenimento aumentadas em camadas |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US10991164B2 (pt) |
| EP (2) | EP3610654B1 (pt) |
| JP (3) | JP6654275B1 (pt) |
| KR (3) | KR102087414B1 (pt) |
| CN (3) | CN111406412B (pt) |
| BR (2) | BR112019016820B1 (pt) |
| ES (1) | ES2902979T3 (pt) |
| PL (1) | PL3610654T3 (pt) |
| RU (2) | RU2743518C2 (pt) |
| WO (1) | WO2018191312A1 (pt) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| US11095927B2 (en) * | 2019-02-22 | 2021-08-17 | The Nielsen Company (Us), Llc | Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity |
| TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
| US11743559B2 (en) * | 2021-01-05 | 2023-08-29 | Mediatek Singapore Pte. Ltd. | Methods and systems for derived immersive tracks |
| WO2023038264A1 (ko) * | 2021-09-13 | 2023-03-16 | 삼성전자 주식회사 | 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법 |
| US20230245373A1 (en) * | 2022-01-28 | 2023-08-03 | Samsung Electronics Co., Ltd. | System and method for generating a three-dimensional photographic image |
Family Cites Families (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
| CA2320694C (en) * | 1998-02-20 | 2005-07-12 | Deep Video Imaging Limited | A multi-layer display and a method for displaying images on such a display |
| US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
| JP3363861B2 (ja) | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
| US7580378B2 (en) | 2000-06-06 | 2009-08-25 | Alien Technology Corporation | Distance/ranging determination using relative phase data |
| KR20030029649A (ko) * | 2000-08-04 | 2003-04-14 | 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 | 화상 변환 및 부호화 기술 |
| US6803912B1 (en) * | 2001-08-02 | 2004-10-12 | Mark Resources, Llc | Real time three-dimensional multiple display imaging system |
| US20030038922A1 (en) * | 2001-08-22 | 2003-02-27 | Ferrell Stanford L. | Apparatus and method for displaying 4-D images |
| EP1587329B1 (en) | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
| EP1712981A1 (en) * | 2005-04-15 | 2006-10-18 | Herman Bailey | Interactive augmented reality system |
| US20070035542A1 (en) * | 2005-07-27 | 2007-02-15 | Mediapod Llc | System, apparatus, and method for capturing and screening visual images for multi-dimensional display |
| CN101292516A (zh) * | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
| US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
| US7679641B2 (en) | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
| CN101653011A (zh) | 2007-03-16 | 2010-02-17 | 汤姆森许可贸易公司 | 用于将文本与三维内容相结合的系统和方法 |
| JP5774985B2 (ja) * | 2008-06-06 | 2015-09-09 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の類似検索システム及び方法 |
| MX2011000728A (es) * | 2008-07-21 | 2011-03-29 | Thomson Licensing | Dispositivo de codificacion multiestandar para señales de video en 3d. |
| CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| CA2707045C (en) * | 2009-01-19 | 2017-03-14 | Panasonic Corporation | Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit |
| CN104768031B (zh) * | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | 用于视频解码的装置 |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| JP4733785B2 (ja) * | 2009-06-17 | 2011-07-27 | パナソニック株式会社 | ３ｄ映像を再生するための情報記録媒体、記録媒体の記録方法、再生装置、及び記録媒体再生システム |
| KR20110018261A (ko) | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
| US9049431B2 (en) | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
| US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| CN105812771B (zh) | 2010-06-27 | 2017-12-08 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
| CN101894267B (zh) * | 2010-07-06 | 2012-07-18 | 清华大学 | 一种三维对象特征视图选取方法 |
| WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| AU2012232423A1 (en) * | 2011-03-18 | 2013-09-05 | Sony Corporation | Image processing device and image processing method |
| US10229538B2 (en) * | 2011-07-29 | 2019-03-12 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
| US20130038685A1 (en) * | 2011-08-12 | 2013-02-14 | Alcatel-Lucent Usa Inc. | 3d display apparatus, method and structures |
| US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| EP2767041A4 (en) * | 2011-10-11 | 2015-05-06 | Timeplay Entertainment Corp | SYSTEMS AND METHODS FOR INTERACTIVE EXPERIENCES AND CONTROLLINGS THEREFOR |
| CN103999445B (zh) | 2011-12-19 | 2018-11-13 | 杜比实验室特许公司 | 头戴式显示器 |
| KR101872864B1 (ko) | 2011-12-19 | 2018-06-29 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
| JP5905610B2 (ja) | 2012-03-12 | 2016-04-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ３ｄ視覚的ダイナミックレンジ符号化 |
| WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
| US9483853B2 (en) * | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
| US9674501B2 (en) | 2012-07-06 | 2017-06-06 | Lg Electronics Inc. | Terminal for increasing visual comfort sensation of 3D object and control method thereof |
| CN104520905A (zh) | 2012-07-27 | 2015-04-15 | 日本电气方案创新株式会社 | 三维环境共有系统及三维环境共有方法 |
| US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| WO2014107066A1 (ko) * | 2013-01-04 | 2014-07-10 | 삼성전자 주식회사 | 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 |
| US8951071B2 (en) | 2013-03-15 | 2015-02-10 | Apple Inc. | Contact-support mechanism for increased retention force |
| US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| US9679369B2 (en) * | 2013-09-12 | 2017-06-13 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
| US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
| KR20150106380A (ko) * | 2014-03-11 | 2015-09-21 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| JP2015210580A (ja) * | 2014-04-24 | 2015-11-24 | エイディシーテクノロジー株式会社 | 表示システム及びウェアラブル機器 |
| KR20170023000A (ko) * | 2014-06-20 | 2017-03-02 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| US10593113B2 (en) * | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
| JP6394174B2 (ja) * | 2014-08-19 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム |
| US20160103330A1 (en) | 2014-10-10 | 2016-04-14 | 3DOO, Inc. | System and method for adjusting parallax in three-dimensional stereoscopic image representation |
| KR101844883B1 (ko) * | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
| EP3265868A4 (en) | 2015-03-04 | 2018-11-14 | Song, Jay | Adjustable optical stereoscopic glasses |
| US20170038598A1 (en) * | 2015-03-04 | 2017-02-09 | Jay Song | Adjustable optical stereoscopic glasses |
| CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
| US10078917B1 (en) | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
| JP6917378B2 (ja) * | 2015-09-17 | 2021-08-11 | ファゾム・オプティクス・インコーポレイテッド | マルチビューディスプレイ並びに関連するシステム及び方法 |
| US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
| CN106534830B (zh) * | 2016-10-10 | 2019-04-26 | 上海蒙彤文化传播有限公司 | 一种基于虚拟现实的影院播放系统 |
| US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
| JP2018142162A (ja) * | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
| US10893261B2 (en) * | 2017-12-06 | 2021-01-12 | Dolby Laboratories Licensing Corporation | Positional zero latency |
-
2018
- 2018-04-10 RU RU2020117045A patent/RU2743518C2/ru active
- 2018-04-10 PL PL18721565T patent/PL3610654T3/pl unknown
- 2018-04-10 BR BR112019016820-6A patent/BR112019016820B1/pt active IP Right Grant
- 2018-04-10 BR BR122021006807-0A patent/BR122021006807B1/pt active IP Right Grant
- 2018-04-10 KR KR1020197023910A patent/KR102087414B1/ko active IP Right Grant
- 2018-04-10 EP EP18721565.2A patent/EP3610654B1/en active Active
- 2018-04-10 CN CN201880011840.4A patent/CN111406412B/zh active Active
- 2018-04-10 RU RU2019124450A patent/RU2722495C1/ru active
- 2018-04-10 WO PCT/US2018/026974 patent/WO2018191312A1/en active Application Filing
- 2018-04-10 KR KR1020207027477A patent/KR102279143B1/ko active IP Right Grant
- 2018-04-10 CN CN202110931373.0A patent/CN113709439B/zh active Active
- 2018-04-10 US US16/604,118 patent/US10991164B2/en active Active
- 2018-04-10 EP EP21206636.9A patent/EP3988187B1/en active Active
- 2018-04-10 ES ES18721565T patent/ES2902979T3/es active Active
- 2018-04-10 KR KR1020207006343A patent/KR102161734B1/ko active IP Right Grant
- 2018-04-10 CN CN202110930851.6A patent/CN113660539B/zh active Active
- 2018-04-10 JP JP2019544632A patent/JP6654275B1/ja active Active
-
2020
- 2020-01-29 JP JP2020012509A patent/JP6932796B2/ja active Active
-
2021
- 2021-04-26 US US17/240,954 patent/US11361520B2/en active Active
- 2021-08-18 JP JP2021133460A patent/JP7263451B2/ja active Active
-
2022
- 2022-04-28 US US17/731,770 patent/US11893700B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112019016820A2 (pt) | experiências de entretenimento aumentadas em camadas | |
| US11669991B2 (en) | Passive multi-wearable-devices tracking | |
| US11184599B2 (en) | Enabling motion parallax with multilayer 360-degree video | |
| US11882267B2 (en) | Adapting video images for wearable devices | |
| US11363250B2 (en) | Augmented 3D entertainment systems | |
| US20240169489A1 (en) | Virtual, augmented, and mixed reality systems and methods | |
| CN116325769A (zh) | 从多个视点流式传输场景的全景视频 | |
| US20190052868A1 (en) | Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 10/04/2018, OBSERVADAS AS CONDICOES LEGAIS |