BR102017013446A2 - Método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz - Google Patents

Método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz Download PDF

Info

Publication number
BR102017013446A2
BR102017013446A2 BR102017013446-6A BR102017013446A BR102017013446A2 BR 102017013446 A2 BR102017013446 A2 BR 102017013446A2 BR 102017013446 A BR102017013446 A BR 102017013446A BR 102017013446 A2 BR102017013446 A2 BR 102017013446A2
Authority
BR
Brazil
Prior art keywords
parameters
light field
light
pixel
content
Prior art date
Application number
BR102017013446-6A
Other languages
English (en)
Inventor
Kerbiriou Paul
Doyen Didier
Lasserre Sébastien
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BR102017013446A2 publication Critical patent/BR102017013446A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages

Abstract

método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz. a presente invenção refere-se a uma transmissão de conjuntos de dados e metadados e mais particularmente a uma transmissão de conteúdos de campo de luz. dados de campo de luz captam grandes quantidades de espaço de armazenamento o que faz o armazenamento incômodo e o processamento menos eficiente. ademais os dispositivos de aquisição de campo de luz são extremamente heterogêneos e cada câmera tem o seu próprio formato de arquivo proprietário. uma vez que os dados de campo de luz adquiridos a partir de diferentes câmeras têm uma diversidade de formatos um complexo processamento é induzido no lado do receptor. para esse fim, é proposto um método para codificar um sinal representativo de um conteúdo do campo de luz no qual os parâmetros que representam os raios de luz lidos pelos diferentes pixels do sensor são mapeados no sensor. um segundo conjunto de parâmetros codificados são usados para reconstruir o conteúdo do campo de luz a partir dos parâmetros que representam os raios de luz lidos pelos diferentes pixels do sensor.

Description

(54) Título: MÉTODO E UM DISPOSITIVO PARA CODIFICAR UM SINAL REPRESENTATIVO DE UM CONTEÚDO DO CAMPO DE LUZ (51) Int. Cl.: H04N 19/463; H04N 19/70; H04N 19/132; H04N 19/167; H04N 19/186; (...) (52) CPC: H04N 19/463,H04N 19/70,H04N 19/132,H04N 19/167,H04N 19/186,H04N 19/44, H04N 19/59,H04N 19/593,H04N 19/597,G06T 9/20 (30) Prioridade Unionista: 22/06/2016 EP 16305757.3 (73) Titular(es): THOMSON LICENSING (72) Inventor(es): PAUL KERBIRIOU; DIDIER DOYEN; SÉBASTIEN LASSERRE (74) Procurador(es): DANIEL ADVOGADOS (ALT.DE DANIEL & CIA) (57) Resumo: MÉTODO E UM DISPOSITIVO PARA CODIFICAR UM SINAL REPRESENTATIVO DE UM CONTEÚDO DO CAMPO DE LUZ. A presente invenção refere-se a uma transmissão de conjuntos de dados e metadados e mais particularmente a uma transmissão de conteúdos de campo de luz. Dados de campo de luz captam grandes quantidades de espaço de armazenamento o que faz o armazenamento incômodo e o processamento menos eficiente. Ademais os dispositivos de aquisição de campo de luz são extremamente heterogêneos e cada câmera tem o seu próprio formato de arquivo proprietário. Uma vez que os dados de campo de luz adquiridos a partir de diferentes câmeras têm uma diversidade de formatos um complexo processamento é induzido no lado do receptor. Para esse fim, é proposto um método para codificar um sinal representativo de um conteúdo do campo de luz no qual os parâmetros que representam os raios de luz lidos pelos diferentes pixels do sensor são mapeados no sensor. Um segundo conjunto de parâmetros codificados são usados para reconstruir o conteúdo do campo de luz a partir dos parâmetros que representam os raios de luz lidos pelos diferentes pixels do sensor.
Figure BR102017013446A2_D0001
1/28 “MÉTODO E UM DISPOSITIVO PARA CODIFICAR UM SINAL REPRESENTATIVO DE UM CONTEÚDO DO CAMPO DE LUZ”
Campo Técnico [001]A presente invenção refere-se à transmissão de conjuntos de dados e metadados e mais particularmente à transmissão de conteúdos de campo de luz.
Antecedentes [002]A aquisição de dados de campo de luz em quatro dimensões ou dados de campo de luz 4D, que podem ser vistos como uma amostragem de um campo de luz 4D, isto é, o registro de raios de luz, é explicado no artigo” Understanding camera trade-offs through a Bayesian analysis of light field proiections” por Anat Levin et al., que foi publicado nos procedimentos de conferência de ECCV 2008.
[003]Comparados às imagens clássicas bidimensionais ou imagens 2D obtidas a partir de uma câmera, os dados de campo de luz 4D permitem que um usuário tenha acesso a mais características de pós processamento que aumentam a renderização das imagens e a interatividade com o usuário. Por exemplo, com dados de campo de luz 4D, é possível se realizar a reorientação das imagens com distâncias livremente selecionadas de focalização o que quer dizer que a posição de um plano focal pode ser especificada/selecionada a posteriori, assim como mudar relativamente o ponto de vista na cena de uma imagem.
[004]Há diversos modos de representar os dados de campo de luz 4D. De fato, no Capítulo 3.3 da tese de dissertação de Ph.D. intitulada “Digital Light Field Photography’ por Ren Ng, publicada em Julho de 2006, três modos diferentes de representar os dados de campo de luz 4D são descritos. Primeiro, os dados de campo de luz 4D podem ser representados, quando registrados por uma câmera plenótica por uma coleção de imagens de microlente. Os dados de campo de luz 4D na referida representação são nomeados imagens brutas ou dados brutos de campo de luz 4D. Segundo, os dados de campo de luz 4D podem ser representados, seja
Petição 870170042788, de 21/06/2017, pág. 10/48
2/28 quando registrados por uma câmera plenótica ou por a matriz de câmera, por um conjunto de imagens de sub-abertura. Uma imagem de sub-abertura corresponde a uma imagem capturada de uma cena a partir de um ponto de vista, o ponto de vista sendo relativamente diferente entre duas imagens de sub-abertura. As referidas imagens de sub-abertura proporcionam informação sobre a paralaxe e a profundidade da cena imageada. Terceiro, os dados de campo de luz 4D podem ser representados por um conjunto de imagens epipolares vide, por exemplo, o artigo intitulado: “Generating EPI Representation of a 4D Light Fields with a Single Lens Focused
Plenoptic Camera”, por S. Wanner e al., publicado nos procedimentos de conferência de ISVC 2011.
[005]Dados de campo de luz adotam grandes quantidades de espaço de armazenamento o que faz com que o armazenamento seja inconveniente e o processamento menos eficiente. Ademais os dispositivos de aquisição de campo de luz são extremamente heterogêneos. Câmeras de campo de luz são de diferentes tipos, por exemplo, câmeras plenóticas ou matriz de câmeras. Dentro de cada tipo há muitas diferenças tais como diferentes arranjos óticos, ou microlentes de diferentes comprimentos focais. Cada câmera tem o seu próprio formato de arquivo proprietário. Atualmente não há padrão que suporte a aquisição e a transmissão de informação multidimensional para uma visão geral exaustiva dos diferentes parâmetros com os quais um campo de luz depende. Uma vez que os dados de campo de luz adquiridos a partir de diferentes câmeras têm uma diversidade de formatos um complexo processamento é induzido no lado de recebimento.
[006]A presente invenção foi prevista com o dito acima em mente.
Sumário da Invenção [007]De acordo com um primeiro aspecto da presente invenção é proporcionado um método implementado por computador para codificar um sinal representativo de um conteúdo do campo de luz, o referido método compreendendo:
Petição 870170042788, de 21/06/2017, pág. 11/48
3/28
-codificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
-codificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros.
[008]Os parâmetros transmitidos de acordo com o método de codificação de acordo com uma modalidade da presente invenção são independentes do sistema de aquisição ótica usado para adquirir o conteúdo do campo de luz pretendido para ser transmitido e processado por um dispositivo de recebimento.
[009]No método de acordo com uma modalidade da presente invenção, os parâmetros que representam os raios de luz lidos pelos diferentes pixels do sensor do sistema de aquisição ótica, isto é, os parâmetros do primeiro conjunto de parâmetros, são mapeados no sensor. Assim, os referidos parâmetros podem ser considerados como fotos. Por exemplo, quando um raio de luz lido por um pixel do sistema de aquisição ótica é representado por quatro parâmetros, os parâmetros que representam os raios de luz lidos pelos pixels do sensor do sistema de aquisição ótica são agrupados em quatro fotos.
[010]As referidas fotos podem ser codificadas e transmitidas de acordo com padrões de vídeo tais como MPEG-4 parte 10 AVC (também chamado h264), h265/HEVC ou seu sucessor provável h266, e transmitidos em um fluxo de bits de vídeo unido. O segundo conjunto codificado pode ser codificado usando mensagens de Informação de aprimoramento suplementar (SEI). O formato definido no método de acordo com uma modalidade da presente invenção permite uma forte compressão dos dados a serem transmitidos sem introduzir qualquer forte erro (codificação sem perdas) ou uma quantidade limitada de erros (codificação com perdas).
[011]O método de acordo com uma modalidade da presente invenção não é limitado aos dados de campo de luz diretamente adquiridos por um dispositivo ótico.
Petição 870170042788, de 21/06/2017, pág. 12/48
4/28
Os referidos dados podem ser Imagens Gráficas de Computador (CGI) que são totalmente ou parcialmente simulados por um computador para uma determinada descrição de cena. Outra fonte de dados de campo de luz pode ser os dados posteriormente produzidos que são modificados, por exemplo, cor graduada, dados de campo de luz obtidos a partir de um dispositivo ótico ou CGI. É também agora comum na indústria do cinema se ter dados que são uma mistura de ambos os dados adquiridos usando um dispositivo de aquisição ótica, e dados CGI. Deve ser entendido que o pixel de um sensor pode ser simulado por um sistema de cena gerado por computador e, por extensão, o sensor como um todo pode ser simulado pelo referido sistema. A partir daqui, é entendido que qualquer referência a um “pixel de um sensor” ou um “sensor” pode ser ou um objeto físico fixado a um dispositivo de aquisição ótica ou uma entidade simulada obtida por um sistema de cena gerado por computador.
[012]De acordo com uma modalidade do método de codificação, o referido método de codificação adicionalmente compreende:
-codificar um terceiro conjunto de parâmetros que representam os dados de cor associados ao raio de luz representado pelo referido primeiro conjunto de parâmetros.
[013]De acordo com uma modalidade do método de codificação, pelo menos um parâmetro do primeiro conjunto de parâmetros representa a distância entre a coordenada do referido raio de luz e um plano que se adapta a um conjunto de coordenadas de uma pluralidade de raios de luz lidos por uma pluralidade de pixels do sistema de aquisição ótica, e pelo menos um parâmetro do segundo conjunto de parâmetros representa as coordenadas do plano adequado.
[014]Codificar a distância entre a coordenada do raio de luz e um plano que se adapta a um conjunto de coordenadas de uma pluralidade de raios de luz lidos pelos diferentes pixels do sensor permite comprimir os dados para serem transmitiPetição 870170042788, de 21/06/2017, pág. 13/48
5/28 dos uma vez que a amplitude entre os diferentes valores das as distâncias computadas é em geral menor do que a amplitude entre os diferentes valores das coordenadas.
[015]De acordo com uma modalidade do método de codificação, pelo menos um parâmetro do primeiro conjunto de parâmetros representa:
-a diferença entre um valor que representa o raio de luz lido pelo referido pixel e um valor que representa um raio de luz lido por outro pixel que precede o referido pixel em uma fileira do sensor, ou
-quando o referido pixel é o primeiro pixel de uma fileira do sensor, a diferença entre um valor que representa o raio de luz lido pelo referido pixel e um valor que representa um raio de luz lido pelo primeiro pixel de uma fileira que precede a fileira na qual o referido pixel pertence.
[016]O valor que representa o raio de luz pode ser ou as coordenadas que representam o raio de luz ou a distância entre as coordenadas ou planos que se adapta aos conjuntos de coordenadas de uma pluralidade de raios de luz lidos pelos diferentes pixels do sensor.
[017]Isso permite comprimir os dados por reduzir a amplitude entre os diferentes valores dos parâmetros para ser transmitidos.
[018]De acordo com uma modalidade do método de codificação, codecs independentes são usados para codificar os parâmetros do primeiro conjunto de parâmetros.
[019]De acordo com uma modalidade do método de codificação, quando o segundo conjunto de parâmetros compreende um parâmetro que indica que o primeiro conjunto de parâmetros é inalterado desde a última transmissão do primeiro conjunto de parâmetros, apenas o referido segundo conjunto de parâmetros é transmitido.
[020]Isso permite reduzir a quantidade de dados a serem transmitidos aos
Petição 870170042788, de 21/06/2017, pág. 14/48
6/28 dispositivos de decodificação.
[021]De acordo com uma modalidade do método de codificação, os dados de campo de luz são produzidos de uma sequência de subconjuntos de dados de campo de luz. Por exemplo, os subconjuntos são indexados temporalmente de modo a representar uma cena dinâmica ou em movimento. Tipicamente, um elemento (ou subconjunto) da sequência é chamado um quadro. Sob essa condição, o coeficiente de transmissão, em geral caracterizado por, mas não limitado a um número de quadros per segundo, do sinal representativo do conteúdo de luz é maior do que o coeficiente de transmissão do primeiro conjunto de parâmetros codificados e do segundo conjunto de parâmetros codificados.
[022]Isso permite reduzir a quantidade de dados a serem transmitidos para os dispositivos de decodificação.
[023]Outro objetivo da presente invenção refere-se a um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz que compreende um processador configurado para:
-codificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
-codificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros.
[024]Outro aspecto da presente invenção refere-se a um método implementado por computador para decodificar um sinal representativo de um conteúdo do campo de luz o referido método que compreende:
-decodificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
-decodificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de
Petição 870170042788, de 21/06/2017, pág. 15/48
7/28 parâmetros,
-reconstruir o conteúdo do campo de luz com base no primeiro conjunto de parâmetros decodificados e no segundo conjunto de parâmetros decodificados.
[025]De acordo com uma modalidade do método de decodificação, o referido método de codificação adicionalmente compreende:
-decodificar um terceiro conjunto de parâmetros que representam dados de cor associados ao raio de luz representado pelo referido primeiro conjunto de parâmetros,
-reconstruir o conteúdo do campo de luz com base em um terceiro conjunto de parâmetros decodificados junto com o primeiro conjunto de parâmetros decodificados e o segundo conjunto de parâmetros decodificados.
[026]Outro aspecto da presente invenção refere-se a um dispositivo para decodificar um sinal representativo de um conteúdo do campo de luz que compreende um processador configurado para:
-decodificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
-decodificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros,
-reconstruir o conteúdo do campo de luz com base no primeiro conjunto de parâmetros decodificados e no segundo conjunto de parâmetros decodificados.
[027]Outro aspecto da presente invenção refere-se a um sinal transmitidos por um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz to um dispositivo para decodificar o referido sinal representativo de um conteúdo do campo de luz, o referido sinal portando uma mensagem que compreende:
-um primeiro conjunto de parâmetros que representam um raio de luz lido por pelo menos um pixel de um sensor,
Petição 870170042788, de 21/06/2017, pág. 16/48
8/28
-um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros,
-a reconstrução do conteúdo do campo de luz pelo dispositivo de decodificação é com base em um primeiro conjunto de parâmetros decodificados e um segundo conjunto de parâmetros decodificados.
[028]Alguns processos implementados por elementos da presente invenção podem ser implementados por computador. Assim sendo, os referidos elementos podem adotar a forma de uma modalidade inteiramente de hardware, uma modalidade inteiramente de software (que inclui firmware, software residente, microcódigo, etc.) ou uma modalidade que combina os aspectos de software e de hardware que podem todos em geral ser referidos aqui como um circuito, módulo ou sistema'. Adicionalmente, os referidos elementos podem adotar a forma de um produto de programa de computador incorporado em qualquer meio de expressão tangível tendo um código de programa que pode ser usado por computador incorporado no meio.
[029]Uma vez que os elementos da presente invenção podem ser implementados em software, a presente invenção pode ser incorporada como um código que pode ser lido por computador para a provisão a um aparelho programável em qualquer meio de veículo adequado. Um meio de veículo tangível pode compreender um meio de armazenamento tal como um disquete, um CD-ROM, uma unidade de disco rígido, um dispositivo de fita magnética ou um dispositivo de memória de estado sólido e semelhante. Um meio de veículo transitório pode incluir um sinal tal como um sinal elétrico, um sinal eletrônico, um sinal ótico, um sinal acústico, um sinal magnético ou um sinal eletromagnético, por exemplo, um sinal de micro-ondas ou de RF.
Breve Descrição dos Desenhos [030]Modalidades da presente invenção serão agora descritas, apenas por meio de exemplo, e com referência aos desenhos a seguir nos quais:
Petição 870170042788, de 21/06/2017, pág. 17/48
9/28 [031 ]A figura 1 é um diagrama de bloco de um dispositivo de câmera de campo de luz de acordo com uma modalidade da presente invenção;
[032]A figura 2 é um diagrama de bloco que ilustra uma modalidade particular de uma implementação potencial do módulo de formatação de dados de campo de luz, [033]A figura 3 ilustra um raio de luz que passa através de dois planos de referência Pi e P2 usados para a parametrização, [034]A figura 4 ilustra um raio de luz que passa através de um plano de referência P3 localizado em profundidades conhecidas Z3, [035]A figura 5 é um gráfico de fluxo que ilustra as etapas de um método para formatar os dados de campo de luz de acordo com uma modalidade da presente invenção, [036]A figura 6 é um gráfico de fluxo que ilustra as etapas de um método para formatar os dados de campo de luz de acordo com uma modalidade da presente invenção, [037]A figura 7 representa os mapas os mapas χζζ ou os mapas quando transmitidos a um receptor que usa quatro codecs monocromáticos independentes, [038]A figura 8 representa os mapas os mapas ou os mapas quando agrupados em uma única imagem.
Descrição Detalhada [039]Como será observado por aqueles versados na técnica, os aspectos dos presentes princípios podem ser incorporados como um sistema, um método ou meio que pode ser lido por computador. Assim sendo, os aspectos dos presentes princípios podem adotar a forma de uma modalidade inteiramente de hardware, uma modalidade inteiramente de software, (que inclui firmware, software residente, microcódigo e assim por diante) ou uma modalidade que combina os aspectos de sofPetição 870170042788, de 21/06/2017, pág. 18/48
10/28 tware e hardware que podem todos em geral ser referidos aqui como um “circuito”, “módulo” ou “sistema”. Adicionalmente, os aspectos dos presentes princípios podem adotar a forma de um meio de armazenamento que pode ser lido por computador. Qualquer combinação de um ou mais meio de armazenamento que pode ser lido por computador pode ser utilizada.
[040]As modalidades da presente invenção proporcionam a formatação de dados de campo de luz para aplicações de processamento adicional tais como conversão de formato, reorientação, mudança de ponto de vista, etc. a formatação proporcionada permite uma reconstrução fácil e adequada dos dados de campo de luz no lado do receptor de modo a processar os mesmos. Uma vantagem do formato proporcionado é que o mesmo é agnóstico para o dispositivo usado para adquirir os dados de campo de luz.
[041]A figura 1 é um diagrama de bloco de um dispositivo de câmera de campo de luz de acordo com uma modalidade da presente invenção. A câmera de campo de luz compreende uma abertura/obturador 102, uma lente principal (objetiva) 101, um conjunto de microlentes 110 e um conjunto de fotossensor. Em algumas modalidades a câmera de campo de luz inclui um liberador do obturador que é ativado para capturar uma imagem de campo de luz de um indivíduo ou cena.
[042]O conjunto de fotossensor 120 proporciona os dados de imagem de campo de luz que são adquiridos pelo módulo de aquisição de dados LF 140 para a geração de um formato de dados de campo de luz pelo módulo de formatação de dados de campo de luz 150 e/ou para o processamento pelo processador de dados de campo de luz 155. Os dados de campo de luz podem ser armazenados, após a aquisição e após o processamento, na memória 190 em um formato de dados brutos, como imagens de sub abertura ou pilhas focais, ou em um formato de dados de campo de luz de acordo com as modalidades da presente invenção.
[043]No exemplo ilustrado, os módulos de formatação de dados de campo
Petição 870170042788, de 21/06/2017, pág. 19/48
11/28 de luz 150 e os processadores de dados de campo de luz 155 são dispostos em ou integrados na câmera de campo de luz 100. Em outras modalidades da presente invenção os módulos de formatação de dados de campo de luz 150 e/ou os processadores de dados de campo de luz 155 podem ser proporcionados em um componente externo separado da câmera de captura de campo de luz. O componente separado pode ser local ou remoto com relação ao dispositivo de captura de imagem de campo de luz. Pode ser observado que qualquer protocolo adequado com fio ou sem fio pode ser usado para a transmissão de dados de imagem de campo de luz para o módulo de formatação 150 ou processador de dados de campo de luz 155; por exemplo, os processadores de dados de campo de luz podem transferir os dados de imagem de campo de luz capturados e/ ou outros dados via a Internet, uma rede de dados de celular, uma rede de WiFi, um protocolo de comunicação por Bluetooth®, e/ ou qualquer outro meio adequado.
[044]Os módulos de formatação de dados de campo de luz 150 são configurados para gerar os dados representativos do campo de luz adquirido, de acordo com as modalidades da presente invenção. Os módulos de formatação de dados de campo de luz 150 podem ser implementados em software, hardware ou em uma combinação dos mesmos.
[045]Os processadores de dados de campo de luz 155 são configurados para operar em dados de imagem brutos de campo de luz recebidos diretamente a partir do módulo de aquisição de dados LF 140, por exemplo, para gerar dados formatados e metadados de acordo com as modalidades da presente invenção. Dados emitidos, tais como, por exemplo, imagens estáticas, fluxos de vídeo 2D, e semelhante da cena capturada podem ser gerados. Os processadores de dados de campo de luz podem ser implementados em software, hardware ou em uma combinação dos mesmos.
[046]Em pelo menos uma modalidade, a câmera de campo de luz 100 pode
Petição 870170042788, de 21/06/2017, pág. 20/48
12/28 também incluir uma interface de usuário 160 para permitir que um usuário proporcione entrada de usuário para controlar a operação da câmera 100 pelo controlador 170. O controle da câmera pode incluir um ou mais de controle dos parâmetros óticos da câmera tais como a velocidade do obturador, ou no caso de uma câmera de campo de luz ajustável, controle da distância relativa entre o conjunto de microlentes e o fotossensor, ou a distância relativa entre a lente objetiva e o conjunto de microlentes. Em algumas modalidades a distância relativa entre os elementos óticos da câmera de campo de luz pode ser manualmente ajustada. O controle da câmera pode também incluir o controle de outros parâmetros de aquisição de dados de campo de luz, parâmetros de formatação de dados de campo de luz ou parâmetros de processamento do campo de luz da câmera. A interface de usuário 160 pode compreender qualquer dispositivo(s) de entrada de informação de usuário adequado tais como uma tela de toque, teclas, teclado, dispositivo de apontar e/ ou semelhante. Desse modo, a entrada de informação recebida pela interface de usuário pode ser usada para controlar e/ ou configurar o módulo de formatação de dados LF 150 para controlar a formatação dos dados, os processadores de dados LF 155 para controlar o processamento dos dados de campo de luz adquiridos e o controlador 170 para controlar a câmera de campo de luz 100.
[047]A câmera de campo de luz inclui uma fonte de energia 180, tais como uma ou mais baterias substituíveis ou recarregáveis. A câmera de campo de luz compreende memória 190 para armazenar os dados de campo de luz capturados e/ou os dados de campo de luz processados ou outros dados tais como software para implementar os métodos de modalidades da presente invenção. A memória pode incluir memória externa e/ ou interna. Em pelo menos uma modalidade, a memória pode ser proporcionada em um dispositivo e/ou local separado a partir de câmera 100. Em uma modalidade, a memória inclui um dispositivo de armazenamento removível/permutável tal como a cartão de memória.
Petição 870170042788, de 21/06/2017, pág. 21/48
13/28 [048]A câmera de campo de luz pode também incluir uma unidade de tela 165 (por exemplo, uma tela de LCD) para ver as cenas na frente da câmera antes de capturar e/ou para ver as imagens previamente capturadas e/ou renderizadas. A tela 165 pode também ser usada 'para exibir um ou mais menus ou outra informação para o usuário. A câmera de campo de luz pode adicionalmente incluir uma ou mais interfaces de I/O 195, tais como as interfaces de FireWire ou Universal Serial Bus (USB), ou as interfaces de comunicação com fio ou sem fio para a comunicação de dados via a Internet, a rede de dados de celular, a rede de WiFi, um protocolo de comunicação por Bluetooth®, e/ ou qualquer outro meio adequado. A interface de I/O 195 pode ser usada para a transferência de dados, tais como os dados representativos de campo de luz gerados pelo módulo de formatação de dados LF de acordo com as modalidades da presente invenção e os dados de campo de luz tais como dados brutos de campo de luz ou os dados processados por processadores de dados LF 155, para e a partir de dispositivos externos tais como sistemas de computador ou unidade de telas, para aplicações de renderização.
[049]A figura 2 é um diagrama de bloco que ilustra uma modalidade particular de uma implementação potencial de módulo de formatação de dados de campo de luz 250 e os processadores de dados de campo de luz 253.
[050]O circuito 200 inclui a memória 290, o controlador de memória 245 e o circuito de processamento 240 que compreende uma ou mais unidades de processamento (CPU(s)). As uma ou mais unidades de processamento 240 são configuradas para rodar vários programas de software e/ou conjuntos de instruções armazenadas na memória 290 para realizar várias funções que incluem a formatação de formato de dados de campo de luz e o processamento dos dados de campo de luz. Os componentes de software armazenados na memória incluem um módulo de formatação de dados (ou conjunto de instruções) 250 para gerar os dados representativos de dados de luz adquiridos de acordo com as modalidades da presente invenPetição 870170042788, de 21/06/2017, pág. 22/48
14/28 ção e um módulo de processamento de dados de campo de luz (ou conjunto de instruções) 255 para o processamento dados de campo de luz de acordo com as modalidades da presente invenção. Outros módulos podem ser incluídos na memória para aplicações do dispositivo de câmera de campo de luz tais como um módulo de sistema operacional 251 para controlar as tarefas gerais do sistema (por exemplo, gerenciamento de energia, gerenciamento de memória) e para facilitar a comunicação entre os vários componentes de hardware e de software do dispositivo 200, e um módulo de interface 252 para controlar e gerenciar a comunicação com outros dispositivos via as portas de interface de I/O.
[051]Modalidades da presente invenção proporcionam uma representação de dados de campo de luz com base em raios de luz lidos pelos pixels do sensor da câmera ou simulados por um sistema de cena gerado por computador. De fato, outra fonte de dados de campo de luz pode ser os dados posteriormente produzidos que são modificados, por exemplo, cor graduada, dados de campo de luz obtidos a partir de um dispositivo ótico ou CGI. É também agora comum na indústria do cinema ter dados que são uma mistura não só dos dados adquiridos que usam um dispositivo de aquisição ótica, mas também os dados CGI. Deve ser entendido que o pixel de um sensor pode ser simulado por um sistema de cena gerado por computador e, por extensão, o sensor como um todo pode ser simulado pelo referido sistema. A partir de agora, é entendido que qualquer referência a um “pixel de um sensor” ou um “sensor” pode ser ou um objeto físico fixado a um dispositivo de aquisição ótica ou uma entidade simulada obtida por um sistema de cena gerado por computador.
[052]Sabendo que seja qual for o tipo de sistema de aquisição, a um pixel do sensor do referido sistema de aquisição corresponde pelo menos uma trajetória de luz linear, ou raio de luz, em espaço fora do sistema de aquisição, dados que representam o raio de luz em um tridimensional (ou 3D) espaço são computados.
[053]Em uma primeira modalidade, a figura 3 ilustra um raio de luz que pasPetição 870170042788, de 21/06/2017, pág. 23/48
15/28 sa através de dois planos de referência Pi e P2 usados para a parametrização posicionada paralelo um ao outro e localizado em profundidades conhecidas zi e Z2 respectivamente. O raio de luz intersecta 0 primeiro plano de referência P1 em profundidade zi no ponto de interseção (xi, y-ΐ) e intersecta 0 segundo plano de referência P2na profundidade Z2 no ponto de interseção (X2, yk). Desse modo, determinada zi e Z2, 0 raio de luz pode ser identificado por quatro coordenadas (xi, yi, X2, yk). O campo de luz pode assim ser parametrizado por um par de planos de referência para a parametrização Pi,
P2 também referido aqui como planos de parametrização, com cada raio de luz sendo representado como um ponto efi4em espaço de raio 4D.
[054]Em uma segunda modalidade representada na figura 4, 0 raio de luz é parametrizado por meio de um ponto de interseção entre um plano de referência P3 localizado em profundidades conhecidas Z3e 0 raio de luz. O raio de luz intersecta 0 plano de referência P3 na profundidade Z3 no ponto de interseção (X3, yf). Um vetor normalizado v, que proporciona a direção do raio de luz no espaço tem as coordenadas a seguir: (yx,vy,fl- (vj uma vez que vs = fl - é assumido ser positivo e pode ser recalculado conhecendo e vy, 0 vetor pode ser descrito apenas por suas duas primeiras coordenadas [055]De acordo com a referida segunda modalidade, 0 raio de luz pode ser identificado por quatro coordenadas (^3,/3,^,^).0 campo de luz pode assim ser parametrizado por um plano de referência para a parametrização P3também referido aqui como plano de parametrização, com cada raio de luz sendo representado como um ponto e fl4 em espaço de raio 4D.
[056]Os parâmetros que representam um raio de luz em espaço de raio 4D são computados pelos módulos de formatação de dados de campo de luz 150. A figura 5 é um gráfico de fluxo que ilustra as etapas de um método para formatar os dados de campo de luz adquiridos pela câmera 100 de acordo com uma modalidade da presente invenção. O referido método é executado pelos módulos de formatação
Petição 870170042788, de 21/06/2017, pág. 24/48
16/28 de dados de campo de luz 150.
[057]Em caso o sistema de aquisição de campo de luz ser calibrado usando um modelo de furo de pino, o modelo de projeção básica, sem distorção, é determinado pela equação a seguir:
Figure BR102017013446A2_D0002
= i/z0(q
Figure BR102017013446A2_D0003
onde •féo comprimento focal da lente principal da câmera 100, e cv são as coordenadas da interseção do eixo ótico da câmera 100 com o sensor,
T (xc,Yc,zc,l) é a posição no sistema de coordenada de câmera de um ponto no espaço lido pela câmera, •(u,v, 1)T são as coordenadas, no sistema de coordenada do sensor, da projeção do ponto cujas coordenadas são (xü ,Yc,zc ,l)T em um sistema de coordenada de câmera no sensor da câmera.
[058]Na etapa 501, os módulos de formatação de dados de campo de luz
150 computam as coordenadas de um vetor V que representam a direção do raio de luz no espaço que é lido pelo pixel do sensor cujas coordenadas são Çu.v, 1)T no sistema de coordenada do sensor. No sistema de coordenada do sensor, as coordenadas de vetor V são:
-cv, f y, [059]No modelo de furo de pino, as coordenadas da interseção do raio de luz lido pelo pixel cujas coordenadas são i)T, com um plano disposto na coordenada Z1 a partir do furo de pino e paralelo ao plano do sensor são:
e são computadas durante a etapa 502.
Figure BR102017013446A2_D0004
Figure BR102017013446A2_D0005
Petição 870170042788, de 21/06/2017, pág. 25/48
17/28 [060]Se diversas aquisições são misturadas, isto é, aquisição de dados de campo de luz por diferentes tipos de câmeras, então um único sistema de coordenada é usado. Na referida situação, modificações de coordenadas dos pontos e vetores devem ser assim modificados.
[061 ]De acordo com uma modalidade da presente invenção, os conjuntos de coordenadas que definem os raios de luz lidos pelos pixels do sensor da câmera e computados durante as etapas 501 e 502 são reagrupados em mapas. Em outra modalidade, os raios de luz são diretamente computados por um sistema de cena gerado por computador que simula a propagação de raios de luz.
[062]Em uma modalidade da presente invenção, os referidos mapas são associados com um mapa de cor dos dados de campo de luz a ser transmitido para um receptor. Assim na presente modalidade, a cada pixel (u,v) do sensor da câmera, o parâmetro representativo dos dados de cor associados a um raio de luz lido por um determinado pixel e um quádruplo de valores de pontos flutuantes x2 que correspondem ou a (v^y^x^y^J quando campo de luz pode assim ser parametrizado por um par de planos de referência para a parametrização Pi, P2 ou quando 0 raio de luz é parametrizado por meio de um vetor normalizado. Na descrição a seguir, 0 quádruplo de valores de pontos flutuantes (Xi Z2 θ determinada por:
Figure BR102017013446A2_D0006
Figure BR102017013446A2_D0007
[063]Em outra modalidade, 0 sistema de aquisição não é calibrado usando um modelo de furo de pino, consequentemente a parametrização por dois planos não é recalculado a partir de um modelo. Em vez disso, a parametrização por dois planos tem que ser medida durante a operação de calibragem da câmera. Isso pode
Petição 870170042788, de 21/06/2017, pág. 26/48
18/28 ser, por exemplo, o caso para uma câmera plenótica que inclui dentro da mesma a lente principal e o sensor do conjunto de microlentes da câmera.
[064]Em ainda outra modalidade, os referidos mapas são diretamente simulados por um sistema de cena gerado por computador ou posteriormente produzido a partir de dados adquiridos.
[065]Uma vez que um raio de luz lido por um pixel do sensor da câmera é representado por um quádruplo Za JU) de ponto flutuante, é possível se dispor os referidos quatro parâmetros em quatro mapas de parâmetros, por exemplo, um primeiro mapa que compreende o parâmetro de cada raio de luz lido por um pixel do sensor da câmera, um segundo mapa que compreende o parâmetro /2, um terceiro mapa que compreende o parâmetro e um quarto mapa que compreende o parâmetro ^4. Cada um dos quatro mapas acima mencionados, chamados de mapas jp tem o mesmo tamanho que a imagem de campo de luz adquirida em si mas tem conteúdo de pontos flutuantes.
[066]Após algumas adaptações levando em conta a forte correlação entre os parâmetros que representam os raios de luz lidos por pixels adjacentes e arranjando a população de raios de luz, e consequentemente os parâmetros os representam, os referidos quatro mapas podem ser comprimidos usando ferramentas similares as para os dados de vídeo.
[067]De modo a comprimir os valores dos pontos flutuantes (Zi Zz ^0 e assim reduzir o tamanho dos mapas a serem transmitidos, os módulos de formatação de dados de campo de luz 150 computam, na etapa 503, para cada um dos mapas uma equação de um plano que se adapta aos valores do referido parâmetro compreendido no mapa ;q. A equação do plano adequado para o parâmetro é determinada por:
zi(UíW) = «í « + A v + n onde u e v são as coordenadas de um determinado pixel do sensor da câPetição 870170042788, de 21/06/2017, pág. 27/48
19/28 mera.
[068]Na etapa 504, para cada mapa χ;, os parâmetros são computados para minimizar o erro:
||^(^) - rj||· [069]O resultado da computação da etapa 504 é um parâmetro:
que corresponde à diferença do valor de parâmetro χ; com o plano que se adapta aos valores do referido parâmetro χ;, o que resulta em uma faixa de amplitude muito menor dos valores compreendidos no mapa χΓ [070]É possível se comprimir o valor xj por computar = _ min(4P na etapa 505· [071]Então, na etapa 506, um valor χ·^' do parâmetro anterior x;pode ser computado de modo que o valor de parâmetro χ?^' varia a partir de 0 a 2,v - 1 incluídos, onde N é um número de bits escolhido que corresponde à capacidade da codificação pretendida para usar para codificar os dados de campo de luz a serem enviados. O valor do parâmetro θ determinada por:
- 1) * χΓ
III _ 2_ [072]Na etapa 507, os módulos de formatação de dados de campo de luz 150 geram quatro mapas, o mapa χί , o mapa χ^ , o mapa xá , e o mapa χ^ , que correspondem a cada um dos parâmetros (χχ χ2 Za que representam os raios de luz lidos pelos pixels do sensor da câmera.
[073]Na etapa 508, os módulos de formatação de dados de campo de luz
150 geram uma mensagem de SEI (Informação de aprimoramento suplementar) que compreende os parâmetros fixos a seguir airfir(yf + min(x' )),max(x^p) pretendidos para serem usados durante a computação recíproca no lado do receptor para recuperar os mapas originais xÉ . Os referidos quatro parâmetros são considerados
Petição 870170042788, de 21/06/2017, pág. 28/48
20/28 como metadados transportados na mensagem de SEI o conteúdo dos quais é determinado pela tabela a seguir:
Tabela 1
Comprimento (bytes) Nome Comentário
1 Tipo de mensagem Valor deve ser fixado em comitê MPEG
1 Tipo de Representação ‘Coordenadas de 2 pontos’ ou ‘um ponto mais um vetor’
4 z1 Z coordenada do primeiro plano
4 z2 Se tipo = ‘coordenadas de 2 pontos’, Z coordenada do segundo plano
4 Alfa 1 Coeficiente de plano b
4 Beta 1 Coeficiente de plano β
4 Gama 1 Coeficiente de plano y + min J
4 Max 1 Max(j£J
4 Alfa 2 Coeficiente de plano s
4 Beta 2 Coeficiente de plano β
4 Gama 2 Coeficiente de plano γ + minÇ^ J
4 Max 2
4 Alfa 3 Coeficiente de plano s
4 Beta 3 Coeficiente de plano β
4 Gama 3 Coeficiente de plano γ + minÇ^ J
4 Max 3
4 Alfa 4 Coeficiente de plano a
4 Beta 4 Coeficiente de plano β
4 Gama 4 Coeficiente de plano γ + minÇ^ J
4 Max 4
Petição 870170042788, de 21/06/2017, pág. 29/48
21/28 [074]No lado do receptor, a computação recíproca que permite recuperar os mapas originais é determinada por r·1 = yí,f A P Λ[ϋ[,Ρ = + ai u + ?t v + (Kl + [075]Na etapa 509, os mapas /ζ' , o mapa de cor e a mensagem de SEI são transmitidos a pelo menos um receptor onde os referidos dados são processados de modo a render um conteúdo de campo de luz.
[076]É possível se reduzir adicionalmente o tamanho dos mapas que representam os dados de campo de luz antes de sua transmissão a um receptor. As modalidades a seguir são complementares de uma que consiste de minimizar o erro:
-««-A1’ - η)||· [077]Na primeira modalidade representada na figura 6, na medida em que os mapas contêm os valores com baixas frequências espaciais, é possível se transmitir apenas o derivado de um sinal em uma direção no espaço.
[078]Por exemplo, determinada o valor de parâmetro associado ao pixel de coordenadas (0,0), os módulos de formatação de dados de campo de luz 150 computam, na etapa 601, a diferença Δ& entre o valor ziiDde parâmetro associado ao pixel de coordenadas (1,0) e o valor Dde parâmetro associado ao pixel de coordenadas (0,0):
[079]De modo mais geral, durante a etapa 601, os módulos de formatação de dados de campo de luz 150 computam a diferença entre um valor de parâmetro associado a um determinado pixel do sensor e um valor de parâmetro associado a outro pixel que precede o determinado pixel em uma fileira do sensor do sistema de aquisição ótica ou de um sistema de cena gerado por computador:
Ay- = y. — yA'CH+L. f Λ[·ϋ4·ί.Ρ Λ!ΰ.1>
[080]Quando o determinado pixel é o primeiro pixel de uma fileira do sensor,
Petição 870170042788, de 21/06/2017, pág. 30/48
22/28 os módulos de formatação de dados de campo de luz 150 computam a diferença entre um valor de parâmetro Z; associado ao determinado pixel e um valor de parâmetro Z; associado ao primeiro pixel de uma fileira que precede a fileira à qual o determinado pixel pertence:
ΔΖί = Zi — Zi Λ£ο.ι>+ι. A[d.p + í Λ,ο.ι>
[081 ]Na etapa 602, os mapas Δ^ , o mapa de cor e a mensagem de SEI, gerado durante a etapa 508, são transmitidos a pelo menos um receptor onde os referidos dados são processados de modo a renderizar um conteúdo de campo de luz.
[082]Em uma segunda modalidade, na medida em que os mapas Zi , os mapas ζζ'ρ ou os mapas Δζί contêm valores tendo muito baixas frequências espaciais, é possível se realizar uma redução da qualidade de resolução espacial em ambas as dimensões do mapa zf e então se recuperar todo o mapa no lado do receptor ao se realizar uma interpolação linear entre as amostras transmitidas dos referidos mapas Zíap[083]Por exemplo, se se pode reduzir o tamanho dos mapas a partir de N_fileiras*M_colunas para a partir de N_fileiras /2 * M_colunas/2. Na recepção os mapas podem ser estendidos para o tamanho original; os orifícios criados podem ser preenchidos por um método de interpolação (ou o assim chamado processo de aumento da qualidade de resolução). Uma simples interpolação bilinear é em geral suficiente z- + z- + ζ· Ί/4 Λ£ί1+1,υι-ί ΛΙίΙ-1,Ρ+ί. i%[-il + i,p + í ' [084]Em uma terceira modalidade representada na figura 7, cada um dos mapas zia p, mapas ζζ'ρ ou mapas pode ser transmitido a um receptor que usa quatro codecs monocromáticos independentes, tais como h265/HEVC, por exemplo. [085]Em uma quarta modalidade, os mapas Zí , os mapas ζζ'ρ ou os mapas Δ& podem ser agrupados em uma única imagem como representado na figura
Petição 870170042788, de 21/06/2017, pág. 31/48
23/28
8. De modo a alcançar esse objetivo, um método consiste em reduzir o tamanho dos mapas por um fator 2 que usa o método de subamostragem, como na segunda modalidade, e então em unir os mapas os mapas ou os mapas cada um em um quadrante de uma imagem tendo o mesmo tamanho que o mapa de cor. O referido método é em geral nomeado “embalagem de quadro” na medida em que ele acondiciona diversos quadros em um único quadro. Os metadados adequados devem ser transmitidos, por exemplo, em uma mensagem de SEI, para sinalizar o modo pelo qual a embalagem de quadro foi realizada de modo que o decodificador pode adequadamente desembalar os quadros. Os mapas acondicionados em um único quadro podem ser então transmitidos usando um único codec monocromático, tal como, mas não limitado a h265/HEVC, por exemplo.
[086]Nesse caso, a mensagem de SEI como apresentada na Tabela 1 deve também conter uma sinalização que indica que um método de embalagem de quadro foi usado para embalar os 4 mapas em um único (com referência à Tabela 1 b).
Tabela 1 b
Comprimento (bytes) Nome Comentário
1 Tipo de mensagem Valor deve ser fixado em comitê MPEG
1 Tipo de Representação ‘Coordenadas de 2 pontos’ ou ‘um ponto mais um vetor’
4 z1 Z coordenada do primeiro plano
4 z2 Se tipo = ‘coordenadas de 2 pontos’, Z coordenada do segundo plano
1 Modo de embalagem 0: quer dizer nenhum quadro embalado (mapas únicos separados); 1: quer dizer quadro embalado (um único mapa de 4 quadrantes)
Petição 870170042788, de 21/06/2017, pág. 32/48
24/28
4 Alfa 1 Coeficiente de plano a
4 Beta 1 Coeficiente de plano β
4 Gama 1 Coeficiente de plano y + minQ^ J
4 Max 1
4 Alfa 2 Coeficiente de plano b
4 Beta 2 Coeficiente de plano β
4 Gama 2 Coeficiente de plano y + minQ^ J
4 Max 2 Max(j£J
4 Alfa 3 Coeficiente de plano s
4 Beta 3 Coeficiente de plano β
4 Gama 3 Coeficiente de plano y + min^ J
4 Max 3
4 Alfa 4 Coeficiente de plano s
4 Beta 4 Coeficiente de plano β
4 Gama 4 Coeficiente de plano y + min^ J
4 Max 4
[087]Quando diversas câmeras são agrupadas para formar um aparelhamento, é melhor e mais consistente se definir um único sistema de coordenada global e 2 planos de parametrização comuns para todas as câmeras. Então a mensagem de descrição (SEI, por exemplo) pode conter informação comum (tipo de representação, z1 e z2) mais a descrição dos parâmetros dos 4 mapas (mapas , mapas ou mapas Δχ( ) para cada câmera como mostrado na tabela 2.
[088]Nesse caso os mapas mapas ou mapas podem ser transmitidos a um receptor que usa codecs monocromáticos levando-se em conta o aspecto de multi visão da configuração tais como a codificação MPEG Multiview Video (MVC) ou a codificação MPEG Multiview High Efficiency Video (MV-HEVC), por exemplo.
Petição 870170042788, de 21/06/2017, pág. 33/48
25/28
Comprimento (bytes) Nome Comentário
1 Tipo de mensagem Valor deve ser fixado em comitê MPEG
1 Tipo de Representação ‘Coordenadas de 2 pontos’ ou ‘um ponto mais um vetor’
4 z1 Z coordenada do primeiro plano
4 z2 Se tipo = ‘coordenadas de 2 pontos’, Z coordenada do segundo plano
Para cada conjunto de mapas de 4 componentes
Comprimento (bytes) Nome Comentário
1 Modo de embalagem 0: quer dizer nenhum quadro embalado (um único mapa); 1: quer dizer quadro embalado (4 quadran- tes)
4 Alfa 1 Coeficiente de plano a
4 Beta 1 Coeficiente de plano fí
4 Gama 1 Coeficiente de plano γ + min^ i;3
4 Max 1 Max<XJ
4 Alfa 2 Coeficiente de plano a
4 Beta 2 Coeficiente de plano fí
4 Gama 2 Coeficiente de plano γ + min^ i;3
4 Max 2 MaxQ£ J
4 Alfa 3 Coeficiente de plano a
4 Beta 3 Coeficiente de plano β
4 Gama 3 Coeficiente de plano γ + J
4 Max 3 MaxCC J
Petição 870170042788, de 21/06/2017, pág. 34/48
26/28
4 Alfa 4 Coeficiente de plano a
4 Beta 4 Coeficiente de plano β
4 Gama 4 Coeficiente de plano y + min^ J
4 Max 4 Max(j£J
[089]A Tabela 2 em uma quinta modalidade, quando modificações dos os mapas mapas ou mapas A^iíiP são nulas durante uma determinada quantidade de tempo, os referidos mapas mapas χ·'^, ou mapas são marcados como ignorados e não são transferidos para o receptor. Nesse caso, a mensagem de SEI compreende uma sinalização que indica ao receptor que nenhuma mudança ocorreu nos mapas mapas ou maPas desde a sua última transmissão. O conteúdo da referida mensagem de SEI é mostrado na tabela 3:
Comprimento (bytes) Nome Comentário
1 Tipo de mensagem Valor deve ser fixado em comitê MPEG
1 Ignorar _marcação 0: quer dizer que dados adicionais estão presentes; 1 quer dizer manter os parâmetros registrados anteriores
Se ignorar marcação
Comprimento (bytes) Nome Comentário
1 Tipo de Representação ‘Coordenadas de 2 pontos’ ou ‘um ponto mais um vetor’
4 z1 Z coordenada do primeiro plano
4 z2 Se tipo = ‘coordenadas de 2 pontos’, Z coordenada do segundo plano
Petição 870170042788, de 21/06/2017, pág. 35/48
27/28
Para cada quadrante
Comprimento (bytes) Nome Comentário
1 Modo de embalagem 0: quer dizer nenhum quadro embalado (único mapa); 1: quer dizer quadro embalado (4 quadrantes)
4 Alfa 1 Coeficiente de plano «
4 Beta 1 Coeficiente de plano β
4 Gama_1 Coeficiente de plano r + min{x; J
4 Max 1
4 Alfa 2 Coeficiente de plano «
4 Beta 2 Coeficiente de plano β
4 Gama_2 Coeficiente de plano y + min J
4 Max 2
4 Alfa 3 Coeficiente de plano a
4 Beta 3 Coeficiente de plano β
4 Gama_3 Coeficiente de plano r + J
4 Max 3
4 Alfa 4 Coeficiente de plano «
4 Beta 4 Coeficiente de plano β
4 Gama_4 Coeficiente de plano Y + J
4 Max 4 MaxüO
Petição 870170042788, de 21/06/2017, pág. 36/48
28/28 [090]A Tabela 3 em uma sexta modalidade, como as modificações dos parâmetros do sistema de aquisição, representado nos mapas , mapas χζ', ou mapas , são lentamente modificados com o tempo, vale a pena se transmitir os mesmos a um receptor com um coeficiente de quadro menor do que o coeficiente de quadro do mapa de cor. A frequência da transmissão dos mapas , mapas χζ' , ou mapas deve ser pelo menos um dos quadros de IDR.
[091 ]Em uma sétima modalidade, os mapas de cor usam o formato de YUV ou RGB e são codificados com um codificador de vídeo tal como MPEG- 4 AVC, h265/HEVC, ou h266, etc. ou um codificador de imagem tal como JPEG, JPEG2000, MJEG. Quando diversas câmeras são usadas para adquirir o conteúdo do campo de luz, mapas de cor podem ser codificados relativamente usando o codec MV-HEVC.
[092]Embora a presente invenção tenha sido descrita aqui acima com referência a modalidades específicas, a presente invenção não é limitada às modalidades específicas, e modificações serão aparentes para aqueles versados na técnica que se encontram dentro do âmbito da presente invenção.
[001]Muitas modificações adicionais e variações serão auto sugeridas para aqueles versados na técnica ao se fazer referência ás modalidades ilustrativas acima, que são determinadas apenas por meio de exemplo e que não são pretendidas limitar o âmbito da presente invenção, a mesma sendo determinada unicamente pelas reivindicações em anexo. Em particular as diferentes características a partir de diferentes modalidades podem ser intercambiadas, onde apropriado.
Petição 870170042788, de 21/06/2017, pág. 37/48
1/4

Claims (14)

  1. REIVINDICAÇÕES
    1. Método implementado por computador para codificar um sinal representativo de um conteúdo do campo de luz, o referido método CARACTERIZADO pelo fato de que compreende:
    - codificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
    - codificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros.
  2. 2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que adicionalmente compreende:
    - codificar um terceiro conjunto de parâmetros que representam dados de cor associados ao raio de luz representado pelo referido primeiro conjunto de parâmetros.
  3. 3. Método, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que pelo menos um parâmetro do primeiro conjunto de parâmetros representa a distância entre a coordenada do referido raio de luz e um plano que se adapta a um conjunto de coordenadas de uma pluralidade de raios de luz lidos por uma pluralidade de pixels do sistema de aquisição ótica, e pelo menos um parâmetro do segundo conjunto de parâmetros representa as coordenadas do plano adequado.
  4. 4. Método, de acordo com qualquer uma das reivindicações precedentes, CARACTERIZADO pelo fato de que pelo menos um parâmetro do primeiro conjunto de parâmetros representa:
    - a diferença entre um valor que representa o raio de luz lido pelo referido pixel e um valor que representa um raio de luz lido por outro pixel que precede o referido pixel em uma fileira do sensor, ou
    - quando o referido pixel é o primeiro pixel de uma fileira do sensor, a difePetição 870170042788, de 21/06/2017, pág. 38/48
    2/4 rença entre um valor que representa o raio de luz lido pelo referido pixel e um valor que representa um raio de luz lido pelo último pixel de uma fileira que precede a fileira na qual o referido pixel pertence.
  5. 5. Método, de acordo com qualquer uma das reivindicações precedentes, CARACTERIZADO pelo fato de que codecs independentes são usados para codificar os parâmetros do primeiro conjunto de parâmetros.
  6. 6. Método, de acordo com qualquer uma das reivindicações precedentes, CARACTERIZADO pelo fato de que, quando o segundo conjunto de parâmetros compreende um parâmetro que indica que o primeiro conjunto de parâmetros é inalterado desde a última transmissão do primeiro conjunto de parâmetros, apenas o referido segundo conjunto de parâmetros é transmitido.
  7. 7. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que um coeficiente de transmissão do sinal representativo do conteúdo de luz é maior do que um coeficiente de transmissão do primeiro conjunto de parâmetros codificados e do segundo conjunto de parâmetros codificados.
  8. 8. Dispositivo para codificar um sinal representativo de um conteúdo do campo de luz, CARACTERIZADO pelo fato de que compreende um processador configurado para:
    - codificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
    - codificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros.
  9. 9. Método implementado por computador para decodificar um sinal representativo de um conteúdo do campo de luz, o referido método CARACTERIZADO pelo fato de que compreende:
    - decodificar, para pelo menos um pixel de um sensor, um primeiro conjunto
    Petição 870170042788, de 21/06/2017, pág. 39/48
    3/4 de parâmetros que representam um raio de luz lido pelo referido pixel,
    - decodificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros decodificados,
    - reconstruir o conteúdo do campo de luz com base no primeiro conjunto de parâmetros decodificados e no segundo conjunto de parâmetros decodificados.
  10. 10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que adicionalmente compreende:
    - decodificar um terceiro conjunto de parâmetros que representam dados de cor associados ao raio de luz representado pelo referido primeiro conjunto de parâmetros,
    - reconstruir o conteúdo do campo de luz com base em um terceiro conjunto de parâmetros decodificados junto com o primeiro conjunto de parâmetros decodificados e o segundo conjunto de parâmetros decodificados.
  11. 11. Dispositivo para decodificar um sinal representativo de um conteúdo do campo de luz, CARACTERIZADO pelo fato de que compreende um processador configurado para:
    - decodificar, para pelo menos um pixel de um sensor, um primeiro conjunto de parâmetros que representam um raio de luz lido pelo referido pixel,
    - decodificar um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros,
    - reconstruir o conteúdo do campo de luz com base no primeiro conjunto de parâmetros decodificados e no segundo conjunto de parâmetros decodificados.
  12. 12. Sinal transmitido por um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz a um dispositivo para decodificar o referido sinal representativo de um conteúdo do campo de luz, o referido sinal portando a mensaPetição 870170042788, de 21/06/2017, pág. 40/48
    4/4 gem CARACTERIZADO pelo fato de que compreende:
    - um primeiro conjunto de parâmetros que representam um raio de luz lido por pelo menos um pixel de um sensor,
    - um segundo conjunto de parâmetros pretendidos para serem usados para reconstruir o conteúdo do campo de luz a partir do primeiro conjunto de parâmetros, a reconstrução do conteúdo do campo de luz pelo dispositivo de decodificação é com base em um primeiro conjunto de parâmetros decodificados e um segundo conjunto de parâmetros decodificados.
  13. 13. Programa de computador, CARACTERIZADO pelo fato de que compreende instruções de código de programa para a implementação do método para codificar um conteúdo do campo de luz de acordo com qualquer uma das reivindicações 1 a 7 quando o programa é executado por um processador.
  14. 14. Programa de computador, CARACTERIZADO pelo fato de que it compreende instruções de código de programa para a implementação do método para decodificar um conteúdo do campo de luz de acordo com qualquer das reivindicações 9 a 10 quando o programa é executado por um processador.
    Petição 870170042788, de 21/06/2017, pág. 41/48
    1/6
    Ι00
    101 ί
    102 formador de dados de LF
    Processador te dados de Ln
BR102017013446-6A 2016-06-22 2017-06-21 Método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz BR102017013446A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305757.3A EP3261347A1 (en) 2016-06-22 2016-06-22 A method and a device for encoding a signal representative of a light-field content
EP16305757.3 2016-06-22

Publications (1)

Publication Number Publication Date
BR102017013446A2 true BR102017013446A2 (pt) 2018-05-02

Family

ID=56511475

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102017013446-6A BR102017013446A2 (pt) 2016-06-22 2017-06-21 Método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz

Country Status (10)

Country Link
US (1) US11665369B2 (pt)
EP (3) EP3261347A1 (pt)
JP (1) JP7171169B2 (pt)
KR (1) KR102505130B1 (pt)
CN (1) CN107529062A (pt)
AU (1) AU2017204215C1 (pt)
BR (1) BR102017013446A2 (pt)
CA (1) CA2971337A1 (pt)
MX (1) MX2017008222A (pt)
RU (1) RU2746344C2 (pt)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052089A (ko) * 2016-09-19 2019-05-15 인터디지털 브이씨 홀딩스 인코포레이티드 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
CN112183637B (zh) * 2020-09-29 2024-04-09 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US6693964B1 (en) * 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
RU2331919C2 (ru) * 2006-03-21 2008-08-20 Алексей Евгеньевич Субботин Проекционное кодирование
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CN103748612B (zh) * 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
GB2503656B (en) * 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
JP2014086968A (ja) 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム
US9462164B2 (en) * 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9582922B2 (en) * 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9961333B1 (en) * 2016-06-10 2018-05-01 X Development Llc System and method for light field projection

Also Published As

Publication number Publication date
EP3261347A1 (en) 2017-12-27
CN107529062A (zh) 2017-12-29
EP4054194A1 (en) 2022-09-07
CA2971337A1 (en) 2017-12-22
US20170374388A1 (en) 2017-12-28
JP7171169B2 (ja) 2022-11-15
AU2017204215A1 (en) 2018-01-18
AU2017204215B2 (en) 2022-04-28
KR102505130B1 (ko) 2023-03-02
EP3261348A1 (en) 2017-12-27
KR20180000319A (ko) 2018-01-02
RU2746344C2 (ru) 2021-04-12
JP2018033127A (ja) 2018-03-01
US11665369B2 (en) 2023-05-30
RU2017121569A3 (pt) 2020-09-25
MX2017008222A (es) 2018-09-10
RU2017121569A (ru) 2018-12-24
AU2017204215C1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US10819971B2 (en) Mapping of spherical image data into rectangular faces for transport and decoding across networks
US20190387211A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
JP6630891B2 (ja) 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US10951871B2 (en) Generation device, identification information generation method, reproduction device, and image reproduction related to stereo packing of projected frames
BR102017013446A2 (pt) Método e um dispositivo para codificar um sinal representativo de um conteúdo do campo de luz
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
US11948268B2 (en) Immersive video bitstream processing
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
TW202126036A (zh) 具有輔助修補之容積視訊
Duch et al. Depth map compression via 3D region-based representation
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
US20230379495A1 (en) A method and apparatus for encoding mpi-based volumetric video
US20230215030A1 (en) Local light field flow as an alternative to plane-sweep volumes

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL CE PATENT HOLDINGS (FR)

B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]