BR112020024663A2 - predição para codificação e decodificação de campo de luz - Google Patents

Abstract

PREDIÇÃO PARA CODIFICAÇÃO E DECODIFICAÇÃO DE CAMPO DE LUZ. A predição de um componente de um pixel atual que pertence a uma imagem de subabertura atual em uma matriz de imagens de subabertura capturadas por um sensor de uma câmera plenóptica tipo I pode envolver, primeiro, determinar uma localização no sensor com base em: uma distância de uma pupila de saída de uma lente principal da câmera a um arranjo de microlentes da câmera; um comprimento focal da lente principal; um comprimento focal das microlentes do arranjo de microlentes; e um conjunto de parâmetros de um modelo da câmera que permite uma derivação de uma parametrização de dois planos que descreve o campo de raios que corresponde aos pixels do sensor; e, segundo, prever o componente com base em um pixel de referência que pertence a uma imagem de subabertura de referência na matriz e situado no sensor em uma vizinhança da localização.

Description

“PREDIÇÃO PARA CODIFICAÇÃO E DECODIFICAÇÃO DE CAMPO DE LUZ”

1. CAMPO DA REVELAÇÃO

[001]A presente revelação se refere, de modo geral, ao campo de codificação de vídeo de Campo de Luz (LF).

[002]Mais especificamente, a revelação se refere a um método para prever um componente de um pixel que pertencem a uma imagem de subabertura capturada por uma câmera plenóptica tipo |.

[003]A revelação pode ser de interesse, por exemplo no campo de compacta- ção e/ou descompactação LF.

2. ANTECEDENTES TECNOLÓGICOS

[004]Por um lado, a Predição de Síntese de Vista (VSP) foi padronizada como parte da extensão 3D-HEVC para codificação de vídeo de múltiplas vistas. Mais par- ticularmente, a VSP consiste em usar informações de profundidade para distorcer da- dos de textura a partir de uma vista de referência para uma vista atual, de modo que um preditor para a vista atual possa ser gerado (consulte, por exemplo: S. Yea e A. Vetro, “View Synthesis Prediction for Multiview video coding”, em Signal Processing: Image Communication, vol. 24, no 1-2, páginas 89-100, janeiro de 2009).

[005]Por outro lado, os dados LF consistem em: - vídeo de múltiplas vistas, isto é em um vídeo em que as imagens que per- tencem a uma matriz de imagens foram capturadas simultaneamente a partir de múl- tiplos ângulos da câmera; ou - vídeo plenóptico, também conhecido como vídeo baseado em lenslet, isto é em um vídeo em que as imagens que pertencem a uma matriz de imagens são ima- gens de subabertura que foram capturadas simultaneamente a partir de uma única câmera com o uso de uma matriz de lentes além do sistema de lentes principal.

[006]A VSP assume, entre outros, um modelo pinhole para a câmera que foi usada para capturar o vídeo LF. Isso impede a obtenção de altos desempenhos na codificação de vídeo LF, em particular para o LF capturado pela câmera plenóptica para a qual a extensão da abertura não pode ser negligenciada.

[007]Existe, portanto, uma necessidade de um método aprimorado para pre- ver um componente (por exemplo, uma crominância ou luminância) de um pixel de uma imagem de subabertura em um LF capturado por uma câmera plenóptica.

3. SUMÁRIO

[008]A presente revelação se refere a um método para prever um componente de um pixel atual que pertencem a uma imagem de subabertura atual em uma matriz de imagens de subabertura capturadas por um sensor de uma câmera plenóptica tipo |. Tal método compreende: - determinar uma localização do sensor com base pelo menos em: - uma distância D de uma pupila de saída de uma lente principal da câmera a um arranjo de microlentes da câmera; - um comprimento focal F da lente principal; - um comprimento focal f das microlentes do arranjo de microlentes; e - um conjunto de parâmetros de um modelo da câmera que permite uma de- rivação de uma parametrização de dois planos que descreve o campo de raios que corresponde aos pixels do sensor; - prever o componente do pixel atual com base em pelo menos um pixel de referência que pertence a uma imagem de subabertura de referência na matriz e situ- ado no sensor em uma vizinhança da localização.

[009] Outro aspecto da revelação se refere a um dispositivo para prever um componente de um pixel atual que pertence a uma imagem de subabertura atual em uma matriz de imagens de subabertura capturadas por um sensor de uma câmera plenóptica tipo |. Tal dispositivo compreende um processador configurado para: - determinar uma localização do sensor com base pelo menos em:

- uma distância D de uma pupila de saída de uma lente principal (1001) da câmera a um arranjo de microlentes (100mla) da câmera; - um comprimento focal F da lente principal; - um comprimento focal f das microlentes do arranjo de microlentes; e - um conjunto de parâmetros de um modelo da câmera que permite uma de- rivação de uma parametrização de dois planos que descreve o campo de raios que corresponde aos pixels do sensor; - prever o componente do pixel atual com base em pelo menos um pixel de referência que pertence a uma imagem de subabertura de referência na matriz e situ- ado no sensor em uma vizinhança da localização.

[010]Outro aspecto da revelação se refere a um fluxo de bits que porta um campo de luz capturado por um sensor de uma câmera plenóptica tipo |. Tal fluxo de bits compreende metadados que compreendem: - uma distância D de uma pupila de saída de uma lente principal da câmera a um arranjo de microlentes da câmera; - um comprimento focal F da lente principal; - um comprimento focal f das microlentes do arranjo de microlentes; e - um conjunto de parâmetros de um modelo da câmera que permite uma de- rivação de uma parametrização de dois planos que descreve o campo de raios que corresponde aos pixels do sensor.

[011]Além disso, a presente revelação se refere a um meio legível por com- putador não transitório que compreende um produto de programa de computador gra- vado no mesmo e capaz de ser executado por um processador, incluindo instruções de código do programa que compreendem instruções de código do programa para implementar um método para prever um componente de um pixel atual que pertence a uma imagem de subabertura atual em uma matriz de imagens de subabertura cap- turadas por um sensor de uma câmera plenóptica tipo | anteriormente descrita.

4. LISTA DE FIGURAS - A Figura 1 ilustra um codificador e um decodificador que codificam e decodi- ficam respectivamente um pixel atual de uma imagem de subabertura capturada por uma câmera plenóptica tipo |, de acordo com pelo menos uma modalidade; -As Figuras 2a e 2b ilustram a relação entre as microimagens capturadas pelo sensor da câmera da Figura 1 e as imagens de subabertura correspondentes; - As Figuras 3a e 3b ilustram uma propriedade óptica da câmera plenóptica tipo | da Figura 1; - A Figura 4 ilustra um fluxograma de um método para prever um componente de um pixel atual à medida que implementado no codificador e decodificador da Figura 1, de acordo com pelo menos uma modalidade; - A Figura 5a ilustra o primeiro e o segundo raios envolvidos no método da Figura 4; - A Figura 5b ilustra uma localização determinada no sensor da câmera ple- nóptica tipo | da Figura 1 aplicando-se o método da Figura 4; - A Figura 6 ilustra um sistema exemplificativo que pode ser usado para imple- mentar o método da Figura 4.

5. DESCRIÇÃO DETALHADA

[012]Em todas as Figuras, os mesmos sinais de referência numérica desig- nam elementos e etapas similares.

[013]É revelado um método para prever um componente (por exemplo, uma crominância ou luminância) de um pixel atual que pertence a uma imagem de suba- bertura atual em uma matriz de imagens de subabertura capturadas por um sensor de uma câmera plenóptica tipo |. Tal método compreende uma etapa de determinar uma localização no sensor com base nos parâmetros da câmera. Com base em tal locali- zação determinada, o componente do pixel atual é previsto com base pelo menos em um pixel de referência que pertence a uma imagem de subabertura de referência na