BR102016011825A2 - método para obter uma imagem refocalizada de dados de campo de luz brutos 4d - Google Patents

Abstract

em uma modalidade, é proposto um método para obter uma imagem refoca-lizada de dados de campo de luz brutos 4d para um dado valor de plano de foco . o método é executado por um dispositivo eletrônico e é extraordinário em que ele compreende determinar pelo menos um valor de pixel, para pelo menos um compo-nente de cor, da dita imagem refocalizada em coordenadas , o dito deter-minar compreendendo: obter pelo menos um valor de pixel projetado com coordenadas compreen-didas em uma vizinhança das ditas coordenadas , para o dito pelo menos um componente de cor; ponderar o dito pelo menos um valor de pixel projetado com base em uma função, a dita ponderação produzindo um valor ponderado; atualizar o dito pelo menos um valor de pixel, para o dito pelo menos um componente de cor, da dita imagem refocalizada em coordenadas com o dito valor ponderado.

Description

“MÉTODO PARA OBTER UMA IMAGEM REFOCALIZADA DE DADOS DE CAMPO DE LUZ BRUTOS 4D” CAMPO TÉCNICO

[001 ]A revelação diz respeito a processamento de dados de campo de luz 4D. Mais precisamente, a revelação diz respeito a uma técnica para obter uma imagem refocalizada 2D diretamente de dados de campo de luz brutos 4D, sem executar uma demultiplexação de dados de campo de luz brutos 4D (isto é, obter uma imagem refocalizada sem usar imagens de subabertura derivadas/obtidas de dados de campo de luz brutos 4D).

ANTECEDENTES

[002] Esta seção é pretendida para fornecer para o leitor vários aspectos de técnica, os quais podem estar relacionados com vários aspectos da presente invenção que são descritos e/ou reivindicados a seguir. Acredita-se que esta discussão seja útil para prover o leitor com informação anterior para facilitar um melhor entendimento dos vários aspectos da presente invenção. Portanto, deve ser entendido que estas declarações são para ser lidas neste sentido, e não como admissões de técnica anterior.

[003] A obtenção de dados de campo de luz 4D, o que pode ser visto como uma amostragem de um campo de luz 4D (isto é, a gravação de raios de luz tal como explicado na figura 1 do artigo: “Understandinq camera trade-offs throuah a Ba-vesian analvsis of liaht field proiections” de Anat Levin e outros, divulgado nos trabalhos de conferência da ECCV 2008) é uma matéria de pesquisa héctica.

[004] De fato, comparados às imagens 2D clássicas obtidas por uma câmera, dados de campo de luz 4D capacitam um usuário para ter acesso a mais recursos de processamento posterior que aprimoram a renderização de imagens e/ou a interatividade com o usuário. Por exemplo, com dados de campo de luz 4D, é possível executar com facilidade refocalização de imagens a posteriori (isto é, refocalização com distâncias selecionadas livremente de focalização, significando que a posição de um plano focal pode ser especificada/selecionada a posteriori), assim como mudar ligeiramente o ponto de vista no cenário de uma imagem. A fim de obter dados de campo de luz 4D, diversas técnicas podem ser usadas. Especialmente, uma câmera plenóptica, tal como representada no documento WO 2013/180192 ou no documento GB 2488905, é capaz de obter dados de campo de luz 4D. Detalhes da arquitetura de uma câmera plenóptica são fornecidos nas figuras 1, 2, 3, 4 e 5 do presente documento.

[005]No estado da técnica, existem diversos modos para representar (ou definir) dados de campo de luz 4D. De fato, no Capítulo 3.3 da tese de dissertação Phd intitulada “Digital Liqht Field Photoaraphv” de Ren Ng, divulgada em julho de 2006, três modos diferentes para representar dados de campo de luz 4D são descritos. Primeiramente, dados de campo de luz 4D podem ser representados, quando gravados por uma câmera plenóptica tal como a câmera representada na figura 1, por exemplo, por meio de uma coleção de imagens de microlentes (ver a descrição da figura 2 no presente documento). Dados de campo de luz 4D nesta representação são denominados de imagens brutas (ou dados de campo de luz brutos 4D). Em segundo lugar, dados de campo de luz 4D podem ser representados por meio de um conjunto de imagens de subabertura. Uma imagem de subabertura corresponde a uma imagem capturada de um cenário a partir de um ponto de vista, o ponto de vista sendo ligeiramente diferente entre duas imagens de subabertura. Estas imagens de subabertura dão informação a respeito da paralaxe e profundidade da cena imagea-da. Em terceiro lugar, dados de campo de luz 4D podem ser representados por meio de um conjunto de imagens epipolares (ver, por exemplo, o artigo intitulado “Genera-ting EPI Representation of a 4D Liqht Fields with a Single Lens Focused Plenoptic Camera”, de S. Wanner e outros, divulgado nos trabalhos de conferência da ISVC 2011).

[006] Uma técnica comum que é usada para executar refocalização a partir de dados de campo de luz 4D é baseada no deslocamento e adição de imagens de microlentes (isto é, diretamente a partir dos dados de campo de luz brutos 4D, denominados de ΐ^ή tal como explicado no documento WO 2013/167758 (na seção “método de refocalização de imagem”). A figura 6 do presente documento representa grosseiramente como projetar um pixel em coordenadas (x,y) nos ditos dados de campo de luz brutos 4D para obter uma imagem 2D. Enquanto pixels de campo de luz brutos 4D (isto é, os pixels das microimagens) são projetados em uma imagem refocalizada, um mapa de pesos grava o número de pixels projetados acumulados. O mapa de pesos também grava a interpolação no caso em que coordenadas projetadas são coordenadas de números não inteiros. Uma vez que todos os pixels de campo de luz brutos 4D sejam projetados na imagem refocalizada e o mapa de pesos seja determinado, a imagem refocalizada é dividida pelo mapa de pesos de tal maneira que cada pixel refocalizado recebe a mesma contribuição média. A imagem 2D resultante pode ser exibida em um mostrador, ou armazenada e/ou transmitida para um outro dispositivo por exemplo.

[007] A fim de melhorar a qualidade (especialmente a nitidez) da imagem refocalizada 2D, a técnica descrita no artigo intitulado “Refocusina Plenootic Imaaes usina Depth-Adaotive Splatting” de Juliet Fiss e outros pode ser usada para propósito de interpolação. De fato, a interpolação baseada nesta abordagem consiste em espalhar a influência de um pixel de campo de luz bruto 4D na imagem refocalizada 2D (ver a figura 5 do artigo onde um pixel de campo de luz bruto 4D nas coordenadas (x,y) é projetado para uma localização s com um valor definido como uma função de um núcleo de espalhamento). Tal como mencionado neste artigo: “Espalha-mento pode ser visto como uma forma de interpolação de dados espalhados usando funções de base radial”. Entretanto, uma desvantagem desta abordagem é que dados de campo de luz brutos 4D têm que ter o efeito de mosaico removido antes de projetar os pixels de campo de luz brutos 4D na imagem refocalizada 2D. Uma outra desvantagem desta abordagem é que o núcleo de espalhamento é isotrópico em (x,y) e depende somente da profundidade da cena. Finalmente, uma outra desvantagem desta abordagem é que o núcleo de espalhamento não leva em conta câmeras plenópticas multifocais (tal como, por exemplo, a câmera representada no artigo intitulado ‘The Multi-Focus Plenoptic Camera” de Todor Georgiev e Andrew Lums-daine) ou a geometria da cena.

[008] Portanto, existe uma necessidade de fornecer uma técnica que possa superar estas desvantagens.

SUMÁRIO DA REVELAÇÃO

[009] Referências no relatório descritivo para “uma modalidade” e “uma modalidade de exemplo” indicam que a modalidade descrita pode incluir um recurso, estrutura ou característica particular, mas cada modalidade não tem que incluir necessariamente o recurso, estrutura ou característica particular. Além disso, tais frases não estão necessariamente se referindo à mesma modalidade. Adicionalmente, quando um recurso, estrutura ou característica particular é descrito em conexão com uma modalidade, é sugerido que ele está dentro do conhecimento dos versados na técnica para adotar tal recurso, estrutura ou característica em conexão com outras modalidades se descritas explicitamente ou não.

[010] A presente revelação diz respeito a um método para obter uma imagem refocalizada de dados de campo de luz brutos 4D para um dado valor de plano de foco g. O método é executado por um dispositivo eletrônico e é extraordinário em que ele compreende determinar pelo menos um valor de pixel, para pelo menos um componente de cor, da dita imagem refocalizada em coordenadas (M) e #2> o dito determinar compreendendo: - obter pelo menos um valor de pixel projetado com coordenadas compreendidas em uma vizinhança das ditas coordenadas (M), para o dito pelo menos um componente de cor; - ponderar o dito pelo menos um valor de pixel projetado com base em uma função, a dita ponderação produzindo um valor ponderado; - atualizar o dito pelo menos um valor de pixel, para o dito pelo menos um componente de cor, da dita imagem refocalizada em coordenadas CM} com o dito valor ponderado.

[011] Consequentemente, a presente técnica diz respeito a um processamento que é feito para determinar um valor de pixel na imagem refocalizada, componente de cor por componente de cor. Consequentemente, a presente técnica não precisa usar métodos de remoção do efeito de mosaico em dados de campo de luz brutos 4D, (mais detalhes a respeito de métodos de remoção do efeito de mosaico podem ser encontrados no artigo intitulado “An Analvsis of Color Demosaicina in Plenoptic Cameras” de Zhan Yu e outros). Portanto, a presente técnica capacita a redução de artefatos de cor em uma imagem refocalizada. De fato, uma vez que a presente técnica é aplicada para cada cor, a combinação de imagem refocalizada (uma por componente de cor) é feita a fim de obter uma imagem colorida. Não existem métodos de remoção do efeito de mosaico usados na presente técnica.

[012] Em uma modalidade preferida, o método para obter é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas {%, Ϋ), e a dita função é definida como sendc onde h2 corres- ponde a um valor que pertence a E, e a função ||. || é uma função norma.

[013] Em uma modalidade preferida, o método para obter é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas (x, f), e a dita função é definida como sendo onde h2 corresponde a um valor que pertence a M, e o valor de corresponde ao valor real de g em uma cena associada com os ditos dados de campo de luz brutos 4D. Mais precisamente, corresponde à distância real em uma cena associada com os ditos dados de campo de luz brutos 4D de um dispositivo de obtenção de campo de luz que obteve os ditos dados de campo de luz brutos 4D.

[014] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas (Χ,Ϋ), e a dita função é definida como sendo onde h5 e h3' correspondem a valores de a que pertencem a K, e os valores a, h,ce d correspondem a valores de uniformização determinados de acordo com estrutura de tensor da dita imagem refocalizada.

[015] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas (x,Y), e a dita função é definida como sendo pertence a os K— pixels Vizinhos Mais Próximos de ([X], [Y])), onde χ(.) é a função característica que é igual a um se a declaração for verdadeira e igual a zero de outro modo, [.] é a função de arredondamento, e K. é um número inteiro maior ou igual a 2.

[016] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas (cx,Cy) correspondem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x,y) pertence, e a dita função é definida como sendo onde a função PSF é uma estimativa da Função de Espalhamento de Pontos de uma câmera plenóptica.

[017] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspon- dem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x, y) pertence, e a dita função é definida como sendo onde χ(.) é a função característica que é igual a um se a declaração for verdadeira e igual a zero de outro modo, p é um valor limiar, e a função I!... 1 é uma função norma.

[018] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspon- dem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x,y) pertence, e a dita função é definida como sendo , onde corresponde a um valor que pertence a as, e a função II. II é uma função norma.

[019] Em uma modalidade preferida, o método é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas , onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspon- dem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x,y) pertence, e a dita função é definida como sendo igual a é uma medida de nitidez da microlente à qual (x,y) pertencem e corresponde a um valor máximo de nitidez em todas as microlentes dos ditos dados de campo de luz brutos 4D.

[020] Em uma modalidade preferida, o método é extraordinário em que a dita função é definida como sendo separável.

[021 ]Em uma modalidade preferida, o método é extraordinário em que a dita função é definida como sendo um produto de onde #4 corresponde a um valor que pertence a M, a função II. II é uma função norma, com uma outra função.

[022] Em uma modalidade preferida, o método é extraordinário em que a dita atualização compreende adicionar o dito valor ponderado ao dito pelo menos um valor de pixel.

[023] Em uma modalidade, existe uma inicialização do dito pelo menos um valor de pixel. Por exemplo, a inicialização do dito pelo menos um valor de pixel pode compreender a inicialização para um valor nulo em um registro no dispositivo eletrônico.

[024] De acordo com uma implementação exemplar, as diferentes etapas do método são implementadas por meio de um programa ou programas de software de computador, este programa de software compreendendo instruções de software projetadas para serem executadas por um processador de dados de um módulo de transmissão de acordo com a revelação e sendo projetadas para controlar a execução das diferentes etapas deste método.

[025] Consequentemente, um aspecto da revelação também diz respeito a um programa destinado para ser executado por um computador ou por um processador de dados, este programa compreendendo instruções para comandar a execução das etapas de um método tal como mencionado acima.

[026] Este programa pode usar qualquer linguagem de programação seja qual for e pode ser na forma de um código fonte, código de objeto ou código que é intermediário entre código fonte e código de objeto, tal como em uma forma compilada parcialmente ou em qualquer outra forma desejável.

[027] A revelação também diz respeito a uma mídia de informação legível por um processador de dados e compreendendo instruções de um programa tal como mencionado acima.

[028] A mídia de informação pode ser qualquer entidade ou dispositivo capaz de armazenar o programa. Por exemplo, a mídia pode compreender um dispositivo de armazenamento tal como uma ROM (que significa “Memória Somente de Leitura”), por exemplo, um CD-ROM (que significa “Disco Compacto - Memória Somente de Leitura”) ou uma ROM de circuito microeletrônico ou de novo um dispositivo de gravação magnética, por exemplo, um disco flexível ou uma unidade de disco rígido.

[029] Além disso, a mídia de informação pode ser uma portadora transmissível tal como um sinal elétrico ou ótico que pode ser transportado através de um cabo elétrico ou ótico, por meio de rádio ou por outro recurso. O programa pode ser transferido especialmente para uma rede tipo Internet.

[030] Alternativamente, a mídia de informação pode ser um circuito integrado ao qual o programa é incorporado, o circuito sendo adaptado para executar ou ser usado na execução do método em questão.

[031 ]De acordo com uma modalidade, uma modalidade da revelação é implementada por meio de componentes de software e/ou de hardware. A partir deste ponto de vista, o termo “módulo” pode corresponder neste documento tanto a um componente de software quanto a um componente de hardware ou a um conjunto de componentes de hardware e de software.

[032]Um componente de software corresponde a um ou mais programas de computador, a um ou mais subprogramas de um programa, ou de uma maneira mais geral a qualquer elemento de um programa ou um programa de software capaz de implementar uma função ou um conjunto de funções de acordo com o que é descrito a seguir para o módulo envolvido. Um componente de software como este é executado por um processador de dados de uma entidade física (terminal, servidor, etc.) e é capaz de acessar os recursos de hardware desta entidade física (memórias, mí- dias de gravação, barramentos de comunicações, placas eletrônicas de entra-da/saída, interfaces de usuário, etc.).

[033]De forma similar, um componente de hardware corresponde a qualquer elemento de uma unidade de hardware capaz de implementar uma função ou um conjunto de funções de acordo com o que é descrito a seguir para o módulo envolvido. Ele pode ser um componente de hardware programável ou um componente com um circuito integrado para a execução de software tal como, por exemplo, um circuito integrado, um cartão inteligente, um cartão de memória, uma placa eletrônica para executar firmware etc. Em uma variante, o componente de hardware compreende um processador que é um circuito integrado tal como uma unidade central de processamento, e/ou um microprocessador, e/ou um circuito integrado de aplicação específica (ASIC), e/ou um processador de conjunto de instruções de aplicação específica (ASIP), e/ou uma unidade de processamento gráfico (GPU), e/ou uma unidade física de processamento (PPU), e/ou um processador de sinal digital (DSP), e/ou um processador de imagem, e/ou um coprocessador, e/ou uma unidade de ponto flutuante, e/ou um processador de rede, e/ou um processador de áudio, e/ou um processador de múltiplos núcleos. Além disso, o componente de hardware também pode compreender um processador de banda base (compreendendo, por exemplo, unidades de memória e um firmware) e/ou circuitos eletrônicos de rádio (que podem compreender antenas) que recebem ou transmitem sinais de rádio. Em uma modalidade, o componente de hardware é compatível com um ou mais padrões tais como ISO/IEC 18092 / ECMA-340, ISO/IEC 21481 / ECMA-352, GSMA, StoLPaN, ETSI / SCP (Plataforma de Cartão Inteligente), GlobalPIatform (isto é, um elemento seguro). Em uma variante, o componente de hardware é uma etiqueta de identificação por radiofrequência (RFID). Em uma modalidade, um componente de hardware compreende circuitos que capacitam comunicações Bluetooth, e/ou comunicações Wi-fi, e/ou comunicações Zigbee, e/ou comunicações USB e/ou comunicações FireWire e/ou comunicações NFC (para Campo Próximo).

[034] Também deve ser notado que uma etapa de obter um elemento/valor no presente documento pode ser vista como uma etapa de ler tal elemento/valor em uma unidade de memória de um dispositivo eletrônico ou uma etapa de receber tal elemento/valor de um outro dispositivo eletrônico via dispositivo de comunicação.

[035] Em uma outra modalidade, é proposto um dispositivo eletrônico para obter uma imagem refocalizada de dados de campo de luz brutos 4D para um dado valor de plano de foco g. O dispositivo eletrônico é extraordinário em que ele compreende um circuito configurado para determinar pelo menos um valor de pixel, para pelo menos um componente de cor, da dita imagem refocalizada em coordenadas (k, l) e w2, o dito circuito compreendendo: - um circuito de obtenção configurado para obter pelo menos um valor de pixel projetado com coordenadas compreendidas em uma vizinhança das ditas coordenadas (k, í), para o dito pelo menos um componente de cor; - um circuito de ponderação configurado para ponderar o dito pelo menos um valor de pixel projetado com base em uma função, o dito circuito de ponderação produzindo um valor ponderado; - um circuito de atualização configurado para atualizar o dito pelo menos um valor de pixel, para o dito pelo menos um componente de cor, da dita imagem refocalizada em coordenadas (fe,I) com o dito valor ponderado.

[036] Em uma modalidade preferida, o dispositivo eletrônico é extraordinário em que o dito pelo menos um valor de pixel projetado tem coordenadas e a dita função é definida como sendo , onde cor- responde a um valor que pertence a E, e a função II. [| é uma função norma.

DESCRIÇÃO RESUMIDA DOS DESENHOS

[037] Os indicados acima e outros aspectos da invenção se tornarão mais aparentes pela descrição detalhada a seguir de modalidades exemplares da mesma com referência para os desenhos anexos, nos quais: - A figura 1 apresenta esquematicamente os componentes principais compreendidos em uma câmera plenóptica que capacita a obtenção de dados de campo de luz nos quais a presente técnica pode ser aplicada; - A figura 2 apresenta uma imagem capturada por um arranjo de sensores da figura 1; - A figura 3 e a figura 4 ilustram uma câmera plenóptica esquemática do tipo II assumindo modelo de lente fina perfeito; - A figura 5 apresenta uma câmera plenóptica do tipo I; - A figura 6 apresenta uma projeção de um pixel de campo de luz bruto 4D; - As figuras 7(a) e 7(b) ilustram um processo de espalhamento de acordo com uma modalidade da revelação; - As figuras 8(a) e 8(b) ilustram uma modalidade da revelação com base em análise de tensor em volta de um pixel; - As figuras 9(a) e 9(b) apresentam uma imagem e parte desta imagem obtida por uma câmera plenóptica compreendendo um arranjo de microlentes, em que as microlentes têm comprimentos focais diferentes; - A figura 10 apresenta um pixel projetado, o pixel projetado tendo coordenadas (k, f) onde pelo menos um valor por canal de cor é recebido; - A figura 11 ilustra como um valor de pixel de um dado de campo de luz bruto 4D em coordenadas (x,y) é esparramado/espalhado em volta da coordenada projetada (X, Y) para os K Vizinhos Mais Próximos (neste caso K=6); - A figura 12 ilustra algumas etapas de um método para refocalizar uma imagem de dados de campo de luz brutos 4D; - A figura 13 apresenta um exemplo de dispositivo que pode ser usado para executar uma ou diversas etapas de métodos revelados no presente documento.

DESCRIÇÃO DETALHADA

[038] A figura 1 apresenta esquematicamente os componentes principais compreendidos em uma câmera plenóptica que capacita a obtenção de dados de campo de luz nos quais a presente técnica pode ser aplicada.

[039] Mais precisamente, uma câmera plenóptica compreende uma lente principal referenciada como 101, e um arranjo de sensores (isto é, um arranjo de sensores de pixels (por exemplo, um sensor baseado em tecnologia CMOS)), referenciado como 104. Entre a lente principal 101 e o arranjo de sensores 104, um arranjo de microlentes referenciado como 102, que compreende um conjunto de micro-lentes referenciado como 103, é posicionado. Deve ser notado que opcionalmente alguns espaçadores podem ficar localizados entre o arranjo de microlentes em volta de cada lente e o sensor para impedir que luz de uma lente sobreponha com a luz de outras lentes no lado de sensor. Deve ser notado que a lente principal 101 pode ser um sistema ótico mais complexo que esse representado na figura 1 (tal como, por exemplo, o sistema ótico descrito nas figuras 12 e 13 do documento GB2488905). Consequentemente, uma câmera plenóptica pode ser vista como uma câmera convencional mais um arranjo de microlentes posicionado exatamente na frente do sensor tal como ilustrado na figura 1. Os raios de luz atravessando uma microlente cobrem uma parte do arranjo de sensores que grava a radiância destes raios de luz. A gravação por esta parte do sensor define uma imagem de microlente.

[040] A figura 2 apresenta uma imagem capturada pelo arranjo de sensores 104. De fato, em tal vista, parece que o arranjo de sensores 104 compreende um conjunto de pixels, referenciado como 201. Os raios de luz atravessando uma microlente cobrem um número de pixels 201, e estes pixels gravam o valor de energia de raios de luz que são incidentes/recebidos.

[041] Consequentemente o arranjo de sensores 104 de uma câmera plenóptica grava uma imagem que compreende uma coleção de pequenas imagens 2D (isto é, as imagens de microlentes referenciadas como 202) arranjadas dentro de uma imagem 2D (que também é denominada de uma imagem de campo de luz 4D bruta). De fato, cada pequena imagem (isto é, as imagens de microlentes) é produzida por uma microlente (a microlente pode ser identificada por meio de coordenadas (i,j) do arranjo de lente). Consequentemente, os pixels do campo de luz são associados com 4 coordenadas sendo o campo de luz 4D grava- do pelo sensor que ilustra a imagem que é gravada pelo sensor. Cada microlente produz uma microimagem representada por um círculo (a forma da imagem pequena depende da forma das microlentes que tipicamente é circular). Coordenadas de pixel (no arranjo de sensores) são rotulada (x,y). Opéa distância entre duas microima-gens consecutivas, e não é necessário que p seja um valor inteiro. Microlentes são escolhidas de tal maneira que p é maior que um tamanho de pixel fi. Imagens de microlentes são referenciadas por suas coordenadas (y). Cada imagem de microlente amostra a pupila da lente principal com o sistema de coordenadas (u,v). Alguns pixels podem não receber quaisquer fótons de qualquer microlente especialmente se a forma das microlentes for circular. Neste caso, o espaço entre microlentes é mascarado para impedir que fótons passem para o lado de fora de uma microlente, resultando em algumas áreas escuras nas microimagens. Se as microlentes tiverem uma forma quadrada, mascaramento não é necessário. O centro de uma imagem de microlente fl,j) fica localizado no sensor nas coordenadas . Θ é o ângulo entre o reticulado quadrado de pixel e o reticulado quadrado de microlentes, e na figura 2 Assumindo que as microlentes são arranjadas de acordo com um reticulado quadrado regular, as podem ser computadas pela equação seguinte considerando as coordenadas de pixel da imagem de microlente (0,0): A figura 2 também ilustra que um objeto da cena é visível em diversas ima- gens de microlentes contíguas (pontos escuros). A distância entre duas vistas consecutivas de um objeto é w, e esta distância é denominada de distância de reprodução. Consequentemente, um objeto é visível em r imagens de microlentes consecutivas com: e r é o número de imagens de microlentes consecutivas em uma dimensão. Um objeto é visível em r2 imagens de microlentes. Dependendo da forma da imagem de microlente, algumas das r2 vistas do objeto podem ficar invisíveis.

[042] Mais detalhes relacionados com câmera plenóptica podem ser encontrados na seção 4 intitulada “Image formation of a Light field camera” no artigo intitulado “The Liqht Field Camera: Extended Deoth of Field, Aliasinq, and Superresoluti-on” de Tom E. Bishop e Paolo Favaro, divulgado no IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, N°5, em maio de 2012.

[043] Deve ser notado que a presente técnica também pode ser aplicada em “câmera convencional” (no sentido em que nenhum arranjo de microlentes adicional não é posicionado entre a lente principal e o arranjo de pixels), no caso em que pelo menos uma parte dos pixels de tal câmera convencional é projetada no mesmo modo (ou em modo similar) ao modo descrito no documento US2013258098. De fato, o documento US2013258098 revela um pixel que pode gravar dados de campo de luz por causa do uso de diversas seções de recebimento de luz (por exemplo, referenciadas como 116 e 117 no documento US2013258098). Consequentemente, os versados na técnica podem assemelhar tal câmera convencional com um arranjo de pixels integrando a técnica do documento US2013258098 como um tipo de câmera plenóptica tal como representado na figura 1, em que cada microlente concentra raios de luz em dois pixels compreendidos no sensor 104. Deve ser notado que a técnica do documento US2013258098 pode ser generalizada no sentido em que um pixel pode gravar mais que de duas informações de dados (obtidas pelas duas seções de recebimento baixa e alta), se mais seções de recebimento forem integradas à arquitetura de um pixel. A presente revelação pode ser usada em imagens brutas de “câmera convencional” integrando pixels que podem gravar dados de campo de luz tal como mencionado anteriormente. De fato, estas imagens brutas podem ser assemelhadas a um conjunto de imagens de microlentes.

[044] Também deve ser notado que a presente revelação também pode ser aplicada para outros dispositivos que obtêm dados de campo de luz 4D tais como dispositivos que compreendem elementos de abertura codificada tal como representado no documento US 2010/0265386, ou no artigo intitulado “Imaqe and deoth from a conventional camera with a coded aperture” de A. Levin e outros, divulgado nos trabalhos do SIGGRAPH 2007, ou usam técnicas de codificação de frente de onda tal como mencionado no artigo intitulado “Extended depth of field through wave-front coding” de Edward R. Dowski, Jr. e W. Thomas Cathe, divulgado em Applied Otpics, de 10 de abril de 1995.

[045] A figura 3 e a figura 4 ilustram uma câmera plenóptica esquemática do tipo II assumindo modelo de lente fina perfeito. As distâncias introduzidas anteriormente são dadas em unidades de pixel. Elas são convertidas nas distâncias de unidades físicas (metros) respectivamente P e w ao multiplicá-las pelo tamanho de pixel Estas distâncias dependem das características de câ- mera de campo de luz.

[046] A lente principal tem um comprimento focal F e uma abertura O arranjo de microlentes é feito de microlentes tendo um comprimento focal /. O afastamento do arranjo de microlentes O arranjo de microlentes está localizado em uma distância D da lente principal, e uma distância d do sensor. O objeto (não visível nas figuras) está localizado em uma distância z da lente principal (à esquerda). Este objeto está focalizado pela lente principal em uma distância z' da lente principal (à direita).

[047]A figura 3 e a figura 4 ilustram os casos onde respectivamente e Em ambos os casos, imagens de microlentes podem estar em foco dependendo de d e /. Este projeto se refere à assim chamada de câmera plenóptica do tipo II (também denominada de câmera plenóptica 2.0).

[048JA figura 5 apresenta uma câmera plenóptica do tipo I (também denominada de câmera plenóptica 1.0), na qual [049] Na figura 5, o projeto é feito de tal maneira que a lente principal está fo- calizando imagens próximas ao arranjo de microlentes. Se alente principal estiver focalizando exatamente no arranjo de microlentes, então Também as ima- gens de microlentes estão totalmente fora de foco e iguais a uma constante (não considerando ruído).

[050] A distância de reprodução W varia com a distância z do objeto. Para estabelecer a relação entre w e z contamos com a equação de lente fina: [051 ]E a lei de Thales: [052] Misturando as duas equações anteriores temos: [053] A relação entre w e z não assume que as imagens de microlentes estão em foco. Imagens de microlentes estão rigorosamente em foco de acordo com a equação de lente fina: [054] Também da lei de Thales derivamos p [055] A razão e define a ampliação entre o afastamento de microlentes e o afastamento de imagens de microlentes. Esta razão está muito próxima de 1 uma vez que [056] Observações similares podem ser encontradas no documento WO 2013/167758.

[057] A figura 6 apresenta uma projeção de um pixel de campo de luz bruto 4D (isto é, o pixel em coordenadas (*,y), pertencendo a uma imagem de microlente referenciada como 600, tendo um centro em coordenadas em um pixel (em uma imagem refocalizada 2D) em coordenadas onde g determina o plano de refocalização, s define o tamanho de imagem da imagem refocalizada 2D (consequentemente o tamanho manho onde corresponde à imagem refocalizada 2D). No exemplo da figura 6, temos s = í. Mais detalhes a respeito do processo de refocalização são encontrados no documento WO 2013/167758.

[058] Consequentemente, dado um tamanho de imagem fixo s, e um plano de foco g, a imagem refocalizada ig é estimada projetando todos os pixels (x,y) dos dados de campo de luz brutos 4D Deve ser notado que coordenadas projetadas (X,Y) não estão necessariamente localizadas em malha distribuída uniformemente ou em uma malha regular. De fato, a distribuição no plano de imagem de posições de valores reais (Xf¥) depende muito do valor g.

[059] Deve ser notado que assumimos que centros de imagens de microlentes são estimados por meio de qualquer prática do estado da técnica (tal como a descrita no artigo intitulado “Decodinq, calibration and rectification for lense-let-based plenoptic cameras” de Dansereau e outros, divulgado nos trabalhos da conferência Computer Vision and Pattern Recognition (CVPR), Conferência IEEE de 2013 no IEEE).

[060]A técnica proposta diz respeito a um método para obter uma imagem refocalizada de dados de campo de luz brutos 4D para um dado foco (com base no valor de g) que compreende determinar um valor de um pixel na imagem refocalizada na posição (Μ) por meio da determinação de uma soma ponderada dos valores de pixels projetados em uma vizinhança de (fc, £}.. Portanto, a imagem refocalizada é definida tal como se segue: onde é o fator de normalização, Bki é uma vizinhança centralizada em a posição é o canal de cor (onde R é a cor vermelha, G é a cor verde e B é a cor azul). Deve ser notado que Iraw tem um padrão de Bayer, assim não é zero para somente um canal de cor.

[061 ]As figuras 7(a) e 7(b) ilustram um processo de espalhamento de acordo com uma modalidade da revelação. Deve ser notado que com esta definição o núcleo de espalhamento regula a quantidade de obscurecimento. Quanto maior é o núcleo tanto mais obscurecida é a imagem refocalizada 2D.

[062] A figura 7(a) ilustra que valores de intensidade são projeta- dos no plano de refocalização e se espalham (esparramam) em volta da posição (X, Tf). Os valores de espalhamento são ponderados pelo núcleo de espalhamento W, significando que nem todos os pixels em volta de (x,¥) recebem o mesmo valor de pixel.

[063] A figura 7(b) mostra que a fim de renderizar a imagem refocalizada, para cada posição de pixel da malha de imagem (M), a soma (ponderada) de todos os valores de pixels recebidos nesta posição é determinada. Neste exemplo, o pixel (k, 1) recebe dois valores. Para propósitos de ilustração, a forma do núcleo de espalhamento é redonda nesta figura, mas outras formas são possíveis.

[064] A figura 7(c) apresenta um exemplo da determinação de um valor de um pixel na imagem refocalizada na posição Em uma primeira etapa uma vizinhança Bkl do pixel localizado em coordenadas é escolhida. Em uma modalidade da revelação, tal vizinhança pode ser centralizada em coordenadas Em uma variante, tal vizinhança não é centralizada em coordenadas mas a área de vizinhança compreende as coordenadas A geometria da vizinhança pode ser variada de um círculo para estrutura de geometria mais complexa tal como essa representada na figura 7(c). No exemplo da figura 7(c), somente três pixels dos dados de campo de luz brutos 4D com um componente de cor vermelha têm uma projeção na vizinhança Bkl. Portanto, em uma modalidade temos para o componente de cor vermelha ‘coeficiente de normalização.

[065] Nesta equação, as funções de ponderação (também denominadas núcleos de espalhamento) podem ser as mesmas funções ou fun- ções diferentes.

[066] Para a mesma vizinhança, mas para um outro componente de cor, outros pixels projetados estão compreendidos nesta vizinhança. Agora, vamos descrever cada uma das possíveis definições do núcleo de espalhamento W. A definição mais simples de w é um círculo de raio fixado r, que chamaremos de w0 neste documento. Contudo, um núcleo de espalhamento simples como este não consegue recuperar habilmente as imagens refocalizadas.

[067] Em uma primeira modalidade da revelação, o núcleo de espalhamento w é uma função decrescente com relação a significando que W(X,Y,XtY) alcança seu valor máximo e então diminui proporcionalmente à medida que aumenta. Um exemplo de um núcleo de espalhamento como este é definido como [068] O valor ht é um parâmetro que pode ser introduzido por um usuário ou definido como uma função dos parâmetros do dispositivo de campo luz que executou a obtenção dos dados de campo de luz brutos 4D.

[069] Em uma segunda modalidade da revelação, assumindo que conhecemos para cada ponto (x,y) o valor de o valor real de g (isto é, a distância real na cena a partir do dispositivo de obtenção de campo de luz). Isto é, o plano no qual o ponto Ot,y) é suposto para estar em foco (isto pode ser estimado conhecendo a profundidade da cena). Então, o núcleo de espalhamento pode ser adaptado em cada ponto dependendo de greal. Deixamos g ser o plano focal desejado no qual objetivamos refocalizar a imagem. Definimos o núcleo de espalhamento para ser uma função decrescente quando diminui. Com esta definição, pontos no plano refocalizado g permanecem aguçados, enquanto que outros pontos ficam obscuros e a quantidade de obscuridade é proporcional à distância ao plano focal g.

Um exemplo de um núcleo de espalhamento como este é dado por [070] O valor h2 é um parâmetro que pode ser introduzido por um usuário ou definido como uma função dos parâmetros do dispositivo de campo de luz que executou a obtenção dos dados de campo de luz brutos 4D.

[071 ]Em uma terceira modalidade da revelação, a estrutura e geometria da imagem (bordas de imagem) é uma informação importante que pode ser explorada pelo núcleo de espalhamento. Dada uma borda de imagem o núcleo de espalhamento adapta sua forma à borda de imagem. Neste caso o núcleo de espalhamento é anisotrópico e se adapta às bordas da imagem. Por exemplo, é conhecido que a estrutura de tensor de uma imagem definida como onde ly são as derivadas parciais da imagem I, fornece informação importante a respeito da geometria local da imagem: os vetores característicos fornecem as direções principais dos gradientes de imagem (direção do vetor tangente e do vetor normal) e os valores próprios correspondentes Ã2 fornecem a magnitude de cada direção principal. Em particular os vetores característicos caracterizam a geometria local da cena (llfA2 pequeno corresponde a uma área homogênea, λνλ2 grande corresponde a um canto de imagem, e λ± grande e ^ pequeno corresponde a uma borda de imagem com tangente ν^. A figura 8(a) ilustra o caso de uma borda de imagem onde os vetores tangente e normal são estimados com os vetores característicos e valores próprios da matriz de tensor computados no ponto preto. Graças à análise de tensor, podemos definir o núcleo de espalhamento de tal maneira que sua forma é adaptativa quando existe uma borda de imagem (ver a figura 8(b)).

[072] Um exemplo de núcleo de espalhamento que considera a geometria da imagem fornecida pela estrutura de tensor é definido como Este núcleo Gaussiano atenua com o valor h3 na direção e ate- nua com o valor tí3 na direção [073] Os valores h5 e são parâmetros que podem ser introduzidos por um usuário ou definidos como uma função dos parâmetros do dispositivo de campo de luz que executou a obtenção dos dados de campo de luz brutos 4D.

[074] Deve ser notado que, na prática, estimar o tensor da imagem refocali-zada não é fácil por causa da amostragem irregular dos pontos projetados Entretanto, o tensor é um operador local e ele pode ser estimado na imagem bruta e então projetado do mesmo modo como os valores de cor de imagem.

[075] Em uma quarta modalidade, o núcleo de espalhamento considera o tipo de microlente em uma câmera plenóptica de múltiplos focos. Por exemplo, a câmera Raytrix é uma câmera plenóptica na qual existem três tipos de microlentes com três comprimentos focais diferentes. A figura 9(a) mostra dados de campo de luz brutos 4D capturados com uma câmera Raytrix R5.

[076] A figura 9(b) apresenta três colheitas diferentes de partes diferentes da mesma imagem. Notar que o arranjo de microlentes é formado por três tipos diferentes de microlentes em termos de comprimento focal. Assim, microlentes diferentes têm partes diferentes da cena em foco. A colheita superior não tem as mesmas microlentes em foco da colheita no meio. A última colheita mostra uma parte da cena onde as três microlentes estão fora de foco.

[077] Nesta modalidade, consideramos o fato de que nosso núcleo de espalhamento varia de acordo com o valor a ser espalhado. Se um valor como este descender de uma microlente em foco, o núcleo de espalhamento deve ter um peso maior que o de um núcleo de espalhamento espalhando valores de uma microlente não em foco. A ideia é penalizar microlentes não em foco em relação às microlentes focalizadas. Um exemplo de um núcleo de espalhamento como este é definido como: onde é qualquer um dos núcleos de espalhamento definidos neste documento, S{x,y) é uma medida de nitidez da microlente á qual (x,y) pertencem e o valor máximo de nitidez em todas as microlentes da imagem bruta. Diversas medidas de nitidez podem ser usadas. Por exemplo, a medida de nitidez definida no artigo intitulado: “Analvsis of focus measure operators for shape-from-focus” de Per-tuz, Said e outros, divulgado no Pattern Recognition 46.5 (2013): 1415-1432.

[078] Em uma quinta modalidade da revelação, dados um tamanho de imagem s e um plano de refocalização desejado g, a distribuição dos pontos projetados (X, F) no plano refocalizado é determinada. Enquanto que s considera somente a escala, a escolha de g muda a distribuição propriamente dita.

[079] Na presente técnica, o núcleo de espalhamento considera esta distribuição de tal maneira que o processo de renderização da imagem refocalizada 2D não produz “furos” de cor. Em outras palavras, a presente técnica garante que cada posição de pixel (k,l) da imagem refocalizada 2D lg obtém durante o processo de espalhamento pelo menos um valor de intensidade de cada cor.

[080] Na prática, isto significa que o suporte do núcleo de espalhamento tem um tamanho mínimo dado por uma etapa de amostragem máxima H. Um exemplo de um núcleo de espalhamento como este é W5 = W„ onde o círculo tem raio r = H.

[081 ]A figura 10 apresenta uma posição de pixel (k,l) que recebe pelo menos um valor por canal de cor. Núcleos de espalhamento podem ter formas e tamanhos diferentes assim que o tamanho mínimo (necessário para não criar “furos”) seja garantido.

[082] Todas as definições anteriores do núcleo de espalhamento propõem espalhar o valor de pixel para os pixels mais próximos. Entretanto, em uma sexta modalidade da revelação, podemos espalhar o mesmo valor de pixel para os K pixels Vizinhos Mais Próximos com relação a um dado critério (vizinhos mais próximos em termos de cor, em termos de gradiente, etc.). Expressamente pertence aos. onde xC) é a função característica (igual a um se a declaração for verdadeira e igual a zero de outro modo) e [.] é a função de arredondamento.

[083] A figura 11 apresenta o valor que é espalhado para os K Vi- zinhos Mais Próximos. Neste exemplo K=6. Os K-NN não são necessariamente os pixels mais próximos em distância euclidiana, mas os mais próximos em termos de cor, profundidade ou qualquer outro critério.

[084] Em uma sétima modalidade da invenção, a PSF (Função de Espalha- mento de Pontos) da câmera plenóptica (ou a PSF do arranjo de microlentes) pode ser estimada e considerada na definição do núcleo de espalhamento. Uma definição possível de um núcleo como este é Deve ser notado que cada canal de cor tem uma PSF diferente, assim a definição do núcleo de espalhamento também pode ser adaptada dependendo do canal de cor a ser espalhado.

[085] Em uma oitava modalidade da revelação, é bem conhecido que câmeras plenópticas sofrem de efeito de vinhetas e em particular do efeito de vinhetas das microlentes. Propomos penalizar durante o processo de espalhamento pixels que sofrem de efeito de vinhetas quando comparados a pixels do centro da micro-lente. Assumimos que correção de efeito de vinhetas nem sempre é perfeita e pixels corrigidos têm uma pior razão de sinal para ruído, assim, mesmo com um algoritmo de correção de efeito de vinhetas, penalização de tais pixels é útil. Uma definição possível de um núcleo de espalhamento como este é para definir Ela significa que omitimos todos os pixels colocados nas bordas da microlen-te e consideramos somente pixels em um círculo de raio p. Uma outra definição possível é dada por [086] O valor hs é um parâmetro que pode ser introduzido por um usuário ou definido como uma função dos parâmetros do dispositivo de campo de luz que executou a obtenção dos dados de campo de luz brutos 4D.

[087] Deve ser notado que um núcleo específico considerando o efeito de vinhetas da lente principal também é possível.

[088] Em uma nona modalidade, o núcleo de espalhamento pode ser computado como um produto de pelo menos dois núcleos de espalhamento definidos ante- riormente (por exemplo, [089] A figura 12 apresenta um fluxograma de acordo com uma modalidade da invenção.

[090] Mais precisamente, a figura 12 ilustra algumas etapas de um método para refocalizar uma imagem de dados de campo de luz brutos 4D obtidos.

[091 ]Em uma etapa referenciada como 1201, um dispositivo eletrônico recebe dados de campo de luz brutos 4D. Além disso, alguns parâmetros são obtidos pelo dito dispositivo eletrônico que define um plano focal no qual uma focalização tem que ser feita. Em uma modalidade, estes parâmetros podem ser obtidos por meio das interações de um usuário com uma interface de usuário (para selecionar, por exemplo, um objeto no qual uma focalização tem que ser feita). Estes parâmetros também podem compreender um tamanho de uma imagem refocalizada.

[092] Então, em uma etapa referenciada como 1202, o dispositivo eletrônico processa todas as coordenadas de pixels dos dados de campo de luz brutos 4D a fim de determinar todas as coordenadas dos pixels projetados (tais como projetados na figura 6, por exemplo). Então, ao usar uma malha regular (uma malha finita definida ernNxu) para definir coordenadas em uma imagem refocalizada 2D, um processo de determinar valores de pixels nesta malha regular é executado. A fim de determinar um valor de pixel em coordenadas (M) € N2, o processo descrito anteriormente pode ser executado.

[093] Em uma variante nem todos os pixels dos dados de campo de luz brutos 4D são “projetados”. De fato, pixels na borda das imagens de microlentes são descartados e por esta razão não são projetados e usados no processo de refocali-zação.

[094] Em uma variante, a projeção e a atualização dos valores dos pixels na imagem refocalizada 2D são feitas simultaneamente.

[095] No final da etapa 1202, uma imagem refocalizada 2D é obtida. Esta imagem refocalizada 2D pode então ser exibida por um dispositivo de exibição.

[096] A figura 13 apresenta um exemplo de dispositivo que pode ser usado para executar uma ou diversas etapas de métodos revelados no presente documento.

[097] Tal dispositivo referenciado como 1300 compreende uma unidade de computação (por exemplo, uma CPU, para “Unidade Central de Processamento”), referenciada como 1301, e um ou mais blocos de unidades de memória (por exemplo, uma RAM (para “Memória de Acesso Aleatório”) em que resultados intermediários podem ser armazenados temporariamente durante a execução de instruções de programa de computador, ou um bloco ROM em que, entre outras coisas, programas de computador são armazenados, ou um bloco EEPROM (“Programável Memória Somente de Leitura Apagável Eletricamente”), ou um bloco flash referenciado como 1302. Programas de computador são feitos de instruções que podem ser executadas pela unidade de computação. Tal dispositivo 1300 também pode compreender uma unidade dedicada, referenciada como 1303, constituindo uma interface de entrada-saída para permitir que o dispositivo 1300 se comunique com outros dispositivos. Em particular, esta unidade dedicada 1303 pode ser conectada com uma antena (a fim de executar comunicação sem contato), ou com portas seriais (para carregar comunicações de “contato”). Deve ser notado que as setas na figura 13 indicam que as unidades ligadas podem trocar dados por meio de barramentos, por exemplo, conjuntamente.

[098] Em uma modalidade alternativa, algumas ou todas as etapas do método descrito anteriormente podem ser implementadas em hardware em um componente FPGA (“Matriz de Portas Programáveis em Campo”) programável ou componente ASIC (“Circuito Integrado de Aplicação Específica”).

[099] Em uma modalidade alternativa, algumas ou todas as etapas do método descrito anteriormente podem ser executadas em um dispositivo eletrônico com- preendendo unidades de memória e unidades de processamento tal como o dispositivo revelado na figura 13.

[0100]Em uma modalidade da revelação, o dispositivo eletrônico representado na figura 13 pode estar compreendido em um dispositivo de câmera que é configurado para capturar imagens (isto é, uma amostragem de um campo de luz). Estas imagens são armazenadas em uma ou mais unidades de memória. Consequentemente, estas imagens podem ser vistas como dados de fluxo de bits (isto é, uma sequência de bits). Obviamente, um fluxo de bits também pode ser convertido em fluxo de bytes e vice-versa.

REIVINDICAÇÕES

Claims (15)

1. Método para obter uma imagem refocalizada de dados de campo de luz brutos 4D para um dado valor de plano de foco g, o método sendo executado por um dispositivo eletrônico, e sendo CARACTERIZADO pelo fato de que compreende determinar pelo menos um valor de pixel, para pelo menos um componente de cor, da dita imagem refocalizada em coordenadas (k, t) e Nz, o dito determinar compreendendo: - obter pelo menos um valor de pixel projetado com coordenadas compreendidas em uma vizinhança das ditas coordenadas (M), Para 0 dit0 Pel° menos um componente de cor; - ponderar o dito pelo menos um valor de pixel projetado com base em uma função, a dita ponderação produzindo um valor ponderado; - atualizar o dito pelo menos um valor de pixel, para o dito pelo menos um componente de cor, da dita imagem refocalizada em coordenadas (M) com o dito valor ponderado.

2. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas (x, r), e a dita função é definida como sendo on- de corresponde a um valor que pertence a a, e a função ||. II é uma função norma.

3. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas (A', r), e a dita função é definida como sendo onde k2 corresponde a um valor que pertence a R, e valor de correspon- de à distância real em uma cena associada com os ditos dados de campo de luz brutos 4D de um dispositivo de obtenção de campo de luz que obteve os ditos dados de campo de luz brutos 4D.

4. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas (X,Y), e a dita função é definida como sendo onde h3 e h3' correspondem a valores que pertencem a a, e os valores a,b,c e d correspondem a valores de uniformização determinados de acordo com estrutura de tensor da dita imagem refocalizada.

5. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas (x,y), e a dita função é definida como sendo pertence aos K— pixels Vizinhos .Mais Próximos de ([X], [Y]}}, onde χ(.) é a função característica que é igual a um se a declaração for verdadeira e igual a zero de outro modo, [.] é a função de arredondamento, e k. é um número inteiro maior ou igual a 2.

6. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspon- dem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas {x,y) pertence, e a dita função é definida como sendo onde a função PSF é uma estimativa da Função de Espalhamento de Pontos de uma câmera plenóptica.

7. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspon- dem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x,y) pertence, e a dita função é definida como sendo onde χ(.} é a função característica que é igual a um se a declaração for verdadeira e igual a zero de outro modo, p é um valor limiar, e a função ||. 1 é uma função norma.

8. Método para obter, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas (cx,cy) correspondem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas (x, y) pertence, e a dita função é definida como sendo onde hs corresponde a um valor que pertence a ffi, e a função ||. II é uma função norma.

9. Método para obter, de acordo com qualquer uma das reivindicações 2 a 8, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas onde s define o tamanho de imagem da imagem refocalizada 2D, coordenadas (x,y) correspondem a coordenadas de um pixel nos ditos dados de campo de luz brutos 4D, coordenadas correspondem a coordenadas de um centro de uma microimagem à qual pixel em coordenadas {x,y) pertence, e a dita função é definida como sendo igual a com onde é uma medida de nitidez da microlente à (x,y) pertencem e Smáx corresponde a um valor máximo de nitidez em todas as microlentes dos ditos dados de campo de luz brutos 4D.

10. Método para obter, de acordo com qualquer uma das reivindicações 2 a 9, CARACTERIZADO pelo fato de que a dita função é definida como sendo separá- vel.

11. Método para obter, de acordo com qualquer uma das reivindicações 2 a 9, CARACTERIZADO Delo fato de aue a dita função é definida como sendo um produto de , onde kL corresponde a um valor que per- tence ai,a função II. II é uma função norma, com uma outra função.

12. Método para obter, de acordo com qualquer uma das reivindicações 1 a 11, CARACTERIZADO pelo fato de que o dito atualizar compreende adicionar o dito valor ponderado ao dito pelo menos um valor de pixel.

13. Mídia de armazenamento não transitório e legível por computador, CARACTERIZADA pelo fato de que armazena um programa de computador compreendendo um conjunto de instruções executáveis por computador para implementar um método para processar dados de campo de luz brutos 4D quando as instruções são executadas por um computador, em que as instruções compreendem instruções que, quando executadas, configuram o computador para executar o método de acordo com as reivindicações 1 a 12.

14. Dispositivo eletrônico para obter uma imagem refocalizada de dados de campo de luz brutos 4D para um dado valor de plano de foco q, o dispositivo eletrônico sendo CARACTERIZADO pelo fato de que compreende um circuito configurado para determinar pelo menos um valor de pixel, para pelo menos um componente de cor, da dita imagem refocalizada em coordenadas , o dito circuito compre- endendo: - um circuito de obtenção configurado para obter pelo menos um valor de pixel projetado com coordenadas compreendidas em uma vizinhança das ditas coordenadas ÇfcJ), para o dito pelo menos um componente de cor; - um circuito de ponderação configurado para ponderar o dito pelo menos um valor de pixel projetado com base em uma função, o dito circuito de ponderação produzindo um valor ponderado; - um circuito de atualização configurado para atualizar o dito pelo menos um valor de pixel, para o dito pelo menos um componente de cor, da dita imagem refo-calizada em coordenadas (fc,i) com o dito valor ponderado.

15. Dispositivo eletrônico, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que o dito pelo menos um valor de pixel projetado tem coordenadas e a dita função é definida como sendo , onde hi corresponde a um valor que pertence a i,ea função II. 1 é uma função norma.