BR112016004206B1

BR112016004206B1 - Método, aparelho e memória legível por processador não transitória para processamento de imagens

Info

Publication number: BR112016004206B1
Application number: BR112016004206-9A
Authority: BR
Inventors: Nitesh Shroff; Ramin Rezaiifar; Piyush Sharma
Original assignee: Qualcomm Incorporated
Priority date: 2013-08-30
Filing date: 2014-08-29
Publication date: 2023-04-11
Also published as: US20150062370A1; BR112016004206A2; CN105474622B; US9344619B2; CA2919253C; KR20160048140A; CA2919253A1; JP6411505B2; KR102126300B1; CN105474622A; EP3039857A1; JP2016533686A; WO2015031856A1

Abstract

MÉTODOS E APARELHOS PARA GERAR UMA IMAGEM DE FOCO TOTAL. Técnicas são descritas para gerar uma imagem de foco total com uma capacidade de refocar. Um exemplo inclui obter um primeiro mapa de profundidade associado com uma pluralidade de imagens capturadas de uma cena. A pluralidade de imagens capturadas pode incluir imagens tendo comprimentos focais diferentes. O método ainda inclui obter um segundo mapa de profundidade associado com a pluralidade de imagens capturadas, gerando uma imagem compósita mostrando porções diferentes da cena em foco (com base na pluralidade de imagens capturadas e o primeiro mapa de profundidade), e gerar uma imagem refocada mostrando uma porção selecionada da cena em foco (com base na imagem compósita e o segundo mapa de profundidade).

Description

CAMPO TÉCNICO

[0001] A presente divulgação diz respeito geralmente a captura e processamento de imagens digitais, e em particular, para gerar uma imagem de foco total com capacidade de refocar.

FUNDAMENTOS

[0002] Na fotografia, dependendo da distância de objetos diferentes em uma cena da câmera, alguns dos objetos podem aparecer no foco, quando outros objetos aparecem fora de foco ou borrados. Isto é devido ao fato de que na maioria dos sistemas de visão, cada imagem é capturada com uma determinada "distância focal". A "distância focal" refere-se a uma distância que se estende radialmente a partir da câmara para a cena da imagem. Qualquer objeto na imagem que está localizado exatamente na distância focal parece perfeitamente em foco. Por outro lado, qualquer objeto que não está localizado na distância focal (por exemplo, para mais perto ou para mais longe da câmara) aparece desfocado e fora de foco. Objetos diferentes em qualquer cena podem ser localizados em diferentes distâncias da câmera, consequentemente, é provável que apenas alguns dos objetos estejam localizados no foco perfeito. Consequentemente, para uma imagem típica capturada por um sistema visual, alguns objetos aparecem em foco na imagem, enquanto outros objetos aparecem fora de foco.

[0003] Embora os sistemas de visão humano geram imagens com semelhantes características, por exemplo, em qualquer imagem dada, apenas objetos localizado na distância focal estão em foco, enquanto outros objetos são desfocados, os seres humanos são adaptados para digitalizar rapidamente uma cena, com foco em diferentes objetos, e a obtenção de um conceito de visão “compósito” do entorno físico. É assim que "vê" o mundo. No entanto, quando olhamos para as imagens capturadas, por exemplo, uma imagem em um dispositivo de exibição, a mesma digitalização natural e refocagem geralmente não estão disponíveis. Em vez disso, são muitas vezes olhando para uma imagem estática em qualquer momento, com certos objetos estando em foco na imagem, e em alguns outros objetos estando borrados ou fora de foco na imagem. Para resolver estes problemas, a presente divulgação apresenta modalidades para perceber duas abordagens diferentes para a visualização de imagens. Uma abordagem envolve a geração de uma imagem “toda-em- foco” na qual todos os objetos estão em foco. Outra abordagem envolve o fornecimento de uma capacidade de "refocar" pelo qual um usuário pode selecionar uma parte da imagem e trazê-la em foco.

RESUMO

[0004] Em um exemplo, um método para o processamento de imagem está descrito. O método geralmente inclui a obtenção de uma pluralidade de imagens de uma cena a diferentes distâncias focais. Cada imagem pode mostrar diferentes partes da cena em foco. O método inclui ainda, em parte, a obtenção de um primeiro mapa de profundidade associado à pluralidade de imagens e a obtenção de um segundo mapa de profundidade associado à pluralidade de imagens. O primeiro mapa de profundidade corresponde a um primeiro tamanho da vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho da vizinhança. Em um aspecto, o primeiro tamanho da vizinhança é menor do que o segundo tamanho da vizinhança.

[0005] O método inclui além disso, a geração de uma imagem compósita mostrando duas ou mais porções da cena em foco com base na pluralidade de imagens e o primeiro mapa de profundidade. Além disso, o método inclui a geração de uma imagem refocada, mostrando uma porção selecionada da cena no foco com base na imagem compósita e o segundo mapa de profundidade.

[0006] Em um aspecto, o método inclui ainda a filtragem de cada um da pluralidade de imagens, captadas com um filtro de medição de nitidez para gerar uma pluralidade de imagens filtradas. Em um aspecto, o filtro de medição de nitidez é um filtro Laplaciano.

[0007] Em um aspecto, a obtenção do primeiro mapa de profundidade pode incluir a aplicação de uma primeira função de pixel bidimensional baseado no primeiro tamanho da vizinhança de cada imagem da pluralidade de imagens filtradas para gerar uma primeira pluralidade de imagens de profundidade. De igual modo, a obtenção do segundo mapa de profundidade pode incluir a aplicação de uma segunda função de pixel bidimensional baseado no segundo tamanho da vizinhança de cada imagem da pluralidade de imagens filtradas para gerar uma segunda pluralidade de imagens de profundidade.

[0008] Em um aspecto, a primeira função de pixel bidimensional envolve o cálculo de uma média ponderada entre os valores de profundidade correspondentes a uma pluralidade de pixéis na primeira vizinhança. Em outro aspecto, a primeira função de pixel bidimensional consiste na realização de um esquema de votação ponderada dos valores de profundidade correspondentes a pixéis na primeira vizinhança.

[0009] Em um aspecto, a obtenção do mapa primeira profundidade inclui, em parte, a obtenção de um valor máximo de profundidade entre uma primeira pluralidade de valores de profundidade correspondentes à primeira pluralidade de imagens de intensidade para cada posição de pixel. De igual modo, a obtenção do segundo mapa de profundidade inclui, em parte, a obtenção de um valor máximo de profundidade entre uma segunda pluralidade de valores de profundidade correspondentes à segunda pluralidade de imagens de intensidade para cada posição de pixel.

[0010] Em um aspecto, os comprimentos focais diferentes da pluralidade de imagens são uniformemente distribuídos entre um valor mínimo de comprimento focal e um valor máximo de comprimento focal.

[0011] Em um aspecto, o segundo mapa de profundidade é gerado em tempo real com base no primeiro mapa de profundidade. Por exemplo, o segundo mapa de profundidade pode ser gerado mediante a aplicação de uma média ponderada, um esquema de votação ponderada ou qualquer outro esquema de seleção para valores de profundidade no primeiro mapa de profundidade correspondente a vários pixéis na segunda vizinhança.

[0012] Por outro lado, certos aspectos proporcionam um aparelho para processamento de imagem. O aparelho inclui geralmente meios para meios de obtenção de uma pluralidade de imagens de uma cena a diferentes distâncias focais. Cada imagem mostra partes diferentes da cena em foco. O aparelho inclui ainda meios para a obtenção de um primeiro mapa de profundidade associado à pluralidade de imagens, meios para obter um segundo mapa de profundidade associado à pluralidade de imagens, meios para gerar uma imagem compósita mostrando duas ou mais porções da cena no foco baseado na pluralidade de imagens e o primeiro mapa de profundidade, e meios para gerar uma imagem refocada, mostrando uma porção selecionada da cena no foco com base na imagem compósita e o segundo mapa de profundidade. Em um aspecto, o primeiro mapa de profundidade corresponde a um primeiro tamanho da vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho da vizinhança.

[0013] Alguns aspectos proporcionam um meio legível por processador não transitório para processamento de imagens. O meio legível por processador inclui, em parte, instruções de processador de leitura ótica configuradas para fazerem com que um processador obtenha uma pluralidade de imagens de uma cena a diferentes distâncias focais. Cada imagem mostra partes diferentes da cena em foco. A instrução é, ainda, configurada para fazer com que o processador obtenha um primeiro mapa de profundidade associado à pluralidade de imagens, obtendo um segundo mapa de profundidade associado à pluralidade de imagens, gerando uma imagem compósita mostrando duas ou mais porções da cena no foco baseado na pluralidade de imagens e o primeiro mapa de profundidade, e gerando uma imagem refocada mostrando uma porção selecionada da cena em foco com base na imagem compósita e o segundo mapa de profundidade. Em um aspecto, o primeiro mapa de profundidade corresponde a um primeiro tamanho da vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho da vizinhança.

[0014] Certos aspectos proporcionam um aparelho para processamento de imagem. O aparelho inclui, em parte, pelo menos, um processador e uma memória acoplada ao, pelo menos, um processador. O pelo menos um processador é configurado para obter uma pluralidade de imagens de uma cena a diferentes distâncias focais. Cada imagem mostra partes diferentes da cena em foco. O pelo menos um processador sendo além disso configurado para obter um primeiro mapa de profundidade associado à pluralidade de imagens, obtendo um segundo mapa de profundidade associado à pluralidade de imagens, gerando uma imagem compósita mostrando duas ou mais porções da cena no foco com base na pluralidade de imagens e o primeiro mapa de profundidade, e gerando uma imagem refocada mostrando uma porção selecionada da cena em foco com base na imagem compósita e o segundo mapa de profundidade. O primeiro mapa de profundidade corresponde a um primeiro tamanho da vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho da vizinhança.

BREVE DESCRIÇÃO DOS DESENHOS

[0015] Uma compreensão da natureza e vantagens de várias modalidades podem ser realizadas por referência às figuras seguintes. Nas figuras anexas, componentes ou características semelhantes podem ter a mesma etiqueta de referência. Além disso, vários componentes do mesmo tipo podem distinguir-se, seguindo a etiqueta de referência por um traço e uma segunda etiqueta que distingue entre os componentes semelhantes. Se apenas a primeira etiqueta de referência é usada na especificação, a descrição é aplicável a qualquer um dos componentes semelhante com a mesma etiqueta primeira referência independentemente da segunda etiqueta de referência.

[0016] A FIG. 1 ilustra um diagrama de blocos de alto nível de exemplo de um dispositivo que é capaz de captar e/ou processar imagens, de acordo com certas modalidades da presente divulgação.

[0017] A FIG. 2 ilustra uma imagem de exemplo do método combinando, de acordo com certas modalidades da presente divulgação.

[0018] A FIG. 3 ilustra um diagrama de bloco de exemplo de um método de combinação de imagem, de acordo com certas modalidades da presente divulgação.

[0019] A FIG. 4 ilustra exemplos de operações que podem ser executadas por um dispositivo para combinar uma pluralidade de imagens, de acordo com certas modalidades da presente divulgação.

[0020] FIGs. 5A - 5C ilustram exemplos de imagens que são combinados usando um método de combinação de imagem, de acordo com certas modalidades da presente divulgação.

[0021] A FIG. 6 descreve uma possível implementação de um dispositivo que pode ser usado para gerar uma imagem, de acordo com certas modalidades da presente divulgação.

DESCRIÇÃO DETALHADA

[0022] Algumas modalidades apresentam um método para gerar uma imagem com profundidade de campo prolongada, juntamente com a capacidade para refocar mais tarde a uma parte desejada da imagem. Profundidade de campo normalmente se refere à distância entre os objetos mais próximos e mais distantes em uma cena que aparecem aceitavelmente nítidos na imagem. Embora uma lente pode precisamente concentrar em apenas uma distância (por exemplo, a distância focal) de cada vez, a redução na nitidez pode ser gradual em cada lado da distância centrada, de modo que dentro da profundidade de campo, a falta de nitidez é imperceptível em condições normais de visualização. Em geral, o comprimento focal refere-se à distância entre um objeto e a câmara em que o objeto em foco aparece na imagem.

[0023] Uma modalidade utiliza duas ou mais imagens com diferentes distâncias focais (denominada imagens de pilha focal) e processa estas imagens de pilha focal para gerar uma imagem compósita. A maioria ou todos os objetos na imagem compósita podem aparecer no foco (por exemplo, uma imagem toda-em-foco).

[0024] Tal como aqui descrito, através da combinação de duas ou mais imagens com diferentes comprimentos focais, profundidade de campo de uma imagem compósita pode ser estendido para ser maior do que a profundidade de campo de cada uma das imagens individuais. Portanto, os objetos que estão relativamente distantes uns dos outros podem aparecer no foco da imagem compósita.

[0025] Um usuário geralmente se concentra em objetos diferentes em uma cena, alterando a distância focal de uma câmera. Por exemplo, em uma cena que tem dois objetos com distâncias diferentes da câmera (por exemplo, uma pessoa que está perto da câmera, e um edifício distante no fundo). A primeira imagem pode ser tomada com um primeiro comprimento focal em que a pessoa aparece em foco, enquanto o edifício parece fora de foco. Além disso, uma segunda imagem pode ser feita a partir da mesma cena com uma segunda distância focal em que o edifício aparece em foco, enquanto a pessoa aparece fora de foco. Certas modalidades propõem um método para combinar estas imagens (que são tomadas com distâncias focais diferentes) para gerar uma imagem compósita na qual quase todos os objetos aparecem em foco. No exemplo acima, tanto a pessoa e o edifício podem aparecer em foco na imagem compósita. Além disso, em uma modalidade, a imagem compósita pode ter incorporado informação que pode ser utilizada para refocar uma porção desejada da imagem em um momento posterior.

[0026] As técnicas atuais utilizadas na técnica para a fusão de imagens normalmente usam um único mapa de profundidade para ambos refocagem e computação da imagem toda-em-foco. Algumas destas técnicas utilizam soluções baseadas em hardware para capturar a luz de campo para ativar o recurso de refocagem. Certas modalidades da presente divulgação geram dois mapas de profundidade diferentes (por exemplo, as máscaras), um primeiro mapa de profundidade pode ser usado para gerar a imagem toda-em- foco e um segundo mapa de profundidade pode ser usado para refocagem.

[0027] A FIG. 1 ilustra um diagrama de blocos de alto nível de exemplo de uma captura de imagem e/ou dispositivo de processamento 100, de acordo com certas modalidades da presente divulgação. Em uma modalidade, o dispositivo pode utilizar uma câmara incorporada para captar uma ou mais imagens. Em uma outra modalidade, o dispositivo pode receber imagens de um outro dispositivo de captura de imagem. Em ainda outra modalidade, o dispositivo pode capturar algumas imagens usando a sua câmara incorporada e receber uma ou mais imagens a partir de outros dispositivos de captura de imagem. Em geral, o dispositivo pode ser um telefone celular, um tablet, um computador portátil, exibidor montado na cabeça (HMD), uma câmera, ou qualquer outro tipo de dispositivos fixos ou móveis capazes de capturar e/ou processar imagens.

[0028] Tal como ilustrado, no bloco 102, o dispositivo pode capturar e/ou obter duas ou mais imagens com pelo menos dois comprimentos focais diferentes. O dispositivo pode então armazenar as imagens e processar as imagens para obter um primeiro mapa de profundidade e um segundo mapa de profundidade (bloco 104). O dispositivo pode gerar uma imagem toda-em-foco com base no primeiro mapa de profundidade (bloco 106). O dispositivo também pode refocar uma parte da imagem usando o segundo mapa de profundidade (bloco 108).

[0029] A FIG. 2 ilustra uma imagem de exemplo do método combinando, de acordo com certas modalidades da presente divulgação. Tal como ilustrado, uma pilha de imagens Z1 202, Z2 204, ..., ZN 206 pode ser obtida por um dispositivo. Como um exemplo, o dispositivo pode ter uma câmara e captar as imagens em si, ou o dispositivo pode receber as imagens a partir de uma outra fonte. Cada uma das imagens Z1 a ZN pode ter um comprimento focal diferente. Portanto, em cada imagem, algumas seções aparecem em foco, enquanto outras seções estão fora de foco. Por exemplo, na imagem Z1 202, seção A1 210 está em foco, enquanto outras partes estão fora de foco. Da mesma forma, na imagem Z2 204, seção A2 212 aparece em foco, e a imagem Z3 206, seção AN 214 aparece em foco, enquanto outras partes aparecem fora de foco.

[0030] O combinador de imagem 216 combina a pilha de imagens Z1, Z2 ,..., ZN de acordo com os ensinamentos aqui para gerar uma imagem toda em foco 208, em que a maioria ou todas as seções aparecem em foco. Uma imagem refocada 230 também pode ser gerada a partir da imagem toca-em-foco em que a imagem é refocada na seção 220. Outras seções podem ou não podem aparecer fora de foco na imagem refocada 230.

[0031] Em uma modalidade, as imagens pilha focais (por exemplo, Z1 a ZN) podem ter dois ou mais diferentes comprimentos focais. Em uma modalidade, os comprimentos focais podem ser distribuídos uniformemente entre um valor máximo de distância focal mínimo predeterminado. Em geral, os comprimentos focais das imagens diferentes podem ser selecionados aleatoriamente, com base na distribuição pré-definida, ou com base nas propriedades de objetos diferentes na cena, sem nos afastarmos dos ensinamentos da presente divulgação.

[0032] A FIG. 3 ilustra um exemplo de diagrama de bloco 300 do método de geração de imagem, de acordo com uma modalidade. Em 302, um dispositivo pode capturar duas ou mais imagens com diferentes configurações focais. Em uma modalidade, o dispositivo pode receber as duas ou mais imagens a partir de outro dispositivo. Em 304, o dispositivo pode registar todas as imagens para uma imagem de referência. Sem perda de generalidade, presume-se que cada uma das imagens tem, pelo menos, alguma sobreposição com a imagem de referência. Por exemplo, a imagem de referência pode mostrar uma pessoa, um edifício e uma árvore entre outras coisas. Uma das duas ou mais imagens pode mostrar a pessoa e a árvore, em que a pessoa que aparece no foco. Uma outra imagem pode mostrar o edifício e a árvore, em que o edifício aparece no foco. Ainda uma outra imagem pode mostrar a pessoa, a árvore e o edifício, em que a árvore aparece no foco. Ao registar-se as duas ou mais imagens para a imagem de referência, sobreposição entre as imagens pode ser determinada. Em geral, qualquer uma das imagens pode ser considerada a imagem de referência sem nos afastarmos dos ensinamentos da presente divulgação. Além disso, para simplicidade de discussão, pode-se presumir que todas as imagens são obtidas a partir da mesma cena e totalmente se sobrepõem.

[0033] Em 306, o dispositivo pode passar as imagens através de um filtro de medição de nitidez 306 (por exemplo, um filtro Laplaciano). O filtro é uma medida Laplaciana isotrópica bidimensional da segunda derivada espacial de uma imagem. O filtro Laplaciano destaca regiões de rápida mudança de intensidade na imagem, e é muitas vezes usado para a detecção de bordas. Em geral, o filtro Laplaciano ou qualquer outro filtro de medição de nitidez pode ser utilizado sem nos afastarmos dos ensinamentos da presente divulgação.

[0034] Em 314, as imagens podem ficar desfocadas usando um pequeno núcleo (por exemplo, correspondente a uma pequena vizinhança em torno de um pixel em cada imagem). Borrão refere-se ao processo de redução de nitidez de uma imagem. Em geral, indefinição pode ser usada para reduzir o ruído da imagem e/ou componentes de alta frequência na imagem. Existem vários métodos na técnica para borrar uma imagem (por exemplo, Gaussian Blur, borrão seletivo, etc.). Como exemplo, em Gaussian Blur, uma função de Gauss é convolvida com a imagem para borrar a imagem. No caso de uma imagem bidimensional (2-D), uma função gaussiana 2-D (por exemplo, o produto de duas funções gaussianas 1-D, uma em cada dimensão) pode ser convolvido com diferentes valores de pixéis na imagem.

[0035] Em 316, para gerar um mapa de profundidade fina (DAIF, 318), os valores de profundidade correspondentes a cada pixel em cada uma das imagens desfocadas são comparados. O mapa de profundidade fina DAIF pode corresponder ao valor máximo da profundidade de cada pixel na maioria ou em todas as imagens desfocadas. Por exemplo, um valor máximo de intensidade para cada pixel (i, j) na imagem pode ser determinado comparando os valores de profundidade dos pixéis correspondentes nas imagens desfocadas. Em uma modalidade, o valor da profundidade máxima pode ser determinado para cada pixel. Em uma outra modalidade, o valor da profundidade máxima pode ser determinado dentro de uma vizinhança predefinida em torno de um elemento de imagem (por exemplo, uma matriz 3 x 3 em torno de um pixel). Em 320, as imagens podem ser combinadas usando o mapa de profundidade DAIF para gerar uma imagem toda-em-foco.

[0036] Além disso, a 326, uma outra operação de desfocagem com um tamanho vizinhança maior (por exemplo, um núcleo maior) pode ser realizada sobre o resultado da medição do filtro de nitidez 312 para gerar um segundo conjunto de imagens desfocadas. Em 328, uma operação de máximo tamanho de pixel pode ser realizada no segundo conjunto de imagens desfocadas para gerar um mapa profundidade suave DRF 330. Em 332, a operação de refocagem pode ser realizada na imagem (por exemplo, a imagem toda- em-focagem) com base no mapa de profundidade suave DRF para gerar uma imagem refocada.

[0037] Em uma modalidade, a imagem toda-em- foco pode ser gerada utilizando o seguinte procedimento. As imagens de pilha focal podem ser representadas por Z1, Z2, ..., ZN, em que Zi representa uma imagem. As imagens podem ter vermelho-verde-azul (RGB), em escala de cinza, ou qualquer outro formato. Cada imagem (Zi) pode ser convolvida com um filtro de medição de nitidez (por exemplo, um filtro Laplaciano) para gerar imagens de saída Yi;, como se segue:Yi = Laplaciana (Zi).

[0038] Em uma modalidade, a informação correspondente a uma pluralidade de pixéis na vizinhança do pixel de interesse que pode ser considerado ao gerar um mapa de profundidade. Usando informações de outros pixéis na vizinhança reduz o impacto do ruído e assegura a consistência local. Como um exemplo, a informação correspondente aos outros pixéis que estão dentro de uma vizinhança predefinida em que pode ser calculada a média e considerada nos cálculos. Em uma outra modalidade, um esquema de votação ponderada dos pixéis na vizinhança pode ser considerado. Sem perda de generalidade, pode presumir- se que a vizinhança é um círculo com um raio de tamanho S em torno de um elemento de imagem, no entanto, o bairro pode ter qualquer outra forma (por exemplo, retângulo, hexágono e semelhantes), sem se afastar dos ensinamentos da presente divulgação.

[0039] Para certas modalidades, dois tamanhos diferentes de vizinhança (por exemplo, S1 e S2), podem ser considerados para gerar os dois mapas de profundidade. Um primeiro, pequeno tamanho da vizinhança (por exemplo, S1) pode ser utilizado para gerar o mapa de profundidade bem. Além disso, um segundo tamanho da vizinhança S2 (por exemplo, S2 > S1) pode ser utilizado para gerar o mapa de profundidade suave. A seleção de um pequeno tamanho da vizinhança para gerar o mapa de profundidade fino pode garantir a nitidez da imagem toda-em-foco garantindo simultaneamente a coerência local. Por outro lado, um grande tamanho da vizinhança pode ser mais adequado para refocagem (por exemplo, o mapa de profundidade suave), porque os usuários normalmente querem refocar uma região (por exemplo, um objeto) na imagem, em vez de um pixel. Além disso, uma vizinhança maior assegura que não há mudanças abruptas na refocagem de dois pixéis próximos no mesmo objeto. Em uma modalidade, o tamanho da vizinhança usada para gerar o mapa de profundidade suave (p.ex., S2), podem ser três vezes maior do que o tamanho da vizinhança usada para gerar o mapa de profundidade fina (por exemplo, S1).

[0040] Em uma modalidade, um valor de profundidade máxima pode ser calculado através de uma vizinhança de cada da pilha focal de imagens para gerar os mapas de profundidade. Por exemplo, o mapa de profundidade fina (por exemplo, DAIF) para gerar a imagem toda-em-foco pode ser determinado através do cálculo de um valor de profundidade máxima através de uma vizinhança de tamanho S1 na pilha focal de imagens. Da mesma forma, o mapa de profundidade suave (por exemplo, DRF) para gerar a imagem refocada pode ser determinado através do cálculo de um valor de profundidade máxima através de uma vizinhança de tamanho S2 na pilha focal de imagens.

[0041] Em uma modalidade, o mapa de profundidade suave DRF correspondente à imagem (ou uma parte da imagem) pode ser calculado em tempo real com base no mapa de profundidade fina de DAIF, por exemplo, quando um usuário seleciona um pixel sendo refocado para (por exemplo, tocando o pixel em uma tela ou qualquer outro meio), valores de DAIF em uma grande vizinhança em torno do pixel selecionado, pode ser considerada. Um esquema de votação (ou um esquema de votação ponderada, ou qualquer outro esquema de seleção), em seguida, pode ser aplicado aos valores de profundidade correspondentes a múltiplos pixéis finos na vizinhança grande em torno do pixel selecionado. O valor correspondente a um índice com o voto máximo pode ser selecionado como o valor da profundidade suave correspondente ao pixel selecionado. O mesmo processo pode ser repetido para a maior parte ou todos os pixéis na imagem para gerar o mapa de profundidade DRF. O mapa de profundidade suave pode então ser usado para refocar em uma porção selecionada da imagem.

[0042] Como um exemplo, para gerar um valor de profundidade suave correspondente a um pixel (i, j), uma vizinhança de tamanho nxm em torno do pixel pode ser considerada. O valor da profundidade suave correspondente ao pixel (i, j) pode ser calculado com base nos valores de profundidade suaves correspondentes a cada um dos pixéis na vizinhança selecionada. Em um exemplo, os valores de profundidade suave podem ser combinados com base em um esquema de votação para gerar um valor de profundidade suave correspondente ao pixel (i, j). Por exemplo, em uma vizinhança de tamanho nxm pixéis, dentre K = valores de profundidade nxm suaves, valores de Ki podem ser iguais a α, valores de K2 podem ser iguais a β e valores K3 podem ser iguais a y. Sem perda de generalidade, pode-se supor que K1 > K2> K3. Em um exemplo, o valor de α pode ser considerado como o valor da profundidade suave correspondente ao pixel (i, j) (por exemplo, com o valor mais alto do número de repetição ou votos). Em outro exemplo, o mapa de profundidade suave pode ser calculado com base na média ponderada dos valores de α, β, e y. Deve notar-se que qualquer outro esquema pode ser utilizado para obter um valor de profundidade suave e/ou um mapa de profundidade suave, sem se afastar dos ensinamentos da presente divulgação.

[0043] A FIG. 4 ilustra exemplos de operações que podem ser executadas por um dispositivo para gerar uma imagem, de acordo com certas modalidades da presente divulgação. Em 402, o dispositivo pode obter (por exemplo, captura ou receber de um dispositivo de captura de imagem) imagens em diferentes comprimentos focais. Em 404, o dispositivo pode filtrar as imagens com filtro de medição de nitidez (por exemplo, um filtro Laplaciano). Em 406, o dispositivo pode aplicar uma função bidimensional para cada uma das imagens, para gerar uma primeira pilha de imagens de profundidade. Em uma modalidade, a função 2-D pode utilizar uma primeira vizinhança menor. Como um exemplo, a primeira pilha de imagens de profundidade pode ser gerada por uma convolução de uma função de borrar Gaussiana em 2-D correspondente a uma pequena zona com cada uma das imagens. Em uma outra modalidade, cada uma das imagens de profundidade pode ser gerada através da realização de uma média ponderada entre os valores de profundidade correspondentes a vários pixéis situados na vizinhança pequena em torno de cada pixel na imagem.

[0044] Em 408, o dispositivo pode encontrar um valor máximo de profundidade em cada localização de pixel em toda a primeira pilha de imagens de profundidade para gerar um primeiro mapa de profundidade, usado para a construção da imagem compósita, "toda-em-foco". Em uma modalidade, o dispositivo pode utilizar um esquema de votação ponderada para gerar o primeiro mapa de profundidade. Em ainda outra modalidade, o dispositivo pode calcular uma média ponderada dos valores de profundidade para gerar o primeiro mapa de profundidade. Qualquer outro esquema pode ser utilizado para gerar o primeiro mapa de profundidade, sem se afastar dos ensinamentos da presente divulgação.

[0045] A título de exemplo, a pilha de imagens de profundidade pode incluir três imagens Z1, Z2, Z3, e cada capturada com uma distância focal diferente. Pixel (i, j) na imagem Z1 pode corresponder a um valor de profundidade α, pixel (i, j) na imagem Z2 pode corresponder a um valor de profundidade β, e pixel (i, j) na imagem Z3 pode corresponder ao valor da profundidade y. DAIF correspondente a esse pixel pode ser calculado como máximo (α, β, y).

[0046] Além disso, em 410, o dispositivo pode aplicar uma função bidimensional para cada uma das imagens capturadas com uma segunda, vizinhança maior, para gerar uma segunda pilha de imagens de profundidade. Como exemplo, a segunda pilha de imagens de profundidade pode ser gerada por uma função de convolução gaussiana de borrar em 2-D correspondente a uma grande vizinhança com cada uma das imagens.

[0047] Em 412, o dispositivo pode encontrar máxima em cada localização de pixel entre segunda pilha de imagens de profundidade para gerar segundo mapa de profundidade, usado para a construção de uma imagem "refocada”. Em uma modalidade, a função de pixel bidimensional pode envolver a obtenção de uma média dos valores de profundidade correspondentes a pixéis vizinhos e/ou efetuam um esquema de votação ponderada entre os valores de profundidade correspondentes aos pixéis vizinhos.

[0048] FIGs. 5A a 5C ilustram exemplos de imagens que são geradas utilizando o sistema proposto, de acordo com certas modalidades da presente divulgação. As FIGS. 5A e 5B ilustram duas imagens de entrada, cada uma das quais com uma distância focal diferente. FIG. 5C ilustra uma imagem toda-em-foco que é gerada utilizando o esquema proposto. Como pode ser visto a partir das imagens, em cada uma das FIGS. 5A e 5B, partes da imagem aparecem em foco, enquanto outras partes aparecem fora de foco. Na imagem compósita da FIG. 5C, toda a imagem aparece nítida e em foco. A imagem compósita é gerada utilizando o mapa de profundidade suave DAIF. Se um usuário quiser focar em uma parte da imagem compósita mostrada na FIG. 5C, o usuário pode usar o mapa de profundidade suave DRF.

[0049] A FIG. 6 descreve uma possível implementação de um dispositivo que pode ser usado para combinar imagens, de acordo com certas modalidades. Em uma modalidade, o dispositivo 600 pode ser implementado com os detalhes especificamente descritos de processo 400. Em uma modalidade, os módulos especializados, tais como a câmara 621 e o módulo de processamento de imagem 622 podem incluir a funcionalidade necessária para captar e processar imagens de acordo com o método. A câmara 621 e o módulo de processamento de imagem 622 pode ser implementado para interagir com vários outros módulos de dispositivo 600. Por exemplo, a imagem combinada pode ser emitida na saída de exibição 603. Além disso, o módulo de processamento de imagem pode ser controlado através de entradas do usuário a partir do módulo de entrada do usuário 606. Módulo de entrada do usuário 606 pode aceitar entradas para definir preferências do usuário em relação à imagem combinada. Memória 620 pode ser configurada para armazenar imagens, e pode também armazenar as configurações e instruções que determinam como a câmera e o dispositivo operam.

[0050] Na modalidade mostrada na FIG. 6, o dispositivo pode ser um dispositivo móvel e inclui processador 610 configurado para executar instruções para a realização de operações de um número de componentes e pode ser, por exemplo, um processador de uso geral ou microprocessador adequado para implementação dentro de um dispositivo eletrônico portátil. Processador 610 pode, assim, realizar qualquer um ou todos os passos específicos para a operação de um módulo de processamento de imagem da câmara e como aqui descrito. Processador 610 está acoplado comunicativo com uma pluralidade de componentes dentro do dispositivo móvel 600. Para realizar este acoplamento comunicativo, o processador 610 pode comunicar com os outros componentes ilustrados através de um barramento 660. Barramento 660 pode ser qualquer subsistema adaptado para transferir dados dentro do dispositivo móvel 600. Barramento 660 pode ser uma pluralidade de barramentos de computador e incluem circuitos adicionais para transferir dados.

[0051] A memória 620 pode ser acoplada ao processador 610. Em algumas modalidades, a memória 620 oferece tanto a curto prazo e a longo prazo de armazenamento e pode, de fato, ser dividida em várias unidades. A memória de curto prazo pode armazenar imagens que podem ser descartadas após uma análise. Alternativamente, todas as imagens podem ser armazenadas no armazenamento a longo prazo, dependendo das seleções do usuário. Memória 620 pode ser volátil, tal como memória estática de acesso aleatório (SRAM) e/ou memória dinâmica de acesso aleatório (DRAM) e/ou não-volátil, tal como memória só de leitura (ROM), memória flash, e semelhantes. Além disso, a memória 620 pode incluir dispositivos de armazenamento removíveis, como (SD) cartões digitais seguros. Assim, a memória 620 proporciona armazenamento de instruções legíveis por computador, estruturas de dados, módulos de programas e outros dados para o dispositivo móvel 600. Em algumas modalidades, a memória 620 pode ser distribuída em diferentes módulos de hardware.

[0052] Em algumas modalidades, a memória 620 armazena uma pluralidade de aplicações 626. Aplicações 626 contêm instruções específicas para serem executadas pelo processador 610. Em modalidades alternativas, outros módulos de hardware podem adicionalmente executar certas aplicações ou partes de aplicações. Memória 620 pode ser usada para armazenar instruções legíveis por computador para os módulos que implementam digitalização de acordo com certas modalidades, e pode também armazenar representações de objetos compactos como parte de um banco de dados.

[0053] Em algumas modalidades, a memória 620 inclui um sistema operacional 623. Sistema operacional 623 pode ser operável para iniciar a execução das instruções fornecidas pelos módulos de aplicação e/ou gerenciar outros módulos de hardware, bem como interfaces com módulos de comunicação que podem utilizar transceptor sem fio 612 e um enlace 616. Sistema operacional 623 pode ser adaptado para executar outras operações entre os componentes do dispositivo móvel 600, incluindo rosqueamento, gerenciamento de recursos, controle de armazenamento de dados e outras funcionalidades semelhantes.

[0054] Em algumas modalidades, o dispositivo móvel 600 inclui uma pluralidade de outros módulos de hardware 601. Cada um dos outros módulos de hardware 601 é um módulo físico dentro do dispositivo móvel 600. No entanto, enquanto cada um dos módulos de hardware 601 está permanentemente configurado como uma estrutura, um respectivo dos módulos de hardware pode ser temporariamente configurado para executar funções específicas ou temporariamente ativado.

[0055] Outras modalidades podem incluir sensores integrados no dispositivo 600. Um exemplo de um sensor 662 pode ser, por exemplo, um acelerômetro, um transceptor Wi-Fi, um sistema receptor de navegação por satélite (por exemplo, um módulo de GPS), um módulo de pressão , um módulo de temperatura, um módulo de saída e/ou entrada de áudio (por exemplo, um microfone), um módulo de câmera, um sensor de proximidade, um módulo de serviço de linha alternativa (ALS), um sensor de toque capacitivo, um módulo de comunicação de campo próximo (NFC) , um receptor Bluetooth, um transceptor celular, um magnetômetro, um giroscópio, um sensor de inércia (por exemplo, um módulo que combina um acelerômetro e de um giroscópio), um sensor de luz ambiente, um sensor de umidade relativa, ou qualquer outro módulo semelhante que pode funcionar para fornecer saída sensorial e/ou receber estímulos sensoriais. Em algumas modalidades, uma ou mais funções dos sensores 662 pode ser implementada como hardware, software ou firmware. Além disso, como aqui descrito, certos módulos de hardware, tais como o acelerômetro, o módulo GPS, o giroscópio, o sensor de inércia, ou outros desses módulos podem ser utilizados em conjunto com o módulo de processamento de imagem de câmara e para fornecer informações adicionais. Em certas modalidades, um usuário pode usar um módulo de entrada do usuário 606 para selecionar como analisar as imagens.

[0056] O dispositivo móvel 600 pode incluir um componente como um módulo de comunicação sem fio que podem integrar a antena 618 e transceptor sem fio 612 com qualquer outro hardware, firmware ou software necessário para comunicações sem fio. Tal módulo de comunicação sem fios pode ser configurado para receber sinais a partir de vários dispositivos, tais como fontes de dados através das redes e pontos de acesso, tais como um ponto de acesso de rede. Em certas modalidades, as representações de objetos compactos podem ser comunicadas a computadores servidores, outros dispositivos móveis ou outros dispositivos de computação em rede para serem armazenados em uma base de dados remota e utilizada por vários outros dispositivos quando os dispositivos executam a funcionalidade de reconhecimento de objetos.

[0057] Além de outros módulos de hardware e aplicativos na memória 620, dispositivo móvel 600 pode ter uma saída de vídeo 603 e uma entrada do usuário do módulo 606. Apresentação da saída 603 apresenta graficamente informações de dispositivo móvel 600 para o usuário. Esta informação pode ser derivada de um ou mais módulos de aplicação, um ou mais módulos de hardware, uma combinação dos mesmos, ou de quaisquer outros meios adequados de conteúdo de resolução gráfica para o usuário (por exemplo, pelo sistema 623 operacional). Saída de exibição 603 pode ser tecnologia de monitores de cristal líquido (LCD), tecnologia polímero de emissão de luz (LPD), ou alguma outra tecnologia de exibição. Em algumas modalidades, o módulo de visualização 603 é uma tela de toque capacitivo ou resistivo e podem ser sensíveis ao contato háptico e/ou tátil com um usuário. Em tais modalidades, a saída do monitor 603 pode compreender um monitor multi-sensível ao toque. Exibição de saída 603 pode então ser usada para exibir qualquer número de saídas associadas com uma câmera 621 ou módulo de processamento de imagem 622, como alertas, definições, limites, interfaces de usuário, ou outros tais controles.

[0058] Os métodos, sistemas e dispositivos discutidos acima são exemplos. Várias modalidades podem omitir, substituir, ou adicionar vários procedimentos ou componentes, conforme apropriado. Por exemplo, em configurações alternativas, os métodos descritos podem ser realizados em uma ordem diferente da descrita, e/ou podem ser adicionados vários estágios, omitidos e/ou combinados. Além disso, as características descritas em relação a certas modalidades podem ser combinadas de diversas outras modalidades. Diferentes aspectos e elementos das modalidades podem ser combinados de uma maneira semelhante.

[0059] Os detalhes específicos são dados na descrição para proporcionar uma completa compreensão das modalidades. No entanto, modalidades podem ser praticadas sem alguns detalhes específicos. Por exemplo, circuitos bem conhecidos, processos, algoritmos, estruturas e técnicas têm sido mencionados sem detalhes desnecessários, de modo a evitar obscurecer as modalidades. Esta descrição fornece modalidades exemplares apenas, e não se destina a limitar o escopo, aplicabilidade, ou a configuração de várias modalidades. Em vez disso, a descrição anterior das modalidades irá proporcionar aos especialistas na técnica uma descrição que permita a implementação de modalidades. Várias alterações podem ser feitas na função e no arranjo de elementos sem se afastar do espírito e escopo das várias modalidades.

[0060] Além disso, algumas modalidades foram descritas como processos que podem ser representados em um fluxo de processo com setas. Embora cada um pode descrever as operações como um processo sequencial, muitas das operações podem ser realizadas em paralelo ou simultaneamente. Além disso, a ordem das operações pode ser reagrupada. Um processo pode ter passos adicionais não incluídos na figura. Além disso, modalidades dos métodos podem ser implementadas por hardware, software, firmware, middleware, microcódigo, línguas de descrição de hardware, ou qualquer combinação dos mesmos. Quando implementados em software, firmware, middleware, ou microcódigo, o código de programa ou segmentos de código para executar as tarefas associadas podem ser armazenados em um meio legível por computador, tal como um meio de armazenamento. Processadores podem executar as tarefas associadas. Além disso, os elementos acima referidos podem meramente ser um componente de um sistema maior, em que outras regras podem ter precedência sobre ou de outro modo modificar a aplicação de várias modalidades, e qualquer número de passos pode ser realizado antes, durante, ou depois dos elementos de qualquer modalidade serem implementados.

[0061] Deve notar-se que o método tal como aqui descrito pode ser implementado em software. O software pode, em geral, ser armazenado em um dispositivo de armazenamento não transitório (por exemplo, memória) e realizado por um processador (por exemplo, um processador de uso geral, um processador de sinal digital, e semelhantes.)

[0062] Tendo descrito várias modalidades, consequentemente, será claro para uma pessoa versada na técnica que várias modificações, construções alternativas e equivalentes podem ser utilizadas sem se afastar do espírito da divulgação.

Claims

1. Método para processamento de imagem, caracterizado por compreender: obter uma pluralidade de imagens de uma cena em distâncias focais diferentes, em que cada imagem mostra porções diferentes da cena em foco; obter um primeiro mapa de profundidade associado com a pluralidade de imagens; obter um segundo mapa de profundidade associado com a pluralidade de imagens, em que o primeiro mapa de profundidade corresponde a um primeiro tamanho de vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho de vizinhança diferente, em que para obter os primeiro e segundo mapas de profundidade uma função bidimensional é aplicada com base nos primeiro e segundo tamanhos de vizinhança respectivamente; gerar uma imagem compósita mostrando duas ou mais porções da cena em foco, com base na pluralidade de imagens e no primeiro mapa de profundidade; e gerar uma imagem refocada mostrando uma porção selecionada da cena em foco, com base na imagem compósita e no segundo mapa de profundidade.

2. Método, de acordo com a reivindicação 1, caracterizado pelo primeiro tamanho de vizinhança ser menor que que o segundo tamanho de vizinhança.

3. Método, de acordo com a reivindicação 1, caracterizado por compreender ainda: filtrar cada da pluralidade de imagens capturadas com um filtro de medição de nitidez, para gerar uma pluralidade de imagens filtradas; em que obter o primeiro mapa de profundidade compreende: aplicar uma primeira função de pixel bidimensional com base no primeiro tamanho de vizinhança para cada imagem na pluralidade de imagens filtradas, para produzir uma primeira pluralidade de imagens de profundidade; em que obter o segundo mapa de profundidade compreende: aplicar uma segunda função de pixel bidimensional com base no segundo tamanho de vizinhança para cada imagem na pluralidade de imagens filtradas, para produzir uma segunda pluralidade de imagens de profundidade.

4. Método, de acordo com a reivindicação 3, caracterizado pela primeira função de pixel bidimensional envolver calcular uma média ponderada dentre valores de profundidade correspondendo a uma pluralidade de pixels na primeira vizinhança, ou envolver realizar um esquema de votação ponderada em valores de profundidade correspondendo a pixels na primeira vizinhança.

5. Método, de acordo com a reivindicação 3, caracterizado pelo filtro de medição de nitidez ser um filtro Laplaciano.

6. Método, de acordo com a reivindicação 3, caracterizado pelo fato de obter o primeiro mapa de profundidade compreender: obter um valor de profundidade máximo dentre uma primeira pluralidade de valores de profundidade correspondendo à primeira pluralidade de imagens de profundidade para cada posição de pixel; e em que obter o segundo mapa de profundidade compreende: obter um valor de profundidade máximo dentre uma segunda pluralidade de valores de profundidade correspondendo à segunda pluralidade de imagens de profundidade para cada posição de pixel.

7. Método, de acordo com a reivindicação 1, caracterizado pelos comprimentos focais diferentes da pluralidade de imagens serem uniformemente distribuídos entre um valor de comprimento focal mínimo e um valor de comprimento focal máximo.

8. Método, de acordo com a reivindicação 1, caracterizado pelo segundo mapa de profundidade ser gerado em tempo real com base no primeiro mapa de profundidade.

9. Aparelho para processar imagem, caracterizado por compreender: meio para obter uma pluralidade de imagens de uma cena em diferentes comprimentos focais, em que cada imagem mostra porções diferentes da cena em foco; meio para obter um primeiro mapa de profundidade associado com uma pluralidade de imagens; meios para obter um segundo mapa de profundidade associado com a pluralidade de imagens, em que o primeiro mapa de profundidade corresponde a um primeiro tamanho de vizinhança e o segundo mapa de profundidade corresponde a um segundo tamanho de vizinhança diferente, em que para obter os primeiro e segundo mapas de profundidade uma função bidimensional é aplicada com base nos primeiro e segundo tamanhos de vizinhança respectivamente; meio para gerar uma imagem compósita mostrando duas ou mais porções da cena em foco, com base na pluralidade de imagens e o primeiro mapa de profundidade; e meio para gerar uma imagem refocada mostrando uma porção selecionada da cena em foco, com base na imagem compósita do segundo mapa de profundidade.

10. Aparelho, de acordo com a reivindicação 9, caracterizado pelo primeiro tamanho de vizinhança ser menor que o segundo tamanho de vizinhança.

11. Aparelho, de acordo com a reivindicação 9, caracterizado por compreender ainda: meio para filtrar cada da pluralidade de imagens capturadas com um filtro de medição de nitidez, para gerar uma pluralidade de imagens filtradas; em que o meio para obter o primeiro mapa de profundidade compreende: meio para aplicar uma primeira função de pixel bidimensional com base no primeiro tamanho de vizinhança a cada imagem na pluralidade de imagens filtradas, para produzir uma primeira pluralidade de imagens de profundidade; em que o meio para obter o segundo mapa de profundidade compreende: meio para aplicar uma segunda função de pixel bidimensional com base no segundo tamanho de vizinhança a cada imagem na pluralidade de imagens filtradas, para produzir uma segunda pluralidade de imagens de profundidade.

12. Aparelho, de acordo com a reivindicação 11, caracterizado pela primeira função de pixel bidimensional envolver calcular uma média ponderada dentre valores de profundidade correspondendo a uma pluralidade de pixels na primeira vizinhança ou envolver realizar um esquema de votação ponderada nos valores de profundidade correspondentes a pixels na primeira vizinhança.

13. Aparelho, de acordo com a reivindicação 11, caracterizado pelo meio para obter o primeiro mapa de profundidade compreender: meio para obter um valor de profundidade máxima dentre uma primeira pluralidade de valores de profundidade correspondendo à primeira pluralidade de imagens de profundidade para cada posição de pixel; e em que o meio para obter o segundo mapa de profundidade compreende: meio para obter um valor de profundidade máximo dentre uma segunda pluralidade de valores de profundidade correspondendo à segunda pluralidade de imagens de profundidade para cada posição de pixel.

14. Aparelho, de acordo com a reivindicação 9, caracterizado pelo segundo mapa de profundidade ser gerado em tempo real com base no primeiro mapa de profundidade.

15. Memória legível por processador não transitória para processamento de imagem caracterizada por compreender instruções legíveis por processador que são configuradas para, quando executadas, levar um processador a realizar o método conforme definido em qualquer uma das reivindicações 1 a 8.