BR102012030034A2 - Sistema e método para gerar um mapa de profundidade bruto - Google Patents
Sistema e método para gerar um mapa de profundidade bruto Download PDFInfo
- Publication number
- BR102012030034A2 BR102012030034A2 BRBR102012030034-6A BR102012030034A BR102012030034A2 BR 102012030034 A2 BR102012030034 A2 BR 102012030034A2 BR 102012030034 A BR102012030034 A BR 102012030034A BR 102012030034 A2 BR102012030034 A2 BR 102012030034A2
- Authority
- BR
- Brazil
- Prior art keywords
- depth
- depth map
- scale
- map
- estimation device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000006835 compression Effects 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 9
- 238000004513 sizing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
SISTEMA E MÉTODO PARA GERAR UM MAPA DE PROFUNDIDADE BRUTO. Um sistema e método para gerar mapas de profundidade brutos incluem dispositivo de estimativa de profundidade que cria uma estrutura em pirâmide de mapa de profundidade que inclui uma pluralidade de níveis de mapa de profundidade que cada um tem diferentes características de resolução. Em uma modalidade, os níveis de mapa de profundidade incluem um mapa de profundidade em escala fina, um mapa de profundiade em média escala, e um mapa de profundidade em escala grosseira. O dispositivo de estimativa de profundidade avalia valores de profundidade a partir do mapa de profundidade em escala fina utilizando características de confiança de escala fina, e avalia valores de profundidade a partie do mapa de profundidade em média escala e o mapa de profundidade em escala grosseira utilizando características de confiança de escala grosseira. O dispositivo de estimativa de profundidade então une valores de profundidade ótimos dos diferentes níveis de mapa de profundidade em um mapa de profundidade ótimo.
Description
"SISTEMA E MÉTODO PARA GERAR UM MAPA DE PROFUNDIDADE BRUTO"
CRUZADA REFERÊNCIA PARA PEDIDOS RELACIONADOS
Este Pedido é relacionado à, e reivindica prioridade no, Pedido de Patente Provisória dos US de N0 61/565.839, com o título de iiMethod And Apparatus To Generate Robust Depth Map Using Multi-Resolution ApproacH' depositado em 1 de dezembro de 2011. O Pedido relacionado anterior é comumente designado, e é por meio disso incorporado por referência.
SEÇÃO DE FUNDAMENTOS
1. Campo da Invenção
Esta invenção se refere em geral às técnicas para analisar dados de imagem, e se refere mais particularmente a um sistema e método para utilizar detecção de cena em um procedimento de estimativa de profundidade.
2. Descrição da Técnica do Fundamento
Implementar métodos eficientes para analisar dados de imagem é uma consideração significante para projetistas e fabricantes de dispositivos eletrônicos contemporâneos. Contudo, eficientemente analisando dados de imagem com dispositivos eletrônicos pode criar desafios substanciais para projetistas de sistema. Por exemplo, demandas aprimoradas para funcionalidade de dispositivo aumentada e desempenho pode requerer mais potência de processamento de sistema e requerem características de hardware adicionais. Um aumento no processamento ou requisitos de hardware pode também resultar em um correspondente impacto econômico prejudicial devido aos custos de produção aumentados e ineficiências operacionais.
Além disso, capacidade de dispositivo aprimorada para efetuar várias operações avançadas pode fornecer benefícios adicionais para um usuário do sistema, mas pode também colocar demandas aumentadas sobre o controle e gerenciamento de vários componentes do dispositivo. Por exemplo, um dispositivo eletrônico aprimorado que eficazmente analisa dados de imagem digital pode se beneficiar de uma implementação eficaz por causa da pluralidade e complexidade dos dados digitais envolvidos.
Devido ao crescimento de demandas nas características de sistema e substancialmente aumentando magnitudes de dados, é aparente que desenvolvimento de novas técnicas para analisar dados de imagem é uma questão de preocupação para tecnologias eletrônicas relacionadas. Por conseguinte, por todas as razões anteriores, desenvolver sistemas efetivos para analisar dados de imagem permanece uma consideração significativa para os projetistas, fabricantes, e usuários de dispositivos eletrônicos contemporâneos.
SUMÁRIO
De acordo com a presente invenção, um sistema e método para
gerar mapas de profundidade brutos utilizando um procedimento de múltiplas resoluções são descritos. Em uma modalidade, um dispositivo de estimativa de profundidade inicialmente gera um mapa de profundidade de nível 2 utilizando quaisquer técnicas eficazes. Por exemplo, o mapa de profundidade de nível 2 pode ser implementado com uma proporção de compressão que produz uma resolução relativamente em escala fina. O dispositivo de estimativa de profundidade calcula valores de confiança brutos correspondendo aos respectivos valores de profundidade do mapa de profundidade de nível 2 utilizando quaisquer técnicas eficazes. O dispositivo de estimativa de profundidade então categoriza os valores de profundidade de acordo com seus respectivos valores de confiança em valores de profundidade de alta confiança, valores de profundidade de média confiança, e valores de profundidade de baixa confiança.
O dispositivo de estimativa de profundidade também gera um mapa de profundidade de nível 1 e um mapa de profundidade de nível 0 utilizando quaisquer técnicas eficazes. Por exemplo, o mapa de profundidade de nível 1 pode ser implementado com uma proporção de compressão que produz uma resolução em média escala, e o mapa de profundidade de nível 0 pode ser implementado com uma proporção de compressão que produz uma resolução relativamente em escala grosseira.
O dispositivo de estimativa de profundidade calcula valores de confiança brutos correspondendo aos respectivos valores de profundidade do mapa de profundidade de nível 1 e do mapa de profundidade de nível 0 utilizando quaisquer técnicas eficazes. O dispositivo de estimativa de profundidade então utiliza os valores de confiança calculados para identificar quaisquer candidatos de valores de profundidade confiáveis a partir do mapa de profundidade de nível 0 e do mapa de profundidade de nível 1 de acordo com pré-determinado critério de confiabilidade. O dispositivo de estimativa de profundidade a seguir efetua um
procedimento de redimensionamento sobre os blocos a partir do mapa de profundidade de nível 1 e do mapa de profundidade de nível 0 para ajustar com o tamanho de bloco do mapa de profundidade de nível 2 utilizando quaisquer técnicas eficazes. O dispositivo de estimativa de profundidade também efetua um procedimento de dimensionamento de magnitude para dimensionar os valores de profundidade a partir do mapa de profundidade de nível 1 e do mapa de profundidade de nível 0 para ajustarem com o intervalo de valor de profundidade do mapa de profundidade de nível 2 utilizando quaisquer técnicas eficazes. O dispositivo de estimativa de profundidade então determina
se quaisquer candidatos de valores de profundidade confiáveis adicionais foram identificados a partir do mapa de profundidade de nível 1 ou mapa de profundidade de nível 0. O dispositivo de estimativa de profundidade marca quaisquer valores de profundidade não confiáveis como discrepantes que são inadequados para povoar o mapa de profundidade otimizado final. O dispositivo de estimativa de profundidade também utiliza quaisquer candidatos de valores de profundidade confiáveis para atualizar os valores de profundidade ótimos para o mapa de profundidade otimizada final de acordo com quaisquer técnicas eficazes. Por exemplo, um valor de profundidade com a medida de confiança ótima pode ser selecionado, ou um método de cálculo de média ponderada ou não ponderada pode ser utilizado para combinar vários diferentes valores de profundidade confiáveis.
O dispositivo de estimativa de profundidade vantajosamente une os valores de profundidade ótimos a partir dos mapas de profundidade de níveis diferentes para gerar o mapa de profundidade otimizado final. Finalmente, o dispositivo de estimativa de profundidade pode criar um mapa de confiança com base nos valores de confiança correspondendo aos valores de profundidade ótimos do mapa de profundidade otimizado final. O processo pode então terminar. A presente invenção, por conseguinte, fornece um sistema e método melhorados para gerar um mapa de profundidade utilizando um procedimento de múltiplas resoluções.
BREVE DESCRIÇÃO DOS DESENHOS A FIG. 1 é um diagrama em bloco para uma modalidade de um dispositivo de câmera, de acordo com a presente invenção;
a FIG. 2 é um diagrama em bloco para uma modalidade do sistema de captura de imagem da Fig. 1, de acordo com a presente invenção;
a FIG. 3 é um diagrama em bloco para uma modalidade do módulo de controle da Fig. 1, de acordo com a presente invenção; a FIG. 4 é um diagrama em bloco para uma modalidade da
memória da Fig. 3, de acordo com a presente invenção;
a FIG. 5A é um diagrama para uma modalidade de um mapa de profundidade simplificado, de acordo com a presente invenção;
a FIG. 5B é um diagrama de uma modalidade exemplar para capturar uma imagem borrada fora de foco;
a FIG. 5C é um gráfico de uma modalidade de uma curva de
ajuste exemplar;
a FIG. 6 é um diagrama de uma estrutura em pirâmide de múltiplas resoluções, de acordo com uma modalidade da presente invenção;
as FIGS. 7A-7C são um fluxograma das etapas de método para gerar um mapa de profundidade utilizando um procedimento de múltiplas resoluções, de acordo com uma modalidade da presente invenção;
a FIG. 8A é um diagrama de características de confiança de escala fina, de acordo com uma modalidade da presente invenção;
a FIG. 8B é um diagrama de características de confiança de escala grosseira, de acordo com uma modalidade da presente invenção;
a FIG. 8C é um gráfico ilustrando uma técnica de convergência de SAD, de acordo com uma modalidade da presente invenção; e
a FIG. 9 é um diagrama de um mapa de confiança simplificado, de acordo com uma modalidade da presente invenção.
DESCRIÇÃO DETALHADA A presente invenção se refere a um melhoramento nas técnicas de análise de dados de imagem. A seguinte descrição é apresentada para possibilitar a alguém de qualificação simples na técnica fazer e usar invenção e é fornecida no contexto de um pedido de patente e seus requisitos. Várias modificações para as modalidades descritas serão prontamente aparentes para aqueles com qualificação na arte, e os princípios genéricos aqui podem ser aplicados para outras modalidades. Assim sendo, a presente invenção não é pretendida ser limitada para as modalidades mostradas, mas é para estar condizente com o mais amplo escopo consistente com os princípios e características aqui descritos.
A presente invenção compreende um sistema e método para gerar mapas de profundidade brutos, e inclui um dispositivo de estimativa de profundidade que cria uma estrutura em pirâmide de mapa de profundidade que inclui uma pluralidade de níveis de mapa de profundidade os quais cada um tem diferentes características de resolução. Em uma modalidade, os níveis de mapa de profundidade incluem um mapa de profundidade em escala fina, um mapa de profundidade em média escala, e um mapa de profundidade em escala grosseira. O dispositivo de estimativa de profundidade avalia valores de profundidade a partir do mapa de profundidade em escala fina utilizando características de confiança de escala fina, e avalia valores de profundidade a partir do mapa de profundidade em média escala e do mapa de profundidade em escala grosseira utilizando característica de confiança de escala grosseira. O dispositivo de estimativa de profundidade então une valores de profundidade ótimos a partir dos diferentes níveis de mapa de profundidade em um mapa de profundidade ótimo. Referindo agora à Fig. 1, um diagrama em bloco para uma
modalidade de um dispositivo de câmera 110 é mostrado, de acordo com a
presente invenção.
Na modalidade da FIG. 1, o dispositivo de câmera 110 pode incluir, mas não é limitado à, um subsistema de captura de imagem 114, um barramento do sistema 116, e um módulo de controle 118. Na modalidade da FIG. 1, o subsistema de captura de imagem 114 pode ser opticamente acoplado a um alvo fotográfico 112, e também pode ser eletricamente acoplado via barramento do sistema 116 para o módulo de controle 118.
Em modalidades alternativas, dispositivo de câmera 110 pode prontamente incluir vários outros componentes em adição à, ou no lugar de, aqueles componentes discutido em conjunto com a modalidade da FIG. 1. Em adição, em determinadas modalidades, a presente invenção pode alternativamente ser incorporada em qualquer apropriado tipo de dispositivo eletrônico outro do que o dispositivo de câmera 110 da Fig. 1. Por exemplo, dispositivo de câmera 110 pode alternativamente ser implementado como um dispositivo de tratamento de imagem, um dispositivo de computador, ou um dispositivo de eletrônicos de consumidor.
Na modalidade da FIG. 1, uma vez que o subsistema de captura de imagem 114 da câmera 110 é automaticamente focado no alvo 112, um usuário da câmera pode solicitar ao dispositivo de câmera 110 para capturar dados de imagem correspondendo ao alvo 112. O módulo de controle 118 então pode preferencialmente instruir o subsistema de captura de imagem 114 via barramento do sistema 116 para capturar dados de imagem representando o alvo 112. Os dados de imagem capturados podem então ser transferidos sobre o barramento do sistema 116 para o módulo de controle 118, que pode responsivamente efetuar vários processos e funções com os dados de imagem. O barramento do sistema 116 pode também de forma bidirecional passar vários sinais de estados e de controles entre o subsistema de captura de imagem 114 e o módulo de controle 118.
Referindo agora à Fig. 2, um diagrama em bloco para uma modalidade do subsistema de captura de imagem 114 da Fig. 1 é mostrado, de acordo com a presente invenção. Na modalidade da FIG. 2, o subsistema de captura de imagem 114 preferencialmente compreende, mas não é limitado à, um obturador 218, uma lente 220, uma sensor de imagem 224, amplificadores de vermelho, verde, e azul (R/G/B) 228, um conversor de analógico para digital (A/D) 230, e uma interface 232. Em modalidades alternativas, o subsistema de captura de imagem 114 pode prontamente incluir vários outros componentes em adição à, ou no lugar de, aqueles componentes discutidos em conjunto com a modalidade da FIG. 2.
Na modalidade da FIG. 2, o subsistema de captura de imagem 114 pode capturar dados de imagem correspondendo ao alvo 112 via luz refletida impactando o sensor de imagem 224 ao longo do trajeto óptico 236. O sensor de imagem 224, que pode preferencialmente incluir um dispositivo acoplado de carga (CCD), pode responsivamente gerar um conjunto de dados de imagem representando o alvo 112. Os dados de imagem podem então ser encaminhados através dos amplificadores 228, do conversor de A/D 230, e da interface 232. A partir da interface 232, os dados de imagem passam através do barramento do sistema 116 para o módulo de controle 118 para apropriado processamento e armazenamento. Outros tipos de sensores de captura de imagem, tal como CMOS ou matrizes lineares são também contemplados para capturar dados de imagem em conjunto com a presente invenção. A utilização e funcionalidade de câmera 110 são ainda discutidos abaixo em conjunto com asFIGS.3-9.
Referindo agora à Fig. 3, um diagrama em bloco para uma modalidade do módulo de controle 118 da Fig. 1 é mostrado, de acordo com a presente invenção. Na modalidade da FIG. 3, o módulo de controle 118 preferencialmente inclui, mas não é limitado à, um visor 308, uma unidade de Processamento Central (CPU) 344, uma memória 346, e um ou mais interface de entrada/saída(s) (E/S) 348. O visor 308, a CPU 344, a memória 346, e a interface de E/S 348 preferencialmente são cada um acoplado à, e se comunicam, via barramento do sistema com uma unidade de produção de subtítulo 116 que também se comunica com o subsistema de captura de imagem 114. Em modalidades alternativas, o módulo de controle 118 pode prontamente incluir vários outros componentes em adição à, ou no lugar de, aqueles componentes discutidos em conjunto com a modalidade da FIG. 3.
Na modalidade da FIG. 3, a CPU 344 pode ser implementada para incluir qualquer apropriado dispositivo de microprocessador. Alternativamente, a CPU 344 pode ser implementada usando qualquer outra apropriada tecnologia. Por exemplo, a CPU 344 pode ser implementada para incluir determinados circuitos integrados de aplicativo específico (ASICs) ou outros apropriados dispositivos eletrônicos. Memória 346 pode ser implementada como um ou mais apropriados dispositivos de armazenamento, incluindo, mas não limitados à, memória de somente leitura, memória de acesso randômico, e vários tipos de memória não volátil, tal como dispositivos de disco flexível, dispositivo de disco rígido, ou memória flash. A interface de E/S 348 pode fornecer uma ou mais interfaces eficazes para facilitar comunicações bidirecionais entre dispositivo de câmera 110 e qualquer entidade externa, incluindo um usuário de sistema ou um outro dispositivo eletrônico. A interface de E/S 348 pode ser implementada usando quaisquer apropriados dispositivos de entrada e/ou de saída. A operação e utilização do módulo de controle 118 são ainda discutidas abaixo em conjunto
com as FIGS. 4 à 9.
Referindo agora à Fig. 4, um diagrama em bloco para uma modalidade da memória 346 da Fig. 3 é mostrado, de acordo com a presente invenção. Na modalidade da FIG. 4, a memória 346 pode incluir, mas não é limitado à, um aplicativo de câmera 412, um sistema operacional 414, um dispositivo de estimativa de profundidade 416, dados de imagem 418, dados de estimativa 420, valores de profundidade 422, e valores de confiança 424. Em modalidades alternativas, a memória 346 pode incluir vários outros componentes em adição à, ou lugar de, àqueles componentes discutidos em conjunto com a modalidade da FIG. 4. Na modalidade da FIG. 4, o aplicativo de câmera 412 pode
incluir instruções de programa que são preferencialmente executadas pela CPU 344 (FIG. 3) para efetuar várias funções e operações para o dispositivo de câmera 110. A natureza particular e funcionalidade do aplicativo de câmera 412 preferencialmente variam dependendo de fatores tais como o tipo e particular uso do correspondente dispositivo de câmera 110,
Na modalidade da FIG. 4, o sistema operacional 414 preferencialmente controla e coordena funcionalidade de nível baixo do dispositivo de câmera 110, De acordo com a presente invenção, o dispositivo de estimativa de profundidade 416 pode controlar e coordenar um procedimento de estimativa de profundidade para gerar mapas de profundidade na câmera 110. Na modalidade da FIG. 4, dados de imagem 418 podem incluir uma ou mais imagens de um alvo fotográfico 112 capturado pelo dispositivo de câmera unidade de geração de dados de transmissão 110.
Dados de estimativa 420 podem incluir quaisquer tipos de informação ou dados para efetuar um procedimento de geração de mapa de profundidade.
Na modalidade da FIG. 4, valores de profundidade 422 podem representar distâncias entre a câmera 110 e várias porções de um alvo fotográfico ou cena. Os valores de profundidade 422 podem ser utilizados para povoar um mapa de profundidade, conforme discutido abaixo em conjunto com FIG. 5A. Os valores de confiança 424 representam probabilidades relativas que os respectivos valores de profundidade 422 são corrigidos. Detalhes adicionais considerando uma operação do dispositivo de estimativa de profundidade 416 são ainda discutidos abaixo em conjunto
comFIGS. 5-9.
Referindo agora à Fig. 5A, um diagrama para uma modalidade de um mapa de profundidade simplificado 522 é mostrado, de acordo com a presente invenção. O mapa de profundidade 522 na Fig. 5A é apresentado para propósitos de ilustração, e em modalidades alternativas, mapas de profundidade podem incluir vários outros componentes e configurações em adição à, ou no lugar de, aqueles componentes e configurações discutidos em conjunto com a modalidade da FIG. 5A. Por exemplo, para propósitos de simplicidade, o mapa de profundidade 522 da Fig. 5A é mostrado com somente quatro valores de profundidade. Contudo, mapas de profundidade com qualquer número de valores de profundidade são igualmente contemplados na presente invenção.
Na modalidade da FIG. 5A, o mapa de profundidade 522 corresponde a um particular conjunto de dados de imagem no qual tos valores de profundidade individuais representam distâncias entre a câmera 110 (FIG. 1) e várias porções do alvo fotográfico ou cena. Em determinadas modalidades, valores de profundidades iniciais para um mapa de profundidade inicial pode ser determinado diretamente a partir de dados de imagem brutos em qualquer maneira eficaz. No exemplo da FIG. 5A, o mapa de profundidade 522 inclui um valor de profundidade A 526(a), um valor de profundidade B 526(b), um valor de profundidade C 526(c), e um valor de profundidade D 526(d). Detalhes adicionais considerando geração de mapas de profundidade são ainda discutidos abaixo em conjunto com FIGS. 6-9.
Referindo agora à Fig. 5B, um diagrama de uma modalidade exemplar para capturar uma imagem borrada fora de foco 518 é mostrada, de acordo com a presente invenção. A modalidade da FIG. 5B é fornecida para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode utilizar várias outras configurações e elementos para imagens borradas fora de foco 518.
Na modalidade da FIG. 5B, um sensor 224 de uma câmera 110
(ver FIG. 2) pode capturar uma imagem borrada fora de foco 518 de um alvo fotográfico ou cena 112 para efetuar um procedimento de estimativa de profundidade. A imagem borrada fora de foco 518 pode ser criada ajustando a lente 220 para uma posição outra do que a posição da lente de foco correta que depende das posições relativas do alvo 112, da lente 220, e do sensor 224.
Em uma modalidade, duas diferentes imagens borradas fora de foco 518 podem ser comparadas para derivar uma estimativa de profundidade. Uma diferença de borrão pode ser calculada para duas imagens borradas 518 que são, por exemplo, uma profundidade de campo distante cada uma da outra. Uma inclinação de uma conhecida curva de ajuste e a diferença de borrão podem ser utilizados para determinar a profundidade de um determinado alvo 112.
Referindo agora à Fig. 5C, um gráfico de uma curva de ajuste exemplar 714 é mostrado, de acordo com uma modalidade da presente invenção. A modalidade da FIG. 5C é apresentada para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode ser implementada para utilizar curvas de ajuste com configurações e parâmetros em adição à, ou no lugar de, determinadas daquelas configurações e parâmetros discutidos em conjunto com a modalidade da FIG. 5C.
Em determinadas modalidades, uma imagem 1 borrada e uma imagem 2 borrada mais fora de foco pode ser capturadas, a imagem 1 mais nítida pode ser convolvida com uma função Gaussiana (por exemplo, uma matriz de 3 χ 3 Gaussiana com pequena variância) para produzir uma imagem 1 convolvida. A imagem 1 convolvida é comparada com a imagem 2 borrada. Este processo é repetido até que as duas imagens borradas se ajustem. O número de iterações pode então ser colocado em gráfico versus a profundidade de campo (ou números de imagem em incrementos de um DOF) para produzir um curva de ajuste de borrão que pode ser usado para estimar a distância de qualquer posição fora de foco para posição em foco. Detalhes adicionais considerando a técnica de estimativa de profundidade anterior são ainda discutidos na Patente dos US de N0 8.045.046 to Li et al., que é aqui
incorporado por referência.
Referindo agora à Fig. 6, um diagrama de uma estrutura em
pirâmide de múltiplas resoluções 614 é mostrado, de acordo com uma modalidade da presente invenção. A estrutura em pirâmide de múltiplas resoluções 614 da FIG. 6 apresentada para propósitos de ilustração, e em modalidades alternativas, a estrutura em pirâmide de múltiplas resoluções 614 pode incluir vários outro componentes e configurações em adição "s, ou no lugar de, aqueles componentes e configurações discutidos em conjunto com a
modalidade da FIG. 6.
Na modalidade da FIG. 6, a estrutura em pirâmide de múltiplas
resoluções 614 inclui um mapa de profundidade de nível 2 618, um mapa de profundidade de nível 1 622, e um mapa de profundidade de nível 0 628 ao quais cada um têm um diferente nível de resolução. Em outras modalidades, qualquer outro número eficaz ou configuração de níveis de resolução pode ser de forma similar utilizado. Na modalidade da FIG. 6, todos os níveis de resolução 618, 622, e 628 são comprimidos a partir da mesma configuração de dados de imagem, mas cada nível tem uma diferente proporção de compressão. Por exemplo, em determinadas modalidades, o nível 0 pode ter uma proporção de compressão de 1/16, o nível 1 pode ter uma proporção de compressão de 1/8, e o nível 2 pode ter uma proporção de compressão de 1/4. As proporções de compressão podem ser alcançadas em qualquer maneira eficaz. Por exemplo, uma técnica de compressão de subamostragem pode ser utilizada.
Na modalidade da FIG. 6, cada nível 618, 622, e 628 inclui um ou mais blocos. Por exemplo, o nível 0 tem um único bloco 632, o nível 1 tem quatro blocos arrumados em uma matriz 2 χ 2, e o nível 2 tem dezesseis blocos arrumados em uma matriz de 4 χ 4. Cada bloco pode representar um pré-defmido número de pixéis. Por exemplo, em determinadas modalidades, cada bloco pode representar 16 χ 16 valores de profundidade. Devido às diferentes proporções de compressão, os três diferentes níveis 628, 622, e 618 cada um representa a mesma área dos dados de imagem originais. Por exemplo, o único bloco 632 de nível 0 correspondendo aos blocos 636, 640, 644, e 648 de nível 1. De forma similar, cada bloco de nível 1 corresponde à quatro blocos de nível 2. Por exemplo, o bloco 636 de nível 1 corresponde aos blocos 652,656, 660, e 664 de nível 2.
Na modalidade da FIG. 6, cada bloco de todos os três níveis tem um valor de profundidade associado. Por conseguinte, o nível 0 tem um valor de profundidade, o nível 1 tem quatro valores de profundidade, e o nível 2 tem dezesseis valores de profundidade. Em determinadas modalidades alternativas, os três níveis podem ser implementados para incluir valores de profundidade/blocos que diferem em quantidade a partir da particular configuração mostrada na modalidade da FIG. 6. A presente invenção vantajosamente avalia esses vários valores de profundidade com técnicas de medição de confiança brutas, e então une os valores de profundidade ótimos para gerar um mapa de profundidade final. Detalhes adicionais considerando a utilização de pirâmides de múltiplas resoluções são ainda discutidos abaixo em conjunto com FIGS. 7-9.
Referindo agora às Figs. 7 A - 7C, um fluxograma da etapas de método para gerar um mapa de profundidade utilizando um procedimento de múltiplas resoluções é mostrado, de acordo com uma modalidade da presente invenção. A modalidade da FIG. 7 é apresentada para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode prontamente utilizar várias etapas e seqüências outras do que aquelas etapas e seqüências discutidas em conjunto com a modalidade da FIG. 7.
Na modalidade da FIG. 7A, na etapa 714, um dispositivo de estimativa de profundidade 416 (FIG. 4) ou outra apropriada entidade gera um mapa de profundidade de nível 2 618 utilizando quaisquer técnicas eficazes. Por exemplo, o mapa de profundidade de nível 2 618 pode ser implementado com uma proporção de compressão que produz uma resolução relativamente de escala fina. Na etapa 718, dispositivo de estimativa de profundidade 416 pode então calcular valores de confiança brutos correspondendo aos respectivos valores de profundidade a partir do mapa de profundidade de nível 2 618 utilizando quaisquer técnicas eficazes. Na etapa 722, o dispositivo de estimativa de profundidade 416 categoriza os valores de profundidade de acordo com seus respectivos valores de confiança em valores de profundidade de alta confiança 734, em valores de profundidade de média confiança 730, e em valores de profundidade de baixa confiança 726. O processo da FIG. 7A então avança à Fig. 7C através de letras de conexão "A" e "B."
Na modalidade da FIG. 7B, na etapa 738, o dispositivo de estimativa de profundidade 416 ou outra apropriada entidade gera um mapa de profundidade de nível 1 622 e um mapa de profundidade de nível 0 628 utilizando quaisquer técnicas eficazes. Por exemplo, o mapa de profundidade de nível 1 622 pode ser implementado com uma proporção de compressão que produz uma resolução de média escala, e o mapa de profundidade de nível 0 628 pode ser implementado com uma proporção de compressão que produz uma resolução relativamente de escala grosseira.
pode então calcular valores de confiança brutos correspondendo aos respectivos valores de profundidade a partir do mapa de profundidade de nível 1 622 e do mapa de profundidade de nível 0 628 utilizando quaisquer técnicas eficazes. Na etapa 750, o dispositivo de estimativa de profundidade 416 utiliza os valores de confiança calculados para identificar quaisquer candidatos de valores de profundidade confiáveis do mapa de profundidade de nível 0 626 e do mapa de profundidade de nível 1 622 de acordo com pre- determinado critério de confiabilidade. Na etapa 750, o dispositivo de estimativa de profundidade 416
efetua um procedimento de redimensionamento sobre os blocos do mapa de profundidade de nível 1 622 e do mapa de profundidade de nível 0 628 para ajustar com o tamanho de bloco do mapa de profundidade de nível 2 618 utilizando quaisquer técnicas eficazes. Por exemplo, várias técnicas de interpolação espacial tal como método bicúbico ou spline pode ser utilizado. Em determinadas modalidades, um algoritmo de interpolação de preservação de borda pode ser utilizado para efetuar redimensionamento no qual uma mascara com base em núcleo de interpolação de 2X é usada em conjunto com uma matriz de filtro. Um exemplo de fórmulas para o algoritmo de preservação de borda é mostrado abaixo.
Na etapa 742, o dispositivo de estimativa de profundidade 416
12 1 mu mn mn
h = — 2 4 2 χ W21 W22 ιW23 4
12 1 m,, Wn
1 2 1
4
1: se Iml, < limite ''J [O; de outro modo Na etapa 754, o dispositivo de estimativa de profundidade 416 efetua um procedimento de dimensionamento de magnitude para dimensionar os valores de profundidade do mapa de profundidade de nível 1 622 e do mapa de profundidade de nível O 628 para ajustar com o intervalo de valor de profundidade de mapa de profundidade de nível 2 618 utilizando quaisquer técnicas eficazes. Por exemplo, o procedimento de dimensionamento pode utilizar uma abordagem teórica ou uma abordagem baseada em dados. O processo da FIG. 7B pode então avançar para a etapa 758 da Fig. 7C através
da letra de conexão "A." Na etapa 758, o dispositivo de estimativa de profundidade 416
determina se quaisquer candidatos de valores de profundidade confiáveis adicionais forma identificados a partir do mapa de profundidade de nível 1 622 ou do mapa de profundidade de nível 0 628. Na etapa 762, o dispositivo de estimativa de profundidade 416 marca quaisquer valores de profundidade não confiáveis como discrepantes que são inadequados para povoar o mapa de profundidade otimizado final. Na etapa 766, o dispositivo de estimativa de profundidade 416 utiliza quaisquer candidatos de valores de profundidade confiáveis para atualizar os valores de profundidade ótimos para o mapa de profundidade otimizado final de acordo com quaisquer técnicas eficazes. Por exemplo, um valor de profundidade com a medida de confiança ótima pode ser selecionado, ou um método de cálculo de média ponderada ou não ponderada pode ser utilizado para combinar vários diferentes valores de profundidade confiáveis. O dispositivo de estimativa de profundidade 416 pode também atualizar um mapa de confiança de valores de confiança neste ponto.
Na etapa 770, o dispositivo de estimativa de profundidade 416 vantajosamente une os valores de profundidade ótimos a partir dos mapas de profundidade de níveis diferentes 618, 622, e 628 para gerar o mapa de profundidade otimizado final. Finalmente, na etapa 774, o dispositivo de estimativa de profundidade 416 pode criar um mapa de confiança com base nos valores de confiança correspondendo aos valores de profundidade ótimos do mapa de profundidade otimizado final. O processo da FIG. 7 pode então terminar. A presente invenção, por conseguinte, fornece um sistema e método melhorados para gerar um mapa de profundidade utilizando um procedimento de múltiplas resoluções.
Referindo agora à Fig. 8A, um diagrama de características de confiança de escala fina é mostrado, de acordo com uma modalidade da presente invenção. A modalidade da FIG. 8A é apresentada para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode utilizas características de confiança outras do que aquelas discutidas em conjunto com a modalidade da FIG. 8A.
Na modalidade da FIG. 8A, as características de confiança 812 incluem características de modelos de câmera/posição da lente 818 que podem incluir quaisquer características operacionais ou limitações de uma particular câmera 110 (FIG. 1). Por exemplo, as características de modelos de câmera/posição da lente 818 podem incluir, mas não são limitadas à, características ótimas, posição da lente, posição de aproximação/afastamento, calibração de câmera, etc. Em uma modalidade, as características de modelos de câmera/posição da lente 818 podem incluir um intervalo de aproximação/afastamento que é suportado por uma determinada câmera unidade de geração de dados de transmissão 110. Na modalidade da FIG. 8A, as características de confiança 812 ainda incluem características de implementação 822 que pode incluir quaisquer parâmetros ou características de um particular algoritmo que é usado para gerar um mapa de profundidade. Por exemplo, as características de implementação 822 podem incluir, mas não são limitadas a, tamanho de bloco utilizado e função de ajuste utilizados. Na modalidade da FIG. 8A, o dispositivo de estimativa de profundidade 416 pode de forma seletiva combinar as características de confiança 812 em uma maneira ponderada ou não ponderada para gerar valores de confiança que representam uma probabilidade que correspondentes valores de profundidade são precisos para mapas de profundidade em escalas finas tal como mapa de profundidade de nível 2 618 (FIG. 6).
Referindo agora à Fig. 8B, um diagrama de características de
confiança de escala grosseira 814 é mostrado, de acordo com uma modalidade da presente invenção. A modalidade da FIG. 8B é apresentada para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode utilizar características de confiança outras do que aquelas discutidas em conjunto com a modalidade da FIG. 8B.
Na modalidade da FIG. 8B, característica de confiança de escala grosseira 814 incluem características de modelos de câmera/posição da lente 818 e características de implementação 822 que são similares àquelas características identicamente nomeadas discutidas acima em conjunto com a FIG. 8A. Em adição, característica de confiança de escala grosseira 814 podem incluir características de estatística 826 e características de medições 830. Na modalidade da FIG. 8B, características de medições 830 podem incluir quaisquer características que são com base em apropriados dados de medição. Por exemplo, as características de medições 830 podem incluir, mas não são limitadas à, médicos de vetor de movimento e medições de intensidade de pixel.
Na modalidade da FIG. 8B, as características de estatística 826 pode incluir quaisquer características eficazes derivada de apropriados procedimentos de análise de estatísticas. Por exemplo, as características de estatísticas 826 podem incluir, mas não são limitadas à, estatísticas de taxa de otimização ou uma técnica de convergência de Soma de Diferenças Absolutas (SAD) que é ainda discutido abaixo em conjunto com a FIG. 8C. Na modalidade da FIG. 8B, o dispositivo de estimativa de profundidade 416 pode de forma seletiva combinar características de confiança 814 em uma maneira ponderada ou não ponderada para gerar valores de confiança que representam uma probabilidade que correspondentes valores de profundidade são precisos para mapas de profundidade relativamente em escala grosseira tal como o mapa de profundidade de nível 0 626 e o mapa de profundidade de nível 1 622 (ver FIG. 6).
Referindo agora à Fig. 8C, um gráfico ilustrando uma técnica de convergência de Soma de Diferenças Absolutas (SAD) é mostrado, de acordo com uma modalidade da presente invenção. A modalidade da FIG. 8C é apresentada para propósitos de ilustração, e em modalidades alternativas, a presente invenção pode efetuar técnicas de convergência de SAD com configurações e parâmetros em adição à, ou no lugar de, determinadas daquelas configurações e parâmetros discutidos em conjunto com a modalidade da FIG. 8C.
O gráfico da FIG. 8C se refere à informação de estatísticas derivadas a partir do procedimento de estimativa de profundidade usando imagens borradas que é discutido acima em conjunto com as FIGS. 5B - 5C. No gráfico da FIG. 8C, os valores de SAD para pares de imagens borradas fora de foco são mostrados em um eixo horizontal, e velocidades de convergência de iteração para um procedimento de estimativa de profundidade (ver FIGS. 5B- 5C) são mostradas em um eixo vertical. O gráfico da FIG. 8C ainda inclui uma curva classificadora 834 que pode ser derivada em qualquer maneira eficaz para indicar quais valores de profundidade são confiáveis e quais são não confiáveis. Em determinadas modalidades, a curva classificadora 834 pode ser derivada de acordo com as seguintes formulas.
[SADmiaal -SADfma,)
Ite _Convergence = ■
iteração normalizada
iteração al, iteraçao nomaltzada = -
SAD _ conv _ slope =
iteração,^mite
Ite _ Convergence
SADinicjal Em determinadas modalidades, a curva classificadora 834 pode ser gerada com base nas estatísticas empíricas de dados de valor de profundidade observados. Na modalidade da FIG. 8C, os valores de profundidade que se posicionam acima da curva classificadora 834 podem ser considerados confiáveis, enquanto os valores de profundidade que se posicionam abaixo da curva classificadora 834 podem ser considerados não confiáveis.
Referindo agora à Fig. 9, um diagrama para uma modalidade de um mapa de confiança simplificado 922 é mostrado, de acordo com a presente invenção. O mapa de confiança da FIG. 9 922 é apresentado para propósitos de ilustração, e em modalidades alternativas, mapas de confiança podem incluir vários outros componentes e configurações em adição à, ou no lugar de, aqueles componentes e configurações discutidos em conjunto com a modalidade da FIG. 9. Por exemplo, para propósitos de simplicidade, o mapa de confiança 922 da FIG. 9 é mostrado com somente quatro valores de confiança. Esses quatro valores de confiança do mapa de confiança 922 da FIG. 9 podem corresponder aos quatro valores de profundidade do mapa de profundidade 522 anterior da FIG. 5A. Contudo, mapas de confiança com qualquer número de valores de confiança são igualmente contemplados na presente invenção.
Na modalidade da FIG. 9, o mapa de confiança 922 pode ser gerado em qualquer maneira efetiva. Por exemplo, o mapa de confiança 922 pode ser gerado durante a etapa 774 da Fig. 7C, conforme discutido acima. Na FIG. 9 exemplo, mapa de confiança 922 inclui uma valor de confiança A 926(a), um valor de confiança B 926(b), um valor de confiança C 926(c), e um valor de confiança D 926(d). Em determinadas modalidades, o mapa de confiança 922 pode ser fornecido para vários módulos de redução de ruído que pode escolher tratar os valores de profundidade com valores de confiança abaixo de um pré-determinado limite como ruído. A invenção foi explicada acima com referência às determinadas modalidades. Outras modalidades serão aparentes para aqueles com qualificação na técnica à luz desta divulgação. Por exemplo, a presente invenção pode prontamente ser implementada usando configurações e técnicas outras do que aquelas descritas nas modalidades acima. Adicionalmente, a presente invenção pode eficazmente ser usada em conjunto com sistemas outros do que aqueles descritos acima. Por conseguinte, essas e outras variações sobre as modalidades discutidas são pretendidas para serem cobertas pela presente invenção, que é limitada somente pelas reivindicações anexas.
Claims (20)
1. Sistema para gerar um mapa de profundidade bruto, caracterizado pelo fato de compreender: uma estrutura de mapa de profundidade que inclui uma pluralidade de níveis de mapa de profundidade nos quais cada um tem diferentes características de resolução; e um dispositivo de estimativa de profundidade que avalia valores de profundidade a partir dos mencionados níveis de mapa de profundidade para identificar valores de profundidade ótimos para povoar um mapa de profundidade ótimo.
2. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que os níveis de mapa de profundidade incluem um mapa de profundidade em escala fina, um mapa de profundidade em média escala, e um mapa de profundidade em escala grosseira.
3. Sistema de acordo com a reivindicação 2 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade avalia os mencionados valores de profundidade a partir do mencionado mapa de profundidade em escala fina utilizando características de confiança de escala fina.
4. Sistema de acordo com a reivindicação 3, caracterizado pelo fato de que as mencionadas características de confiança de escala fina incluem características de modelo de câmera/posição da lente e características de implementação, as mencionadas características de modelo de câmera/posição da lente incluindo características ópticas, posições de lente, posições de aproximação/afastamento, e parâmetros de calibração de câmera, as mencionadas características de implementação incluindo um tamanho de bloco e um tipo de função de ajuste.
5. Sistema de acordo com a reivindicação 4, caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade avalia os mencionados valores de profundidade a partir do mencionado mapa de profundidade em média escala e do mencionado mapa de profundidade em ejscala grosseira utilizando as mencionadas características de modelo de câmera/posição da lente, as mencionadas características de implementação, e características de confiança de escala grosseira.
6. Sistema de acordo com a reivindicação 5, caracterizado pelo fato de que as características de confiança de escala grosseira incluem características de estatísticas e características de medições, as mencionadas (jaracterísticas de medições incluindo medições de vetor de movimento e medições de intensidade de pixéis, as mencionadas características de Estatística incluindo estatísticas de taxa de otimização e uma técnica de convergência de Soma de Diferenças Absolutas.
7. Sistema de acordo com a reivindicação 6 caracterizado pelo fato de que a mencionada técnica de convergência de Soma de Diferenças Absolutas utiliza uma curva classificadora para indicar quais dos mencionados valores de profundidade são confiáveis e quais são não ponfiáveis, a mencionada curva classificadora sendo gerada com base em estatísticas empíricas dos dados de valor de profundidade observados.
8. Sistema de acordo com a reivindicação 2, caracterizado pelo jfato de que o mencionado dispositivo de estimativa de profundidade gera o mencionado mapa de profundidade em escala fina aplicando uma primeira proporção de compressão para dados de imagem inicial.
9. Sistema de acordo com a reivindicação 8, caracterizado pelo fato de que a primeira proporção de compressão é 1/4, o mencionado mapa de profundidade em escala fina tendo uma configuração de 4 X 4 blocos.
10. Sistema de acordo com a reivindicação 8, caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade I avalia o mencionado mapa de profundidade em escala fina com características de confiança de escala fina selecionadas.
11. Sistema de acordo com a reivindicação 10, caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade categoriza valores de profundidade a partir do mencionado mapa de profundidade em escala fina como um de valores de profundidade de baixa confiança, valores de profundidade de média confiança, e valores de profundidade de alta confiança.
12. Sistema de acordo com a reivindicação 11 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade gera o mencionado mapa de profundidade em média escala aplicando um segunda proporção de compressão para os dados de imagem iniciais, o mencionado dispositivo de estimativa de profundidade também gerando o mencionado mapa de profundidade em escala grosseira aplicando uma terceira proporção de compressão para os dados de imagem iniciais.
13. Sistema de acordo com a reivindicação 12 caracterizado pelo fato de que a mencionada segunda proporção de compressão é 1/8, o mencionado mapa de profundidade em média escala tendo uma configuração de 2 X 2 blocos, a terceira mencionada proporção de compressão sendo 1/16, o mencionado mapa de profundidade em escala grosseira tendo uma configuração de um bloco único.
14. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade avalia o mencionado mapa de profundidade de nível médio e o mencionado mapa de profundidade de nível alto com características de confiança de escala grosseira selecionadas para determinar quaisquer candidatos de valor de profundidade confiáveis.
15. Sistema de acordo com a reivindicação 14 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade efetua um procedimento de redimensionamento espacial para ajustar o tamanho de blocos do mencionado mapa de profundidade em escala grosseira e do mencionado mapa de profundidade em média escala com o mencionado mapa de profundidade em escala fina.
16. Sistema de acordo com a reivindicação 15 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade efetua um procedimento de dimensionamento de magnitude para ajustar intervalos de valor de profundidade do mencionado mapa de profundidade em escala grosseira e do mencionado mapa de profundidade em média escala como o mencionado mapa de profundidade em escala fina.
17. Sistema de acordo com a reivindicação 16 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade efetua um procedimento de atualização com os mencionados candidatos de valor de profundidade confiáveis utilizando uma de uma técnica de seleção e uma técnica de cálculo de média.
18. Sistema de acordo com a reivindicação 17 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade efetua um procedimento de união para criar o mencionado mapa de profundidade otimizado a partir dos mencionados valores de profundidade ótimos do mencionado mapa de profundidade em escala fina, do mencionado mapa de profundidade em média escala, e do mencionado mapa de profundidade em escala grosseira.
19. Sistema de acordo com a reivindicação 18 caracterizado pelo fato de que o mencionado dispositivo de estimativa de profundidade gera um mapa de confiança final correspondendo ao mencionado mapa de profundidade otimizado.
20. Método para gerar um mapa de profundidade bruto, caracterizado pelo fato de efetuar as etapas de: criar uma estrutura de mapa de profundidade que inclui uma pluralidade de níveis de mapa de profundidade os quais cada um tem diferentes características de resolução; e utilizar um dispositivo de estimativa de profundidade para avaliar valores de profundidade a partir dos níveis de mapa de profundidade para identificar valores de profundidade ótimos para povoar um mapa de profundidade ótimo.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161565839P | 2011-12-01 | 2011-12-01 | |
| US61/565,839 | 2011-12-01 | ||
| US13/430,915 | 2012-03-27 | ||
| US13/430,915 US9161010B2 (en) | 2011-12-01 | 2012-03-27 | System and method for generating robust depth maps utilizing a multi-resolution procedure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR102012030034A2 true BR102012030034A2 (pt) | 2013-11-12 |
| BR102012030034B1 BR102012030034B1 (pt) | 2021-05-25 |
Family
ID=47500912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR102012030034-6A BR102012030034B1 (pt) | 2011-12-01 | 2012-11-26 | sistema e método para gerar um mapa de profundidade bruto |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9161010B2 (pt) |
| EP (1) | EP2600618A3 (pt) |
| JP (1) | JP5454821B2 (pt) |
| KR (1) | KR101364421B1 (pt) |
| CN (1) | CN103139469B (pt) |
| BR (1) | BR102012030034B1 (pt) |
| TW (1) | TWI519128B (pt) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013172190A (ja) * | 2012-02-17 | 2013-09-02 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP6140935B2 (ja) | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
| US9240048B2 (en) * | 2012-11-30 | 2016-01-19 | Adobe Systems Incorporated | Depth estimation using three-dimensional epipolar data structures |
| US9214025B2 (en) | 2012-11-30 | 2015-12-15 | Adobe Systems Incorporated | Depth estimation using normalized displacement of image pairs |
| EP3050893B1 (en) | 2013-09-24 | 2020-02-26 | Ajinomoto Co., Inc. | Glycoamino acid and use thereof |
| US9418432B2 (en) | 2014-03-28 | 2016-08-16 | Sony Corporation | Imaging system with depth estimation mechanism and method of operation thereof |
| KR101882931B1 (ko) * | 2014-07-10 | 2018-07-30 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법 |
| US9292926B1 (en) * | 2014-11-24 | 2016-03-22 | Adobe Systems Incorporated | Depth map generation |
| CN105721852B (zh) * | 2014-11-24 | 2018-12-14 | 奥多比公司 | 用于确定深度细化图像捕获指令的方法、存储设备和系统 |
| US10404969B2 (en) | 2015-01-20 | 2019-09-03 | Qualcomm Incorporated | Method and apparatus for multiple technology depth map acquisition and fusion |
| WO2017101108A1 (en) * | 2015-12-18 | 2017-06-22 | Boe Technology Group Co., Ltd. | Method, apparatus, and non-transitory computer readable medium for generating depth maps |
| JP7024736B2 (ja) * | 2017-02-07 | 2022-02-24 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
| CN108810317B (zh) * | 2017-05-05 | 2021-03-09 | 展讯通信（上海）有限公司 | 真实运动估计方法及装置、计算机可读存储介质、终端 |
| CN108234858B (zh) * | 2017-05-19 | 2020-05-01 | 深圳市商汤科技有限公司 | 图像虚化处理方法、装置、存储介质及电子设备 |
| WO2019061064A1 (zh) * | 2017-09-27 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN110349196B (zh) * | 2018-04-03 | 2024-03-29 | 联发科技股份有限公司 | 深度融合的方法和装置 |
| CN109410261B (zh) * | 2018-10-08 | 2021-12-10 | 浙江科技学院 | 基于金字塔池化模块的单目图像深度估计方法 |
| CN109767467B (zh) * | 2019-01-22 | 2020-11-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN111524075B (zh) * | 2020-03-26 | 2023-08-22 | 北京迈格威科技有限公司 | 深度图像滤波方法、图像合成方法、装置、设备及介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176107A (ja) | 1992-12-04 | 1994-06-24 | Canon Inc | 距離画像処理方法及び装置 |
| JPH1051675A (ja) * | 1996-07-29 | 1998-02-20 | Ikegami Tsushinki Co Ltd | フォーカス制御装置およびその方法および記憶媒体 |
| JP4517449B2 (ja) | 2000-05-10 | 2010-08-04 | 株式会社豊田中央研究所 | 画像における相関演算方法 |
| US20030235338A1 (en) | 2002-06-19 | 2003-12-25 | Meetrix Corporation | Transmission of independently compressed video objects over internet protocol |
| JP4069468B2 (ja) * | 2004-01-15 | 2008-04-02 | 充夫 松田 | 映像形成装置 |
| JP4792929B2 (ja) * | 2005-11-14 | 2011-10-12 | 株式会社ニコン | デジタルカメラ |
| US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
| DE102006055641B4 (de) | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
| JP2008309637A (ja) * | 2007-06-14 | 2008-12-25 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
| IL191615A (en) * | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
| US8233077B2 (en) * | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
| JP5062531B2 (ja) * | 2008-06-03 | 2012-10-31 | コニカミノルタホールディングス株式会社 | 画像処理装置および画像処理方法 |
| EP2184713A1 (en) | 2008-11-04 | 2010-05-12 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
| US8164617B2 (en) | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
| US8643701B2 (en) * | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| US8027582B2 (en) * | 2009-12-21 | 2011-09-27 | Sony Corporation | Autofocus with confidence measure |
| US8045046B1 (en) | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
| US20130286017A1 (en) * | 2010-05-07 | 2013-10-31 | David MARIMÓN SANJUAN | Method for generating depth maps for converting moving 2d images to 3d |
-
2012
- 2012-03-27 US US13/430,915 patent/US9161010B2/en active Active
- 2012-11-22 CN CN201210480343.3A patent/CN103139469B/zh active Active
- 2012-11-26 BR BR102012030034-6A patent/BR102012030034B1/pt active IP Right Grant
- 2012-11-27 TW TW101144300A patent/TWI519128B/zh active
- 2012-11-28 EP EP12194524.0A patent/EP2600618A3/en not_active Withdrawn
- 2012-11-28 KR KR1020120136272A patent/KR101364421B1/ko active IP Right Grant
- 2012-11-30 JP JP2012276192A patent/JP5454821B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20130142415A1 (en) | 2013-06-06 |
| US9161010B2 (en) | 2015-10-13 |
| KR20130061636A (ko) | 2013-06-11 |
| TWI519128B (zh) | 2016-01-21 |
| JP5454821B2 (ja) | 2014-03-26 |
| EP2600618A2 (en) | 2013-06-05 |
| TW201338500A (zh) | 2013-09-16 |
| CN103139469A (zh) | 2013-06-05 |
| KR101364421B1 (ko) | 2014-02-17 |
| EP2600618A3 (en) | 2015-04-01 |
| BR102012030034B1 (pt) | 2021-05-25 |
| JP2013117969A (ja) | 2013-06-13 |
| CN103139469B (zh) | 2016-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR102012030034A2 (pt) | Sistema e método para gerar um mapa de profundidade bruto | |
| JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| JP6731738B2 (ja) | 位相検出ピクセルを利用して深さマップを生成するための映像生成装置 | |
| US10475237B2 (en) | Image processing apparatus and control method thereof | |
| US9759548B2 (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
| US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
| CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
| WO2019105261A1 (zh) | 背景虚化处理方法、装置及设备 | |
| JP2007199633A (ja) | 合焦検出装置 | |
| JP2008118555A (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| JP2019204193A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
| KR101803340B1 (ko) | 영상 기반 주행거리 측정 시스템 및 방법 | |
| US9635245B2 (en) | Focus position detection device and focus position detection method | |
| JP2017220885A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP2017138199A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
| US10147169B2 (en) | Image processing device and program | |
| WO2016194576A1 (ja) | 情報処理装置および方法 | |
| JP2022184134A (ja) | 撮像装置およびその制御方法 | |
| JP2013148467A (ja) | 計測装置、方法及びプログラム | |
| JP6501732B2 (ja) | データ処理装置、撮像装置、およびデータ処理装置の制御方法 | |
| JP2019106215A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| TW201942871A (zh) | 立體匹配方法及相應立體匹配裝置 | |
| JP2019037004A (ja) | 画像処理装置、その制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B03A | Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette] | ||
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 26/11/2012, OBSERVADAS AS CONDICOES LEGAIS. |