BR112015031939B1

BR112015031939B1 - Aparelho, sistema e método para processar informações e programa para o mesmo

Info

Publication number: BR112015031939B1
Application number: BR112015031939-4A
Authority: BR
Inventors: Masaki Kitago; Toru Fukushima
Original assignee: Canon Kabushiki Kaisha
Priority date: 2013-06-21
Filing date: 2014-06-17
Publication date: 2022-04-05
Also published as: WO2014204009A1; CN105339757B; EP3011267A1; BR112015031939A2; EP3011267A4; KR101783237B1; US9905011B2; KR20160023790A; US20160148387A1; CN105339757A; JP2015005201A; SG11201510362TA; JP6214233B2

Abstract

APARELHO, SISTEMA E MÉTODO PARA PROCESSAR INFORMAÇÕES E PROGRAMA PARA O MESMO Trata-se de um aparelho de processamento de informações que obtém informações de distância a partir de dados de imagem que inclui uma unidade de entrada 162 e uma unidade de seleção de procedimento 164. A unidade de entrada 162 insere dados de imagem e informações associadas aos dados de imagem e especifica um procedimento para derivar informações de distância. A unidade de seleção de procedimento 164 seleciona pelo menos um entre uma pluralidade de procedimentos com base nas informações que especificam um procedimento para obter informações de distância e deriva informações de distância a partir dos dados de imagem com o uso do procedimento selecionado.

Description

CAMPO DA TÉCNICA

[0001] A presente invenção refere-se a um aparelho de processamento de informações para obter informações de distância a partir de dados de imagem.

FUNDAMENTOS DA TÉCNICA

[0002] Na área de câmeras digitais, um procedimento técnico conhecido na técnica relacionada fornece fotografia computacional para extrair dados de imagem a respeito de uma matéria e informações adicionais a partir da saída de um sensor de imagem e aplicar as informações ao processamento de imagem. Um exemplo é o processo de obtenção de informações a respeito de uma distância até uma matéria a partir de dados de imagem obtidos através de uma câmera digital.

[0003] Um método conhecido para obter informações de distância a partir de dados de imagem é um método de compatibilidade estéreo com base na correlação entre uma pluralidade de dados de imagem que têm paralaxe (PTL 1). Outro método conhecido é um método para obter informações de distância com base na diferença no estado em foco dentre uma pluralidade de imagens em diferentes estados em foco (PTL 2).

[0004] Visto que os processos de obtenção de informações sobre distância exigem cálculos complicados, um método para executar os processos com o uso, não de uma câmera, mas de um dispositivo externo, durante a obtenção de dados de imagem é concebível.

[0005] Entretanto, esse método não é conveniente visto que o processo para obter informações de distância é diferente dependendo do tipo de dados de imagem de entrada, que precisa de software e hardware de processamento dedicados para os dados de imagem individuais.

LISTA DE CITAÇÕES LITERATURA DE PATENTE

[0006] PTL 1 Patente Japonesa Aberta à Inspeção Pública n° 2012-253444

[0007] PTL 2 Patente Japonesa Aberta à Inspeção Pública n° 2013-62803

SUMÁRIO DA INVENÇÃO

[0008] A presente invenção aumenta a conveniência para o processo de obtenção de informações de distância a partir dos dados de imagem.

[0009] A presente invenção fornece um aparelho de processamento de informações que inclui uma unidade de entrada configurada para inserir dados de imagem para derivar informações de distância e informações associadas aos dados de imagem e especificar um procedimento para derivar informações de distância; uma unidade de seleção configurada para selecionar pelo menos um dentre uma pluralidade de procedimentos para derivar informações de distância com base nas informações que especificam um procedimento; e uma unidade de derivação configurada para derivar informações de distância a partir dos dados de imagem com o uso de um procedimento selecionado através da unidade de seleção.

[0010] Os recursos adicionais da presente invenção se tornarão mais evidentes a partir da descrição a seguir de modalidades exemplificativas com referência aos desenhos anexos.

BREVE DESCRIÇÃO DOS DESENHOS

[0011] A Figura 1 é um diagrama que demonstra a configuração de um sistema de processamento de imagem de acordo com uma primeira modalidade da presente invenção.

[0012] A Figura 2A é um diagrama que demonstra a aparência de uma câmera da primeira modalidade da presente invenção.

[0013] A Figura 2B é um diagrama que demonstra uma configuração exemplificativa de uma unidade de captura de imagem da câmera da primeira modalidade.

[0014] A Figura 3 é um diagrama que demonstra a configuração de hardware de uma unidade de processamento de informações da primeira modalidade da presente invenção.

[0015] A Figura 4 é um diagrama que demonstra uma configuração exemplificativa de uma unidade de captura de imagem de uma câmera da primeira modalidade da presente invenção.

[0016] As Figuras 5A e 5B são diagramas que ilustram um método para diferenciar a luz com uma câmera plenóptica.

[0017] A Figura 6 é um diagrama que demonstra uma configuração exemplificativa de uma unidade de captura de imagem de uma câmera da primeira modalidade da presente invenção.

[0018] A Figura 7 é um fluxograma de um processo realizado na câmera da primeira modalidade da presente invenção.

[0019] A Figura 8 é um diagrama que demonstra um exemplo da estrutura de um arquivo de dados de imagem da primeira modalidade da presente invenção.

[0020] A Figura 9A é um diagrama de um exemplo da descrição de dados de gerenciamento nos dados de CPI.

[0021] A Figura 9B é um diagrama que demonstra a relação de correspondência entre os parâmetros e informações de etiqueta.

[0022] A Figura 10 é um fluxograma que demonstra um processo realizado em um computador da primeira modalidade da presente invenção.

[0023] A Figura 11 é um fluxograma de um processo de obtenção de informações sobre distância de acordo com a primeira modalidade da presente invenção.

[0024] A Figura 12 é um diagrama que ilustra um procedimento para calcular a distância com o uso de um método de estéreo.

[0025] As Figuras 13A e 13B são diagramas que demonstram um exemplo de uma imagem plenóptica.

[0026] A Figura 14 é um fluxograma de um processo de obtenção de informações sobre distância de acordo com a primeira modalidade da presente invenção.

[0027] A Figura 15 é um fluxograma de um processo de obtenção de informações sobre distância de acordo com a primeira modalidade da presente invenção.

[0028] A Figura 16 é um fluxograma que demonstra um processo realizado em um computador de uma segunda modalidade da presente invenção.

[0029] A Figura 17 é um diagrama que demonstra a configuração de uma câmera de acordo com uma terceira modalidade da presente invenção.

[0030] A Figura 18 é um diagrama que demonstra uma configuração exemplificativa de uma unidade de captura de imagem da câmera da terceira modalidade.

[0031] A Figura 19 é um fluxograma de um processo realizado na câmera da terceira modalidade.

DESCRIÇÃO DAS MODALIDADES PRIMEIRA MODALIDADE

[0032] Uma primeira modalidade é aplicada a um sistema de processamento de informações para obter informações a respeito da distância de uma matéria a partir de dados de imagem obtidos através de uma câmera digital e para realizar o processamento de imagem nos dados de imagem obtidos com base nas informações de distância.

[0033] A Figura 1 é um diagrama que demonstra a configuração de uma primeira modalidade.

[0034] Um sistema de processamento de informações dessa modalidade é configurado conectando-se as câmeras 100, 120 e 140 a um computador 160.

[0035] A câmera 100 inclui uma unidade de captura de imagem 101, uma unidade de processamento de informações 113, uma unidade de operação 104 e uma unidade de armazenamento 111. A câmera 100 está conectada ao computador 160 através de uma interface de I/O 112.

[0036] A Figura 2A demonstra a aparência da câmera 100. Conforme demonstrado na Figura 2A, a câmera 100 inclui quatro unidades de captura de imagem 101a a 101d e pode obter imagens a partir de uma pluralidade de pontos de vista.

[0037] A Figura 2B demonstra a configuração interna da unidade de captura de imagem 101a. As unidades de captura de imagem 101b a 101d têm a mesma configuração que a unidade de captura de imagem 101a.

[0038] A unidade de captura de imagem 101a inclui lentes de imageamento 201 a 203, um batente de passagem 204 (doravante chamado, simplesmente, de uma passagem), um obturador 205, um filtro de passa-baixa óptico 206, um filtro de recorte infravermelho (IR) 207, um filtro de cor 208, um sensor de imagem 209 e uma unidade de conversão A-D 210. As lentes de imageamento 201 a 203 são a lente de zoom 201 e as lentes de foco 202 e 203, respectivamente. Um usuário pode ajustar a quantidade de luz a ser introduzida na unidade de captura de imagem 101 ajustando-se a passagem 204. Os exemplos do sensor de imagem 209 incluem elementos de recepção de luz, tais como CMOS e um CCD. Quando a quantidade de luz da matéria é detectada através do sensor de imagem 209, a quantidade detectada é convertida para um valor digital através da unidade de conversão A-D 210 e é emitida como dados digitais para a unidade de processamento de informações 113.

[0039] A Figura 3 é um diagrama que demonstra a configuração interna da unidade de processamento de informações 113. A unidade de processamento de informações 113 inclui uma CPU 301, uma RAM 302 e uma ROM 303, que são conectadas mutuamente através de um barramento de sistema 304.

[0040] A CPU 301 é um processador que controla os componentes na câmera 100 como um todo. A RAM 302 funciona como uma memória principal ou uma área de trabalho para a CPU 301. A ROM 303 armazena um programa demonstrado em um fluxograma na Figura 7. A unidade de processamento de informações 113 implanta as funções dos componentes demonstrados na Figura 1 através da CPU 301 realizando a leitura do programa armazenado na ROM 303 como um código de programa e executando o mesmo. A unidade de processamento de informações 113 pode incluir circuitos de processamento dedicado que servem como os componentes demonstrados na Figura 1, além do mencionado acima.

[0041] Os exemplos da unidade de operação 104 incluem dispositivos de entrada fornecidos no corpo principal da câmera, tais como um botão, um demonstrador e um painel sensível ao toque, com os quais o usuário pode inserir instruções para iniciar ou interromper a obtenção de imagem, para definir condições para a obtenção de imagem e assim por diante. Nessa modalidade, o usuário pode definir um modo de processamento interno em que a obtenção de informações de distância e o processamento de imagem são realizados na câmera durante a obtenção de imagem e um modo de processamento externo em que os mesmos são realizados após os dados de imagem serem emitidos para uma unidade externa.

[0042] A unidade de armazenamento 111 é um meio de armazenamento não volátil, tal como um cartão de memória, no qual os dados de imagem obtidos através da unidade de captura de imagem 101 podem ser armazenados.

[0043] A interface de I/O 112 pode usar uma conexão de barramento serial implantada por um barramento serial universal (USB) e tem um conector de USB correspondente (não demonstrado). Obviamente, a conexão de LAN com o uso de uma fibra óptica ou conexão sem fio pode ser usada.

[0044] Em seguida, as configurações das câmeras 120 e 140 serão descritas. Embora as configurações das câmeras 120 e 140 sejam basicamente iguais à da câmera 100, as estruturas das unidades de captura de imagem e os processos realizados através das unidades de obtenção de distância são diferentes. As unidades de obtenção de distância das câmeras 100, 120 e 140 realizam os processos demonstrados nas Figuras 11, 14 e 15, respectivamente. Os detalhes disso serão descritos posteriormente.

[0045] A câmera 120 é uma câmera plenóptica. Uma imagem obtida através de uma câmera plenóptica inclui informações a respeito de múltiplos pontos de vista. Nessa modalidade, uma imagem obtida através de uma câmera plenóptica é chamada de uma imagem plenóptica.

[0046] A Figura 4 é um diagrama que demonstra a configuração interna de uma unidade de captura de imagem 121. A unidade de captura de imagem 121 inclui uma lente de zoom 401, as lentes de foco 402 e 403, uma passagem 404, um obturador 405, um filtro de passa-baixa óptico 406, um filtro de recorte IR 407, um filtro de cor 408, um sensor de imagem 409 e uma unidade de conversão A-D 410. Embora a unidade de captura de imagem 121 tenha uma similar configuração à da unidade de captura de imagem 101a no ponto acima, a mesma inclui, adicionalmente, uma matriz de microlentes 411 em que uma pluralidade de pequenas lentes convexas são dispostas em matriz. Presumindo-se que as lentes de imageamento 401 a 403 sejam uma única lente, a matriz de microlentes 411 está disposta em um único plano de imagem da lente virtual. Dispor a matriz de microlentes 411 no plano de imagem da lente virtual permite que a direção incidente da luz introduzida no sensor de imagem 409 seja diferenciada.

[0047] As Figuras 5A e 5B são diagramas que ilustram um estado em que a luz que sai de uma lente virtual 501 é diferenciada através da matriz de microlentes 411. A luz que sai da metade superior da lente virtual 501 e a luz que sai da metade inferior da lente virtual 501 irradiam diferentes áreas de pixel do sensor de imagem 409. Extrair seletivamente as informações das áreas de pixel permite que informações de múltiplos pontos de vista sejam extraídas da imagem plenóptica.

[0048] A câmera 140 tem uma função de profundidade de desfocalização (DFD) e pode obter uma pluralidade de imagens em diferentes estados em foco. No presente documento, o termo "diferentes estados em foco" significa que o grau de embaçamento de uma imagem de matéria é diferente dependendo da posição da lente, do comprimento focal e a profundidade de campo. Os detalhes de DFD serão descritos posteriormente.

[0049] A Figura 6 é um diagrama que ilustra a configuração interna de uma unidade de captura de imagem 141. Embora a configuração básica seja igual à da unidade de captura de imagem 101a, a unidade de captura de imagem 141 inclui, adicionalmente, uma unidade de acionamento de lente 611 e, assim, pode ajustar a posição em foco acionando-se as lentes de imageamento 601 a 603. A câmera 140 pode obter uma pluralidade de imagens em diferentes posições em foco obtendo-se as imagens antes e após as lentes 601 a 603 serem acionadas.

[0050] Em seguida, a configuração do computador 160 será descrita. O computador 160 inclui uma interface de I/O 161, uma unidade de processamento de informações 173 e uma unidade de armazenamento 172. Como a interface de I/O 112, a interface de I/O 161 tem um conector de USB. O computador 160 é conectado às câmeras 100, 120, e 140 através da interface de I/O 161.

[0051] A configuração interna da unidade de processamento de informações 173 é igual à da unidade de processamento de informações 113 demonstrada na Figura 3. Uma ROM na unidade de processamento de informações 173 armazena um programa demonstrado em um fluxograma na Figura 10.

[0052] A unidade de armazenamento 172 é um meio de armazenamento não volátil, tal como um disco rígido, que pode armazenar, por exemplo, dados de imagem emitidos a partir das câmeras 100, 120 e 140 e dados de imagem que são recém-gerados no computador 160.

[0053] Um processo realizado através do sistema de processamento de informações dessa modalidade será descrito abaixo no presente documento. Os detalhes de um processo de obtenção de informações sobre distância e o processamento de imagem serão descritos posteriormente.

[0054] A Figura 7 é um fluxograma de um processo realizado na câmera 100 quando um modo para realizar o processamento de imagem com base em informações de distância a respeito dos dados de imagem obtidos é definido.

[0055] Primeiro, uma unidade de obtenção 102 obtém dados de imagem emitidos a partir da unidade de captura de imagem 101 e emite os dados de imagem para uma unidade de determinação de modo 103 (etapa S701).

[0056] Em seguida, a unidade de determinação de modo 103 determina um modo de processo definido através da operação da unidade de operação 104 com base em um sinal de instrução a partir da unidade de operação 104 (etapa S702). Se o modo de processo for determinado como o modo de processamento externo, a unidade de determinação de modo 103 emite os dados de imagem para uma unidade de adição de metadados existentes 107 e segue para o processo da etapa S703. Se o modo de processo for determinado como o modo de processamento interno, a unidade de determinação de modo 103 emite os dados de imagem para uma unidade de obtenção de distância 105 e segue para o processo da etapa S711.

[0057] Se o modo de processo for determinado como o modo de processamento interno, a unidade de obtenção de distância 105 obtém informações a respeito da distância da matéria com o uso dos dados de imagem de entrada e emite os dados de imagem de entrada e as informações de distância obtidas, uma em associação com a outra, para uma unidade de processamento de imagem 106 (etapa S711). Nessa modalidade, as informações de distância que a unidade de obtenção de distância 105 obtém são um mapa de distância que demonstra distâncias em posição individual na matéria. O mapa de distância demonstra distâncias em duas dimensões a partir da câmera para a matéria em posições de pixel individuais e é emitido como dados de bitmap. No presente documento, os exemplos de associação incluem emitir dados de imagem e informações de distância como dados em sequência e armazenar, temporariamente, informações que indicam a relação entre dados de imagem e informações de distância na RAM 302, de modo que a CPU 301 possa ler as informações e interpretar as mesmas. O mapa de distância não precisa demonstrar distâncias corretas até a matéria; por exemplo, as informações brutas que indicam distâncias relativas, tais como "primeiro plano", "plano médio" e "plano de fundo", podem ser adicionadas para áreas individuais da matéria.

[0058] Em seguida, a unidade de processamento de imagem 106 realiza o processamento de imagem nos dados de imagem de entrada com base no mapa de distância associado aos dados de imagem de entrada (etapa S712). A unidade de processamento de imagem 106 associa, adicionalmente, os dados de imagem gerada através do processamento de imagem com os dados de imagem de entrada e emite os dados de imagem associados à unidade de adição de metadados existentes 107.

[0059] Em seguida, a unidade de adição de metadados existentes 107 adiciona metadados definidos em um formato de arquivo-padrão existente aos dados de imagem de entrada e emite os dados de imagem para uma unidade de adição de metadados de obtenção de distância 108 (etapa S703). Isso permite que o usuário abra um arquivo de saída para verificar uma imagem até mesmo com o software que não suporta o formato de arquivo dessa modalidade. Os metadados existentes a serem adicionados são definidos em um formato de arquivo de imagem identificado (TIFF) ou Exif, que são formatos de arquivo-padrão existentes e inclui parâmetros de obtenção de imagem para um dentre uma pluralidade de itens de dados de imagem de entrada. Nessa modalidade, isso inclui parâmetros de obtenção de imagem de dados de imagem obtidos através da unidade de captura de imagem 101a. O formato dos metadados a serem adicionados não é limitado a TIFF e Exif, porém, pode ser um formato definido em outro formato de arquivo-padrão. Os metadados existentes a serem adicionados podem ser metadados de dados de imagem obtidos através de uma unidade de captura de imagem diferente da unidade de captura de imagem 101a.

[0060] Em seguida, a unidade de adição de metadados de obtenção de distância 108 adiciona metadados para uso na obtenção de informações de distância a partir de dados de imagem de entrada aos dados de imagem e emite os mesmos como um arquivo de dados de imagem 801 para uma unidade de codificação 109 (etapa S704).

[0061] A estrutura do arquivo de dados de imagem 801 será descrita abaixo no documento. A Figura 8 é um diagrama que demonstra a estrutura de dados do arquivo de dados de imagem 801 dessa modalidade. O formato de arquivo dessa modalidade permite que tanto os dados de imagem obtidos a partir de uma pluralidade de pontos de vista e dados de imagem obtidos em uma pluralidade de estados em foco a ser armazenada. O Cabeçalho de TIFF, TIFF 0o IFD e Exif IFD são metadados definidos em TIFF e Exif, que são formatos de arquivo-padrão existentes. Esses metadados são adicionados aos dados de imagem através da unidade de adição de metadados existentes na etapa S703. Os dados de imageamento computacional (CPI) 802 incluem os parâmetros para gerenciar dados de imagem individuais incluídos no arquivo de dados de imagem 801. Os dados de CPI 802 incluem, adicionalmente, parâmetros para uso na obtenção de informações de distância a partir de dados de imagem incluídos no arquivo de dados de imagem 801. Os metadados para uso na obtenção de informações de distância nessa modalidade são dados de CPI 802. A unidade de adição de metadados de obtenção de distância 108 adiciona os dados de CPI 802 aos dados de imagem.

[0062] Os dados de CPI 802 incluem, basicamente, informações de gerenciamento 803, informações de ponto de vista 804 e informações de imagem 805. Os dados de CPI 802, as informações de gerenciamento 803, as informações de ponto de vista 804 e as informações de imagem 805 são dotadas de áreas de dados suficientes antecipadamente, de modo que a adição e a correção de informações possam ser livremente realizadas.

[0063] As informações de gerenciamento 803 incluem informações para gerenciar o arquivo de dados de imagem 801.

[0064] O Tipo de Imagem é um parâmetro que indica o tipo de dados de imagem obtidos no arquivo de dados de imagem 801. Se os dados de imagem obtidos forem dados de imagem plenótica, 1 é inserido, de outro modo, 0 é definido. Os dados de imagem obtidos se referem a dados de imagem obtidos através da obtenção de imagem com o uso de uma câmera.

[0065] O Método de Profundidade é um parâmetro que indica um procedimento para uso na obtenção de informações de distância. Se as informações de distância forem obtidas com base na paralaxe de imagens de múltiplas vistas, 1 é inserido; se as informações de distância forem obtidas com base na paralaxe de informações de múltiplas vistas em dados de imagem plenótica, 2 é inserido; e se as informações de distância forem obtidas com o uso de um método de DFD, 3 é inserido. Se as informações de distância já estiverem presentes e nenhuma informação de distância adicional for necessária, 0 é inserido.

[0066] A Imagem Usada é a quantidade de dados de imagem para uso na obtenção de informações de distância, que são inseridos em ordem do número de um ponto de vista e o número de dados de imagem no ponto de vista. Nesse formato, os itens individuais dos dados de imagem recebem o número de um ponto de vista em que os dados de imagem são obtidos e um número que indica a posição ordinal dos dados de imagem obtidos no ponto de vista. Por exemplo, os dados de imagem obtidos em terceiro no primeiro ponto de vista recebem o número 1 de ponto de vista e número 3 de dados de imagem no ponto de vista. Dessa forma, se os dados de imagem com o número 1 de ponto de vista e o número 1 de dados de imagem e os dados de imagem com o número 2 de ponto de vista e o número 1 de dados de imagem forem usados, quatro valores, 1, 1, 2 e 1 são inseridos na Imagem Usada. Se os dados de imagem obtidos forem dados de imagem plenótica e o Método de Profundidade for 2, o número de ponto de vista dos dados de imagem plenótica usados e o número de dados de imagem no ponto de vista são descritos. Nesse caso, um parâmetro que indica um ponto de vista para uso na obtenção de informações de distância é adicionado a partir de uma pluralidade de pontos de vista incluídos nos dados de imagem plenótica.

[0067] O número de Pontos de vista X e o Número de Pontos de vista Y são parâmetros que indicam os números de pontos de vista na direção horizontal e na direção vertical incluídos no arquivo de dados de imagem 801, respectivamente. Nessa modalidade, ambos são 2.

[0068] A Imagem Representativa é um parâmetro que indica a quantidade de dados de imagem típicos na pluralidade de itens de dados de imagem incluídos no arquivo de dados de imagem 801. Como a Imagem Usada, a quantidade de dados da imagem representativa é inserida na ordem de um número de ponto de vista e a quantidade de dados de imagem no ponto de vista.

[0069] O Deslocamento de Ponto de Vista é um indicador para cada uma das informações de ponto de vista. O endereço de início de cada uma das informações de ponto de vista é inserido como um valor.

[0070] As informações de ponto de vista 804 incluem informações a respeito de pontos de vista que correspondem a dados de imagem individuais incluídos no formato de arquivo de imagem.

[0071] O Vetor de Translação é a posição do vetor do ponto de vista, ao qual as coordenadas espaciais tridimensionais, se as coordenadas de um ponto de vista de referência (um ponto de vista em que uma imagem representativa-padrão é incluída) forem (0, 0, 0), são inseridas em milímetros. O uso do parâmetro permite que a paralaxe entre os pontos de vista seja obtida. Em outras palavras, esse parâmetro inclui informações a respeito da paralaxe de uma pluralidade de itens de dados de imagem incluídos no arquivo de dados de imagem 801. Visto que essa modalidade considera que as quatro unidades de captura de imagem 101a a 101d estejam presente no mesmo plano, todos os componentes perpendiculares ao plano são 0.

[0072] A Matriz de Rotação é uma matriz de rotação tridimensional que indica a direção do ponto de vista. Um valor com base em um ângulo de rotação em relação aos três eixos de rotação ortogonais é inserido na Matriz de Rotação.

[0073] O Tamanho X de Sensor e Tamanho Y de Sensor são os tamanhos do sensor de imagem nas direções horizontal e vertical, que são inseridas em milímetros.

[0074] A Quantidade de Imagens é um parâmetro que indica a quantidade de imagens obtidas a partir do ponto de vista. Por exemplo, se duas imagens forem obtidas a partir do ponto de vista, 2 é inserido na Quantidade de Imagens.

[0075] O Deslocamento de Imagem é um indicador para as informações a respeito de cada imagem obtida no ponto de vista. Um endereço de início para cada uma das informações de imagem exigidas é inserido como um valor.

[0076] A Quantidade de Mapas de Profundidade é a quantidade de mapas de distância correspondentes ao ponto de vista incluído no arquivo de dados de imagem 801. Se o modo de processamento externo for selecionado, um mapa de distância ainda não foi obtido em tal momento no tempo, 0 é inserido nessa modalidade.

[0077] O Deslocamento de Mapa de Profundidade é um indicador para as informações de mapa de distância correspondentes ao ponto de vista, que assume um valor de um endereço de início para as informações de mapa de distância. As informações de mapa de distância incluem informações a respeito de um mapa de distância incluído no arquivo de dados de imagem 801. Embora a configuração básica das informações de mapa de distância seja igual à das informações de imagem 805, descritas posteriormente, um parâmetro para a quantização do mapa de distância é adicionado.

[0078] As informações de imagem 805 incluem informações a respeito de dados de imagem correspondentes aos pontos de vista individuais.

[0079] Primeiro, o início das informações de imagem 805 descreve um parâmetro de imagem geral definido, por exemplo, em TIFF. Por exemplo, descreve o tamanho, resolução e quantidade de bits por pixel da imagem.

[0080] O Comprimento Focal é o comprimento focal da lente de imageamento quando a imagem é obtida, que é inserido em milímetros.

[0081] A Distância de Objeto é a posição de um plano focal da matéria, calculado a partir da posição e do comprimento focal da lente de imageamento, que é inserida em milímetros. A diferença no estado em foco entre uma pluralidade de itens de dados de imagem incluídos no arquivo de dados de imagem 801 pode ser obtida a partir da diferença no Comprimento Focal e da Distância de Objeto descrita acima. Em outras palavras, o Comprimento Focal e a Distância de Objeto incluem informações a respeito da diferença no estado em foco de uma pluralidade de itens dos dados de imagem incluídos no arquivo de dados de imagem 801.

[0082] O Deslocamento de Dados de Imagem é um indicador para dados reais a respeito de cada imagem e assume o valor de um endereço de início para os dados reais nos dados de imagem.

[0083] O arquivo de dados de imagem 801 pode incluir informações de dados de imagem gerada em adição às informações acima. As informações de dados de imagem gerada incluem informações a respeito de dados de imagem gerada, por exemplo, através do processamento de dados de imagem obtidos. Embora a configuração básica das informações de dados de imagem gerada seja igual à das informações de imagem 805, um parâmetro que indica que são dados de imagem gerada, um parâmetro que indica a quantidade de dados de imagem original, e assim por diante, são adicionados.

[0084] A Figura 9A demonstra um exemplo de descrição dos dados de gerenciamento nos dados de CPI 802. Obviamente, a forma de descrição dos dados de CPI 802 não é limitada a esse exemplo. Os dados de gerenciamento nesse exemplo de descrição incluem informações de etiqueta de 2 bytes, informações de formato de dados de 2 bytes, informações de contagem de dados de 4 bytes, e um valor de dados em ordem em notação hexadecimal. A Figura 9B é um diagrama que demonstra a relação de correspondência entre os parâmetros e informações de etiqueta. Os parâmetros individuais nos dados de CPI 802 são reconhecidos com base nas informações de etiqueta. As informações de formato de dados correspondem a formatos de dados em que numerais individuais são definidos antecipadamente. Nessa modalidade, 3 corresponde ao tipo curto (número inteiro curto de 2 bytes) e 4 corresponde ao tipo longo (número inteiro longo de 4 bytes). A unidade de adição de metadados de obtenção de distância 108 adiciona tais dados aos dados de imagem e emite os mesmos como o arquivo de dados de imagem 801 para a unidade de codificação 109.

[0085] Em seguida, a unidade de codificação 109 codifica o arquivo de dados de imagem de entrada 801 (etapa S705). A codificação pode ser realizada através de codificação de imagem de vista única, tal como JPEG ou PNG ou codificação de imagem de múltiplas vistas, tais como codificação de vídeo de múltiplas vistas (MVC) para cada um dos dados de imagem. A unidade de codificação 109 emite o arquivo de dados de imagem codificado 801 para uma unidade de saída 110.

[0086] A unidade de saída 110 emite o arquivo de dados de imagem codificado 801 para a unidade de armazenamento 111 para armazenamento (etapa S706).

[0087] Esse é o processo realizado na câmera 100. Embora os processos realizados nas câmeras 120 e 140 sejam basicamente iguais aos da câmera 100, os processos realizados através das unidades de obtenção de distância 125 e 145 são diferentes (etapa S711). Para a câmera 110, a etapa S711 corresponde ao fluxograma da Figura 11; para a câmera 120, a etapa S711 corresponde ao fluxograma da Figura 14; e para a câmera 140, a etapa S711 corresponde ao fluxograma na Figura 15, cujos detalhes serão descritos posteriormente.

[0088] Em seguida, um processo realizado no computador 160 será descrito. A Figura 10 é um fluxograma que demonstra o processo realizado no computador 160.

[0089] Primeiro, uma unidade de entrada 162 recebe o arquivo de dados de imagem 801 para processamento externo armazenado nas unidades de armazenamento 111, 131 e 151 através da interface de I/O 161 e insere o mesmo em uma unidade de decodificação 163 (etapa S1001).

[0090] Em seguida, a unidade de decodificação 163 decodifica o arquivo de dados de imagem 801 inseridos através da unidade de entrada 162 (etapa S1002).

[0091] Em seguida, uma unidade de seleção de procedimento 164 lê metadados incluídos no arquivo de dados de imagem decodificado 801 (etapa S1003).

[0092] Em seguida, a unidade de seleção de procedimento 164 determina se a unidade de processamento de informações 173 tem uma unidade de obtenção de distância correspondente aos dados de imagem de entrada com base nas informações que especificam um procedimento de obtenção de distância incluído nos metadados lidos (etapa S1004). Nessa modalidade, isso é determinado com base no valor do Método de Profundidade nos dados de CPI 802. Se o Método de Profundidade não for 1, 2 ou 3, a unidade de processamento de informações 173 não tem uma unidade de obtenção de distância correspondente aos dados de imagem e, assim, o processo segue para a etapa S1010. Na etapa S1010, uma unidade de saída de sinal de erro 168 emite um sinal de erro a uma seção de notificação (não demonstrada), em que a seção de notificação notifica o usuário a respeito do erro e a unidade de processamento de informações 173 sai do processo. Se a unidade de processamento de informações 173 tiver uma unidade de obtenção de distância correspondente, o processo segue para a etapa S1005.

[0093] Em seguida, a unidade de seleção de procedimento 164 seleciona um procedimento de obtenção de distância correspondente às informações descritas nos metadados incluídos no arquivo de dados de imagem 801 e emite o arquivo de dados de imagem 801 para a unidade de obtenção de distância correspondente ao procedimento (etapa S1005). Nessa modalidade, se o Método de Profundidade for 1, os dados de imagem são emitidos para uma unidade de obtenção de distância 165, se o Método de Profundidade for 2, os dados de imagem são emitidos para uma unidade de obtenção de distância 166 e se o Método de Profundidade for 3, os dados de imagem são emitidos para uma unidade de obtenção de distância 167. A determinação é realizada com base em uma tabela de consulta, armazenada na unidade de processamento de informações 173, em que a relação de correspondência entre o Método de Profundidade e as unidades de obtenção de distância é demonstrada. No presente documento, as unidades de obtenção de distância 165 a 167 são configuradas como uma pluralidade de módulos de processamento em um software idêntico. Essa configuração permite que um único software lide com vários itens de dados de imagem aumentando, assim, a conveniência. Obviamente, as unidades de obtenção de distância 165 a 167 podem ser configuradas como uma pluralidade de circuitos de processamento em uma única unidade de processamento.

[0094] A unidade de obtenção de distância correspondente obtém informações de distância a partir dos dados de imagem incluídos no arquivo de dados de imagem 801 e as informações de distância obtidas são adicionalmente associadas ao arquivo de dados de imagem de entrada 801 e são emitidas para uma unidade de processamento de imagem 169 (etapa S1006). As informações de distância obtidas são adicionadas ao arquivo de dados de imagem 801 em associação com o ponto de vista da imagem que é usada para obter informações de distância. Em outras palavras, os dados de imagem do mapa de distância obtido são recém-adicionados ao arquivo de dados de imagem 801 e a Quantidade de Mapas de Profundidade e o Deslocamento de Mapa de Profundidade das informações de ponto de vista a respeito do ponto de vista que é usado para obter informações de distância são atualizados. Se o processo para obter a distância com base na paralaxe de dados de imagem com diferentes pontos de vista for realizado, as informações de distância obtidas são associadas ao ponto de vista de uma imagem-padrão dentre as imagens usadas para obter as informações de distância. A imagem-padrão é uma imagem em que o número de ponto de vista e o número de imagem são descritos primeiro dentre uma pluralidade de imagens indicadas através da Imagem Usada. A imagem- padrão pode ser especificada através de outro método, por exemplo, adicionando-se metadados que indicam o número da imagem-padrão. É possível, ainda, extrair os dados de imagem-alvo a serem processados e emitir apenas os dados de imagem extraídos e as informações de distância obtidas para a unidade de processamento de imagem 169 como um único arquivo, sem adicionar informações de distância ao arquivo de dados de imagem 801.

[0095] Em seguida, a unidade de processamento de imagem 169 processa os dados de imagem incluídos no arquivo de dados de imagem 801 com o uso das informações de distância obtidas para gerar os dados de imagem processados e emite os dados de imagem para uma unidade de codificação 170 em associação com o arquivo de dados de imagem 801 (etapa S1007). Esse processamento de imagem é realizado através da unidade de processamento de imagem 169 independentemente do procedimento usado para obter as informações de distância com as unidades de obtenção de distância individuais 165 a 167. A unidade de processamento de imagem 169 é um único módulo de processamento no mesmo software que as unidades de obtenção de distância 165 a 167. Isso elimina a necessidade de preparação de uma pluralidade de unidades de processamento dependendo do tipo de dados de imagem de entrada diminuindo, assim, o tamanho dos dados do software. Obviamente, outra unidade de processamento de imagem para um processamento separado de imagem pode ser preparada. No presente documento, a unidade de processamento de imagem 169 processa a imagem- padrão usada para obter informações de distância com referência à Imagem Usada. A imagem a ser processada não se limita à imagem-padrão; por exemplo, uma imagem indicada através da Imagem Representativa pode ser usada. Novos metadados que indicam uma imagem-alvo a ser processada podem ser adicionados para cada tipo de processamento de imagem e uma imagem indicada pelos metadados pode ser usada. Se apenas uma imagem for incluída no arquivo de entrada, a imagem é submetida ao processamento de imagem.

[0096] Em seguida, a unidade de codificação 170 codifica o arquivo de dados de imagem 801 inserido a partir da unidade de processamento de imagem 169 e emite o arquivo de dados de imagem codificado 801 para uma unidade de saída 171 (etapa S1008).

[0097] Por fim, a unidade de saída 171 emite o arquivo de dados de imagem codificado 801 para a unidade de armazenamento 172 (etapa S1009).

[0098] Esse é o fluxo do processo realizado no computador 160. Os detalhes do processo de obtenção de informações a respeito da distância (etapa S711) realizado nas câmeras 100, 120 e 140 e no computador 160 serão descritos. O processo na etapa S711 difere entre uma unidade de obtenção de distância e outra.

[0099] Primeiramente, um processo realizado através da unidade de obtenção de distância 105 será descrito.

[0100] A unidade de obtenção de distância 105 obtém as informações de distância com base na paralaxe de imagens de múltiplas vistas obtidas através das unidades de captura de imagem 101a a 101d. A Figura 11 é um fluxograma que demonstra os detalhes de um processo realizado através da unidade de obtenção de distância 105.

[0101] Primeiramente, a unidade de obtenção de distância 105 obtém dados de imagem inseridos de múltiplas vistas a partir da unidade de determinação de modo 103 (etapa S1101).

[0102] Em seguida, a unidade de obtenção de distância 105 seleciona uma imagem-padrão que serve como um padrão para obter informações de distância e uma imagem de referência para ser considerada para informações de distância dos dados de imagem inseridos de múltiplas vistas (etapa S1102). Nessa modalidade, uma imagem descrita primeiro na Imagem Usada é a imagem-padrão e uma imagem descrita em seguida é a imagem de referência.

[0103] Em seguida, a unidade de obtenção de distância 105 calcula a paralaxe entre a imagem-padrão e a imagem de referência (etapa S1103). Isso é chamado de uma paralaxe-padrão. A paralaxe-padrão é calculada buscando-se um ponto em que a imagem-padrão e a imagem de referência correspondem uma à outra. Um ponto correspondente ao ponto A na imagem-padrão é buscado na imagem de referência e a diferença na coordenada x na imagem entre o ponto A' reconhecido como um ponto correspondente e o ponto A é obtido como uma paralaxe. A busca por um ponto correspondente é realizada para todos os pixels para calcular a paralaxe- padrão.

[0104] Há vários métodos para buscar por um ponto correspondente. Um exemplo é um método de busca por um ponto correspondente de área por área para encontrar uma paralaxe em que o valor de custo (diferença de cor) seja o menor. Outro exemplo é um método de busca de um ponto correspondente de pixel por pixel para calcular um valor de custo e suavizar o custo calculado com o uso de um filtro de preservação de borda para encontrar uma paralaxe em que o valor de custo seja o menor.

[0105] Em seguida, a unidade de obtenção de distância 105 calcula a paralaxe entre a imagem de referência e a imagem-padrão (etapa S1104). Isso é chamado de uma paralaxe de referência. A paralaxe de referência é calculada através de um método igual ao da paralaxe-padrão. No presente documento, um ponto correspondente é buscado com referência à imagem de referência e, assim, o ponto B' correspondente ao ponto B na imagem de referência é buscado a partir da imagem-padrão.

[0106] Em seguida, a unidade de obtenção de distância 105 compara a paralaxe- padrão obtida na etapa S1103 e a paralaxe de referência obtida na etapa S1104, pixel por pixel para determinar uma área correspondente e uma área não correspondente para a paralaxe (etapa S1105). No presente documento, a área correspondente é uma área em que a diferença entre a paralaxe-padrão e a paralaxe de referência é igual ou menor do que um valor de limiar e em que a confiabilidade da paralaxe é alta e a área não correspondente é uma área em que a diferença entre a paralaxe-padrão e a paralaxe de referência é maior do que o valor de limiar e em que a confiabilidade da paralaxe é baixa. Por exemplo, se a imagem de matéria incluir um padrão repetido ou uma área de oclusão, a confiabilidade da área tende a ser baixa.

[0107] Em seguida, a unidade de obtenção de distância 105 corrige a paralaxe- padrão da área não correspondente determinada na etapa S1105 (etapa S1106). Visto que a área não correspondente tem uma baixa confiabilidade na paralaxe, conforme descrito acima, a paralaxe-padrão da área não correspondente é corrigida através da interpolação com a paralaxe-padrão de uma área correspondente de alta confiabilidade circundante.

[0108] Em seguida, a unidade de obtenção de distância 105 calcula uma distância a partir da paralaxe-padrão até a matéria (etapa S1107). A distância a partir da paralaxe-padrão é calculada através de um método de estéreo. A Figura 12 é um diagrama que ilustra um procedimento para calcular a distância com o uso do método de estéreo. Uma distância d a partir de um plano que tem um ponto de vista A e um ponto de vista B até um objeto 1201 é calculada com o uso da Equação 1 com base nos ângulos α e β e um comprimento de base l. [MAT. 1.]

[0109] Nessa modalidade, os ângulos α e β são determinados com base nos ângulos de visão das unidades de captura de imagem que obtêm imagens em pontos de vista individuais e a paralaxe-padrão obtida na etapa S1106. Os ângulos de visão das unidades de captura de imagem individuais são calculados a partir dos valores do Tamanho do Sensor e do Comprimento Focal incluídos nos dados de CPI 802. O comprimento de base l é calculado a partir dos valores do Vetor de Translação dos pontos de vista individuais incluídos nos dados de CPI 802.

[0110] Por fim, a unidade de obtenção de distância 105 gera um mapa de distância com base na distância calculada na etapa S1107 e emite os mesmos (etapa S1108). A distância calculada é linearmente quantizada em 8 bits e é emitida como dados de bitmap que indicam as distâncias em posições individuais na matéria.

[0111] Esse é o processo realizado através da unidade de obtenção de distância 105. Obviamente, o processo realizado através da unidade de obtenção de distância 105 não é limitado ao método descrito na presente modalidade; qualquer outro método com o uso de imagens de referência em uma pluralidade de pontos de vista gerados a partir de dados de imagem de múltiplas vistas pode ser usado.

[0112] Em seguida, um processo realizado através da unidade de obtenção de distância 125 será descrito. A Figura 14 é um fluxograma que demonstra o processo da unidade de obtenção de distância 125.

[0113] A unidade de obtenção de distância 125 obtém informações de distância com base na paralaxe das imagens de múltiplas vistas conforme a unidade de obtenção de distância 105, porém, difere no processo da unidade de obtenção de distância 105 visto que os dados de imagem inseridos a partir da câmera 120 são um único item de dados de imagem plenótica. Por exemplo, embora a unidade de obtenção de distância 105 busque um ponto correspondente a partir de duas imagens, a imagem-padrão e a imagem de referência, a unidade de obtenção de distância 125 busca um ponto correspondente em uma única imagem plenóptica.

[0114] Um método para buscar um ponto correspondente em uma imagem plenóptica será descrito com o uso das Figuras 13A e 13B. A imagem plenóptica inclui informações que podem ser extraídas a respeito da luz que percorreu através de uma pluralidade de áreas virtuais divididas de uma lente principal, conforme demonstrado na Figura 13A. Nessa modalidade, a lente principal é a lente virtual 501 quando supõe-se que as lentes de imageamento 401 a 403 sejam uma única lente.

[0115] Conforme demonstrado na Figura 13B, a luz que percorreu através de uma área a da lente principal insere um grupo de pixels 1301a e a luz que percorreu uma área b da lente principal insere um grupo de pixels 1301b no sensor. Em outras palavras, a saída do grupo de pixels 1301a inclui informações a respeito de um ponto de vista correspondente à área a da lente e a saída do grupo de pixels 1301b inclui informações a respeito de um ponto de vista correspondente à área b da lente.

[0116] Dessa forma, quando a paralaxe entre dois pontos de vista precisar ser determinada através da busca de ponto correspondente, a saída do grupo de pixels 1301a será substituída pela imagem-padrão e a saída do grupo de pixels 1301b será substituída pela imagem de referência e um processo igual ao da unidade de obtenção de distância 105 pode ser realizado.

[0117] Um processo real realizado através da unidade de obtenção de distância 125 será descrito. A Figura 14 é um fluxograma que demonstra o processo da unidade de obtenção de distância 125.

[0118] Primeiramente, a unidade de obtenção de distância 125 obtém dados de imagem plenótica de entrada (etapa S1401).

[0119] Em seguida, a unidade de obtenção de distância 125 seleciona um ponto de vista-padrão que serve como um padrão para obter informações de distância e um ponto de vista de referência para ser considerado para obter informações de distância a partir dos dados de imagem plenótica inseridos (etapa S1402). Nessa modalidade, um ponto de vista descrito primeiro na Imagem Usada é o ponto de vista-padrão e um ponto de vista descrito em seguida é o ponto de vista de referência.

[0120] Em seguida, a unidade de obtenção de distância 125 calcula uma paralaxe-padrão (etapa S1403). Diferente da etapa S1103, a paralaxe-padrão é calculada através da busca por um ponto correspondente em um grupo de pixels- padrão e um grupo de pixels de referência.

[0121] Em seguida, a unidade de obtenção de distância 125 calcula uma paralaxe de referência (etapa S1404). Diferente da etapa S1104, a paralaxe de referência é calculada através da busca por um ponto correspondente no grupo de pixels de referência e no grupo de pixels-padrão.

[0122] Em seguida, o processo das etapas S1105 a S1108 é realizado e o processo é finalizado. Esse é o processo realizado através da unidade de obtenção de distância 125.

[0123] Em seguida, um processo realizado através da unidade de obtenção de distância 145 será descrito. A unidade de obtenção de distância 145 usa um método de profundidade do desfocalização (DFD) para obter informações de distância a respeito da matéria com base na diferença no estado em foco entre duas imagens. O método para obter informações de distância com o uso do método de DFD será descrito abaixo.

[0124] Supõe-se que um objeto na distância D1 seja projetado em uma posição de plano de imagem d1. Nesse momento, uma imagem i1 se expande com um embaçamento. A imagem i1 pode ser expressada através da convolução de uma função de espalhamento de ponto PSF1 e uma cena s nesse momento. [MAT. 2.]

em que, modelar PSF com o uso de um círculo de confusão como um parâmetro e estimar PSF a partir da imagem i1 permite que o círculo de confusão seja calculado. Ademais, uma posição de imageamento pode ser obtida a partir do círculo de confusão, de modo que a distância possa ser calculada através da Equação 2.

[0125] Entretanto, visto que a cena s é desconhecida na Equação 2, um circulo de confusão correto não pode ser obtido. Dessa forma, uma imagem é obtida em uma posição de plano de imagem diferente d2. Essa imagem é chamada de i2.

[0126] As transformadas de Fourier das imagens i1 e i2 são expressadas como OTF1 x S e OTF2 x S, respectivamente, em que S é uma transformada de Fourier da cena s, OTF1 é uma função de transferência óptica (OTF) de uma transformada de Fourier de PSF1 da primeira imagem obtida e OTF2 é uma OTF da segunda imagem obtida. Em seguida, a razão entre as duas imagens é expressada como: [MAT. 3]

[0127] Dessa forma, a razão OTFr que não depende da cena é calculada. Com o uso de uma tabela que demonstra a relação entre OTFr e as informações de distância e as funções permitem que as informações de distância a respeito da matéria sejam obtidas com base na OTFr calculada.

[0128] Em seguida, um processo real realizado na unidade de obtenção de distância 145 nessa modalidade será descrito. A Figura 15 é um fluxograma que demonstra o processo da unidade de obtenção de distância 145.

[0129] Primeiramente, a unidade de obtenção de distância 145 obtém dois itens de dados de imagem I1 e I2 inseridos a partir da unidade de determinação de modo 143 (etapa S1501). A unidade de obtenção de distância 145 realizada o processo de obtenção de distância, pixel por pixel em todos os pixels com o uso de dois itens de dados de imagem I1 e I2. Obviamente, não há a necessidade de realizar o processo de obtenção de distância em todos os pixels; isso pode ser realizado de vários em vários pixels ou alternativamente, apenas em pixels predeterminados. Ademais, a área-alvo do processo de obtenção de distância não precisa ser um pixel; uma área composta por uma pluralidade de pixels pode ser submetida ao processo de obtenção de distância. A quantidade de itens de dados de imagem para uso na obtenção de distância não é limitada a dois; três ou mais itens de dados de imagem podem ser usados para a obtenção de distância.

[0130] Em seguida, a unidade de obtenção de distância 145 determina pixels de medição através da realização de varredura das coordenadas X-Y na imagem e corta pixels periféricos necessários para a obtenção de distância (etapa S1502). Nesse momento, é genericamente necessário cortar a mesma área em dois itens de dados de imagem obtidos I1 e I2. As imagens de corte (uma área de imagem que inclui os pixels-alvo e seus pixels circundantes) são chamadas de imagens de área selecionada C1 e C2, respectivamente. O tamanho das áreas a serem cortadas pode ser pequeno para reduzir o tempo de processamento e pode ser grande até certo ponto para reduzir a influência de ruído para derivar uma solução estável. O tamanho das áreas a serem cortadas também depende do tamanho de um embaçamento nas imagens obtidas. Visto que as câmeras digitais compactas têm pequenos sensores de imagem e têm pouco embaçamento, o tamanho das áreas a serem cortadas pode ser pequeno. Especificamente, o tamanho de área cortada para câmeras digitais compactas é, preferencialmente, de cerca de 10 pixels para processamento em alta velocidade, cerca de 60 pixels para influência reduzida de ruído e, mais preferencialmente, de cerca de 15 a 30 pixels quando equilibrado.

[0131] Em seguida, a unidade de obtenção de distância 145 realiza uma transformada de Fourier nas imagens de área selecionadas C1 e C2 para transformar as imagens C1 e C2 em imagens de domínio de frequência F1 e F2 (etapa S1503). Outro método de transformação, tal como a transformação de cosseno discreta ou transformação de ondeleta, pode ser usado considerando-se a quantidade de cálculo.

[0132] Em seguida, a unidade de obtenção de distância 145 compara as duas imagens de domínio de frequência F1 e F2 para detectar uma banda de frequência característica que tem um espectro intenso (etapa S1504). Visto que as imagens de transformada de Fourier F1 e F2 no domínio de frequência têm muitos componentes de baixa frequência, os componentes de corrente contínua podem ser removidos e o logaritmo pode ser obtido. Ademais, visto que se sabe genericamente que as intensidades dos componentes de frequência individuais são inversamente proporcionais a uma frequência f, as imagens de domínio de frequência calculadas F1 e F2 podem ser corrigidas dependendo da frequência, por exemplo, multiplicando-se o resultado por f. Dessa forma, uma simples comparação entre os valores nas imagens de domínio de frequência permite que uma banda de frequência característica que existe mais seja detectada.

[0133] Em seguida, a unidade de obtenção de distância 145 cria um filtro BF que permite que a banda de frequência característica detectada na etapa S1504 atravesse (etapa S1505).

[0134] Em seguida, a unidade de obtenção de distância 145 filtra as imagens de domínio de frequência F1 e F2 com o filtro BF para obter imagens de domínio de frequência filtradas F1' e F2' (etapa S1506).

[0135] Em seguida, a unidade de obtenção de distância 145 calcula a OTFr com base nas imagens F1' e F2' (etapa S1507). [MAT. 4]

em que Ss é uma cena selecionada.

[0136] Em seguida, a unidade de obtenção de distância 145 determina as informações de distância dos pixels (etapa S1508). Nessa modalidade, a unidade de obtenção de distância 145 tem uma tabela de transformação antecipadamente e transforma o valor da OTFr para uma distância com referência à tabela de transformação. A tabela de transformação armazena parâmetros de obtenção de imagem, valores de OTFr quando um domínio de frequência é fornecido e distâncias correspondentes aos valores de OTFr. A tabela de transformação pode ser de funções ou pode ser uma tabela de consulta pré-calculada.

[0137] O processo acima é repetido até que a distância seja determinada para todos os pixels (etapa S1509). Após a distância ser determinada para todos os pixels, a unidade de obtenção de distância 145 emite as informações de distância obtidas para uma unidade de processamento de imagem 147 em associação com os dados de imagem I1 e I2 (etapa S1510). Dessa forma, as informações de distância a respeito da matéria são obtidas na câmera 140.

[0138] O processo de obtenção de informações sobre distância realizado no computador 160 é igual aos três processos de obtenção acima. A unidade de obtenção de distância 165 realiza o mesmo processo que a unidade de obtenção de distância 105. A unidade de obtenção de distância 166 realiza o mesmo processo que a unidade de obtenção de distância 125. A unidade de obtenção de distância 167 realiza o mesmo processo que a unidade de obtenção de distância 145.

[0139] Por fim, os detalhes do processamento de imagem realizado através das unidades de processamento de imagem 106, 126, 146 e 169 com base nas informações de distância serão descritos. O processamento de imagem realizado nessa modalidade é o embaçamento do plano de fundo da matéria.

[0140] O processo de embaçamento é realizado dividindo-se a área da matéria em uma pluralidade de imagens parciais Pn(x, y) e realizando-se uma operação de convolução (operação de filtração) nas áreas divididas individuais através de uma função de distribuição normal N(i, j), conforme expressada como a Equação 5. Na Equação 5, o operador "*" representa uma operação de convolução bidimensional e On representa uma imagem parcial processada gerada através da operação de convolução da Pn individual. [MAT. 5]

[0141] A função de distribuição normal N(i, j) é expressada como, [Mat. 6]

em que uma variável o é um desvio padrão. Se o = 0, a função de distribuição normal N(i, j) será 1.

[0142] O desvio padrão o é definido como: [MAT. 7]

em que f é um parâmetro de controle de processamento de imagem, que indica a profundidade do campo de dados de imagem embaçada. O parâmetro de controle de processamento de imagem f assume um valor Fδ com o uso do F-valor de uma lente montada, em que δ é um círculo de confusão permissível. O valor dn é uma quantidade de desfocalização representativa (uma distância de um plano focal) das imagens parciais Pn. Em outras palavras, o efeito do embaçamento aumenta com uma distância crescente do plano focal.

[0143] A função da operação de convolução nas imagens parciais Pn não é limitada à função de distribuição normal demonstrada na Equação 6; outra função de distribuição pode ser usada para controlar a quantidade de embaçamento. O processamento de imagem realizado nas imagens parciais Pn não é limitado ao processo de embaçamento. Por exemplo, o ajuste de nitidez correspondente à quantidade de desfocalização dn pode ser realizado nas imagens parciais Pn. Ademais, por exemplo, o contraste, brilho ou saturação de cor podem ser alterados para cada imagem parcial Pn, dependendo da quantidade de desfocalização dn.

[0144] Conforme descrito acima, essa modalidade pode obter informações de distância a respeito de uma matéria a partir de vários tipos de dados de imagem e realiza o processamento de imagem com base nas informações de distância.

[0145] Embora as funções dos componentes individuais dessa modalidade sejam da forma a seguir, outros componentes podem ter as funções similares.

[0146] Nessa modalidade, a unidade de adição de metadados de obtenção de distância 108, 128, e 148 e as unidades de saída 110, 130 e 150 funcionam como unidades de saída que emitem dados de imagem para obter informações de distância e informações que especificam um procedimento para obter informações de distância uma em associação com a outra.

[0147] A unidade de entrada 162 funciona como uma unidade de entrada que insere os dados de imagem para derivar informações de distância e informações associadas aos dados de imagem e especifica um procedimento para derivar informações de distância.

[0148] A unidade de seleção de procedimento 164 funciona como uma unidade de seleção que seleciona pelo menos uma dentre uma pluralidade de procedimentos com base nas informações que especificam um procedimento. As unidades de obtenção de distância 165 a 167 funcionam como unidades de derivação que derivam informações de distância dos dados de imagem com o uso do procedimento selecionado. A unidade de processamento de imagem 169 funciona como uma unidade de processamento de imagem comum independentemente do procedimento que a unidade de obtenção usa para derivar informações de distância.

[0149] A unidade de entrada 162 funciona como uma unidade de entrada que insere parâmetros que são associados aos dados de imagem e que a unidade de derivação usa para derivar informações de distância.

[0150] As unidades de obtenção de distância 165 a 167 funcionam como unidades de saída que emitem as informações de distância derivadas a partir dos dados de imagem de entrada em associação com os dados de imagem de entrada.

[0151] A unidade de seleção de procedimento 164 funciona como uma unidade de determinação que determina se um procedimento correspondente às informações que especificam um procedimento está presente.

SEGUNDA MODALIDADE

[0152] Em adição ao processo da primeira modalidade, uma segunda modalidade insere dados de imagem, dos quais as informações de distância são obtidas e já são processadas em uma câmera, para o computador e realiza o processamento de imagem nos dados de imagem com o uso das informações de distância obtidas.

[0153] As diferenças da primeira modalidade serão descritas.

[0154] A configuração do sistema de processamento de informações da segunda modalidade é igual às da primeira modalidade, demonstradas na Figura 1. Entretanto, a ROM na unidade de processamento de informações 173 da presente modalidade armazena um programa demonstrado no fluxograma na Figura 16 e a unidade de processamento de informações 173 realiza um processo diferente daquela da primeira modalidade. Os detalhes do processo serão descritos abaixo no presente documento. Visto que as etapas que recebem os mesmos numerais da Figura 10 são os mesmos processos que a primeira modalidade, as descrições das mesmas serão omitidas.

[0155] Primeiro, a unidade de entrada 162 recebe arquivos de dados de imagem 801 para processamento interno e externo armazenado nas unidades de armazenamento 111, 131, e 151 através da interface de I/O 161 e insere os arquivos 801 na unidade de decodificação 163 (etapa S1601).

[0156] Em seguida, os processos na etapa S1002 e na etapa S1003 são realizados. Na segunda modalidade, determina-se, antes da etapa S1004, se os arquivos de dados de imagem 801 incluem informações de distância dos metadados dos dados de imagem de entrada (etapa S1602). Se os arquivos de dados de imagem inseridos 801 incluírem informações de distância, o processo segue para a etapa S1007 e o processamento de imagem é realizado com o uso das informações de distância. Se nenhuma informação de distância estiver incluída, o processo segue para a etapa S1004. Nessa modalidade, essa determinação é realizada com base no valor do Método de Profundidade, outro critério de determinação, tal como a Quantidade de Mapas de Profundidade, pode ser usado.

[0157] O mesmo processo da primeira modalidade é realizado e o processo é finalizado.

[0158] A segunda modalidade permite que as informações de distância obtidas na câmera sejam usadas de modo eficaz aumentando, assim, adicionalmente a flexibilidade do uso de dados de imagem.

TERCEIRA MODALIDADE

[0159] As modalidades acima são configuradas de modo que uma pluralidade de tipos de dados de imagem seja inserida em um computador externo e o computador realize o processamento de imagem. A terceira modalidade é configurada para realizar o processamento de imagem em dados de imagem armazenados em uma câmera que pode obter dados de imagem através de uma pluralidade de tipos de método de obtenção de imagem.

[0160] A Figura 17 é um diagrama que ilustra a configuração de uma câmera 1700 da terceira modalidade.

[0161] A câmera 1700 inclui uma unidade de captura de imagem 1701, uma unidade de operação 1704, uma unidade de processamento de informações 1716 e uma unidade de armazenamento 1709.

[0162] A Figura 18 é um diagrama que demonstra a configuração da unidade de captura de imagem 1701. A unidade de captura de imagem 1701 tem a configuração da unidade de captura de imagem 121 com a adição de uma unidade de acionamento de lente 1801 e pode obter dados de imagem plenótica e uma pluralidade de itens de dados de imagem em diferentes estados em foco.

[0163] A unidade de operação 1704 é um dispositivo de entrada, tal como um botão, um demonstrador ou um painel sensível ao toque fornecido no corpo principal da câmera, com o qual o usuário pode inserir instruções para iniciar ou interromper a obtenção de imagem, para definir condições para a obtenção de imagem e assim por diante. Nessa modalidade, o usuário pode selecionar um modo para o processamento de imagem com base em informações de distância a respeito da matéria, ou seja, um modo de processamento IN-SITU em que o processamento de imagem é realizado na câmera diretamente após a obtenção de imagem e um modo de pós-processamento em que os dados de imagem são armazenados sem o processamento de imagem até que as instruções do usuário sejam fornecidas. O usuário pode selecionar um método para obter informações de distância a respeito da matéria, ou seja, o modo plenóptico em que as informações de distância a respeito da matéria são obtidas a partir de um item de dados de imagem plenótica e do modo de DFD em que as informações de distância sobre a matéria são obtidas a partir de dois itens dos dados de imagem que têm diferentes posições em foco.

[0164] Embora a configuração de hardware da unidade de processamento de informações 1716 seja igual à da unidade de processamento de informações 113, a ROM na unidade de processamento de informações 1716 armazena um programo demonstrado no fluxograma na Figura 19. A unidade de processamento de informações 1716 pode realizar um processo de obtenção de distância com base na paralaxe com o uso de dados de imagem plenótica e obtenção de distância com o uso do método de DFD realizado com o uso de uma pluralidade de itens dos dados de imagem que têm diferentes posições em foco.

[0165] A unidade de armazenamento 1709 é um meio de armazenamento não volátil, como um cartão de memória.

[0166] Um processo realizado na câmera 1700 será descrito. A Figura 19 é um fluxograma de um processo realizado na câmera 1700 quando um modo para realizar o processamento de imagem com base em informações de distância a respeito dos dados de imagem obtidos é definido.

[0167] Primeiro, uma unidade de obtenção 1702 obtém dados de imagem emitidos a partir da unidade de captura de imagem 1701 e emite os dados de imagem para uma unidade de determinação de modo 1703 (etapa S1901).

[0168] Em seguida, a unidade de determinação de modo 1703 determina um modo de processamento definido através da operação da unidade de operação 1704 (etapa S1902). Se for determinado que o modo de pós-processamento está definido, a unidade de determinação de modo 1703 emite os dados de imagem para uma unidade de adição de metadados existentes 1705 e segue para o processo na etapa S1903. Se for determinado que o modo de processamento IN-SITU está definido, a unidade de determinação de modo 1703 emite os dados de imagem para uma unidade de seleção de procedimento 1712 e segue para o processo na etapa S1910.

[0169] Se for determinado que o modo de pós-processamento está definido, a unidade de adição de metadados existentes 1705 adiciona metadados existentes aos dados de imagem de entrada e emite os dados de imagem para uma unidade de adição de metadados de obtenção de distância 1706 (etapa S1903). Os metadados existentes a serem adicionados são iguais aos metadados existentes a serem adicionados na primeira modalidade.

[0170] Em seguida, a unidade de adição de metadados de obtenção de distância 1706 adiciona os metadados de obtenção de distância aos dados de imagem de entrada e emite os mesmos para uma unidade de codificação 1707 como um arquivo de dados de imagem 801 (etapa S1904). Os metadados de obtenção de distância a serem adicionados são basicamente iguais aos da primeira modalidade. O valor do Método de Profundidade é determinado com base nas instruções de definição do modo de obtenção de imagem da unidade de operação 1704. Para o modo plenóptico, 2 é inserido ao Método de Profundidade e para o modo de DFD, 3 é inserido ao Método de Profundidade.

[0171] A unidade de codificação 1707 codifica o arquivo de dados de imagem inserido 801 e emite o arquivo de dados de imagem inserido codificado 801 para uma unidade de saída 1708 (etapa S1905).

[0172] A unidade de saída 1708 emite o arquivo de dados de imagem codificado 801 para a unidade de armazenamento 1709 para armazenamento (etapa S1906).

[0173] Em seguida, uma unidade de leitura 1710 determina se uma instrução de inicio de processamento para o arquivo de dados de imagem 801 emitida como pós- processamento é emitida através da operação da unidade de operação 1704 (etapa S1907). Se a instrução de inicio de processamento for emitida, o processo segue para a etapa S1908, em que o processo é iniciado.

[0174] Em seguida, a unidade de leitura 1710 lê o arquivo de dados de imagem 801 emitido para pós-processamento a partir da unidade de armazenamento 408 e emite o mesmo para uma unidade de decodificação 1711 (etapa S1908).

[0175] A unidade de decodificação 1711 decodifica o arquivo de dados de imagem 801 inserido a partir da unidade de leitura 1710 e emite o mesmo para a unidade de seleção de procedimento 1712 (etapa S1909).

[0176] A unidade de seleção de procedimento 1712 seleciona um procedimento para uso na obtenção de informações de distância a respeito da matéria a partir dos dados de imagem de entrada (etapa S1910). Se os dados de imagem de entrada forem obtidos no modo de processamento IN-SITU, a unidade de seleção de procedimento 1712 determina um procedimento ideal a partir do sinal de instrução emitido a partir da unidade de operação 1704. Se os dados de imagem de entrada forem dados de imagem incluídos no arquivo de dados de imagem 801 e obtidos no modo de pós-processamento, a unidade de seleção de procedimento 1712 determina um procedimento ideal a partir do valor do Método de Profundidade incluído no arquivo de dados de imagem 801. Se o valor do Método de Profundidade for 2, a unidade de seleção de procedimento 1712 emite os dados de imagem para uma unidade de obtenção de distância 1713. Se o valor do Método de Profundidade for 3, a unidade de seleção de procedimento 1712 emite os dados de imagem para uma unidade de obtenção de distância 1714.

[0177] Em seguida, a unidade de obtenção de distância 1713 ou 1714 obtém informações de distância a respeito da matéria com o uso dos dados de imagem de entrada e emite os dados de imagem de entrada e as informações de distância obtidas em associação mútua para uma unidade de processamento de imagem 1715 (etapa S1911). Os detalhes do processo são iguais aos descritos na primeira modalidade.

[0178] Em seguida, a unidade de processamento de imagem 1715 processa os dados de imagem de entrada com base em um mapa de distância associado aos dados de imagem de entrada (etapa S1912). Os detalhes do processo são iguais aos descritos na primeira modalidade. Os dados de imagem gerada através do processamento de imagem são adicionalmente associados aos dados de imagem de entrada e são emitidos para a unidade de adição de metadados existentes 1705.

[0179] Em seguida, a unidade de adição de metadados existentes 1705 adiciona metadados definidos em um formato de arquivo-padrão existente aos dados de imagem de entrada e emite os dados de imagem para a unidade de adição de metadados de obtenção de distância 1706 (etapa S1913). Se os dados de imagem de entrada forem os dados de imagem para pós-processamento, aos quais os metadados existentes são adicionados, os dados de imagem são emitidos para a unidade de adição de metadados de obtenção de distância 1706 sem realizar nenhuma tarefa.

[0180] Em seguida, a unidade de adição de metadados de obtenção de distância 1706 adiciona os metadados de obtenção de distância aos dados de imagem de entrada (etapa S1914). Visto que os dados de imagem de entrada já têm informações de distância, a unidade de adição de metadados de obtenção de distância 1706 insere 0 ao Método de Profundidade e emite o mesmo para o arquivo de dados de imagem 801 para a unidade de codificação 1707.

[0181] A unidade de codificação 1707 codifica o arquivo de dados de imagem 801 inserido a partir da unidade de adição de metadados de obtenção de distância 1706 e emite o mesmo para a unidade de saída 1708 (etapa S1915).

[0182] A unidade de saída 1708 emite o arquivo de dados de imagem inserido 801 para a unidade de armazenamento 1709 para armazenamento e saídas do processo (etapa S1916).

[0183] Dessa forma, essa modalidade pode reduzir as cargas devido ao processamento IN-SITU em uma câmera que tem uma pluralidade de procedimentos para obter informações de distância a partir dos dados de imagem.

[0184] Embora as funções dos componentes individuais dessa modalidade sejam da forma a seguir, outros componentes podem ter as funções similares.

[0185] Nessa modalidade, a unidade de adição de metadados de obtenção de distância 1706 e a unidade de saída 1708 funcionam como uma unidade de saída que emite dados de imagem para obter informações de distância e informações que especificam um procedimento para obter informações de distância, uma em associação com a outra.

[0186] A unidade de armazenamento 1709 funciona como uma unidade de armazenamento para armazenar um arquivo de dados de imagem que inclui os dados de imagem e as informações que especificam um procedimento para derivar informações de distância emitidas a partir da unidade de saída 1708.

[0187] A unidade de leitura 1710 funciona como uma unidade de leitura que lê o arquivo de dados de imagem.

[0188] A unidade de operação 1704 funciona como uma unidade de operação com a qual o usuário insere um sinal de instrução através da operação.

[0189] A unidade de captura de imagem 1701 funciona como uma unidade de obtenção de imagem que obtém dados de imagem através da obtenção de imagem. OUTRAS MODALIDADES

[0190] As modalidades não são limitadas às configurações acima; alternativamente, a presente invenção pode ter uma configuração em que a pluralidade de modalidades acima são combinadas, por exemplo, um modo para realizar o processamento de imagem em que uma unidade de processamento externa é adicionada à terceira modalidade.

[0191] A presente invenção pode ser configurada como um sistema de processamento de informações que tem a unidade de seleção de procedimento, a unidade de obtenção de distância e a unidade de processamento de imagem como unidades de processamento independentes.

[0192] O processo realizado com o uso de informações de distância não é limitado ao embaçamento de imagens, mas pode ser modelagem em 3D da matéria realizada através da plotagem de informações de distância e as coordenadas bidimensionais da imagem. As informações de distância obtidas podem ser usadas para encontrar um ponto correspondente em imagens de múltiplas vistas combinantes ou para medir o tamanho de um objeto na matéria.

[0193] Nas modalidades acima, as informações de distância na matéria são obtidas com o uso de informações a respeito de uma pluralidade de diferentes imagens da mesma matéria, tal como imagens obtidas em diferentes pontos de vista ou imagens em diferentes estados em foco; alternativamente, a unidade de obtenção de distância pode obter as informações de distância com o uso de outros tipos de dados de imagem. Por exemplo, as informações de distância a respeito da matéria podem ser obtidas a partir de imagens obtidas através de uma câmera com o uso de passagens codificadas. Nesse caso, as informações de distância podem ser, obviamente, adquiridas com o uso de um procedimento não demonstrado nas modalidades acima.

[0194] A unidade de seleção de procedimento pode usar, não um parâmetro dedicado (nas modalidades acima, o Método de Profundidade), mas outro parâmetro como informações que especificam um procedimento para obter informações de distância, que servem como um critério de determinação para selecionar um procedimento de obtenção de distância. Os exemplos incluem a designação do modelo de uma câmera, uma extensão de arquivo e outros parâmetros incluídos nos metadados existentes ou uma combinação dos mesmos.

[0195] Ademais, a unidade de obtenção de distância pode selecionar dois ou mais procedimentos para obter informações de distância a partir dos dados de imagem. Por exemplo, se um arquivo de dados de imagem inclui uma pluralidade de itens de dados de imagem de múltiplas vistas obtidos em duas posições em foco, em que a unidade de obtenção de distância pode realizar tanto o processo de obtenção de distância com base em paralaxe e o processo de obtenção de distância com o uso do método de DFD.

[0196] A estrutura do arquivo de dados de imagem não é limitada à descrita nas modalidades acima. O arquivo de dados de imagem pode incluir um novo parâmetro conforme necessário ou não precisa incluir os parâmetros acima. Por exemplo, as informações sobre a paralaxe de uma pluralidade de imagens podem incluir o comprimento de base entre os pontos de vista individuais. As informações a respeito da diferença no estado em foco dentre uma pluralidade de imagens podem incluir f/número da lente.

[0197] Um arquivo de gerenciamento que inclui uma pluralidade de itens de dados de imagem e informações correspondentes aos dados de CPI 802 pode ser emitido para um diretório idêntico e a pluralidade de itens de dados de imagem no diretório pode ser gerenciada através do arquivo de gerenciamento. O diretório pode ser comprimido e pode ser emitido como um arquivo.

[0198] As modalidades da presente invenção podem também ser realizadas por um computador de um sistema ou aparelho que lê e executa as instruções executáveis em computador gravadas em um meio de armazenamento (por exemplo, meio de armazenamento legível por computador não transitório) para realizar as funções de uma ou mais das modalidades descritas acima da presente invenção e por um método executado pelo computador do sistema ou aparelho, por exemplo, através da leitura e da execução das instruções executáveis em computador do meio de armazenamento para realizar as funções de uma ou mais das modalidades descritas acima. O computador pode compreender uma ou mais de uma unidade de processamento central (CPU), unidade de processamento micro (MPU), ou outro esquema, e pode incluir uma rede de computadores separados ou processadores de computador separados. As instruções executáveis em computador podem ser fornecidas para o computador, por exemplo, de uma rede ou meio de armazenamento. O meio de armazenamento pode incluir, por exemplo, um ou mais de um disco rígido, uma memória de acesso remoto (RAM), uma memória apenas de leitura (ROM), um armazenamento de sistemas de computação distribuídos, um disco óptico (tal como um disco compacto (CD), disco versátil digital (DVD), ou disco Blu-ray (BD)™), um dispositivo de memória rápida, um cartão de memória e similares.

[0199] Embora a presente invenção tenha sido descrita com referência às modalidades exemplificativas, deve ficar entendido que a invenção não é limitada às modalidades exemplificativas reveladas. O escopo das reivindicações a seguir deve interpretado de maneira ampla, de modo a abranger todas essas modificações e estruturas equivalentes e funções.

[0200] Este pedido reivindica o benefício do Pedido de Patente Japonesa n° 2013/-130856, depositado em 21 de junho de 2013, que está ora incorporado integralmente, a título de referência.

Claims

1. Aparelho de processamento de informações compreendendo: uma unidade de entrada configurada para inserir dados de imagem e informações associadas aos dados de imagem, em que os dados de imagem são dados de imagem para derivar as informações de distância e as informações associadas aos dados de imagem são informações que especificam um procedimento para derivar informações de distância, e caracterizado pelo fato de que compreende; uma unidade de seleção configurada para selecionar pelo menos um dentre uma pluralidade de tipos de procedimentos para derivar informações de distância com base nas informações que especificam um procedimento; e uma unidade de derivação configurada para derivar informações de distância a partir dos dados de imagem com o uso de um procedimento selecionado pela unidade de seleção.

2. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de entrada insere adicionalmente um parâmetro associado aos dados de imagem, em que o parâmetro é usado quando a unidade de derivação deriva informações de distância.

3. Aparelho de processamento de informações, de acordo com a reivindicação 2, caracterizado pelo fato de que o parâmetro inclui informações a respeito de paralaxe de uma pluralidade de imagens.

4. Aparelho de processamento de informações, de acordo com a reivindicação 2, caracterizado pelo fato de que o parâmetro inclui informações a respeito de uma diferença em estado em foco dentre uma pluralidade de imagens.

5. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de saída de distância configurada para emitir as informações de distância derivadas em associação com os dados de imagem.

6. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de processamento configurada para realizar o processamento de imagem nos dados de imagem com base nas informações de distância derivadas através da unidade de derivação.

7. Aparelho de processamento de informações, de acordo com a reivindicação 6, caracterizado pelo fato de que o processamento de imagem é realizado por uma unidade de processamento comum independentemente de um procedimento que a unidade de derivação usa para obter informações de distância.

8. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de derivação seleciona um procedimento para uso na derivação de informações de distância com base em uma tabela que demonstra a relação de correspondência entre as informações que especificam um procedimento e a poluralidade de tipos de procedimentos.

9. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de determinação configurada para determinar se um procedimento correspondente às informações que especificam um procedimento está presente ou não, em que, se um procedimento correspondente às informações que especificam um procedimento não estiver presente, um sinal de erro é emitido.

10. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de imagem incluem informações a respeito de uma pluralidade de imagens de uma matéria idêntica em diferentes perspectivas.

11. Aparelho de processamento de informações, de acordo com a reivindicação 10, caracterizado pelo fato de que a pluralidade de tipos de procedimentos inclui um procedimento para derivar as informações de distância com base em uma diferença no estado em foco dentre a pluralidade de imagens.

12. Aparelho de processamento de informações, de acordo com a reivindicação 10, caracterizado pelo fato de que a pluralidade de tipos de procedimentos inclui um procedimento para derivar as informações de distância com base na paralaxe da pluralidade de imagens.

13. Aparelho de processamento de informações, de acordo com a reivindicação 1, caracterizado pelo fato de que as informações de distância são um mapa de distância que demonstra as distâncias para uma pluralidade de posições em uma matéria.

14. Aparelho de processamento de informações caracterizado pelo fato de que compreende: uma unidade de obtenção configurada para obter dados de imagem para derivar informações de distância; e uma unidade de saída configurada para emitir os dados de imagem para derivar informações de distância e informações que especificam um procedimento para derivar informações de distância, uma em associação com a outra, em que as informações que especificam um procedimento são usadas quando pelo menos um é selecionado dentre uma pluralidade de tipos de procedimentos e quando as informações de distância são obtidas a partir dos dados de imagem com o uso do procedimento selecionado.

15. Aparelho de processamento de informações, de acordo com a reivindicação 14, caracterizado pelo fato de que os dados de imagem incluem uma pluralidade de itens de dados de imagem; e a unidade de saída emite os dados de imagem em associação adicional com informações que indicam dados de imagem para usar na derivação de informações de distância dentre a pluralidade de itens de dados de imagem.

16. Aparelho de processamento de informações, de acordo com a reivindicação 14, caracterizado pelo fato de que os dados de imagem incluem uma pluralidade de itens de dados de imagem; e a unidade de saída agrupa a pluralidade de itens de dados de imagem em uma pluralidade de grupos de ponto de vista com base em pontos de vista de obtenção de imagem, associa informações que indicam posições de ponto de vista aos grupos de ponto de vista individuais, atribui números de imagem aos dados de imagem incluídos nos grupos de ponto de vista individuais e emite os dados de imagem.

17. Aparelho de processamento de informações, de acordo com a reivindicação 16, caracterizado pelo fato de que a unidade de saída emite os dados de imagem incluídos nos grupos de ponto de vista em associação com as informações que indicam os estados em foco da mesma.

18. Aparelho de processamento de informações, de acordo com a reivindicação 14, caracterizado pelo fato de que compreende adicionalmente: uma unidade de armazenamento configurada para armazenar os dados de imagem e as informações que especificam um procedimento, em que os dados de imagem e as informações são emitidos através da unidade de saída; uma unidade de leitura configurada para ler os dados de imagem e as informações que especificam um procedimento, em que os dados de imagem e as informações são armazenados na unidade de armazenamento; e uma unidade de obtenção configurada para selecionar pelo menos uma dentre uma pluralidade de tipos de procedimentos com base nas informações que especificam um procedimento e para obter informações de distância a partir dos dados de imagem com o uso do procedimento selecionado.

19. Aparelho de processamento de informações, de acordo com a reivindicação 18, caracterizado pelo fato de que compreende adicionalmente uma unidade de operação configurada para inserir um sinal de instrução através da operação, em que a unidade de leitura lê os dados de imagem e as informações que especificam um procedimento com base em um sinal de instrução inserido a partir da unidade de operação.

20. Aparelho de processamento de informações, de acordo com a reivindicação 14, caracterizado pelo fato de que compreende adicionalmente uma unidade de obtenção de imagem configurada para obter dados de imagem através da obtenção de imagem.

21. Sistema de processamento de informações caracterizado pelo fato de que compreende: um aparelho de saída; e um aparelho de processamento, em que o aparelho de saída inclui: uma unidade de obtenção configurada para inserir dados de imagem para derivar informações de distância; e uma unidade de saída configurada para emitir os dados de imagem para obter informações de distância e informações que especificam um procedimento para uso na obtenção de informações de distância, uma em associação com a outra; e em que o aparelho de processamento inclui: uma unidade de entrada configurada para inserir os dados de imagem para obter informações de distância e as informações que especificam um procedimento, em que os dados de imagem e as informações são emitidas da unidade de saída; uma unidade de seleção configurada para selecionar pelo menos um dentre uma pluralidade de tipos de procedimentos para derivar informações de distância com base nas informações que especificam um procedimento; e uma unidade de obtenção configurada para derivar informações de distância a partir dos dados de imagem com o uso de um procedimento selecionado pela unidade de seleção.

22. Método para processar informações, em que o método é caracterizado pelo fato de que compreende as etapas de: inserir dados de imagem e informações associadas aos dados de imagem, em que os dados de imagem são dados de imagem para derivar as informações de distância e as informações associadas aos dados de imagem são informações que especificam um procedimento para derivar informações de distância; selecionar pelo menos um procedimento dentre uma pluralidade de tipos de procedimentos para derivar informações de distância com base nas informações que especificam um procedimento; e derivar informações de distância a partir dos dados de imagem com o uso dos selecionados.

23. Método para processamento de informações caracterizado pelo fato de que compreende as etapas de: obter dados de imagem para derivar informações de distância; e emitir os dados de imagem para derivar informações de distância e informações que especificam um procedimento para derivar informações de distância, uma em associação com a outra, em que as informações que especificam um procedimento são usadas quando pelo menos um procedimento é selecionado dentre uma pluralidade de tipos de procedimentos e quando as informações de distância são derivadas a partir dos dados de imagem com o uso do procedimento selecionado.

24. Método para processar informações implantadas por um sistema de processamento de informações que inclui um aparelho de saída e um aparelho de processamento caracterizado pelo fato de compreender as etapas de: obter dados de imagem para derivar informações de distância com uma unidade de saída; emitir os dados de imagem para derivar informações de distância e informações que especificam um procedimento para uso na derivação de informações de distância, em associação uma com a outra com a unidade de saída; inserir os dados de imagem e as informações que especificam um procedimento emitido através da unidade de saída com a unidade de processamento; e selecionar pelo menos um dentre uma pluralidade de tipos de procedimentos para derivar informações de distância com base nas informações que especificam um procedimento com a unidade de processamento; e obter informações de distância a partir dos dados de imagem com o uso do procedimento selecionado com a unidade de processamento.

25. Meio legível por computador não transitório caracterizado pelo fato de que armazena um programa que faz com que um computador execute o método, tal como definido na reivindicação 22.

26. Meio legível por computador não transitório caracterizado pelo fato de que armazena um programa que faz com que um computador execute o método, tal como definido na reivindicação 23.

27. Meio legível por computador não transitório caracterizado pelo fato de que armazena um programa que faz com que um computador execute o método, tal como definido na reivindicação 24.