BR112020001562A2

BR112020001562A2 - aparelho e método de processamento de imagem, e, programa

Info

Publication number: BR112020001562A2
Application number: BR112020001562-8A
Authority: BR
Inventors: Hideo Miyamaki; Masatoshi Takashima; Yu KITAMURA; Hiroshi Mori
Original assignee: Sony Corporation
Priority date: 2017-08-01
Filing date: 2018-07-18
Publication date: 2020-07-21
Also published as: US20220277419A1; EP3664029B1; US11328388B2; CN110998657B; CN110998657A; WO2019026619A1; US11769225B2; AU2018309905A1; EP3664029A1; EP3664029A4; JPWO2019026619A1; JP7160037B2; US20200211158A1

Abstract

A presente tecnologia refere-se a um dispositivo de processamento de imagem, a um método de processamento de imagem e a um programa, com os quais a costura pode ser facilmente realizada. O dispositivo de processamento de imagem é equipado com: uma unidade de geração de imagem para gerar uma primeira imagem de referência relacionada a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens relacionada à primeira região de formação de imagem, e gerar uma segunda imagem de referência relacionada a uma segunda região de formação de imagem, pelo menos uma parte da qual sobrepõe a primeira região de formação de imagem, com base em uma pluralidade de segundas imagens relacionada à segunda região de formação de imagem; e uma unidade de processamento para gerar a informação de posicionamento que indica um relacionamento de correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem, com base na primeira imagem de referência e na segunda imagem de referência. A presente tecnologia pode ser aplicada em um dispositivo de processamento de imagem para costura de uma pluralidade de imagens, por exemplo.

Description

1 / 81 APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E,

PROGRAMA Campo Técnico

[001] A presente técnica refere-se a um aparelho de processamento de imagem, a um método de processamento de imagem e a um programa, e, por exemplo, refere-se a um aparelho de processamento de imagem, a um método de processamento de imagem e a um programa que pode executar convenientemente um processo de costura. Fundamentos da Invenção

[002] As imagens obtidas por fotografia aérea usando um Cessna, um drone ou similares são costuradas e mapeadas.

[003] Além do mais, também é proposto perceber uma condição de crescimento de uma planta. É conhecido que a fotossíntese de uma planta é afetada pelo número de fótons, que são partículas de luz, em vez da energia da luz. É proposto perceber a condição de crescimento de uma planta pela medição da densidade do fluxo de fóton que é efetiva para a fotossíntese da planta (por exemplo, veja PTL 1). Lista de Citação Literatura de Patente

[004] PTL 1 JP 2012-163482A Sumário da Invenção Problema Técnico

[005] Os valores de recurso podem ser facilmente extraídos a partir das imagens aéreas de um local com muitos prédios, tal como uma área urbana, e as imagens podem ser costuradas e mapeadas de forma relativamente fácil. Entretanto, é difícil extrair os valores de recurso das imagens em fazendas, florestas e similares com poucos prédios, e é difícil costurar ou mapear as imagens.

[006] Por exemplo, em um caso em que a fotografia aérea de um

2 / 81 campo for realizada para perceber o crescimento de uma planta, e as imagens aéreas forem costuradas ou mapeadas, é difícil extrair os valores de recurso a partir das imagens aéreas, e é difícil costurar ou mapear as imagens.

[007] A presente técnica foi feita em vista das circunstâncias, e a presente técnica facilita a extração dos valores de recurso e permite a fácil realização de costura ou mapeamento. Solução para o Problema

[008] Um aspecto do presente técnica provê um aparelho de processamento de imagem que inclui: uma unidade de geração de imagem que gera uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e que gera uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e uma unidade de processamento que gera a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

[009] Um aspecto da presente técnica provê um método de processamento de imagem que inclui as etapas de: gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de

3 / 81 posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

[0010] Um aspecto da presente técnica provê um programa que faz com que um computador execute um processo que inclui as etapas de: gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

[0011] No aparelho de processamento de imagem, no método de processamento de imagem e no programa de acordo com um aspecto da presente técnica, a primeira imagem de referência em relação à primeira região de formação de imagem é gerada com base na pluralidade de primeiras imagens em relação à primeira região de formação de imagem, e a segunda imagem de referência em relação à segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem é gerada com base na pluralidade de segundas imagens em relação à segunda região de formação de imagem. A informação de posicionamento que indica a correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem é gerada com base na primeira imagem de referência e na segunda imagem de referência.

[0012] Note que o aparelho de processamento de imagem pode ser um aparelho independente ou pode ser um bloco interno incluído em um

4 / 81 aparelho.

[0013] Além do mais, o programa pode ser provido pela transmissão do programa através de uma mídia de transmissão ou pela gravação do programa em uma mídia de gravação. Efeitos Vantajosos da Invenção

[0014] De acordo com um aspecto da presente técnica, os valores de recurso podem ser facilmente extraídos, e a costura e o mapeamento podem ser facilmente realizados.

[0015] Note que os efeitos vantajosos aqui descritos podem não ser limitados, e os efeitos vantajosos podem ser qualquer um dos efeitos vantajosos descritos na presente descrição. Breve Descrição dos Desenhos

[0016] A figura 1 é um diagrama que ilustra uma configuração de uma modalidade de um sistema de processamento de imagem de acordo com a presente técnica.

[0017] A figura 2 é um diagrama que ilustra uma configuração de uma outra modalidade do sistema de processamento de imagem de acordo com a presente técnica.

[0018] A figura 3 é um diagrama que ilustra um exemplo de configuração de um sistema de processamento de imagem.

[0019] A figura 4 é um diagrama que ilustra um exemplo de configuração do sistema de processamento de imagem.

[0020] A figura 5 é um diagrama para descrever os pixels unitários.

[0021] A figura 6 é um diagrama para descrever as características de filtros.

[0022] A figura 7 é um diagrama para descrever as características de filtros.

[0023] A figura 8 é um diagrama para descrever uma configuração de um exemplo de multicâmeras.

5 / 81

[0024] A figura 9 é um outro diagrama para descrever uma configuração de um exemplo de multicâmeras.

[0025] A figura 10 é um diagrama para descrever as características de filtros.

[0026] A figura 11 é um diagrama para descrever um processo durante a fotografia aérea.

[0027] A figura 12 é um diagrama para descrever as imagens obtidas pela fotografia aérea.

[0028] A figura 13 é um diagrama para descrever as imagens multiespectrais.

[0029] A figura 14 é um diagrama para descrever a geração das imagens de referência.

[0030] A figura 15 é um diagrama para descrever um processo de costura das imagens de referência.

[0031] A figura 16 é um outro diagrama para descrever o processo de costura das imagens de referência.

[0032] A figura 17 é um diagrama para descrever um processo de costura das imagens de inspeção.

[0033] A figura 18 é um diagrama para descrever uma operação do sistema de processamento de imagem.

[0034] A figura 19 é um diagrama para descrever a informação da fonte de luz.

[0035] A figura 20 é um diagrama para descrever que a refletância varia entre os objetos.

[0036] A figura 21 é um diagrama para descrever as características espectrais dos sensores MS.

[0037] A figura 22 é um fluxograma para descrever um primeiro processo de geração.

[0038] A figura 23 é um fluxograma para descrever um primeiro

6 / 81 processo de cálculo do valor de recurso.

[0039] A figura 24 é um fluxograma para descrever um processo de geração de imagem de referência.

[0040] A figura 25 é um fluxograma para descrever um segundo processo de cálculo do valor de recurso.

[0041] A figura 26 é um diagrama para descrever a criação de imagens reduzidas.

[0042] A figura 27 é um diagrama para descrever a geração das imagens de referência.

[0043] A figura 28 é um fluxograma para descrever um terceiro processo de cálculo do valor de recurso.

[0044] A figura 29 é um diagrama para descrever um processo de divisão das imagens em blocos.

[0045] A figura 30 é um diagrama para descrever a geração das imagens de referência.

[0046] A figura 31 é um fluxograma para descrever um terceiro processo de geração de imagem de referência.

[0047] A figura 32 é um diagrama para descrever a reconfiguração de uma imagem de recurso.

[0048] A figura 33 é um outro diagrama para descrever a reconfiguração da imagem de recurso.

[0049] A figura 34 é um fluxograma para descrever um quarto processo de geração.

[0050] A figura 35 é um fluxograma para descrever um quinto processo de geração.

[0051] A figura 36 é um diagrama para descrever uma outra configuração do sistema de processamento de imagem.

[0052] A figura 37 é um fluxograma para descrever um sexto processo de geração.

7 / 81

[0053] A figura 38 é um diagrama para descrever uma mídia de gravação. Descrição das Modalidades

[0054] A seguir, os modos para realizar a presente técnica (a seguir, referidos como modalidades) serão descritos. <Sistema de Processamento de Imagem>

[0055] A figura 1 é um diagrama que ilustra uma configuração de uma modalidade de um sistema de processamento de imagem que inclui um aparelho de processamento de imagem de acordo com a presente técnica.

[0056] Um sistema de processamento de imagem 10 é um sistema que forma imagem de um sujeito e executa um processo de costura para criar uma imagem desejável. Por exemplo, o sistema de processamento de imagem 10 define uma planta (vegetação) como um sujeito e cria um mapa (imagem) que indica um estado de crescimento da planta.

[0057] Na figura 1, o sistema de processamento de imagem 10 inclui um aparelho de formação de imagem 11, um sensor de iluminância 12, um centralizador 13 e um aparelho de cálculo 14. O aparelho de formação de imagem 11, o sensor de iluminância 12 e o aparelho de cálculo 14 são conectados uns nos outros através do centralizador 13.

[0058] O aparelho de formação de imagem 11 forma imagem de um objeto a ser medido. O sensor de iluminância 12 é um aparelho que mede a iluminância de uma fonte de luz, tal como a luz solar, e o sensor de iluminância 12 supre a informação de iluminância medida (valor de iluminância) para o aparelho de formação de imagem 11.

[0059] Por exemplo, o aparelho de formação de imagem 11 é instalado no lado inferior (lado do solo) de um veículo aéreo não tripulado remotamente controlado ou autônomo chamado de um drone ou similares, e o sensor de iluminância 12 é instalado no lado superior (lado do céu) do veículo aéreo não tripulado.

8 / 81

[0060] Note que, embora a descrição seja aqui continuada pela consideração de que o aparelho de formação de imagem 11 e o sensor de iluminância 12 são corpos diferentes, o aparelho de formação de imagem 11 e o sensor de iluminância 12 podem ser providos no mesmo alojamento. Além do mais, o aparelho de formação de imagem 11 e o sensor de iluminância 12 podem ser incluídos no veículo aéreo não tripulado.

[0061] Note que, embora a descrição seja aqui continuada pela ilustração de um exemplo de um caso do processamento uma imagem obtida pela fotografia aérea usando o veículo aéreo não tripulado, a presente técnica também pode ser aplicada nos casos de processamento das imagens obtidas por fotografia diferente da fotografia aérea, tal como uma imagem obtida por fotografia panorâmica.

[0062] O aparelho de formação de imagem 11 forma imagem de um sujeito e transmite os dados obtidos pela formação de imagem para o aparelho de cálculo 14 através do centralizador 13. O sensor de iluminância 12 é um sensor para medir a iluminância, e o sensor de iluminância 12 transmite um valor de iluminância como um resultado da medição para o aparelho de cálculo 14 através do centralizador 13.

[0063] O aparelho de cálculo 14 é um aparelho com uma função de cálculo de um circuito, tais como uma CPU (unidade de processamento central) e um FPGA (arranjo de porta programável em campo). Por exemplo, o aparelho de cálculo 14 é configurado como um computador pessoal, um aparelho terminal dedicado ou similares.

[0064] Embora o aparelho de cálculo 14, tal como um computador pessoal, execute o processamento de imagem em um ambiente local através do centralizador 13 no sistema de processamento de imagem 10 ilustrado na figura 1, o processamento de imagem pode ser executado em um ambiente em nuvem através de uma rede.

[0065] A figura 2 ilustra um exemplo de configuração de um sistema

9 / 81 de processamento de imagem 30 correspondente ao ambiente em nuvem que é um outro exemplo de configuração do sistema de processamento de imagem.

[0066] No sistema de processamento de imagem 30 da figura 2, o aparelho de formação de imagem 11 e o sensor de iluminância 12 transmitem os dados de imagem e o valor de iluminância para um aparelho cliente 31 através do centralizador 13, exatamente como o aparelho de formação de imagem 11 e o sensor de iluminância 12 da figura 1.

[0067] O aparelho cliente 31 inclui um computador pessoal ou similares e transmite os dados de imagem e o valor de iluminância inseridos a partir de aparelho de formação de imagem 11 e do sensor de iluminância 12 para um roteador 32 através do centralizador 13. Isto é, embora o aparelho cliente 31 corresponda ao aparelho de cálculo 14 da figura 1, o aparelho cliente 31 é provido como um aparelho que não executa ou executa somente parcialmente o processamento de imagem.

[0068] O roteador 32 é, por exemplo, um roteador móvel, e o roteador 32 pode ser conectado em uma rede 34, tal como a Internet, através de uma estação base 33. O roteador 32 transmite os dados de imagem e o valor de iluminância inseridos a partir do aparelho cliente 31 para um servidor 35 através da rede 34.

[0069] O servidor 35 recebe os dados de imagem e o valor de iluminância transmitidos a partir do aparelho cliente 31 através da rede 34. Aqui, o servidor 35 tem uma função equivalente à função do aparelho de cálculo 14 ilustrado na figura 1 ou pelo menos parte da função.

[0070] Um armazenamento 36 é conectado no servidor 35. Os dados de imagem ou o valor de iluminância supridos para o servidor 35 são armazenados no armazenamento 36 conforme necessário, ou os dados necessários para executar o processo de costura ou similares são apropriadamente lidos.

[0071] O sistema de processamento de imagem 10 (ou o sistema de

10 / 81 processamento de imagem 30) tem uma configuração (incluindo uma função), da forma ilustrada na figura 3. Aqui, para distinguir o sistema de processamento de imagem do sistema de processamento de imagem 10 e do sistema de processamento de imagem 30, o sistema de processamento de imagem ilustrado na figura 3 será referido como um sistema de processamento de imagem 50.

[0072] O sistema de processamento de imagem 50 inclui uma lente 101, uma unidade de exposição 102, os sensores MS 103, uma unidade de processamento de cálculo do comprimento de onda designado 104, uma unidade de processamento de geração da imagem de referência 105, uma unidade de extração de imagem do comprimento de onda de inspeção 106, uma unidade de processamento de costura da imagem de referência 107 e uma unidade de processamento de costura da imagem de inspeção 108.

[0073] Um caso no qual o sistema de processamento de imagem 50 ilustrado na figura 3 inclui o sistema de processamento de imagem 10 ilustrado na figura 1 ou o sistema de processamento de imagem 30 será descrito em relação à figura 4.

[0074] Uma parte superior da figura 4 representa o sistema de processamento de imagem 50 ilustrado na figura 3. Uma parte inferior representa os exemplos de configuração, e os exemplos de configuração A até G são aqui ilustrados. Primeiro, da forma ilustrada na parte superior da figura 4, o sistema de processamento de imagem 50 é dividido em quatro partes. A lente 101, a unidade de exposição 102 e os sensores MS 103 são incluídos em uma unidade de formação de imagem 61 que forma a imagem de um sujeito.

[0075] A unidade de processamento de cálculo do comprimento de onda designado 104, a unidade de processamento de geração da imagem de referência 105 e a unidade de extração de imagem do comprimento de onda de inspeção 106 são incluídas em uma unidade de geração de imagem 62 que gera uma imagem, tais como uma imagem de referência e uma imagem do

11 / 81 comprimento de onda de inspeção. A unidade de processamento de costura da imagem de referência 107 é incluída em uma primeira unidade de processamento de costura 63 que executa um processo de costura. A unidade de processamento de costura da imagem de inspeção 108 é incluída em uma segunda unidade de processamento de costura 64 que executa um processo de costura.

[0076] O exemplo de configuração A é uma configuração de um caso no qual o sistema de processamento de imagem 50 completa no aparelho de formação de imagem 11, e todas da unidade de formação de imagem 61, da unidade de geração de imagem 62, da primeira unidade de processamento de costura 63 e da segunda unidade de processamento de costura 64 são incluídas no aparelho de formação de imagem 11. Embora não ilustrado nas figuras 1 e 2, o aparelho de formação de imagem 11 pode ser configurado para executar os processos somente, incluindo os processos de costura.

[0077] O exemplo de configuração B é um exemplo de configuração no qual a unidade de formação de imagem 61 e a unidade de geração de imagem 62 do sistema de processamento de imagem 50 são providas no aparelho de formação de imagem 11, e a primeira unidade de processamento de costura 63 e a segunda unidade de processamento de costura 64 são providas no aparelho de cálculo 14 (figura 1) ou no servidor 35 (figura 2).

[0078] O exemplo de configuração C é um exemplo de configuração no qual a unidade de formação de imagem 61 do sistema de processamento de imagem 50 é provida no aparelho de formação de imagem 11, e a unidade de geração de imagem 62, a primeira unidade de processamento de costura 63, e a segunda unidade de processamento de costura 64 são providas no aparelho de cálculo 14 (figura 1) ou no servidor 35 (figura 2).

[0079] O exemplo de configuração D é um exemplo de configuração no qual a unidade de formação de imagem 61 do sistema de processamento de imagem 50 é provida no aparelho de formação de imagem 11, a unidade de

12 / 81 geração de imagem 62 é provida no aparelho cliente 31 (figura 2), e a primeira unidade de processamento de costura 63 e a segunda unidade de processamento de costura 64 são providas no servidor 35 (figura 2).

[0080] O exemplo de configuração E é um exemplo de configuração no qual a unidade de formação de imagem 61 do sistema de processamento de imagem 50 é provida no aparelho de formação de imagem 11, e a unidade de geração de imagem 62, a primeira unidade de processamento de costura 63 e a segunda unidade de processamento de costura 64 são providas no servidor 35 (figura 2).

[0081] O exemplo de configuração F é um exemplo de configuração no qual a unidade de formação de imagem 61 do sistema de processamento de imagem 50 é provida no aparelho de formação de imagem 11, a unidade de geração de imagem 62 e a primeira unidade de processamento de costura 63 são providas no aparelho cliente 31 (figura 2), e a segunda unidade de processamento de costura 64 é provida no servidor 35 (figura 2).

[0082] O exemplo de configuração G é um exemplo de configuração no qual a unidade de formação de imagem 61 do sistema de processamento de imagem 50 é provida no aparelho de formação de imagem 11, a unidade de geração de imagem 62 é provida no aparelho cliente 31 (figura 2), a primeira unidade de processamento de costura 63 é provida no servidor 35 (figura 2), e a segunda unidade de processamento de costura 64 é provida no aparelho cliente 31 (figura 2).

[0083] O sistema de processamento de imagem 50 pode ter qualquer configuração dos exemplos de configuração A até G. O sistema de processamento de imagem 50 pode ser provido como um único aparelho ou pode incluir uma pluralidade de aparelhos. De acordo com a presente técnica, o processo pode ser reduzido em qualquer configuração, como ficará aparente a seguir. O tempo exigido para o processamento pode ser encurtado, e a carga do processamento pode ser reduzida.

13 / 81

[0084] O sistema de processamento de imagem 50 ilustrado na figura 3 será adicionalmente descrito. A lente 101, a unidade de exposição 102 e os sensores MS 103 são incluídos no aparelho de formação de imagem 11 em todas as configurações dos exemplos de configuração A até G descritos em relação à figura 4.

[0085] No aparelho de formação de imagem 11, a luz (luz refletida) a partir de um objeto, tal como um objeto a ser medido, entra nos sensores MS 103 através da lente 101 e da unidade de exposição 102. O MS dos sensores MS 103 denota multiespectral. Da forma descrita posteriormente, o aparelho de formação de imagem 11 pode obter os sinais em uma pluralidade de comprimentos de onda diferentes a partir de um pixel unitário.

[0086] A unidade de exposição 102 controla a exposição pelo ajuste da quantidade de abertura com base em um sistema óptico ou uma íris (diafragma) da lente 101 ou similares, o tempo de exposição dos sensores MS 103, a velocidade do obturador e similares, de forma que os sensores MS 103 realizem a percepção enquanto a carga do sinal estiver na faixa dinâmica sem saturação.

[0087] Os sensores MS 103 incluem filtros MS 103-1 e sensores 103- 2, da forma ilustrada na figura 5. Os filtros MS 103-1 podem ser filtros ópticos de acordo com um índice do alvo de medição, e os filtros transmitem uma pluralidade de comprimentos de onda diferentes, respectivamente. Os filtros MS 103-1 transmitem a luz que entrou através da lente 101 para os sensores 103-2 dos sensores MS 103.

[0088] Os sensores 103-2 são sensores de imagem que incluem, nas superfícies dos sensores, os elementos de percepção com uma pluralidade de pixels bidimensionalmente arranjados em um padrão repetido. Nos sensores MS 103, os elementos de percepção (os sensores 103-2) detectam a luz que passa através dos filtros MS 103-1, e os sensores MS 103 transmitem os sinais de medição (os dados de medição) de acordo com a quantidade de luz

14 / 81 para a unidade de processamento de cálculo do comprimento de onda designado 104.

[0089] Aqui, em um caso em que, por exemplo, o sistema de processamento de imagem 50 for usado como um aparelho que percebe a vegetação, a densidade do fluxo de fóton fotossintético (PPFD) pode ser percebida. A fotossíntese de uma planta é afetada pelo número de quanta (fótons), que são partículas de luz. O número de quanta de luz nos comprimentos de onda de 400 a 700 nm, que são comprimentos de onda de absorção de clorofila, que entra por área unitária em um tempo unitário é indicado por um valor de PPFD.

[0090] Em um caso de cálculo do valor de PPFD, os sinais RGB são necessários, e os filtros que transmitem comprimentos de onda de R (vermelho), G (verde), B (azul), IR (luz infravermelha) e similares são combinados nos filtros MS 103-1. Por exemplo, da forma ilustrada na figura 3, um pixel unitário inclui altura x largura = 2 x 4 = 8 pixels, e os pixels recebem luz nos comprimentos de onda A até H, respectivamente. Os filtros MS 103-1 incluem os filtros que transmitem a luz nos comprimentos de onda A até H, respectivamente, e os pixels dos sensores MS 103 são sensores que recebem a luz transmitida.

[0091] Na seguinte descrição, a descrição será continuada pela consideração de que um pixel unitário inclui oito pixels, da forma ilustrada na figura 5, e cada pixel é um pixel que recebe luz em um comprimento de onda diferente. Além do mais, na seguinte descrição, a descrição será continuada pela consideração de que uma simples menção de um pixel denota um pixel em um pixel unitário, e uma menção de um pixel unitário denota pixels (grupo), incluindo oito pixels.

[0092] Além do mais, um pixel unitário inclui os sensores que recebem a luz nos comprimentos de onda A até H e, por exemplo, os sensores podem receber luz em 400 a 750 nm. O comprimento de onda A pode ser 400

15 / 81 nm. O comprimento de onda B pode ser 450 nm. O comprimento de onda C pode ser 500 nm. O comprimento de onda D pode ser 550 nm. O comprimento de onda E pode ser 600 nm. O comprimento de onda F pode ser 650 nm. O comprimento de onda G pode ser 700 nm. O comprimento de onda H pode ser 750 nm.

[0093] Note que o número de pixels incluídos em um pixel unitário, aqui, é um exemplo e não indica uma limitação. Por exemplo, um pixel unitário pode incluir 4 pixels (2 x 2) ou 16 pixels (4 x 4). Além do mais, a faixa do comprimento de onda da luz recebida por um pixel unitário e do comprimento de onda recebido por cada pixel não é limitada aos exemplos. Um comprimento de onda que permite perceber apropriadamente o objeto medido a ser percebido pode ser definido. Além do mais, o comprimento de onda não é limitado à luz visível, e o comprimento de onda pode ser luz infravermelha, luz ultravioleta ou similares.

[0094] Os filtros MS 103-1 que transmitem luz em uma pluralidade de comprimentos de onda de uma maneira como esta são filtros ópticos que transmitem luz em banda estreita em uma banda estreita predeterminada do comprimento de onda (banda estreita).

[0095] Uma câmera que usa um filtro de banda estreita como este ou similares é chamada de uma câmera multiespectral ou similares em alguns casos, e a câmera multiespectral também pode ser usada na presente técnica. Aqui, a câmera multiespectral será adicionalmente descrita.

[0096] Em um caso em que os comprimentos de onda da luz que passam através dos filtros MS 103-1 sobrepuserem uns com os outros, da forma ilustrada na figura 6, uma matriz inversa descrita a seguir pode ser resolvida para extrair a informação de um comprimento de onda arbitrário do sujeito.

[0097] Em um caso em que a faixa dos comprimentos de onda sobrepostos da luz que passa através dos filtros MS 103-1 for reduzida, da

16 / 81 forma ilustrada na figura 7, os filtros de banda estreita independentes uns dos outros podem ser providos. Neste caso, embora seja difícil extrair a informação de um comprimento de onda arbitrário do sujeito (informação pode ser prevista por interpolação ou extrapolação a partir de um comprimento de onda específico), há uma vantagem em que a saída do sensor pode ser prevista sem resolver a matriz inversa.

[0098] Os filtros ópticos do caso no qual os comprimentos de onda da luz que passa através dos filtros MS 103-1 sobrepõem uns com os outros, da forma ilustrada na figura 6, podem ser um tipo de filtros de fino filme de metal que usam finos filmes metálicos, tal como alumínio, e os filtros que usam o princípio da ressonância de plásmon de superfície podem ser aplicados.

[0099] Os filtros ópticos do caso no qual a faixa dos comprimentos de onda sobrepostos da luz que passa através dos filtros MS 103-1 é reduzida, da forma ilustrada na figura 7, podem ser os filtros que incluem finos filmes formados nas superfícies do sensor, e os filtros que usam o princípio da ressonância de Fabry-Perot podem ser aplicados.

[00100] Além do mais, os sensores multiespectrais podem ser providos com base nos pixels dos sensores MS 103-2.

[00101] Além do mais, da forma ilustrada na figura 8, multifiltros 151 e multicâmeras 152 podem ser combinados para prover uma câmera multiespectral.

[00102] Os multifiltros 151 são filtros que transmitem luz diferente para cada grupo de pixels, em vez de cada pixel. Por exemplo, cada uma das regiões A até H tem um tamanho de um grupo de a x b pixels, e as regiões correspondentes às multicâmeras 152 têm o mesmo tamanho do tamanho das regiões correspondentes A até H (grupo de a x b pixels é arranjado).

[00103] Além do mais, da forma ilustrada na figura 9, um arranjo multilentes 161 (correspondente à lente 101 da figura 3) e multifiltros 162

17 / 81 pode ser combinado para prover uma câmera multiespectral.

[00104] Lentes convexas são bidimensionalmente arranjadas no arranjo multilentes 161, e um fluxo luminoso incidente no arranjo multilentes 161 forma bidimensionalmente as imagens da fonte de luz nos multifiltros 162 (forma uma imagem da fonte de luz em cada lente incluída no arranjo multilentes 161).

[00105] Os multifiltros 162 são filtros divididos em uma pluralidade de regiões como nos multifiltros 151 da figura 8 e, neste caso, os filtros são divididos em regiões, cada qual correspondente a uma lente do arranjo multilentes 161. Alternativamente, os multifiltros 162 são filtros que transmitem um comprimento de onda predeterminado em cada pixel, como nos filtros MS 103-1 da figura 5.

[00106] No caso das multicâmeras ilustradas na figura 8 ou na figura 9, os multifiltros 151 (162) podem ser filtros com as características da forma ilustrada na figura 6 ou podem ser filtros com as características da forma ilustrada na figura 7. Além do mais, os filtros podem ser os multifiltros em banda muito estreita 151 (162) com as características da forma ilustrada na figura 10.

[00107] Os filtros com as características da forma ilustrada na figura 10 são chamados filtros dicroicos ou similares, e os filtros podem incluir filmes multicamadas dielétricos com diferentes índices refrativos.

[00108] A presente técnica pode ser aplicada em (usada para) qualquer uma das multicâmeras. Um exemplo do caso de uso dos filtros com as características da forma ilustrada na figura 6 será aqui ilustrado, e a descrição será continuada pela ilustração de um exemplo do case de uso das multicâmeras que incluem os filtros MS 103-1 e os sensores MS 103-2, da forma ilustrada na figura 5.

[00109] A configuração do sistema de processamento de imagem 50 ilustrado na figura 3 será adicionalmente descrita. Os sinais (sinais de

18 / 81 imagem) dos sensores MS 103 são supridos para a unidade de processamento de cálculo do comprimento de onda designado 104. A unidade de processamento de cálculo do comprimento de onda designado 104 usa os sinais de imagem supridos para executar um processo de geração das imagens com comprimentos de onda de luz desejáveis. Os sensores MS 103 são sensores que recebem luz em uma pluralidade de comprimentos de onda diferentes, respectivamente, como exposto, e as imagens obtidas a partir dos respectivos sensores são supridas para a unidade de processamento de cálculo do comprimento de onda designado 104.

[00110] Por exemplo, no caso em que o pixel unitário dos sensores MS 103 incluir os sensores que recebem a luz nos comprimentos de onda A até H, respectivamente, da forma descrita em relação à figura 5, uma imagem (referida como imagem A) provida pela saída do pixel que recebe a luz no comprimento de onda A, uma imagem (referida como a imagem B) provida pela saída do pixel que recebe a luz no comprimento de onda B, uma imagem (referida como imagem C) provida pela saída do pixel que recebe a luz no comprimento de onda C, uma imagem (referida como imagem D) provida pela saída do pixel que recebe a luz no comprimento de onda D, uma imagem (referida como imagem E) provida pela saída do pixel que recebe a luz no comprimento de onda E, uma imagem (referida como imagem F) provida pela saída do pixel que recebe a luz no comprimento de onda F, uma imagem (referida como imagem G) provida pela saída do pixel que recebe a luz no comprimento de onda G, e uma imagem (referida como imagem H) provida pela saída do pixel que recebe a luz no comprimento de onda H são supridas para a unidade de processamento de cálculo do comprimento de onda designado 104.

[00111] De uma maneira como esta, de acordo com o aparelho de formação de imagem 11 da presente técnica, a luz em uma pluralidade de comprimentos de onda diferentes é recebida e, em decorrência disto, uma

19 / 81 pluralidade de imagens é obtida de uma vez. As imagens obtidas de uma vez serão apropriadamente referidas como imagens multiespectrais. As imagens multiespectrais incluem uma pluralidade de imagens espectrais extraídas de acordo com as características dos filtros multiespectrais (os filtros MS 103-1).

[00112] A unidade de processamento de cálculo do comprimento de onda designado 104 usa, sem mudança, as imagens multiespectrais supridas a partir dos sensores MS 103, realiza o cálculo de matriz inversa usando as imagens multiespectrais para extrair (gerar) e usar as imagens em um comprimento de onda arbitrário, ou usa as imagens multiespectrais bem como as imagens em um comprimento de onda arbitrário geradas pelo cálculo. As imagens usadas pela unidade de processamento de cálculo do comprimento de onda designado 104 são supridas para a unidade de processamento de geração da imagem de referência 105 ou a unidade de extração de imagem do comprimento de onda de inspeção 106.

[00113] A unidade de processamento de geração da imagem de referência 105 gera uma imagem de referência. A imagem de referência é uma imagem usada para gerar a informação como uma fonte do processo de costura (informação de referência de costura 303 descrita posteriormente). Além do mais, a imagem de referência é a imagem mais característica de acordo com os recursos do sujeito. A geração da imagem de referência e o processo de costura como um processo depois da geração serão descritos posteriormente. A imagem de referência gerada pela unidade de processamento de geração da imagem de referência 105 é suprida para a unidade de processamento de costura da imagem de referência 107.

[00114] A unidade de extração de imagem do comprimento de onda de inspeção 106 gera uma imagem de inspeção. Por exemplo, em um caso de geração de uma imagem para verificar a condição de crescimento de uma planta, uma imagem em um comprimento de onda (comprimento de onda de inspeção) adequado para a percepção da vegetação é gerada (extraída). A

20 / 81 imagem de inspeção extraída pela unidade de extração de imagem do comprimento de onda de inspeção 106 é suprida para a unidade de processamento de costura da imagem de inspeção 108.

[00115] A unidade de processamento de costura da imagem de referência 107 aplica um processo de costura na imagem de referência. Uma imagem gerada pelo processo de costura da imagem de referência (informação da imagem) é usada para o processo de costura da imagem de inspeção. Aqui, a imagem (informação) gerada pelo processo de costura da imagem de referência é referida como um mapa de referência da costura ou informação de referência de costura.

[00116] A informação de referência de costura gerada é suprida para a unidade de processamento de costura da imagem de inspeção 108. A imagem de inspeção também é suprida para a unidade de processamento de costura da imagem de inspeção 108 a partir da unidade de extração de imagem do comprimento de onda de inspeção 106. A unidade de processamento de costura da imagem de inspeção 108 costura as imagens de inspeção com base na informação de referência de costura e gera as imagens de inspeção depois da costura. <Operação do Sistema de Processamento de Imagem>

[00117] Uma operação do sistema de processamento de imagem ilustrado nas figuras 1 a 3 será descrita em relação às figuras 11 e 12.

[00118] No tempo T1 (figura 11), um plano de voo é feito. Por exemplo, em um caso em que um aparelho de medição móvel 201 se mover acima de um campo predeterminado 211 para formar a imagem de um alvo de medição, tal como uma planta no campo 211, um plano de voo, da forma ilustrada na parte do tempo T1 na figura 11, é feito.

[00119] O aparelho de medição móvel 201 é, por exemplo, um veículo aéreo não tripulado (UAV). O aparelho de medição móvel 201 voa com base na rotação de uma asa rotativa propulsora 202 e percebe (tira uma fotografia

21 / 81 aérea de) um objeto a ser medido, tal como uma planta no campo 211, a partir do céu. O sensor de iluminância 12 (figura 1) é anexado na superfície do aparelho de medição móvel 201 que pode receber a luz solar durante a fotografia aérea, e o valor de iluminância pode ser percebido. Além do mais, o aparelho de formação de imagem 11 é anexado na superfície do aparelho de medição móvel 201 voltada para o campo 211 durante a fotografia aérea.

[00120] O aparelho de medição móvel 201 é controlado sem fio com base no plano de voo para tirar uma fotografia aérea, ou o plano de voo é armazenado em antecipação como dados de coordenada, e o aparelho de medição móvel 201 usa a informação de posição de um GPS (sistema de posicionamento global) ou similares para voar autonomamente para tirar uma fotografia aérea. Note que, embora o aparelho de medição móvel 201 seja uma aeronave de asa rotativa que inclui a asa rotativa 202 na descrição aqui exposta, o aparelho de medição móvel 201 pode ser uma aeronave de asa fixa.

[00121] No tempo T2, a real fotografia aérea do campo 211 é realizada com base no plano de voo. A fotografia aérea é realizada de maneira tal que as imagens fotografadas se sobreponham. No tempo T3 (figura 12), os resultados da fotografia aérea são obtidos. Da forma ilustrada na figura 12, as imagens fotografadas incluem partes sobrepostas. As partes sobrepostas são aparadas e costuradas, por exemplo, pela deleção de uma das partes sobrepostas e deixando a outra ou pela combinação das partes sobrepostas. Em decorrência disto, as imagens são geradas de maneira tal que uma pluralidade de imagens seja arranjada sem partes sobrepostas, da forma ilustrada no tempo T4 (figura 12).

[00122] Por exemplo, em um caso em que 500 imagens forem fotografadas no tempo T2, as 500 imagens são usadas para realizar aparagem e costura, e as imagens são, em última análise, mapeadas em um mapa.

[00123] O aparelho de formação de imagem 11 de acordo com a presente técnica inclui os sensores MS 103 da forma descrita em relação à

22 / 81 figura 5 e recebe a luz nos comprimentos de onda A até H para gerar as imagens A até H. O caso no qual os sensores MS 103 fotografam 500 imagens da forma supradescrita será descrito em relação à figura 13.

[00124] A fotografia aérea é realizada, e 500 imagens, incluindo as imagens 301A-1 até 301A-500, são obtidas como resultados da fotografia aérea a partir do pixel dos sensores MS 103 que recebem a luz no comprimento de onda A (referido como pixel A, os outros pixels serão similarmente descritos a seguir).

[00125] Similarmente, 500 imagens, incluindo as imagens 301B-1 a 301B-500, são obtidas como os resultados da fotografia aérea a partir do pixel B, que recebe a luz no comprimento de onda B dos sensores MS 103. As 500 imagens, incluindo as imagens 301C-1 a 301C-500, são obtidas como os resultados da fotografia aérea a partir do pixel C que recebe a luz no comprimento de onda C. As 500 imagens, incluindo as imagens 301D-1 a 301D-500, são obtidas como os resultados da fotografia aérea a partir do pixel D que recebe a luz no comprimento de onda D.

[00126] Além do mais, similarmente, as 500 imagens, incluindo as imagens 301E-1 até 301E-500, são obtidas como os resultados da fotografia aérea a partir do pixel E que recebe a luz no comprimento de onda E. As 500 imagens, incluindo as imagens 301F-1 até 301F-500, são obtidas como os resultados da fotografia aérea a partir do pixel F que recebe a luz no comprimento de onda F. As 500 imagens, incluindo as imagens 301G-1 até 301G-500, são obtidas como resultados da fotografia aérea a partir do pixel G que recebe a luz no comprimento de onda G. As 500 imagens, incluindo as imagens 301H-1 até 301H-500, são obtidas como resultados da fotografia aérea a partir do pixel H que recebe a luz no comprimento de onda H.

[00127] Neste caso, as 500 imagens são obtidas a partir de cada um dos pixels A até H. Os exemplos dos resultados da fotografia aérea gerados no tempo T3 (figura 12) incluem uma imagem do campo 211, incluindo as

23 / 81 imagens 301A-1 até 301A-500, uma imagem do campo 211, incluindo as imagens 301B-1 até 301B-500 e similares. Se a imagem a ser em última análise obtida for uma imagem com base no comprimento de onda A, as imagens 301A-1 até 301A-500 são usadas para realizar aparagem e costura.

[00128] Portanto, se a imagem a ser em última análise obtida for uma imagem com base em cada um dos comprimentos de onda A até H, as imagens 301A-1 até 301A-500 são usadas para realizar aparagem e costura, as imagens 301B-1 até 301B-500 são usadas para realizar aparagem e costura, e similares. De uma maneira como esta, um processo que usa cada uma das imagens 301A até 301H é executado.

[00129] Um processo como este é um processo enorme, e uma grande quantidade de dados é tratada. Se o sistema de processamento de imagem 10, da forma ilustrada na figura 1, for construído por uma configuração que não é o sistema de processamento de imagem 50, da forma ilustrada na figura 3, a quantidade de dados transferidos do aparelho de formação de imagem 11 para o aparelho de cálculo 14 pode ficar grande, e o tempo exigido para a transferência pode ficar longo. Além do mais, a quantidade de cálculo pelo aparelho de cálculo 14 pode ficar grande, e o processamento tempo do aparelho de cálculo 14 pode ficar longo. Em outras palavras, é provável que a transferência de dados e o processamento tempo fiquem longos, de acordo com a configuração que não é o sistema de processamento de imagem 50, da forma ilustrada na figura 3.

[00130] Entretanto, a configuração do sistema de processamento de imagem 50, da forma ilustrada na figura 3, é provida na presente modalidade, e a transferência de dados e o tempo de processamento podem ser encurtados.

[00131] Os detalhes serão sequencialmente descritos, mas, primeiro, um esboço será descrito. Da forma ilustrada na figura 14, 4.000 (=8 x 500) imagens 301 obtidas a partir dos pixels A até H são usadas para gerar as imagens de referência 302. Primeiro, uma imagem de referência 302-1 é

24 / 81 gerada a partir das imagens 301A-1 até 301H-1 fotografadas ao mesmo tempo (referido como tempo t1).

[00132] Note que, neste caso, as imagens fotografadas ao mesmo tempo são imagens fotografadas pelos sensores MS 103 ao mesmo tempo, e as imagens são obtidas pela fotografia da mesma seção. Isto é, por exemplo, as imagens 301A-1 até 301H-1 fotografadas no tempo t1 são as imagens obtidas pela fotografia da mesma seção e são as imagens nos comprimentos de onda diferentes. De uma maneira como esta, as imagens de referência 302 são geradas a partir da pluralidade de imagens 301 obtidas pela fotografia da mesma seção.

[00133] Uma imagem de referência 302-2 é gerada a partir das imagens 301A-2 a 301H-2 fotografadas no tempo t2, e uma imagem de referência 302-3 é gerada a partir das imagens 301A-3 a 301H-3 fotografadas no tempo t3. Os processos similares são repetidos para gerar as imagens de referência até uma imagem de referência 302-500. Isto é, as imagens de referência 302-1 a 302-500 são geradas.

[00134] A imagem de referência 302 é uma imagem que é a imagem mais característica de acordo com o recurso do sujeito. Por exemplo, em uma imagem obtida pela fotografia de uma estrutura como um sujeito, a estrutura é característica na imagem, isto é, por exemplo, a parte da estrutura é extraída como uma borda na imagem. Portanto, as imagens com partes características correspondentes podem ser colocadas no topo umas das outras para realizar a costura.

[00135] Por exemplo, com referência novamente à figura 12, as imagens sobrepõem umas com as outras, da forma ilustrada na parte do tempo T3. No caso em que as imagens forem as imagens de referência 302, as partes características correspondentes (por exemplo, regiões em que as bordas são detectadas, a seguir, apropriadamente referidas como regiões de recurso) entre as imagens de referência 302 adjacentes umas às outras podem ser colocadas

25 / 81 no topo umas das outras, isto é, por exemplo, as partes com uma estrutura podem ser colocadas no topo umas das outras, para realizar a costura.

[00136] Por exemplo, considera-se que as imagens de referência 302 são costuradas (no estado sobreposto) da forma ilustrada na figura 15. A figura 15 ilustra o mesmo estado dos resultados da fotografia aérea ilustrados no tempo T3 da figura 12.

[00137] Em relação à figura 15, a imagem de referência 302-100 é arranjada no estado sobreposto na direita da imagem de referência 302-1. A imagem de referência 302-150 é arranjada no estado sobreposto na direita da imagem de referência 302-100. A imagem de referência 302-200 é arranjada no estado sobreposto na direita da imagem de referência 302-150.

[00138] A imagem de referência 302-300 é arranjada no estado sobreposto abaixo da imagem de referência 302-1. A imagem de referência 302-400 é arranjada no estado sobreposto na direita da imagem de referência 302-300. A imagem de referência 302-450 é arranjada no estado sobreposto na direita da imagem de referência 302-400.

[00139] No caso em que as imagens no estado da forma ilustrada na figura 15 foram obtidas pela colocação no topo umas das outras as regiões de recurso correspondentes das imagens de referência 302 adjacentes umas às outras, as partes sobrepostas podem ser deletadas para obter uma mapa de referência da costura 303, da forma ilustrada na figura 16.

[00140] Em relação à figura 16, parte da imagem de referência 302-1 é arranjada na parte superior direita do mapa de referência da costura 303, e parte da imagem de referência 302-100 é arranjada na direita da imagem de referência 302-1. Similarmente, parte da imagem de referência 302-150 é arranjada na direita da imagem de referência 302-100, e parte da imagem de referência 302-200 é arranjada na direita da imagem de referência 302-150.

[00141] Além do mais, similarmente, parte da imagem de referência 302-300 é arranjada abaixo da imagem de referência 302-100. Parte da

26 / 81 imagem de referência 302-400 é arranjada na direita da imagem de referência 302-300. Parte da imagem de referência 302-450 é arranjada na direita da imagem de referência 301-400.

[00142] Um mapa de referência da costura 303 como este (informação de referência de costura 303) é gerado. O mapa de referência da costura 303 (informação de referência de costura 303) é a informação para posicionamento das imagens de referência 302. Além do mais, as imagens de referência 302 são, por exemplo, as imagens geradas a partir da pluralidade de imagens 301, da forma descrita em relação à figura 14.

[00143] Por exemplo, no exemplo descrito na figura 14, a imagem de referência 302-1 é gerada a partir das imagens 301A-1 até 301H-1, e a imagem de referência 302-2 é gerada a partir das imagens 301A-2 a 301H-2.

[00144] Além do mais, as imagens 301A-1 até 301H-1 são, por exemplo, as imagens obtidas pela fotografia de uma região de formação de imagem A predeterminada, e as imagens 301A-2 a 301H-2 são, por exemplo, as imagens obtidas pela fotografia de uma região de formação de imagem B predeterminada. Aqui, a região de formação de imagem A e a região de formação de imagem B são regiões pelo menos parcialmente sobrepostas uma com a outra.

[00145] Isto é, sumarizando o processo até aqui, a imagem de referência 302-1 em relação à região de formação de imagem A é gerada com base na pluralidade de imagens 301A-1 até 301H-1 em relação à região de formação de imagem A, e a imagem de referência 302-2 em relação à região de formação de imagem B é gerada com base na pluralidade de imagens 301A-2 a 301H-2 em relação à região de formação de imagem B que sobrepõe pelo menos parcialmente com a região de formação de imagem A.

[00146] Subsequentemente, o mapa de referência da costura 303 (informação de referência de costura 303) como a informação de posicionamento que indica a correspondência entre a região de formação de

27 / 81 imagem A e a região de formação de imagem B é gerado com base na imagem de referência 302-1 e na imagem de referência 302-2.

[00147] Note que, embora o mapa de referência da costura seja gerado como a informação de posicionamento no exemplo aqui descrito, a informação de posicionamento pode ser a informação que indica o desalinhamento relativo quando a imagem de referência 302-1 e a imagem de referência 302-2 forem colocadas no topo uma da outra.

[00148] Depois que o mapa de referência da costura 303 (informação de referência de costura 303) for gerado, as imagens de inspeção em um comprimento de onda desejável são mapeadas com base no mapa de referência da costura 303.

[00149] Por exemplo, um caso no qual as imagens de inspeção no comprimento de onda A são mapeadas com base no mapa de referência da costura 303 será descrito em relação à figura 17. As imagens 301A-1 até 301A-500 são adquiridas como as imagens no comprimento de onda A, da forma descrita em relação à figura 13.

[00150] Parte da imagem 301A-1 é arranjada na seção em que a imagem de referência 302-1 é arranjada no mapa de referência da costura 303. A imagem de referência 302-1 é uma imagem de referência 302 gerada a partir das imagens 301A-1 até 301H-1 fotografadas no tempo t1 no qual a imagem 301A-1 é fotografada.

[00151] De uma maneira como esta, as imagens 301 usadas para gerar as imagens de referência 302 são mapeadas. Além do mais, quando a imagem 301 for mapeada, a região correspondente é cortada e arranjada na mesma forma que a imagem de referência 302 no mapa de referência da costura 303.

[00152] A informação que permite reconhecer o tempo de fotografia da imagem 301, o local de arranjo da imagem 301 e a forma (tamanho) da imagem 301 a ser cortada é gravada no mapa de referência da costura 303 (informação de referência de costura 303).

28 / 81

[00153] Em relação à figura 17, parte da imagem 301A-100 é arranjada na seção em que a imagem de referência 302-100 é arranjada no mapa de referência da costura 303. Parte da imagem 301A-150 é arranjada na seção em que a imagem de referência 302-150 é arranjada no mapa de referência da costura 303. Parte da imagem 301A-200 é arranjada na seção em que a imagem de referência 302-200 é arranjada no mapa de referência da costura

303.

[00154] Além do mais, parte da imagem 301A-300 é arranjada na seção em que a imagem de referência 302-300 é arranjada no mapa de referência da costura 303. Parte da imagem 301A-400 é arranjada na seção em que a imagem de referência 302-300 é arranjada no mapa de referência da costura 303. Parte da imagem 301A-450 é arranjada na seção em que a imagem de referência 302-450 é arranjada no mapa de referência da costura

303.

[00155] De uma maneira como esta, o mapa de referência da costura 303 (informação de referência de costura 303) pode ser criado, e as imagens de inspeção no comprimento de onda desejável podem ser mapeadas com base no mapa de referência da costura 303 para gerar uma imagem de inspeção final no comprimento de onda desejável (apropriadamente referida como imagem de inspeção final).

[00156] Embora o exemplo do caso de geração da imagem de inspeção final no comprimento de onda A seja aqui ilustrado, o mesmo mapa de costura 303 (informação de referência de costura 303) também pode ser usado para gerar uma imagem de inspeção final no comprimento de onda B, como exposto. Além do mais, o mesmo mapa de referência da costura 303 (informação de referência de costura 303) pode ser usado para gerar as imagens de inspeção finais nos comprimentos de onda C a H, como exposto.

[00157] Isto é, quando o mapa de referência da costura 303 (informação de referência de costura 303) for gerado, o mapa de referência da

29 / 81 costura 303 (informação de referência de costura 303) pode ser usado para gerar uma imagem de inspeção final em um comprimento de onda desejável.

[00158] Além do mais, as imagens de inspeção também podem ser geradas a partir das imagens diferentes das imagens adquiridas como as imagens multiespectrais, e uma imagem de inspeção final pode ser gerada a partir das imagens de inspeção. Em outras palavras, embora os sensores MS 103 que incluem os pixels que recebem a luz nos comprimentos de onda A até H, respectivamente, sejam usados para adquirir as imagens A até B (imagens 301A até 301H) correspondentes aos comprimentos de onda A até H na descrição aqui exposta, as imagens X em um comprimento de onda (referido como o comprimento de onda X) não diretamente geradas a partir dos sensores MS 103 podem ser geradas, e as imagens X podem ser definidas como as imagens de inspeção para gerar a imagem de inspeção final. <Geração das Imagens Usando Cálculo de Matriz Inversa>

[00159] Aqui, a geração das imagens X em um comprimento de onda (referido como o comprimento de onda X) diferente do comprimento de onda das imagens multiespectrais geradas a partir dos sinais provenientes dos sensores MS 103 será adicionalmente descrita. As imagens no comprimento de onda desejável X podem ser geradas pela realização do cálculo de matriz inversa usando as imagens multiespectrais obtidas a partir dos sensores MS

103. Para descrever isto, um esboço da operação do aparelho de formação de imagem 11 será descrito novamente, primeiro, em relação à figura 18.

[00160] A luz solar 402 proveniente do Sol 401 é aplicada em uma planta 403 e uma estrada 404 e também é aplicada no sensor de iluminância

12. O sensor de iluminância 12 mede a iluminância da luz solar aplicada 402.

[00161] O sensor de iluminância 12 mede a iluminância da luz solar aplicada 402 e adquire os valores de iluminância. Os valores de iluminância adquiridos têm, por exemplo, as características espectrais da luz solar 402, da forma ilustrada na figura 19. O gráfico ilustrado na figura 19 indica as

30 / 81 características espectrais da luz solar 402. O eixo geométrico horizontal indica o comprimento de onda da luz, e o eixo geométrico vertical indica a intensidade de luz.

[00162] Note que, embora a descrição seja aqui continuada pela ilustração do exemplo de uso do sensor de iluminância 12, os valores de iluminância obtidos a partir do sensor de iluminância 12 podem não ser usados para realizar o cálculo no cálculo de matriz inversa usando as imagens multiespectrais descrito posteriormente. Portanto, a presente técnica também pode ser aplicada em uma configuração sem o sensor de iluminância 12.

[00163] Parte da luz solar 402 aplicada na planta 403 é refletida pela planta 403, e a luz refletida 405 é recebida pelo aparelho de formação de imagem 11. Além do mais, parte da luz solar 402 aplicada na estrada 404 é refletida pela estrada 404, e a luz refletida 406 é recebida pelo aparelho de formação de imagem 11.

[00164] Aqui, a figura 20 será referenciada. A figura 20 ilustra um gráfico que indica um relacionamento entre o comprimento de onda e a refletância quando a vegetação e o concreto forem definidos como alvos de medição. Na figura 20, o eixo geométrico horizontal indica o comprimento de onda, e o eixo geométrico vertical indica a refletância. Além do mais, um gráfico indicado por uma linha cheia representa os resultados obtidos quando o alvo de medição for a vegetação, e um gráfico indicado por uma linha pontilhada representa os resultados quando o alvo de medição for o concreto (aqui, uma estrutura, tal como a estrada 404).

[00165] Da forma ilustrada na figura 20, a refletância quando a luz do mesmo comprimento de onda for aplicada varia entre a planta 403 e a estrada 404 (concreto). Por exemplo, na figura 20, a refletância do concreto indicada pela linha pontilhada é mais alta do que a refletância da vegetação indicada pela linha cheia.

[00166] Além do mais, embora a refletância do concreto indicada pela

31 / 81 linha pontilhada na figura 20 seja uma refletância substancialmente constante, independente do comprimento de onda da luz, a refletância da vegetação indicada pela linha cheia muda acentuadamente em um comprimento de onda específico da luz. Pode ser reconhecido a partir da figura 20 que a refletância fica alta se a luz tiver um comprimento de onda igual a ou mais alto do que 700 nm no caso em que a planta for o alvo de medição.

[00167] De uma maneira como esta, mesmo quando a mesma luz solar 402 for aplicada, a luz refletida 405 da planta 403 e a luz refletida 406 da estrada 404 são diferentes, e os resultados são obtidos no caso em que a refletância for medida.

[00168] Além do mais, mesmo em um caso em que a mesma planta for o alvo de medição, o comprimento de onda da luz com a refletância mais alta varia dependendo da condição de crescimento.

[00169] Por exemplo, pode haver um caso no qual as imagens obtidas na formação de imagem no comprimento de onda X adequado para um objeto como um alvo de medição precisam ser geradas em um caso em que o comprimento de onda X adequado para o objeto como um alvo de medição não estiver nos comprimentos de onda A até H definidos nos sensores MS

103. Neste caso, as imagens no comprimento de onda desejável X são geradas pela realização do cálculo de matriz inversa usando as imagens multiespectrais obtidas a partir dos sensores MS 103.

[00170] As imagens no comprimento de onda desejável X podem ser expressadas por características de reflexo espectral do sujeito como um alvo de medição. No geral, a seguinte expressão relacional (1) se mantém entre as características espectrais de uma fonte de luz (referida como L(λ)), as características espectrais de um sujeito (referidas como P(λ)), as características espectrais de um sistema de formação de imagem (referido como S(λ)), e uma imagem fotografada (referida como O(λ)). (características espectrais L(λ) da fonte de luz) x (características espectrais

32 / 81 P(λ) do sujeito) x (características espectrais S(λ) do sistema de formação de imagem) = (imagem (O(λ))) ∙∙∙ (1)

[00171] As características espectrais da fonte de luz são as características espectrais obtidas a partir do sensor de iluminância 12 e são, por exemplo, as características espectrais da luz solar 402, da forma ilustrada na figura 19. Note que os valores arbitrários podem ser usados para as características espectrais da fonte de luz. Em outras palavras, as características espectrais preajustadas podem ser usadas em vez das características espectrais obtidas a partir do sensor de iluminância 12.

[00172] As características espectrais do sujeito são as características espectrais obtidas a partir da luz refletida do sujeito e são, por exemplo, as características espectrais da luz refletida quando a luz solar for aplicada na planta ou no concreto e refletida, da forma ilustrada na figura 20.

[00173] As características espectrais do sistema de formação de imagem são as características espectrais dos sensores MS 103 e são, por exemplo, as características espectrais da forma ilustrada na figura 21. Os sensores MS 103 são os sensores que recebem os sinais, por exemplo, em oito tipos de comprimentos de onda em um pixel unitário, como exposto.

[00174] Os sensores MS 103 são os sensores com uma combinação dos filtros MS 103-1 e dos sensores 103-2. Portanto, as características espectrais dos sensores MS 103 são as características afetadas pela transmitância dos filtros MS 103-1 e pela sensibilidade dos sensores 103-2. Especificamente, as características espectrais são os valores obtidos pela multiplicação da transmitância dos filtros MS 103-1 pela sensibilidade dos sensores 103-2. Além do mais, a sensibilidade dos sensores 103-2 é a sensibilidade em relação à sensibilidade definida como um padrão, e a sensibilidade normalizada é usada.

[00175] As características espectrais dos sensores MS 103 são as características espectrais de cada comprimento de onda dos comprimentos de

33 / 81 onda A até H, da forma ilustrada na figura 21.

[00176] A Expressão (1) pode ser transformada para obter a Expressão (2) para calcular as características espectrais do sujeito. [Representação Matemática 1] P(λ) = 0(λ) x L-1(λ) x S-1(λ) ∙∙∙ (2)

[00177] De uma maneira como esta, a Expressão (2), isto é, o cálculo de matriz inversa, pode ser usada para calcular as características de reflexo espectral do sujeito. Em outras palavras, λ pode ser definido no comprimento de onda X para realizar o cálculo de matriz inversa com base na Expressão (2), e as imagens multiespectrais obtidas a partir dos sensores MS 103 podem ser usadas para gerar as imagens no comprimento de onda desejável X.

[00178] De uma maneira como esta, as imagens no comprimento de onda desejável podem ser geradas, e as imagens podem ser definidas como as imagens de inspeção e mapeadas com base no mapa de referência da costura 303 para gerar a imagem de inspeção final. <Primeiro Processo de Geração da Imagem de Inspeção Final>

[00179] Uma operação do sistema de processamento de imagem 50 (figura 3) será descrita em relação a um fluxograma da figura 22. Note que a descrição dos primeiro até sexto processos de geração será sequencialmente adicionada a seguir. Cada processo de geração é com base na consideração de que a unidade de formação de imagem 61 (lente 101, unidade de exposição 102 e sensores MS 103) adquire as imagens multiespectrais (adquire as imagens 301 nos comprimentos de onda A até H), e o processo durante a fotografia aérea não será descrito.

[00180] Além do mais, na seguinte descrição, a descrição será continuada pela ilustração do exemplo no qual 500 imagens 301 são fotografadas como as imagens multiespectrais em cada um dos oito comprimentos de onda, da forma descrita em relação às figuras 13 a 21. Além do mais, a descrição das partes já descritas será apropriadamente ignorada.

34 / 81

[00181] Na etapa S11, a unidade de processamento de geração da imagem de referência 105 executa um processo de cálculo do valor de recurso. As imagens multiespectrais são supridas para a unidade de processamento de geração da imagem de referência 105 a partir da unidade de processamento de cálculo do comprimento de onda designado 104. No primeiro processo de geração, as imagens multiespectrais (imagens 301) adquiridas pelos sensores MS 103 são usadas sem mudança para executar o processo.

[00182] Em um caso em que o sistema de processamento de imagem 50 gerar a imagem de inspeção final no primeiro processo de geração, a unidade de processamento de cálculo do comprimento de onda designado 104 supre as imagens multiespectrais dos sensores MS 103, tais como as imagens 301 descritas em relação à figura 13, para a unidade de processamento de geração da imagem de referência 105.

[00183] Neste caso, as imagens multiespectrais podem ser diretamente supridas dos sensores MS 103 para a unidade de processamento de geração da imagem de referência 105 sem o envolvimento da unidade de processamento de cálculo do comprimento de onda designado 104.

[00184] O processo de cálculo do valor de recurso na etapa S11 (primeiro processo de cálculo do valor de recurso) será descrito em relação a um fluxograma da figura 23. Na etapa S31, a unidade de processamento de geração da imagem de referência 105 extrai os valores de recurso das imagens multiespectrais.

[00185] O valor de recurso é um índice que indica o tamanho dos recursos da imagem, da forma descrita posteriormente. Por exemplo, o valor de recurso é um índice que indica o grau de existência das regiões de recurso na imagem (partes características da imagem, como exposto). Os valores de recurso são usados para selecionar as imagens de referência, e as regiões de recurso são usadas durante o processo de costura descrito posteriormente.

35 / 81

[00186] Por exemplo, o valor de recurso (índice que indica o tamanho dos recursos da imagem) pode ser uma quantidade espacial da mudança no valor do pixel. A quantidade espacial da mudança no valor do pixel pode ser a diferença entre os valores de pixel dos pixels próximos. Neste caso, por exemplo, uma região de borda pode ser extraída pela extração de uma região na qual o valor da diferença entre os valores de pixel dos pixels é igual a ou maior do que um limite.

[00187] A quantidade espacial da mudança no valor do pixel pode ser usada como um índice que indica o tamanho do recurso da imagem, e a quantidade de mudança pode ser definida como o valor de recurso para realizar o cálculo na etapa S31.

[00188] Além do mais, os exemplos do método de extração da região de borda da imagem inclui um método que usa uma operação diferencial e um método que usa um filtro passa alta. A região de borda pode ser definida como uma região com uma mudança expressiva na cor ou similares e, em outras palavras, pode ser declarado que a inclinação do gráfico é expressiva na região de borda. Há um método de uso disto para obter uma inclinação com base em um diferencial e extrair a região de borda pela consideração de que a região é uma borda em um caso em que a inclinação for maior do que um limite predeterminado.

[00189] Além do mais, uma região com uma borda inclui componentes de alta frequência, e há um método de uso de um filtro passa alta para extrair os componentes de alta frequência para, desse modo, extrair a região com a borda.

[00190] Quando as imagens de referência forem geradas em um processo de um estágio posterior (por exemplo, etapa S51 da figura 24), os valores de recurso das imagens são comparados. No caso em que a quantidade espacial da mudança no valor do pixel for calculada como o valor de recurso na etapa S31, o valor de recurso usado na etapa S51 pode ser, por exemplo,

36 / 81 uma soma total das diferenças entre os valores de pixel dos pixels próximos calculada a partir de uma imagem.

[00191] Além do mais, no caso em que os componentes de alta frequência forem extraídos para extrair a região (= região do recurso) com uma borda na etapa S31, o tamanho (proporção) da região extraída como a borda em uma imagem é calculado como o valor de recurso.

[00192] Além do mais, por exemplo, um ponto de recurso pode ser extraído, e o ponto de recurso pode ser usado como o índice que indica o tamanho do recurso da imagem. O ponto de recurso pode ser obtido pela divisão da imagem em uma pluralidade de regiões e pelo uso de um método de cálculo chamado, por exemplo, de erro quadrático médio, para calcular a diferença entre o valor médio dos valores do pixel na região e o valor do pixel na região. O valor (diferença) pode ser comparado com os valores de pixel dos pixels circundantes para determinar que o pixel com uma grande diferença é um ponto de recurso.

[00193] No caso em que o ponto de recurso for usado como o índice que indica o tamanho do recurso da imagem, o valor de recurso pode ser, por exemplo, o número total, a proporção ou similares dos pontos de recurso extraídos a partir de uma imagem.

[00194] Além do mais, por exemplo, estatística (por exemplo, o valor da variância) pode ser usada como o índice que indica o tamanho do recurso da imagem. Para o valor da variância, a imagem pode ser dividida em uma pluralidade de regiões, e a variância nas regiões pode ser obtida para calcular a estatística representativa de cada região. O valor (estatística) pode ser usado como o valor da variância.

[00195] O valor da variância quando a variância na região for calculada indica a complexidade da distribuição de pixels da região, e o valor da variância é grande em uma região, tal como uma borda, que inclui uma imagem na qual o valor do pixel muda rapidamente. Portanto, a variância na

37 / 81 região pode ser obtida como o índice que indica o tamanho do recurso da imagem, e o valor da variância pode ser usado como o valor de recurso.

[00196] No caso em que as estatísticas forem usadas como o índice que indica o tamanho do recurso da imagem, o valor de recurso pode ser, por exemplo, a soma total, o valor médio ou similares da estatística calculada a partir de uma imagem.

[00197] No exemplo do caso aqui ilustrado e descrito, uma borda é extraída da imagem, e o valor de recurso é uma proporção da região de borda extraída em uma imagem. Além do mais, a descrição será continuada pela ilustração de um exemplo de um caso no qual a borda é extraída pela extração dos componentes de alta frequência.

[00198] O fluxograma ilustrado na figura 23 será adicionalmente descrito. Na etapa S31, os componentes de alta frequência são extraídos (isto é, as bordas são extraídas) a partir de cada imagem multiespectral para calcular o valor de recurso. Por exemplo, da forma descrita em relação à figura 13, os sensores MS 103 aplicam um processo de extração dos componentes de alta frequência em cada uma das imagens 301 que são as imagens multiespectrais, incluindo as imagens 301A-1 até 301A-500, as imagens 301B-1 até 301B-500, as imagens 301C-1 até 301C-500, as imagens 301D-1 até 301D-500, as imagens 301E-1 até 301E-500, as imagens 301F-1 até 301F-500, as imagens 301G-1 até 301G-500, e as imagens 301H-1 até 301H-500.

[00199] A proporção dos componentes de alta frequência extraídos (regiões de borda) em uma imagem é usada como o valor de recurso e, portanto, a proporção é calculada na etapa S31. Além do mais, as regiões de recurso são comparadas quando o processo de costura for aplicado nas imagens de referência, da forma descrita posteriormente. Portanto, enquanto os valores de recurso são calculados, a informação em relação às regiões de recurso extraídas como as regiões de borda é apropriadamente armazenada.

38 / 81

[00200] Uma vez que os componentes de alta frequência forem extraídos a partir de cada imagem 301 para executar o processo de cálculo do valor de recurso na etapa S31, o processo prossegue para a etapa S12 (figura 22).

[00201] Na etapa S12, um processo de geração de imagem de referência é executado. O processo de geração de imagem de referência (primeiro processo de geração de imagem de referência) executado na etapa S12 será descrito em relação a um fluxograma da figura 24.

[00202] Na etapa S51, a unidade de processamento de geração da imagem de referência 105 compara os valores de recurso das imagens 301 calculados no processo da etapa S11. Os resultados da comparação são usados para gerar as imagens de referência na etapa S52.

[00203] A comparação dos valores de recurso na etapa S51 é realizada nas imagens fotografadas ao mesmo tempo (imagens obtidas pela fotografia da mesma seção), da forma descrita em relação à figura 14. Além do mais, a imagem 301 com o maior valor de recurso (com mais recursos do sujeito na imagem) é preferivelmente selecionada e definida como uma imagem de referência.

[00204] Por exemplo, com referência novamente à figura 14, os valores de recurso (proporções das regiões extraídas como bordas) da imagem 301A- 1, da imagem 301B-1, da imagem 301C-1, da imagem 301D-1, da imagem 301E-1, da imagem 301F-1, da imagem 301G-1, e da imagem 301H-1 fotografadas no tempo t1 são comparados, e a imagem 301 com o maior valor de recurso é definida como a imagem de referência 302-1. Por exemplo, em um caso em que o valor de recurso da imagem 301A-1 for maior do que os valores de recurso das outras imagens 301B-1 até 301H-1, a imagem 301A-1 é definida como a imagem de referência 302-1.

[00205] Similarmente, o processo de comparação dos valores de recurso e de definição, como a imagem de referência 302, da imagem 301

39 / 81 com o maior valor de recurso em decorrência da comparação também é aplicado nas imagens 301-2 até 301-500. Uma vez que o processo for executado para gerar as imagens de referência 302-1 até 302-500, o processo prossegue para a etapa S13 (figura 22).

[00206] Note que, em um caso em que o valor de recurso diferente da proporção da região de borda em uma imagem for usado, tal como em um caso em que o número total de pontos de recurso ou a soma total da estatística forem usados, a imagem 301 com um grande valor de recurso é similarmente definida como a imagem de referência 302.

[00207] Na etapa S13, o processo de costura das imagens de referência é executado. As imagens de referência 302-1 até 302-500 geradas pela unidade de processamento de geração da imagem de referência 105 são supridas para a unidade de processamento de costura da imagem de referência

107.

[00208] A unidade de processamento de costura da imagem de referência 107 usa as imagens de referência supridas 302-1 até 302-500 para executar o processo de costura e gerar o mapa de referência da costura 303 (informação de referência de costura 303).

[00209] O processo de costura usando as imagens de referência 302-1 até 302-500 é executado da forma descrita em relação às figuras 15 e 16. Isto é, as partes com regiões de recurso correspondentes (similares) nas imagens de referência 302-1 até 302-500 são detectadas, e as partes são colocadas no topo umas das outras e para gerar as imagens sem partes sobrepostas (mapa de referência da costura 303).

[00210] Note que, como exposto, o valor de recurso, isto é, a região do recurso extraída para calcular o índice que indica o tamanho do recurso da imagem, é usado para o processo de costura e, portanto, um processo adequado para a região do recurso usada é executado.

[00211] Por exemplo, no caso em que os resultados da extração das

40 / 81 regiões de borda forem usados para calcular os valores de recurso, um processo de ajuntamento das regiões de borda extraídas é executado no processo de costura.

[00212] Além do mais, no caso em que os pixels diferentes dos pixels circundantes forem extraídos como os pontos de recurso para calcular os valores de recurso, um processo de ajuntamento dos pontos de recurso (colocando juntas as seções com alinhamento correspondente ou similar dos pontos de recurso) é executado como o processo de costura.

[00213] Além do mais, no caso em que, por exemplo, os valores da variância nas regiões forem calculados como os índices que indica os tamanhos dos recursos das imagens para calcular os valores de recurso, um processo de costura de colocar juntos os valores da variância (colocando juntas as seções com o mesmo ou similar alinhamento das regiões com valores da variância) é executado.

[00214] Na etapa S14, as imagens de inspeção são geradas. As imagens de inspeção são, por exemplo, as imagens fotografadas no comprimento de onda adequado para a percepção da vegetação (imagens geradas pelo cálculo de matriz inversa a partir das imagens fotografadas) no caso de inspeção (percepção) da vegetação.

[00215] A unidade de processamento de cálculo do comprimento de onda designado 104 e a unidade de extração de imagem do comprimento de onda de inspeção 106 geram as imagens de inspeção. Em um exemplo de um método de geração das imagens de inspeção, a unidade de processamento de cálculo do comprimento de onda designado 104 supre as imagens multiespectrais (imagens em cada um de uma pluralidade de comprimentos de onda) para a unidade de extração de imagem do comprimento de onda de inspeção 106, e a unidade de extração de imagem do comprimento de onda de inspeção 106 extrai, a partir da pluralidade de imagens supridas, as imagens correspondentes ao comprimento de onda designado como o comprimento de

41 / 81 onda de inspeção para, desse modo, gerar as imagens de inspeção.

[00216] Além do mais, em um outro exemplo do método de geração das imagens de inspeção, a unidade de processamento de cálculo do comprimento de onda designado 104 usa as imagens multiespectrais para gerar as imagens em um comprimento de onda predeterminado com base na Expressão (2) (da forma descrita em relação às figuras 18 a 21) e supre as imagens para a unidade de extração de imagem do comprimento de onda de inspeção 106. A unidade de extração de imagem do comprimento de onda de inspeção 106 extrai, a partir da pluralidade de imagens supridas, as imagens correspondentes ao comprimento de onda designado como o comprimento de onda de inspeção para, desse modo, gerar as imagens de inspeção.

[00217] Em um caso em que a unidade de processamento de cálculo do comprimento de onda designado 104 for configurada para gerar as imagens correspondentes a uma pluralidade de comprimentos de onda preajustados, a unidade de extração de imagem do comprimento de onda de inspeção 106 extrai, a partir da pluralidade de imagens geradas e supridas pela unidade de processamento de cálculo do comprimento de onda designado 104, as imagens correspondentes ao comprimento de onda designado como o comprimento de onda de inspeção para, desse modo, gerar as imagens de inspeção.

[00218] Além do mais, a unidade de processamento de cálculo do comprimento de onda designado 104 também pode ser configurada para gerar as imagens no comprimento de onda a ser extraído pela unidade de extração de imagem do comprimento de onda de inspeção 106 e, no caso em que a unidade de processamento de cálculo do comprimento de onda designado 104 for configurada de uma maneira como esta, a unidade de extração de imagem do comprimento de onda de inspeção 106 trata as imagens supridas como as imagens correspondentes ao comprimento de onda designado como o comprimento de onda de inspeção (as imagens supridas são usadas sem

42 / 81 executar o processo de extração ou de geração).

[00219] Além do mais, em um outro método de geração das imagens de inspeção, a unidade de extração de imagem do comprimento de onda de inspeção 106, em vez da unidade de processamento de cálculo do comprimento de onda designado 104, pode gerar as imagens no comprimento de onda designado. Por exemplo, as imagens multiespectrais podem ser supridas da unidade de processamento de cálculo do comprimento de onda designado 104 para a unidade de extração de imagem do comprimento de onda de inspeção 106, e a unidade de extração de imagem do comprimento de onda de inspeção 106 pode usar as imagens supridas multiespectrais para realizar o cálculo com base na Expressão (2) para, desse modo, gerar as imagens de inspeção no comprimento de onda designado (comprimento de onda desejável).

[00220] Uma vez que as imagens de inspeção forem geradas na etapa S14, o processo prossegue para a etapa S15. As imagens de inspeção extraídas pela unidade de extração de imagem do comprimento de onda de inspeção 106 são supridas para a unidade de processamento de costura da imagem de inspeção 108. O mapa de referência da costura 303 (informação de referência de costura 303) também é suprido para a unidade de processamento de costura da imagem de inspeção 108 a partir da unidade de processamento de costura da imagem de referência 107.

[00221] A unidade de processamento de costura da imagem de inspeção 108 usa a informação de referência de costura 303 da forma descrita em relação à figura 17 para aplicar o processo de costura nas imagens de inspeção para gerar a imagem de inspeção final.

[00222] A informação de referência de costura 303 é a informação que indica as imagens, as posições das imagens cortadas e como as imagens são colocadas juntas. Em outras palavras, a informação de referência de costura 303 é a informação que inclui pelo menos a informação que indica o

43 / 81 relacionamento posicional entre as imagens obtidas pela fotografia de uma região predeterminada e as imagens obtidas pela fotografia das regiões sobrepostas com a região e é a informação que pode ser usada como metadados associados com as imagens na execução do processo de costura.

[00223] A unidade de processamento de costura da imagem de inspeção 108 refere-se à informação de referência de costura 303 para determinar a imagem de inspeção que deve ser usada dentre a pluralidade de imagens de inspeção e a posição (região) a ser cortada da imagem de inspeção a ser usada. A unidade de processamento de costura da imagem de inspeção 108 determina como a região determinada deve ser colocada juntamente com a região cortada, da mesma maneira em relação a uma outra imagem de inspeção. A unidade de processamento de costura da imagem de inspeção 108 repete o processo para executar o processo de costura das imagens de inspeção e gera a imagem de inspeção final.

[00224] A imagem de inspeção final é, por exemplo, mapeada em um mapa já gerado e usada.

[00225] De uma maneira como esta, a informação de referência de costura 303 é gerada, e a informação de referência de costura 303 é usada para executar o processo de costura das imagens de inspeção. Em decorrência disto, mesmo quando o processo de costura for aplicado em cada uma das imagens de inspeção em uma pluralidade de comprimentos de onda, o tempo exigido para o processo de costura pode ser encurtado, e a carga do processamento pode ser reduzida. <Segundo Processo de Geração da Imagem de Inspeção Final>

[00226] Uma outra operação do sistema de processamento de imagem 50 (figura 3) será descrita. No exemplo do primeiro processo de geração ilustrado como um processo até a geração da imagem de inspeção final, as imagens multiespectrais adquiridas pelos sensores MS 103 são usadas sem mudança para calcular os valores de recurso no processo de cálculo do valor

44 / 81 de recurso na etapa S11.

[00227] Um segundo processo de geração até a geração da imagem de inspeção final será descrito pela ilustração de um exemplo de um caso no qual as imagens multiespectrais são processadas para calcular os valores de recurso.

[00228] O sistema de processamento de imagem 50 executa o segundo processo de geração com base no fluxograma ilustrado na figura 22, como no primeiro processo de geração.

[00229] O processo é executado como no fluxograma ilustrado na figura 22, exceto em que o processo é executado com base em um fluxograma de um segundo processo de cálculo do valor de recurso ilustrado na figura 25 quando o processo de cálculo do valor de recurso for executado na etapa S11. Portanto, a descrição do processo diferente será aqui adicionada, e o processo executado similarmente não será descrito.

[00230] Em relação ao fluxograma ilustrado na figura 25, uma imagem reduzida é gerada primeiro na etapa S101 quando o valor de recurso for calculado. Da forma ilustrada na figura 26, a imagem 301 é definida como uma imagem padrão, e a imagem 301 é multiplicada por 1/A verticalmente e multiplicada por 1/B horizontalmente para gerar uma imagem reduzida 301ab. Além do mais, a imagem 301 é multiplicada por 1/M verticalmente e multiplicada por 1/N horizontalmente para gerar uma imagem reduzida 301mn.

[00231] Por exemplo, em um caso em que A=B=2 for definido, a imagem 301 é multiplicada por 1/2 verticalmente e multiplicada por 1/2 horizontalmente para gerar a imagem reduzida 301ab. Similarmente, por exemplo, em um caso em que M=N=5 for definido, a imagem 301 é multiplicada por 1/5 verticalmente e multiplicada por 1/5 horizontalmente para gerar a imagem reduzida 301mn.

[00232] Embora o exemplo do caso no qual duas imagens reduzidas

45 / 81 são geradas a partir da imagem padrão 301 (imagem original) tenha sido aqui descrito, um caso no qual uma imagem reduzida é gerada e um caso no qual duas ou mais imagens reduzidas são geradas também estão na faixa de aplicação da presente técnica. Note que, na seguinte descrição, a descrição será continuada pela ilustração de um exemplo de um caso no qual um total de três imagens, incluindo uma imagem original e duas imagens reduzidas, são usadas para executar o processo.

[00233] Além do mais, embora o exemplo do caso em que A=B=2 é definido e do caso em que M=N=5 é definido seja aqui ilustrado, A e B podem não ser o mesmo valor, e M e N podem não ser o mesmo valor.

[00234] Uma vez que as imagens reduzidas forem geradas na etapa S101, o processo prossegue para a etapa S102. Na etapa S102, os componentes de alta frequência são extraídos (bordas são extraídas) (valores de recurso são calculados). O processo pode ser executado como no processo da etapa S31 no fluxograma ilustrado na figura 23, e o processo não será descrito.

[00235] Entretanto, na etapa S102, as imagens 301 a partir das quais os componentes de alta frequência são extraídos são a imagem original e as imagens reduzidas. Por exemplo, cada uma da imagem 301, da imagem 301ab, e da imagem 301mn, da forma ilustrada na figura 26, é o alvo de processamento. Os componentes de alta frequência são extraídos a partir de cada uma, e o valor de recurso (tal como proporção da região de borda) é calculado com base no resultado da extração.

[00236] Note que, na comparação dos valores de recurso, um processo, tal como multiplicação do valor de recurso da imagem reduzida por um coeficiente predeterminado para prover a mesma condição da imagem original, pode ser apropriadamente executado.

[00237] Por exemplo, no caso em que a soma total dos pontos de recurso ou a soma total da estatística forem usadas como o valor de recurso, o

46 / 81 número de pixels alvos (o número de regiões) varia entre a imagem original e a imagem reduzida. Portanto, se o valor de recurso da imagem original e o valor de recurso da imagem reduzida forem simplesmente comparados, um resultado da comparação errado pode ser transmitido.

[00238] Portanto, por exemplo, depois que o valor de recurso da imagem reduzida for calculado, o valor de recurso calculado pode ser multiplicado por um coeficiente predeterminado, tal como uma taxa de redução. De uma maneira como esta, um processo de conversão do valor de recurso em um valor de recurso que permite tratar o valor de recurso como um valor de recurso calculado na mesma condição da imagem original (calculado no mesmo número de pixels e no mesmo número de regiões da imagem original) pode ser incluído.

[00239] Aqui, a descrição será continuada pela consideração de que o processo de cálculo do valor de recurso na etapa S102 (processo de cálculo do valor de recurso pela extração dos componentes de alta frequência) inclui o processo que permite tratar o valor de recurso calculado a partir da imagem original e o valor de recurso calculado a partir da imagem reduzida como os valores de recurso calculados na mesma condição.

[00240] De uma maneira como esta, quando o processo de cálculo do valor de recurso (etapa S11 da figura 22) for finalizado, o processo prossegue para a etapa S12. Na etapa S12, um processo de geração de imagem de referência é executado.

[00241] O processo de geração de imagem de referência executado na etapa S12 é executado com base no fluxograma do primeiro processo de geração de imagem de referência ilustrado na figura 24. O processo já está descrito, e o processo não será aqui descrito. Entretanto, embora os valores de recurso sejam comparados na etapa S51, as imagens nas quais os valores de recurso são comparados são diferentes do primeiro processo de geração (primeiro processo de geração de imagem de referência), e isto será

47 / 81 adicionalmente descrito em relação à figura 27.

[00242] Por exemplo, no caso em que a imagem de referência 302-1 for gerada a partir da imagem 301-1 fotografada no tempo t1, o valor de recurso é calculado a partir de cada uma da imagem 301A-1 no comprimento de onda A e das imagens reduzidas 301Aab-1 e 301Amn-1 da imagem 301A- 1, da forma ilustrada na figura 27.

[00243] Similarmente, o valor de recurso é calculado a partir de cada uma da imagem 301B-1 no comprimento de onda B e das imagens reduzidas 301Bab-1 e 301Bmn-1 da imagem 301B-1. Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301C-1 no comprimento de onda C e das imagens reduzidas 301Cab-1 e 301Cmn-1 da imagem 301C-1.

[00244] Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301D-1 no comprimento de onda D e das imagens reduzidas 301Dab-1 e 301Dmn-1 da imagem 301D-1. Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301E-1 no comprimento de onda E e das imagens reduzidas 301Eab-1 e 301Emn-1 da imagem 301E-1.

[00245] Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301F-1 no comprimento de onda F e das imagens reduzidas 301Fab-1 e 301Fmn-1 da imagem 301F-1. Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301G-1 no comprimento de onda G e das imagens reduzidas 301Gab-1 e 301Gmn-1 da imagem 301G-1.

[00246] Além do mais, o valor de recurso é calculado a partir de cada uma da imagem 301H-1 no comprimento de onda H e das imagens reduzidas 301Hab-1 e 301Hmn-1 da imagem 301H-1.

[00247] A imagem com o maior valor de recurso dentre os valores de recurso das imagens é detectada. Isto é, no segundo processo de geração, as imagens reduzidas também são definidas como os alvos de processamento para executar o processo. A imagem original da imagem detectada com o maior valor de recurso é definida como a imagem de referência 302-1.

48 / 81

[00248] Por exemplo, em um caso em que a imagem com o maior valor de recurso for a imagem reduzida 301Amn-1, a imagem 301A-1 como a imagem original da imagem reduzida 301Amn-1 é definida como a imagem de referência 302-1.

[00249] Além do mais, por exemplo, em um caso em que a imagem com o maior valor de recurso for a imagem reduzida 301A-1, a imagem 301A-1 é definida como a imagem de referência 302-1.

[00250] De uma maneira como esta, as imagens reduzidas podem ser geradas, e as imagens reduzidas também podem ser incluídas no processo. Em decorrência disto, mais imagens características podem ser extraídas e definidas como as imagens de referência.

[00251] Uma vez que as imagens de referência forem geradas de uma maneira como esta, o processo prossegue para a etapa S13 (figura 22). O processo a partir da etapa S13 já está descrito, e o processo não será descrito. <Terceiro Processo de Geração da Imagem de Inspeção Final>

[00252] Uma outra operação do sistema de processamento de imagem 50 (figura 3) será descrita. Nos exemplos do primeiro processo de geração e do segundo processo de geração ilustrados como os processos até a geração da imagem de inspeção final, os valores de recurso são calculados pelo uso, sem mudança, das imagens multiespectrais adquiridas pelos sensores MS 103 ou pela geração das imagens reduzidas no processo de cálculo do valor de recurso da etapa S11.

[00253] Um terceiro processo de geração até a geração da imagem de inspeção final será descrito pela ilustração de um exemplo de um caso no qual a imagem original e as imagens reduzidas são adicionalmente divididas em blocos para calcular os valores de recurso para gerar as imagens de referência.

[00254] No terceiro processo de geração, o sistema de processamento de imagem 50 executa o processo com base no fluxograma ilustrado na figura 22, como no primeiro processo de geração ou no segundo processo de

49 / 81 geração.

[00255] O terceiro processo de geração é diferente do primeiro ou do segundo processo de geração em que, no processo de cálculo do valor de recurso da etapa S11, o processo é executado com base no fluxograma do terceiro processo de cálculo do valor de recurso ilustrado na figura 28. Portanto, o processo será adicionalmente descrito.

[00256] Na etapa S201, as imagens reduzidas são geradas. O processo pode ser similar ao processo da etapa S101 no segundo processo de geração no fluxograma ilustrado na figura 25. Embora o exemplo do caso em que as imagens reduzidas são geradas, isto é, o caso em que o terceiro processo de geração é executado em combinação com o segundo processo de geração, seja aqui descrito, o terceiro processo de geração pode ser combinado com o primeiro processo de geração.

[00257] O terceiro processo de geração pode ser combinado com o primeiro processo de geração, e as imagens reduzidas podem não ser geradas na etapa S201. As imagens multiespectrais (imagens originais) supridas a partir dos sensores MS 103 podem ser usadas sem mudança.

[00258] Na etapa S202, um processo de divisão das imagens em blocos é executado. O processo de divisão das imagens em blocos será descrito em relação à figura 29. O diagrama na esquerda da figura 29 é similar ao diagrama ilustrado na figura 26 e é um diagrama que descreve um método de geração das imagens reduzidas. Com a imagem original 301 como um padrão, a imagem original 301 é multiplicada por 1/A verticalmente e multiplicada por 1/B horizontalmente para gerar a imagem reduzida 301ab. Além do mais, com a imagem original 301 como um padrão, a imagem original é multiplicada por 1/m verticalmente e multiplicada por 1/n horizontalmente para gerar a imagem reduzida 301mn.

[00259] O processo de divisão das imagens em blocos é aplicado tanto na imagem original quanto nas imagens reduzidas. A imagem original 301 é

50 / 81 dividida em C blocos verticalmente e dividida em D blocos horizontalmente e, em decorrência disto, a imagem original 301 é dividida em CxD blocos.

[00260] A imagem reduzida 301ab é dividida em C/A blocos verticalmente e dividida em D/B blocos horizontalmente e, em decorrência disto, a imagem reduzida 301ab é dividida em (C/A)x(D/B) blocos. A imagem reduzida 301mn é dividida em C/M blocos verticalmente e dividida em D/N blocos horizontalmente e, em decorrência disto, a imagem reduzida 301mn é dividida em (C/M)x(D/N) blocos.

[00261] As imagens são divididas de uma maneira como esta, e os números de pixels da altura e da largura torna-se o mesmo em cada bloco. Os valores de recurso podem ser facilmente extraídos e comparados em um processo de um estágio posterior.

[00262] Por exemplo, considera-se que A=B=2, C=5, e D=10 são definidos, e o número de pixels da imagem original 301 é altura x largura = 500 x 1.000. Neste caso, a imagem original 301 é primeiro dividida em C blocos verticalmente, e o número de pixels é 100 (=500/5) pixels. A imagem original 301 é dividida em D blocos horizontalmente, e o número de pixels é 100 (=1.000/10). Neste caso, o número de pixels de um bloco da imagem original 301 é 100x100 pixels.

[00263] Já que a imagem reduzida 301ab é reduzida, o número de pixels é altura x largura = 250 x 500 pixels. Quando a imagem reduzida 301ab com um número de pixels como este for dividida, a imagem reduzida 301ab é dividida em (C/A)=(5/2)=2,5 blocos verticalmente (embora a imagem reduzida 301ab seja dividida em 2,5 blocos para a descrição, o valor de C é definido para dividir a imagem reduzida 301ab por um natural número na divisão real), e o número de pixels é 100 (=250/2,5) pixels. A imagem reduzida 301ab é dividida em (D/B)=(10/2)=5 blocos horizontalmente, e o número de pixels é 100 (=500/5) pixels. Neste caso, o número de pixels de um bloco da imagem reduzida 301ab é 100x100 pixels.

51 / 81

[00264] De uma maneira como esta, o número de pixels de um bloco depois da divisão da imagem original 301 é 100x100 pixels. Além do mais, o número de pixels de um bloco depois da divisão da imagem reduzida 301ab também é 100x100 pixels. Isto é, os números de pixels de um bloco da imagem original 301 e da imagem reduzida 301ab são iguais. Portanto, como exposto, os números de pixels tornam-se iguais em cada bloco, e os valores de recurso podem ser facilmente extraídos e comparados no processo de um estágio posterior.

[00265] Na etapa S202 (figura 28), o processo de divisão é executado para cada imagem multiespectral. Neste caso, o processo de divisão é aplicado nas imagens de cada um dos oito comprimentos de onda, incluindo os comprimentos de onda A até H.

[00266] Note que, no caso em que o processo de divisão for combinado com o primeiro processo de geração, e as imagens reduzidas não forem geradas, o processo de divisão é aplicado apenas nas imagens originais 301 (imagens 301A até 301H) das imagens multiespectrais.

[00267] Quando o processo de divisão da etapa S202 for finalizado, o processo prossegue para a etapa S203. Na etapa S203, os componentes de alta frequência são extraídos em cada bloco. Embora o processo possa ser basicamente executado como na etapa S31 (primeiro processo de geração) do fluxograma ilustrado na figura 23 ou na etapa 102 (segundo processo de geração) do fluxograma ilustrado na figura 25, o processo é diferente, em que o processo é executado para cada bloco.

[00268] O processo de extração dos componentes de alta frequência a partir de cada bloco executado na etapa S203 será descrito em relação à figura

30.

[00269] Por exemplo, no caso em que a imagem de referência 302-1 for gerada a partir das imagens 301-1 fotografadas no tempo t1, os valores de recurso são primeiro calculados a partir dos blocos de cada uma da imagem

52 / 81 301A-1 no comprimento de onda A, da imagem reduzida 301Aab-1, e da imagem reduzida 301Amn-1, da forma ilustrada na figura 30.

[00270] Por exemplo, no caso em que a divisão, da forma ilustrada na figura 29, for realizada, o valor de recurso é calculado para cada um dos CxD blocos da imagem 301A-1 no comprimento de onda A. O valor de recurso é calculado para cada um dos (C/A)x(D/B) blocos da imagem reduzida 301Aab-1. O valor de recurso é calculado para cada um dos (C/M)x(D/N) blocos da imagem reduzida 301Amn-1.

[00271] Os (CxD)+((C/A)x(D/B))+((C/M)x(D/N))=X valores de recurso são calculados a partir das imagens no comprimento de onda A.

[00272] Similarmente, X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301B-1 no comprimento de onda B, da imagem reduzida 301Bab-1 e da imagem reduzida 301Bmn-1. Os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301C-1 no comprimento de onda C, da imagem reduzida 301Cab-1, e da imagem reduzida 301Cmn-1. Os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301D-1 no comprimento de onda D, da imagem reduzida 301Dab-1, e da imagem reduzida 301Dmn-1.

[00273] Além do mais, similarmente, os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301E-1 no comprimento de onda E, da imagem reduzida 301Eab-1, e da imagem reduzida 301Emn-1. Os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301F-1 no comprimento de onda F, da imagem reduzida 301Fab-1 e da imagem reduzida 301Fmn-1. Os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301G-1 no comprimento de onda G, da imagem reduzida 301Gab-1 e da imagem reduzida 301Gmn-1. Os X valores de recurso são calculados a partir dos blocos de cada uma da imagem 301H-1 no comprimento de onda H, da imagem reduzida 301Hab-1, e da imagem reduzida 301Hmn-1.

53 / 81

[00274] Neste caso, os X valores de recurso são calculados a partir das imagens de cada um dos oito comprimentos de onda, incluindo os comprimentos de onda A até H, e (8xX) valores de recurso são calculados.

[00275] O processo em relação ao cálculo dos valores de recurso é aplicado em todas as imagens multiespectrais supridas a partir dos sensores MS 103.

[00276] De uma maneira como esta, os valores de recurso são calculados para cada bloco. O tamanho de cada bloco (o número de pixels incluídos em um bloco) é o mesmo, como exposto. Portanto, os valores de recurso calculados a partir de cada bloco podem ser comparados sem mudança.

[00277] Uma vez que o processo do fluxograma ilustrado na figura 28 for executado para calcular os valores de recurso, o processo prossegue para a etapa S12 (figura 22). Na etapa S12, um processo de geração de imagem de referência é executado. O processo de geração de imagem de referência executado na etapa S12 (terceiro processo de geração de imagem de referência executado no terceiro processo de geração) será descrito em relação a um fluxograma da figura 31.

[00278] Na etapa S231, os valores de recurso de todos os blocos são comparados. Além do mais, os valores de recurso são classificados em ordem descendente na etapa S232. Por exemplo, da forma descrita em relação à figura 30, os X valores de recurso são calculados a partir das imagens de cada um dos oito comprimentos de onda, incluindo os comprimentos de onda A até H, e os (8xX) valores de recurso são calculados no total. Os (8xX) valores de recurso são comparados, e os valores de recurso são classificados em ordem descendente.

[00279] Depois da classificação, a imagem de recurso é reconfigurada na etapa S233, e a imagem de referência é gerada. A reconfiguração da imagem de recurso (geração da imagem de referência) será descrita em

54 / 81 relação à figura 32.

[00280] A figura 32 é um diagrama para descrever a reconfiguração da imagem de recurso em um caso em que o bloco com o valor de recurso mais alto for a imagem reduzida 301Hmn-1 quando os blocos forem classificados em ordem descendente de valor de recurso.

[00281] A imagem reduzida 301Hmn-1 é a menor imagem reduzida dentre as imagens reduzidas geradas a partir da imagem original 301H-1. Em um caso em que o valor de recurso da imagem reduzida 301Hmn-1 for o maior dentre os (8xX) valores de recurso, a imagem reduzida 301Hmn-1 é definida como a imagem de referência 302-1.

[00282] Já que a imagem reduzida Hmn-1 é reduzida, a imagem reduzida 301Hmn-1 é retornada para o tamanho original, isto é, retornada para a imagem original 301H-1 neste caso, no caso em que a imagem reduzida 301Hmn-1 for definida como a imagem de referência 302-1. A imagem retornada é definida como a imagem de referência 302-1.

[00283] Para retornar a imagem reduzida Hmn-1 para o tamanho original, a imagem reduzida 301Hmn-1 é multiplicada por M na direção vertical e multiplicada por N na direção horizontal para retornar a imagem reduzida 301Hmn-1 para o tamanho original, e a imagem é definida como a imagem de referência 302-1. Alternativamente, a imagem original da imagem reduzida 301Hmn-1, isto é, a imagem original 301H-1 neste caso, pode ser definida como a imagem de referência 302-1.

[00284] O exemplo ilustrado na figura 32 é um exemplo no qual um bloco pode ser usado para gerar a imagem original 301 que será a imagem de referência 302. A figura 33 descreve um caso no qual uma pluralidade de blocos é usada para reconfigurar a imagem original 301 que será a imagem de referência 302.

[00285] No exemplo ilustrado na figura 33, os valores de recurso extraídos a partir de cada uma das imagens no comprimento de onda A e das

55 / 81 imagens do comprimento de onda B são altos, e as regiões com os altos valores de recurso são cortadas a partir de cada uma das imagens no comprimento de onda A e das imagens no comprimento de onda B. As regiões cortadas são posicionadas nas regiões correspondentes e colocadas juntas para gerar uma imagem (imagem de referência) com altos valores de recurso.

[00286] Cada um dos doze blocos posicionados substancialmente na parte central da imagem 301A-1 no comprimento de onda A é cortado como um bloco com um alto valor de recurso a partir da imagem 301A-1. Aqui, a descrição será continuada pela consideração de que os doze blocos formam uma região 501, da forma ilustrada na figura 33. A região 501 é cortada a partir da imagem 301A-1.

[00287] A imagem 301A-1 é uma imagem não reduzida, e a região 501 é cortada sem mudança. A região 501 é definida como uma região na posição da imagem de referência 302-1 correspondente à posição em que a região 501 está posicionada na imagem 301A-1.

[00288] Cada um dos dois blocos posicionados na parte inferior à esquerda da imagem reduzida 301Aab-1, reduzida a partir da imagem 301A-1 no comprimento de onda A, é cortado como um bloco com um alto valor de recurso da imagem reduzida 301Aab-1. Aqui, a descrição será continuada pela consideração de que os dois blocos formam uma região 502, da forma ilustrada na figura 33. A região 502 é cortada a partir da imagem reduzida 301Aab-1.

[00289] Já que a imagem reduzida 301Aab-1 é uma imagem que é reduzida, a região 502 não é cortada a partir da imagem reduzida 301Aab-1 sem mudança, e uma região na posição da imagem 301A-1 (imagem original 301A-1) correspondente à posição em que a região 502 está posicionada na imagem reduzida 301Aab-1 é cortada. Neste caso, a região 502 fica posicionada na parte inferior à esquerda na imagem reduzida 301Aab-1, e a

56 / 81 região 502 fica posicionada na parte inferior à esquerda na imagem 301A-1. O tamanho correspondente à região 502 (neste caso, oito blocos) é cortado.

[00290] Alternativamente, a região 502 pode ser multiplicada por A na direção vertical e multiplicada por B na direção horizontal para converter a região, e a região convertida 502 pode ser cortada (usada).

[00291] A região 502 retornada para o tamanho original é definida como uma região na posição da imagem de referência 302-1 correspondente à posição em que a região 502 fica posicionada na imagem 301A-1. Neste caso, a região 502 é definida na região na parte inferior à esquerda da imagem de referência 302-1.

[00292] Similarmente, cada um de dois blocos posicionados substancialmente no centro à direita da imagem reduzida 301Aab-1, reduzida a partir da imagem 301A-1 no comprimento de onda A, é cortado como um bloco com um alto valor de recurso da imagem reduzida 301Aab-1. Aqui, a descrição será continuada pela consideração de que os dois blocos formam uma região 503, da forma ilustrada na figura 33. A região 503 é cortada a partir da imagem reduzida 301Aab-1 e definida como uma região na posição correspondente da imagem de referência 302-1.

[00293] Já que a imagem reduzida 301Aab-1 é uma imagem que é reduzida, a região 503 também é convertida no tamanho original como na região 502, e a região 503 é definida como parte da imagem de referência 302-1.

[00294] Cada um dos quatro blocos posicionados na parte superior direita da imagem 301B-1 no comprimento de onda B é cortado como um bloco com um alto valor de recurso da imagem 301B-1. Da forma ilustrada na figura 33, a descrição será aqui continuada pela consideração de que os quatro blocos formam uma região 504. A região 504 é cortada a partir da imagem 301B-1.

[00295] Já que a imagem 301B-1 é uma imagem não reduzida, a região

57 / 81 504 é cortada sem mudança. A região 504 é definida como uma região na posição (neste caso, superior direita) da imagem de referência 302-1 correspondente à posição (neste caso, superior direita) em que a região 504 está posicionada na imagem 301B-1.

[00296] Cada um de dois blocos posicionados na parte superior esquerda da imagem reduzida 301Bab-1, reduzida a partir da imagem 301B-1 no comprimento de onda B, é cortado como um bloco com um alto valor de recurso da imagem reduzida 301Bab-1. Aqui, a descrição será continuada pela consideração de que os dois blocos formam uma região 505, da forma ilustrada na figura 33. A região 505 é cortada a partir da imagem reduzida 301Bab-1 e definida como uma região na posição correspondente da imagem de referência 302-1.

[00297] Já que a imagem reduzida 301Bab-1 é uma imagem que é reduzida, a região 505 é convertida no tamanho original, como na região 502 e similares, e a região 505 é definida como parte da imagem de referência 302-1.

[00298] Similarmente, cada um de dois blocos posicionados na parte inferior direita da imagem reduzida 301Bab-1, reduzida a partir da imagem 301B-1 no comprimento de onda B, é cortado como um bloco com um alto valor de recurso da imagem reduzida 301Bab-1. Aqui, a descrição será continuada pela consideração de que os dois blocos formam uma região 506, da forma ilustrada na figura 33. A região 506 é cortada a partir da imagem reduzida 301Bab-1 e definida como uma região na posição correspondente da imagem de referência 302-1.

[00299] Já que a imagem reduzida 301Bab-1 é uma imagem que é reduzida, a região 506 é convertida no tamanho original, como na região 502 e similares, e a região 506 é definida como parte da imagem de referência 302-1.

[00300] De uma maneira como esta, os blocos com altos valores de

58 / 81 recurso são preferivelmente selecionados, e a imagem de referência 302-1 que inclui os blocos com altos valores de recurso é gerada. A imagem de referência 302 pode ser gerada de uma maneira como esta para prover uma imagem com mais recursos do sujeito do que na imagem de referência 302 gerada no primeiro processo de geração ou no segundo processo de geração.

[00301] Além do mais, as imagens reduzidas podem ser geradas, e as imagens reduzidas também podem ser incluídas no processo. Em decorrência disto, mais imagens características podem ser extraídas e definidas como as imagens de referência.

[00302] Uma vez que as imagens de referência forem geradas de uma maneira como esta, o processo prossegue para a etapa S13 (figura 22). O processo a partir da etapa S13 já está descrito, e o processo não será descrito. <Quarto Processo de Geração da Imagem de Inspeção Final>

[00303] Uma outra operação do sistema de processamento de imagem 50 (figura 3) será descrita. Nos exemplos dos primeiro até terceiro processos de geração ilustrados como os processos até a geração da imagem de inspeção final, os valores de recurso são calculados pelo uso, sem mudança, das imagens multiespectrais adquiridas pelos sensores MS 103, pela geração das imagens reduzidas, ou pela divisão das imagens em blocos no processo de cálculo do valor de recurso da etapa S11.

[00304] Um quarto processo de geração até a geração da imagem de inspeção final será descrito pela ilustração de um processo no qual as imagens multiespectrais adquiridas pelos sensores MS 103 são usadas para calcular os valores de recurso, e as imagens em um outro comprimento de onda são adicionalmente geradas para usar uma pluralidade de imagens, incluindo as imagens geradas.

[00305] A figura 34 é um fluxograma para descrever o quarto processo de geração da imagem de inspeção final.

[00306] Na etapa S301, um comprimento de onda a ser extraído é

59 / 81 designado. A unidade de processamento de cálculo do comprimento de onda designado 104 designa o comprimento de onda das imagens que serão geradas. O comprimento de onda designado pode ser um comprimento de onda preajustado ou um comprimento de onda que é definido em relação ao valor de iluminância, o modo ou similares. No caso em que o comprimento de onda for preajustado, por exemplo, os comprimentos de onda em cada 50 nm de 400 até 900 nm (400 nm, 450 nm, 500 nm, ∙∙∙, 900 nm) podem ser sequencialmente designados.

[00307] Além do mais, quando, por exemplo, as imagens fotografadas no modo de percepção da vegetação precisarem ser processadas, os comprimentos de onda de luz adequados para percepção da vegetação, tais como os comprimentos de onda de 650 até 850 nm, podem ser designados com detalhes.

[00308] Uma vez que a unidade de processamento de cálculo do comprimento de onda designado 104 designar (definir) um comprimento de onda predeterminado na etapa S301, a unidade de processamento de cálculo do comprimento de onda designado 104 gera as imagens no comprimento de onda designado na etapa S302. No caso em que o comprimento de onda designado indicar as imagens multiespectrais obtidas a partir dos sensores MS 103, as imagens 301 correspondentes ao comprimento de onda designado são extraídas e supridas para a unidade de processamento de geração da imagem de referência 105.

[00309] Além do mais, em um caso em que o comprimento de onda designado for um comprimento de onda diferente do comprimento de onda das imagens multiespectrais obtidas a partir dos sensores MS 103, as imagens 301 correspondentes ao comprimento de onda designado são geradas pela atribuição dos dados das imagens multiespectrais à Expressão (2) e realização do cálculo, e as imagens 301 são supridas para a unidade de processamento de geração da imagem de referência 105.

60 / 81

[00310] Na etapa S303, o processo de cálculo do valor de recurso é executado pela unidade de processamento de geração da imagem de referência 105. O processo de cálculo do valor de recurso executado na etapa S303 pode ser similar ao processo de cálculo do valor de recurso executado na etapa S11 do fluxograma ilustrado na figura 22, como nos primeiro a terceiro processos de geração.

[00311] O processo de cálculo do valor de recurso no primeiro processo de geração pode ser aplicado, e os valores de recurso podem ser calculados com base no fluxograma do primeiro processo de cálculo do valor de recurso ilustrado na figura 23. Alternativamente, o processo de cálculo do valor de recurso no segundo processo de geração pode ser aplicado, e os valores de recurso podem ser calculados com base no fluxograma do segundo processo de cálculo do valor de recurso ilustrado na figura 25.

[00312] Além do mais, o processo de cálculo do valor de recurso no terceiro processo de geração pode ser aplicado, e os valores de recurso podem ser calculados com base no fluxograma do terceiro processo de cálculo do valor de recurso ilustrado na figura 28.

[00313] Em qualquer caso, as imagens a partir das quais os valores de recurso são calculados são as imagens supridas da unidade de processamento de cálculo do comprimento de onda designado 104 para a unidade de processamento de geração da imagem de referência 105, e as imagens incluem as imagens multiespectrais e as imagens no comprimento de onda predeterminado geradas a partir das imagens multiespectrais.

[00314] Uma vez que os valores de recurso forem calculados na etapa S303, o processo prossegue para a etapa S304. Em S304, se a designação do comprimento de onda é finalizada ou não é determinado. Por exemplo, no caso em que os comprimentos de onda que serão designados forem definidos em antecipação, a unidade de processamento de cálculo do comprimento de onda designado 104 determina se todos os comprimentos de onda definidos

61 / 81 são instruídos ou não para, desse modo, executar o processo de determinação na etapa S304.

[00315] Em um caso em que for determinado que a instrução do comprimento de onda não é finalizada na etapa S304, o processo retorna para a etapa S301, e o processo subsequente é repetido. Isto é, o processo das etapas S301 a S304 é repetido até que todos os comprimentos de onda que serão designados sejam designados, todas as imagens que serão designadas sejam extraídas ou geradas, e os valores de recurso sejam extraídos a partir de todas as imagens que serão designadas.

[00316] Por outro lado, em um caso em que for determinado que a instrução do comprimento de onda seja finalizada na etapa S304, o processo prossegue para a etapa S305. Na etapa S305, a unidade de processamento de geração da imagem de referência 105 executa o processo de geração de imagem de referência.

[00317] O processo de geração de imagem de referência executado na etapa S305 pode ser similar ao processo de geração de imagem de referência executado na etapa S12 do fluxograma ilustrado na figura 22, como nos primeiro até terceiro processos de geração.

[00318] O processo de geração de imagem de referência no primeiro processo de geração pode ser aplicado, e as imagens de referência podem ser geradas com base no fluxograma do processo de geração de imagem de referência ilustrado na figura 24. Alternativamente, o processo de geração de imagem de referência no segundo processo de geração pode ser aplicado, e o processo de geração de imagem de referência correspondente ao caso no qual os valores de recurso são calculados pode ser executado com base no fluxograma do processo de cálculo do valor de recurso ilustrado na figura 25.

[00319] Além do mais, o processo de geração de imagem de referência no terceiro processo de geração pode ser aplicado, e as imagens de referência podem ser geradas com base no fluxograma do terceiro processo de geração

62 / 81 de imagem de referência ilustrado na figura 31.

[00320] Em qualquer caso, as imagens de referência são as imagens geradas a partir de um grupo de imagens que inclui as imagens multiespectrais supridas da unidade de processamento de cálculo do comprimento de onda designado 104 para a unidade de processamento de geração da imagem de referência 105 e as imagens no comprimento de onda predeterminado geradas a partir das imagens multiespectrais.

[00321] Uma vez que as imagens de referência forem geradas na etapa S305, o processo prossegue para a etapa S306. O processo das etapas S306 a S308 pode ser executado como no processo das etapas S13 a S15 do fluxograma ilustrado na figura 22 (primeiro a terceiro processos de geração). Isto é, o processo depois da geração das imagens de referência pode ser executado como nos primeiro a terceiro processos de geração, e o processo não será aqui descrito.

[00322] No quarto processo de geração, as imagens a partir das quais os valores de recurso são calculados, em outras palavras, as imagens originais para gerar as imagens de referência, são geradas pela designação do comprimento de onda. Por exemplo, da forma descrita em relação à figura 20, a refletância da luz refletida a partir do sujeito varia dependendo do comprimento de onda da luz aplicada. Por exemplo, mesmo quando as imagens do mesmo sujeito forem fotografadas, o sujeito é claramente fotografado em alguns casos e fotografado de forma borrada em outros casos quando as imagens forem fotografadas nos comprimentos de onda diferentes.

[00323] É fácil extrair o sujeito como uma região do recurso e calcular o valor de recurso da imagem na qual o sujeito é claramente fotografado. Entretanto, é difícil extrair o sujeito como uma região do recurso e calcular o valor de recurso da imagem na qual o sujeito é fotografado de forma borrada.

[00324] Isto significa que, se uma imagem em um comprimento de onda adequado para o sujeito for gerada, o sujeito pode ser facilmente

63 / 81 detectado na imagem, isto é, a região do recurso pode ser facilmente extraída na imagem. No quarto processo de geração, uma pluralidade de comprimentos de onda pode ser designada, e uma pluralidade de imagens pode ser gerada para gerar uma imagem em um comprimento de onda adequado para o sujeito a ser detectado.

[00325] De acordo com o quarto processo de geração, as regiões de recurso podem ser mais apropriadamente extraídas, e os valores de recurso podem ser facilmente calculados. Além do mais, as imagens de referência podem ser geradas a partir dos valores de recurso calculados pela extração das regiões de recurso apropriadas. Além do mais, as imagens de referência com grandes valores de recurso podem ser geradas e, no processo de costura das imagens de referência, o processo, por exemplo, de detecção das regiões com regiões de recurso correspondentes e classificação das imagens de referência com base na detecção pode ser mais precisamente executado. <Quinto Processo de Geração da Imagem de Inspeção Final>

[00326] Uma outra operação do sistema de processamento de imagem 50 (figura 3) será descrita.

[00327] Um processo que inclui um processo de ortorretificação será descrito como um quinto processo de geração até a geração da imagem de inspeção final. O quinto processo de geração é um processo que combina qualquer um dos primeiro até quarto processos de geração e o processo de ortorretificação.

[00328] Por exemplo, da forma descrita em relação à figura 11, no caso em que a fotografia aérea for realizada de acordo com um plano de voo, e as imagens obtidas a partir da fotografia aérea forem usadas para executar o processo, as imagens aéreas são fotografadas, por exemplo, em formas distorcidas devido à influência da elevação do terreno em virtude de as imagens aéreas serem centralmente projetadas. O relacionamento posicional pode não coincidir com o terreno real quando as imagens forem comparadas

64 / 81 com o terreno real.

[00329] Portanto, o processo de ortorretificação (também chamado de ortocorreção ou similares) é aplicado nas imagens obtidas. As imagens depois do processo de ortorretificação são as imagens nas quais o desnível do terreno e as inclinações das fotografias são corrigidos e, por exemplo, as imagens podem ser tratadas como imagens similares a um mapa topográfico.

[00330] Na ortorretificação, as imagens são fotografadas no estado sobreposto, da forma descrita nas partes do tempo T2 na figura 11 e do tempo T3 na figura 12. A região sobreposta pode ter uma alta taxa de sobreposição de, por exemplo, 80% a 90%. O processo de ortorretificação é um processo de uso disto para reconhecer uma imagem 3D a partir de uma pluralidade de imagens com paralaxe e conversão das imagens em imagens visualizadas diretamente a partir de cima.

[00331] Para executar o processo de ortorretificação, a informação de posição obtida a partir de um GPS (Sistema de Posicionamento Global), informação de postura a partir de uma IMU (Unidade de Medição Inercial) e similares são usadas. No caso de execução do processo de ortorretificação, também é necessário gerar e gravar a “informação de ortorretificação” que indica qual imagem é ortorretificada e como a imagem é calculada para a ortorretificação. A informação é armazenada em um armazenamento em associação com as imagens fotografadas.

[00332] A figura 35 é um fluxograma para descrever o quinto processo de geração da imagem de inspeção final. O processo com base no fluxograma ilustrado na figura 35 representa um caso no qual o processo de ortorretificação é incluído no quarto processo de geração e, aqui, um exemplo do caso no qual o processo de ortorretificação é incluído no quarto processo de geração será descrito.

[00333] O processo de ortorretificação pode ser incluído em qualquer um dos primeiro a terceiro processos de geração, e com qual processo de

65 / 81 geração o processo de ortorretificação será combinado pode ser apropriadamente definido de acordo com a situação de uso do sistema de processamento de imagem 50 ou similares.

[00334] Na etapa S401, a informação de posição e a informação de postura são extraídas. Por exemplo, o GPS e a IMU são instalados no aparelho de formação de imagem 11 ou no aparelho de medição móvel 201 providos com o aparelho de formação de imagem 11, e a informação de posição e a informação de postura são gravadas toda vez que o aparelho de formação de imagem 11 realizar a formação de imagem. Além do mais, as imagens fotografadas (imagens multiespectrais) são associadas com a informação de posição e a informação de postura adquiridas quando as imagens forem fotografadas, e as imagens e a informação são gerenciadas de forma que a informação de uma das mesmas possa ser usada para ler a informação da outra.

[00335] Por exemplo, as imagens multiespectrais, a informação de posição, e a informação de postura são associadas e armazenadas em um armazenamento não ilustrado. O armazenamento pode ser provido no aparelho de formação de imagem 11 ou no aparelho de medição móvel 201.

[00336] Na etapa S401, por exemplo, a informação de posição e a informação de postura associadas com as imagens multiespectrais que serão processadas são lidas a partir do armazenamento.

[00337] Na etapa S402, o comprimento de onda a ser extraído é designado. O processo das etapas S402 a S406 é executado como nas etapas S301 a S305 (quarto processo de geração) do fluxograma ilustrado na figura 34, e o processo não será aqui descrito.

[00338] Note que, como exposto, o processo também pode ser combinado com os primeiro a terceiro processos de geração e, no caso em que o processo for combinado com os primeiro a terceiro processos de geração, o processo das etapas S402 a S406 é um processo executado como no processo

66 / 81 das etapas S11 e S12 do fluxograma ilustrado na figura 22.

[00339] Uma vez que o processo de geração de imagem de referência for finalizado, e as imagens de referência forem geradas na etapa S406, o processo prossegue para a etapa S407. Na etapa S407, o processo de ortorretificação é aplicado nas imagens de referência. O processo de ortorretificação pode ser executado por um processo geral, tal como pela conversão ortográfica das imagens aéreas.

[00340] A conversão ortográfica é um exemplo de um processo, isto é, um processo de ortorretificação, de uso de um modelo de elevação digital (dados de elevação) que representa a forma tridimensional da superfície da Terra e de eliminação do desalinhamento do sujeito na imagem. A imagem aérea é convertida em uma imagem visualizada diretamente a partir de cima sem uma inclinação como em um mapa, e a imagem é exibida no tamanho e na posição corretos.

[00341] A imagem depois do processo de ortorretificação (ortoimagem) é uma imagem na qual a imagem aérea sem o desalinhamento do sujeito na imagem é convertida em uma imagem visualizada diretamente a partir de cima sem uma inclinação, como em um mapa, exibida no tamanho e na posição corretos.

[00342] Na etapa S407, o processo de retificação ortogonal é aplicado na imagem de referência para gerar uma ortoimagem da imagem de referência. Neste caso, a informação, tais como a posição onde a imagem original da imagem de referência é fotografada e a postura do aparelho de formação de imagem 11, é necessária. Portanto, a informação de posição e a informação de postura são lidas na etapa S401 e usadas no processo de ortorretificação.

[00343] A informação de ortorretificação quando a imagem de referência for ortorretificada pode ser armazenada e usada na ortorretificação da imagem de inspeção.

67 / 81

[00344] Na etapa S408, o processo de uso da ortoimagem da imagem de referência para executar o processo de costura na etapa S408 é executado como no processo da etapa S306 da figura 34 (etapa S13 da figura 22). Entretanto, este caso é diferente em que o processo de costura é aplicado na imagem de referência ortorretificada.

[00345] Uma vez que a imagem de referência depois da costura, isto é, o mapa de referência da costura 303 (informação de referência de costura 303), for gerada na etapa S408, o processo prossegue para a etapa S409.

[00346] O processo de geração da imagem de inspeção na etapa S409 é executado como no processo da etapa S307 da figura 34 (etapa S14 da figura 22), e o processo não será aqui descrito.

[00347] Na etapa S410, o processo de ortorretificação é aplicado na imagem de inspeção gerada. O processo de ortorretificação para a imagem de inspeção pode ser executado como no processo de ortorretificação para a imagem de referência. Além do mais, a informação de ortorretificação no momento da ortorretificação da imagem de referência pode ser usada no processo de ortorretificação para a imagem de inspeção.

[00348] A imagem de inspeção ortorretificada é usada, e o processo de costura é aplicado na imagem de inspeção na etapa S411. O processo de costura para a imagem de inspeção na etapa S411 é executado como no processo da etapa S308 da figura 34 (etapa S15 da figura 22), exceto em que a imagem de inspeção é uma ortoimagem, e o processo não será aqui descrito.

[00349] De uma maneira como esta, a imagem de inspeção final é gerada. Além do mais, a imagem de inspeção ortorretificada é usada para gerar a imagem de inspeção final no quinto processo de geração e, portanto, a imagem de inspeção gerada final também pode ser uma imagem de inspeção ortorretificada.

[00350] Além do mais, no processo de ortorretificação da imagem de inspeção (processo da etapa S410), a informação de ortorretificação usada no

68 / 81 processo de ortorretificação da imagem de referência (processo da etapa S407) pode ser usada, e o processo em relação à ortorretificação pode ser facilmente executado.

[00351] A imagem de inspeção gerada final pode ser mapeada no mapa. Já que a imagem de inspeção final é ortorretificada, a forma do sujeito fotografado é correta, e a posição também é corretamente arranjada na imagem. Portanto, a imagem pode ser facilmente sobreposta em um outro mapa e usada. <Sexto Processo de Geração da Imagem de Inspeção Final>

[00352] Outras configuração e operação do sistema de processamento de imagem 50 (figura 3) serão descritas.

[00353] O sistema de processamento de imagem 50 (figura 3) que executa qualquer um dos primeiro a quinto processos de geração foi descrito pela ilustração do exemplo do caso no qual o processo é executado sem referência ao valor de iluminância do sensor de iluminância 12.

[00354] Uma operação do sistema de processamento de imagem 50 que inclui o processo de referência ao valor de iluminância do sensor de iluminância 12 será descrita como um sexto processo de geração. Primeiro, um exemplo de configuração de um sistema de processamento de imagem 51 que executa o sexto processo de geração será descrito em relação à figura 36.

[00355] Embora a configuração básica do sistema de processamento de imagem 51 ilustrado na figura 36 seja similar ao sistema de processamento de imagem 50 ilustrado na figura 3, a diferença é que o sistema de processamento de imagem 51 inclui um medidor de iluminância 601, uma unidade de geração de imagem de refletância 602, uma unidade de processamento de costura da imagem de refletância 603 e uma unidade de cálculo da imagem de índice específico 604.

[00356] Embora o medidor de iluminância 601 seja incluído no sistema de processamento de imagem 51 da figura 36, o medidor de iluminância 601

69 / 81 corresponde ao sensor de iluminância 12 (figura 1) e é configurado para calcular o valor de iluminância e suprir o valor de iluminância para a unidade de extração de imagem do comprimento de onda de inspeção 106. O medidor de iluminância 601 adquire, por exemplo, as características espectrais da fonte de luz, da forma ilustrada na figura 19, exatamente como o sensor de iluminância 12.

[00357] A unidade de extração de imagem do comprimento de onda de inspeção 106 gera as imagens de inspeção como nas modalidades. As imagens de inspeção da unidade de extração de imagem do comprimento de onda de inspeção 106 são supridas para a unidade de geração de imagem de refletância

602. A unidade de geração de imagem de refletância 602 gera as imagens de refletância pela conversão das imagens de inspeção supridas em imagens com base na refletância e supre as imagens de refletância para a unidade de processamento de costura da imagem de refletância 603.

[00358] A unidade de processamento de costura da imagem de refletância 603 é uma unidade de processamento correspondente à unidade de processamento de costura da imagem de inspeção 108 da figura 3. As imagens como alvos do processo de costura são as imagens de refletância provenientes da unidade de geração de imagem de refletância 602, e a unidade de processamento de costura da imagem de refletância 603 aplica o processo de costura nas imagens de refletância. A imagem gerada pela unidade de processamento de costura da imagem de refletância 603 será aqui referida como uma imagem de refletância final.

[00359] A unidade de cálculo da imagem de índice específico 604 usa a imagem de refletância final para calcular uma imagem em relação a um índice específico, tal como um índice de vegetação com diferença normalizada (NDVI).

[00360] Aqui, a descrição será continuada pela ilustração de um exemplo do caso no qual o sistema de processamento de imagem 51 é um

70 / 81 sistema que realiza a inspeção de vegetação. No caso de geração de uma imagem com base no índice de vegetação com diferença normalizada (NDVI) na inspeção de vegetação, uma imagem vermelha (comprimento de onda de vermelho) e uma imagem infravermelha (comprimento de onda de infravermelho) são usadas como as imagens de inspeção.

[00361] Note que o NDVI é um índice que indica a condição de distribuição e a atividade da vegetação, e a descrição será aqui continuada pela ilustração do exemplo do NDVI. Entretanto, a presente técnica também pode ser aplicada em casos nos quais outros índices são usados.

[00362] O valor do NDVI (valor do NDVI) pode ser calculado com base na seguinte Expressão (3). valor do NDVI = (Dp(IR)-Dp(R))/(Dp(IR)+Dp(R))∙∙∙(3)

[00363] Na Expressão (3), Dp(IR) representa a refletância da região infravermelha, e Dp(R) representa a refletância de vermelho (R) na região visível. A refletância pode ser obtida por (imagem de inspeção / informação da fonte de luz).

[00364] Isto é, no sistema de processamento de imagem 51 ilustrado na figura 36, a unidade de geração de imagem de refletância 602 divide a imagem de inspeção proveniente da unidade de extração de imagem do comprimento de onda de inspeção 106 pela informação da fonte de luz proveniente do medidor de iluminância 601 para obter a refletância e gerar a imagem de refletância. Note que o valor de iluminância do medidor de iluminância 601 pode ser diretamente suprido para a unidade de geração de imagem de refletância 602.

[00365] A imagem de refletância gerada pela unidade de geração de imagem de refletância 602 é suprida para a unidade de processamento de costura da imagem de refletância 603. A unidade de processamento de costura da imagem de refletância 603 executa o processo de costura da imagem de refletância para gerar uma imagem de refletância final e supre a imagem de

71 / 81 refletância final para a unidade de cálculo da imagem de índice específico

604.

[00366] No o caso, por exemplo, de geração da imagem em relação ao índice de vegetação com diferença normalizada, a unidade de cálculo da imagem de índice específico 604 usa a imagem de refletância final na região infravermelha depois do processo de costura e a imagem de refletância vermelha na região visível para realizar o cálculo com base na Expressão (3) supradescrita para gerar uma imagem com base no valor de NDVI.

[00367] Uma operação do sistema de processamento de imagem 51 que executa o processo será descrita em relação a um fluxograma da figura 37.

[00368] Na etapa S501, a informação da fonte de luz é extraída. O valor de iluminância quando a imagem multiespectral a ser processada for fotografada é extraído como a informação da fonte de luz.

[00369] Na etapa S502, o comprimento de onda a ser extraído é gerado. O processo das etapas S502 a S508 é executado como no processo das etapas S301 a S307 do fluxograma ilustrado na figura 34, e o processo não será aqui descrito.

[00370] Na etapa S509, a imagem de refletância é calculada. A unidade de geração de imagem de refletância 602 realiza a operação (imagem de inspeção / informação da fonte de luz) da forma supradescrita para calcular a refletância e usa a refletância para gerar a imagem de refletância.

[00371] Na etapa S510, a unidade de processamento de costura da imagem de refletância 603 usa a imagem de refletância gerada pela unidade de geração de imagem de refletância 602 para executar o processo de costura. O processo de costura na etapa S510 pode ser executado como, por exemplo, no processo de costura na etapa S15 da figura 22, e o processo não será aqui descrito.

[00372] Na etapa S511, a unidade de cálculo da imagem de índice específico 604 gera uma imagem de índice específico, tal como uma imagem

72 / 81 do índice de vegetação com diferença normalizada.

[00373] Da forma supradescrita, no caso de geração da imagem do índice de vegetação com diferença normalizada, a unidade de cálculo da imagem de índice específico 604 adquire a imagem de refletância na região infravermelha e a imagem de refletância vermelha na região visível para realizar o cálculo com base na Expressão (3) supradescrito. Além do mais, a unidade de cálculo da imagem de índice específico 604 atribui a imagem de refletância na região infravermelha adquirida e a imagem de refletância vermelha na região visível à Expressão (3) para gerar a imagem do índice de vegetação com diferença normalizada.

[00374] De uma maneira como esta, a presente técnica também pode ser aplicada no caso de geração de uma imagem de um índice específico, tal como uma imagem do índice de vegetação com diferença normalizada.

[00375] Além do mais, de acordo com a presente técnica, o mapa de referência da costura 303 para a costura (informação de referência de costura 303) é gerado, e a imagem de índice específico é gerada com base no mapa de referência da costura 303 (informação de referência de costura 303). Portanto, em um caso, por exemplo, de geração das imagens de diferentes índices específicos, as imagens de índice específico podem ser facilmente geradas com base no mapa de referência da costura 303 (informação de referência de costura 303).

[00376] Note que, embora o sexto processo de geração descrito em relação às figuras 36 e 37 tenha sido descrito pela ilustração do exemplo do caso do processo executado sem referência ao valor de iluminância nos processos de geração das imagens de referência e aplicação do processo de costura nas imagens de referência para gerar o mapa de referência da costura 303 (informação de referência de costura 303), o valor de iluminância pode ser referenciado para executar os processos.

[00377] De acordo com a presente técnica, os sensores MS 103 podem

73 / 81 adquirir as imagens em uma pluralidade de comprimentos de onda (imagens multiespectrais). Além do mais, as imagens multiespectrais podem ser usadas para adquirir adicionalmente as imagens em outros comprimentos de onda.

[00378] Por exemplo, mesmo se houver uma pluralidade de tipos de imagens multiespectrais supridas da unidade de formação de imagem 61 (figura 4) para a unidade de geração de imagem 62, a unidade de geração de imagem 62 pode gerar as imagens em um comprimento de onda arbitrário. Portanto, a quantidade dos dados supridos da unidade de formação de imagem 61 para a unidade de geração de imagem 62 pode ser reduzida.

[00379] Além do mais, de acordo com a presente técnica, os processos na unidade de geração de imagem 62, na primeira unidade de processamento de costura 63 e na segunda unidade de processamento de costura 64 também podem ser reduzidos.

[00380] Da forma supradescrita, o mapa de referência da costura 303 (informação de referência de costura 303) é gerado, e o processo de costura é aplicado nas imagens em um comprimento de onda desejável com base no mapa de referência da costura 303 (informação de referência de costura 303). Portanto, mesmo no caso, por exemplo, de geração das imagens em uma pluralidade de comprimentos de onda (uma pluralidade de imagens de índice específico), o processo de costura não precisa ser executado para cada uma da pluralidade de imagens de índice específico a partir do início. O processo de costura pode ser executado com base no mapa de referência da costura 303 (informação de referência de costura 303), e o processo pode ser significativamente reduzido.

[00381] Além do mais, de acordo com a presente técnica, a quantidade de dados tratados no sistema de processamento de imagem 50 (51) pode ser reduzida, e a carga do processamento pode ser reduzida. Portanto, o tempo de processamento no sistema de processamento de imagem 50 (51) também pode ser reduzido.

74 / 81 <Mídia de Gravação>

[00382] A série de processos pode ser executada por hardware ou pode ser executada por software. No caso em que a série de processos for executada por software, um programa incluído no software é instalado em um computador. Aqui, os exemplos do computador incluem um computador incorporado em hardware dedicado e um computador pessoal de propósito geral que pode executar várias funções pela instalação de vários programas.

[00383] A figura 38 é um diagrama de blocos que ilustra um exemplo de configuração de hardware do computador que usa o programa para executar a série de processos. No computador, uma CPU (Unidade de Processamento Central) 1001, uma ROM (Memória Exclusiva de Leitura) 1002 e uma RAM (Memória de Acesso Aleatório) 1003 são conectadas umas nas outras através de um barramento 1004. Uma interface de entrada-saída 1005 é adicionalmente conectada no barramento 1004. Uma unidade de entrada 1006, uma unidade de saída 1007, uma unidade de armazenamento 1008, uma unidade de comunicação 1009 e uma unidade 1010 são conectadas na interface de entrada-saída 1005.

[00384] A unidade de entrada 1006 inclui um teclado, um mouse, um microfone e similares. A unidade de saída 1007 inclui um visor, um alto- falante e similares. A unidade de armazenamento 1008 inclui um disco rígido, uma memória não volátil e similares. A unidade de comunicação 1009 inclui uma interface de rede e similares. A unidade 1010 aciona uma mídia removível 1011, tais como um disco magnético, um disco óptico, um disco magneto-óptico e uma memória semicondutora.

[00385] No computador configurado de uma maneira como esta, a CPU 1001 carrega o programa armazenado na unidade de armazenamento 1008 na RAM 1003 através da interface de entrada-saída 1005 e do barramento 1004 e executa o programa para executar a série de processos, por exemplo.

75 / 81

[00386] O programa executado pelo computador (CPU 1001) pode ser provido, por exemplo, pela gravação do programa na mídia removível 1011 como uma mídia em pacote ou similares. Além do mais, o programa pode ser provido através de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet e uma difusão por satélite digital.

[00387] No computador, a mídia removível 1011 pode ser instalada na unidade 1010 para instalar o programa na unidade de armazenamento 1008 através da interface de entrada-saída 1005. Além do mais, o programa pode ser recebido pela unidade de comunicação 1009 através de uma mídia de transmissão com fios ou sem fio e instalado na unidade de armazenamento

1008. Além do mais, o programa pode ser instalado em antecipação na ROM 1002 ou na unidade de armazenamento 1008.

[00388] Note que o programa executado pelo computador pode ser um programa no qual os processos são executados na ordem cronológica descrita na presente especificação, ou o programa pode ser um programa para executar os processos em paralelo ou em sincronismo necessário, tal como quando os processos forem invocados.

[00389] Além do mais, o sistema na presente especificação representa a íntegra do aparelho que inclui uma pluralidade de aparelhos.

[00390] Note que os efeitos vantajosos descritos na presente especificação são ilustrativos apenas, e os efeitos vantajosos não são limitados. Também pode haver outros efeitos vantajosos.

[00391] Note que as modalidades da presente técnica não são limitadas às modalidades supradescritas, e várias mudanças podem ser feitas sem fugir do escopo da presente técnica.

[00392] Note que a presente técnica também pode ser configurada como segue.

[00393] (1) Um aparelho de processamento de imagem, que inclui: uma unidade de geração de imagem que gera uma primeira

76 / 81 imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e que gera uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e uma unidade de processamento que gera a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

[00394] (2) O aparelho de processamento de imagem, como definido em (1), em que a unidade de processamento executa um processo de costura da primeira imagem de referência e da segunda imagem de referência para gerar uma imagem composta de referência que inclui a informação de posicionamento.

[00395] (3) O aparelho de processamento de imagem, como definido em (1) ou (2), em que a unidade de processamento executa um processo de costura de qualquer uma da pluralidade de primeiras imagens e qualquer uma da pluralidade de segundas imagens com base na informação de posicionamento para adquirir uma imagem composta.

[00396] (4) O aparelho de processamento de imagem, como definido em (1) ou (2), em que a unidade de processamento define, com base na informação de posicionamento, uma região correspondente à primeira região de formação de imagem como uma imagem com base na pluralidade de primeiras imagens e define uma região correspondente à segunda região de formação de imagem

77 / 81 como uma imagem com base na pluralidade de segundas imagens para adquirir a imagem composta.

[00397] (5) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (4), em que a pluralidade de primeiras imagens incluem as imagens com base nos comprimentos de onda diferentes uns dos outros, ou a pluralidade de segundas imagens incluem as imagens com base nos comprimentos de onda diferentes uns dos outros.

[00398] (6) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (5), em que a unidade de geração de imagem preferivelmente adquire, como a primeira imagem de referência, uma imagem com um grande valor de recurso a partir da pluralidade de primeiras imagens e preferivelmente adquire, como a segunda imagem de referência, uma imagem com um grande valor de recurso a partir da pluralidade de segundas imagens.

[00399] (7) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (5), em que a unidade de geração de imagem adquire, como a primeira imagem de referência, uma imagem com um maior valor de recurso dentre a pluralidade de primeiras imagens e adquire, como a segunda imagem de referência, uma imagem com um maior valor de recurso dentre a pluralidade de segundas imagens.

[00400] (8) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (7), em que a unidade de geração de imagem gera uma primeira imagem reduzida pela redução da primeira imagem, também usa a primeira imagem reduzida para gerar a primeira imagem de referência, gera uma segunda imagem reduzida pela redução da segunda imagem, e também usa a segunda imagem reduzida para gerar a segunda imagem de referência.

78 / 81

[00401] (9) O aparelho de processamento de imagem, como definido em (8), em que, em um caso em que a primeira imagem reduzida for definida como a primeira imagem, uma primeira imagem original da primeira imagem reduzida é definida como a primeira imagem de referência e, em um caso em que a segunda imagem reduzida for definida como a segunda imagem, uma segunda imagem original da segunda imagem reduzida é definida como a segunda imagem de referência.

[00402] (10) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (7), em que a unidade de geração de imagem divide a primeira imagem em blocos, calcula um valor de recurso em cada bloco, gera a primeira imagem de referência a partir de um bloco com um grande valor de recurso, divide a segunda imagem em blocos, calcula um valor de recurso em cada bloco, e gera a segunda imagem de referência a partir de um bloco com um grande valor de recurso.

[00403] (11) O aparelho de processamento de imagem, como definido em (10), em que a unidade de geração de imagem gera uma primeira imagem reduzida pela redução da primeira imagem, também divide a primeira imagem reduzida em blocos, também usa os blocos da primeira imagem reduzida para gerar a primeira imagem de referência, gera uma segunda imagem reduzida pela redução da segunda imagem, também divide a segunda imagem reduzida em blocos, e também usa os blocos da segunda imagem reduzida para gerar a segunda imagem de referência.

[00404] (12) O aparelho de processamento de imagem, como definido em (11), em que, em um caso em que o bloco da primeira imagem reduzida incluir um bloco com um grande valor de recurso, um correspondente bloco

79 / 81 de uma primeira imagem original da primeira imagem reduzida é definido como parte da primeira imagem de referência e, em um caso em que o bloco da segunda imagem reduzida incluir um bloco com um grande valor de recurso, um correspondente bloco de uma segunda imagem original da segunda imagem reduzida é definido como parte da segunda imagem de referência.

[00405] (13) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (12), em que a pluralidade de primeiras imagens é usada para gerar uma terceira imagem em um comprimento de onda predeterminado, a unidade de geração de imagem gera a primeira imagem de referência a partir da terceira imagem, a pluralidade de segundas imagens é usada para gerar uma quarta imagem em um comprimento de onda predeterminado, e a unidade de geração de imagem gera a segunda imagem de referência a partir da quarta imagem.

[00406] (14) O aparelho de processamento de imagem, como definido em qualquer um de (1) até (13), em que um processo de ortorretificação é aplicado em cada uma da primeira imagem de referência e da segunda imagem de referência, e a unidade de processamento gera a informação de posicionamento com base na primeira imagem de referência e na segunda imagem de referência ortorretificadas.

[00407] (15) Método de processamento de imagem, em que inclui as etapas de: gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de

80 / 81 formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

[00408] (16) Programa, que faz com que um computador execute um processo que inclui as etapas de: gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência. Lista dos Sinais de Referência

[00409] 10 Sistema de processamento de imagem, 11 Aparelho de formação de imagem, 12 Sensor de iluminância, 13 Centralizador, 14 Aparelho de cálculo, 30 Sistema de processamento de imagem, 31 Aparelho cliente, 32 Roteador, 33 Estação base, 34 Rede, 35 Servidor, 36 Armazenamento, 101 Lente, 102 Unidade de exposição, 103 sensor MS, 104 Unidade de processamento de cálculo do comprimento de onda designado, 105 Unidade de processamento de geração da imagem de referência, 106 Unidade de extração de imagem do comprimento de onda de inspeção, 107

81 / 81

Unidade de processamento de costura da imagem de referência, 108 Unidade de processamento de costura da imagem de inspeção, 601 Medidor de iluminância, 602 Unidade de extração da imagem de refletância, 603 Unidade de processamento de costura da imagem de refletância, 604 Unidade de cálculo da imagem de índice específico

Claims

REIVINDICAÇÕES

1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma unidade de geração de imagem que gera uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e que gera uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e uma unidade de processamento que gera a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento executa um processo de costura da primeira imagem de referência e da segunda imagem de referência para gerar uma imagem composta de referência que inclui a informação de posicionamento.

3. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento executa um processo de costura de qualquer uma da pluralidade de primeiras imagens e qualquer uma da pluralidade de segundas imagens com base na informação de posicionamento para adquirir uma imagem composta.

4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de processamento define, com base na informação de posicionamento, uma região correspondente à primeira região de formação de imagem como uma imagem com base na pluralidade de primeiras imagens e define uma região correspondente à segunda região de formação de imagem como uma imagem com base na pluralidade de segundas imagens para adquirir a imagem composta.

5. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de primeiras imagens incluem as imagens com base nos comprimentos de onda diferentes uns dos outros, ou a pluralidade de segundas imagens incluem as imagens com base nos comprimentos de onda diferentes uns dos outros.

6. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de geração de imagem preferivelmente adquire, como a primeira imagem de referência, uma imagem com um grande valor de recurso a partir da pluralidade de primeiras imagens e preferivelmente adquire, como a segunda imagem de referência, uma imagem com um grande valor de recurso a partir da pluralidade de segundas imagens.

7. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de geração de imagem adquire, como a primeira imagem de referência, uma imagem com um maior valor de recurso dentre a pluralidade de primeiras imagens e adquire, como a segunda imagem de referência, uma imagem com um maior valor de recurso dentre a pluralidade de segundas imagens.

8. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de geração de imagem gera uma primeira imagem reduzida pela redução da primeira imagem, também usa a primeira imagem reduzida para gerar a primeira imagem de referência, gera uma segunda imagem reduzida pela redução da segunda imagem, e também usa a segunda imagem reduzida para gerar a segunda imagem de referência.

9. Aparelho de processamento de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que, em um caso em que a primeira imagem reduzida for definida como a primeira imagem, uma primeira imagem original da primeira imagem reduzida é definida como a primeira imagem de referência e, em um caso em que a segunda imagem reduzida for definida como a segunda imagem, uma segunda imagem original da segunda imagem reduzida é definida como a segunda imagem de referência.

10. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de geração de imagem divide a primeira imagem em blocos, calcula um valor de recurso em cada bloco, gera a primeira imagem de referência a partir de um bloco com um grande valor de recurso, divide a segunda imagem em blocos, calcula um valor de recurso em cada bloco, e gera a segunda imagem de referência a partir de um bloco com um grande valor de recurso.

11. Aparelho de processamento de imagem de acordo com a reivindicação 10, caracterizado pelo fato de que a unidade de geração de imagem gera uma primeira imagem reduzida pela redução da primeira imagem, também divide a primeira imagem reduzida em blocos, também usa os blocos da primeira imagem reduzida para gerar a primeira imagem de referência, gera uma segunda imagem reduzida pela redução da segunda imagem, também divide a segunda imagem reduzida em blocos, e também usa os blocos da segunda imagem reduzida para gerar a segunda imagem de referência.

12. Aparelho de processamento de imagem de acordo com a reivindicação 11, caracterizado pelo fato de que, em um caso em que o bloco da primeira imagem reduzida incluir um bloco com um grande valor de recurso, um correspondente bloco de uma primeira imagem original da primeira imagem reduzida é definido como parte da primeira imagem de referência e, em um caso em que o bloco da segunda imagem reduzida incluir um bloco com um grande valor de recurso, um correspondente bloco de uma segunda imagem original da segunda imagem reduzida é definido como parte da segunda imagem de referência.

13. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de primeiras imagens é usada para gerar uma terceira imagem em um comprimento de onda predeterminado, a unidade de geração de imagem gera a primeira imagem de referência a partir da terceira imagem, a pluralidade de segundas imagens é usada para gerar uma quarta imagem em um comprimento de onda predeterminado, e a unidade de geração de imagem gera a segunda imagem de referência a partir da quarta imagem.

14. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que um processo de ortorretificação é aplicado em cada uma da primeira imagem de referência e da segunda imagem de referência, e a unidade de processamento gera a informação de posicionamento com base na primeira imagem de referência e na segunda imagem de referência ortorretificadas.

15. Método de processamento de imagem, caracterizado pelo fato de que compreende as etapas de:

gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.

16. Programa, caracterizado pelo fato de que faz com que um computador execute um processo que compreende as etapas de: gerar uma primeira imagem de referência em relação a uma primeira região de formação de imagem com base em uma pluralidade de primeiras imagens em relação à primeira região de formação de imagem e gerar uma segunda imagem de referência em relação a uma segunda região de formação de imagem que sobrepõe pelo menos parcialmente com a primeira região de formação de imagem com base em uma pluralidade de segundas imagens em relação à segunda região de formação de imagem; e gerar a informação de posicionamento que indica uma correspondência entre a primeira região de formação de imagem e a segunda região de formação de imagem com base na primeira imagem de referência e na segunda imagem de referência.