BR112021005139A2

BR112021005139A2 - aparelho e método de processamento de imagem, e, programa para fazer com que um aparelho de processamento de imagem execute um processo de imagem

Info

Publication number: BR112021005139A2
Application number: BR112021005139-2A
Authority: BR
Inventors: Yusuke MORIUCHI; Atsushi Ito
Original assignee: Sony Corporation
Priority date: 2018-09-25
Filing date: 2019-08-30
Publication date: 2021-06-15
Also published as: JPWO2020066456A1; EP3859657A4; US20210312589A1; KR20210064193A; EP3859657A1; WO2020066456A1; CN112740263A

Abstract

APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA PARA FAZER COM QUE UM APARELHO DE PROCESSAMENTO DE IMAGEM EXECUTE UM PROCESSO DE IMAGEM. Um objetivo da presente invenção é implementar um dispositivo e um método de processamento de imagem com os quais uma imagem corrigida de alta definição pode ser gerada na qual as irregularidades no brilho ou na cor são reduzidas. Este dispositivo de processamento de imagem compreende: uma parte de seleção do ponto de amostragem que seleciona, a partir de uma imagem, um ponto de amostragem a ser usado em uma computação de uma função de correção que é aplicada na correção do valor do pixel da imagem; uma parte de computação função de correção que aplica os valores de pixel e a informação de posição do ponto de amostragem e computa a função de correção; e uma parte de correção da imagem que aplica a função de correção e realiza a correção do valor de pixel da imagem. A parte de seleção do ponto de amostragem: executa um agrupamento (uma divisão em agrupamentos) em que os pixels constituintes da imagem são divididos em uma pluralidade de conjuntos parciais (agrupamentos); determina um agrupamento de extração do ponto de amostragem a partir da pluralidade de agrupamentos gerados pelo agrupamento; e executa um processo de seleção do ponto de amostragem a partir do agrupamento de extração do ponto de amostragem.

Description

1 / 89 APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E,

PROGRAMA PARA FAZER COM QUE UM APARELHO DE PROCESSAMENTO DE IMAGEM EXECUTE UM PROCESSO DE

IMAGEM Campo Técnico

[001] A presente descrição se refere a um aparelho de processamento de imagem, a um método de processamento de imagem e a um programa. Mais especificamente, a presente descrição se refere a um aparelho de processamento de imagem, a um método de processamento de imagem e a um programa que corrigem o desnivelamento da luminância e congêneres de uma imagem para gerar uma imagem com alta qualidade de figura. Fundamentos da Invenção

[002] Nos últimos anos, a utilização de um drone, que é um pequeno corpo voador que realiza o voo com controle remoto ou voo autônomo com base em GPS ou congêneres, aumentou rapidamente.

[003] Por exemplo, um drone tem uma câmera montada no mesmo e é utilizado para um processo de captura de uma imagem de uma cena do solo a partir do céu e congêneres.

[004] Adicionalmente, nos últimos anos, uma imagem aérea capturada utilizando um drone é utilizada para a confirmação do crescimento ou o gerenciamento de plantações em uma zona rural, um processo de confirmação de um terreno, e um processo de pesquisa ou, também, em um local de construção e congêneres.

[005] Um drone captura sucessivamente as imagens de uma região pré-determinada durante o movimento. Se diversas imagens capturadas forem associadas umas com as outras, então, uma imagem que tem uma ampla região pode ser gerada.

[006] Entretanto, quando o drone que se move no céu capturar as imagens, a atitude do mesmo muda devido à influência do vento e

2 / 89 congêneres. Em decorrência disto, uma condição de entrada da luz a partir de um alvo de formação de imagem na câmera varia e a luminância e a cor das imagens capturadas não ficam uniformes, mas ficam esparsas. Se tais imagens que têm luminância e cores diferentes umas das outras, da forma recém descrita, forem associadas umas com as outras para gerar uma imagem composta, então, a imagem composta tem qualidade deteriorada, em que a continuidade nas emendas das imagens é perdida.

[007] Adicionalmente, por exemplo, em um ambiente como este em que existem nuvens esparsas, até mesmo em uma imagem capturada, as partes sombreadas pelas nuvens e as partes não sombreadas pelas nuvens são diferentes na luminância e na cor.

[008] Como exposto, em um processo de associação (criação de mosaico) no qual uma pluralidade de imagens são capturadas durante a mudança da posição de captura e da direção de captura e são associadas umas com as outras para gerar uma imagem composta (imagem de panorama), ocorre um problema em que o valor da luminância de pixels muda descontinuamente em uma região correspondente a uma emenda da imagem composta devido a uma mudança do estado da iluminação e congêneres de uma unidade de uma imagem capturada.

[009] Como uma literatura que descreve uma tecnologia para resolver o problema, por exemplo, a seguinte literatura está disponível.

[0010] NPL 1 (Shading and color correction of endoscopic pictures, Masaharu ANDO, Journal of Japan Gastroenterological Endoscopy Society, volume 31, No. 7, p. 1727-1741, 1989.).

[0011] Nessa literatura, um método de correção do valor do sinal usando um filtro de suavização é descrito.

[0012] Em particular, é descrito um método que utiliza uma imagem obtida pela suavização de uma imagem capturada ou uma imagem de referência para dividir um valor do sinal de cada pixel da imagem capturada

3 / 89 por um valor do sinal de cada valor de pixel da imagem suavizada para corrigir o desnivelamento da luminância da imagem capturada.

[0013] Entretanto, o método de correção descrito na literatura tem um problema em que, já que a informação de mudança da luminância de um alvo de formação de imagem diferente de um alvo de correção incluído na imagem também tem uma influência na imagem de correção, um erro, tal como um artefato de anel, ocorre na imagem corrigida.

[0014] Adicionalmente, um método de correção de um valor do sinal com base em uma condição geométrica conhecida é descrito em PTL 1 (Patente Japonesa Aberta ao Público 2004-139219).

[0015] Essa literatura descreve um método de cálculo de uma função de correção de uma função secundária ou congêneres para a correção da imagem utilizando a iluminação de uma câmera ou um ambiente de captura de imagem e uma condição geométrica de um alvo de formação de imagem e ajustando uma quantidade de correção para o brilho ou congêneres de uma imagem utilizando a função de correção calculada.

[0016] Em particular, uma mudança de luminância que surge a partir do desnivelamento da iluminação na imagem capturada é corrigida pela realização da adequação de uma mudança de luminância prevista em antecipação a partir de um ambiente de captura com uma função de correção para realizar a correção de luminância da imagem capturada.

[0017] Entretanto, o presente método tem um problema em que, no caso em que for difícil calcular uma função de correção precisa a partir de uma condição geométrica, tal como um caso em que é difícil especificar a coordenada ou a direção da iluminação ou da câmera, ou um caso em que o plano de um alvo de formação de imagem não for um plano chato mas for um plano curvo que tem desnivelamento, ou congêneres, o presente método não pode realizar correção de alta precisão. Lista de Citação

4 / 89 Literatura Patentária

[0018] PTL 1 Patente Japonesa Aberta ao Público 2004-139219 Literatura Não Patentária

[0019] NPL 1 “Shading and color correction of endoscopic pictures”, Masaharu ANDO, Journal of Japan Gastroenterological Endoscopy Society, volume 31, No. 7, p.1727-1741, 1989. Sumário da Invenção Problemas Técnicos

[0020] A presente descrição foi feita, por exemplo, em vista de um problema como este, como exposto, e é um objetivo da presente descrição prover um aparelho de processamento de imagem, um método de processamento de imagem, e um programa que tornam possível, quando as imagens cujas condições de captura são diferentes forem associadas umas com as outras para gerar uma imagem composta, reduzir a diferença em valor do pixel de saída, tal como a luminância, entre as imagens, de maneira tal que uma imagem composta de alta qualidade possa ser gerada.

[0021] Por exemplo, no caso em que um processo de associação, de associação das imagens capturadas ao ar livre a partir de um corpo em movimento, tal como um drone, para gerar uma imagem, até mesmo em um ambiente no qual é difícil especificar uma condição de luz da iluminação, tais como a luz ou a iluminação solar, e uma condição geométrica, tais como uma postura da câmera ou um estado desnivelado de uma face do alvo de formação de imagem, um artefato de anel que causa a descontinuidade nas emendas de imagens pode ser suprimido pela apropriada correção do valor de pixel para gerar uma imagem composta de alta qualidade na qual as emendas entre as imagens não são evidentes.

[0022] Adicionalmente, é um objetivo da presente descrição prover um aparelho de processamento de imagem, um método de processamento de imagem e um programa que tornam possível, até mesmo no caso em que

5 / 89 houver uma diferença no valor do pixel de saída, tal como o desnivelamento da luminância em uma imagem capturada, reduzir a diferença para produzir uma imagem de alta qualidade. Solução para os Problemas

[0023] Um primeiro aspecto da presente descrição reside na provisão de um aparelho de processamento de imagem que inclui: uma seção de seleção do ponto de amostragem configurada para selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma seção de cálculo da função de correção configurada para aplicar um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma seção de correção da imagem configurada para aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a seção de seleção do ponto de amostragem executa o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, determina um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e executa um processo para selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[0024] Adicionalmente, um segundo aspecto da presente descrição reside na provisão de um método de processamento de imagem executado no aparelho de processamento de imagem, que inclui: uma etapa de seleção do ponto de amostragem, por uma seção

6 / 89 de seleção do ponto de amostragem, de selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção, por uma seção de cálculo da função de correção, de aplicar um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem, por uma seção de correção da imagem, de aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[0025] Além do mais, um terceiro aspecto da presente descrição reside na provisão de um programa para fazer com que um aparelho de processamento de imagem execute um processo de imagem, o programa incluindo: uma etapa de seleção do ponto de amostragem que faz com que uma seção de seleção do ponto de amostragem selecione os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção que faz com que uma seção de cálculo da função de correção aplique um valor de pixel e a

7 / 89 informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem que faz com que uma seção de correção da imagem para aplicar a função de correção realize a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[0026] Percebe-se que o programa da presente descrição é um programa capaz de ser provido por uma mídia de armazenamento ou uma mídia de comunicação que proveem o programa em uma forma legível por computador, por exemplo, para um aparelho de processamento de informação ou um sistema de computador que pode executar vários códigos de programa. Pela provisão de um programa como este da forma recém descrita em uma forma legível por computador, um processo de acordo com o programa é implementado no aparelho de processamento de informação ou no sistema de computador.

[0027] Outros objetivos, características ou vantagens da presente descrição ficarão claros pela descrição mais detalhada com base nos exemplos de trabalho e nos desenhos anexos da presente descrição descrita a seguir. Percebe-se que, na presente especificação, o termo “sistema” significa uma configuração de agregação lógica de uma pluralidade de aparelhos e não é limitado a um aparelho no qual os dispositivos das configurações individuais

8 / 89 ficam acomodados no mesmo alojamento. Efeito Vantajoso da Invenção

[0028] Com a configuração do exemplo de trabalho da presente descrição, um aparelho de processamento de imagem e um método de processamento de imagem que tornam possível gerar uma imagem de correção de alta qualidade na qual o desnivelamento da luminância e o desnivelamento da cor são reduzidos são implementados.

[0029] Em particular, por exemplo, o aparelho de processamento de imagem inclui uma seção de seleção do ponto de amostragem que seleciona os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem, uma seção de cálculo da função de correção que aplica um valor de pixel e a informação posicional de cada um dos pontos de amostragem para calcular a função de correção, e uma seção de correção da imagem que aplica a função de correção para realizar a correção do valor de pixel da imagem. A seção de seleção do ponto de amostragem executa o agrupamento (divisão de agrupamento) para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos (agrupamentos), determina um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e executa um processo para selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[0030] Com a presente configuração, o aparelho de processamento de imagem e o método de processamento de imagem capazes de gerar uma imagem de correção de alta qualidade na qual o desnivelamento da luminância e o desnivelamento da cor são reduzidos são implementados.

[0031] Percebe-se que o efeito vantajoso descrito na presente especificação é exemplar até o fim e não é restritivo, e um efeito adicional pode estar disponível.

9 / 89 Breve Descrição dos Desenhos

[0032] A figura 1 é um diagrama de blocos que representa um exemplo de uma configuração de um primeiro exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0033] A figura 2 é uma vista que representa um exemplo no qual uma imagem capturada a ser um alvo de correção é dividida em 11 agrupamentos (K = 11) por um método K-Médias.

[0034] A figura 3 é uma vista que representa um histograma que indica um valor médio e uma frequência de valores do sinal dos elementos (pixels) que pertencem a agrupamentos individuais dos 11 agrupamentos divididos pelo método K-Médias representado na figura 2.

[0035] A figura 4 é uma vista que representa um resultado quando um ponto de amostragem for aleatoriamente selecionado a partir de um agrupamento de extração do ponto de amostragem selecionado utilizando o histograma da figura 3.

[0036] A figura 5 é uma vista que ilustra um exemplo de um caso em que uma seção de seleção do ponto de amostragem aplica a segmentação semântica para realizar o agrupamento.

[0037] A figura 6 é uma vista que ilustra um exemplo no qual uma imagem capturada é dividida em uma pluralidade de regiões usando uma delimitação definida por um usuário ou uma delimitação definida em antecipação e tais regiões divisionais são definidas como agrupamentos.

[0038] A figura 7 é uma vista que ilustra uma diferença em particular entre os exemplos de correção da imagem pelo processamento pelo aparelho de processamento de imagem da presente descrição e pelo processamento de um tipo convencional.

[0039] A figura 8 é uma vista que ilustra o processamento pelo aparelho de processamento de imagem da presente descrição.

[0040] A figura 9 é uma vista que representa um fluxograma que

10 / 89 ilustra uma sequência de um processo de imagem executado pelo aparelho de processamento de imagem representado na figura 1.

[0041] A figura 10 é uma vista que ilustra uma configuração e um processamento de um segundo exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0042] A figura 11 é uma vista que representa um fluxograma que ilustra uma sequência de um processo de imagem executado pelo aparelho de processamento de imagem representado na figura 10.

[0043] A figura 12 é uma vista que ilustra uma configuração e um processamento de um terceiro exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0044] A figura 13 é uma vista que representa um fluxograma que ilustra uma sequência de um processo de imagem executado pelo aparelho de processamento de imagem representado na figura 12.

[0045] A figura 14 é uma vista que ilustra uma configuração e um processamento de um quarto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0046] A figura 15 é uma vista que ilustra o processamento executado pelo quarto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0047] A figura 16 é uma vista que ilustra o processamento executado pelo quarto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0048] A figura 17 é uma vista que ilustra uma configuração e um processamento de um quinto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0049] A figura 18 é uma vista que ilustra o processamento executado pelo quinto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

11 / 89

[0050] A figura 19 é uma vista que ilustra uma configuração e um processamento de um sexto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0051] A figura 20 é uma vista que ilustra o processamento executado pelo sexto exemplo de trabalho do aparelho de processamento de imagem da presente descrição.

[0052] A figura 21 é uma vista que ilustra um exemplo de uma configuração de hardware do aparelho de processamento de imagem da presente descrição. Descrição das Modalidades

[0053] A seguir, os detalhes de um aparelho de processamento de imagem, um método de processamento de imagem e um programa da presente descrição são descritos em relação aos desenhos. Percebe-se que a descrição é dada nos seguintes itens.

1. Configuração e Processamento do Primeiro Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição

2. Sequência de Processamento de Imagem Executada pelo Aparelho de Processamento de Imagem

3. Configuração e Processamento do Segundo Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição

4. Configuração e Processamento do Terceiro Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição

5. Outros Exemplos de Trabalho

6. Exemplo de Configuração de Hardware do Aparelho de Processamento de Imagem

7. Sumário da Configuração da Presente Descrição [1. Configuração e Processamento do Primeiro Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição]

[0054] Primeiro, uma configuração e um processamento de um

12 / 89 primeiro exemplo de trabalho do aparelho de processamento de imagem da presente descrição são descritos em relação à figura 1 e aos subsequentes desenhos.

[0055] A figura 1 é um diagrama de blocos que representa um exemplo da configuração do primeiro exemplo de trabalho do aparelho de processamento de imagem da presente descrição. Da forma representada na figura 1, um aparelho de processamento de imagem 100 inclui uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, e uma seção de correção da imagem (seção de aplicação da função de correção) 103.

[0056] O aparelho de processamento de imagem 100 recebe uma imagem capturada 10 que é um alvo de correção como uma entrada no mesmo, executa a correção e transmite uma imagem corrigida 20.

[0057] Percebe-se que, no presente exemplo de trabalho, a imagem capturada 10 que se torna um alvo de correção é uma imagem capturada, capturada por um processo de captura de imagem de uma única vez de uma câmera. Em outras palavras, a imagem capturada 10 não é uma imagem composta obtida pela realização de um processo de associação, de associação de uma pluralidade de imagens umas com as outras.

[0058] Por exemplo, uma imagem capturada por uma câmera montada em um corpo em movimento, tal como, por exemplo, um drone, algumas vezes inclui uma região que se torna e uma outra região que não se torna uma sombra de uma nuvem no céu ou algum outro objeto voador, tais como uma aeronave ou um pássaro. Tais regiões são diferentes na luminância ou na cor entre as mesmas. Em outras palavras, o desnivelamento da luminância e o desnivelamento da cor ocorrem.

[0059] O aparelho de processamento de imagem 100 representado na figura 1 corrige o desnivelamento de saída dos valores de pixel incluídos em uma imagem capturada como esta 10 para gerar uma imagem corrigida 20 que

13 / 89 tem reduzidos desnivelamento da luminância, desnivelamento da cor e congêneres.

[0060] Percebe-se que os componentes do aparelho de processamento de imagem 100 representado na figura 1 podem ser configurados como peças de hardware individuais ou como uma peça de hardware integrada. Também, é possível executar os processos, que devem ser executados pelos componentes do aparelho de processamento de imagem 100, parcialmente ou integralmente por software (programa).

[0061] Percebe-se que, na seguinte descrição, é descrito um exemplo no qual a imagem capturada 10 é uma imagem a cores RGB. Entretanto, este é um exemplo, e o aparelho de processamento de imagem da presente descrição pode realizar um processo de correção não apenas para as imagens RGB, mas, também, para várias imagens, tais como imagens a cores diferentes de imagens a cores RGB, tais como imagens YCbCr, imagens monocromáticas, e imagens de luminância.

[0062] Uma configuração e um processamento do aparelho de processamento de imagem 100 representado na figura 1 são descritos.

[0063] Primeiro, a seção de seleção do ponto de amostragem 101 do aparelho de processamento de imagem 100 representado na figura 1 recebe uma imagem capturada 10 a ser um alvo de correção como uma entrada na mesma.

[0064] A imagem capturada 10 é uma imagem capturada, por exemplo, por um drone.

[0065] A seção de seleção do ponto de amostragem 101 seleciona os pixels a serem os pontos de amostragem a partir de dentro da imagem capturada 10 do alvo de correção.

[0066] Cada ponto de amostragem é um pixel que é utilizado a fim de gerar uma função de correção na subsequente seção de cálculo da função de correção 102.

14 / 89

[0067] A seção de seleção do ponto de amostragem 101 transmite o valor de pixel (valor da luminância ou congêneres) e a informação de posição dos pontos de amostragem para a subsequente seção de cálculo da função de correção 102.

[0068] A seção de cálculo da função de correção 102 gera uma função de correção utilizando os valores de pixel e a informação de posição dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem 101.

[0069] A seção de correção da imagem (seção de aplicação da função de correção) 103 no último estágio aplica a função de correção gerada pela seção de cálculo da função de correção 102 em todos os pixels da imagem capturada 10 para executar a correção do valor de pixel de todos os pixels para gerar uma imagem corrigida 20.

[0070] A seção de seleção do ponto de amostragem 101 executa primeiro um processo de agrupamento (divisão de agrupamento) de dividir os pixels componentes da imagem capturada 10 do alvo de correção em uma pluralidade de subconjuntos (agrupamentos).

[0071] Como um método para dividir os pixels componentes da imagem capturada 10 em uma pluralidade de subconjuntos (agrupamentos), por exemplo, os métodos de agrupamento existentes, tais como dados a seguir, podem ser aplicados: (a) método K-Médias, (b) método K-NN (método K-vizinho mais próximo), (c) método Ward, e (d) segmentação semântica.

[0072] O método K-Médias é um método de agrupamento de acordo com um método não hierárquico e é um método de realização de classificação usando uma função de avaliação, de maneira tal que um valor de avaliação ideal seja obtido desse modo para realizar a classificação em K subconjuntos

15 / 89 (agrupamentos).

[0073] O método K-NN é um método de agrupamento de acordo com um método hierárquico e é um método de realização de classificação na ordem ascendente da distância a partir de (na ordem descendente da similaridade a) um certo valor de referência ou padrão de referência para realizar a classificação em K classes.

[0074] O método Ward também é um método de agrupamento de acordo com um método hierárquico e é um método de realização de classificação, de maneira tal que a soma dos quadrados em cada agrupamento seja minimizada.

[0075] A segmentação semântica é um método de realização de classificação em agrupamentos de unidades de categoria individuais pela identificação de a qual categoria (pessoa, carro, estrada, planta ou congêneres) cada um dos pixels componentes (pixels) de uma imagem pertence com base no grau de coincidência entre um objeto na imagem e dados de dicionário (dados aprendidos) para a identificação de objeto com base em formas e outra informação de característica de objetos reais.

[0076] Percebe-se que, como a segmentação semântica, por exemplo, uma pluralidade como esta de métodos diferentes dados a seguir está disponível: (d1) Método que usa Campos Aleatórios Condicionais (CRF) (P. Krahenbuhl, et. al, “Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials”, NIPS'11 Proceedings of the 24th International Conference on Neural Information Processing Systems, 2011.) (d2) Método que utiliza uma rede neural convolucional (CNN) (G. Lin, et. al, “Efficient Piecewise Training of Deep Structured Models for Semantic”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.) (d3) Método que utiliza redes adversariais generativas (GAN)

16 / 89 (P. Isola, et. al, “Image-to-Image Translation with Conditional Adversarial Networks”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.).

[0077] A seção de seleção do ponto de amostragem 101 aplica, por exemplo, qualquer um dos métodos de agrupamento supradescritos, a saber, (a) método K-Médias, (b) método K-NN (método K-vizinho mais próximo), (c) método Ward, e (d) segmentação semântica para executar um método de agrupamento (divisão de agrupamento) de dividir os pixels componentes da imagem capturada 10 do alvo de correção em uma pluralidade de subconjuntos (agrupamentos).

[0078] Então, a seção de seleção do ponto de amostragem 101 seleciona, a partir de dentro dos agrupamentos divisionais, os pontos de amostragem, a saber, os pontos de amostragem (pixels) a serem utilizados pela subsequente seção de cálculo da função de correção 102 para gerar uma função de correção.

[0079] O processo de seleção de um ponto de amostragem é executado, por exemplo, pelo seguinte procedimento.

[0080] Um agrupamento de extração do ponto de amostragem é determinado a partir de subconjuntos (agrupamentos) que são diversos grupos de pixels classificados pelo agrupamento supradescrito.

[0081] Então, os pixels incluídos no agrupamento de extração do ponto de amostragem determinado são selecionados como os pontos de amostragem.

[0082] Os detalhes dos processos são descritos a seguir.

[0083] A seção de seleção do ponto de amostragem 101 primeiro determina um agrupamento de extração do ponto de amostragem a partir de subconjuntos (agrupamentos) que são diversos grupos de pixels classificados

17 / 89 pelo agrupamento supradescrito.

[0084] Como um método de determinação de um agrupamento de extração do ponto de amostragem, por exemplo, qualquer um dos seguintes métodos pode ser aplicado.

[0085] (1) Um ou mais agrupamentos são determinados como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem na ordem começando com um agrupamento que inclui um maior número de amostras (elementos/pixels).

[0086] (2) Um agrupamento em relação ao qual um valor médio ou uma mediana de saídas (valores de pixel, valores da luminância ou congêneres) dos pixels é o centro de todos aqueles agrupamentos ou diversos agrupamentos adjacentes ao agrupamento é determinado como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem.

[0087] (3) Um usuário seleciona um agrupamento específico, e o agrupamento selecionado é determinado como um agrupamento de extração do ponto de amostragem.

[0088] O valor médio ou a mediana de cada agrupamento indicado em (2) exposto são, no presente exemplo, um valor médio ou uma mediana dos valores de pixel ou dos valores da luminância dos pixels que pertencem ao agrupamento.

[0089] Pela determinação do agrupamento do centro dos valores médios ou das medianas dos agrupamentos indicados em (2) exposto ou diversos agrupamentos adjacentes ao agrupamento como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem, por exemplo, um agrupamento que inclui uma região de pixel extremamente escura ou uma região brilhante em uma imagem não é definido como um agrupamento de extração do ponto de amostragem, e um ponto de amostragem não é extraído do agrupamento.

18 / 89

[0090] Adicionalmente, como um exemplo de seleção de agrupamento por um usuário em (3) exposto, há um exemplo no qual um agrupamento que inclui muitos pixels de um alvo (objeto) de formação de imagem em particular a partir do qual os valores de pixel devem ser calculados com o desnivelamento da luminância ou o desnivelamento da cor reduzidos.

[0091] Em particular, no caso em que houver um propósito de analisar o estado de crescimento das plantações em zona rural com imagem formada, por exemplo, usando um drone, é possível selecionar um agrupamento que inclui muitos pixels em uma região com imagem formada das plantações como um agrupamento de extração do ponto de amostragem.

[0092] Por outro lado, no caso em que houver um propósito de analisar o solo de zona rural com imagem formada usando um drone, é suficiente se um agrupamento que inclui muitos pixels nos quais o solo ou as plantações são refletidos for determinado como um agrupamento de extração do ponto de amostragem.

[0093] Percebe-se que, embora o número de agrupamentos de extração do ponto de amostragem a serem selecionados possa ser um, em outras circunstâncias, dois ou mais agrupamentos podem ser selecionados como os agrupamentos de extração do ponto de amostragem.

[0094] Os pixels em um agrupamento de extração do ponto de amostragem selecionado pela seção de seleção do ponto de amostragem 101 são definidos como pontos de amostragem (pixels) e são utilizados pela seção de cálculo da função de correção 102 para gerar uma função de correção.

[0095] Um exemplo em particular de um processo de seleção do ponto de amostragem executado pela seção de seleção do ponto de amostragem 101 é descrito em relação à figura 2 e aos subsequentes desenhos.

[0096] O processo descrito em relação à figura 2 e aos subsequentes

19 / 89 desenhos é um exemplo de um processo no qual o método K-Médias é aplicado como o processo de agrupamento (divisão de agrupamento) de dividir os pixels componentes da imagem capturada 10 que se torna um alvo de correção em uma pluralidade de subconjuntos (agrupamentos).

[0097] Da forma descrita anteriormente, o método K-Médias é um método de agrupamento de acordo com um método não hierárquico e é um método de realização de classificação usando uma função de avaliação, de maneira tal que um valor de avaliação ideal seja obtido desse modo para realizar a classificação em K subconjuntos (agrupamentos).

[0098] A figura 2 é uma vista que representa um exemplo no qual uma imagem capturada 10 que se torna um alvo de correção é dividida em 11 agrupamentos (K = 11) pelo método K-Médias.

[0099] Percebe-se que, embora a figura 2 represente a imagem capturada 10 como uma imagem de sombreamento, diferentes cores são realmente definidas correspondentes aos 11 agrupamentos. Cada cor corresponde a um dos 11 agrupamentos.

[00100] Cada agrupamento inclui um ou mais pixels (elementos), e os agrupamentos classificados em um agrupamento são os pixels similares na informação de característica (por exemplo, luminância ou cor) aplicada na classificação de agrupamento.

[00101] Percebe-se que, como a informação de característica de um pixel a ser aplicado na classificação de agrupamento, a informação de característica de várias características, tais como “luminância”, “cor”, ou qualquer um dos valores R, G, e B, por exemplo, um valor de pixel de “G”, de um pixel pode ser utilizado.

[00102] Por exemplo, se a “luminância” for utilizada como a informação de característica a ser aplicada na classificação de agrupamento, então, os pixels podem ser classificados em uma pluralidade de agrupamentos em uma unidade de um conjunto de pixels cujas luminâncias são similares

20 / 89 umas às outras.

[00103] Por outro lado, por exemplo, se o valor de pixel de “G” for utilizado como a informação de característica a ser aplicada na classificação de agrupamento, então, os pixels podem ser classificados em uma pluralidade de agrupamentos em uma unidade de um conjunto de pixels cujos valores de saída de G são similares uns aos outros.

[00104] Desta maneira, o espaço de sinal a ser aplicado como a informação de característica a ser aplicada na classificação de agrupamento pode usar a informação de luminância, de cor, ou todos os três comprimentos de onda dos sinais RGB da imagem capturada 10 ou pode usar um sinal de comprimento de onda opcional ou uma combinação opcional dos sinais RGB. Alternativamente, o espaço de sinal pode usar um sinal ou sinais de uma imagem ou imagens obtidos pela conversão da imagem capturada 10 naquela de um espaço desejado, tais como um espaço Lab, um espaço YUV, ou um espaço de cromaticidade xy, ou uma combinação de tais sinais.

[00105] A figura 3 é um histograma que indica um valor médio dos valores do sinal dos elementos (pixels) que pertencem a cada um dos onze agrupamentos nos quais os pixels são divididos pelo método K-Médias representado na figura 2 e uma frequência dos mesmos.

[00106] O eixo geométrico das abscissas indica um valor médio da luminância (ou valor de pixel) de elementos no agrupamento (pixels) de cada um dos onze agrupamentos divididos pelo método K-Médias representado na figura 2, e o eixo geométrico das ordenadas indica uma frequência de cada agrupamento, a saber, um número de elementos (número de pixel) incluídos em cada agrupamento.

[00107] A seção de seleção do ponto de amostragem 101 pode realizar a seleção de um agrupamento de extração do ponto de amostragem, por exemplo, com base no histograma.

[00108] Por exemplo, a seção de seleção do ponto de amostragem 101

21 / 89 seleciona, como os agrupamentos de extração do ponto de amostragem, um número de agrupamentos prescrito em uma direção na qual o valor da luminância médio aumenta (a direção para a direita do gráfico da figura 3) em relação a um agrupamento que indica uma frequência máxima entre os agrupamentos divisionais. Adicionalmente, os pixels que pertencem ao agrupamento selecionado são amostrados em aleatório.

[00109] A seção de seleção do ponto de amostragem 101 realiza a seleção de pixels de amostragem, por exemplo, por este processo.

[00110] No histograma representado na figura 3, o agrupamento que indica uma máxima frequência é o segundo agrupamento a partir da esquerda, e um número de agrupamentos prescrito em antecipação, por exemplo, sete agrupamentos, em uma direção na qual o valor da luminância médio aumenta (na direção para a direita do gráfico da figura 3) em relação ao agrupamento são selecionados como os agrupamentos de extração do ponto de amostragem.

[00111] Os pixels que pertencem aos sete agrupamentos de extração do ponto de amostragem selecionados desta maneira são amostrados em aleatório.

[00112] Por exemplo, pela seleção de um agrupamento de extração do ponto de amostragem desta maneira, um ponto de amostragem (pixel) não é selecionado a partir de um agrupamento na extremidade esquerda ou na extremidade direita do histograma. Este é um processo que não amostra um pixel cuja luminância ou valor de pixel é muito deslocado a partir de um valor médio da íntegra da imagem, a saber, um pixel de uma baixa luminância ou um pixel de uma alta luminância.

[00113] Pela realização de um processo como este, da forma recém descrita, um ponto de amostragem pode ser selecionado a partir de dentro de um conjunto de pixels a partir do qual os pixels influenciados por uma sombra, reflexo especular e congêneres em uma imagem são removidos.

[00114] Percebe-se que o processo de seleção de um agrupamento de

22 / 89 extração do ponto de amostragem utilizando o histograma descrito anteriormente em relação à figura 3 é um exemplo, e o processo de seleção de um agrupamento de extração do ponto de amostragem pode ser realizado por vários processos, tal como um processo em que a seleção é realizada até que o número de pixels que pertencem ao agrupamento selecionado exceda uma razão fixa pelo número de pixel da imagem geral, da forma descrita anteriormente.

[00115] A figura 4 é uma vista que representa um resultado da seleção dos pontos de amostragem em aleatório a partir de dentro de sete agrupamentos de extração do ponto de amostragem selecionados na direção ascendente do valor da luminância médio em relação ao agrupamento de extração do ponto de amostragem selecionado utilizando o histograma da figura 3, a saber, em relação a um agrupamento que indica uma máxima frequência dentre os onze agrupamentos.

[00116] Um ponto branco na imagem representada na figura 4 indica um ponto de amostragem (pixel).

[00117] No lado superior direito da imagem representada na figura 4, um rio tem imagem formada e, a partir da superfície do rio, a luz refletida da luz do sol entra na câmera. Em outras palavras, a região do rio é uma região de reflexo especular. Uma região de reflexo especular como esta é uma região de alta luminância cuja luminância é muito diferente de um valor médio na luminância da imagem geral, e, no presente exemplo de processamento, um pixel de amostragem não é selecionado a partir de dentro de uma região como esta, da forma recém descrita.

[00118] Similarmente, um pixel de amostragem não é selecionado, também, a partir de dentro de uma região de baixa luminância cuja luminância é muito diferente de um valor médio na luminância da imagem geral.

[00119] No presente exemplo de processamento, os pixels de

23 / 89 amostragem são configurados a partir dos pixels cuja luminância ou valor de pixel é próximo de um valor médio da imagem geral e são configurados a partir dos pixels que não incluem os pixels de baixa luminância ou os pixels de alta luminância cujo valor da luminância é muito diferente do valor médio.

[00120] A informação do valor de pixel e a informação de posição dos pixels de amostragem configurados a partir de tais valores de pixel médios de uma imagem, da forma supradescrita, são transmitidos para a seção de cálculo da função de correção 102 representada na figura 1, e a seção de cálculo da função de correção 102 gera uma função de correção com base nos valores de pixel e na informação de posição dos pixels de amostragem.

[00121] Da forma descrita anteriormente, a seção de seleção do ponto de amostragem 101 transmite os valores de pixel (valores da luminância ou congêneres) e a informação de posição dos pontos de amostragem para a subsequente seção de cálculo da função de correção 102.

[00122] A seção de cálculo da função de correção 102 gera uma função de correção utilizando os valores de pixel e a informação de posição dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem 101.

[00123] A seção de cálculo da função de correção 102 pode gerar uma função de correção com base nos valores de pixel dos pixels de amostragem configurados a partir dos valores de pixel médios de uma imagem e pode gerar uma função de correção que diminui as influencias dos pixels que têm luminância ou valores de pixel extremos.

[00124] O processo de seleção do ponto de amostragem supradescrito em relação às figuras 2 a 4 é um exemplo no qual a seção de seleção do ponto de amostragem 101 realiza o agrupamento de aplicar o método K-Médias para classificar os pixels componentes de uma imagem em K subconjuntos (agrupamentos) e selecionar os pontos de amostragem utilizando um resultado do agrupamento.

24 / 89

[00125] Como exposto, a seção de seleção do ponto de amostragem 101 pode aplicar vários métodos de agrupamento, além do método K-Médias.

[00126] A figura 5 representa um exemplo de um caso em que a seção de seleção do ponto de amostragem 101 realiza o agrupamento pela aplicação da segmentação semântica.

[00127] Da forma descrita anteriormente, a segmentação semântica é um método de identificação, com base no grau de coincidência entre um objeto em uma imagem e nos dados de dicionário (dados aprendidos), para a identificação de objeto com base em formas e outra informação de característica de vários objetos reais, a qual categoria (pessoa, carro, estrada, planta ou congêneres) o objeto de cada pixel componente (pixel) da imagem pertence e classificação do pixel componente em um agrupamento de cada unidade de categoria.

[00128] Da forma representada na figura 5, pela realização da segmentação semântica para a imagem, tal classificação de pixel (agrupamento) em uma unidade de objeto, da forma representada na figura 5, é executada.

[00129] No exemplo representado na figura 5, os objetos de um repolho, uma pessoa, um solo, um rio, uma casa, uma árvore, uma estrada, um veículo, e um solo são identificados. Os mesmos fazem agrupamentos individuais.

[00130] Percebe-se que uma região desconhecida (Desconhecida) cuja identificação de objeto não pode ser realizada algumas vezes aparece em uma imagem.

[00131] Por exemplo, no caso em que uma situação de crescimento de repolhos que são plantações for um objeto de análise, é necessário adquirir precisamente a informação da cor e congêneres dos repolhos. Para este fim, exige-se corrigir os valores de pixel da região da imagem na qual os repolhos têm, imagem formada para os valores de pixel nos quais o desnivelamento da

25 / 89 luminância e o desnivelamento da cor são reduzidos, a saber, corrigir os valores de pixel para valores de pixel a partir dos quais as influências de uma sombra de uma nuvem e congêneres são removidas.

[00132] No caso em que um objeto de análise como este existir, uma região da imagem na qual os repolhos são incluídos é selecionada como um agrupamento de extração do ponto de amostragem, e os elementos (pixels) no agrupamento de extração do ponto de amostragem são selecionados como os pontos de amostragem (pixels).

[00133] A informação do valor de pixel dos pixels de amostragem é transmitida para a seção de cálculo da função de correção 102 representada na figura 1, e a seção de cálculo da função de correção 102 gera uma função de correção com base nos valores de pixel dos pixels de amostragem.

[00134] A seção de cálculo da função de correção 102 pode criar uma função de correção com base nos valores de pixel dos pixels de amostragem selecionados a partir do agrupamento de extração do ponto de amostragem que é a região da imagem dos repolhos e, em decorrência disto, pode criar uma função de correção especializada na região da imagem de repolhos.

[00135] Pelo uso dos pontos de amostragem selecionados a partir de um agrupamento de extração do ponto de amostragem desta maneira, uma função de correção pode ser gerada para realizar um processo de correção sem ser influenciada pelos valores do sinal de uma árvore ou um rio diferente do alvo de correção.

[00136] Percebe-se que, no método para o agrupamento pela seção de seleção do ponto de amostragem 101, a saber, no método de dividir os pixels componentes da imagem capturada 10 em uma pluralidade de subconjuntos (agrupamentos), os métodos de agrupamento existentes, tais como descritos a seguir, podem ser aplicados como supradescrito: (a) método K-Médias, (b) método K-NN (método K-vizinho mais próximo),

26 / 89 (c) método Ward, e (d) segmentação semântica.

[00137] O agrupamento pela seção de seleção do ponto de amostragem 101 não é limitado a tais métodos existentes e, por exemplo, a imagem capturada 10 pode ser dividida em uma pluralidade de regiões usando delimitações definidas pelo usuário ou delimitações prescritas em antecipação, de maneira tal que as regiões divisionais sejam definidas como os agrupamentos. Um exemplo em particular é representado na figura 6.

[00138] A figura 6 representa os seguintes exemplos de divisão de agrupamento: (1) Exemplo de divisão de agrupamento 1: um exemplo de um processo de agrupamento no qual uma imagem é igualmente dividida em peças de mosaico, (2) Exemplo de divisão de agrupamento 2: um exemplo de um processo de agrupamento no qual apenas uma parte final de uma imagem é dividida em uma pluralidade de regiões, e (3) Exemplo de divisão de agrupamento 3: um exemplo de um processo de agrupamento no qual uma região da imagem é dividida usando as delimitações designadas pelo usuário.

[00139] Por exemplo, o agrupamento de tais vários exemplos de divisão de agrupamento pode ser realizado.

[00140] Depois que a seção de seleção do ponto de amostragem 101 realizar o agrupamento, a mesma determina um agrupamento de extração do ponto de amostragem e seleciona adicionalmente os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem determinado.

[00141] O processo de seleção do ponto de amostragem pode ser executado, por exemplo, como um processo de seleção de um número opcional de pixels em aleatório a partir do agrupamento de extração do ponto

27 / 89 de amostragem.

[00142] Alternativamente, um método como este pode ser realizado como divisão de um agrupamento de extração do ponto de amostragem, que é um alvo de seleção do ponto de amostragem, adicionalmente em uma pluralidade de regiões e seleção dos pontos de amostragem em aleatório a partir de dentro de cada região, de maneira tal que o desvio do número de seleção dentre as regiões divisionais seja reduzido.

[00143] Da forma descrita anteriormente, a seção de seleção do ponto de amostragem 101 executa os processos tais como: (1) um processo de agrupamento de dividir os pixels componentes da imagem capturada 10 em uma pluralidade de subconjuntos (agrupamentos), (2) um processo de determinar um agrupamento de extração do ponto de amostragem, que é um alvo de extração do ponto de amostragem, a partir de uma pluralidade de agrupamentos, e (3) um processo de seleção os pontos de amostragem (pixels) a partir de dentro do agrupamento de extração do ponto de amostragem determinado.

[00144] O valor de pixel (valores da luminância ou congêneres) dos pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101 é inserido na seção de cálculo da função de correção 102 juntamente com a informação de posição do mesmo.

[00145] A seção de cálculo da função de correção 102 usa os valores de pixel e a informação de posição dos pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101 para calcular uma função de correção a ser aplicada em todos os pixels componentes da imagem capturada 10.

[00146] A seção de cálculo da função de correção 102 realiza a adequação da curva de correção ou congêneres como uma função

28 / 89 bidimensional de coordenadas de imagem usando qualquer um dos métodos existentes, tais como, por exemplo, a interpolação por regressão de Kernel (Regressão de Kernel), a interpolação de superfície de curvatura mínima, a superfície curva aproximada polinomial e a interpolação linear, para calcular uma função de correção para corrigir os valores de pixel dos pixels componentes da imagem.

[00147] A seguir, como um exemplo de um processo de cálculo da função de correção a ser executado pela seção de cálculo da função de correção 102, um exemplo no qual uma função de correção é calculada usando a interpolação por regressão de Kernel (Regressão de Kernel) é descrito.

[00148] De acordo com a interpolação por regressão de Kernel, os dados de um espaço de observação d, que é um espaço de observação de dados, são projetados em um espaço de característica (espaço de projeção) D, que é um espaço correspondente a uma certa característica diferente do espaço de observação d, e um plano aproximado correspondente aos dados no espaço de característica (espaço de projeção) D e, então, um plano aproximado (y(x)) no espaço de observação d original é obtido com base no plano aproximado calculado no espaço de projeção. A partir deste plano aproximado (y(x)) no espaço de observação d, soluções aproximadas de alta precisão correspondentes a todos os x valores no espaço de observação d original podem ser obtidas.

[00149] Percebe-se que o espaço de observação d é configurado, no presente exemplo, a partir das posições e dos valores de pixel (valores da luminância) dos pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101.

[00150] O plano aproximado (y(x)) que pode ser calculado pela interpolação por regressão de Kernel supradescrita é um plano que define as soluções aproximadas (valores de estimativa) dos valores de pixel (valores da

29 / 89 luminância) correspondentes a todos os pontos, incluindo, também, os pontos diferentes dos pontos de amostragem.

[00151] O número total de pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101 é representado por N. O conjunto de pixels dos N pontos de amostragem é representado por d.

[00152] Se x representar a posição de pixel de cada um dos N pontos de amostragem e t representar um valor do sinal, então, o espaço de observação d pode ser indicado pela seguinte (expressão 1). [Representação Matemática 1] ... (expressão 1)

[00153] Percebe-se que a posição de pixel x é um vetor representativo dos dados de coordenada bidimensionais (x, y) que indicam uma posição de pixel.

[00154] O valor do sinal t corresponde à informação de característica quando o agrupamento for realizado e é, por exemplo, um valor da luminância.

[00155] (x, t) é uma combinação da posição de pixel x e do valor do sinal t na posição de pixel x.

[00156] Percebe-se que, se a informação de característica quando o agrupamento for realizado for, por exemplo, um valor do sinal de G de RGB, então, o valor do sinal t é um valor do sinal de G, e (x, t) é uma combinação da posição de pixel x e do valor do sinal t na posição de pixel x.

[00157] A seção de cálculo da função de correção 102 pode gerar um plano aproximado y(x) e uma função de correção correspondente à informação de característica aplicada no agrupamento.

[00158] Se o conjunto d de pixels dos N pontos de amostragem selecionados pela seção de seleção do ponto de amostragem 101 for definido da forma representada pela (expressão 1) exposta, então, o plano aproximado

30 / 89 y(x) (função de cálculo do plano aproximado) em relação à entrada x pode ser representado como a seguinte (expressão 2). [Representação Matemática 2] ... (expressão 2)

[00159] Percebe-se que λ na função de cálculo do plano aproximado y(x) indicada pela (expressão 2) é um parâmetro de regularização.

[00160] Adicionalmente, K é uma matriz de Gram e é uma matriz indicada pela seguinte (expressão 3). [Representação Matemática 3] ... (expressão 3)

[00161] Adicionalmente, k(x) na (expressão 2) é descrito pela seguinte (expressão 4). [Representação Matemática 4] ... (expressão 4)

[00162] k(x, x') na (expressão 4) é uma função de Kernel, e funções de Kernel, tais como uma função de Kernel Gaussiana, uma função de Kernel polinomial, uma função de Kernel em subconjunto completo, e uma função de Kernel ANOVA, podem ser usadas. No presente exemplo, um exemplo no qual a função de Kernel Gaussiana é usada é descrito.

[00163] No caso em que a função de Kernel Gaussiana for usada, a função de Kernel: k(x, x') na (expressão 4) pode ser descrita como a seguinte (expressão 5). [Representação Matemática 5]

31 / 89 ... (expressão 5)

[00164] A seção de cálculo da função de correção 102 usa adicionalmente o plano aproximado calculado y(x) e aplica uma (expressão 6) dada a seguir para gerar uma função de correção para calcular os valores de pixel dos pixels depois da correção. [Representação Matemática 6] ... (expressão 6)

[00165] Percebe-se que, na função de correção indicada pela (expressão 6), Y'(x) é um valor do sinal (valor de pixel ou valor da luminância) correspondente à posição de pixel (x) depois da correção da imagem capturada 10, Y(x) é um valor do sinal (valor de pixel ou valor da luminância) correspondente à posição de pixel (x) antes da correção da imagem capturada 10, y(x) é um plano aproximado y(x) indicado pela (expressão 2) dada anteriormente, e Yref(x) é uma referência de correção prescrita em antecipação.

[00166] Como a referência de correção Yref(x), por exemplo, um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem ou um valor selecionado pelo usuário podem ser usados. O valor selecionado pelo usuário pode ser um valor mudado a partir de um valor em resposta à posição de pixel.

[00167] A (expressão 6) é uma função de correção pela qual, à medida que a razão (Yref(x)/y(x)) de dois valores que incluem

32 / 89 um plano aproximado y(x) indicado pela (expressão 2) dada anteriormente e uma referência de correção Yref(x) configurada a partir de um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem ou um valor selecionado pelo usuário indica um valor mais alto, o valor de correção é definido maior.

[00168] No caso em que Yref(x) e y(x) forem iguais um ao outro e (Yref(x)/y(x)) = 1 for satisfeito, o valor de pixel corrigido Y'(x) calculado de acordo com a (expressão 6) fica igual ao valor de pixel Y(x) antes da correção, e Y'(x) = Y(x) é satisfeito.

[00169] Por outro lado, no caso em que a diferença entre o valor da referência de correção Yref(x) e o valor do plano aproximado y(x) for maior e a razão dos dois valores (Yref(x)/y(x)) for alta, o valor de correção para o valor de pixel Y(x) antes da correção é definido alto.

[00170] Um exemplo em particular da forma de correção é descrito a seguir.

[00171] Os processos executados pela seção de cálculo da função de correção 102 pode ser sumarizado da seguinte maneira.

[00172] (1) Um plano aproximado y(x) que define um valor de saída (valor de pixel, um valor da luminância ou congêneres) em uma entrada x é calculado.

[00173] (2) Uma função de correção (expressão 6) para variar a quantidade de correção em resposta à razão entre o plano aproximado y(x) e a referência de correção Yref(x) é calculada.

[00174] Percebe-se que, no presente exemplo, “o valor de saída (valor de pixel, valor da luminância ou congêneres) em relação à entrada x” é um valor de pixel ou um valor da luminância correspondentes a uma posição de

33 / 89 pixel, e o plano aproximado y(x) é um plano aproximado y(x) que define um valor de pixel ou um valor da luminância correspondentes a uma posição de pixel.

[00175] Desta maneira, a seção de cálculo da função de correção 102 calcula uma função de correção correspondente a um valor do sinal t correspondente à informação de característica quando o agrupamento for realizado.

[00176] Por exemplo, no caso em que a informação de característica quando o agrupamento for realizado for um valor da luminância e o valor do sinal t mediante a geração da função de correção corresponder a um valor da luminância, uma função de correção correspondente ao valor da luminância é calculada.

[00177] A função de correção correspondente ao valor da luminância é aplicada na correção do valor da luminância da imagem capturada 10 a ser um alvo de correção. Adicionalmente, um processo para aplicar a função de correção correspondente ao valor da luminância na correção dos valores da luminância de RGB de cada um dos pixels componentes da imagem capturada

10. Neste caso, todos os valores do sinal de RGB são corrigidos.

[00178] Por outro lado, por exemplo, no caso em que a informação de característica quando o agrupamento for realizado for G valores do sinal de RGB e o valor do sinal t mediante a geração da função de correção corresponder a um valor de pixel de G, também é possível realizar um processo como este para aplicar a função de correção gerada com base nos valores de pixel G apenas no valor de pixel G de cada um dos pixels componentes da imagem capturada 10 de um alvo de correção.

[00179] Neste caso, apenas os valores de pixel G dentre os valores de pixel RGB são corrigidos.

[00180] Desta maneira, a seção de cálculo da função de correção 102 pode ser configurada, de maneira tal que a mesma calcule uma função de

34 / 89 correção a ser aplicada em todos os valores de pixel RGB de cada um dos pixels componentes da imagem capturada 10 ou pode ser configurada de outra forma, de maneira tal que a mesma calcule três diferentes funções de correção individualmente correspondentes aos valores de pixel de três comprimentos de onda de RGB.

[00181] A subsequente seção de correção da imagem (seção de aplicação da função de correção) 103 calcula os valores de correção de pixel para todos os pixels componentes da imagem capturada 10 de acordo com a função de correção (expressão 6) calculada pela seção de cálculo da função de correção 102 e gera uma imagem corrigida 20 na qual os valores de pixel calculados são definidos.

[00182] Percebe-se que o alvo de correção compreende basicamente todos os pixels componentes da imagem capturada 10. A seção de correção da imagem (seção de aplicação da função de correção) 103 aplica a função de correção calculada pela seção de cálculo da função de correção 102 para calcular os valores de correção de pixel de todos os pixels componentes da imagem capturada 10 e gera uma imagem corrigida 20 na qual os valores de pixel calculados são definidos.

[00183] Percebe-se que também é possível determinar uma região de pixel em particular ou um agrupamento em particular como um alvo de correção pela definição do usuário.

[00184] Uma série de processos executados pelas seções componentes do aparelho de processamento de imagem 100 representado na figura 1 é supradescrita.

[00185] As diferenças em particular entre os exemplos de correção da imagem pelos processos de acordo com o presente exemplo de trabalho e os processos do tipo convencional são descritas em relação à figura 7.

[00186] A figura 7 representa as seguintes duas visualizações.

[00187] (1) Exemplo de Processamento do Tipo Convencional

35 / 89 (exemplo de um processo de correção da imagem no caso em que a seleção do ponto de amostragem espacialmente igual for executada).

[00188] (2) Um exemplo de processamento da presente descrição (exemplo de processamento da correção da imagem no caso em que a seleção do ponto de amostragem com base em um resultado do agrupamento for executada).

[00189] (1) O exemplo de processamento do tipo convencional é um exemplo de processamento no caso em que a seleção de pontos de amostragem espacialmente iguais é realizada a partir de dentro de um plano bidimensional de uma imagem a ser um alvo de correção. Em particular, o exemplo de processamento é um exemplo de processamento no caso em que os pontos de amostragem são definidos em distâncias iguais em uma imagem e um plano aproximado y(x) é calculado com base nos valores de pixel dos pontos de amostragem e, então, a correção é realizada aplicando a função de correção (expressão 6) que varia a quantidade de correção em resposta à razão entre o plano aproximado y(x) e a referência de correção Yref(x). Para a referência de correção Yref(x), uma luminância média da imagem é usada.

[00190] Por outro lado, (2) o exemplo de processamento da presente descrição é um exemplo de processamento no caso em que a seleção do ponto de amostragem com base em um resultado do agrupamento for executada. Em particular, este é um exemplo de processamento no caso em que uma função de correção calculada pelos seguintes processos (S1) até (S3) é aplicada: (S1) um processo de agrupamento supradescrito em relação às figuras 2 até 4 e determinação de um agrupamento de extração do ponto de amostragem e um processo de seleção dos pontos de amostragem a partir do agrupamento de extração do ponto de amostragem, (S2) cálculo de um plano y(x) apropriado com base nos valores de pixel e na informação de posição dos pontos de amostragem, e (S3) cálculo de uma função de correção (expressão 6) que

36 / 89 varia a quantidade de correção em resposta à razão entre o plano aproximado calculado y(x) e a referência de correção Yref(x).

[00191] O exemplo é um exemplo de processamento no caso em que a correção for realizada aplicando a função de correção (expressão 6) gerada através das etapas S1 até S3. Para a referência de correção Yref(x), uma luminância média da imagem é usada.

[00192] Percebe-se que o exemplo representado em (2) da figura 7 é um exemplo de processamento no caso em que um agrupamento que inclui muitos pixels cuja luminância é próxima de uma luminância média ou uma luminância mediana de uma imagem a ser uma imagem alvo de correção. Um agrupamento que inclui muitos pixels de alta luminância ou pixels de baixa luminância cuja luminância é deslocada em uma grande quantidade a partir de uma luminância média ou uma luminância mediana de uma imagem a ser uma imagem alvo de correção não é definido como um agrupamento de extração do ponto de amostragem.

[00193] Em cada um de (1) e (2) da figura 7, as figuras (A), (B), e (C) são representadas.

[00194] (A) é uma vista que representa uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels antes da correção) e uma forma de seleção dos pontos de amostragem.

[00195] (B) é uma vista que representa um plano y(x) apropriado (= curva aproximada da posição de pixel-luminância) gerado com base nos pontos de amostragem.

[00196] (C) é uma vista que representa uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels antes da correção), um plano y(x) apropriado, e uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) que são valores de pixel corrigidos com base na função de correção. (C) representa adicionalmente Yref(x) na (expressão 6) supradescrita, a saber, um

37 / 89 valor médio da luminância Yref(x) de uma imagem a ser usada como uma referência de correção prescrita em antecipação.

[00197] Em todos de (A) até (C), o eixo geométrico das abscissas indica uma posição de pixel, e o eixo geométrico das ordenadas indica um valor da luminância (valor de pixel).

[00198] No exemplo de processamento do tipo convencional de (1) da figura 7, a saber, no exemplo de um processo de correção da imagem no caso em que a seleção do ponto de amostragem espacialmente igual for executada, os pontos de amostragem são selecionados em distâncias iguais ao longo do eixo geométrico das abscissas que indica uma posição de pixel, da forma representada em (A). O pixel na posição de pixel (x1) na qual o valor da luminância indica um aumento repentino também é amostrado.

[00199] Percebe-se que esta região de alta luminância corresponde, por exemplo, à região do rio ou congêneres da imagem supradescrita em relação à figura 4.

[00200] Da forma representada em (B) de (1) da figura 7, o plano aproximado y(x) é gerado, de maneira tal que os pontos de amostragem selecionados em distâncias iguais sejam conectados suavemente. O plano aproximado y(x) é curvo na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino, de maneira tal que o mesmo se aproxime do nível da luminância na posição de pixel (x1).

[00201] (C) de (1) da figura 7 representa uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) corrigida com base na função de correção (expressão 6).

[00202] Esta curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é uma curva correspondente aos valores de correção de pixel Y'(x) calculados de acordo com a (expressão 6) supradescrita.

38 / 89

[00203] Da forma representada em (C) de (1) da figura 7, a curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é definida, de maneira tal que a mesma varie em uma grande quantidade para cima e para baixo na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino.

[00204] Isto é em virtude de ser definido que, na (expressão 6) supradescrita, a saber, em Y'(x) = (Yref(x)/y(x))Y(x) ... (expressão 6) à medida que a diferença entre Yref(x) e y(x) aumenta, (Yref(x)/y(x)) aumenta, e a quantidade de correção para o valor de pixel Y(x) antes da correção aumenta.

[00205] Da forma representada em (C) de (1) da figura 7, na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino, a diferença entre a curva aproximada da posição de pixel-luminância (y(x)) correspondente à função de correção e o valor médio da luminância Yref(x) de uma imagem usada como a referência de correção definida em antecipação fica grande, e (Yref(x)/y(x)) na (expressão 6) supradescrito fica grande, e a quantidade de correção para os valores de pixel Y(x) antes da correção fica grande.

[00206] Em decorrência disto, da forma representada em (C) de (1) da figura 7, na proximidade da posição de pixel (x1) na qual o valor da luminância antes da correção é significativamente alto em comparação com as cercanias, a quantidade de correção é definida grande, e uma repentina mudança do valor de pixel, a saber, um artefato, aparece.

[00207] Adicionalmente, já que o valor de pixel Y'(x) depois da correção da posição de pixel (x1) está em um estado corrigido em uma grande quantidade em comparação com o valor de pixel original Y(x) antes da

39 / 89 correção, em decorrência disto, a diferença de luminância da luminância dos pixels nas cercanias diminui, e a faixa dinâmica da imagem geral diminui.

[00208] Ao contrário, o exemplo de processamento da presente descrição representado em (2) da figura 7 é um exemplo de processamento no caso em que a seleção do ponto de amostragem com base em um resultado do agrupamento é executada. Este é um exemplo de processamento no caso em que um agrupamento que inclui muitos pixels que têm uma luminância próxima de uma luminância média ou uma luminância mediana da imagem é definido como um agrupamento de extração do ponto de amostragem. Um agrupamento que inclui muitos pixels de alta luminância ou pixels de baixa luminância cuja luminância é deslocada em uma grande quantidade a partir de uma luminância média ou uma luminância mediana da imagem a ser uma imagem alvo de correção não é definido como um agrupamento de extração do ponto de amostragem.

[00209] No exemplo de processamento da presente descrição de (2) da figura 7, já que os pontos de amostragem são extraídos a partir de um agrupamento que inclui muitos pixels que têm uma luminância próxima de uma luminância média ou uma luminância mediana da imagem, o pixel na posição de pixel (x1) na qual o valor da luminância indica um aumento repentino das cercanias não é amostrado.

[00210] Da forma representada em (B) de (2) da figura 7, o plano aproximado y(x) é gerado, de maneira tal que os pontos de amostragem extraídos a partir de dentro de um agrupamento que inclui muitos pixels que têm uma luminância próxima de uma luminância média ou uma luminância mediana da imagem sejam conectados suavemente. O plano aproximado y(x) não é curvo na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino. Em particular, uma curva como esta que se aproxima do nível da luminância na posição de pixel (x1), da forma representada em (B) de (1) da figura 7, não é formada.

40 / 89

[00211] (C) de (2) da figura 7 representa uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) que representa os valores de pixel corrigidos de acordo com a função de correção (expressão 6) gerada com base nos pontos de amostragem selecionados com base em um resultado do agrupamento.

[00212] A curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é uma curva correspondente aos valores de pixel corrigidos Y'(x) calculados de acordo com a (expressão 6) supradescrita.

[00213] Da forma representada em (C) de (2) da figura 7, a curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é definida, de maneira tal que, na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino, a mesma substancialmente mantenha os valores de pixel (valores da luminância) antes da correção.

[00214] Isto é em virtude de ser definido que, na (expressão 6) supradescrita, a saber, em Y'(x) = (Yref(x)/y(x))Y(x) ... (expressão 6) à medida que a diferença entre Yref(x) e y(x) diminui, (Yref(x)/y(x)) diminui, e a quantidade de correção para o valor de pixel Y(x) antes da correção diminui.

[00215] Da forma representada em (C) de (2) da figura 7, na proximidade da posição de pixel (x1) na qual a luminância indica um aumento repentino, a diferença entre o plano aproximado y(x) e o valor médio da luminância Yref(x) de uma imagem usada como a referência de correção definida em antecipação é definida para ser pequena.

[00216] Em particular, (Yref(x)/y(x) na (expressão 6) supradescrita

41 / 89 fica pequeno e a quantidade de correção para o valor de pixel Y(x) antes da correção fica pequena.

[00217] Isto é em virtude de ser definido que, no momento da geração do plano aproximado y(x), o pixel na posição de pixel (x1) na qual a luminância indica um aumento repentino não é selecionado como um ponto de amostragem, e o valor de pixel deste pixel de alta luminância não é refletido no plano aproximado y(x).

[00218] Em decorrência disto, da forma representada em (C) de (2) da figura 7, na posição de pixel (x1) na qual o valor da luminância antes da correção é significativamente alto em comparação com as cercanias, a quantidade de correção é definida pequena, e a correção que não dá origem a uma grande mudança no valor de pixel através da correção é realizada.

[00219] Em decorrência disto, a aparição de uma repentina mudança do valor de pixel como esta, da forma indicada em (C) de (1) da figura 7 supradescrito como o processamento do tipo convencional, a saber, de um artefato, é impedida.

[00220] Adicionalmente, já que o valor de pixel Y'(x) depois da correção para a posição de pixel (x1) não muda significativamente a partir do valor de pixel original Y(x) antes da correção, em decorrência disto, a diferença de luminância da luminância dos pixels nas cercanias não diminui, e a diminuição da faixa dinâmica da imagem geral também é suprimida.

[00221] Desta maneira, pela realização da correção da imagem na qual o aparelho de processamento de imagem 100 da presente descrição representado na figura 1 é aplicado, é possível impedir a aparição de um artefato em uma região que tem uma grande mudança de luminância, a diminuição da faixa dinâmica da imagem geral também pode ser impedida e a correção do valor de pixel com menos deterioração na qualidade da imagem pode ser implementada.

[00222] A figura 8 representa um outro exemplo de processamento da

42 / 89 presente descrição. (3) Exemplo de Processamento da Presente Descrição (exemplo de processamento para a correção da imagem no caso em que a seleção do ponto de amostragem com base no resultado do agrupamento for executada)

[00223] Este exemplo de processamento é um exemplo de correção da imagem no caso em que, por exemplo, parte de uma imagem for escuramente sombreada por uma nuvem.

[00224] Entretanto, este exemplo é um exemplo de um caso em que a região escuramente sombreada por uma nuvem também é uma região alvo de análise, por exemplo, uma região da imagem de repolhos das plantações que são um alvo de análise de um estado de crescimento e na qual uma região alvo de análise na qual a restauração para corrigir os valores de pixel é demandada.

[00225] Em um caso como este da forma recém descrita, a região escuramente sombreada por uma nuvem também é sujeita a um processo para selecionar um ponto de amostragem similarmente à outra região clara.

[00226] Em particular, um agrupamento que inclui muitas regiões de repolhos de um alvo de análise como um objeto alvo de formação de imagem é definido como um agrupamento de extração do ponto de amostragem.

[00227] Desta maneira, o exemplo de processamento da presente descrição representado em (3) da figura 8 é um exemplo de processamento de um caso em que uma região alvo de análise, por exemplo, uma região que inclui uma região da imagem de repolhos das plantações, é definida como um agrupamento de extração do ponto de amostragem.

[00228] No exemplo de processamento da presente descrição de (3) da figura 8, da forma representada em (A), os pontos de amostragem são extraídos a partir de uma região na qual a luminância cai por uma influência da sombra de uma nuvem similarmente à outra região clara se a região for uma região que inclui a região da imagem de repolhos.

43 / 89

[00229] Da forma representada em (B) da figura 8, o plano aproximado y(x) é gerado, de maneira tal que os pontos de amostragem sejam conectados suavemente. O plano aproximado y(x) é curvo em uma região na qual a luminância é baixa, de maneira tal que o mesmo se aproxime do nível da luminância na posição.

[00230] (C) da figura 8 representa uma curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) que indica os valores de pixel corrigidos de acordo com a função de correção (expressão 6) gerada com base nos pontos de amostragem selecionados com base em um resultado do agrupamento.

[00231] Esta curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é uma curva correspondente ao valor de correção de pixel Y'(x) calculado de acordo com a (expressão 6) supradescrita.

[00232] Da forma representada em (C) da figura 8, é definido que, na proximidade de uma posição de pixel na qual a luminância cai, a curva de correspondência posição do pixel-luminância (= valores da luminância dos pixels depois da correção) é corrigida em uma direção mais alta e mais clara do valor de pixel (valor da luminância) antes da correção.

[00233] Isto é em virtude de ser definido que, na (expressão 6) supradescrita, a saber, em Y'(x) = (Yref(x)/y(x))Y(x) ... (expressão 6) à medida que a diferença entre Yref(x) e y(x) aumenta, (Yref(x)/y(x)) aumenta, e a quantidade de correção para o valor de pixel Y(x) antes da correção aumenta.

[00234] Da forma representada em (C) da figura 8, na proximidade de uma posição de pixel na qual a luminância é baixa, a diferença entre o plano aproximado (y(x)) e o valor médio da luminância Yref(x) de uma imagem usada

44 / 89 como a referência de correção definida em antecipação é grande.

[00235] Em particular, (Yref(x)/y(x)) na (expressão 6) supradescrita fica grande, e a quantidade de correção para o valor de pixel Y(x) antes da correção fica grande.

[00236] Isto é em virtude de ser definido que, no momento da geração do plano aproximado y(x), o pixel na posição de pixel na qual a luminância também é baixa é selecionado como um ponto de amostragem, e o valor de pixel deste pixel de baixa luminância é refletido no plano aproximado y(x).

[00237] Em decorrência disto, da forma representada em (C) da figura 8, na posição de pixel na qual o valor da luminância antes da correção é baixo em comparação com as cercanias, a quantidade de correção é definida grande, e a correção para aumentar o valor da luminância é realizada.

[00238] Em decorrência disto, a região na qual o valor da luminância é diminuído pela sombra de uma nuvem é corrigida mais clara, e uma imagem de correção similar àquela em que a influência da nuvem é removida é gerada.

[00239] Desta maneira, na correção da imagem na qual o aparelho de processamento de imagem 100 da presente descrição representado na figura 1 é aplicado, até mesmo no caso em que a luminância é variada por uma influência de uma sombra ou congêneres em uma região da imagem que inclui um objeto alvo de correção, pela definição de um agrupamento que inclui os pixels da região da imagem como um agrupamento de extração do ponto de amostragem, torna-se possível realizar a correção do valor de pixel que diminui a influência da sombra na região da imagem. [2. Sequência de Processamento de Imagem Executada pelo Aparelho de Processamento de Imagem]

[00240] Agora, uma sequência de um processo de imagem executada pelo aparelho de processamento de imagem 100 representado na figura 1 é descrita em relação a um fluxograma representado na figura 9.

45 / 89

[00241] Percebe-se que o processo de acordo com o fluxograma representado na figura 9 pode ser executado, por exemplo, de acordo com um programa armazenado na seção de armazenamento do aparelho de processamento de imagem 100. Por exemplo, o processo de imagem pode ser executado sob o controle de uma seção de processamento de dados (seção de controle) que inclui uma CPU ou congêneres que tem uma função de execução de programa.

[00242] A seguir, os processos nas etapas do fluxograma representado na figura 9 são descritos sequencialmente. (Etapa S101)

[00243] Primeiro, o aparelho de processamento de imagem 100 recebe uma imagem capturada a ser um alvo de correção como uma entrada no mesmo na etapa S101.

[00244] Esta imagem capturada é a imagem capturada 10 representada na figura 1 e é uma imagem capturada, por exemplo, usando um drone. A imagem capturada é, por exemplo, uma imagem que tem desnivelamento da luminância ou desnivelamento da cor em que uma região parcial da mesma é sombreada por uma nuvem ou congêneres e tem valores de pixel definidos bastante escuros em comparação com a outra região. (Etapa S102)

[00245] Então, na etapa S102, o aparelho de processamento de imagem 100 executa o agrupamento (divisão de agrupamento) de dividir os pixels componentes da imagem capturada 10 do alvo de correção em uma pluralidade de subconjuntos (agrupamentos).

[00246] Este processo é executado pela seção de seleção do ponto de amostragem 101 representada na figura 1.

[00247] Da forma descrita anteriormente, os métodos de agrupamento existentes, tais como dados a seguir, podem ser aplicados: (a) método K-Médias,

46 / 89 (b) método K-NN (método K-vizinho mais próximo), (c) método Ward, e (d) segmentação semântica.

[00248] Adicionalmente, sem depender de tais métodos existentes, por exemplo, a imagem capturada 10 pode ser dividida em uma pluralidade de regiões usando delimitações definidas pelo usuário ou delimitações prescritas em antecipação, de maneira tal que as regiões divisionais sejam definidas como agrupamentos, da forma descrita anteriormente em relação à figura 6.

[00249] Percebe-se que, como a informação de característica de um pixel a ser aplicada na classificação de agrupamento, a informação de várias características, tais como “luminância”, “cor”, ou qualquer um dos valores de R, G, e B, por exemplo, um valor de pixel de “G”, pode ser utilizada.

[00250] Por exemplo, se a “luminância” for utilizada como a informação de característica a ser aplicada na classificação de agrupamento, então, os pixels podem ser classificados em uma pluralidade de agrupamentos em uma unidade de um conjunto de pixels cujas luminâncias são similares uns aos outros.

[00251] Por outro lado, por exemplo, se o valor de pixel de “G” for utilizado como a informação de característica a ser aplicada na classificação de agrupamento, então, os pixels podem ser classificados em uma pluralidade de agrupamentos em uma unidade de um conjunto de pixels cujos valores de saída de G são similares uns aos outros. (Etapa S103)

[00252] Então, na etapa S103, o aparelho de processamento de imagem 100 seleciona os pontos de amostragem a partir de dentro da imagem capturada 10 do alvo de correção.

[00253] Este processo também é executado pela seção de seleção do ponto de amostragem 101 representada na figura 1.

[00254] Depois que a seção de seleção do ponto de amostragem 101

47 / 89 realizar o agrupamento dos pixels componentes da imagem capturada 10 do alvo de correção na etapa S102, a mesma determina um agrupamento de extração do ponto de amostragem e seleciona os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem determinado.

[00255] Da forma descrita anteriormente, como um método de determinação de um agrupamento de extração do ponto de amostragem, por exemplo, qualquer um dos seguintes métodos pode ser aplicado.

[00256] (1) Um ou mais agrupamentos são determinados como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem na ordem começando com um agrupamento que inclui um maior número de amostras (pixels).

[00257] Um agrupamento é determinado como um agrupamento de extração do ponto de amostragem.

[00258] (2) Um agrupamento cujo valor médio ou de mediana nos agrupamentos é o centro de todos os agrupamentos ou diversos agrupamentos adjacentes ao agrupamento é determinado como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem.

[00259] (3) Um usuário seleciona um agrupamento específico, e o agrupamento selecionado é determinado como um agrupamento de extração do ponto de amostragem.

[00260] Por exemplo, no caso em que o processo de (2) exposto precisar ser realizado, se um valor médio ou uma mediana dos valores de pixel ou dos valores da luminância dos pixels que pertencem a cada agrupamento forem utilizados, então, um agrupamento que inclui uma região de pixel extremamente escura ou uma região clara em uma imagem não é definido como um agrupamento de extração do ponto de amostragem, e um ponto de amostragem não é extraído a partir do agrupamento.

48 / 89

[00261] Por outro lado, no caso em que a seleção de agrupamento pelo usuário de (3) exposto precisar ser realizada, um processo como este para selecionar um agrupamento que inclui um alvo (objeto) de formação de imagem específico cujo valor de pixel preciso deve ser descoberto, por exemplo, que inclui muitos pixels de plantações de um campo, como um agrupamento de extração do ponto de amostragem é realizado. (Etapa S104)

[00262] Então, na etapa S104, o aparelho de processamento de imagem 100 gera uma função de correção utilizando os valores de pixel dos pontos de amostragem.

[00263] Este processo é executado pela seção de cálculo da função de correção 102 representada na figura 1.

[00264] A seção de cálculo da função de correção 102 usa os valores de pixel dos pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101 para calcular uma função de correção a ser aplicada em todos os pixels componentes da imagem capturada 10.

[00265] Da forma descrita anteriormente, a seção de cálculo da função de correção 102 primeiro realiza a adequação da curva de correção ou congêneres como uma função bidimensional das coordenadas de imagem usando qualquer um dos métodos existentes, tais como, por exemplo, a interpolação por regressão de Kernel (Regressão de Kernel), a interpolação de superfície de curvatura mínima, a superfície curva aproximada polinomial, e a interpolação linear para calcular um plano y(x) apropriado.

[00266] O plano aproximado y(x) é o plano aproximado y(x) indicado pela (expressão 2) supradescrita.

[00267] Adicionalmente, a seção de cálculo da função de correção 102 calcula uma função de correção (expressão 6) para variar a quantidade de correção em resposta à razão entre o plano aproximado y(x) e a referência de correção Yref(x).

49 / 89

[00268] Como a referência de correção Yref(x), por exemplo, um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem ou um valor selecionado pelo usuário podem ser usados. O valor selecionado pelo usuário pode ser um valor mudado a partir de um valor em resposta à posição de pixel.

[00269] Pelo cálculo de uma função de correção usando apenas os valores de pixel dos pontos de amostragem (pixels) selecionados pela seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102 pode gerar uma função de correção com base, por exemplo, nos valores de pixel dos pixels de amostragem configurados a partir dos valores de pixel médios da imagem. Em outras palavras, uma função de correção a partir da qual a influência dos pixels que têm um luminância ou valor de pixel extremos é removida pode ser gerada.

[00270] Adicionalmente, por exemplo, no caso em que um objeto que deve ser um alvo de análise for especificado, pela geração de uma função de correção com base nos valores de pixel dos pontos de amostragem selecionados a partir de um agrupamento que inclui muitas regiões de imagem do objeto, também é possível gerar uma função de correção para realizar precisamente a correção do valor de pixel do objeto.

[00271] Por exemplo, no caso em que o objeto alvo de análise forem os repolhos do campo capturado usando um drone, se uma função de correção com base em valores de pixel dos pixels de amostragem selecionados a partir de dentro de um alvo de extração do ponto de amostragem, que é a região da imagem dos repolhos, for gerada, então, é possível gerar uma função de correção especificada para a região da imagem dos repolhos. (Etapa S105)

[00272] Então, na etapa S105, o aparelho de processamento de imagem 100 calcula os valores de pixel corrigidos pela aplicação da função de correção (expressão 6) nos valores de pixel dos pixels da imagem capturada

50 / 89 10 do alvo de correção.

[00273] Este processo é um processo executado pela seção de correção da imagem (seção de aplicação da função de correção) 103 representada na figura 1.

[00274] A seção de correção da imagem (seção de aplicação da função de correção) 103 calcula os valores de pixel dos pixels depois da correção pela aplicação da função de correção calculada pela seção de cálculo da função de correção 102 na etapa S104, a saber, a (expressão 6) dada a seguir: Y'(x) = (Yref(x)/y(x))Y(x) ... (expressão 6)

[00275] O processo de cálculo do valor de pixel de acordo com a expressão exposta é executado.

[00276] Percebe-se que, na (expressão 6) exposta, Y'(x) é um valor do sinal (valor de pixel, valor da luminância ou congêneres) correspondente à posição de pixel (x) depois da correção da imagem capturada 10, Y(x) é um valor do sinal (valor de pixel, valor da luminância ou congêneres) correspondente à posição de pixel (x) antes da correção da imagem capturada 10, y(x) é um plano aproximado y(x) indicado pela (expressão 2) dada anteriormente, e Yref(x) é uma referência de correção prescrita em antecipação.

[00277] Como a referência de correção: Yref(x), por exemplo, um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem ou um valor selecionado pelo usuário podem ser usados. O valor selecionado pelo usuário pode ser um valor mudado a partir de um valor em resposta à posição de pixel.

[00278] A seção de correção da imagem (seção de aplicação da função de correção) 103 calcula os valores de pixel corrigidos de todos os pixels componentes da imagem capturada 10 de acordo com a função de correção

51 / 89 (expressão 6) calculada pela seção de cálculo da função de correção 102 e gera uma imagem corrigida 20 na qual os valores de pixel calculados são definidos. (Etapa S106)

[00279] Finalmente, o aparelho de processamento de imagem 100 gera e transmite uma imagem corrigida configurada a partir dos valores de pixel corrigidos pelo processo de correção do valor de pixel na etapa S105. Por exemplo, o aparelho de processamento de imagem 100 executa um processo de transmissão para uma seção de exibição ou um processo de armazenamento em uma seção de armazenamento.

[00280] Em decorrência disto, é possível impedir a aparição de um artefato em uma região que tem uma grande mudança de luminância e, também, a diminuição da faixa dinâmica de uma imagem e gerar uma imagem corrigida com menos deterioração na qualidade da imagem, da forma descrita anteriormente em relação às figuras 7 e 8. [3. Configuração e Processamento do Segundo Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição]

[00281] Agora, uma configuração e um processamento de um segundo exemplo de trabalho do aparelho de processamento de imagem da presente descrição são descritos em relação à figura 10 e aos subsequentes desenhos.

[00282] A figura 10 é um diagrama de blocos que representa um exemplo de uma configuração do aparelho de processamento de imagem 120 do segundo exemplo de trabalho da presente descrição. Da forma representada na figura 10, o aparelho de processamento de imagem 120 inclui uma seção de geração de imagem reduzida 121, uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, e uma seção de correção da imagem (seção de aplicação da função de correção)

103.

[00283] O aparelho de processamento de imagem 120 representado na

52 / 89 figura 10 é configurado, de maneira tal que a seção de geração de imagem reduzida 121 seja provida em um estágio precedente à seção de seleção do ponto de amostragem 101 do aparelho de processamento de imagem 100 do primeiro exemplo de trabalho supradescrito em relação à figura 1.

[00284] A seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102 e a seção de correção da imagem (seção de aplicação da função de correção) 103 que são os outros componentes executam os processos substancialmente similares àqueles no primeiro exemplo de trabalho.

[00285] A seguir, é dada descrição principalmente das diferenças do aparelho de processamento de imagem 120 do exemplo de trabalho 1 supradescrito.

[00286] O aparelho de processamento de imagem 120 recebe uma imagem capturada 10 a ser um alvo de correção como uma entrada no mesmo, executa a correção e, então, transmite uma imagem corrigida 20.

[00287] Percebe-se que, no presente exemplo de trabalho, a imagem capturada 10 do alvo de correção também é uma imagem capturada, capturada por um processo de captura de imagem de uma única vez de uma câmera. Em outras palavras, a imagem capturada 10 não é uma imagem composta gerada pela realização de um processo de associação, de associação de uma pluralidade de imagens umas com as outras.

[00288] A seção de geração de imagem reduzida 121 recebe a imagem capturada 10 do alvo de correção como uma entrada na mesma e gera uma imagem reduzida, reduzida a partir da imagem capturada 10.

[00289] Para o método de redução da imagem, os métodos de redução de imagem existentes, tais como, por exemplo, um método do vizinho mais próximo, um método de ponderação de área, um método bilinear, um método bicúbico e um método de Lanczos, podem ser aplicados. Adicionalmente, uma imagem reduzida pode ser calculada pelo uso de um valor mediano

53 / 89 (valor central) ou um valor médio de uma faixa de redução como um valor do sinal da imagem reduzida.

[00290] A seção de seleção do ponto de amostragem 101 e a seção de cálculo da função de correção 102 executam um processo de seleção de um ponto de amostragem e um processo de cálculo de uma função de correção utilizando a imagem reduzida gerada pela seção de geração de imagem reduzida 121.

[00291] A seção de cálculo da função de correção 102 calcula um plano aproximado y(x) e uma função de correção para o tamanho da imagem reduzida.

[00292] A seção de correção da imagem (seção de aplicação da função de correção) 103 gera uma imagem corrigida usando a função de correção calculada pela seção de cálculo da função de correção 102.

[00293] A seção de correção da imagem (seção de aplicação da função de correção) 103 recebe uma imagem capturada 10 que não é reduzida como uma entrada na mesma e corrige os valores de pixel dos pixels componentes da imagem capturada 10.

[00294] A seção de correção da imagem (seção de aplicação da função de correção) 103, primeiro, expande o plano aproximado y(x) e a função de correção do tamanho da imagem reduzida calculada pela seção de cálculo da função de correção 102 para o tamanho da imagem capturada 10 antes da redução para gerar uma função de correção expandida e aplica a função de correção expandida na imagem capturada 10.

[00295] Alternativamente, a seção de correção da imagem (seção de aplicação da função de correção) 103 pode receber a imagem reduzida gerada pela seção de geração de imagem reduzida 121 como uma entrada na mesma e aplicar o plano aproximado y(x) e a função de correção do tamanho da imagem reduzida calculada pela seção de cálculo da função de correção 102 na imagem reduzida para gerar uma imagem de correção para a imagem

54 / 89 corrigida reduzida, depois do que, um processo para expandir a imagem corrigida reduzida é realizado. Como o método de expansão de imagem, os métodos de expansão existentes, tais como um método do vizinho mais próximo, um método bilinear, um método bicúbico, e um método de Lanczos, podem ser aplicados.

[00296] No processo do segundo exemplo de trabalho, depois que a seção de geração de imagem reduzida 121 gerar uma imagem reduzida de uma imagem capturada 10, os processos da seção de seleção do ponto de amostragem 101, da seção de cálculo da função de correção 102 e da seção de correção da imagem (seção de aplicação da função de correção) 103 podem ser executados como os processos para a imagem reduzida, e a quantidade de cálculo pode ser reduzida, e a melhoria da velocidade do processamento e a simplificação do hardware e de um programa a serem aplicados no processamento podem ser alcançadas.

[00297] Agora, uma sequência de um processo de imagem executado pelo aparelho de processamento de imagem 120 representado na figura 10 é descrita em relação a um fluxograma da figura 11.

[00298] Percebe-se que os processos de acordo com o fluxograma representado na figura 11 podem ser executados de acordo com um programa, por exemplo, armazenado na seção de armazenamento do aparelho de processamento de imagem 120. Os processos podem ser executados sob o controle da seção de processamento de dados (seção de controle) que inclui uma CPU que tem uma função de execução de programa e congêneres.

[00299] A seguir, os processos nas etapas individuais do fluxograma representado na figura 11 são descritos sequencialmente. (Etapa S201)

[00300] Primeiro, o aparelho de processamento de imagem 120 recebe uma imagem capturada a ser um alvo de correção como uma entrada no mesmo na etapa S201.

55 / 89

[00301] Esta imagem capturada é a imagem capturada 10 representada na figura 10 e é uma imagem capturada, por exemplo, usando um drone. A imagem capturada é uma imagem que tem desnivelamento da luminância ou desnivelamento da cor, em que, por exemplo, uma região parcial é sombreada por uma nuvem ou congêneres e tem um valor de pixel definido bastante escuro em comparação com a outra região. (Etapa S202)

[00302] Então na etapa S202, o aparelho de processamento de imagem 120 gera uma imagem reduzida da imagem capturada 10 do alvo de correção.

[00303] Este processo é um processo executado pela seção de geração de imagem reduzida 121 representada na figura 10.

[00304] A seção de geração de imagem reduzida 121 gera uma imagem reduzida pela aplicação dos métodos de redução de imagem existentes, tais como, por exemplo, um método do vizinho mais próximo, um método de ponderação de área, um método bilinear, um método bicúbico, e um método de Lanczos, na imagem capturada 10 do alvo de correção. Percebe-se que pode ser gerada uma imagem reduzida na qual um valor mediano (valor central) ou um valor médio de uma faixa reduzida são usados como um valor do sinal da imagem reduzida. (Etapas S203 a S205)

[00305] Os processos nas etapas S203 até S205 são processos similares aos processos nas etapas S102 até S104 do fluxo do exemplo de trabalho 1 descrito anteriormente em relação à figura 9.

[00306] Entretanto, no presente exemplo de trabalho, os processos nas etapas S203 até S205 são executados para a imagem reduzida gerada na etapa S202.

[00307] Na etapa S203, o agrupamento (divisão de agrupamento) de dividir os pixels componentes da imagem reduzida da imagem capturada 10 do alvo de correção em uma pluralidade de subconjuntos (agrupamentos) é

56 / 89 executado.

[00308] Na etapa S204, um agrupamento de extração do ponto de amostragem a partir dos agrupamentos gerados em decorrência do agrupamento é determinado, e os pontos de amostragem provenientes do agrupamento de extração do ponto de amostragem determinado são selecionados.

[00309] Os processos descritos são executados pela seção de seleção do ponto de amostragem 101 representada na figura 10.

[00310] Adicionalmente, na etapa S205, uma função de correção é gerada utilizando os valores de pixel dos pontos de amostragem.

[00311] Este processo é executado pela seção de cálculo da função de correção 102 representada na figura 10.

[00312] Da forma descrita anteriormente, no presente exemplo de trabalho 2, a seção de cálculo da função de correção 102 calcula uma função de correção y(x) para o tamanho da imagem reduzida (= função de cálculo do plano aproximado y(x)). (Etapas S206 até S207)

[00313] Então, na etapa S206, o aparelho de processamento de imagem 120 calcula os valores de pixel corrigidos pela aplicação da função de correção nos valores de pixel dos pixels da imagem capturada 10 do alvo de correção.

[00314] Finalmente, na etapa S207, uma imagem corrigida configurada a partir dos valores de pixel corrigidos é gerada e transmitida. Por exemplo, um processo de transmissão para a seção de exibição ou um processo de armazenamento na seção de armazenamento são executados.

[00315] Os processos mencionados são os processos executados pela seção de correção da imagem (seção de aplicação da função de correção) 103 representada na figura 10.

[00316] Da forma descrita anteriormente, a seção de correção da

57 / 89 imagem (seção de aplicação da função de correção) 103 recebe, por exemplo, uma imagem capturada 10 que não está em um estado reduzido como uma entrada na mesma e corrige os valores de pixel dos pixels componentes da imagem capturada 10.

[00317] Neste caso, a seção de correção da imagem (seção de aplicação da função de correção) 103 primeiro expande o plano aproximado y(x) e a função de correção do tamanho da imagem reduzida calculada pela seção de cálculo da função de correção 102 para o tamanho da imagem capturada 10 antes da redução para gerar uma função de correção expandida e aplica a função de correção expandida na imagem capturada 10.

[00318] Alternativamente, a seção de correção da imagem (seção de aplicação da função de correção) 103 pode receber uma imagem reduzida gerada pela seção de geração de imagem reduzida 121 como uma entrada na mesma e aplica o plano aproximado y(x) e a função de correção para o tamanho da imagem reduzida calculada pela seção de cálculo da função de correção 102 como os mesmos estão na imagem reduzida para gerar uma imagem corrigida da imagem corrigida reduzida, depois do que, um processo para expandir a imagem corrigida reduzida é realizado. Como o método de expansão de imagem, os métodos de expansão de imagem existentes, tais como um método do vizinho mais próximo, um método bilinear, um método bicúbico, e um método de Lanczos, podem ser utilizados.

[00319] Da forma descrita anteriormente, de acordo com os processos do segundo exemplo de trabalho, é possível que a seção de geração de imagem reduzida 121 gere uma imagem reduzida de uma imagem capturada 10, de maneira tal que o processamento posterior seja executado pela aplicação da imagem reduzida. Isto torna a redução da quantidade de cálculo possível, e a melhoria da velocidade de processamento e a simplificação do hardware e de um programa a serem aplicados no processamento são implementadas.

58 / 89 [4. Configuração e Processamento do Terceiro Exemplo de Trabalho do Aparelho de Processamento de Imagem da Presente Descrição]

[00320] Agora, uma configuração e um processamento de um terceiro exemplo de trabalho do aparelho de processamento de imagem da presente descrição são descritos em relação à figura 12 e aos subsequentes desenhos.

[00321] A figura 12 é um diagrama de blocos que representa um exemplo de uma configuração do aparelho de processamento de imagem 130 do terceiro exemplo de trabalho da presente descrição. Da forma representada na figura 12, o aparelho de processamento de imagem 130 inclui uma seção de geração de imagem reduzida 121, uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, uma seção de correção da imagem (seção de aplicação da função de correção) 103, e uma seção de geração de imagem composta 131.

[00322] O aparelho de processamento de imagem 130 representado na figura 12 é configurado, de maneira tal que a seção de geração de imagem composta 131 seja adicionada no aparelho de processamento de imagem 120 do segundo exemplo de trabalho supradescrito em relação à figura 10.

[00323] A seção de geração de imagem composta 131 é adicionada como uma seção de processamento de estágio subsequente da seção de correção da imagem (seção de aplicação da função de correção) 103.

[00324] A seção de geração de imagem reduzida 121, a seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102 e a seção de correção da imagem (seção de aplicação da função de correção) 103 que são os outros componentes do aparelho de processamento de imagem 130 executam os processos substancialmente similares àqueles no segundo exemplo de trabalho.

[00325] A seguir, é dada descrição principalmente das diferenças do exemplo de trabalho 2 supradescrito.

[00326] O aparelho de processamento de imagem 130 representado na

59 / 89 figura 12 gera e transmite uma imagem composta 30 na qual uma pluralidade de imagens capturadas, por exemplo, usando um drone são conectadas como uma imagem de saída final.

[00327] A imagem de entrada é uma pluralidade de imagens capturadas, por exemplo, usando um drone. Da forma representada na figura 12, uma pluralidade de imagens, incluindo as imagens P1 até Pn, são sequencialmente inseridas como a imagem capturada 10 no aparelho de processamento de imagem 130.

[00328] As imagens P1 até Pn são imagens sucessivamente capturadas, por exemplo, usando um drone e são imagens, cada qual, obtidas pela captura de uma região parcial de uma vasta região. Pela associação das imagens umas com as outras, uma imagem correspondente à vasta região pode ser gerada.

[00329] Entretanto, um drone que se move no céu passa por, quando o mesmo captura as imagens, uma mudança na postura devido à influência do vento e congêneres. Em decorrência disto, em um sincronismo no qual cada imagem é capturada, a luz refletida a partir de um alvo de formação de imagem que é recebida por uma câmera muda a partir de uma mudança da relação da câmera, do alvo de formação de imagem, e da fonte de luz, e as imagens capturadas deixam de ser equalizadas na luminância e na cor, mas ficam esparsas. Se as imagens que têm luminâncias e cores diferentes umas das outras desta maneira forem conectadas umas nas outras para gerar uma única imagem composta, então, a imagem composta resultante é deteriorada na qualidade, em que a continuidade é perdida nas partes de conexão das imagens.

[00330] Adicionalmente, até mesmo uma imagem algumas vezes inclui uma região sombreada por uma nuvem no céu ou uma aeronave, um pássaro ou congêneres que é um corpo voador diferente e uma outra região que não é sombreada, e, entre tais regiões, uma diferença na luminância ou na cor aparece. Em resumo, o desnivelamento na luminância ou na cor ocorre.

60 / 89

[00331] O aparelho de processamento de imagem 130 do exemplo de trabalho 3 representado na figura 12 gera uma imagem composta 30 de alta qualidade na qual aplica-se a correção para reduzir o desnivelamento da luminância e o desnivelamento da cor em uma unidade de uma imagem capturada e, também, uma diferença da luminância e uma diferença da cor entre as imagens que configuram a imagem composta.

[00332] Os componentes da seção de geração de imagem reduzida 121 até a seção de correção da imagem 103 do aparelho de processamento de imagem 130 do exemplo de trabalho 3 representado na figura 12 executam sequencialmente o processamento para cada uma das imagens (P1 até Pn) que configuram uma imagem composta antes da correção para gerar as imagens corrigidas 20-1 até 20-n.

[00333] Os processos para cada unidade de imagem são processos similares àqueles da configuração do exemplo de trabalho 2 supradescrito em relação à figura 10.

[00334] No exemplo de trabalho 3, os processos para cada unidade de imagem são sequencialmente executados para cada uma das imagens (P1 até Pn) que configuram a imagem composta antes da correção. Em particular, os mesmos processos são executados repetidamente n vezes para as n imagens para gerar as imagens corrigidas 20-1 até 20-n.

[00335] A seção de geração de imagem composta 131 recebe as n imagens corrigidas 20-1 até 20-n como uma entrada na mesma e gera uma imagem composta 30 na qual as imagens corrigidas 20-1 até 20-n são conectadas umas nas outras.

[00336] A seção de geração de imagem composta 131 define um sinal de referência de correção a ser uma referência, por exemplo, mediante a associação das imagens e faz com que um sinal médio (valor médio dos valores de pixel ou dos valores da luminância) das imagens, um sinal médio (valor médio dos valores de pixel ou dos valores da luminância) de uma

61 / 89 região sobreposta mediante a associação, e um valor médio (valor médio dos valores de pixel ou dos valores da luminância) de um agrupamento de extração do ponto de amostragem coincidam com o sinal de referência corrigido para gerar uma imagem composta na qual a descontinuidade nas partes de associação é reduzida.

[00337] Percebe-se que o sinal de referência de correção pode usar um valor definido em antecipação ou pode usar uma única imagem específica ou um valor médio de uma pluralidade de imagens.

[00338] Em particular, tal ajuste, por exemplo, é para fazer as luminâncias médias das imagens adjacentes coincidirem umas com as outras ou para definir a diferença entre tais imagens em uma faixa prescrita ou menor para conectar as imagens adjacentes.

[00339] Adicionalmente, mediante a conexão (associação) de imagem, um processo como este é para detectar uma região sobreposta das imagens adjacentes e deletar a região sobreposta a partir de uma das imagens ou para calcular um valor médio de uma região sobreposta incluída em uma pluralidade de imagens e realizar a associação das imagens em uma região para realizar a correção da imagem, de maneira tal que uma região sobreposta não apareça na imagem composta.

[00340] O aparelho de processamento de imagem 130 do exemplo de trabalho 3 representado na figura 12 do exemplo de trabalho 3 realiza a correção para reduzir o desnivelamento da luminância ou o desnivelamento da cor em uma unidade de uma imagem capturada e, adicionalmente, também reduz uma diferença da luminância ou uma diferença da cor entre as imagens, que são para configurar uma imagem composta, para gerar uma imagem composta 30 de alta qualidade.

[00341] Uma sequência de um processo de imagem executado pelo aparelho de processamento de imagem 130 representado na figura 12 é descrita em relação a um fluxograma representado na figura 13.

62 / 89

[00342] Percebe-se que o processo de acordo com o fluxograma representado na figura 13 pode ser executado, por exemplo, de acordo com um programa armazenado na seção de armazenamento do aparelho de processamento de imagem 130. Por exemplo, o processo pode ser executado sob o controle da seção de processamento de dados (seção de controle) que inclui uma CPU e congêneres que tem uma função de execução de programa.

[00343] A seguir, os processos nas etapas individuais do fluxograma representado na figura 13 são sequencialmente descritos. (Etapa 301)

[00344] Primeiro, na etapa S301, o aparelho de processamento de imagem 130 seleciona uma imagem capturada a ser um alvo de correção a partir de uma pluralidade de imagens capturadas.

[00345] Em particular, as imagens (P1 até Pn) que são para configurar uma imagem composta antes da correção representada na figura 12 são sequencialmente selecionadas como uma imagem alvo de correção.

[00346] As imagens P1 até Pn são imagens sucessivamente capturadas, por exemplo, usando um drone e são imagens que, cada uma das quais, são uma imagem capturada de uma região parcial de uma certa vasta região. Pela associação das imagens umas com as outras, uma única imagem correspondente à vasta região pode ser gerada.

[00347] Entretanto, as imagens são imagens esparsas dentre as quais a luminância ou a cor não são uniformes devido a uma diferença na condição no momento da captura, e, também, em uma imagem, o desnivelamento da luminância ou o desnivelamento da cor que surgem a partir de uma região de uma sombra, uma região de reflexo especular ou congêneres existirem. (Etapa S302)

[00348] Então, na etapa S302, o aparelho de processamento de imagem 130 recebe a imagem alvo de correção selecionada na etapa S301 como uma entrada no mesmo.

63 / 89 (Etapas S303 até S308)

[00349] Os processos nas etapas S303 até S308 são os processos similares aos processos nas etapas S202 até S207 no fluxo do exemplo de trabalho 2 supradescrito em relação à figura 11.

[00350] Em particular, na etapa S303, um processo de redução é executado para a imagem capturada 10 da imagem alvo de correção.

[00351] Na etapa S304, o agrupamento para a imagem reduzida é executado.

[00352] Na etapa S305, a determinação de um agrupamento de extração do ponto de amostragem a partir de um resultado do agrupamento e a seleção dos pontos de amostragem a partir do agrupamento de extração do ponto de amostragem são executados.

[00353] Adicionalmente, na etapa S306, um processo de geração de uma função de correção com base nos valores de pixel dos pontos de amostragem selecionados é executado.

[00354] Na etapa S307, a função de correção gerada é aplicada para calcular os valores de pixel corrigidos da imagem alvo de correção.

[00355] Na etapa S308, uma imagem de correção configurada a partir dos valores de pixel corrigidos é gerada. (Etapa S309)

[00356] Na etapa S309, é decidido se a geração de uma imagem corrigida está completa ou não para todas as imagens capturadas (P1 até Pn).

[00357] No caso em que permanecer uma imagem não processada, a imagem não processada é selecionada na etapa S301 e os processos nas etapas S302 até S308 são executados para a imagem não processada.

[00358] Se for decidido, na etapa S309, que a geração de uma imagem corrigida está completa para todas as imagens capturadas (P1 até Pn), então, o processamento avança para a etapa S310.

[00359] Neste momento, a geração das imagens corrigidas 20-1 até 20-

64 / 89 n representadas na figura 12 nas quais os valores de pixel foram corrigidos está completa. (Etapa S310)

[00360] Finalmente, na etapa S310, o aparelho de processamento de imagem 130 associa todas as imagens corrigidas 20-1 até 20-n para gerar e transmitir uma imagem composta 30.

[00361] Este processo é um processo executado pela seção de geração de imagem composta 131 representada na figura 12.

[00362] Da forma descrita anteriormente, a seção de geração de imagem composta 131 define um sinal de referência de correção que é, por exemplo, uma referência no momento da associação das imagens e faz com que um sinal médio das imagens ou um sinal médio de uma região sobreposta mediante a associação e um valor médio de um agrupamento de extração do ponto de amostragem coincidam com o sinal de correção para gerar uma imagem na qual as etapas descontínuas nas partes de conexão são reduzidas.

[00363] Para o sinal de referência de correção, um valor definido em antecipação, por exemplo, um valor médio ou congêneres de uma única imagem específica ou de uma pluralidade de imagens, pode ser utilizado. Isto torna possível gerar uma imagem composta na qual as luminâncias médias das imagens adjacentes coincidem umas com as outras ou a diferença entre as mesmas é definida em uma faixa de valor prescrita ou menor.

[00364] Percebe-se que, mediante a conexão (associação) de imagem, um processo como este para detectar uma região sobreposta das imagens adjacentes e deletar a região sobreposta a partir de uma das imagens adjacentes ou congêneres é realizado. Como uma alternativa, um valor médio de uma região sobreposta incluída em uma pluralidade de imagens pode ser calculado, de maneira tal que as imagens sejam conectadas como uma única região. Como uma outra alternativa, os valores de pixel de uma região sobreposta podem ser determinados por combinação α de imagens

65 / 89 sobrepostas para mudar a imagem na região sobreposta suavemente. Embora a combinação α seja realizado a fim de mudar, por exemplo, no caso em que duas imagens forem consideradas, o valor do sinal continuamente da imagem A para a imagem B, mediante combinação α, levando uma influência da distorção da lente, um sombreamento ou um embaçamento periférico em consideração, o valor pode ser adicionado na taxa de combinação para refletir a distância a partir do centro da imagem da tela, de maneira tal que a taxa aumente na direção do centro da imagem da tela.

[00365] Pela execução de tais processos, como exposto, o aparelho de processamento de imagem 130 do exemplo de trabalho 3 representado na figura 12 pode gerar uma imagem composta 30 de alta qualidade na qual o desnivelamento da luminância e o desnivelamento da cor de uma unidade de imagem capturada são reduzidos e, também, uma diferença da luminância e uma diferença da cor entre as imagens que configuram a imagem composta são reduzidas. [5. Outros Exemplos de Trabalho]

[00366] Agora, outros exemplos de trabalho são descritos em relação à figura 14 e aos subsequentes desenhos.

[00367] Os seguintes três exemplos de trabalho são descritos.

[00368] (Exemplo de Trabalho 4) Exemplo de trabalho no qual um processo de seleção dos pontos de amostragem em uma imagem não processada é executado pela consulta à informação de posição do ponto de amostragem das imagens nas cercanias já processadas.

[00369] (Exemplo de Trabalho 5) Exemplo de trabalho no qual um processo de cálculo de uma função de correção para uma imagem não processada é executado pela consulta à informação da função de correção das imagens nas cercanias já processadas.

[00370] (Exemplo de Trabalho 6) Exemplo de trabalho no qual um processo de cálculo de um plano aproximado em uma imagem não processada

66 / 89 é executado pela consulta à informação do plano aproximado das imagens nas cercanias já processadas.

[00371] (5-1) (Exemplo de trabalho 4) Exemplo de trabalho no qual um processo de seleção dos pontos de amostragem em uma imagem não processada é executado pela consulta à informação de posição do ponto de amostragem das imagens nas cercanias já processadas.

[00372] Primeiro, como o exemplo de trabalho 4, um exemplo de trabalho no qual um processo de seleção dos pontos de amostragem em uma imagem não processada é executado pela consulta à informação de posição do ponto de amostragem das imagens nas cercanias já processadas é descrito.

[00373] A figura 14 é um diagrama de blocos que representa um exemplo de uma configuração de um aparelho de processamento de imagem 140 do presente exemplo de trabalho 4. Da forma representada na figura 14, o aparelho de processamento de imagem 140 inclui uma seção de geração de imagem reduzida 121, uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, uma seção de correção da imagem (seção de aplicação da função de correção) 103, uma seção de geração de imagem composta 131, e uma seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem

141.

[00374] O aparelho de processamento de imagem 140 representado na figura 14 é configurado, de maneira tal que a seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem 141 seja adicionada no aparelho de processamento de imagem 130 do terceiro exemplo de trabalho supradescrito em relação à figura 12.

[00375] A seção de geração de imagem reduzida 121, a seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102, a seção de correção da imagem (seção de aplicação da função de correção) 103 e a seção de geração de imagem composta 131, que são os

67 / 89 outros componentes do aparelho de processamento de imagem 140, basicamente, executam os processos substancialmente similares àqueles do terceiro exemplo de trabalho.

[00376] Entretanto, a seção de seleção do ponto de amostragem 101 executa um processo de diferença.

[00377] A seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem 141 armazena a informação de posição do ponto de amostragem de uma imagem para a qual um processo de seleção do ponto de amostragem foi realizado pela seção de seleção do ponto de amostragem 101.

[00378] Adicionalmente, quando a seção de seleção do ponto de amostragem 101 executar um processo de seleção do ponto de amostragem para uma nova imagem, a mesma adquire a informação de posição do ponto de amostragem das imagens processadas ao redor da imagem alvo de processamento, a saber, das imagens para as quais o processo de seleção do ponto de amostragem foi realizado pela seção de seleção do ponto de amostragem 101, a partir da seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem 141. A seção de seleção do ponto de amostragem 101 consulta a informação adquirida a partir da seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem 141 para executar um processo de seleção do ponto de amostragem da nova imagem.

[00379] Um exemplo em particular é descrito em relação à figura 15.

[00380] Em uma parte superior esquerda da figura 15, uma imagem composta antes da correção é representada. A imagem composta é configurada a partir de uma pluralidade de imagens capturadas sucessivamente, por exemplo, usando um drone.

[00381] As imagens que configuram a imagem composta são inseridas sequencialmente no, e processadas pelo, aparelho de processamento de

68 / 89 imagem 140.

[00382] Considera-se que o processamento é realizado de acordo com as marcas de seta representadas na figura 15.

[00383] No lado direita da figura 15, cinco imagens adjacentes que são parte das imagens que configuram a imagem composta são representadas.

[00384] As mesmas são uma imagem Px para a qual a seção de seleção do ponto de amostragem 101 deve executar subsequentemente um processo de seleção do ponto de amostragem e as imagens Pa até Pd para as quais um processo de seleção do ponto de amostragem já é executado entre as imagens nas cercanias da imagem Px.

[00385] Quando a seção de seleção do ponto de amostragem 101 realizar um processo de seleção dos pontos de amostragem da imagem Px para a qual um processo de seleção do ponto de amostragem deve ser realizado subsequentemente, a mesma se refere aos pontos de amostragem definidos nas imagens Pa até Pd, a saber, nas imagens nas cercanias da imagem Px, para a qual o processo de seleção do ponto de amostragem já foi executado.

[00386] O processo de seleção do ponto de amostragem para a imagem Px é realizado utilizando um resultado da referência.

[00387] Por exemplo, é decidido com base nas imagens nas cercanias que uma região a ou uma outra região b como estas, da forma representada na figura 15, têm um alto grau de possibilidade de que possam incluir uma imagem de um alvo de seleção do ponto de amostragem, e realiza-se a seleção dos pontos de amostragem a partir das regiões incluídas nas regiões a e b na imagem Px.

[00388] Pela realização de um processo como este, como exposto, é possível omitir ou simplificar o processo de agrupamento supradescrito e etapas, tais como a determinação de um agrupamento de extração do ponto de amostragem e um processo de seleção dos pontos de amostragem a partir do

69 / 89 agrupamento de extração do ponto de amostragem.

[00389] Adicionalmente, por exemplo, pela adoção dos pontos de amostragem selecionados a partir das imagens nas cercanias em uma razão fixa como os pontos de amostragem da imagem do alvo de seleção do ponto de amostragem, da forma representada na figura 16, pode ser evitado que os pontos de amostragem da imagem do alvo de seleção do ponto de amostragem tenham um arranjo de seleção dos pontos de amostragem muito diferente daquele das imagens nas cercanias. Pela realização de um processo como este, da forma recém descrita, a correção pode ser realizada de forma estável.

[00390] Percebe-se que é preferível realizar o processo de agrupamento, a determinação de um agrupamento de extração do ponto de amostragem, e um processo de seleção dos pontos de amostragem a partir do agrupamento de extração do ponto de amostragem supradescritos sem omitir os mesmos e realizar tais processos se referindo, quando tais processos forem realizados, à informação do ponto de amostragem das imagens nas cercanias processadas para modificar os pontos de amostragem a serem selecionados com base na informação das imagens nas cercanias.

[00391] (5-2) (Exemplo de Trabalho 5) Exemplo de trabalho no qual um processo de cálculo de uma função de correção para uma imagem não processada é executado pela consulta à informação da função de correção das imagens nas cercanias já processadas.

[00392] Agora, como o exemplo de trabalho 5, um exemplo de trabalho no qual um processo de cálculo de uma função de correção para uma imagem não processada é executado pela consulta à informação da função de correção das imagens nas cercanias já processadas é descrito.

[00393] A figura 17 é um diagrama de blocos que representa um exemplo de uma configuração de um aparelho de processamento de imagem 150 do presente exemplo de trabalho 5. Da forma representada na figura 17, o aparelho de processamento de imagem 150 inclui uma seção de geração de

70 / 89 imagem reduzida 121, uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, uma seção de correção da imagem (seção de aplicação da função de correção) 103, uma seção de geração de imagem composta 131, e uma seção de armazenamento da função de correção correspondente à imagem 151.

[00394] O aparelho de processamento de imagem 150 representado na figura 17 é configurado de maneira tal que a seção de armazenamento da função de correção correspondente à imagem 151 seja adicionada no aparelho de processamento de imagem 130 do terceiro exemplo de trabalho supradescrito em relação à figura 12.

[00395] A seção de geração de imagem reduzida 121, a seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102, a seção de correção da imagem (seção de aplicação da função de correção) 103 e a seção de geração de imagem composta 131, que são os outros componentes do aparelho de processamento de imagem 150, basicamente executam os processos substancialmente similares àqueles do terceiro exemplo de trabalho.

[00396] Entretanto, a seção de cálculo da função de correção 102 executa um processo diferente.

[00397] A seção de armazenamento da função de correção correspondente à imagem 151 armazena uma função de correção de uma imagem para a qual um processo de cálculo de uma função de correção foi realizado pela seção de cálculo da função de correção 102.

[00398] Adicionalmente, quando a seção de cálculo da função de correção 102 executar um processo de cálculo da função de correção para uma nova imagem, a mesma adquire a informação da função de correção das imagens processadas ao redor da imagem alvo de processamento, a saber, das imagens para as quais um processo de cálculo de uma função de correção foi realizado pela seção de cálculo da função de correção 102, a partir da seção

71 / 89 de armazenamento da função de correção correspondente à imagem 151. A seção de cálculo da função de correção 102 consulta a informação adquirida a partir da seção de armazenamento da função de correção correspondente à imagem 151 para executar um processo de cálculo da função de correção para a nova imagem.

[00399] Um exemplo em particular é descrito em relação à figura 18.

[00400] Em uma parte superior esquerda da figura 18, uma imagem composta antes da correção é representada. A imagem composta é configurada a partir de uma pluralidade de imagens capturadas sucessivamente, por exemplo, usando um drone.

[00401] As imagens que configuram a imagem composta são sequencialmente inseridas no, e processadas pelo, aparelho de processamento de imagem 150.

[00402] Considera-se que os processos são realizados de acordo com as marcas de seta representadas na figura 18.

[00403] No lado direito da figura 18, cinco imagens adjacentes que são parte das imagens que configuram a imagem composta são representadas.

[00404] As mesmas são uma imagem Px para a qual a seção de cálculo da função de correção 102 deve executar um processo de cálculo da função de correção subsequentemente e as imagens Pa até Pd para as quais um processo de cálculo da função de correção já é executado dentre as imagens nas cercanias da imagem Px.

[00405] Quando a seção de cálculo da função de correção 102 realizar o cálculo de uma função de correção para a imagem Px para a qual um processo de cálculo da função de correção deve ser executado subsequentemente, a mesma se refere às funções de correção das imagens Pa até Pd para as quais uma função de correção já é calculada, a saber, para as imagens nas cercanias da imagem Px.

[00406] Um processo de cálculo da função de correção para a imagem

72 / 89 Px é realizado utilizando um resultado da referência.

[00407] Por exemplo, a função de correção da imagem Px é calculada pela combinação das funções de correção das cinco imagens nas cercanias representadas na figura 18. Por exemplo, processo tal como a combinação α é executado para calcular uma função de correção de uma nova imagem com base em uma pluralidade de funções de correção das imagens nas cercanias.

[00408] Por exemplo, um processo tal como a combinação α é executado com os pesos definidos, de maneira tal que um peso crescente seja aplicado em uma imagem de referência em uma distância mais curta, e uma função de correção de uma nova imagem seja calculada com base em uma pluralidade de funções de correção de imagens nas cercanias.

[00409] Pela realização de tais processos, como exposto, é possível omitir ou simplificar a etapa de processamento de cálculo de uma função de correção envolvida no cálculo de um plano aproximado supradescrito.

[00410] Percebe-se que, preferivelmente, tais processos são realizados para realizar o processo de cálculo de uma função de correção que inclui o cálculo de um plano aproximado supradescrito sem omitir os mesmos e consultam, quando tais processos forem realizados, a informação da função de correção das imagens nas cercanias processadas para modificar a função de correção calculada com base na informação das imagens nas cercanias.

[00411] (5-3) (Exemplo de trabalho 6) Exemplo de trabalho no qual um processo de cálculo de um plano aproximado em uma imagem não processada é executado pela consulta à informação do plano aproximado das imagens nas cercanias já processadas.

[00412] Agora, como um exemplo de trabalho 6, um exemplo de trabalho no qual um processo de cálculo de um plano aproximado em uma imagem não processada é executado pela consulta à informação do plano aproximado das imagens nas cercanias já processadas é descrito.

[00413] A figura 19 é um diagrama de blocos que representa um

73 / 89 exemplo de uma configuração de um aparelho de processamento de imagem 160 do presente exemplo de trabalho 6. Da forma representada na figura 19, o aparelho de processamento de imagem 160 inclui uma seção de geração de imagem reduzida 121, uma seção de seleção do ponto de amostragem 101, uma seção de cálculo da função de correção 102, uma seção de correção da imagem (seção de aplicação da função de correção) 103, uma seção de geração de imagem composta 131 e uma seção de armazenamento do plano aproximado correspondente à imagem 161.

[00414] O aparelho de processamento de imagem 160 representado na figura 19 é configurado de maneira tal que a seção de armazenamento do plano aproximado correspondente à imagem 161 seja adicionada no aparelho de processamento de imagem 130 do terceiro exemplo de trabalho supradescrito em relação à figura 12.

[00415] A seção de geração de imagem reduzida 121, a seção de seleção do ponto de amostragem 101, a seção de cálculo da função de correção 102, a seção de correção da imagem (seção de aplicação da função de correção) 103 e a seção de geração de imagem composta 131, que são os outros componentes do aparelho de processamento de imagem 160, basicamente executam os processos substancialmente similares àqueles do terceiro exemplo de trabalho.

[00416] Entretanto, a seção de cálculo da função de correção 102 executa um processo diferente.

[00417] A seção de armazenamento do plano aproximado correspondente à imagem 161 armazena um plano aproximado y(x) de uma imagem para a qual um processo de cálculo do plano aproximado y(x) foi realizado pela seção de cálculo da função de correção 102.

[00418] Adicionalmente, quando a seção de cálculo da função de correção 102 executar um processo de cálculo de um plano aproximado y(x) para uma nova imagem, a mesma adquire a informação do plano aproximado

74 / 89 y(x) das imagens processadas ao redor da imagem alvo de processamento, a saber, as imagens para as quais o cálculo de um plano aproximado y(x) foi realizado pela seção de cálculo da função de correção 102, a partir da seção de armazenamento do plano aproximado correspondente à imagem 161. A seção de cálculo da função de correção 102 consulta a informação de aquisição proveniente da seção de armazenamento do plano aproximado correspondente à imagem 161 para executar um processo de cálculo do plano aproximado y(x) para a nova imagem.

[00419] Um exemplo em particular é descrito em relação à figura 20.

[00420] Em uma parte superior esquerda da figura 20, uma imagem composta antes da correção é representada. A imagem composta é configurada a partir de uma pluralidade de imagens sucessivamente capturadas, por exemplo, usando um drone.

[00421] As imagens que configuram a imagem composta são sequencialmente inseridas no, e processadas pelo, aparelho de processamento de imagem 160.

[00422] Considera-se que o processamento é realizado de acordo com as marcas de seta representadas na figura 20.

[00423] No lado direito da figura 20, cinco imagens adjacentes que são parte das imagens que configuram a imagem composta são representadas.

[00424] As mesmas são uma imagem Px para a qual a seção de cálculo da função de correção 102 deve realizar um processo de cálculo do plano aproximado y(x) subsequentemente e as imagens Pa até Pd para as quais um processo de cálculo do plano aproximado y(x) já foi realizado a partir das imagens nas cercanias da imagem Px.

[00425] Quando a seção de cálculo da função de correção 102 realizar o cálculo de um plano aproximado y(x) para a imagem Px para a qual o processo de cálculo do plano aproximado y(x) deve ser executado subsequentemente, a mesma se refere aos planos aproximados y(x) das

75 / 89 imagens Pa até Pd para as quais o plano aproximado y(x) já está calculado, a saber, para as imagens nas cercanias da imagem Px.

[00426] O processo de cálculo do plano aproximado y(x) para a imagem Px é realizado utilizando um resultado da referência.

[00427] Por exemplo, o plano aproximado y(x) da imagem Px é calculado pela combinação dos planos aproximados y(x) das cinco imagens nas cercanias representadas na figura 20. Por exemplo, um processo tal como a combinação α é executado para calcular o plano aproximado y(x) para a nova imagem com base na pluralidade de planos aproximados y(x) das imagens nas cercanias.

[00428] Por exemplo, um processo tal como a combinação α é executado com os pesos definidos, de maneira tal que um peso crescente seja aplicado em uma imagem de referência em uma distância mais curta, e o plano aproximado y(x) da nova imagem seja calculado com base em uma pluralidade de funções de correção de imagens nas cercanias.

[00429] Pela realização de tais processos, como exposto, a etapa de processamento de cálculo de um plano aproximado y(x) supradescrita pode ser omitida ou simplificada.

[00430] Percebe-se que, preferivelmente, um processo do processamento de cálculo é realizado sem omitir o processo de cálculo de um plano aproximado y(x) supradescrito e um processo como este é realizado, quando este processo for realizado, em que a informação do plano aproximado y(x) das imagens nas cercanias processadas é calculada com base na informação das imagens nas cercanias pela consulta à informação do plano aproximado y(x) das imagens nas cercanias processadas.

[00431] Os seguintes três exemplos de trabalho foram descritos em relação às figuras 14 a 20: (Exemplo de trabalho 4) Exemplo de trabalho no qual um processo de seleção dos pontos de amostragem em uma imagem não

76 / 89 processada é executado pela consulta à informação de posição do ponto de amostragem das imagens nas cercanias já processadas; (Exemplo de trabalho 5) Exemplo de trabalho no qual um processo de cálculo de uma função de correção para uma imagem não processada é executado pela consulta à informação da função de correção das imagens nas cercanias já processadas; (Exemplo de trabalho 6) Exemplo de trabalho no qual um processo de cálculo de um plano aproximado em uma imagem não processada é executado pela consulta à informação do plano aproximado das imagens nas cercanias já processadas.

[00432] Os exemplos de trabalho são configurados, de maneira tal que, mediante a seleção do ponto de amostragem ou em uma função de correção ou um processo de cálculo do plano aproximado, a informação das imagens processadas nas cercanias seja consultada.

[00433] Embora os exemplos de trabalho 4 a 6 possam ser configurados para serem realizados individualmente, os mesmos podem ser de outra forma configurados para serem realizados em combinação. Várias configurações são possíveis, tais como, por exemplo, uma configuração de combinação do exemplo de trabalho 4 e do exemplo de trabalho 5.

[00434] Percebe-se que, como um procedimento de processamento no caso em que uma pluralidade de processos de referência, tais como, por exemplo, o exemplo de trabalho 4 e o exemplo de trabalho 5, são executados, qualquer uma das seguintes definições pode ser usada: (a) um procedimento no qual as imagens capturadas são ligadas em circuito para cada bloco de processamento da seção de seleção de amostragem e da seção de cálculo da função de correção para realizar o processamento sequencialmente (laço interno); (b) um procedimento no qual os processos de um bloco de processamento são ligados em circuito para cada imagem para realizar o

77 / 89 processamento sequencialmente (laço externo).

[00435] Adicionalmente, embora, no momento do início do processamento, uma imagem nas cercanias processada não exista, como um modo de processamento neste caso, por exemplo, os seguintes processos são possíveis: (a) um processo de repetir recursivamente um processo que utiliza a informação das cercanias usando um valor obtido pela amostragem sem informação da imagem das cercanias como um valor inicial; e (b) um processo de corrigir sequencialmente as imagens capturadas e calcular, quando cada uma das imagens for corrigida, um ponto de amostragem e uma função de correção utilizando apenas a informação já processada.

[00436] Adicionalmente, a imagem a ser utilizada como uma imagem de referência não é limitada a uma imagem antes da correção, mas pode ser uma imagem depois da correção. Em outras palavras, é possível usar qualquer um dos seguintes modos de processamento: (a) um método pelo qual, a partir das imagens capturadas antes da correção, uma imagem para a qual apenas um ponto de amostragem ou uma função de correção são calculadas é usada como uma imagem de referência; (b) um método pelo qual, a partir das imagens depois da correção, uma imagem para a qual um ponto de amostragem e uma função de correção são calculados é usada como uma imagem de referência.

[00437] Percebe-se que, na descrição dos exemplos de processamento supradescritos em relação às figuras 15, 18, e 20, é descrito um exemplo no qual as imagens nas cercanias determinadas a partir de uma relação posicional de uma pluralidade de imagens que configuram uma única grande imagem composta, a saber, imagens adjacentes, são usadas como as imagens de referência para um ponto de amostragem ou uma função de correção.

78 / 89

[00438] Além da configuração em que tais imagens adjacentes posicionais são usadas como imagens de referência, por exemplo, no caso em que a correção de uma imagem em movimento for realizada, as imagens precedentes e subsequentes a um quadro de imagem que é um alvo de processamento (por exemplo, N quadros precedentes e subsequentes) podem ser usadas como as imagens de referência.

[00439] Adicionalmente, como um exemplo de processamento em particular no caso em que os pontos de amostragem forem determinados a partir dos pontos de amostragem das imagens nas cercanias, por exemplo, qualquer um dos seguintes métodos pode ser aplicado: (a) os pixels nas mesmas posições de pixel que aquelas dos pontos de amostragem (pixels) das imagens nas cercanias são selecionados em uma taxa fixa; (b) uma pluralidade de imagens que inclui as imagens nas cercanias é aplicada para realizar o agrupamento, a segmentação semântica, um processo de determinação de um agrupamento de extração do ponto de amostragem, e um processo de seleção do ponto de amostragem.

[00440] Além do mais, como um método de utilização da informação de uma região sobreposta de uma imagem das cercanias e uma imagem alvo de processamento, os seguintes métodos também são possíveis: (c) pontos de amostragem são selecionados em uma taxa fixa a partir de dentro de uma região sobreposta (região sobreposta geral de uma imagem das cercanias e uma imagem alvo de processamento); (d) no caso em que os sinais da região sobreposta forem substituídos pelos sinais de apenas uma das imagens, os pontos de amostragem são selecionados em uma taxa fixa apenas a partir dos sinais da imagem para substituição supradescritos a partir de dentro da região sobreposta.

[00441] Adicionalmente, mediante o processo de cálculo da função de

79 / 89 correção ou o processo de cálculo do plano aproximado, um processo como este para recalcular uma função de correção ou um plano aproximado usando média ponderada em que a proximidade em relação a uma imagem das cercanias é usada como o peso pode ser realizado. [6. Exemplo de Configuração de Hardware do Aparelho de Processamento de Imagem]

[00442] Agora, um exemplo de uma configuração de hardware do aparelho de processamento de imagem da presente descrição é descrito. O hardware representado na figura 21 é um exemplo de uma configuração de hardware em particular do aparelho de processamento de formação de imagem dos exemplos de trabalho supradescritos em relação à figura 1 e congêneres.

[00443] Uma CPU (unidade central de processamento) 301 funciona como uma seção de controle e uma seção de processamento de dados que executam vários processos de acordo com um programa armazenado em uma ROM (memória exclusiva de leitura) 302 ou uma seção de armazenamento

308. Por exemplo, a CPU 301 executa os processos de acordo com as sequências supradescritas em conexão com os exemplos de trabalho. Em uma RAM (memória de acesso aleatório) 303, os programas a serem executados pela CPU 301, os dados e congêneres são armazenados. A CPU 301, a ROM 302 e a RAM 303 são conectados umas nas outras por um barramento 304.

[00444] A CPU 301 é conectada em uma interface de entrada / saída 305 através do barramento 304, e uma seção de entrada 306 configurada a partir de vários botões, um teclado, um mouse, um microfone, sensores e congêneres e uma seção de saída 307 configurada a partir de um visor, um alto-falante e congêneres são conectadas na interface de entrada / saída 305.

[00445] A CPU 301 executa vários processos de acordo com uma instrução inserida a partir da seção de entrada 306 e transmite um resultado dos processos, por exemplo, para a seção de saída 307.

80 / 89

[00446] A seção de armazenamento 308 conectada na interface de entrada / saída 305 é configurada, por exemplo, a partir de um disco rígido ou congêneres e armazena os programas a serem executados pela CPU 301 e vários dados. Uma seção de comunicação 309 funciona como uma seção de transmissão e recepção para comunicação Wi-Fi, comunicação Bluetooth (marca registrada) (BT) e outra comunicação de dados através de uma rede, tais como a Internet ou uma rede de área local, e comunica com um aparelho externo.

[00447] Uma unidade 310 conectada na interface de entrada / saída 305 aciona uma mídia removível 311, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora, tal como um cartão de memória, e executa gravação ou leitura de dados. [7. Sumário da Configuração da Presente Descrição]

[00448] Os exemplos de trabalho da presente descrição foram descritos com detalhes em relação aos exemplos de trabalho específicos. Entretanto, é autoevidente que os versados na técnica podem fazer emendas ou substituições sem fugir do assunto em questão da presente descrição. Em particular, a presente invenção foi descrita na forma de exemplificação e não deve ser interpretada restritivamente. A fim de decidir o assunto em questão da presente descrição, as reivindicações devem ser levadas em consideração.

[00449] Percebe-se que a tecnologia descrita na presente especificação pode tomar as seguintes configurações.

[00450] (1) Um aparelho de processamento de imagem, que inclui: uma seção de seleção do ponto de amostragem configurada para selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma seção de cálculo da função de correção configurada para aplicar um valor de pixel e a informação posicional de cada um dos pontos de

81 / 89 amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma seção de correção da imagem configurada para aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a seção de seleção do ponto de amostragem: executa o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, determina um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e executa um processo para selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[00451] (2) O aparelho de processamento de imagem, de acordo com (1), em que a seção de seleção do ponto de amostragem determina um agrupamento de extração do ponto de amostragem por qualquer um dos seguintes métodos (a) até (c): (a) definir um ou mais agrupamentos como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem na ordem começando com um agrupamento que tem um número de pixels máximo, (b) definir qualquer um agrupamento que inclui os pixels que têm os valores de pixel cujo valor médio ou de mediana é o centro de todos os agrupamentos ou diversos agrupamentos adjacentes ao agrupamento como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem, e (c) definir um agrupamento selecionado por um usuário como um agrupamento de extração do ponto de amostragem.

82 / 89

[00452] (3) O aparelho de processamento de imagem, de acordo com (1), em que a seção de seleção do ponto de amostragem determina um agrupamento que inclui muitos alvos de formação de imagem que devem ser alvos de análise nas imagens como um agrupamento de extração do ponto de amostragem.

[00453] (4) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (3), em que a seção de cálculo da função de correção calcula um plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel, e gera uma função de correção que varia uma quantidade de correção em resposta a uma razão entre o plano aproximado y(x) e uma referência de correção Yref(x) prescrita em antecipação.

[00454] (5) O aparelho de processamento de imagem, de acordo com (4), em que a referência de correção Yref(x) é qualquer um de um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem e um valor selecionado pelo usuário.

[00455] (6) O aparelho de processamento de imagem, de acordo com (4) ou (5), em que a seção de cálculo da função de correção calcula o plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel usando pelo menos uma da interpolação por regressão de Kernel, da interpolação de superfície de curvatura mínima, da superfície curva aproximada polinomial ou da interpolação linear.

[00456] (7) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (6), em que a seção de cálculo da função de correção

83 / 89 calcula um plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel, e gera uma função de correção que varia uma quantidade de correção em resposta a uma razão entre o plano aproximado y(x) e uma referência de correção Yref(x) prescrita em antecipação, a função de correção sendo: Y'(x) = (Yref(x)/y(x))Y(x) em que Y'(x) é um valor de pixel correspondente a uma posição de pixel (x) depois da correção da imagem, e Y(x) é um valor de pixel correspondente a uma posição de pixel (x) antes da correção da imagem.

[00457] (8) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (7), em que a seção de seleção do ponto de amostragem executa o agrupamento pela aplicação de qualquer um dos seguintes métodos (a) até (d): (a) método K-Médias, (b) método K-NN, (c) método Ward, e (d) segmentação semântica.

[00458] (9) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (8), em que a seção de seleção do ponto de amostragem executa o agrupamento com base na informação de característica específica dos pixels da imagem.

[00459] (10) O aparelho de processamento de imagem, de acordo com (9), em que a informação de característica inclui a luminância dos pixels da imagem, pelo menos um dos sinais RGB, ou um sinal em qualquer um de um espaço Lab, um espaço YUV e um espaço de cromaticidade xy.

84 / 89

[00460] (11) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (10), que compreende adicionalmente: uma seção de geração de imagem reduzida configurada para reduzir a imagem para gerar uma imagem reduzida, em que a seção de seleção do ponto de amostragem e a seção de cálculo da função de correção executam um processo para uma imagem reduzida gerada pela seção de geração de imagem reduzida.

[00461] (12) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (11), que compreende adicionalmente: uma seção de geração de imagem composta configurada para associar as imagens corrigidas geradas pela seção de correção da imagem para gerar uma imagem composta.

[00462] (13) O aparelho de processamento de imagem, de acordo com (12), em que a seção de geração de imagem composta executa um processo de fazer um valor médio dos valores de pixel das imagens corrigidas que se tornam um alvo da associação, um valor médio dos valores de pixel de uma região sobreposta das imagens corrigidas ou um valor médio dos valores de pixel de um agrupamento de extração do ponto de amostragem coincidirem com um valor de pixel de referência de correção definido em antecipação para gerar uma imagem composta na qual a descontinuidade nas partes de associação é moderada.

[00463] (14) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (13), em que a seção de seleção do ponto de amostragem recebe, mediante um processo de seleção do ponto de amostragem, a informação de seleção do ponto de amostragem já processada como uma entrada na mesma a partir das imagens nas cercanias de uma imagem alvo de processamento e consulta a informação de entrada para executar o processo de seleção do ponto de

85 / 89 amostragem da imagem alvo de processamento.

[00464] (15) O aparelho de processamento de imagem, de acordo com qualquer um de (1) até (14), em que a seção de cálculo da função de correção recebe, mediante um processo de cálculo da função de correção, a informação da função de correção já calculada como uma entrada na mesma a partir das imagens nas cercanias da imagem alvo de processamento e consulta a informação de entrada para executar o processo de cálculo da função de correção da imagem alvo de processamento.

[00465] (16) Um método de processamento de imagem executado por um aparelho de processamento de imagem, que inclui: uma etapa de seleção do ponto de amostragem, por uma seção de seleção do ponto de amostragem, de selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção, por uma seção de cálculo da função de correção, de aplicar um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem, por uma seção de correção da imagem, de aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de

86 / 89 dentro do agrupamento de extração do ponto de amostragem.

[00466] (17) Um programa para fazer com que um aparelho de processamento de imagem execute um processo de imagem, em que o programa inclui: uma etapa de seleção do ponto de amostragem que faz com que uma seção de seleção do ponto de amostragem selecione os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção que faz com que uma seção de cálculo da função de correção aplique um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem que faz com que uma seção de correção da imagem aplique a função de correção para realizar a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[00467] Adicionalmente, a série de processos descrita na especificação pode ser executada por hardware, por software ou por uma configuração composta dos mesmos. No caso em que a série de processes for executada por software, um programa no qual a sequência de processamento é gravada é

87 / 89 instalado em uma memória de, e executado por, um computador incorporado no hardware para uso exclusivo, ou o programa pode ser instalado em, e executado por, um computador para uso universal que pode executar várias funções. Por exemplo, o programa pode ser gravado em uma mídia de gravação em antecipação. O programa pode ser instalado a partir de uma mídia de gravação em um computador e pode ser recebido através de uma rede, tais como uma LAN (rede de área local) ou a Internet, e instalado em uma mídia de gravação, tais como um disco rígido incorporado ou congêneres.

[00468] Percebe-se que os vários processos descritos na especificação podem ser executados em uma ordem cronológica de acordo com a descrição e podem ser executados, também, em paralelo ou individualmente de acordo com a capacidade de processamento de um aparelho que executa o processamento ou conforme a ocasião demandar. Adicionalmente, na presente especificação, o termo “sistema” é usado para significar uma agregação lógica de uma pluralidade de componentes e o mesmo não é limitado a um no qual uma configuração de componentes individuais é acomodada no mesmo alojamento. Aplicabilidade Industrial

[00469] Como exposto, de acordo com a configuração de um exemplo de trabalho da presente descrição, são implementados um aparelho de processamento de imagem e um método de processamento de imagem que podem gerar uma imagem corrigida com alta qualidade de figura na qual o desnivelamento da luminância e o desnivelamento da cor são reduzidos.

[00470] Em particular, o aparelho de processamento de imagem inclui uma seção de seleção do ponto de amostragem que seleciona, por exemplo, os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem, uma seção de cálculo da função de correção que aplica

88 / 89 um valor de pixel e a informação posicional de cada um dos pontos de amostragem para calcular a função de correção, e uma seção de correção da imagem que aplica a função de correção para realizar a correção do valor de pixel da imagem. A seção de seleção do ponto de amostragem executa o agrupamento (divisão de agrupamento) para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos (agrupamentos), determina um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e executa um processo para selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

[00471] Pela presente configuração, são implementados um aparelho de processamento de imagem e um método de processamento de imagem que podem gerar uma imagem corrigida com alta qualidade de figura na qual o desnivelamento da luminância e o desnivelamento da cor são reduzidos. Lista dos Sinais de Referência

[00472] 10 Imagem capturada 20 Imagem corrigida 100 Aparelho de processamento de imagem 101 Seção de seleção do ponto de amostragem 102 Seção de cálculo da função de correção 103 Seção de correção da imagem 120 Aparelho de processamento de imagem 121 Seção de geração de imagem reduzida 130 Aparelho de processamento de imagem 131 Seção de geração de imagem composta 140 Aparelho de processamento de imagem 141 Seção de armazenamento da informação de posição do ponto de amostragem correspondente à imagem 150 Aparelho de processamento de imagem

89 / 89

151 Seção de armazenamento da função de correção correspondente à imagem 160 Aparelho de processamento de imagem 161 Seção de armazenamento do plano aproximado correspondente à imagem 301 CPU 302 ROM 303 RAM 304 Barramento 305 Interface de entrada / saída 306 Seção de entrada 307 Seção de saída 308 Seção de armazenamento 309 Seção de comunicação 310 Unidade 311 Mídia removível

Claims

REIVINDICAÇÕES

1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma seção de seleção do ponto de amostragem configurada para selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma seção de cálculo da função de correção configurada para aplicar um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma seção de correção da imagem configurada para aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a seção de seleção do ponto de amostragem executa o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e executar um processo para selecionar pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de seleção do ponto de amostragem determina um agrupamento de extração do ponto de amostragem por qualquer um dos seguintes métodos (a) a (c): (a) definir um ou mais agrupamentos como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem na ordem começando com um agrupamento que tem um número de pixels máximo, (b) definir qualquer um agrupamento que inclui os pixels que têm os valores de pixel cujo valor médio ou de mediana é um centro de todos os agrupamentos ou diversos agrupamentos adjacentes ao agrupamento como um agrupamento de extração do ponto de amostragem ou agrupamentos de extração do ponto de amostragem, e (c) definir um agrupamento selecionado por um usuário como um agrupamento de extração do ponto de amostragem.

3. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de seleção do ponto de amostragem determina um agrupamento que inclui muitos alvos de formação de imagem que devem ser alvos de análise na imagem como um agrupamento de extração do ponto de amostragem.

4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de cálculo da função de correção calcula um plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel, e gera uma função de correção que varia uma quantidade de correção em resposta a uma razão entre o plano aproximado y(x) e uma referência de correção Yref(x) prescrita em antecipação.

5. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a referência de correção Yref(x) é qualquer um de um valor médio ou uma mediana dos valores de pixel do agrupamento de extração do ponto de amostragem e um valor selecionado pelo usuário.

6. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a seção de cálculo da função de correção calcula o plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel usando pelo menos um de interpolação por regressão de Kernel, interpolação de superfície de curvatura mínima, superfície curva aproximada polinomial ou interpolação linear.

7. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de cálculo da função de correção calcula um plano aproximado y(x) que define os valores de pixel correspondentes às posições de pixel, e gera uma função de correção que varia uma quantidade de correção em resposta a uma razão entre o plano aproximado y(x) e uma referência de correção Yref(x) prescrita em antecipação, a função de correção sendo: Y'(x) = (Yref(x)/y(x))Y(x) em que Y'(x) é um valor de pixel correspondente a uma posição de pixel (x) depois da correção da imagem, e Y(x) é um valor de pixel correspondente a uma posição de pixel (x) antes da correção da imagem.

8. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de seleção do ponto de amostragem executa o agrupamento pela aplicação de qualquer um dos seguintes métodos (a) até (d): (a) método K-Médias, (b) método K-NN, (c) método Ward, e (d) segmentação semântica.

9. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de seleção do ponto de amostragem executa o agrupamento com base na informação de característica específica dos pixels da imagem.

10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que a informação de característica inclui a luminância dos pixels da imagem, pelo menos um de sinais RGB, ou um sinal em qualquer um de um espaço Lab, um espaço YUV e um espaço de cromaticidade xy.

11. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma seção de geração de imagem reduzida configurada para reduzir a imagem para gerar uma imagem reduzida, em que a seção de seleção do ponto de amostragem e a seção de cálculo da função de correção executam um processo para uma imagem reduzida gerada pela seção de geração de imagem reduzida.

12. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma seção de geração de imagem composta configurada para associar as imagens corrigidas geradas pela seção de correção da imagem para gerar uma imagem composta.

13. Aparelho de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que a seção de geração de imagem composta executa um processo de fazer um valor médio dos valores de pixel das imagens corrigidas que se tornam um alvo da associação, um valor médio dos valores de pixel de uma região sobreposta das imagens corrigidas ou um valor médio dos valores de pixel de um agrupamento de extração do ponto de amostragem coincidirem com um valor de pixel de referência de correção definido em antecipação para gerar uma imagem composta na qual a descontinuidade nas partes de associação é moderada.

14. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de seleção do ponto de amostragem recebe, mediante um processo de seleção do ponto de amostragem, a informação de seleção do ponto de amostragem já processada como uma entrada na mesma a partir de imagens nas cercanias de uma imagem alvo de processamento e consulta a informação de entrada para executar o processo de seleção do ponto de amostragem da imagem alvo de processamento.

15. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de cálculo da função de correção recebe, mediante um processo de cálculo da função de correção, a informação da função de correção já calculada como uma entrada na mesma a partir das imagens nas cercanias da imagem alvo de processamento e consulta a informação de entrada para executar o processo de cálculo da função de correção da imagem alvo de processamento.

16. Método de processamento de imagem executado por um aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma etapa de seleção do ponto de amostragem, por uma seção de seleção do ponto de amostragem, de selecionar os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção, por uma seção de cálculo da função de correção, de aplicar um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem, por uma seção de correção da imagem, de aplicar a função de correção para realizar a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

17. Programa para fazer com que um aparelho de processamento de imagem execute um processo de imagem, caracterizado pelo fato de que o programa compreende: uma etapa de seleção do ponto de amostragem que faz com que uma seção de seleção do ponto de amostragem selecione os pontos de amostragem a serem utilizados para o cálculo de uma função de correção a ser aplicada na correção do valor de pixel de uma imagem a partir de dentro da imagem; uma etapa de cálculo da função de correção que faz com que uma seção de cálculo da função de correção aplique um valor de pixel e a informação posicional de cada um dos pontos de amostragem selecionados pela seção de seleção do ponto de amostragem para calcular a função de correção; e uma etapa de correção da imagem que faz com que uma seção de correção da imagem aplique a função de correção para realizar a correção do valor de pixel da imagem, em que a etapa de seleção do ponto de amostragem inclui uma etapa de executar o agrupamento para dividir os pixels componentes da imagem em uma pluralidade de subconjuntos, uma etapa de determinar um agrupamento de extração do ponto de amostragem a partir de uma pluralidade de agrupamentos gerados pelo agrupamento, e uma etapa de selecionar os pontos de amostragem a partir de dentro do agrupamento de extração do ponto de amostragem.

aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 107/128 imagem capturada seção de correção 1/21 seção de seleção seção de cálculo da imagem (seção imagem do ponto de da função de de aplicação da corrigida amostragem correção função de correção)

(1) exemplo no qual o método K-Médias (método de ponderação K) é aplicado para realizar a divisão em agrupamentos do número de agrupamento = 11 (K = 11)

Petição 870210025668, de 18/03/2021, pág. 108/128 2/21 agrupamento máximo

Petição 870210025668, de 18/03/2021, pág. 109/128 selecionar agrupamento até que o número de elemento prescrito (número de pixel) seja alcançado começando com agrupamento máximo com número de elemento máximo (número de pixel) 3/21 cada frequência de agrupamento (número de elemento (número de pixel)) valores médios de elementos em cada agrupamento (valor médio dos valores de pixel, valores da luminância ou congêneres)

região do rio (região de reflexo especular): ponto de amostragem (pixel) não é selecionado ponto de amostragem (pixel) a partir da região na qual a luminância ou o

Petição 870210025668, de 18/03/2021, pág. 110/128 valor de pixel são muito diferentes da média na imagem geral 4/21 repolho (campo) pessoa solo rio casa

Petição 870210025668, de 18/03/2021, pág. 111/128 pessoa 5/21 veículo estrada madeira região desconhecida (desconhecido)

(1) exemplo de divisão de agrupamento 1 (2) exemplo de divisão de agrupamento 2

Petição 870210025668, de 18/03/2021, pág. 112/128 6/21

(3) exemplo de divisão de agrupamento 3

(1) exemplo de processamento convencional (executar (2) exemplo de processamento da presente descrição (executar seleção seleção de ponto de amostragem espacialmente igual) de ponto de amostragem com base no resultado do agrupamento)

luminância curva de correspondência posição região de não seleção luminância do ponto de amostragem curva de correspondência posição

Petição 870210025668, de 18/03/2021, pág. 113/128 de pixel - luminância (valores da luminância antes da correção) de pixel - luminância (valores da ponto de amostragem luminância antes da correção) ponto de amostragem curva de correspondência posição do pixel posição do pixel posição de pixel - luminância curva de correspondência luminância (valores de pixel antes da posição de pixel - luminância luminância (valores de pixel antes da 7/21 correção) correção) plano aproximado y(x) plano aproximado y(x)

curva de correspondência posição do pixel curva de correspondência posição do pixel luminância posição de pixel - luminância luminância posição de pixel - luminância (valores de pixel antes da curva de correspondência posição (valores de pixel antes da de pixel - luminância (valores da correção) plano aproximado y(x) correção) luminância depois da correção)

curva de correspondência posição de pixel - luminância (valores da luminância depois da correção) plano aproximado y(x)

posição do pixel posição do pixel

(3) exemplo de processamento da presente descrição (executar seleção de ponto de amostragem com base no resultado do agrupamento)

luminância ponto de amostragem

Petição 870210025668, de 18/03/2021, pág. 114/128 curva de correspondência posição de pixel - luminância (valores da luminância antes da correção)

região de seleção do ponto de amostragem posição do pixel curva de correspondência posição de pixel - luminância (valores de luminância pixel antes da correção) 8/21 plano aproximado y(x)

posição do pixel curva de correspondência posição de pixel - luminância (valores de pixel antes curva de correspondência posição luminância da correção) de pixel - luminância (valores da luminância depois da correção)

plano aproximado y(x) posição do pixel início

Petição 870210025668, de 18/03/2021, pág. 115/128 inserir imagem capturada gerar função de correção utilizando valor de pixel dos pontos de amostragem 9/21 executar agrupamento da imagem capturada calcular valores de pixel corrigidos pela aplicação da função de correção nos valores de pixel dos pixels da imagem capturada selecionar pontos de amostragem a partir da imagem capturada gerar e transmitir imagem de correção configurada a partir de valores de pixel corrigidos fim aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 116/128 imagem capturada seção de correção seção de geração seção de seleção seção de cálculo de imagem (seção da imagem do ponto de da função de de aplicação da imagem corrigida 10/21 reduzida amostragem correção função de correção)

início

Petição 870210025668, de 18/03/2021, pág. 117/128 inserir imagem capturada gerar função de correção utilizando valores de pixel dos pontos de amostragem gerar imagem reduzida da imagem capturada 11/21 calcular valores de pixel corrigidos pela aplicação da função de correção nos valores de pixel dos executar agrupamento pixels da imagem capturada da imagem reduzida gerar e transmitir imagem corrigida configurada a partir dos valores de selecionar pontos de amostragem pixel corrigidos a partir da imagem reduzida fim aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 118/128 imagem capturada seção de seção de cálculo seção de correção geração da seção de seleção imagem 12/21 do ponto de da função de da imagem (seção imagem de aplicação da corrigida amostragem correção reduzida função de correção)

seção de geração da imagem composta imagem composta início selecionar imagem alvo de processamento a partir de diversas imagens capturadas gerar função de correção pela utilização dos

Petição 870210025668, de 18/03/2021, pág. 119/128 valores de pixel dos pontos de amostragem inserir imagem capturada selecionada calcular valores de pixel corrigidos pela aplicação da função de correção nos valores de pixel dos pixels da imagem capturada gerar imagem reduzida da 13/21 imagem capturada selecionada gerar e transmitir imagem corrigida configurada a partir dos valores de pixel corrigidos executar agrupamento da imagem reduzida Não a correção de todas as imagens capturadas está completa?

Sim selecionar pontos de amostragem a partir da imagem reduzida gerar imagem composta pela conexão de todas as imagens e transmitir imagem composta fim aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 120/128 seção de armazenamento da informação da posição do ponto de amostragem correspondente à imagem imagem capturada seção de seção de correção seção de seleção seção de cálculo imagem 14/21 geração da da imagem (seção do ponto de da função de corrigida imagem reduzida de aplicação da amostragem correção função de correção)

seção de geração da imagem composta imagem composta ponto de amostragem imagens Pa até Pd = imagens nas cercanias correspondente à processadas pela seleção do ponto de amostragem imagem

Petição 870210025668, de 18/03/2021, pág. 121/128 imagem imagem imagem 15/21 imagem região região imagem Px alvo de processamento de seleção do ponto de amostragem ponto de amostragem imagens Pa até Pd = imagens nas cercanias correspondente à processadas pela seleção do ponto de amostragem imagem

Petição 870210025668, de 18/03/2021, pág. 122/128 imagem imagem imagem 16/21 imagem imagem Px alvo de processamento de seleção do ponto de amostragem aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 123/128 seção de armazenamento da função de correção correspondente à imagem imagem capturada seção de seção de correção seção de seleção seção de cálculo 17/21 geração da imagem (seção imagem da imagem do ponto de da função de de aplicação da corrigida reduzida amostragem correção função de correção)

seção de geração da imagem composta imagem composta

Petição 870210025668, de 18/03/2021, pág. 124/128 imagens Pa até Pd = imagens nas cercanias calculadas pela função de correção função de correção correspondente à imagem imagem imagem imagem 18/21 saída saída saída entrada entrada entrada saída entrada imagem imagem Px alvo de cálculo da função de correção aparelho de processamento de imagem

Petição 870210025668, de 18/03/2021, pág. 125/128 seção de armazenamento do plano aproximado correspondente à imagem imagem capturada seção de seção de correção geração da seção de cálculo da da imagem (seção 19/21 seção de seleção do imagem imagem ponto de amostragem função de correção de aplicação da corrigida reduzida função de correção)

seção de geração da imagem composta imagem composta

Petição 870210025668, de 18/03/2021, pág. 126/128 imagens Pa até Pd = imagens nas cercanias plano aproximado calculadas no plano aproximado (y(x)) correspondente à imagem imagem imagem imagem 20/21 valor de pixel valor de pixel valor de pixel (valor da (valor da (valor da luminância) luminância) luminância)

x (posição do pixel) x (posição do pixel) x (posição do pixel)

valor de pixel (valor da luminância)

x (posição do pixel)

imagem imagem Px alvo de cálculo do plano aproximado e da função de correção

Petição 870210025668, de 18/03/2021, pág. 127/128 21/21 interface de entrada/saída seção de seção de seção de seção de unidade entrada saída armazenamento comunicação mídia removível