BR112021015324A2 - Mascaramento de sombra e nuvem para aplicações agrícolas com o uso de redes neurais convolucionais - Google Patents
Mascaramento de sombra e nuvem para aplicações agrícolas com o uso de redes neurais convolucionais Download PDFInfo
- Publication number
- BR112021015324A2 BR112021015324A2 BR112021015324-1A BR112021015324A BR112021015324A2 BR 112021015324 A2 BR112021015324 A2 BR 112021015324A2 BR 112021015324 A BR112021015324 A BR 112021015324A BR 112021015324 A2 BR112021015324 A2 BR 112021015324A2
- Authority
- BR
- Brazil
- Prior art keywords
- classification
- cloud
- observed image
- pixels
- layer
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 230000000873 masking effect Effects 0.000 title claims abstract description 16
- 238000013145 classification model Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000000844 transformation Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 230000009418 agronomic effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01C—PLANTING; SOWING; FERTILISING
- A01C21/00—Methods of fertilising, sowing or planting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Abstract
MASCARAMENTO DE SOMBRA E NUVEM PARA
APLICAÇÕES AGRÍCOLAS COM O USO DE REDES NEURAIS CONVOLUCIONAIS. Trata-se
de método para mascaramento de sombra e nuvem para imagens de
sensoriamento remoto de um campo agrícola com o uso de uma rede neural
convolucional, em que o método inclui receber eletronicamente uma imagem
observada, em que a imagem observada compreende uma pluralidade de
pixels e cada um dos pixels associado às informações de banda
correspondentes e determinar, por um módulo de geração de máscara de
nuvem em execução no pelo menos um processador, uma classificação para
cada um dentre a pluralidade de pixels na imagem observada com o uso das
informações de banda aplicando um modelo de classificação, em que o
modelo de classificação compreende uma rede neural convolucional que
compreende uma pluralidade de camadas de nós. O módulo de geração de
máscara de nuvem aplica uma pluralidade de transformações para
transformar dados entre camadas na rede neural convolucional para gerar
um mapa de nuvem.
Description
[0001] Este pedido reivindica prioridade para o Pedido Provisório no. U.S. 62/802.202, depositado em 6 de fevereiro de 2019, intitulado “SHADOW AND CLOUD MASKING FOR AGRICULTURE APPLICATIONS USING CONVOLUTIONAL NEURAL NETWORKS”, e incorporado ao presente documento a título de referência em sua totalidade.
[0002] Esta invenção descreve um método e sistema aplicáveis a imagens de satélite para aplicações agrícolas, que utilizam um algoritmo de detecção de nuvem e sombra.
[0003] As imagens de satélite são frequentemente afetadas pela presença de nuvens e suas sombras. Como as nuvens são opacas no comprimento de onda da luz visível, elas frequentemente escondem a superfície do solo dos satélites de observação da Terra. Os efeitos de clareamento e escurecimento das nuvens e sombras influenciam a análise dos dados, causando correções atmosféricas imprecisas e impedância de classificação da cobertura do terreno. Sua detecção, identificação e remoção são, portanto, as primeiras etapas no processamento das imagens de satélite. Nuvens e sombras de nuvens podem ser filtradas manualmente, mas automatizar o mascaramento é importante quando pode haver milhares de imagens a serem processadas.
[0004] Os sistemas da técnica relacionada para detectar nuvens e sombras em imagens de satélite focam em imagens que têm inúmeras bandas e uma riqueza de informações com as quais trabalhar. Por exemplo, alguns sistemas da técnica relacionada usam uma operação morfológica para identificar potenciais regiões de sombra, que são mais escuras na faixa espectral do infravermelho próximo. A técnica relacionada aborda como, dada uma máscara de nuvem, uma varredura é feita através de uma gama de alturas de nuvem e também aborda como os lugares, onde as sombras projetadas estariam situadas, são calculados geometricamente. A área de maior sobreposição entre as projeções e as potenciais regiões de sombra é considerada a máscara de nuvem. A técnica relacionada, no entanto, só é bem- sucedida quando se usa um grande número (por exemplo, 7, 8, 9, etc.) de faixas espectrais (isto é, “bandas”) para realizar esta tarefa de mascaramento de nuvem particular. Continua sendo um desafio realizar o mascaramento de nuvem para aplicações agrícolas com menos bandas.
[0005] Às vezes, bandas de satélite suficientes não estão disponíveis para a operação bem-sucedida de aplicações de identificação de nuvem que informam as decisões de gerenciamento de campo agrícola e, portanto, os procedimentos técnicos da técnica relacionada são inadequadas. Sistemas e métodos são divulgados no presente documento para mascaramento de nuvem, onde menos bandas de informações estão disponíveis do que o necessário para o processamento por sistemas da técnica relacionada (por exemplo, um, dois, três, quatro ou cinco). Em algumas modalidades, os sistemas e métodos divulgados no presente documento se aplicam a uma imagem de satélite incluindo uma banda de infravermelho próximo (“NIR”) e uma banda vermelho-verde-azul (“RGB”) visível. A utilização de um número reduzido de bandas permite que o mascaramento de nuvem seja executado em imagens de satélite obtidas de um número maior de satélites.
[0006] Em algumas modalidades, os sistemas e métodos divulgados no presente documento realizam o mascaramento de nuvem com o uso de um número limitado de bandas usando uma rede neural convolucional treinada com imagens rotuladas.
[0007] De acordo com um aspecto, um método para mascaramento de sombra e nuvem para imagens de sensoriamento remoto de um campo agrícola com o uso de uma rede neural convolucional, o método inclui receber eletronicamente uma imagem observada, em que a imagem observada compreende uma pluralidade de pixels e cada um dos pixels associado a informações de banda correspondentes e determinar, por um módulo de geração de máscara de nuvem em execução no pelo menos um processador, uma classificação para cada um dentre a pluralidade de pixels na imagem observada usando as informações de banda aplicando-se um modelo de classificação, em que o modelo de classificação compreende uma rede neural convolucional que compreende uma pluralidade de camadas de nós.
O módulo de geração de máscara de nuvem aplica uma pluralidade de transformações para transformar dados entre camadas na rede neural convolucional para gerar um mapa de nuvem.
A classificação pode ser selecionada a partir de um conjunto que inclui uma classificação de nuvem, uma classificação de sombra e uma classificação de campo.
A classificação de cada um dos pixels é realizada com o uso de cinco ou menos bandas da imagem observada que podem incluir uma banda espectral visível vermelha, uma banda espectral visível verde, uma banda espectral visível azul, uma banda de infravermelho próximo e uma banda de borda vermelha.
O método pode incluir ainda a aplicação da máscara de nuvem à imagem observada e o uso de uma imagem resultante para gerar uma previsão de rendimento para o campo agrícola ou outra decisão.
O modelo de classificação pode ser uma combinação de uma pluralidade de modelos de classificação e a classificação pode ser uma classificação agregada com base na combinação da pluralidade de modelos de classificação.
A pluralidade de camadas de nós pode incluir uma camada de redução, pelo menos uma camada convolucional, uma camada de concatenação, pelo menos uma camada deconvolucional e uma camada de rotulagem.
O método pode incluir ainda usar o módulo de geração de nuvem em execução no um ou mais processadores para treinar o modelo de classificação.
O método pode incluir ainda usar o módulo de geração de nuvem em execução no um ou mais processadores para avaliar um ou mais modelos de classificação.
[0008] De acordo com outro aspecto, é fornecido um sistema para mascaramento de sombra e nuvem para imagens de sensoriamento remoto de um campo agrícola.
O sistema pode incluir um sistema de computação que tem pelo menos um processador para executar um módulo de geração de máscara de nuvem, o módulo de geração de máscara de nuvem configurado para: receber uma imagem observada, em que a imagem observada compreende uma pluralidade de pixels e cada um dos pixels associado às informações de banda correspondentes e determinar, por um módulo de geração de máscara de nuvem em execução no pelo menos um processador, uma classificação para cada um dentre a pluralidade de pixels na imagem observada com o uso das informações de banda aplicando-se um modelo de classificação, em que o modelo de classificação compreende uma rede neural convolucional que compreende uma pluralidade de camadas de nós.
O módulo de geração de máscara de nuvem pode aplicar uma pluralidade de transformações para transformar dados entre camadas na rede neural convolucional para gerar um mapa de nuvem.
A classificação pode ser selecionada a partir de um conjunto que inclui uma classificação de nuvem, uma classificação de sombra e uma classificação de campo.
A classificação de cada um dos pixels pode ser realizada usando cinco ou menos bandas da imagem observada.
As informações de banda podem consistir em informações de cinco ou menos bandas, incluindo uma banda vermelha visível, uma banda verde visível e uma banda azul visível.
As informações de banda podem consistir em informações de uma ou mais bandas visíveis, uma banda de infravermelho próximo e uma banda de borda vermelha.
O modelo de classificação pode ser uma combinação de uma pluralidade de modelos de classificação e em que a classificação pode ser uma classificação agregada com base na combinação da pluralidade de modelos de classificação.
A pluralidade de camadas de nós pode incluir uma camada de redução, pelo menos uma camada convolucional, uma camada de concatenação, pelo menos uma camada deconvolucional e uma camada de rotulagem.
O módulo de geração de nuvem pode ser configurado adicionalmente para treinar o modelo de classificação. O módulo de geração de nuvem pode ser configurado adicionalmente para avaliar um ou mais modelos de classificação. O sistema de computador pode ser ainda configurado para aplicar a máscara de nuvem à imagem observada e usar uma imagem resultante para gerar uma previsão de rendimento para o campo agrícola.
[0009] As modalidades divulgadas têm outras vantagens e características que serão mais facilmente evidentes a partir da descrição detalhada, das reivindicações anexas e das figuras (ou desenhos) que as acompanham. Uma breve introdução das figuras está abaixo.
[0010] A Figura 1 ilustra um ambiente de sistema para gerar um mapa de nuvem para um campo agrícola, de acordo com uma modalidade de exemplo.
[0011] A Figura 2A ilustra uma imagem observada, de acordo com uma modalidade de exemplo.
[0012] A Figura 2B ilustra uma primeira camada de um mapa de nuvem, de acordo com uma modalidade de exemplo.
[0013] A Figura 2C ilustra uma segunda camada de um mapa de nuvem, de acordo com uma modalidade de exemplo.
[0014] A Figura 3A ilustra um exemplo de um fluxo de dados através de um modelo de classificação, de acordo com uma modalidade de exemplo.
[0015] A Figura 3B ilustra um exemplo de fluxo de dados através de uma combinação de classificação, de acordo com uma modalidade de exemplo.
[0016] A Figura 4 ilustra um método para treinar um modelo de classificação, de acordo com uma modalidade de exemplo.
[0017] A Figura 5 ilustra um método para gerar um mapa de nuvem, de acordo com uma modalidade de exemplo.
[0018] A Figura 6 ilustra um sistema de computação de exemplo, de acordo com uma modalidade de exemplo.
[0019] As Figuras (FIGS.) e a descrição a seguir se referem a modalidades preferenciais apenas a título de ilustração. Deve-se verificar que a partir da discussão a seguir, modalidades alternativas das estruturas e métodos divulgados neste documento serão prontamente reconhecidas como alternativas viáveis que podem ser empregadas sem se afastar dos princípios divulgados. Verifica-se que, sempre que praticável, números de referência iguais ou similares podem ser usados nas figuras e podem indicar funcionalidade igual ou similar. As figuras representam modalidades do sistema (ou método) divulgado apenas para fins de ilustração.
[0020] A Figura 1 ilustra um ambiente de sistema para gerar um mapa de nuvem para um campo agrícola. Dentro do ambiente de sistema (100), um sistema de cliente (110) inclui um módulo de geração de máscara de nuvem (“CMG”) (112) que gera um mapa de nuvem. Um mapa de nuvem é uma imagem de um campo agrícola em que uma classificação para cada pixel na imagem foi determinada pelo módulo de CMG (112). As classificações podem ser, por exemplo, “nuvem”, “sombra” e/ou “campo”. Em outros exemplos, um mapa de nuvem é alguma outra visualização ou estrutura de dados que indica nuvens, sombras e campos classificados em uma imagem observada.
[0021] O módulo de CMG (112) emprega um modelo de classificação (114) para gerar um mapa de nuvem a partir de uma imagem observada de um campo agrícola. O sistema de cliente (110) pode solicitar imagens observadas através da rede (150) e o sistema de rede (120) pode fornecer as imagens observadas em resposta. A rede (150) é normalmente uma torre de celular, mas pode ser uma rede mesh ou linha de energia. O sistema de rede (120) é normalmente a Internet, mas pode ser qualquer rede incluindo, mas sem limitação, uma LAN, uma MAN, uma WAN, uma rede móvel com ou sem fio, uma rede privada, uma rede privada virtual ou uma combinação das mesmas. Um sistema de rede (120) acessa imagens observadas a partir de um sistema de observação (140) por meio de uma rede (150).
[0022] Em várias modalidades, o ambiente do sistema (100) pode incluir mais ou menos sistemas. Além disso, as capacidades atribuídas a um sistema dentro do ambiente podem ser distribuídas para um ou mais outros sistemas dentro do ambiente de sistema (100). Por exemplo, o módulo de CMG (112) pode ser executado no sistema de rede (120) em vez do dispositivo de cliente (110).
[0023] O módulo de CMG (112) insere uma imagem observada a partir do sistema de rede (120) e envia um mapa de nuvem para um usuário do sistema do cliente (110). O módulo de CMG (112) também pode inserir uma imagem observada a partir do sistema de observação (140). Os dados de imagens podem consistir em uma imagem ou fotografia obtida a partir de uma plataforma de sensoriamento remoto (avião, satélite ou drone). Imagens são um conjunto de dados raster; em que cada raster é composto por pixels. Cada pixel tem um valor (ou valores) de pixel específico que representa as características do solo. As imagens observadas incluem vários pixels. Cada pixel inclui informações em uma série de canais de dados (por exemplo, 3, 4, 5), cada canal associado a uma banda espectral particular (“informações de banda”). O módulo de CMG (112) usa as informações de banda para gerar o mapa de nuvem.
[0024] Em um exemplo, uma imagem observada é uma imagem obtida de um campo agrícola a partir de um satélite ou rede de satélites. Os satélites baseados no espaço usam dados do Sistema de Posicionamento Global (GPS), que podem consistir em coordenadas e sinais de tempo para ajudar a rastrear ativos ou entidades. A Figura 2A ilustra um exemplo de uma imagem observada, de acordo com uma modalidade de exemplo. O exemplo ilustrado da imagem observada (210) é uma imagem de RGB de um campo agrícola. Mais particularmente, neste exemplo, a imagem observada é uma imagem GeoTIFF incluindo informações geográficas associadas à imagem. As informações de banda da imagem observada (210) incluem três canais de dados, incluindo uma banda espectral vermelha, uma banda espectral verde e uma banda espectral azul.
[0025] Em várias modalidades, as imagens observadas podem ter informações de banda diferentes. Por exemplo, uma imagem observada pode ter bandas multiespectrais (por exemplo, seis ou mais bandas) obtidas por um satélite. Alguns exemplos de imagens de satélite com bandas multiespectrais incluem imagens dos satélites LANDSAT™ e SENTINEL™. Em outros exemplos, uma imagem de satélite pode ter apenas quatro ou cinco bandas. Alguns exemplos de imagens de satélite com cinco bandas são imagens dos satélites PLANETSCOPE™ Dove e Planetscope RAPIDEYE™. Nestes exemplos, as informações de banda incluem cinco bandas espectrais: Bandas R, G, B, RED EDGE e NIR. Alguns exemplos de imagens de satélite com quatro bandas incluem imagens DOVE de PLANETSCOPE. Nestes exemplos, as quatro bandas incluem R, G, B e NIR.
[0026] Para gerar o mapa de nuvem (220), o módulo de CMG (112) determina uma classificação para cada pixel na imagem observada (210). A Figura 2B e a Figura 2C ilustram duas camadas de um mapa de nuvem, de acordo com uma modalidade de exemplo. A Figura 2B ilustra uma camada do mapa de nuvem (por exemplo, mapa de nuvem (220A)) ilustrando grupos de pixels (230A) classificados como nuvens, e a Figura 2C ilustra uma camada do mapa de nuvem (por exemplo, mapa de nuvem (220B)) ilustrando grupos de pixels 230B classificados como sombras. Notavelmente, o mapa de nuvem é uma imagem GeoTIFF que tem o mesmo tamanho e formato que a imagem observada (210), de modo que os pixels classificados do mapa de nuvem (210) correspondam a pixels posicionados de forma semelhante na imagem observada (210).
[0027] São vários os benefícios desse sistema para produtores e agrônomos. Por exemplo, um mapa de nuvem pode ser aplicado a vários projetos a jusante. Os exemplos incluem previsão de produção, classificação do tipo de cultura e saúde da cultura. Nessas aplicações, o objetivo é eliminar pixels não informativos relacionados à nuvem e sombra, focando assim nas informações da parte agrícola da imagem.
[0028] Para ilustrar, por exemplo, os gestores de campo podem desejar prever um rendimento para seu campo agrícola com o uso de uma imagem observada. Se a imagem observada incluir pixels que representam sombra de nuvem e campo, o modelo que for prever o rendimento do campo agrícola poderá gerar resultados errôneos. Isso pode ocorrer devido ao fato de que as nuvens e sombras afetam adversamente a detecção de áreas saudáveis e não saudáveis de matéria vegetal no campo. Sendo assim, o mapa de nuvem pode ser usado como uma máscara para a imagem observada. Em outras palavras, pixels que são identificados como nuvens ou sombras podem ser removidos de uma imagem observada antes de usar a imagem observada para gerar uma previsão de rendimento para o campo agrícola. Mascarar os pixels de nuvem e sombra da imagem observada aumenta a precisão do modelo de previsão de rendimento.
[0029] Em geral, os dados coletados são processados para derivar valores que podem conduzir funções, tais como visualização, relatórios, tomada de decisão e outras análises. As funções criadas podem ser compartilhadas e/ou distribuídas para usuários e assinantes autorizados. A modelagem e a análise de dados podem incluir um ou mais programas de aplicação configurados para extrair dados brutos que são armazenados no repositório de dados e processar esses dados para atingir a função desejada. Será entendido por aqueles versados na técnica que as funções dos programas de aplicação, conforme descrito neste documento, podem ser implementadas por meio de uma pluralidade de programas separados ou módulos de programa configurados para se comunicar e cooperar uns com os outros para alcançar os resultados funcionais desejados.
[0030] Em uma modalidade, a modelagem e a análise de dados podem ser configuradas ou programadas para pré-processar dados que são recebidos pelo repositório de dados a partir de múltiplas fontes de dados. Os dados recebidos podem ser pré-processados com técnicas para remoção de ruído e efeitos de distorção, remoção de dados desnecessários que distorcem outros dados, filtragem, seleção de dados de suavização de dados, calibração de dados e contabilização de erros. Todas essas técnicas devem ser aplicadas para melhorar o conjunto geral de dados.
[0031] Em uma modalidade, a modelagem e a análise de dados geram um ou mais modelos agronômicos pré-configurados usando dados fornecidos por uma ou mais das fontes de dados e que são recebidos e armazenados no repositório de dados. A modelagem e a análise de dados podem compreender um algoritmo ou um conjunto de instruções para programar diferentes elementos de um sistema agrícola de precisão. Modelos agronômicos podem compreender fatores agronômicos calculados derivados das fontes de dados que podem ser usados para estimar parâmetros agrícolas específicos. Além disso, os modelos agronômicos podem compreender recomendações baseadas nesses parâmetros agrícolas. Além disso, a modelagem e a análise de dados podem compreender modelos agronômicos criados especificamente para compartilhamento de dados externos que são de interesse de terceiros.
[0032] Em uma modalidade, a modelagem e a análise de dados podem gerar modelos de previsão. Os modelos de previsão podem compreender uma ou mais funções matemáticas e um conjunto de pesos, coeficientes, valores críticos aprendidos ou quaisquer outros parâmetros numéricos ou categóricos similares que, juntos, convertem os dados em uma estimativa. Estas também podem ser denominadas “equações de calibração” a título de conveniência. Dependendo da modalidade, cada uma dessas equações de calibração pode se referir à equação para determinar a contribuição de um tipo de dados ou algum outro arranjo de equações pode ser usado.
[0033] O sistema de cliente (110) inclui um módulo de CMG (112) que emprega um modelo de classificação (114) para identificar recursos (por exemplo, nuvens, campos, etc.) em uma imagem observada (200) para gerar um mapa de nuvem (220). O módulo de CMG (112) determina uma classificação para pixel usando as informações de banda para cada pixel.
[0034] Em uma modalidade de exemplo, o modelo de classificação (114) é uma rede neural convolucional (CNN), mas poderia ser outro tipo de modelo de classificação supervisionado. Alguns exemplos de modelos de classificação supervisionados podem incluir, mas sem limitação, perceptrons de múltiplas camadas, redes neurais profundas ou métodos de combinação. Dado qualquer um desses modelos, o módulo de CMG (112) aprende, sem ser explicitamente programado para fazê-lo, como determinar uma classificação para um pixel usando as informações de banda para aquele pixel.
[0035] A Figura 3A é uma representação de uma rede neural convolucional empregada pelo módulo de CMG (112) como um modelo de classificação 114, de acordo com uma modalidade de exemplo. O módulo de CMG (112) emprega a CNN para gerar um mapa de nuvem (220) a partir de uma imagem observada (210) com base em imagens previamente observadas com recursos identificados e rotulados. Os recursos identificados anteriormente podem ter sido identificados por outro modelo de classificação ou um identificador humano.
[0036] Na modalidade ilustrada, o modelo de classificação (114) é uma CNN com camadas de nós. Os valores nos nós de uma camada atual são uma transformação de valores nos nós de uma camada anterior. Assim, por exemplo, o módulo de CMG (112) realiza uma transformação entre camadas no modelo de classificação 114 usando pesos e parâmetros previamente determinados conectando a camada atual e a camada anterior. Por exemplo, conforme mostrado na Figura 3, o modelo de classificação de exemplo (114) inclui cinco camadas de nós: camadas 310, 320, 330, 340 e 350. O módulo de CMG (112) insere o objeto de dados (por exemplo, uma imagem observada
(210)) no modelo de classificação (114) e move os dados através das camadas por meio de transformações. Por exemplo, conforme ilustrado, o módulo de CMG (112) transforma o objeto de dados de entrada na camada (310) usando a transformação W0, transforma a camada (310) na camada (320) usando a transformação W1, transforma a camada (320) na camada (330) usando a transformação W2, transforma a camada (330) na camada (340) usando a transformação W3, e transforma a camada (340) na camada (350) usando a transformação W4. O módulo de CMG (112) transforma a camada (350) em um objeto de dados de saída (por exemplo, um mapa de nuvem) usando a transformação W5. Em alguns exemplos, o módulo de CMG (112) realiza transformações usando transformações entre camadas anteriores no modelo. Em outras palavras, os pesos e parâmetros para uma transformação anterior podem influenciar uma transformação subsequente. Por exemplo, o módulo de CMG (112) transforma a camada (330) na camada (340) usando uma transformação W3 com base nos parâmetros do módulo de CMG (112) empregados para transformar o objeto de dados de entrada na camada (310) usando a transformação W0 e/ou informações de módulo de CMG (112) geradas pela execução de uma função na camada (310).
[0037] Na modalidade ilustrada, o objeto de dados de entrada é uma imagem observada (210) e o objeto de dados de saída é um mapa de nuvem (220). Em outras palavras, o módulo de CMG (112) codifica a imagem observada (210) na camada de redução (310) e o módulo de CMG (112) decodifica um mapa de nuvem 220 a partir da camada de rotulagem (350). Durante este processo, o módulo de CMG (112), usando o modelo de classificação (114), identifica informações latentes na imagem observada (210) representando nuvens, sombras e campos (“recursos”) na camada de concatenação (330). O módulo de CMG (112), usando o modelo de classificação (114), reduz a dimensionalidade da camada de redução (310) para aquela da camada de concatenação (330) para identificar os recursos. O módulo de CMG (112), usando o modelo de classificação (114), subsequentemente, aumenta a dimensionalidade da camada de concatenação 330 para aquela da camada de rotulagem para gerar um mapa de nuvem 220 com os recursos identificados rotulados.
[0038] Conforme descrito acima, o módulo de CMG (112) codifica uma imagem observada (210) em uma camada de redução (310). Na camada de redução (310), o módulo de CMG (112) reduz a dimensionalidade de pixel da imagem observada (210). Em um exemplo, na camada de redução (310), o módulo de CMG (112) usa uma função de agrupamento para reduzir a dimensionalidade da imagem de entrada. Outras funções podem ser usadas para reduzir a dimensionalidade da imagem observada (210). Em algumas configurações, o módulo de CMG (112) codifica diretamente uma imagem observada para a camada de redução (310) porque a dimensionalidade da camada de redução 310 é a mesma que a dimensionalidade de pixel da imagem observada (210). Em outros exemplos, o módulo de CMG (112) ajusta (por exemplo, recorta) a imagem observada (210) de modo que a dimensionalidade da imagem observada (210) seja a mesma que a dimensionalidade da camada de redução (310).
[0039] Uma imagem observada (210) codificada na camada de redução (310) pode ser relacionada a informações de identificação de recursos na camada de concatenação (330). O módulo de CMG (112) recupera informações de relevância entre recursos aplicando-se um conjunto de transformações entre as camadas correspondentes. Continuando com o exemplo da Figura 3, a camada de redução (310) do modelo de classificação (114) representa uma imagem observada codificada (210) e a camada de concatenação (330) do modelo de classificação (114) representa informações de identificação de recursos. O módulo de CMG (112) identifica recursos em uma dada imagem observada (210) aplicando-se as transformações W1 e W2 aos valores de pixel da imagem observada (210) no espaço da camada de redução (310) e das camadas convolucionais (320), respectivamente. Os pesos e parâmetros para as transformações podem indicar relações entre as informações contidas na imagem observada (210) e a identificação de um recurso. Por exemplo, os pesos e parâmetros podem ser uma quantização de formatos, cores, etc. incluídos nas informações que representam nuvens, sombras e campos incluídos em uma imagem observada (210). O módulo de CMG (112) pode aprender os pesos e parâmetros de dados de interação com o usuário históricos, incluindo identificação de nuvem, sombra e campo enviada pelos usuários.
[0040] Em um exemplo, o módulo de CMG (112) coleta os pesos e parâmetros usando dados coletados de imagens previamente observadas (210) e um processo de rotulagem. O processo de rotulagem pode incluir ter uma região de rotulagem por ser humano (por exemplo, polígonos, áreas, etc.) de pixels em uma imagem observada, tal como uma nuvem, sombra ou campo, ou dados mais fracos, tais como a porcentagem de cobertura de nuvens, por exemplo. A rotulagem por ser humano de imagens observadas gera dados para treinar um modelo de classificação para determinar uma classificação para pixels em uma imagem observada.
[0041] O módulo de CMG (112) identifica recursos na imagem observada (210) na camada de concatenação (330). A camada de concatenação (330) é uma estrutura de dados que representa recursos identificados (por exemplo, nuvens, sombras e campos) com base nas informações latentes sobre os recursos representados na imagem observada (210).
[0042] O módulo de CMG gera um mapa de nuvem (220) usando recursos identificados em uma imagem observada (210). Para gerar um mapa de nuvem, o módulo de CMG (112), usando o modelo de classificação (114), aplica as transformações W3 e W4 ao valor dos recursos identificados na camada de concatenação (330) e camada deconvolucional (340), respectivamente. Os pesos e parâmetros para as transformações podem indicar relações entre um recurso identificado e um mapa de nuvem (220). O módulo de CMG (112) aplica as transformações que resultam em um conjunto de nós na camada de rotulagem (350).
[0043] O módulo de CMG (112) gera um mapa de nuvem (220) rotulando pixels no espaço de dados da camada de rotulagem (350) com seu recurso identificado. Por exemplo, o módulo de CMG (112) pode rotular um pixel como nuvem, sombra ou campo. A camada de rotulagem (350) tem a mesma dimensionalidade de pixel que a imagem observada (210). Portanto, o mapa de nuvem gerado (220) pode ser visto como uma imagem observada (210) com seus vários pixels rotulados de acordo com os recursos identificados.
[0044] Além disso, o modelo de classificação (114) pode incluir camadas conhecidas como camadas intermediárias. As camadas intermediárias são aquelas que não correspondem a uma imagem observada (210), identificação de recurso ou um mapa de nuvem (220). Por exemplo, conforme mostrado na Figura 3, as camadas convolucionais (320) são camadas intermediárias entre a camada de redução (310) e a camada de concatenação (330). A camada de deconvolução (340) é uma camada intermediária entre a camada de concatenação (330) e a camada de rotulagem (350). O módulo de CMG (112) emprega camadas intermediárias para identificar representações latentes de diferentes aspectos de um recurso que não são observados nos dados, mas podem controlar as relações entre os elementos de uma imagem ao identificar esse recurso. Por exemplo, um nó na camada intermediária pode ter conexões fortes (por exemplo, grandes valores de peso) com valores de entrada e valores de identificação que compartilham a semelhança de “nuvem fofa”. Como outro exemplo, outro nó na camada intermediária pode ter fortes conexões com valores de entrada e valores de identificação que compartilham a semelhança de “sombra escura”. Especificamente, no modelo de exemplo da Figura 3, os nós das camadas intermediárias (320) e (340) podem vincular informações inerentes na imagem observada (210) que compartilham características comuns para ajudar a determinar se essas informações representam uma nuvem, sombra ou campo na imagem observada (210).
[0045] Além disso, o módulo de CMG (112), usando o modelo de classificação (114), pode agir sobre os dados no espaço de dados de uma camada usando uma função ou combinação de funções. Alguns exemplos de funções incluem blocos residuais, camadas convolucionais, operações de agrupamento, conexões de pulo, concatenações, etc. Em um exemplo mais específico, o módulo de CMG (112) emprega uma função de agrupamento, que pode ser máxima, média ou mínima, na camada de redução (310) para reduzir a dimensionalidade da imagem observada, convolucional e transpor as camadas deconvolucionais para extrair recursos informativos, e um função softmax na camada de rotulagem (350) para rotular pixels.
[0046] Por fim, embora ilustrado com duas camadas intermediárias (por exemplo, camadas (320) e (340)), o modelo de classificação (114) pode incluir outros números de camadas intermediárias. O módulo de CMG (112), usando o modelo de classificação (114), emprega camadas intermediárias para reduzir a camada de redução (310) para a camada de concatenação (330) e aumentar a camada de concatenação (330) para a camada de rotulagem (350). O módulo de CMG (112) também emprega as camadas intermediárias para identificar informações latentes nos dados de uma imagem observada (210) que correspondem a um recurso identificado na camada de concatenação (330).
[0047] Em uma modalidade, o módulo de CMG (112) emprega uma combinação de modelos de classificação (“combinação de classificação”) para gerar um mapa de nuvem (220). A Figura 3B ilustra o fluxo de dados através de uma combinação de classificação, de acordo com uma modalidade de exemplo. Neste exemplo, a combinação de classificação (370) inclui N modelos de classificação (112) (por exemplo, modelo de classificação (114A), modelo de classificação (114B) e modelo de classificação (114N)), mas pode incluir mais ou menos modelos de classificação. Na presente invenção, cada modelo de classificação (114) é uma rede neural convolucional, mas poderia ser outros modelos de classificação. Os modelos de classificação (112) são treinados para determinar uma subclassificação (372) para cada pixel de uma imagem observada (210). As subclassificações (372) são, por exemplo, nuvem, sombra ou campo.
[0048] Cada modelo de classificação (114) na combinação de classificação (370) é treinado usando diferentes conjuntos de treinamento. Por exemplo, um modelo de classificação (por exemplo, modelo de classificação (114A)) é treinado usando um primeiro conjunto de imagens de treinamento rotuladas, um segundo modelo de classificação (por exemplo, modelo de classificação (114B)) é treinado usando um segundo conjunto de imagens de treinamento rotuladas, etc. Como cada modelo de classificação (114) é treinado de forma diferente, os modelos de classificação (112) podem determinar diferentes subclassificações (372) para cada pixel de uma imagem observada (210). Por exemplo, o módulo de CMG (112) insere um pixel em uma combinação incluindo dois modelos de classificação. O módulo de CMG determina uma subclassificação (por exemplo, subclassificação (372A)) para um pixel é “nuvem” ao empregar um primeiro modelo de classificação (por exemplo, modelo de classificação (114A)), determina uma subclassificação (por exemplo, subclassificação (372B)) para o pixel é “sombra” ao empregar um segundo modelo de classificação (por exemplo, modelo de classificação (114B)).
[0049] Para gerar o mapa de nuvem (220), o módulo de CMG (112), por meio da combinação de classificação (370), insere a imagem observada (210) em cada um dos modelos de classificação (112). Para cada pixel da imagem observada, o módulo de CMG (112) emprega cada modelo de classificação (114) para determinar uma subclassificação (372) para o pixel. O módulo de CMG (112) determina uma classificação agregada (374) para cada pixel com base nas subclassificações (372) para esse pixel. Em um exemplo, o módulo de CMG (112) determina a classificação agregada 374 para cada pixel é a subclassificação determinada (372) selecionada pela pluralidade de modelos de classificação (112). Por exemplo, o módulo de CMG (112) determina subclassificações (372) para um pixel como “campo”, “nuvem” e “nuvem”. O módulo de CMG (112) determina a classificação agregada (374) para o pixel é nuvem com base nas subclassificações determinadas (372). Outras funções para determinar a classificação agregada (374) também são possíveis.
[0050] O módulo de CMG (112), usando a combinação de classificação (370), gera um mapa de nuvem (220) cujos pixels são todos rotulados com a classificação agregada (374) determinada pela combinação de classificação (370) para esse pixel. Usar uma combinação de classificação (370) em oposição a um único modelo de classificação (114) aumenta a precisão de mapas de nuvem. Por exemplo, a precisão de uma combinação de três classificadores pode ser 5 a 8% maior do que cada classificador isoladamente.
[0051] O módulo de CMG (112) treina um modelo de classificação (114) (por exemplo, uma CNN) usando uma série de imagens que têm classificações previamente determinadas para cada pixel (“indicadores”). Em um exemplo, um indicador é uma imagem observada rotulada por um ser humano. Para ilustrar, os pixels de uma imagem observada são mostrados a um ser humano e o ser humano identifica os pixels como nuvem, sombra ou campo. As informações de banda para os pixels estão associadas à classificação e podem ser usadas para treinar um modelo de classificação. Em outro exemplo, um indicador é uma imagem observada que tem uma classificação determinada por um modelo previamente treinado (“modelo anterior”). Para ilustrar, as informações de banda para pixels são inseridas em um modelo treinado para determinar uma classificação para pixels. Neste exemplo, o modelo anterior emite uma classificação para os pixels e as informações de banda para esses superpixels são associadas à classificação. As informações de banda para os pixels estão associadas à classificação e podem ser usadas para treinar outro modelo de classificação.
[0052] O módulo de CMG (112) treina o modelo de classificação (114) usando indicadores (por exemplo, imagens observadas previamente rotuladas). Cada pixel em um indicador tem uma única classificação e está associado às informações de banda para aquele pixel. O modelo de classificação (114) insere uma série de indicadores e determina que as informações latentes incluídas nas informações de banda estão associadas a classificações específicas.
[0053] A Figura 4 ilustra um processo para treinar um modelo de classificação, de acordo com uma modalidade de exemplo. Em uma modalidade de exemplo, o sistema de cliente (110) executa o processo (440). O módulo de CMG (112) emprega o modelo de classificação (por exemplo, modelo de classificação (114)) para determinar uma classificação para pixels de uma imagem observada (por exemplo, imagem observada (210)) como “nuvem”, “sombra” ou “campo”.
[0054] Um módulo de CMG solicita (410) um conjunto de imagens rotuladas do sistema de rede (120) para treinar um modelo de classificação. O sistema de rede acessa um conjunto de imagens rotuladas do sistema de observação (140) por meio de uma rede. Um ator gera (420) uma imagem rotulada determinando-se uma classificação para cada pixel da imagem observada. O ator pode ser um ser humano ou um modelo de classificação previamente treinado. O sistema de rede transmite as imagens rotuladas para o sistema de cliente.
[0055] O módulo de CMG (112) recebe, na etapa (420), as imagens rotuladas e insere, na etapa (430), as imagens rotuladas em uma rede neural convolucional (por exemplo, modelo de classificação (114)) para treinar, na etapa (440), a CNN para identificar nuvens, sombras e campos. A CNN é treinada para determinar nuvens, sombras e campos com base nas informações latentes incluídas nas informações de banda para cada pixel de uma imagem rotulada. Em outras palavras, a CNN determina pesos e parâmetros para funções em uma camada e transformações entre camadas que geram a classificação de pixel apropriada quando dada uma imagem de entrada.
[0056] O módulo de CMG (112) avalia, na etapa (450), as capacidades do modelo de classificação treinado usando uma função de avaliação. Como exemplo, o módulo de CMG (112) emprega uma função de avaliação que compara uma imagem observada que foi classificada com precisão por um ser humano (“imagem de treinamento”) a uma imagem observada classificada pelo módulo de CMG (“imagem de teste”). A função de avaliação quantifica as diferenças entre a imagem de treinamento e a imagem de teste usando uma métrica de quantificação (por exemplo, exatidão, precisão, etc.). Se a métrica de quantificação estiver acima de um limiar, o módulo de CMG (112) determinará que o modelo de classificação está adequadamente treinado. Se a métrica de quantificação estiver abaixo de um limiar, o módulo de CMG (112) treinará ainda mais o modelo de classificação.
[0057] O módulo de CMG (112) pode utilizar este processo para treinar vários modelos de classificação usados em uma combinação de classificação (por exemplo, combinação de classificação (370)). Nesse caso, o módulo de CMG pode inserir diferentes imagens rotuladas do conjunto recebido em cada modelo de classificação da combinação de classificação para treinar os modelos de classificação.
[0058] A Figura 5 ilustra um processo para gerar um mapa de nuvem, de acordo com uma modalidade de exemplo. Em uma modalidade de exemplo, o sistema de cliente (110) executa o processo (500) para gerar um mapa de nuvem (por exemplo, mapa de nuvem (220)).
[0059] O sistema de cliente (110) recebe, na etapa (510), uma solicitação para gerar o mapa de nuvem (220) de um usuário do sistema do cliente. O sistema do cliente (110) solicita, na etapa (520), uma imagem observada (por exemplo, imagem observada (210)) do sistema de rede (120) por meio da rede (150). O sistema de cliente (110) recebe a imagem observada (210) do sistema de rede (120) em resposta. A imagem observada (210) pode ser uma imagem de satélite obtida pelo sistema de observação (140). Em algumas modalidades, o sistema de cliente (110) pode solicitar a imagem observada (210) do sistema de observação (140) e receber a imagem observada do sistema de observação (140) em resposta.
[0060] O módulo de CMG (112) insere, na etapa (530), a imagem observada (210) em uma combinação de classificação (por exemplo, combinação de classificação (370)) para determinar o mapa de nuvem (220). Em um exemplo, a combinação de classificação (370) inclui três modelos de classificação (por exemplo, modelo de classificação (114)) treinados para determinar uma classificação para pixels na imagem observada (210). Cada um dos modelos de classificação (114) é uma rede neural convolucional treinada usando um conjunto diferente de imagens rotuladas.
[0061] O módulo de CMG (112) determina, na etapa (540), para cada modelo de classificação (114) na combinação de classificação (370), uma subclassificação para cada pixel na imagem observada (210). Em um exemplo, os modelos de classificação identificam informações latentes na imagem observada para determinar uma subclassificação para cada pixel. A subclassificação pode ser “nuvem”, “sombra” ou “campo”.
[0062] O módulo de CMG (112) determina, na etapa (550), uma classificação agregada para cada pixel da imagem observada com base nas subclassificações para cada pixel. Por exemplo, o módulo de CMG pode determinar que a classificação agregada de um pixel são as subclassificações determinadas pela pluralidade de modelos de classificação. Usando a classificação agregada, na etapa (550), de cada pixel, é feita a geração de um mapa de nuvem usando as classificações agregadas, na etapa (560). O mapa de nuvem pode ser aplicado à imagem observada, na etapa (570), para criar uma imagem de saída a ser usada para qualquer número de aplicações, tais como previsões de rendimento ou determinação da saúde da cultura com uma imagem mais adequada ganhando uma maior precisão nessas aplicações. Por exemplo, o módulo de CMG (112) gera o mapa de nuvem (220) usando as classificações agregadas para cada pixel da imagem observada (210). O mapa de nuvem (220) é, portanto, a imagem observada (210) com cada pixel da imagem observada rotulado com determinada classificação.
[0063] Os pixels da nuvem distorcem os resultados ao adicionar valores altos de pixels, afetando as técnicas de imagem que utilizam todos os pixels. Os pixels de sombra diminuem a intensidade e podem afetar a forma como os dados são interpretados, mas não têm o grande efeito que os pixels de nuvem têm na média de dados.
[0064] Quantitativamente, a remoção de pixels de nuvem e sombra permite que aplicações que usam técnicas de imagem (por exemplo, saúde da cultura, previsão de produção e informações de colheita) gerem resultados mais precisos. Pixels que afetam os cálculos do produto são removidos e, portanto, não alteram drasticamente os resultados. Os produtores irão adquirir melhores informações para suas aplicações, o que contribui para tomar as melhores decisões agronômicas.
[0065] Qualitativamente, a remoção de nuvens elimina pixels com valores extra altos que desviam a atenção de regiões de informações de campo valiosas. As altas intensidades de pixel criam uma escala de dados fraca, ocultando informações importantes e potencialmente ofuscando pequenos detalhes que podem ser não ser vistos por um produtor que visualiza um display. A remoção desses pixels de alto valor pode, em última análise, melhorar o processo de tomada de decisão. Se dados de alta qualidade forem inseridos em aplicações que tratam da saúde da cultura ou de pragas, por exemplo, melhores decisões agronômicas poderão ser tomadas.
[0066] A Figura 6 é um diagrama em blocos que ilustra os componentes de uma máquina de exemplo para ler e executar instruções a partir de um meio legível por máquina. Especificamente, a Figura 6 mostra uma representação diagramática do sistema de rede (120) e do dispositivo de cliente (110) na forma de exemplo de um sistema de computador (600). O sistema de computador (600) pode ser usado para executar instruções (624) (por exemplo, código de programa ou software) para fazer com que a máquina execute qualquer uma ou mais das metodologias (ou processos)
descritos no presente documento. Em modalidades alternativas, a máquina opera como um dispositivo autônomo ou um dispositivo conectado (por exemplo, em rede) que se conecta a outras máquinas. Em uma implantação em rede, a máquina pode operar na capacidade de uma máquina de servidor ou uma máquina de cliente em um ambiente de sistema de cliente-servidor (100), ou como uma máquina ponto a ponto em um ambiente de sistema ponto a ponto (ou distribuído) (100).
[0067] A máquina pode ser um computador servidor, um computador de cliente, um computador pessoal (PC), um PC do tipo tablet, um decodificador (STB), um smartphone, um dispositivo de internet das coisas (IoT), um roteador de rede, comutador ou ponte, ou qualquer máquina capaz de executar instruções (624) (sequenciais ou não) que especificam ações a serem tomadas por essa máquina. Além disso, embora apenas uma única máquina seja ilustrada, o termo “máquina” também deve ser entendido como incluindo qualquer coleção de máquinas que individualmente ou em conjunto executam instruções (624) para executar qualquer uma ou mais das metodologias aqui discutidas.
[0068] O sistema de computador de exemplo (600) inclui uma ou mais unidades de processamento (geralmente processador (602)). O processador (602) é, por exemplo, uma unidade central de processamento (CPU), uma unidade de processamento gráfico (GPU), um processador de sinal digital (DSP), um controlador, uma máquina de estado, um ou mais circuitos integrados de aplicação específica (ASICs), um ou mais circuitos integrados de radiofrequência (RFICs), ou qualquer combinação dos mesmos. O sistema de computador (600) também inclui uma memória principal (604). O sistema de computador pode incluir uma unidade de armazenamento (616). O processador (602), a memória (604) e a unidade de armazenamento (616) se comunicam por meio de um barramento (608).
[0069] Além disso, o sistema de computador (600) pode incluir uma memória estática (606), um display gráfico (610) (por exemplo,
para acionar um display de plasma (PDP), um display de cristal líquido (LCD) ou um projetor). O sistema de computador (600) também pode incluir dispositivo de entrada alfanumérico (612) (por exemplo, um teclado), um dispositivo de controle de cursor (614) (por exemplo, um mouse, um trackball, um joystick, um sensor de movimento ou outro instrumento de apontamento), um dispositivo de geração de sinal (618) (por exemplo, um alto-falante) e um dispositivo de interface de rede (620), que também estão configurados para se comunicar através do barramento (608).
[0070] A unidade de armazenamento (616) inclui um meio legível por máquina (622) no qual são armazenadas instruções (624) (por exemplo, software) incorporando qualquer uma ou mais das metodologias ou funções descritas no presente documento. Por exemplo, as instruções (624) podem incluir as funcionalidades de módulos do dispositivo de cliente (110) ou sistema de rede (120) descrito na Figura 1. As instruções (624) também podem residir, completamente ou pelo menos parcialmente, dentro da memória principal (604) ou dentro do processador (602) (por exemplo, dentro de uma memória cache do processador) durante a sua execução pelo sistema de computador (600), a memória principal (604) e o processador (602) também constituindo meios legíveis por máquina. As instruções (624) podem ser transmitidas ou recebidas através de uma rede (626) (por exemplo, rede (120)) através do dispositivo de interface de rede (620).
[0071] Embora o meio legível por máquina (622) seja mostrado em uma modalidade de exemplo como sendo um único meio, o termo “meio legível por máquina” deve ser considerado incluir um único meio ou vários meios (por exemplo, um banco de dados centralizado ou distribuído, ou caches associados e servidores) capazes de armazenar as instruções (624). O termo “meio legível por máquina” também deve ser entendido como incluindo qualquer meio que seja capaz de armazenar instruções (624) para execução pela máquina e que faça com que a máquina execute qualquer uma ou mais das metodologias divulgadas no presente documento. O termo “meio legível por máquina” inclui,
mas sem limitação, repositórios de dados na forma de memórias de estado sólido, mídia óptica e mídia magnética.
[0072] Embora vários exemplos e modalidades tenham sido mostrados e discutidos ao longo deste documento, a presente invenção contempla inúmeras variações, opções e alternativas.
Claims (20)
1. Método para mascaramento de sombra e nuvem para imagens de sensoriamento remoto de um campo agrícola com o uso de uma rede neural convolucional, em que o método é caracterizado pelo fato de que compreende: receber eletronicamente uma imagem observada, em que a imagem observada compreende uma pluralidade de pixels e cada um dos pixels associado a informações de banda correspondentes; determinar, por um módulo de geração de máscara de nuvem em execução no pelo menos um processador, uma classificação para cada um dentre a pluralidade de pixels na imagem observada usando as informações de banda aplicando-se um modelo de classificação, em que o modelo de classificação compreende uma rede neural convolucional que compreende uma pluralidade de camadas de nós; em que o módulo de geração de máscara de nuvem aplica uma pluralidade de transformações para transformar dados entre camadas na rede neural convolucional para gerar um mapa de nuvem.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a classificação é selecionada a partir de um conjunto que compreende uma classificação de nuvem, uma classificação de sombra e uma classificação de campo.
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a classificação de cada um dos pixels é realizada usando cinco ou menos bandas da imagem observada.
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que cinco ou menos bandas incluem uma banda espectral visível vermelha, uma banda espectral visível verde e uma banda espectral visível azul.
5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que as cinco ou menos bandas incluem ainda uma banda de infravermelho próximo.
6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que as cinco ou menos bandas incluem ainda uma banda de borda vermelha.
7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda aplicar a máscara de nuvem à imagem observada.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda aplicar a máscara de nuvem à imagem observada e usar uma imagem resultante para gerar uma previsão de rendimento para o campo agrícola.
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo de classificação é uma combinação de uma pluralidade de modelos de classificação e em que a classificação é uma classificação agregada com base na combinação da pluralidade de modelos de classificação.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a pluralidade de camadas de nós inclui uma camada de redução, pelo menos uma camada convolucional, uma camada de concatenação, pelo menos uma camada deconvolucional e uma camada de rotulagem.
11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda usar o módulo de geração de nuvem em execução no um ou mais processadores para treinar o modelo de classificação.
12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda usar o módulo de geração de nuvem em execução no um ou mais processadores para avaliar um ou mais modelos de classificação.
13. Sistema para mascaramento de sombra e nuvem para imagens de sensoriamento remoto de um campo agrícola, em que o sistema é caracterizado pelo fato de que compreende: um sistema de computação que tem pelo menos um processador para executar um módulo de geração de máscara de nuvem, o módulo de geração de máscara de nuvem configurado para: receber uma imagem observada, em que a imagem observada compreende uma pluralidade de pixels e cada um dos pixels associado às informações de banda correspondentes; determinar uma classificação para cada um dentre a pluralidade de pixels na imagem observada com o uso das informações de banda aplicando-se um modelo de classificação, em que o modelo de classificação compreende uma rede neural convolucional que compreende uma pluralidade de camadas de nós; em que o módulo de geração de máscara de nuvem aplica uma pluralidade de transformações para transformar dados entre camadas na rede neural convolucional para gerar um mapa de nuvem.
14. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que a classificação é selecionada a partir de um conjunto que compreende uma classificação de nuvem, uma classificação de sombra e uma classificação de campo.
15. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que a classificação de cada um dos pixels é realizada com o uso de cinco ou menos bandas da imagem observada.
16. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que o modelo de classificação é uma combinação de uma pluralidade de modelos de classificação e em que a classificação é uma classificação agregada com base na combinação da pluralidade de modelos de classificação.
17. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que a pluralidade de camadas de nós inclui uma camada de redução, pelo menos uma camada convolucional, uma camada de concatenação, pelo menos uma camada deconvolucional e uma camada de rotulagem.
18. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que o módulo de geração de nuvem é ainda configurado para treinar o modelo de classificação.
19. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que o módulo de geração de nuvem é ainda configurado para avaliar um ou mais modelos de classificação.
20. Sistema, de acordo com a reivindicação 13, caracterizado pelo fato de que o sistema de computador é ainda configurado para aplicar a máscara de nuvem à imagem observada e usar uma imagem resultante para gerar uma previsão de rendimento para o campo agrícola.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962802202P | 2019-02-06 | 2019-02-06 | |
| US62/802,202 | 2019-02-06 | ||
| PCT/CA2020/050103 WO2020160643A1 (en) | 2019-02-06 | 2020-01-28 | Shadow and cloud masking for agriculture applications using convolutional neural networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112021015324A2 true BR112021015324A2 (pt) | 2021-10-05 |
Family
ID=71836553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112021015324-1A BR112021015324A2 (pt) | 2019-02-06 | 2020-01-28 | Mascaramento de sombra e nuvem para aplicações agrícolas com o uso de redes neurais convolucionais |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200250427A1 (pt) |
| AU (1) | AU2020219867A1 (pt) |
| BR (1) | BR112021015324A2 (pt) |
| CA (1) | CA3125794A1 (pt) |
| WO (1) | WO2020160643A1 (pt) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020218573A1 (en) * | 2019-02-04 | 2021-08-05 | Farmers Edge Inc. | Shadow and cloud masking for remote sensing images in agriculture applications using multilayer perceptron |
| CN113033714B (zh) * | 2021-05-24 | 2021-08-03 | 华中师范大学 | 多模态多粒度遥感影像面向对象全自动机器学习方法及系统 |
| GB2607577A (en) * | 2021-06-01 | 2022-12-14 | Geovisual Tech Inc | Cloud-free analytics from satellite input |
| CN115410074B (zh) * | 2022-07-19 | 2023-08-29 | 中国科学院空天信息创新研究院 | 遥感影像云检测方法及装置 |
| CN115759598B (zh) * | 2022-11-07 | 2023-10-31 | 二十一世纪空间技术应用股份有限公司 | 一种基于多源云量的遥感卫星任务规划方法 |
| CN115661664B (zh) * | 2022-12-08 | 2023-04-07 | 东莞先知大数据有限公司 | 一种边界遮挡检测及补偿方法、电子设备和存储介质 |
| CN116824279B (zh) * | 2023-08-30 | 2024-02-20 | 成都信息工程大学 | 一种具有全局特征捕获能力的轻量级地基云图分类方法 |
| CN117274828B (zh) * | 2023-11-23 | 2024-02-02 | 巢湖学院 | 基于机器学习的农田智能监测与作物管理系统 |
| CN117292276B (zh) * | 2023-11-24 | 2024-01-30 | 南京航空航天大学 | 基于编解码注意力交互的云检测方法、系统、介质及设备 |
| CN117496162B (zh) * | 2024-01-03 | 2024-03-22 | 北京理工大学 | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9721181B2 (en) * | 2015-12-07 | 2017-08-01 | The Climate Corporation | Cloud detection on remote sensing imagery |
| US10685443B2 (en) * | 2018-04-20 | 2020-06-16 | Weather Intelligence Technology, Inc | Cloud detection using images |
| CN110516723B (zh) * | 2019-08-15 | 2023-04-07 | 天津师范大学 | 一种基于深度张量融合的多模态地基云图识别方法 |
-
2020
- 2020-01-28 WO PCT/CA2020/050103 patent/WO2020160643A1/en active Application Filing
- 2020-01-28 BR BR112021015324-1A patent/BR112021015324A2/pt not_active Application Discontinuation
- 2020-01-28 CA CA3125794A patent/CA3125794A1/en active Pending
- 2020-01-28 AU AU2020219867A patent/AU2020219867A1/en not_active Abandoned
- 2020-02-03 US US16/780,206 patent/US20200250427A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CA3125794A1 (en) | 2020-08-13 |
| WO2020160643A1 (en) | 2020-08-13 |
| US20200250427A1 (en) | 2020-08-06 |
| AU2020219867A1 (en) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112021015324A2 (pt) | Mascaramento de sombra e nuvem para aplicações agrícolas com o uso de redes neurais convolucionais | |
| BR112021015232A2 (pt) | Mascaramento de sombra e nuvem para imagens de sensoriamento remoto em aplicações de agricultura usando perceptron de múltiplas camadas | |
| Torney et al. | A comparison of deep learning and citizen science techniques for counting wildlife in aerial survey images | |
| Lu et al. | Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system | |
| Shelestov et al. | Cloud approach to automated crop classification using Sentinel-1 imagery | |
| US11275989B2 (en) | Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a long short term memory network | |
| CN110363210B (zh) | 一种图像语义分割模型的训练方法和服务器 | |
| CA3123509A1 (en) | Automated semantic segmentation of non-euclidean 3d data sets using deep learning | |
| US10990874B2 (en) | Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a convolutional neural network | |
| Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
| EP3605063B1 (en) | Vegetation index calculation device and method, and computer program | |
| US10740901B2 (en) | Encoder regularization of a segmentation model | |
| US20210142056A1 (en) | Vegetation index calculation apparatus, vegetation index calculation method, and computer readable recording medium | |
| WO2016095068A1 (en) | Pedestrian detection apparatus and method | |
| US11790410B2 (en) | System and method for natural capital measurement | |
| Gonzalo-Martín et al. | Local optimal scale in a hierarchical segmentation method for satellite images: An OBIA approach for the agricultural landscape | |
| Wilson et al. | Photometric redshift estimation with galaxy morphology using self-organizing maps | |
| CN115439654B (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| Wang et al. | UAV-based remote sensing using visible and multispectral indices for the estimation of vegetation cover in an oasis of a desert | |
| Alkhudaydi et al. | Counting spikelets from infield wheat crop images using fully convolutional networks | |
| Durrani et al. | Effect of hyper-parameters on the performance of ConvLSTM based deep neural network in crop classification | |
| Coca et al. | Fpga accelerator for meta-recognition anomaly detection: Case of burned area detection | |
| Wang et al. | Effective key parameter determination for an automatic approach to land cover classification based on multispectral remote sensing imagery | |
| Gupta | A lightweight deep neural network implemented on MATLAB without using GPU for the automatic monitoring of the plants | |
| Khoramak et al. | Multi-agent hyperspectral and lidar features fusion for urban vegetation mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B11A | Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing | ||
| B11Y | Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette] |