BR102022004512A2 - Método e sistema de análise e processamento de imagens para estimativa de cobertura vegetal por meio de software em aprendizagem de máquina - Google Patents

Abstract

A presente invenção pertence ao campo da engenharia, contendo aprimoramentos aplicáveis à agroindústria, em utilização de softwares inteligentes para estimativas de massa de forragem. A invenção refere-se a um método para identificar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional capturada por fotografias de veículos em solo, veículos aéreos ou satélite. O método e o sistema aqui reivindicados são capazes de subdividir a imagem em microrregiões e identificar para cada uma, a existência ou não do material vegetal de interesse, se diferenciando de materiais como solo, vegetação invasora e objetos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação. Uma das características dessa invenção é a classificação de elemento sombra individualmente, possibilitando a otimização da análise da imagem.

Description

CAMPO DA INVENÇÃO

[001] A presente invenção pertence ao campo da engenharia, contendo aprimoramentos aplicáveis à agroindústria, em utilização de softwares inteligentes para estimativas de massa de forragem. A invenção refere-se a um método para identificar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional capturada por fotografias de veículos em solo, veículos aéreos ou satélite. O método e o sistema ora propostos são capazes de subdividir a imagem em microrregiões e identificar para cada uma, a existência ou não do material vegetal de interesse, se diferenciando de materiais como solo, vegetação invasora e objetos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação.

DESCRIÇÃO DO ESTADO DA TÉCNICA

[002] O documento JP2019037198A apresenta um método de determinação do grau ou percentual de cobertura vegetal de uma localização com o intuito de realizar o melhor planejamento agrícola com reduzido impacto ambiental. Além da apresentação de um método de determinação, JP2019037198A também fornece um dispositivo a ser utilizado nesse processo de determinação. A análise é realizada em imagens capturadas por câmeras fixadas a drones ou análogos, sendo essas imagens tratadas por filtros de imagem. JP2019037198A apresenta o método de análise desvinculado do drone, deixando como possibilidade de variação a conexão desses elementos, de modo que o drone seja capaz de contemplar não apenas a câmera fotográfica como também o software embarcado para processamento da imagem obtida. Um diferencial da invenção deste presente documento em relação a JP2019037198A é o fato de que o sistema de JP2019037198A faz a análise da cobertura vegetal pela remoção de elementos não vegetais da imagem do solo através de filtros de banda, enquanto a presente invenção trata a imagem integralmente, classificando cada elemento ali pertencente.

[003] US20210004594 apresenta um método de medição de dados de vegetação voltado para a otimização de rotas de trabalho no processo de plantio dessa vegetação. Esse método consiste na utilização de um sistema inteligente pré- treinado para identificação de rotas otimizadas de plantio, sem a limitação de aplicação puramente à otimização dessa rota. Em uma variação, US20210004594 apresenta a utilização desse método para acompanhamento/ análise das condições de crescimento dessa vegetação. A análise é feita em uma imagem coletada do local, sendo essa imagem coletada, por exemplo, por câmera acoplada a drone ou análogo. O método de análise não fica explicitado em US20210004594, sendo aberta a possibilidade de utilização de algoritmos por reconhecimento de cor ou por reconhecimento de uma determinada imagem, por exemplo. US20210004594 ainda apresenta como dados de entrada fatores históricos associados à região de plantio que, para referência desta presente busca, podem ser compreendidos como dados incorporados durante o treinamento do algoritmo inteligente como, por exemplo, estações do ano, qualidade do solo, vegetação intrusa comum e a associação desses elementos com as imagens do banco de dados de treinamento. US20210004594 utiliza rede neural convolucional (Convolutional Neural Networks - CNN) para essa análise de dados históricos, e deixa aberta a possibilidade de adaptação a outros modelos de reconhecimento de imagem. A segmentação da imagem de US20210004594 é realizada por meio de modelo FPN (Feature Pyramid Network).

[004] O documento WO2020068962 revela um método de análise de imagens digitais para detecção de condições de superfície de solo. Apesar de não estar diretamente relacionado à detecção de vegetação, o grau de detalhamento conferido ao método de WO2020068962 é comparável à invenção proposta, com as devidas ressalvas e adaptações. WO2020068962 deixa como possibilidades de aplicação do método à detecção de dano em estacionamentos, calçadas, estradas e quaisquer outras superfícies. O método de WO2020068962 realiza a análise de imagens digitais, sendo essas imagens obtidas por meios tais como satélite e câmeras acopladas a drones, além de imagens obtidas no solo e por dispositivos sensores. Ainda, WO2020068962 deixa em aberto a possibilidade de adaptação de seu modelo a qualquer imagem digital por aqueles versados na técnica. O sistema de análise de danos de WO2020068962 utiliza o procedimento de geração de um mapa ortomosaico ou através de ortorretificação das imagens, reduzindo as distorções existentes e reduzindo os custos de análise por pixels. A fase de pré-processamento de imagem de WO2020068962 realiza a rotulação da imagem particionada, sendo o particionamento aparentemente realizado por malha homogênea, diferindo do método de análise e rotulação da presente invenção. WO2020068962 deixa em aberto a possibilidade de utilização de outros modelos de rotulação e particionamento de imagem.

[005] O documento CN102592056 apresenta um método de análise de imagem para determinação de região coberta por vegetação, sendo capaz de identificar adicionalmente elementos visuais de solo, de sombra e de água. O método se baseia em um modelo de classificação utilizando dados históricos de diferentes tipos de solo, variações de estação, heterogeneidade e mudanças interanuais. O modelo utiliza decomposição SVD ou transformação SNR na imagem obtida remotamente para definir microrregiões ou subdividir a imagem para posterior análise. Cada um desses membros ou microrregiões é analisado em busca de identificação de cobertura vegetal.

[006] O documento CN108229403 apresenta um modelo híbrido de estimativa de índice de área de cobertura de vegetação para monitoramento de pestes e estimativa de cobertura vegetal. Mais especificamente, esse modelo trata da estimativa da área da cobertura vegetal por análise de imagens de alta resolução e dados de satélite, e extrai a região com e sem vegetação através de 8 índices de vegetação.

[007] O Requerente concebeu, testou e incorporou a presente invenção de forma a superar as deficiências do estado da técnica e obter os propósitos e vantagens acima mencionados e abaixo explicitados.

SUMÁRIO DA INVENÇÃO

[008] A presente invenção é apresentada e caracterizada nas reivindicações independentes, enquanto as reivindicações dependentes descrevem outras características da invenção ou modalidades relativas à ideia inventiva principal.

[009] Em um primeiro aspecto a presente invenção refere- se a um método de análise e processamento de imagens para estimativa de cobertura vegetal por meio de software com algoritmo inteligente e geração de malha. Os elementos de malha subdividem, identificam e classificam os elementos da imagem em solo(C0), árvore (C1), massa vegetal do tipo daninha ou invasora (C2), sombra ou região sombreada (C3), animal (C5), massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4), e as identificações e classificações são dadas por treinamento do software e em função dos parâmetros de imagem, que incluem época ano, período o dia, dado geoespacial de coleta de imagem, altura em relação ao solo da posição de captura da imagem, condições pluviométricas e período de estio. A malha é gerada via software treinado com algoritmo inteligente por aprendizagem de máquina, de modo que os elementos de malha definem uma malha de distribuição heterogênea. Destaca-se que o método desta invenção permite a obtenção da massa de forragem pela análise de uma única imagem, sem necessidade de dados adicionais ou complementares.

[010] A categoria massa vegetal (C6) é representada por uma resposta contínua entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível, permitindo a fluidez na determinação de biomassa entre espécies ou diferentes alturas de massa vegetal.

[011] O treinamento do software é realizado por imagens colhidas in situ, em que cada imagem é colhida em tréplica, e são colhidas imagens para diferentes fatores ambientais, diferentes fatores de pasto e diferentes variáveis ruído, de modo que o software com algoritmo IA é configurado para identificação de imagens com minimização de erro de classificação por ruído visual. Entre os fatores ambientais, tem-se época do ano, diferentes horários de coleta, diferentes incidências solares e diferentes condições naturais de iluminação. Nas diferenças nos fatores de pasto, destacam-se a existência de diferentes espécies componentes da massa vegetal, a observação de diferentes alturas e massas de cobertura vegetal. As variáveis ruído incluem elementos intrusivos não-vegetais, presença de animais, terreno acidentado, terreno com alto relevo e elementos intrusivos vegetais ou daninhas.

[012] A imagem é colhida em voo por uma câmera acoplada a um veículo aéreo do tipo drone, sendo qualquer um dentre manobrado por um operador no local, manobrado por um operador remotamente, semi automatizado ou automatizado. Para estas imagens o software é capaz de processar imagens RGB colhidas em altitude de 10m até 250m, preferencialmente de 30m até 150m, ainda mais preferencialmente de 50m a 100m, através de equipamentos convencionais de captura.

[013] Em um segundo aspecto a presente invenção refere- se a um sistema de coleta de imagens, processamento e análise para estimativa de cobertura vegetal com uma etapa de coleta de imagens, uma etapa de tratamento e rotulação de elementos das imagens e uma etapa de classificação dos dados. A etapa de coleta de imagens é realizada por uma câmera acoplada a um veículo de direção remota e as etapas de tratamento e rotulação de elementos e de classificação dos dados são realizadas em um software segundo o método de análise desta invenção.

[014] O sistema dessa invenção é aplicado para a estimativa de massa de forragem em pastagens, podendo ser expandido à utilização de identificação de qualquer tipo de imagem RGB de massas verdes e afins.

OBJETIVOS DA INVENÇÃO

[015] Um objetivo da presente invenção é o de apresentar um sistema e um método de análise de imagens de pastagens que permita, a partir dos dados de uma única imagem convencional, estimar a massa de forragem e demais dados estatísticos de interesse.

[016] O projeto e o estudos desenvolvidos tem como motivadores a concepção de uma solução tecnológica adequada ao contexto agropecuário capaz de promover estimativa confiável da massa vegetal e altura, fazendo uso de tecnologias acessíveis e com capacidade de ampla área de amostragem.

[017] Outro objetivo da presente invenção é o uso de tecnologias de captura remota de informações e móveis aéreos, tendo o drone de asa rotativa como o melhor compromisso para o transporte dos sistemas de sensores, sendo o principal uma câmera convencional RGB de alta resolução, assegurando assim uma boa relação de custo da tecnologia e área de amostragem/inferência

[018] Outro objetivo é a viabilização de drones comerciais e profissionais básicos como hardware base e suficiente para de estimativa da massa vegetal no contexto agropecuário.

BREVE DESCRIÇÃO DAS FIGURAS

[019] Essas e outras características da presente invenção tornar-se-ão evidentes a partir da descrição a seguir de algumas modalidades, dadas como exemplo não restritivo com referência aos desenhos anexos, em que

[020] A Figura 1 apresenta o sistema de quadro de coleta e captura a nível do solo da região de corte para controle e referência e um detalhe da imagem capturada pelo drone, gerando delimitação clara do ponto de coleta.

[021] A Figura 2 apresenta duas imagens retiradas do mesmo local, sendo uma referente ao período de águas e outra realizada no período das secas.

[022] A Figura 3 apresenta imagens retiradas no período de secas sob diferentes condições ambientais.

[023] A Figura 4 apresenta um exemplo do processo de rotulação para classificação geral (esquerda) e com enfoque apenas na área de coleta (direita).

[024] A Figura 5 apresenta o fluxo representativo da transformação da informação segundo esta invenção.

[025] A Figura 6 apresenta uma imagem capturada com um voo a 50 metros (esquerda) e em detalhe a observação dos detalhes da seleção (direita).

[026] A Figura 7 apresenta exemplos de resultados de processamentos de imagens distintos para o destaque do material vegetal.

[027] A Figura 8 traz a composição ilustrativa do índice de seca gerado para classificação de épocas (esquerda) e o índice de foco e exemplos de imagens em cada uma das categorias de qualidade (direita).

[028] A Figura 9 traz uma sequência ilustrativa das operações sob um recorte de imagem aérea da espécie Marandu na época das águas.

[029] A Figura 10 apresenta uma modalidade da interface de um software utilizando o método desta invenção.

[030] A Figura 11 traz o sistema de cores estabelecido para interpretação dos resultados visuais dos modelos, com a régua em escala contínua para massa vegetal.

[031] As Figuras 12A a 12F trazem imagens avaliadas segundo o método desta invenção.

[032] As Figuras 13A a 13D trazem imagens representativas da robustez do método desta invenção, e de sua flexibilidade de aplicação.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[033] Os exemplos aqui mostrados têm o intuito somente de exemplificar uma das inúmeras maneiras de se realizar a invenção, contudo sem limitar o escopo da mesma.

[034] A presente invenção refere-se a um MÉTODO para identificar a área de cobertura e estimar a massa de forragem de uma determinada região através de uma imagem convencional (RGB) capturada por fotografias de veículos em solo, veículos aéreos ou satélite. O processo é capaz de subdividir a imagem em microrregiões e identificar para cada uma, a existência ou não do material vegetal de interesse, se diferenciando de materiais como solo, vegetação invasora e objetos estranhos da cena, para em sequência promover estimativas da densidade local da biomassa da vegetação.

[035] O SISTEMA gera um mapa de biomassa da imagem de entrada que, aliado às informações da captura da imagem, promovem também informações das áreas efetivas de cobertura, assim como o cálculo da massa total pertencente a estas regiões. Esse conjunto de informações confere uma fonte de grande valor para os processos de manejo da pastagem, promovendo ganhos na produção pecuária assim como a sustentabilidade do pasto, reduzindo custos ou gastos com previsões falhas.

[036] Os objetivos específicos do invento buscaram a viabilização de drones comerciais e profissionais básicos como hardware base e suficiente para de estimativa da massa vegetal no contexto agropecuário. Promovendo informações importantes para a o manejo da pastagem como: - Local e área sob análise; - Estimativa da massa de forragem; e - Estimativa da cobertura do solo.

[037] A presente seção contempla os esforços de adquirir e tratar a informação da aplicação, promovendo os insumos críticos para os modelos de aprendizagem de máquina utilizados. As abordagens aqui apresentadas promovem grande importância à construção dos bancos de dados, sendo passo fundamental para o sucesso de aprendizado do algoritmo utilizado no software desenvolvido e participante desta invenção.

[038] O método e o sistema dessa invenção possuem três fases características: (a) coleta e processamento de dados, (b) desenvolvimento da modelagem ou treinamento do algoritmo inteligente, e (c) implementação da interface ou análise e coleta de dados estatísticos desejados das imagens coletadas.

[039] O processo de coleta de imagens, em especial para a captura das imagens em voo e o ideal posicionamento da câmera, do local de marcação no solo e da redução de indicadores visuais, apresentou grande evolução durante o desenvolvimento, tanto em qualidade quanto em logística. Por exemplo, em meados da coleta no período de secas, o procedimento formalizado e aqui apresentado se tornou ótimo e representativo da análise realizada in situ. A Figura 1 apresenta o método de coleta de imagens otimizado, em que são expostos o posicionamento do quadro de coleta e captura a nível do solo da região de corte, com detalhe da imagem capturada pelo drone. É possível notar a clara delimitação do ponto de coleta, definida pela área de 1m2 demarcada e o padrão de coleta abaixo explicitado: - Foto centralizada e perpendicular ao solo: O processo de voo e captura das imagens foi sendo refinado, promovendo fotos de melhor qualidade para a observação da cena. - Repetição da foto: Inicialmente uma única foto de cada região era coletada, um processo de tréplica foi implementado, gerando comparativos e redução dos erros de captura. - Captura da região de corte ao nível do solo: De maneira a promover melhor entendimento da condição original da amostra antes do processo de corte, fotos adicionais ao nível do solo passaram a ser coletadas em conjunto as imagens do drone. - Padronização da área de corte: O processo de coleta era condicionado a categoria da amostra, contudo por questões de padronização e simplificação das correlações e métricas, a área de coleta foi convencionada para uma área comum quadrada de 1 m2. - Implementação de um quadro de coleta: Complementando a padronização da área discutida, uma das principais melhorias do processo de coleta, reside na utilização de um quadro com a mesma dimensão da região da coleta, proporcionando para as imagens aéreas a fácil e direta identificação do local de corte. Este artifício, auxiliou muito na definição precisa do local de geração dos dados, facilitando e garantindo a devida correlação das informações. - Remoção dos marcadores de nível e de posição de coleta: Como consequência a este novo processo, os demais marcadores de nível e posição, puderam ser removidos, reduzindo o ruído visual da imagem, além de simplificar a logística em campo para captura dos dados.

[040] Um outro ponto importante dessa fase de coleta (a) é a diferença observada devido a fatores ambientais, como estações do ano e estiagem, como apresentado na Figura 2. Em uma mesma localidade, a diferença substancial entre o visual da cobertura vegetal é um fator crítico a ser considerado, e o método e o sistema desta invenção transpassam essa dificuldade. Assim, o algoritmo inteligente utilizado pelo software participante nesta invenção leva em consideração fatores ambientais, fatores do pasto e variáveis ruído.

[041] FATORES AMBIENTAIS

[042] Época do ano - A época do ano se mostrou altamente relevante para os resultados, podendo ser dividida essencialmente em 3 períodos: período de águas, período de secas, e um período de transição. Vale notar, ainda, que o período de transição ocorre de modo acelerado quando indo das secas para as águas, com um prazo máximo de cerca de algumas semanas, sendo consideravelmente mais lento no sentido inverso.

[043] Horário da coleta - O horário de captura das imagens afeta a cena pela inclinação da fonte luminosa, no nascente e no poente, alterando sua cromaticidade, e modificando de forma considerável as projeções de sombras. Tais fatores são grandes descaracterizadores da imagem e, portanto, esta invenção considera dois níveis distintos de operação para essa variável: o intervalo de operação durante o dia, das 10 às 16 horas, e das extremidades associadas a momentos além dos discutidos.

[044] Presença de sombras - Sombras podem ser geradas na imagem, por árvores, buracos e outros objetos estranhos na cena, ocasionando em dificuldades na classificação e até mesmo oclusões do pasto de interesse. Frente a esta alta descaracterização, atribuiu-se para as regiões de sombra uma classe específica, possibilitando a identificação da sombra com posterior tratamento isolado, se aplicável, ao invés de tentar inferir o pasto sob ela.

[045] Condição de iluminação - Outro aspecto importante trata-se das variações usuais de iluminação geradas por variações naturais das condições climáticas, destacando-se o tempo aberto, considerada a condição ideal de operação, o tempo nublado, marcada pela mudança de intensidade luminosa na captura, e tempos chuvosos e fechados, que foram descartados por representarem condições em que o drone não poderia levantar voo. Complementando a relação, a Figura 3 exemplifica a influência deste e outros fatores ambientais.

[046] FATORES DO PASTO

[047] Espécies - A separação dos bancos de dados em função de suas espécies evidenciou a grande variedade existente e, principalmente, as suas diferenças quanto à altura, à massa e a aspectos visuais. Visando reduzir o grande espectro de pastos, estes foram organizados em grupos de características similares, sendo proposta uma subdivisão em três grupos, com as espécies de tipo alto, médio e baixo.

[048] Altura/Massa - Este aspecto da coleta configura um dos principais fatores do planejamento amostral, dado o objetivo da tecnologia de promover classificação e estimativa das diferentes regiões da imagem. Assim foi necessária uma coleta que promova observações de todos os diferentes níveis de biomassa passíveis de serem visualizados no campo. Este requisito guiou as coletas, visando uma distribuição equilibrada das classes.

[049] Alguns outros fatores, embora não tenham sido manipulados e explicitados na invenção apresentada neste documento, podem ser considerados como facilmente aplicáveis, tais como fatores pluviométricos, inserção de espécies, acidentes ambientais e outros. O conteúdo aqui exposto não deve ser tratado como restritivo, podendo ser expandido, trabalhado e incorporado a diferentes variações e incrementações.

[050] VARIÁVEIS RUÍDO

[051] Locais de coleta - O local de coleta para treinamento do software oferece uma particular variedade de terreno, iluminação, objetos, animais e afins, assegurando a reprodutibilidade da solução.

[052] Relevo - A maior parte dos terrenos tratados possuem uma disposição plana e razoavelmente comportada, gerando imagens de regiões ortogonais de captura. Assim grandes desníveis e variações bruscas de relevo não foram diretamente contabilizadas, podendo ser facilmente adaptados. Por exemplo, a coleta de imagem angulada ou a associação de duas ou mais imagens coletadas em diferentes posições no entorno de uma região acidentada ou de elevado relevo permitiria a utilização da presente invenção.

[053] Condição do pasto - O pasto e a sua interação com o terreno podem apresentar diferentes níveis de qualidade, degradação e deficiências, podendo ser tratados com coletas aleatórias de imagem junto a considerações susceptíveis aleatoriamente a estas variações.

[054] Presença de invasoras - O nível, o tipo de invasão e a sua interação com o pasto também são fatores considerados ruído, podendo ser tratados pela expansão do portfólio de espécies, inclusão de subclasses ou reclassificação da imagem após análise inicial pelo software.

[055] O conjunto de informações de imagens e dados do campo, após coletados, são compilados, tratados e anotados de forma a compor um banco de dados centralizado, consolidando e catalogando as informações das condições de aplicações propostas. Esta estrutura possibilita o acompanhamento, direcionamento e principalmente os fundamentos para as atividades posteriores de tratamento e treinamento dos modelos desenvolvidos, análise estatística das imagens e obtenção de dados desejados.

[056] Em complemento a essa base centralizadora de dados, outras bases complementares de dados de extrema importância podem ser desenvolvidas e registradas, tendo como insumo as atividades de rotulação realizadas pelos especialistas da área agropecuária. Estas atividades têm o intuito de caracterizar os elementos presentes na cena por classificação em classes. Esse processo visa capturar a interpretação de olhos treinados sobre as condições da imagem, possibilitando o adequado treinamento de modelos de aprendizagem de máquina.

[057] A rotulação das regiões configura assim o insumo básico dos modelos tratados em sequência. Para suporte e velocidade, um sistema de realização dos rótulos foi implementado, facilitando a captura da percepção dos especialistas. As atividades de rotulação tiveram em princípio duas formas de atuação, denominadas de:

[058] Rotulação das classes: Rotulação manual e supervisionada das diversas regiões nas imagens, fazendo uso de todo conjunto de classes, sendo 5 níveis de biomassa, solo, sombra, árvore, daninha e animal. Esta atividade visa volume e qualidade das anotações, promovendo insumos suficientes para o desenvolvimento dos modelos.

[059] Rotulação das massas: Rotulação apenas das regiões de coleta considerando apenas os 5 níveis de biomassa, com o propósito de avaliar a correlação entre a percepção do especialista e os dados de altura e biomassa coletados. Esta atividade tem como propósito avaliar o desempenho dos anotadores e orientar os estudos de ajuste e calibração das estimativas.

[060] A Figura 4 visa ilustrar e promover maior entendimento das atividades de rotulação para as duas diferentes abordagens de classificação, em que é apresentado à esquerda um exemplo de processo de rotulação para classificação geral e, à direita, um exemplo de processo de rotulação com enfoque apenas na área de coleta.

[061] FUNCIONALIDADES DO SOFTWARE

[062] Quanto ao software de rotulação, destacam-se importantes características que conferem otimizada experiência ao usuário. - Ferramentas de seleção: Possibilidade de selecionar individualmente os blocos, assim como uma área em formato de caixa que permite ao usuário a seleção de múltiplos componentes. - Opção de esconder a grade da imagem: Para facilitar a visualização da imagem original, foi implementada a opção de esconder ou habilitar a grade de blocos da imagem. - Botões de avançar e voltar imagem: Considerando a operação em múltiplas imagens, foram implementados dois botões que permitem ao usuário avançar para a próxima imagem ou regredir para a imagem anterior, agilizando o processo de navegação. - Salvar automaticamente: Para garantir a integridade dos dados e evitar retrabalhos, a cada rotulação do usuário o trabalho é salvo de forma automática. - Caixa de seleção de espécie: De maneira a associar os apontamentos das classes a sua respectiva espécie, uma caixa de seleção, com algumas espécies inicialmente fornecidas, foi implementada. Este processo permite a classificação de múltiplas espécies por imagem. - Caixa de seleção de usuário: Visto a necessidade de avaliar a consistência e reprodutibilidade das anotações, e consequente melhoria no processo de estimação. Uma lista de usuários foi implementada, possibilitando a identificação e resgate automático das atividades do autor. - Campos visuais de referência de bloco: Foram implementados dois campos visuais que permitem ao usuário selecionar dois blocos de sua escolha que sirvam como parâmetros para que possa se referenciar durante as classificações. - Consistência na marcação: Para garantir consistência nas rotulações, o software só permite que sejam realizadas as marcações das classes quando a imagem estiver com zoom entre 75% ou 100%. - Sistema de cores e legenda: Para uma melhor gestão visual da anotação, um sistema baseado em um padrão intuitivo de cores foi utilizado para demarcar as classes, alterando a tonalidade das regiões anotadas. - Contador e legenda de cores: Um campo de visualização das legendas e contagem de classes foi implementado para orientar a anotação. - Fluxo para rotulação das massas: Para as atividades de rotulação de massa, o sistema aprimora a navegação de maneira a minimizar o tempo de anotação, fixando o zoom em 75% e centralizando a imagem próximo ao ponto de coleta.

[063] FASE DE MODELAGEM

[064] Os desafios técnicos foram divididos e abordados com a concepção de três diferentes modelos, que são utilizados em sequência para obtenção das variáveis resposta desejadas, são eles: - Modelo de cobertura vegetal: Modelo para promover interpretação aos elementos constituintes da imagem. Promove como saída um mapa de classes, possibilitando entre outras a avaliação da cobertura vegetal da área. - Modelo de estimativa de biomassa: Modelo capaz de estimar a biomassa em função das classes de biomassa promovidas pelo modelo anterior e do grupo de espécies e época sob análise, em outras palavras, converte a medida compreendida na escala de 0 a 5 em valores reais de massa por área. - Modelo de estimativa de altura: Modelo que correlaciona para cada grupo de espécie e época as informações de massa e altura, isto é, retorna a altura equivalente a um determinado valor de massa.

[065] A interação dos modelos, assim como suas entradas e saídas, podem ser ilustradas através do fluxo da Figura 5.

[066] A Figura 6 apresenta a seleção automática de regiões com um voo à 50 metros, junto a um zoom em destaque da própria imagem para observação dos detalhes da seleção. É possível visualizar a flexibilidade da malha irregular gerada, capaz de contornar os diferentes elementos, adequadamente os separando em cada classificação previamente informada.

[067] A partir da subdivisão discorrida, a segunda etapa de processamento de imagens visa promover descrição matemática a cada um dos blocos, transformando a imagem em conjuntos de números que a descrevem. Assim, uma série de descritores foram implementados e aplicados aos blocos de forma a destacar características de interesse, buscando promoção das diferenças entre as classes. Em síntese, os descritores fizeram uso da estatística descritiva em combinação a processamentos de imagens envolvendo: espaços de cor, índices de cor, formato, textura entre outros. Para exemplificar o potencial dos descritores utilizados, alguns dos processamentos aplicados podem ser visualmente observados nas imagens da Figura 7.

[068] Em um fluxo paralelo, a imagem como um todo é também descrita e classificada por meio de operações de processamento de imagens, com intuito de promover suporte às operações de treinamento e estimativa, aprimorando o desempenho dos métodos de aprendizagem de máquina, suas operações são as que seguem e podem ser visualizadas também na Figura 8.

[069] Com base nas informações levantadas pelo processamento de imagens, e no direcional definido para a estratégia de aprendizagem de máquina, uma série de desenvolvimentos, tentativas, melhorias e ajustes foram realizados para concepção do modelo, sendo os principais explanados brevemente em sequência: - Seleção dos dados de treinamento: A anotação dos três rotuladores foram combinadas para formar uma nova referência de treinamento, gerando dados de treinamento aprimorados. Esta combinação considerou a experiência e avaliações de desempenho dos rotuladores. - Balanceamento dos dados: Devido a distribuição natural das classes nas imagens ser altamente desbalanceada, algoritmos de balanceamento foram empregados, realizando corte de dados excedentes e simulando novos dados para as classes de baixa ocorrência. - Modelo de aprendizagem selecionado: Ao fim das avaliações o modelo de árvores de decisão aleatórias foi o selecionado, por apresentar o melhor compromisso de adequação a complexidade e volume dos dados de entrada, redução dos efeitos do desbalanceamento e sobre ajuste, além de possibilitar a criação de diversos tipos e variações de modelos de aprendizagem de máquina. - Combinação de modelos: Visando um melhor aproveitamento do volume de dados de treinamento e maior precisão para as estimativas dos níveis de biomassa, uma abordagem por combinação de modelos foi empregada. Para as principais épocas do ano (secas e águas) um modelo de classificação, denotado como geral, faz uso de todos os dados disponíveis no período e tem o objetivo de reconhecer e diferenciar: solo, capim e outros materiais. Já os modelos de regressão definidos como especialistas, são treinados para cada grupo de espécies e tem o objetivo apenas de diferenciar os níveis de biomassa. O resultado compreende a combinação seletiva de ambos, substituindo as classes do capim, por um valor contínuo, entre 0 e 5, proveniente da regressão; - Hiperparâmetros do modelo: Trabalhando com os compromissos de complexidade, desempenho, tempo de inferência e sobre ajuste, diversos hiperparâmetros dos modelos de árvores aleatórias foram extensivamente testados e avaliados.

[070] As avaliações que guiaram essa definição de estrutura e parâmetros tiveram como base um extenso conjunto de testes, com mais de 300 configurações distintas, tendo como direcional as respostas quantitativas baseadas nas principais métricas de desempenho de modelos de classificação (acurácia, F1-score, AUROC e matriz de confusão) e regressão (coeficiente de determinação, erro médio quadrático), assim como resultados qualitativos com a aplicação dos modelos e avaliação dos especialistas a imagens reais de campo. Os resultados dos modelos escolhidos poderão ser visualizados nas Figuras 12A a 12F e 13A a 13D.

[071] A Figura 9 apresenta uma sequência ilustrativa das operações sob um recorte de imagem aérea da espécie Marandu na época das águas, sendo um exemplo de forma a evidenciar as escolhas da arquitetura final para a modelagem da cobertura. Ainda, A Figura 10 traz um protótipo funcional da interface, com destaque aos principais campos de interação. a) Área de visualização da imagem, b) Área de resultados, c) Menu lateral esquerdo, d) Menu de opções. As classificações são realizadas por cores indicativas, segundo o exposto nas Figuras 11A a 11D. As cores são atribuídas aos elementos: solo(C0), árvore (C1), massa vegetal do tipo daninha ou invasora (C2), sombra ou região sombreada (C3), animal (C5), massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4). A categoria massa vegetal (C6) representa um intervalo contínuo de valores entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível.

[072] Para a construção dos modelos de estimativa de massa, algumas alternativas foram exploradas, ponderando o volume de informação e suas condições de obtenção. Dentre os dados disponíveis tem-se para cada imagem catalogada a coleta de uma região delimitada de massa e altura, assim como para algumas imagens sua classificação correspondente pela rotulação. Além disto de forma a complementar e expandir a quantidade de dados, foram consideradas para a concepção do modelo os dados totais da rotulação, isto é, a anotação das classes em múltiplos pontos nas imagens.

[073] Esta adição de informação se mostrou importante devido o relativo baixo volume das informações combinadas de massa e imagens, impedindo pela dimensionalidade do problema a implementação de modelos de regressão complexos regidos por abordagens de aprendizagem de máquina, tanto de forma direta, com a regressão dos descritores da imagem para os dados de massa, quanto de forma indireta com a correlação das classes com os dados de massa. Vale, contudo, ressaltar que estas abordagens têm potencial para serem reavaliadas em caso de aumento dos dados de coleta em campo.

[074] Dadas as condições expostas a abordagem adotada considerando cada uma das principais épocas (secas e águas) teve como conjunto de premissas e direcionais os seguintes pontos: - A rotulação por possuir um alto volume de dados (mais de 400 mil pontos) e ser realizada sob diferentes imagens aleatoriamente selecionadas, tendem a refletir a realidade prática da distribuição das classes em cada época; - De maneira análoga, o levantamento de dados de massa, apesar de menos recorrentes, visa também acompanhar a distribuição de massa da época; - Ao fim do desenvolvimento, estima-se que os modelos de classificação terão alta aderência ao rotuladores, tornando as proposições de distribuição válidas; - Para a regressão dos modelos foi considerada os valores de massa acumulada fornecidos em kg/ha.

[075] Nas reivindicações apresentadas neste documento, o único objetivo das referências entre parênteses é facilitar a leitura: elas não podem ser consideradas como fatores restritivos no que diz respeito ao campo de proteção reivindicado nas reivindicações específicas.

Claims (9)

1. MÉTODO DE ANÁLISE E PROCESSAMENTO DE IMAGENS PARA ESTIMATIVA DE COBERTURA VEGETAL POR MEIO DE SOFTWARE E GERAÇÃO DE MALHA, caracterizado por gerar uma malha por Inteligência Artificial, em que - os elementos de malha subdividem, identificam e classificam os elementos da imagem em árvore (C1), massa vegetal do tipo daninha ou invasora (C2), sombra ou região sombreada (C3), animal (C5), solo (C0), massa vegetal (C6) ou em outro elemento não pertencente a nenhuma categoria (C4), e - as identificações e classificações são dadas por treinamento do software e em função dos parâmetros de imagem, que incluem época ano, período o dia, dado geoespacial de coleta de imagem, altura em relação ao solo da posição de captura da imagem, condições pluviométricas e período de estio; sendo a malha gerada via software treinado com algoritmo inteligente em aprendizagem de máquina, de modo que os elementos de malha definem uma malha de distribuição heterogênea, e - a massa de forragem pode ser obtida pela análise e processamento de uma única imagem.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a categoria massa vegetal (C6) apresenta uma resposta contínua entre 0 e 5, indicando proporcionalmente a quantidade da massa vegetal disponível, considerando a espécie observada e condições ambientais.

3. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a escala contínua da categoria de massa vegetal de 0 a 5 é convertida em uma escala real de biomassa, em que a conversão se dá por utilização de dados históricos das espécies e condições ambientais.

4. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o treinamento do software é realizado por imagens colhidas in situ, em que - cada imagem é colhida em tréplica, e - são colhidas imagens para diferentes fatores ambientais como época do ano, diferentes horários de coleta, com diferentes incidências solares e para diferentes condições naturais de iluminação, e - para diferentes fatores de pasto, como existência de diferentes espécies componentes da massa vegetal, observação de diferentes alturas e massas de cobertura vegetal, e - para diferentes variáveis ruído de imagem, como elementos intrusivos não-vegetais, presença de animais, terreno acidentado, terreno com alto relevo e elementos intrusivos vegetais, - de modo que o software com algoritmo de Inteligência Artificial é configurado para identificação de imagens com minimização de erro de classificação por ruído visual.

5. MÉTODO, de acordo com a reivindicação 4, caracterizado pelo fato de que a imagem é colhida em altitudes de 10m, configurando a imagem colhida no solo, até 250m.

6. MÉTODO, de acordo com as reivindicações 4 e 5, caracterizado pelo fato de que a imagem é colhida por uma câmera acoplada a um veículo aéreo do tipo drone, sendo qualquer um dentre manobrado por um operador no local, manobrado por um operador remotamente, semiautomatizado ou automatizado.

7. MÉTODO, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de ser aplicado para estimativa de massa verde.

8. SISTEMA DE COLETA DE IMAGENS, PROCESSAMENTO E ANÁLISE PARA ESTIMATIVA DE COBERTURA VEGETAL COM UMA ETAPA DE COLETA DE IMAGENS, UMA ETAPA DE TRATAMENTO E ROTULAÇÃO DE ELEMENTOS DAS IMAGENS E UMA ETAPA DE CLASSIFICAÇÃO DOS DADOS, caracterizado pelo fato de que a etapa de coleta de imagens é realizada por uma câmera acoplada a um veículo de direção remota, e as etapas de tratamento e rotulação de elementos e de classificação dos dados são realizadas em um software segundo o método de análise da reivindicação 1.

9. SISTEMA, de acordo com a reivindicação 8, caracterizado pelo fato de ser aplicado para a estimativa de massa de forragem em pastagens.