BR112020003713A2 - aparelho e método para coleta de dados agrícolas e operações agrícolas - Google Patents

Abstract

Aspectos da presente divulgação podem incluir, por exemplo, a obtenção de dados de vídeo a partir de uma única câmara monocular, em que os dados de vídeo compreende uma pluralidade de molduras, em que a câmara é ligada a um robô móvel que se desloca ao longo de uma faixa definida por uma linha de colheitas, em que a linha de culturas, inclui uma primeira haste da planta, e em que a pluralidade de quadros incluem uma descrição da haste primeira fábrica; a obtenção de dados de velocidade do codificador de robô(s), em que o codificador (s) estão ligados ao robot; realizando a extração de primeiro plano em cada um da pluralidade de quadros de dados de vídeo, em que os resultados de extração em primeiro plano uma pluralidade de imagens de primeiro plano; e determinar, com base na pluralidade de imagens de primeiro plano e baseado nos dados de velocidade do robô, uma largura estimativa da primeira haste da planta. Formas de realização adicionais são revelados.

Description

APARELHO E MÉTODO PARA COLETA DE DADOS AGRÍCOLAS E OPERAÇÕES AGRÍCOLAS REFERÊNCIA CRUZADA A PEDIDO(S) RELACIONADO(S)

[0001] O presente pedido reivindica o benefício de prioridade para o Pedido de Patente Provisório dos Estados Unidos N°. 62/688.885, protocolado em 22 de junho de 2018, a divulgação do qual é incorporada por referência neste documento em sua totalidade (incluindo cada Apêndice nele anexado).

[0002] O presente pedido também reivindica o benefício de prioridade para o Pedido de Patente Provisório dos Estados Unidos N°. 62/596.506, protocolado em 8 de dezembro de 2017, cuja divulgação é incorporada por referência neste documento em sua totalidade (incluindo cada Apêndice nele anexado).

[0003] O presente pedido também reivindica o benefício de prioridade para o Pedido de Patente Provisório dos Estados Unidos N°. 62/550.271, protocolado em 25 de agosto de 2017, cuja divulgação é incorporada por referência neste documento em sua totalidade (incluindo cada Apêndice nele anexado).

DECLARAÇÃO DE PESQUISA PATROCINADA PELA FEDERAÇÃO

[0004] Esta invenção foi realizada com o apoio governamental no âmbito do TERRA-MEPP: DOE-DE-AR0000598 concedido pelo Departamento de Energia. Esta invenção também foi realizada com o apoio governamental sob DE-AR0000598 concedido pela Agência de Projetos de Pesquisa Avançada de Energia. Esta invenção também foi feita com apoio governamental sob DE-AR0000598 concedido pelo Departamento de energia dos Estados Unidos; e sob 1720695 concedido pela Fundação de Ciência Nacional. O governo tem certos direitos sobre a invenção.

CAMPO DA DIVULGAÇÃO

[0005] A divulgação em questão se refere geralmente a um aparelho e um método para coleta de dados agrícolas e operações agrícolas. Mais especificamente, várias modalidades da divulgação em questão se referem à estimativa da largura do caule da cultura com base em robô (por exemplo, em um ambiente de campo altamente desordenado). Além disso, várias modalidades da divulgação em questão se referem à fenotipagem baseada em robô usando aprendizado profundo.

ANTECEDENTES

[0006] A fenotipagem de planta é a quantificação dos efeitos das diferenças genotípicas (ou seja, diferenças na composição genética) e do ambiente no fenótipo exibido (ou seja, a aparência e comportamento da planta) [29A] (várias referências aqui identificadas são às vezes referidas por número seguido por uma letra, por exemplo, 1A, 2A, 1B, 2B, etc.). De acordo com a Organização das Nações Unidas para Alimentação e Agricultura, experimentos em larga escala em fenotipagem de plantas são um fator chave para reproduzir culturas melhores que são necessárias para alimentar uma população em crescimento e fornecer biomassa para energia, usando menos água, terra e fertilizantes. A necessidade de uma fenotipagem em grande escala, mais compreensiva, e eficiente tornou-se cada vez mais premente recentemente devido a um clima em constante evolução [22A] e às mudanças demográficas nas áreas rurais. No entanto, os métodos convencionais de fenotipagem são limitados principalmente a medições manuais em campo, o que é trabalhoso, consome tempo, e carece de suficiência e precisão. Isso criou um chamado gargalo de fenotipagem no aumento do rendimento agrícola

[13A], [2A].

[0007] Nos últimos anos, várias tentativas foram feitas para automatizar o processo de fenotipagem de plantas usando uma ampla gama de sensores envolvendo sensoriamento remoto multiespectral e hiperespectral, imagens de infravermelho térmico, imagens de fluorescência, imagem 3D, imagem tomográfica e imagem em luz visível [19A]. A imagem visível é uma forma prática, eficiente em termos de energia e econômica de medir vários fenótipos de plantas. Certas abordagens recentes [10A], [17A], [23A], [15A], [28A], [6A], [32A], [8A] tentam modelar plantas usando técnicas de imagem e reconstrução 3D. No entanto, essas abordagens foram tipicamente testadas em ambiente simulado ou em ambientes monitorados extensivamente, como uma estufa. Os métodos e algoritmos acima mencionados não foram tipicamente implementados em campos agrícolas reais, onde o nível de incerteza é muito alto (por exemplo, devido a mudanças nas condições de iluminação durante diferentes horários do dia e durante diferentes estações, variação da cor e tamanho da planta em diferentes estágios de crescimento, desordem de fundo, e vários outros fatores). Hoyos-Villegas et al. (ver [16A] V. Hoyos-Villegas, JH Houx, SK Singh e FB Fritschi. Ground-based digital imaging as a tool to assess soybean growth and yield. Crop Science, 54: 1756–1768, 2014. doi:

10.2135 / cropci2013.08.0540) e Chen et al. (ver [7A] Yuhao Chen, Javier Ribera, Christopher Boomsma e Edward Delp. Locating crop plant centers from uavbased rgb imagery. Na Conferência Internacional IEEE sobre Visão Computacional (ICCV), outubro 2017) tente fazer experimentos em condições de campo e usar imagens digitais para avaliar soja e sorgo,

respectivamente: Hoyos-Villegas et al. [16A] desenvolveram uma ferramenta de imagem digital portátil para avaliar o rendimento da soja, enquanto Chen et al. [7A] usa imagens RGB baseadas em Sistemas Aéreos Não Tripulados (UAS) para localizar centros de plantas de sorgo em um campo, mas atinge uma precisão de apenas 64% a 66%.

[0008] Embora haja um enorme potencial de aprendizado profundo e visão computacional na fenotipagem de plantas, tornou-se claro que os desafios que surgem na fenotipagem de plantas diferem significativamente das tarefas usuais abordadas pela comunidade de visão computacional [29A]. No contexto da fenotipagem robótica, um desafio é a falta de conjuntos de dados rotulados e com curadoria disponíveis para treinar redes profundas em condições de campo realistas.

[0009] Minervini et al. (ver [24A] Massimo Minervini, Andreas Fischbach, Hanno Scharr e Sotirios A. Tsaftaris. Finely-grained annotated datasets for image-based plant phenotyping. Pattern Recognition Letters, 81:80 – 89, 2016. ISSN 0167-8655. doi: https://doi.org/10.1016/j.patrec.2015.10. 013. URL http://www.sciencedirect.com/science/article/pii/S016786551 5003645) fornece um conjunto de dados de plantas rosetas em vasos ao longo de vários estágios de crescimento, onde cada segmento de folha das plantas é rotulado com uma cor diferente (ver [21A] M. Minervini, A. Fischbach, H. Scharr e SA Tsaftaris. Plant phenotyping datasets, 2015. URL http://www.plant-phenotyping.org/datasets). Muitos trabalhos recentes usaram este conjunto de dados para atingir alta precisão na contagem de folhas e tarefas de segmentação [1A], [33A], [30A], [9A]. Giuffrida et al. (ver [14A] Mario

Valerio Giuffrida, Hanno Scharr e Sotirios A. Tsaftaris. ARIGAN: synthetic arabidopsis plants using generative adversarial network. CoRR, abs/1709.00938, 2017. URL http://arxiv.org/abs/1709.00938) aumente este conjunto de dados gerando imagens realistas de plantas de roseta usando redes adversárias geradoras. Pound et al. (ver [27A] Michael Pound, Jonathan A. Atkinson, Darren M. Wells, Tony P. Pridmore e Andrew P. French. Deep learning for multi-task plant phenotyping. bioRxiv, 2017. doi: 10.1101/204552. URL https://www.biorxiv.org/content/ early / 2017/10/17/204552) fornece um novo conjunto de dados para espigas de trigo, analise as espigas e conte-as. No entanto, as condições neste conjunto de dados diferem significativamente daquelas no campo, com dados obtidos em campo de um robô em movimento tendo um alto nível de desordem, semelhança de objetos, luz solar variável, borrão de movimento, e oclusões.

[00010] Com relação agora em particular à estimativa da largura do caule, é notado que a largura do caule das plantas combustível é um fenótipo importante que determina o conteúdo de biomassa da planta. A largura do caule também é importante para identificar se há alguma planta com atraso de crescimento em um determinado campo. Apesar de sua importância, acredita-se que convencionalmente não existem práticas de campo eficientes para a medição da largura do caule. A prática convencional normalmente envolve agrônomos treinados indo manualmente para os campos e medindo os caules usando calibradores Vernier (veja, por exemplo, a FIG. 2). Essa técnica é lenta, imprecisa, sujeita a riscos e exige muito trabalho. Jin e Zakhor (ver [18A] Jihui Jin e Avideh Zakhor. Point cloud based approach to stem width extraction of sorghum. 2017) propõem um algoritmo para estimar a largura de caule a partir de dados de nuvem de pontos 3D coletados por um robô equipado com um sensor de profundidade (sensor ToF). Baharav et al. (ver [3A] Tavor Baharav, Mohini Bariya e Avideh Zakhor. In situ height and width estimation of sorghum plants from 2.5d infrared images) usar 2 câmeras infravermelhas montadas em um robô e aplicar técnicas de processamento de imagem para estimar a altura e largura das plantas. No entanto, acredita-se que nenhum desses algoritmos de estimativa de largura existentes ainda foram validados em configurações de campo para precisão e validade sob alta desordem e mudanças nas condições de campo.

[00011] Além disso, a população de plantas desempenha um papel vital nos sistemas agrícolas devido à sua forte influência no rendimento de grãos [1B] - [6B]. Vários estudos concluíram que o rendimento de grãos por unidade de área segue uma função parabólica da população de plantas [1B], [3B], [7B]. Em outras palavras, existe uma população de plantas ideal que maximiza o rendimento de grãos, onde o valor ideal depende de uma série de fatores ambientais, como nitrogênio, solo e precipitação [8B] - [10B]. Portanto, a medição precisa da população de plantas pode fornecer informações valiosas para estimar o rendimento de grãos.

[00012] A técnica predominante da indústria atual para contagem de estande de milho em estágios iniciais de crescimento é a contagem manual. Este processo exige muito trabalho intenso e está sujeito a erros. Na literatura, várias abordagens de contagem de plantas de milho têm sido propostas. As culturadeiras costumam empregar um sensor mecânico que consiste em uma haste acionada por mola acoplada a um potenciômetro rotativo [11B]. No entanto, o método não é aplicável aos estágios iniciais de crescimento, pois é destrutivo.

Thorp et al. [12B] desenvolveram um algoritmo para estimar a densidade do estande de plantas de milho usando imagens aéreas hiperespectrais, mas este método não pode ser usado em estágios posteriores de crescimento, ou seja, quando o dossel “fecha”. Em contraste com os métodos aéreos, os métodos baseados no solo podem ser utilizados ao longo da estação de cultivo.

Em técnicas baseadas em solo, os sensores investigados incluem Lidar [13B], [14B], câmera Tempo-de-Vôo (ToF) [15B] e ponteiros laser [16B], [17B]. No entanto, esses sensores normalmente não fornecem discriminação suficiente entre o milho e o material circundante e, portanto, estão sujeitos a grandes erros de medição.

Em particular, eles não podem diferenciar facilmente entre folhas de milho, detritos e ervas daninhas, o que pode acionar um sinal semelhante ao de talos de milho na medição.

Portanto, os estudos envolvendo esses sensores foram limitados a campos livres de ervas daninhas (o que é impraticável em campos de produção) ou sofreram erros graves de interferência de ervas daninhas.

As câmeras RGB monoculares, por outro lado, têm o potencial de identificar talos de milho contra um fundo complexo.

No entanto, diferenciar plantas de milho em ambientes agrícolas desordenados na presença de ervas daninhas, folhas sobrepostas e condições variáveis de iluminação é um problema de visão de máquina altamente desafiador.

Shrestha e Steward calcularam uma superfície de decisão elipsoidal no espaço de cores RGB para segmentar a vegetação de fundo em sua tentativa de contar estandes de milho [18B]. Vegetações localizadas além de um limiar de distância da localização média foram consideradas ervas daninhas. Esta heurística é altamente simplificada e não robusta para as condições do mundo real, portanto (acredita-se) só foi demonstrada em condições de pouca erva daninha.

[00013] As técnicas convencionais de aprendizado de máquina requerem considerável conhecimento específico de domínio para projetar cuidadosamente um extrator de recursos para transformar dados brutos (por exemplo, valores de pixel de uma imagem) em um espaço de recursos apropriado onde os classificadores podem detectar padrões na entrada. Em contraste, o aprendizado profundo é um conjunto de métodos que permite o treinamento e a previsão de ponta a ponta. Os modelos de aprendizado profundo recebem entrada de dados brutos e aprendem automaticamente as representações da estrutura interna dos dados. Normalmente, um modelo de aprendizado profundo consiste em vários módulos, cada um dos quais aumenta ligeiramente o nível de abstração da representação anterior. Quando esses módulos são usados o suficiente, estruturas muito intrincadas podem ser aprendidas de modo que padrões relevantes sejam reconhecidos, enquanto variações irrelevantes são suprimidas. O aprendizado profundo fez um tremendo progresso em áreas que confundiram o aprendizado de máquina tradicional por muitos anos, incluindo o reconhecimento de imagem [20B], [22B].

[00014] Métodos de aprendizado profundo têm se mostrado capazes de reconhecer estruturas e recursos complexos na presença de ruído pesado. Hoje, as redes neurais profundas estão se aproximando do nível humano no reconhecimento de imagem em dados da Internet [19B] - [22B]. No entanto,

acredita-se que atualmente não existe nenhum algoritmo de contagem de estande de milho baseado em visão de máquina (utilizando aprendizagem profunda ou não) que seja robusto a ruído do mundo real, condições variáveis de iluminação e implementável em tempo real em um equipamento ultracompacto robô em movimento.

[00015] Redes neurais convolucionais (CNN ou ConvNets) são uma classe de métodos de aprendizagem profunda que processam dados de matriz multidimensional. A estrutura de um ConvNet típico é composta de várias camadas de neurônios conectados de maneira em série, e os neurônios em cada camada são organizados em mapas de recursos. No entanto, em vez de conectividade densa em redes neurais totalmente conectadas, os neurônios em ConvNets são conectados apenas a um pacote local de seus predecessores. Esses neurônios realizam uma soma ponderada (convolução) nos mapas de recursos da camada anterior. A soma é então ativada por uma função não linear antes de passar para a próxima camada. Todos os neurônios em um mapa de características compartilham o mesmo conjunto de pesos (filtro), e mapas de características diferentes têm filtros diferentes. O arranjo de conectividade local e compartilhamento de peso explora características de imagens que grupos locais de valores são frequentemente altamente correlacionados e padrões locais são invariáveis para a localização. Esta arquitetura dá ao ConvNets vantagens distintas no reconhecimento de imagem. Por exemplo, AlexNet [20B], um ConvNet de 5 camadas, venceu a Competição de Reconhecimento Visual de Grande Escala ImageNet (ILSVRC) 2012 [25B] com desempenho significativamente superior em relação a outras abordagens concorrentes. Desde então,

ConvNets se tornaram onipresentes em várias aplicações relacionadas à visão computacional [26B] - [30B]. Nos últimos anos, várias arquiteturas ConvNet foram propostas [19B], [21B], [22B], [31B], [32B]. O melhor modelo registra 3,57% de taxa de erro entre os 5 primeiros na classificação de imagens [19B], com um ser humano médio em torno de 5%.

[00016] Além disso, os sistemas agrícolas experimentam uma variedade de estressores que reduzem o rendimento ao longo de seu ciclo de vida. Esses estressores incluem agentes externos, como doenças, insetos, animais, etc., estresse de deficiência de nutrientes, como deficiência de nitrogênio, fósforo, etc., ou estresse de fatores externos, como danos devido a equipamentos de campo pesados ou clima. É importante detectar rapidamente esses estressores para que as tarefas de gerenciamento para neutralizar seus efeitos possam ser informadas.

[00017] Se um veículo / robô / organismo dirige / caminha / opera sobre uma cultura, diz-se que danifica a cultura se suas atividades deixarem um efeito permanente e duradouro na planta que afeta sua saúde, reduz seu rendimento ou a mata completamente. Por exemplo, a FIG. 35 mostra marcas de pneus em um campo que levaram a danos permanentes e diretos devido à passagem de equipamento pesado. Um equipamento também pode danificar indiretamente a cultura, por exemplo, a FIG. 36 mostra a compactação do solo devido a equipamentos pesados, que neste caso resultou em rendimento zero, mas em outros pode reduzir significativamente o rendimento.

[00018] Além disso, a falta de tecnologias de baixo custo e alto rendimento para fenotipagem de campo é um dos obstáculos mais importantes que afetam a reprodução de culturas. Conforme descrito neste documento, a fenotipagem é a medição de plantas, incluindo métricas simples, como emergência, largura do caule, altura da planta; recursos mais sofisticados, como biomassa total, ângulos foliares, índice de área foliar; e propriedades complexas, como refletância hiperespectral e espectros de emissão de fluorescência. A fenotipagem permite que os criadores de sementes e cientistas agrícolas identifiquem e selecionem genótipos que levam a características desejáveis. A incapacidade de coletar dados fenotípicos de maneira confiável e de baixo custo pode criar um gargalo no progresso de reprodução de sementes. Esta lacuna crítica pode prejudicar significativamente o rendimento agrícola, limitando a reprodução de culturas com maior potencial de rendimento, culturas que podem resistir com eficácia a estresses abióticos, como calor, seca, enchentes, etc., e impedindo a previsão precisa de rendimento.

[00019] Além disso, para os produtores, a medição de fenótipos simples, como contagem de estande de cultura e biomassa, fornece uma estimativa precisa do rendimento, quando combinada com modelos de rendimento da cultura. Fenótipos simples, como contagem de estande de planta e biomassa são indicadores precoces e precisos do rendimento da cultura. A capacidade de prever com segurança o rendimento da cultura no início da estação de crescimento pode ter um impacto significativo no lucro financeiro que um produtor pode esperar. O fator mais significativo que afeta a capacidade preditiva dos modelos estatísticos e biofísicos de produção de culturas tem sido a falta de conjuntos de dados agronômicos de alta resolução. Coletar esses dados manualmente é trabalhoso e caro. O trabalho agrícola qualificado e disposto está em declínio.

[00020] A fenotipagem de laboratório para células e outros pequenos organismos foi feita, assim como a fenotipagem usando correias transportadoras ou outros mecanismos em uma estufa. No entanto, esses métodos têm se mostrado difíceis de mover em campos para fenotipagem de alto rendimento. O método caixa de luz (lightbox) de fenotipagem consiste em mover uma caixa com radiação ativa sobre uma planta para obter informações fenotípicas com sensores. No entanto, é difícil mover esse método para configurações de campo. Além disso, requer sua própria fonte de luz, ao contrário de várias modalidades aqui divulgadas, que funcionam com fontes de luz ambiente. Plataformas de fenotipagem montadas em feixe de grande escala estão disponíveis, no entanto, esses sistemas são muito caros e requerem uma infraestrutura bastante pesada e elaborada. Isso torna impraticável para uma grande variedade de reprodutores e produtores usar esses sistemas. Equipamentos grandes montados em trator ou equipamentos montados em grandes robôs podem danificar a planta permanentemente, até mesmo matá-la, se o trator / robô / equipamento passar por cima da planta. Além disso, a fenotipagem normalmente requer viagens repetidas pelo campo várias vezes por temporada; o equipamento pesado (por exemplo, equipamento montado em trator) pode compactar o solo, o que é indesejável para o rendimento. Vários softwares e algoritmos estão disponíveis para analisar imagens fenotípicas de diferentes sensores ou por meio de sensoriamento remoto. No entanto, os dados de sensoriamento remoto normalmente não conseguem penetrar no dossel com resolução suficientemente alta.

[00021] O gerenciamento dos sistemas de cultura inclui atividades como poda, descarte, remoção de ervas daninhas, amostragem, cultura, pulverização, semeadura, desbaste e lavração. Tradicionalmente, essas atividades são realizadas manualmente, o que exige muito trabalho, ou por meio de dispositivos puxados por tratores. Dispositivos inteligentes puxados por tratores que podem identificar e pulverizar seletivamente produtos químicos em plantas indesejáveis nos sistemas agrícolas estão disponíveis. No entanto, os sistemas puxados por trator são impraticáveis quando o dossel da cultura cresce. Além disso, esses sistemas pesados causam compactação do solo, o que é indesejável para o rendimento. Além disso, esses sistemas podem danificar as plantas quando passam por cima delas ou roçam nelas. O sistema ROWBOT fornece um mecanismo robótico para aplicação de nitrogênio. No entanto, sistemas como o sistema ROWBOT podem danificar as plantas se passarem por cima delas. Koselka et al. ensina um sistema robótico para observação e gerenciamento na videira. No entanto, o robô não garante que as plantas cultivadas não sejam danificadas durante a operação ou se ele passar por cima delas.

[00022] Os produtos agrícolas são altamente comoditizados. Na ausência de qualquer diferenciador importante, os agricultores são pressionados a competir nos preços de seus produtos. O aumento do rendimento agrícola criou uma oferta abundante de produtos agrícolas em certas geografias. Os grãos podem ser armazenados por longa duração em silos de grãos. Legumes e frutas podem ser transportados rapidamente de seu local de produção para um local de consumo a um custo razoável em muitas geografias.

Como resultado, os produtores estão sob crescente pressão de preços.

A margem de lucro do agricultor é o lucro líquido que ele pode esperar obter após o pagamento das sementes, insumos (como fertilizantes, pesticidas, inseticidas e outros produtos químicos) e custos de gerenciamento, que inclui custo de mão de obra e financiamento de equipamentos.

A crescente pressão de custos torna importante para os produtores terem acesso a mecanismos de observação de baixo custo que podem informar as decisões sobre a aplicação ou não de entradas.

O custo de um mecanismo de observação baseado em solo inclui seu custo de fabricação, custo de distribuição e custo operacional.

O custo de fabricação depende, entre outras coisas, do material com que é construído, do mecanismo de propulsão se ele é autopropelido, da complexidade do mecanismo de atuação para seu giro e atravessamento do campo e dos componentes eletrônicos que pode utilizar.

Robôs mais pesados normalmente são mais caros de manobrar, assim como robôs complexos que requerem cremalheira e pinhão e outros mecanismos para girar.

Robôs mais pesados também são normalmente difíceis de transportar, exigindo maiores custos de transporte e distribuição.

Robôs mais pesados também são normalmente caros de operar, uma vez que podem facilmente danificar plantas se passarem por cima delas, eles também podem danificar propriedades ou pessoas se colidirem com eles e requerem mais força para puxar seu peso, o que leva a um aumento de combustível / custos de eletricidade.

Robôs mais pesados também tipicamente compactam o solo e danificam as plantas, o que acarretará em custos devido à redução no rendimento.

[00023] Uma classe diferente de mecanismo de observação dos robôs terrestres são os robôs aéreos. Tem havido trabalho de observação aérea de campos agrícolas para fenotipagem e outras funções agronômicas para informar o gerenciamento do campo. A observação aérea pode ser realizada usando veículos aéreos não tripulados (por exemplo, drones), aeronaves tripuladas ou satélites. Cada plataforma tem vantagens e desvantagens exclusivas em comparação umas às outras. No entanto, a observação aérea apenas revela os sintomas de estresse que são visíveis do topo do dossel. Isso pode incluir mudança na cor das folhas, plantas abertamente danificadas ou áreas de baixo crescimento. A observação aérea pode ser conduzida usando imagens de espectro RGB (visual) ou imagens com múltiplos espectros que não são visíveis a olho nu. A observação aérea normalmente não revela as características do dossel, nem revela defeitos menores e indicadores precoces de estresse nas plantas, especialmente quando as plantas estão apenas emergindo e não são facilmente visíveis em imagens aéreas. Além disso, os drones aéreos de última geração normalmente têm uma resistência muito limitada, especialmente os drones do tipo multi-rotor (que normalmente só têm uma resistência de 10-30 minutos), tornando mais difícil para eles cobrir em detalhes áreas maiores. Além disso, a operação desses robôs pode ser cara devido à regulamentação, durabilidade limitada, maior custo de fabricação e segurança.

[00024] Métodos de detecção aérea emergentes incluem sensores baseados em radiação ativa, incluindo radares, Lidars e sensores de sonar. No entanto, além dos custos normalmente proibitivos, esses sensores aéreos normalmente não têm resolução suficiente para revelar os primeiros indicadores de estresse. Esses sensores aéreos normalmente têm alcance limitado e, como tal, só podem ser usados em aeronaves tripuladas ou não tripuladas em baixa altitude, onde o peso, a potência e a taxa de atualização do sensor normalmente tornam inviável o uso desses sensores.

[00025] Muitas doenças de plantas, infestações de insetos e tensões de nutrientes se manifestam na interface entre o solo e a planta e não são normalmente visíveis por meio de técnicas baseadas em observação aéreo. Indicadores de alguns estressores também são visíveis mais perto do caule. Esses indicadores iniciais também não são normalmente detectáveis por meio de observação aérea. Portanto, a exploração próxima ao solo ou sob o dossel é essencial na detecção precoce de estressores agrícolas.

[00026] Como resultado das deficiências da observação aérea e da falta de robôs de exploração de solo satisfatórios que tenham baixo custo e não danifiquem as plantas, o método predominante para a observação agrícola é manual ou "a pé", onde um agrônomo treinado percorre o campo. O agrônomo pode inspecionar as plantas visualmente ou tirar amostras de plantas ou solo. Os agrônomos normalmente têm pelo menos um diploma de bacharelado e muitos possuem graus superiores. Este método é coloquialmente denominado como observação com botas no solo. No entanto, este método de observação exige muita mão de obra e pode ser caro devido aos altos custos associados à contratação e suporte de agrônomos. Além disso, campos úmidos e enlameados são inviáveis para um agrônomo atravessar, e campos grandes levam muito tempo para atravessar. Além disso, não há dados da atividade de observação de campo além dos relatórios qualitativos fornecidos pelo agrônomo. Tem havido um interesse crescente na coleta de dados sob o dossel e dados próximos ao solo que podem ser usados em dutos baseados em dados para informar melhores decisões agrícolas.

[00027] Isso levou a um interesse crescente na utilização de plataformas robóticas para a exploração agrícola. No entanto, existem desafios não resolvidos significativos no escotismo agrícola robótico de longa temporada sem arriscar danos às plantas em uma pluralidade de culturas, geografias e ambientes. A prática comum para a agricultura é a cultura em linhas. Mas o tamanho da linha é variável. As culturas também têm vários estágios de crescimento. Quando são muito jovens, eles são pequenos e estão em fase de muda, conforme começam a crescer as plantas crescem de forma diferente. Algumas culturas, como cereais à base de grama, foram cultivadas para crescer de maneira vertical; mas outras, como a soja e outras culturas à base de videira, tendem a crescer mais horizontalmente. O espaçamento entre linhas na agricultura moderna também é altamente variável. Para o milho nos Estados Unidos, pode variar de 28 polegadas (71,12 centímetros) a 32 polegadas (81,28 centímetros), para soja nos Estados Unidos varia de menos de 15 polegadas (35,56 centímetros) a 30 polegadas (76,2 centímetros). O espaçamento entre linhas em diferentes países e geografias também é diferente, por exemplo, no sudeste da Ásia, um espaçamento entre linhas de soja de 6 polegadas (15,24 centímetros) ou menos pode ser encontrado.

[00028] Além disso, práticas agrícolas emergentes, como policulturas ou culturas de cobertura, levam a campos agrícolas com linhas mal definidas ou inexistentes. Algumas fazendas podem não ter espaçamento entre linhas bem definido se não usarem tratores guiados por GPS. O Robotanist é um robô de fenotipagem agrícola desenvolvido por pesquisadores da CMU em 2016. O robot é construído sobre uma estrutura de metal e carrega uma série de sensores necessários para uma fenotipagem altamente precisa. No entanto, este robô pesa cerca de 300 libras (136,08 quilogramas). e pode danificar significativamente as plantações ao passar por cima delas.

[00029] A Patente dos Estados Unidos Nº 8.381.501 emitida em 26 de fevereiro de 2013 descreve um robô de reconhecimento agrícola para operação em videiras. Parece que este robô não garante que as plantas cultivadas não sejam danificadas durante a operação ou se passar por cima delas. Além disso, parece que o robô não tem necessariamente a capacidade de girar em uma linha. Na verdade, parece que não há limites superiores nas especificações de tamanho ou peso.

[00030] Existem andarilhos comercialmente disponíveis que podem caber em algumas linhas de cultura (28 - 32 polegadas (71,12 – 81,28 centímetros) de largura), no entanto, esses andarilhos não são normalmente projetados especificamente para coleta de dados agrícolas e fenotipagem. A robótica Clear Path desenvolveu vários andarilhos para aplicações externas. A série Clear Path Jackal começa perto de US $ 10 mil para a plataforma vazia com alguma capacidade computacional. Outros sensores podem ser adicionados a um custo extra. O andarilho normalmente não vem com a capacidade de processar os dados dos sensores para fornecer a medição fenotípica necessária. No entanto, o Chacal tem apenas cerca de 2,5 polegadas (6,35 centímetros) de distância ao solo,

isso combinado com seu custo de plataforma relativamente alto não o torna um candidato aceitável para a exploração agrícola. Husky, é um andarilho maior da Clear Path, mas com uma largura de 26,4 polegadas (67,05 centímetros), é difícil para ele se deslocar confortavelmente em uma cultura típica de milho (milho) e não pode se deslocar em linhas típicas de soja. Além disso, os andarilhos Clear Path normalmente não vêm integrados com sensores e sistemas necessários para tarefas de aferição agrícola, como contagem de estande automatizada, determinação do ângulo do talo, estimativa da largura do talo ou estimativa de biomassa.

[00031] Os robôs robóticos estão disponíveis em Robotnik, Omron Adept technologies e ROWBOT. Robôs mais tradicionais baseados em pista de baixa folga também estão disponíveis na QinetiQ, Naio, Fendth e iRobot. Embora muitas opções prontas para uso estejam disponíveis, esses dispositivos normalmente carecem de uma integração de um conjunto de sensores, tecnologias de autonomia, software, capacidade de gravação de dados e modularidade de integração de sensor para fenotipagem de planta, especificamente fenotipagem de planta sob o dossel.

[00032] O sistema ROWBOT é projetado para ser inserido em linhas de culturas agrícolas para aplicação de fertilizantes. No entanto, o ROWBOT é pesado, movido por motores a diesel e pode danificar permanentemente as plantações se passar por cima delas. Parece que o sistema mal se encaixa em linhas de milho. O espaçamento das linhas do milho pode variar entre 28-32 polegadas (71,12 – 81,28 centímetros) e, conforme mencionado anteriormente, o espaçamento das linhas da cultura pode ser muito menor ou inexistente nas práticas agrícolas predominantes. O sistema também carrega tanques de fertilizantes pesados. Como tal, não é viável explorar campos agrícolas com este sistema sem risco de danos às plantas. Além disso, acredita-se que o ROWBOT não pode virar em uma linha. O sistema utiliza sensores de contato para localizar as bordas das linhas de cultura e permanecer no meio das linhas. No entanto, esses tipos de sensores não funcionam quando as plantas cultivadas são muito pequenas.

BREVE DESCRIÇÃO DOS DESENHOS

[00033] Agora será feita referência aos desenhos anexos, que não são necessariamente desenhados em escala e em que:

[00034] FIG. 1A representa uma imagem 101 de uma planta de roseta a partir do conjunto de dados fornecido por Minervini et al. (ver [24A] Massimo Minervini, Andreas Fischbach, Hanno Scharr e Sotirios A. Tsaftaris. Finely- grained annotated datasets for image-based plant phenotyping. Pattern Recognition Letters, 81:80 – 89, 2016. ISSN 0167-

8655. doi: https://doi.org/10.1016/j.patrec.2015.10 013. URL http://www.sciencedirect.com/science/article/ pii / S0167865515003645).

[00035] FIG. 1B representa uma imagem 111 adquirida de um robô (de acordo com uma modalidade) em condição de campo real com um alto nível de desordem, luz solar variável, desfoque de movimento e oclusão (como visto em comparação com a FIG. 1A, as imagens obtidas por robôs são muito diferente dos conjuntos de dados disponíveis).

[00036] FIG. 2 representa uma imagem 201 de um exemplo de uma prática convencional de medição manual da largura de caule usando compassos de calibre vernier (esta prática manual é normalmente complicada, ineficiente e imprecisa).

[00037] FIG. 3A representa um desenho CAD de uma modalidade de um robô de fenotipagem 300 (às vezes referido neste documento como "TerraSentia"). Este tipo de robô foi usado para a aquisição de certos dados, conforme descrito neste documento. Conforme visto nesta Figura, o robô inclui o seguinte: Antena GPS (número de referência 301); Sensor hiperespectral Bayspec (número de referência 302; sensor hiperespectral de Bayspec (voltado para o lado) (número de referência 303); Radiador para o sistema de refrigeração de líquido (número de referência 304); Montagem para Sensor 3D Intel RealSense (número de referência 305); Sensor visual integrado (número de referência 306); Sensor LIDAR (número de referência 307); Sensor visual integrado (número de referência 308); Suporte de GPS para sensor multiespectral RedEdge (número de referência 309); RedEdge sensor multiespectral (número de referência 310).

[00038] FIG. 3B representa o robô TerraSentia 320 de uma modalidade movendo-se autonomamente através de uma linha de sorgo de 30 polegadas (76,2 centímetros) de largura e fortemente desordenada.

[00039] FIG. 4 representa uma vista frontal do robô TerraSentia 402 de uma modalidade em uma pista de 30 polegadas (76,2 centímetros) entre a linha de cultura 1 e a linha de cultura 2. Esta Fig. Mostra a colocação da câmera 404, a luz 406 e LIDAR 408 (neste exemplo, o campo de visão da câmera é 600 e o espaçamento lateral entre as rodas é de 14 polegadas (35,56 centímetros)).

[00040] FIG. 5 mostra uma imagem 501 de uma vista aérea de um campo de sorgo de 80 acres (32,375 hectares) (Maxwell

Field, Savoy, IL, EUA), consistindo de 960 lotes de sorgo de diferentes genótipos de Sorgo.

[00041] FIG. 6 mostra uma estrutura algorítmica 601 de acordo com uma modalidade. Esta estrutura algorítmica de acordo com uma modalidade inclui: (1) Extração de primeiro plano (ver Algoritmo 1A (mostrado como pseudo-código) fornecido abaixo); (2) Estimativa de movimento da câmera do SFM (consulte o Algoritmo 2A (mostrado como pseudocódigo) fornecido abaixo); (3) Estimativa de distância lateral usando LIDAR ou outros sensores de alcance; (4) Estimativa de largura usando LIDAR e SFM (ver Algoritmo 3A (mostrado como pseudo-código) fornecido abaixo).

[00042] FIG. 7 representa um quadro de vídeo 701 de acordo com uma modalidade. Como pode ser visto nesta figura, a janela 702 (marcador retangular) é colocada no lado esquerdo do quadro de vídeo. O centro do quadro aparece desfocado, mas nenhum desfoque é visível dentro da janela à esquerda.

[00043] FIGS. 8A-8F representam etapas sequenciais de uma modalidade para extração de primeiro plano a partir de uma janela recortada de um quadro de vídeo atual (ver o pseudocódigo do Algoritmo 1A fornecido abaixo). Conforme visto nestas FIGS. (mostrando as imagens 801, 803, 805, 807, 809 e 811), essas etapas sequenciais incluem: FIG. 8A - Janela não processada fn com alta desordem; FIG. 8B - Bordas da imagem da FIG. 8A após detecção de borda Canny; FIG. 8C - Dilatação da imagem da FIG. 8B; FIG. 8D - Erosão da imagem da FIG. 8C; FIG. 8E - Inversão da imagem da FIG. 8D; FIG. 8F - Extração de primeiro plano e alisamento removendo componentes indesejados da imagem da FIG. 8E após CCL

(rotulagem de componente conectado) e aproximação de casco convexo, respectivamente.

[00044] FIGS. 9A-9D (mostrando as imagens 901, 903, 905 e 907) representam o alisamento de primeiro plano de uma modalidade: FIGS. 9A e 9C representam (para uma primeira imagem e uma segunda imagem, respectivamente) um primeiro plano áspero após CCL; FIG. 9B (correspondendo à primeira imagem da FIG. 9A) representa um primeiro plano liso depois de se aproximar do casco convexo em torno do objeto de interesse; FIG. 9D (correspondendo à segunda imagem da FIG. 9C) representa um primeiro plano liso depois de aproximar o casco convexo em torno do objeto de interesse.

[00045] FIGS. 10A-10D (mostrando as imagens 1001, 1003, 1005 e 1007) representam a visualização em escala de cinza do fluxo óptico denso usando Farnebäck ([11A] Gunnar Farneback. Two-frame motion estimation based on polynomial expansion. Em Proceedings of the 13th Scandinavian Conference on Image Analysis, SCIA'03, páginas 363-370, Berlin, Heidelberg, 2003. Springer-Verlag. ISBN 3-540-40601-

8. URL http://dl.acm.org/ citation.cfm? Id = 1763974.1764031) algoritmo na direção do movimento do robô (de acordo com uma modalidade) por 5 janelas consecutivas. Cor mais clara significa velocidade mais alta (consulte o Algoritmo 2A (mostrado como pseudocódigo) fornecido abaixo).

[00046] FIG. 11 representa uma imagem 1101 mostrando a largura do pixel ( ) de acordo com uma modalidade em N locais diferentes (N = 8) de um caule de sorgo 1102. Neste exemplo, as larguras de pixel (de cima para baixo) são 33, 36, 41, 47, 43, 39, 39 e 38 (apenas duas dessas larguras de pixel são identificadas separadamente na Fig.).

[00047] FIG. 12 representa um gráfico 1201 que mostra a distribuição de medições manuais, Largura LIDAR de acordo com uma modalidade e Largura SFM de acordo com uma modalidade em 18 Parcelas de sorgo no campo de Maxwell.

[00048] FIG. 13 representa um gráfico 1301 que mostra a variação da medição manual por planta no lote 17MW0159. 3 medições foram feitas por planta para todas as plantas no lote. Desvio padrão: 0,256 polegadas (0,650 centímetros).

[00049] FIGS. 14A-14D representam, de acordo com uma modalidade, estimativa de largura (em polegadas) para sorgo: FIG 14A - Um quadro de vídeo típico 1401 para o lote 17MW0159 com janela 1402 marcada. WSi (escuro) e WLi (claro) são observados dentro da janela 1402. WS (escuro) e WL (claro) são colocados no canto esquerdo inferior. V: Velocidade de robô instantânea, D: Distância entre o robô e a planta medida pelo LIDAR); FIG. 14B - Distribuição da largura do SfM em todos os quadros do vídeo; FIG. 14C - Distribuição da largura do LIDAR em todos os quadros do vídeo; FIG. 14D - Distribuição da largura de medição manual para todas as plantas da lote.

[00050] FIGS. 15A-15C representam, de acordo com uma modalidade, estimativa de largura (em polegadas) para milho: FIG. 15A - Um quadro de vídeo típico 1501 com janela 1502 marcada. WSi (escuro) e WLi (claro) são observados dentro da janela 1502. WS (escuro) e WL (claro) são colocados no canto esquerdo inferior. V: Velocidade de robô instantânea, D: Distância entre o robô e a planta medida pelo LIDAR); FIG. 15B - Distribuição da largura do SfM em todos os quadros do vídeo; FIG. 15C - Distribuição da largura do LIDAR em todos os quadros do vídeo. eixo x: largura em polegadas, eixo y:

frequência normalizada.

[00051] FIGS. 16A-16C representam, de acordo com uma modalidade, estimativa de largura (em polegadas) para o cânhamo: FIG. 16A - Um quadro de vídeo típico 1601 com a janela 1602 marcada. WSi (escuro) e WLi (claro) são observados dentro da janela 1602. WS (escuro) e WL (claro) são colocados no canto esquerdo inferior. V: Velocidade de robô instantânea, D: Distância entre o robô e a planta medida pelo LIDAR); FIG. 16B - Distribuição de largura de SfM em todos os quadros do vídeo; FIG. 16C - Distribuição da largura do LIDAR em todos os quadros do vídeo. eixo x: largura em polegadas, eixo y: frequência normalizada.

[00052] FIGS. 17A-17C representam imagens 1701, 1703 e 1705 mostrando vários cenários problemáticos. FIG. 17A representa uma folha que se parece com um caule (tamanho, forma, excentricidade e orientação semelhantes), causando uma detecção falsa. FIG. 17B representa um caule quase completamente ocluído por uma folha, uma situação em que a detecção falha. FIG. 17C representa luz solar irregular, que provavelmente produzirá larguras inconsistentes.

[00053] FIG. 18 representa um método ilustrativo 1801 de acordo com uma modalidade (este método pode operar, por exemplo, no sistema da FIG. 21).

[00054] FIG. 19 representa um método ilustrativo 1901 de acordo com uma modalidade (este método pode operar, por exemplo, no sistema da FIG. 21).

[00055] FIG. 20 representa um método ilustrativo 2001 de acordo com uma modalidade (este método pode operar, por exemplo, no sistema da FIG. 21).

[00056] FIG. 21 representa uma representação diagramática ilustrativa 2100 de uma máquina na forma de um sistema de computador dentro do qual um conjunto de instruções, quando executado, pode fazer com que a máquina realize qualquer uma ou mais das metodologias divulgadas neste documento.

[00057] FIGS. 22A-22D representam várias ilustrações de um robô terrestre de acordo com uma modalidade. Uma câmera RGB montada em um lado do robô grava vídeo enquanto o robô atravessa duas linhas de milho. A câmera (nesta modalidade) tem um campo de visão de 60° e aponta para baixo a 35°. FIG. 22A mostra um desenho CAD do robô (desta modalidade) com a câmera voltada para o lado. FIG. 22B mostra o robô (desta modalidade) em um campo de milho entre duas filas. FIG. 22C mostra uma vista superior do robô (desta modalidade). FIG. 22D mostra uma vista posterior (do robô desta modalidade).

[00058] FIGS. 23A e 23B representam uma ilustração esquemática de um sinal de reconhecimento de milho (ver FIG. 23B) para um ambiente particular (ver FIG. 23A). A ROI (região de interesse) se move com a câmera (veja a ROI mostrada como o retângulo vertical na seção do meio da FIG. 23A). À medida que o ROI varre a linha de plantas de milho, o modelo retorna um sinal positivo quando o milho está presente no ROI e um sinal negativo quando o milho está ausente do ROI.

[00059] FIG. 24 representa plantas de milho cujo espaçamento é menor que a largura da ROI.

[00060] FIG. 25 representa uma arquitetura da MobileNet. Cada camada de convolução é seguida pela normalização em lote e ativação ReLU. [33B]

[00061] FIGS. 26A e 26B representam (de acordo com várias modalidades) exemplos de: (a) casos normais (ver FIG. 26A) onde um único milho aparece na ROI (aqui, o movimento relativo entre a câmera e o milho T ≈ w; e ( b) exceções (ver FIG. 26B) onde as plantas de milho vizinhas estão muito próximas para serem separadas (neste caso, T ≈ d + w).

[00062] FIG. 27 representa um gráfico relacionado a certa Validação (contagem de milho em campo).

[00063] FIG. 28 representa um gráfico relacionado a certa Validação (contagem de milho em campo).

[00064] FIGS. 29A e 29B representam exemplos de obscurecimento quase total por folhas. As imagens não são recuperáveis pelo algoritmo de aprendizado profundo, o que leva à subestimação da população.

[00065] FIG. 30 representa um fluxograma de um método (de acordo com uma modalidade) para determinar a população de plantas.

[00066] FIG. 31 representa um diagrama de blocos de uma modalidade de um aparelho para determinar uma população de plantas para um campo de plantas.

[00067] FIG. 32 representa um diagrama de blocos de uma modalidade de um aparelho para calcular uma população de plantas.

[00068] FIG. 33 representa uma visão geral de um ângulo de câmera adaptável e abordagem de controle de caminho de robô de acordo com uma modalidade.

[00069] FIGS. 34 e 356 representam danos à cultura causados por equipamentos agrícolas (FIG. 34 mostra que o trator deixa danos permanentes aos estandes. FIG. 35 mostra a compactação do solo devido ao equipamento agrícola pesado, o solo compactado rende menos).

[00070] FIG. 36 representa uma modalidade ilustrativa de um aparelho que pode operar como um robô agrícola para coletar dados sem danificar as culturas (esta FIG. Mostra um desenho do robô com um conjunto de sensores: 3601 - antena GPS; 3602 - sensor hiperespectral Bayspec; 3603 - Sensor hiperespectral Bayspec (voltado para o lado); 3604 - Radiador para sistema de resfriamento de líquido; 3605 - Suporte para sensor 3D Intel RealSense; 3606 - Sensor visual integrado; 3607 - Sensor LIDAR; 3608 - Sensor visual integrado; 3609 - Suporte GPS para sensor multiespectral RedEdge ; 3610 - sensor multiespectral RedEdge).

[00071] FIG. 37 representa modalidades ilustrativas de rodas que não são utilizadas no robô da FIG. 36 (exemplos de projetos de roda com falha ou indesejáveis - da esquerda, distância ao solo muito baixa e muita pressão, meio resultou em escavação do solo e danos às plantas, à direita muito escorregamento causando danos).

[00072] FIG. 38 representa um diagrama esquemático de uma seção transversal do robô agrícola da FIG. 36 (esta FIG. Mostra um diagrama eletrônico interno mostrando como o projeto hospeda um conjunto de eletrônicos em um espaço muito compacto).

[00073] FIG. 39 representa um diagrama esquemático de vários componentes do robô agrícola da FIG. 36 incluindo processadores, sensores, motores e uma estação base.

[00074] FIG. 40 representa uma vista superior esquemática do robô agrícola da FIG. 36 ilustrando um centro de gravidade.

[00075] FIGS. 41A-41E representam várias vistas de uma modalidade ilustrativa de um aparelho que pode operar como um robô agrícola para coletar dados sem danificar as culturas.

[00076] FIGS. 42A-42D representam várias vistas de uma modalidade ilustrativa de dimensão para um aparelho que pode operar como um robô agrícola para coletar dados sem danificar as culturas (como visto nestas FIGS., Em um exemplo: a altura do corpo do robô pode ser de 5,5 polegadas (13,97 centímetros) (consulte a dimensão "A"); uma largura total do robô pode ser de 18 polegadas (45,72 centímetros) (consulte a dimensão "B"); a largura do motor / eixo pode ser de 3,25 polegadas (8,25 centímetros) (consulte a dimensão "C"); uma altura do robô (de o solo até a parte superior do corpo) pode ter 11,25 polegadas (28,57 centímetros) (consulte a dimensão "D"); o diâmetro da roda pode ser 7,5 polegadas ( 19,05 centímetros) (consulte a dimensão "E"); uma altura total do robô (incluindo mastro GPS e antena) pode ter 18,25 polegadas (46,35 centímetros) (consulte a dimensão “F”); a altura do mastro do GPS e da antena pode ser de 7 polegadas (17,78 centímetros) (consulte a dimensão “G”); e a distância ao solo pode ser de 6 polegadas (15,24 centímetros) (consulte a dimensão “H”).

[00077] FIG. 43 representa o desempenho de rastreamento para um aparelho (de acordo com uma modalidade) que pode operar como um robô agrícola para coletar dados sem danificar as culturas.

[00078] FIGS. 44A e 44B representam o desempenho de rastreamento para um aparelho (de acordo com uma modalidade) que pode operar como um robô agrícola para coletar dados sem danificar as culturas.

[00079] FIG. 45 representa uma modalidade ilustrativa de um aparelho que pode operar como um robô agrícola para a aplicação de produtos químicos.

DESCRIÇÃO DETALHADA

[00080] Conforme descrito neste documento, são novos algoritmos para estimativa da largura do caule da cultura (por exemplo, sob alta desordem em um campo agrícola usando um pequeno robô móvel). Os sensores usados de acordo com um exemplo são de baixo custo, consistindo em uma câmera RGB monocular voltada para o lado (ELPUSBFHD01M, EUA), um LIDAR 2D (2-D Hokuyo UTM-30LX) e codificadores de roda para estimar a velocidade de robô. Os sensores são montados em um pequeno (por exemplo, <15 lb) robô de fenotipagem (às vezes referido aqui como TerraSentia) que pode atravessar linhas de cultura em um campo agrícola usando o LIDAR.

[00081] É fornecido neste documento, de acordo com uma modalidade, um algoritmo de processamento de imagem projetado para extrair o primeiro plano na presença de uma desordem significativa de folhas e caule, vista de outras linhas e iluminação variável. A extração pode ser baseada em dados de uma câmera USB voltada para o lado em um robô em movimento. Usando o primeiro plano extraído, um algoritmo fornecido neste documento usa a proporção entre a velocidade estimada do robô dos codificadores de roda e a velocidade do pixel do fluxo óptico denso para estimar a profundidade usando uma abordagem de estrutura de movimento (SfM) (com relação aos codificadores de roda, é notado que o GPS não funciona bem sob o dossel da cultura devido a erros de múltiplos caminhos e atenuação, portanto, a velocidade do codificador é uma estimativa aceitável da velocidade de robô, especialmente em velocidades baixas, quando as rodas não escorregam excessivamente. O SfM é adaptado conforme descrito neste documento para fenotipagem em condições de campo desordenado e não estruturado.

[00082] Conforme descrito neste documento, é uma validação de várias técnicas em campos de sorgo de biomassa. Algoritmos de acordo com várias modalidades foram comparados com lotes medidos manualmente disponíveis em um teste de campo de melhores práticas de 80 Acre (32,375 hectares) em uma universidade líder. Um agrônomo treinado usou práticas padrão da indústria para medir a largura média do caule de 18 lotes. Vários algoritmos fornecidos neste documento correspondem às medições do agrônomo dentro da faixa permitida de erro definida por uma agência de supervisão (8%). A correspondência de estimativa de largura encontrada foi de 92,5% (usando apenas visão) e 98,2% (usando visão e LIDAR), onde o tempo total de processamento para a execução de ambos os algoritmos é de 0,04 segundos por quadro de vídeo.

[00083] Acredita-se que as medições usando várias modalidades aqui descritas podem ser potencialmente mais precisas do que aquelas do agrônomo humano, especialmente dado que o agrônomo pode tipicamente medir apenas plantas limitadas e apenas em alguns lugares, enquanto os algoritmos fornecidos neste documento podem ser mais exaustivos.

[00084] Vários algoritmos apresentados aqui são de natureza bastante geral devido à sua utilização de princípios fundamentais de visão de máquina. Como tal, os algoritmos aqui apresentados podem ser utilizados com pouca modificação em outras plantas, conforme demonstrado por experimentos descritos abaixo nos campos de milho (Zea mays) e cânhamo (Cannibis). Portanto, os resultados aqui apresentados estabelecem a viabilidade do uso de pequenos robôs autônomos para estimativa de largura de caule em ambientes de campo realistas.

[00085] Em outros exemplos, a extração de primeiro plano e as técnicas de profundidade de robô para linha aqui descritas podem ser utilizadas para automatizar outras medições fenotípicas.

[00086] Agora será feita referência a vários aspectos de uma configuração experimental de acordo com certas modalidades. Mais particularmente, será feita referência primeiro a uma descrição do robô de acordo com uma modalidade. Nesta modalidade (ver, por exemplo, FIGS. 3A e 3B) um robô que é usado para aquisição de dados é um robô de fenotipagem de campo autônomo leve (por exemplo, <15 lb), ultracompacto, impresso em 3D (às vezes referido aqui como TerraSentia). A leveza e a construção cuidadosa das rodas ajudam a prevenir danos permanentes a qualquer parte da planta, mesmo se o robô passar por cima delas acidentalmente. A compactação permite que o robô atravesse facilmente entre linhas estreitas de cultura, especialmente em milho, cânhamo e sorgo, onde espaçamento de linha de 30” ou maior é comum. Cada roda do robô é alimentada por um motor separado com codificadores e os valores médios do codificador fornecem uma estimativa razoável da velocidade de robô. O robô viajou em vários exemplos a uma velocidade de cerca de 1,3 pés por segundo (0,4 m/s). Nessa velocidade, o robô cobre uma linha de um único lote de 3m por 3m de uma variedade de cultura em menos de 10 segundos e pode cobrir vários lotes em um período de tempo razoável. Além disso, nessa velocidade, o desfoque de movimento não foi considerado significativo na câmera (ELPUSBFHD01M, EUA) usada no robô. Câmeras com taxa de quadros mais alta podem permitir o aumento da velocidade de robô.

[00087] Ainda discutindo aspectos da configuração experimental, agora será feita referência a uma câmera e fonte de luz de acordo com uma incorporação. Nesta modalidade, conforme o robô atravessa as linhas de cultura, os dados de vídeo são adquiridos a 90 quadros por segundo com uma resolução de quadro de 640 x 480 pixels pela câmera do robô. A aquisição é realizada, neste exemplo, com uma câmera digital monocular RGB de baixo custo (ELPUSBFHD01M, EUA) montada na lateral do chassi do robô. A câmera, neste exemplo, tem uma visão de campo de 600. Uma fonte de luz LED comum e barata, tendo uma temperatura de cor de 3000K e fornecendo 60 lumens de luz, é instalada no chassi do robô próximo à posição da câmera para garantir amplo brilho sob o dossel escuro do sorgo. Isso é feito para evitar que o firmware da câmera aumente o tempo de exposição, o que pode causar borrão excessivo. Nesta modalidade do robô, não havia controle sobre o firmware da câmera. Os posicionamentos da câmera e da luz são mostrados na FIG. 4.

[00088] Ainda discutindo aspectos da configuração experimental, agora será feita referência à Aquisição de Dados de acordo com uma modalidade. Nesta modalidade, dados de vídeo, leituras de codificador (para estimativa de velocidade instantânea do robô) e dados de nuvem de pontos LIDAR (para estimativa de distância lateral) são adquiridos a 90 fps, 5 fps e 20 fps, respectivamente. Os dados do GPS também são registrados, no entanto, a precisão do GPS varia amplamente sob o dossel, portanto, os dados do GPS não são usados. Não havia unidade de medição inercial no robô desta forma de realização. Todos os resultados discutidos neste documento estão em uma configuração off-line com dados recuperados usando WiFi, no entanto, a alta velocidade e os baixos requisitos computacionais dos algoritmos apresentados indicam que em outra modalidade eles poderiam ser utilizados a bordo do robô. Em qualquer um dos casos, há pouco valor perdido ao fazer estimativas off-board, uma vez que os dados normalmente precisam ser recuperados para outros fins de qualquer maneira. Nesta modalidade, Python 2.7.12 com OpenCV

2.4.9.1 foi usado para o desenvolvimento de todo o código.

[00089] Ainda discutindo aspectos da configuração experimental, agora será feita referência a uma descrição dos Campos de Sorgo que foram usados. FIG. 5 mostra uma vista aérea de um campo de sorgo de 80 acres (32,375 hectares) (Maxwell Field, Savoy, IL, EUA), consistindo em 960 lotes de sorgo de diferentes genótipos de Sorgo. Todos os experimentos em sorgo discutidos aqui foram realizados no 80 Acre (32,375 hectares ) Maxwells Field, Savoy, Illinois, durante agosto a novembro de 2017. O campo consiste em 960 lotes de sorgo de tamanho 3m x 3m e espaçamento entre linhas de 30 polegadas (76,2 centímetros). A imagem aérea da FIG. 5 mostra a diferença de altura marcada devido aos diferentes genótipos em cada lote.

[00090] Agora será feita referência a uma Estrutura Algorítmica de acordo com várias modalidades. São apresentadas duas abordagens algorítmicas para estimativa robusta da largura do caule da cultura em condições de campo altamente incertas. Os algoritmos foram divididos em fases. A fase 1 (ver aqueles elementos acima da linha marcada como "Fase 1" na FIG. 6) é a mesma para ambos os algoritmos e envolve um algoritmo de processamento de imagem comum para extração de primeiro plano (ver o pseudocódigo do Algoritmo 1A fornecido abaixo). Fase 2 (ver os elementos abaixo da linha marcada "Fase 1" e acima da linha marcada "Fase 2" na FIG. 6) consiste na estimativa de profundidade usando estrutura de movimento e nuvens de pontos LIDAR para cada abordagem, respectivamente (os resultados finais de “Fase 2” não são identificados separadamente como uma “Fase”). A estrutura foi resumida na FIG. 6 e descrito em detalhes abaixo.

[00091] Referindo-se agora em particular à Fase 1: Extração de Primeiro Plano, é notado que uma janela de tamanho fixo é definida ao lado (neste exemplo, no lado esquerdo) de cada quadro de vídeo e apenas essa região é processada para extrair um limite de caule, se presente. O tamanho da janela usado neste exemplo foi o seguinte: Largura = largura_quadro / 4; Altura = 10 * altura_quadro / 11 (uma vez que o algoritmo usado nesta modalidade é robusto a ligeiras variações no tamanho da janela, outras dimensões podem ser usadas). A escolha deste tamanho é baseada em duas suposições válidas para a maioria dos campos de cultura: (1) A largura de caule não excede 4 polegadas (10,16 centímetros); (2) Os caules nunca se aproximam mais que 3 polegadas (7,62 centímetros) da lente da câmera sem desfocar. Este tamanho de janela funcionou para testes de validação e, portanto, é possível evitar o uso de uma janela de tamanho variável - isso evita cálculos desnecessários e redundantes (em outro exemplo, uma janela de tamanho variável poderia ser usada; em outro exemplo, a janela pode estenda a altura total do quadro). O posicionamento da janela é lateral (neste exemplo) em vez do centro, porque os quadros de vídeo às vezes desfocam em direção ao centro (por exemplo, devido ao pequeno espaçamento entre linhas), apesar da alta taxa de quadros (por exemplo, 90 fps) e luzes (ver, por exemplo, a luz no robô da FIG. 4). Conforme mencionado, neste exemplo, a janela foi colocada do lado esquerdo, mas escolher o lado direito também é aceitável. A colocação da janela 702 desta modalidade é mostrada na FIG. 7 A janela 702, colocada em cada quadro do vídeo bruto, é processada para descobrir se uma parte não ocluída do caule está visível. O restante do quadro de vídeo não precisa ser utilizado e isso é feito (neste exemplo) para reduzir a sobrecarga computacional. Nesta modalidade, descartar o resto do quadro não causa nenhuma perda de informação valiosa, uma vez que o robô atravessa toda a linha visitando cada planta, um por um, de modo que todas as partes do quadro passam pela janela escolhida em algum ponto no tempo. Nesta modalidade, uma abordagem de múltiplas janelas é evitada para reduzir a chance de contagem dupla da mesma planta várias vezes (o que distorceria a distribuição de largura estimada em toda a lote).

[00092] Com referência agora às FIGS. 8A-8F, estes representam as etapas sequenciais de uma modalidade para extração de primeiro plano de uma janela recortada de um quadro de vídeo atual (ver o pseudocódigo do Algoritmo 1A fornecido abaixo). Como visto, nesta modalidade, essas etapas sequenciais incluem: FIG. 8A - Janela não processada fn com alta desordem; FIG. 8B - Bordas da imagem da FIG. 8A após detecção de borda Canny; FIG. 8C - Dilatação da imagem da FIG. 8B; FIG. 8D - Erosão da imagem da FIG. 8C; FIG. 8E - Inversão da imagem da FIG. 8D; FIG. 8F - Extração de primeiro plano e alisamento removendo componentes indesejados da imagem da FIG. 8E após CCL (rotulagem de componente conectado) e aproximação de casco convexo, respectivamente.

[00093] Em geral, o pseudocódigo do Algoritmo 1A pode fornecer extração de primeiro plano do quadro de vídeo recortado do fundo desordenado da seguinte maneira: 1: procedure EDGES(fn). Função para retornar bordas (fe) do vídeo cortado quadro fn 2: procedure MORPH(fe).fe2: Função para realizar dilatação, erosão inversão nas bordas (fe) e retorno do primeiro plano desordenado (fe2) 3: procedure FOREGROUND(fe2). Função para realizar conectado rotulagem de componentes em fe2 para remover a desordem e para suavizar Mask de primeiro plano. Retorna fullMask de primeiro plano limpa e suave

[00094] Os detalhes do pseudo-código do Algoritmo 1A (extração de primeiro plano de quadro de vídeo recortado de fundo desordenado) são os seguintes:

[00095] Ainda com referência às FIGS. 8A-8F (e Algoritmo 1A): A.

Canny Edge Detection: Nesta modalidade, uma técnica de detecção de bordas Canny (ver, por exemplo, [5A] J.

Canny.

A computational approach to edge detection.

Transações IEEE em Análises de Padrão e Inteligência de Máquina, PAMI-8 (6):

679-698, novembro de 1986. ISSN 0162-8828. doi: 10.1109 / TPAMI.1986.4767851) é usado para descobrir as arestas como uma primeira etapa (ver, por exemplo, FIG. 8B). Essa técnica foi adotada aqui por causa de sua fácil disponibilidade e robustez sobre outras técnicas de detecção de borda disponíveis (como Sobel, Laplacian (consulte, por exemplo, [4A] Gary Bradski e Adrian Kaehler.

Learning OpenCV: Computer Vision in C++ with the OpenCV Library.

O'Reilly Media, Inc., 2ª edição, 2013. ISBN 1449314651, 9781449314651.). B.

Operações morfológicas: devido ao ruído e às condições variáveis de iluminação, as arestas obtidas na etapa anterior são frequentemente quebradas.

As bordas são fechadas usando dilatação morfológica seguida por erosão (ver, por exemplo, [4A] Gary Bradski e Adrian Kaehler.

Learning OpenCV: Computer Vision in C++ with the OpenCV Library.

O'Reilly Media, Inc., 2ª edição, 2013. ISBN 1449314651, 9781449314651) e invertendo a imagem (ver, por exemplo, FIGS. 8C, 8D e 8E). Neste exemplo, um kernel retangular de tamanho 25 x 3 é usado para dilatação seguido por um tamanho de kernel de 15 x 15 para erosão.

Usar um kernel retangular longo ajuda a restaurar as informações de largura horizontal; os gradientes verticais tornam-se distorcidos, o que não é significativo nesta modalidade.

C.

Remoção de componentes: A marcação de componentes conectados (CCL) é realizada para a extração do caule de uma imagem desordenada, como mostrado na FIG. 8E.

Isso pode ser executado, por exemplo, usando a biblioteca skimage em python (consulte, por exemplo, [12A] Christophe Fiorio e Jens Gustedt.

Two linear time union-find strategies for image processing.

Theoretical Computer Science, 154 (2): 165-181,

1996. ISSN 0304-3975. doi: https://doi.org/10.1016/0304- 3975(94) 00262-2. URL http://www.sciencedirect.com/science/ article / pii / 0304397594002622 e Kesheng Wu, Ekow Otoo e [34A] Kenji Suzuki.

Optimizing two-pass connected-component labeling algorithms.

Padrão Anal.

Appl., 12 (2): 117–135, fevereiro de 2009. ISSN 1433-7541. doi: 10.1007 / s10044- 008-0109-y.

URL http://dx.doi.org/10.1007/s10044-008-0109- y). Uma imagem rotulada é obtida em que cada componente branco da FIG. 8E é indexado de forma diferente.

Usando skimage as características essenciais de cada componente rotulado são medidas e os objetos que não têm as características desejadas de um caule são removidos.

Por exemplo, um caule deve ter tamanho maior do que a confusão de fundo, maior excentricidade do que a folha indesejada e orientação mais ereta do que os ramos divergentes.

Em um exemplo, são necessários apenas os componentes do caule que são cilíndricos e que são projetados como retângulos longos nos quadros de vídeo.

Se uma elipse for aproximada em torno deles, a excentricidade de tais elipses é alta (> 0,8). Em um exemplo, a restrição de orientação de 400 é fornecida à esquerda e à direita.

Essas três restrições (tamanho, excentricidade e orientação) removem a maior parte da desordem do fundo e dos componentes que não são do caule, como folhas ou outros objetos, como placas de sinalização ou sapatos de uma pessoa caminhando.

FIG. 8F mostra a imagem limpa após esta etapa.

D.

Aproximação do polígono: Uma máscara rugosa do caule de planta é obtida após o processo acima, que está limpa e sem componentes desnecessários.

Para suavizar a máscara, um casco convexo é encontrado desses conjuntos de pontos 2D usando o algoritmo Sklanskys (ver, por exemplo, [31A] Jack Sklansky. Finding the convex hull of a simple polygon. Pattern Recogn. Lett., 1 (2): 79-83, dezembro de 1982. ISSN 0167-8655. doi: 10.1016 / 0167-8655 (82) 90016-2. URL http://dx.doi.org/10.1016/0167-8655(82)90016-2). Isso é mostrado nas FIGS. 9A-9D: FIGS. 9A e 9C representam (para uma primeira imagem e uma segunda imagem, respectivamente) um primeiro plano áspero após CCL; FIG. 9B (correspondendo à primeira imagem da FIG. 9A) representa um primeiro plano liso depois de se aproximar do casco convexo em torno do objeto de interesse; FIG. 9D (correspondendo à segunda imagem da FIG. 9C) representa um primeiro plano liso depois de aproximar o casco convexo em torno do objeto de interesse.

[00096] Referindo-se agora em particular à Fase 2 (ver, por exemplo, FIG. 6), uma discussão será direcionada à estimativa de movimento da câmera como segue: A estrutura do movimento (SfM) é usada em uma modalidade para estimar a largura real dos caules a partir da largura em pixels. O problema SfM em visão computacional é o problema de recuperar a estrutura tridimensional de uma cena estacionária a partir de um conjunto de medidas projetivas, representadas como uma coleção de imagens bidimensionais, via estimativa do movimento da câmera. Em essência, SfM normalmente envolve as três etapas principais de: (1) extração de recursos em imagens e correspondência desses recursos entre imagens; (2) estimativa de movimento da câmera (por exemplo, usando posições de câmera pares relativas estimadas a partir dos recursos extraídos); e (3) recuperação da estrutura 3D usando o movimento e recursos estimados (por exemplo, minimizando o chamado erro de re-projeção) (ver, por exemplo, [26A] Onur

O¨zyesil, Vladislav Voroninski, Ronen Basri e Amit Cantor. A survey on structure from motion. CoRR, abs / 1701.08493,

2017. URL http://arxiv.org/abs/1701. 08493). As etapas (1) e (2) mencionadas acima são usadas em uma modalidade para determinar a velocidade média do pixel do primeiro plano limpo em cada quadro. O passo (1) acima é executado, por exemplo, usando o algoritmo de Gunnar Farnebäck (veja, por exemplo, [11A] Gunnar Farnebäck. Two-frame motion estimation based on polynomial expansion. Em Proceedings of the 13th Scandinavian Conference on Image Analysis, SCIA'03, páginas 363-370, Berlin, Heidelberg, 2003. Springer-Verlag. ISBN 3- 540-40601-8. URL http://dl.acm.org/citation.cfm?id=1763974.1764031.). Este algoritmo (veja o pseudocódigo do Algoritmo 2A abaixo) calcula o fluxo óptico denso para todos os pontos na janela e fornece uma matriz de 2 canais com vetores de fluxo óptico (Vx, Vy). FIGS. 10A-10D mostram a visualização em escala de cinza do fluxo óptico denso usando o algoritmo de Farnebäck na direção do movimento do robô (de acordo com uma modalidade) por 5 janelas consecutivas. Cor mais clara significa velocidade mais alta (consulte o Algoritmo 2A (mostrado como pseudocódigo) fornecido abaixo). Uma abordagem de óptica densa é adotada em vez de fluxo óptico esparso, que envolve o rastreamento de pontos característicos em quadros de vídeo (como o algoritmo Lucas Kanade (ver, por exemplo, [20A] Bruce D. Lucas e Takeo Kanade. An iterative image registration technique with an application to stereo vision. Em Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2, IJCAI '81, páginas 674- 679, San Francisco, CA, EUA, 1981. Morgan Kaufmann Publishers

Inc. URL http://dl.acm.org/citation.cfm?id=1623264.1623280)), devido à falta de pontos distintamente diferentes nos caules e folhas em um campo de sorgo.

Referindo-se agora novamente em particular à Fase 2 (ver, por exemplo, FIG. 6) uma discussão será direcionada para Estimativa de distância lateral usando LIDAR ou outros sensores de alcance. FIG. 4 mostra o sensor LIDAR montado no robô em um local possível. O LIDAR é um tipo de sensor de alcance ativo que usa um mecanismo de varredura para fornecer a distância dos objetos em seu alcance. Os retornos do LIDAR são conhecidos como nuvem de pontos. Embora o alcance do sensor LIDAR possa ser superior a 30m, as leituras significativas não ultrapassam alguns metros, porque o espaçamento entre linhas é (neste exemplo) inferior a 1m. A oclusão frequente por folhas e ervas daninhas interfere nas medições à frente da pista, portanto, os pontos muito próximos ao robô são descartados como desordem pelas folhas. A nuvem de pontos LIDAR pode ser usada para estimar a distância até a linha usando os pontos por uma média ponderada das distâncias dos pontos até a linha de travessia do robô.

[00097] Referindo-se agora novamente em particular à Fase 2 (ver, por exemplo, a FIG. 6), uma discussão será direcionada à Estimativa de Largura de dados SFM e LIDAR da seguinte forma: Uma máscara de primeiro plano branca limpa em fundo preto, que tem o mesmo comprimento e largura que a janela fixa, é obtida após a Fase 1, que é a máscara para o limite de caule desejado. N linhas horizontais imaginárias são desenhadas na imagem da máscara e para cada linha, o número de pixels brancos é registrado. Isto dá a largura em pixels ( ) em N locais diferentes do caule (como mostrado na FIG. 11). O processo de estimativa da largura real a partir da largura do pixel é descrito em mais detalhes como segue (veja, também, o pseudocódigo do Algoritmo 3A abaixo). Algoritmo 3A - Estimativa de largura

[00098] Ainda referindo-se à Fase 2, a estimativa de largura da abordagem SFM pode operar da seguinte forma: Para obter a largura real do caule WSi, cada WPi deve ser multiplicado com uma certa proporção R. A proporção da velocidade média horizontal do pixel de primeiro plano (VX) calculada conforme descrito acima (ver Estimativa de movimento da câmera), para a velocidade instantânea real (VR) do robô dá R, que é a proporção desejada (VR é obtidos, por exemplo, a partir das leituras do codificador). As Equações 1A, 2A e 3A abaixo mostram as etapas para o cálculo da largura de SfM. A largura (WS) obtida para uma determinada janela é a média de todos os WSi.

(1A) (2A) (3A)

[00099] Esta abordagem de usar SfM elimina a necessidade de usar sensores complexos como o REALSENSE ou câmera estéreo para estimar as informações de profundidade.

[000100] Ainda referindo-se à Fase 2, a estimativa de largura da abordagem de dados LIDAR pode operar da seguinte forma: A distância instantânea da câmera até a linha de cultura em consideração (D) é obtida conforme descrito acima (consulte Estimativa de distância lateral usando LIDAR ou outros sensores de alcance ) A largura do LIDAR WL é calculada de acordo com as Equações 4A e 5A.

(4A) (5A)

[000101] Conforme descrito acima, WS e WL são as saídas de duas abordagens algorítmicas apresentadas. Os resultados obtidos após a validação dessas estimativas são discutidos em detalhes abaixo.

[000102] Agora será feita referência a certos resultados associados a várias modalidades aqui descritas. Uma contribuição significativa do trabalho associado a várias modalidades aqui descritas está na validação dos algoritmos apresentados em biomassa de sorgo (Sorghum bicolor (L.) Moench) em campos reais (todos os experimentos aqui descritos foram realizados perto do último estágio de crescimento do sorgo, quando a desordem e a oclusão das folhas são as mais altas entre todas as fases de crescimento)

[000103] Agora será feita referência especificamente ao Experimento 1: Comparação com agrônomos. Alguns dos algoritmos aqui apresentados foram comparados com lotes medidas manualmente disponíveis no campo experimental de sorgo de 80 Acre (32,375 hectares) (campos de Maxwell em Savoy, Illinois). Cada lote de 3 x 3 metros consiste em cerca de 50 plantas. Um agrônomo independente treinado usou práticas padrão da indústria para medir a largura média do caule de 20 lotes dispersas pelo campo.

O agrônomo escolheu em cada lote 3 plantas representativas, e fez uma medição manual com compassos de calibre de cada uma dessas 3 plantas.

Esta abordagem foi projetada para permitir que o agrônomo acumule uma quantidade razoável de dados de grandes campos dentro das restrições de custo e tempo.

A prática da indústria é usar a média dessas 3 leituras para representar a largura média do caule para esse lote.

Por outro lado, uma modalidade de um robô, tal como descrito neste documento, percorreu aquelas 18 lotes e tentou medir a largura do caule em vários locais em cada planta na lote.

A comparação é mostrada na FIG. 12 (nesta Fig., O eixo x representa "Lotes", o eixo y representa "Largura (polegadas)", o traço rotulado como "A" corresponde a "Medição Manual", o traço rotulado "B" corresponde a " LIDAR ”e o traço identificado como “C” corresponde a “SFM”). A correspondência percentual dos algoritmos aqui apresentados com a medição manual da mão pelos agrônomos, considerando todas os lotes, é de 78% usando LIDAR e 76% de SFM.

Essa discordância não é surpreendente, uma vez que as esparsas medições manuais do agrônomo normalmente não refletem a verdade tipicamente, nem representam a verdadeira natureza da distribuição da largura das plantas.

As medições manuais são normalmente limitadas por considerações de custo e tempo.

Eles normalmente não levam em consideração o fato de que a largura das plantas varia significativamente ao longo de seu comprimento, portanto, uma única medição não reflete a largura real da planta.

Além disso, a seção transversal do caule é tipicamente elíptica, não circular, portanto, a colocação de compassos de calibre vernier afeta a medição.

FIG. 13

(discutido em mais detalhes abaixo) representa a quantidade de variação de largura em um único lote (esta falta convencional de precisão e rigor devido ao alto custo do trabalho manual treinado é uma proporção pela qual a indústria está buscando a fenotipagem robótica de alto rendimento, como descrito aqui com respeito a várias modalidades). Portanto, para avaliar os algoritmos aqui descritos em relação a uma representação verdadeira da largura de caule, o Experimento 2 foi realizado.

[000104] Agora será feita referência mais especificamente a este Experimento 2: Comparação com medições extensas das mãos. Para abordar as medições obtidas pelo agrônomo limitadas mencionadas acima, extensas medições manuais foram realizadas em um lote representativa (17MW0159) no campo de sorgo. Foram feitas 3 medições de comprimentos diferentes de cada planta de uma linha do lote que consistia em 32 plantas de sorgo. FIG. 13 mostra a variação nas medições de 32 x 3 (nesta Fig., O eixo x representa "Contagem de plantas", o eixo y representa "Largura (polegadas)", as barras "A" (uma das quais é rotulada) correspondem a “Largura 1”, as barras “B” (uma das quais está etiquetada) correspondem a “Largura 2” e as barras “C” (uma das quais está etiquetada) correspondem a “Largura 3”). O desvio padrão de tal distribuição é de 0,256 polegadas (0,65 centímetros), mostrando claramente que a média de apenas 3 medições por lote (como discutido acima, que é a prática convencional), não é muito preciso. Mesmo essas últimas medições não representam a “verdade fundamental”; no entanto, são o melhor conjunto de dados disponível contra o qual uma comparação poderia ser feita. A Tabela II (abaixo) mostra que os algoritmos baseados em robô de várias modalidades correspondem às medições exaustivas da mão em 91% quando a estrutura do movimento é usada e 98% quando a visão e LIDAR são usados (que está abaixo da tolerância de 8% definida por um agência federal de supervisão). FIG. 14A mostra um quadro de vídeo processado para o lote 17MW0159 como o robô de acordo com uma modalidade atravessado através do lote. A janela de processamento 1502 após o corte do quadro de vídeo é marcada indicada como o retângulo vertical no lado esquerdo. As cores escuras e claras de vários números indicam a largura usando a estrutura do movimento e os dados LIDAR, respectivamente. Os valores dentro da janela são os valores de largura instantâneos (escuro: WSi e claro: WLi) correspondentes a diferentes 'i's conforme descrito acima, enquanto os valores no canto inferior esquerdo são os valores médios para cada método (escuro: WS e claro: WL). Todos os valores da figura estão em polegadas. FIGS. 14B e 14C mostram a distribuição de largura para algoritmos aqui apresentados (usando SFM e LIDAR, respectivamente) e a FIG. 14D mostra a verdade fundamental de medição manual. A Tabela I(A) (abaixo) mostra a média e a variância de tais medições. TABELA I (A): Comparação da Média e Variância da Largura Estimativa de algoritmos de várias modalidades e medidas à mão Valores para Lote 17MW0159

[000105] Os resultados obtidos após comparar os resultados da estimativa de largura com as medições médias do lote 17MW0159 são tabulados na Tabela II (A) (abaixo). O tempo de processamento é de 0,04 segundos por quadro de vídeo. TABELA II (A): Comparação da medição manual com os resultados Obtido a partir de Algoritmos de Várias Modalidades para o Lote 17MW0159

[000106] Agora será feita referência a uma demonstração de generalização para outras culturas. Os algoritmos apresentados de várias modalidades foram amplamente validados em sorgo em várias lotes que consistem em diferentes variedades de sorgo, em diferentes momentos ao longo de um período de dias e em diferentes condições climáticas (sob sol forte e cobertura de nuvens). Os resultados em todos os casos de sorgo permanecem consistentes. Para demonstrar ainda mais robustez e generalidade, os algoritmos também foram aplicados a outras culturas com caules cilíndricos: milho e cânhamo, sem modificações algorítmicas e algumas alterações nos parâmetros para detecção de bordas. Os resultados em dados de milho e cânhamo obtidos em campos em partes de Illinois e Colorado são mostrados nas FIGS. 15A-15C (milho) e FIG. 16A-16C (cânhamo). Vários detalhes dessas FIGS. 15A-15C e 16A-16C são discutidos abaixo. As estimativas de largura estão dentro dos intervalos esperados, no entanto, um estabelecimento rigoroso da verdade fundamental sobre essas culturas não foi realizado devido à falta de recursos manuais. Independentemente disso,

os resultados demonstram que os algoritmos das modalidades, com base em princípios de visão de máquina, generalizam bem em diferentes culturas com pouca ou nenhuma mudança nos parâmetros.

[000107] Com referência agora em particular à FIG. 15A, isso representa um quadro de vídeo típico com janela 1502 (marcador retangular). Esta FIG. 15A mostra WSi (o 1º, 3º, 5º, 7º, 9º e 11º números de cima para baixo) e WLi (o 2º, 4º, 6º, 8º, 10º e 12º números de cima para baixo) anotado dentro da janela 1502. Esta FIG. 15A também mostra que WS (segundo número da parte inferior à esquerda) e WL (número da parte inferior à esquerda) são colocados no canto esquerdo inferior. Esta FIG. 15A também mostra V como a velocidade instantânea do robô. Esta FIG. 15A também mostra D como a distância entre o robô e a planta medida pelo LIDAR. FIG. 15A mostra a distribuição de largura de SfM em todos os quadros de vídeo (eixo x: largura em polegadas; eixo y: frequência normalizada). FIG. 15C mostra a distribuição da largura do LIDAR em todos os quadros do vídeo (eixo x: largura em polegadas; eixo y: frequência normalizada).

[000108] Com referência agora à FIG. 16A, isso representa um quadro de vídeo típico com janela 1602 (marcador retangular). Esta FIG. 16A mostra WSi (o 1º, 3º, 5º, 7º, 9º e 11º números de cima para baixo) e WLi (o 2º, 4º, 6º, 8º, 10º e 12º números de cima para baixo) anotado dentro da janela 1602. Esta FIG. 16A também mostra que WS (segundo número da parte inferior à esquerda) e WL (número da parte inferior à esquerda) são colocados no canto esquerdo inferior. Esta FIG. 16A também mostra V como a velocidade instantânea do robô. Esta FIG. 16A também mostra D como a distância entre o robô e a planta medida pelo LIDAR. FIG. 16B mostra a distribuição de largura de SfM em todos os quadros no vídeo (eixo x: largura em polegadas; eixo y: frequência normalizada). FIG. 16C mostra a distribuição de largura de LIDAR em todos os quadros no vídeo (eixo x: largura em polegadas; eixo y: frequência normalizada).

[000109] Conforme descrito neste documento, certos resultados são mais de 90% precisos. Além disso, certos experimentos foram projetados e avaliados em robôs terrestres. Esses robôs terrestres normalmente precisam lidar com condições mais adversas do que enfrentadas por um UAS (no entanto, os robôs terrestres podem ser mais desejáveis para fenotipagem de alto rendimento (em oposição a um UAS), uma vez que esses robôs terrestres normalmente têm uma visão inferior muito mais próxima e detalhada. vista do dossel das plantas) [25A].

[000110] Agora será feita referência a algumas situações desafiadoras que podem se beneficiar do uso de certos aprimoramentos, conforme descrito neste documento. FIG. 17A mostra uma situação em que mesmo a classificação manual da imagem para caule ou folha é difícil. A imagem mostra uma folha, possuindo cor, tamanho, excentricidade, orientação e formato idêntico ao do caule. Portanto, o algoritmo detecta falsamente isso como um caule. FIG. 17B mostra um caule quase completamente ocluído por uma folha na frente; não há maneira de detectar o caule neste caso com os sensores que foram usados nas modalidades descritas. FIG. 17B mostra a luz do sol brilhante entrando através da densa copa do sorgo, fazendo com que caules e folhas sejam apenas parcialmente iluminados. Neste caso, apenas o contorno parcial é levado em consideração, levando a uma estimativa de largura incorreta. Treinar um algoritmo de aprendizado de máquina pode ser uma maneira de lidar com essas situações, mas pode exigir milhares de quadros rotulados de vídeos feitos em condições de campo extremas. Outra desvantagem de usar o aprendizado profundo é que os algoritmos se tornam específicos da cultura, perdendo assim a generalidade, ao contrário das abordagens aqui descritas. Independentemente disso, dentro de um clima e cobertura de cultura razoáveis, os resultados das modalidades dos métodos baseados em robô devem produzir dados muito mais precisos e ricos do que apenas as medições manuais.

[000111] Conforme descrito neste documento, são algoritmos para estimativa da largura do caule da cultura em pequenos robôs móveis. A largura do caule é um fenótipo importante necessário para melhoristas e biólogos de plantas para medir o crescimento das plantas, no entanto, sua medição manual é normalmente complicada, imprecisa e ineficiente. Vários algoritmos aqui apresentados usam um núcleo de processamento de imagem comum que é projetado para extrair o primeiro plano na presença de uma desordem significativa de folhas e caule, vista de outras linhas e iluminação variável, de uma câmera USB voltada para o lado em um pequeno robô móvel. Usando o primeiro plano extraído, uma abordagem algorítmica aqui descrita usa estimativas de velocidade de robô de codificadores de roda e estrutura de movimento para estimar a profundidade, enquanto outra abordagem aqui descrita emprega o uso da nuvem de pontos LIDAR 2-D para estimar a profundidade. Esses algoritmos foram validados contra medições manuais disponíveis em biomassa de sorgo

(Sorghum bicolor) em campos experimentais reais. Experimentos indicam que ambos os métodos também são aplicáveis a outras culturas com caules cilíndricos sem modificações significativas. Conforme descrito neste documento, a correspondência de estimativa de largura em sorgo é de 92,5% (usando visão) e 98,2% (usando visão e LIDAR) quando comparada com medições manuais por agrônomos treinados. Assim, os resultados aqui descritos estabelecem claramente a viabilidade do uso de pequenos robôs para estimativa da largura de caule em configurações de campo realistas. Além disso, as técnicas apresentadas neste documento podem ser utilizadas para automatizar outras medições fenotípicas.

[000112] Conforme descrito neste documento, são algoritmos que são aplicáveis às condições de campo reais sob alta desordem.

[000113] Conforme descrito neste documento, são algoritmos que operam sem o uso de uma transformada de Hough.

[000114] Conforme descrito neste documento, várias modalidades utilizam uma estrutura de algoritmo de movimento que não precisa de um sensor de profundidade.

[000115] Conforme descrito neste documento, várias modalidades fornecem um algoritmo geral e computacionalmente leve para estimativa de largura autônoma de culturas com caules cilíndricos sob condições de campo altamente incertas.

[000116] Conforme descrito aqui, vários resultados foram validados com medições rigorosas de verdade do solo para o sorgo.

[000117] Conforme descrito neste documento, várias modalidades fornecem aprimoramentos no campo da robótica para aplicações de fenotipagem.

[000118] Conforme descrito neste documento, várias modalidades fornecem algoritmos que podem trabalhar diretamente com dados obtidos por robô em condições de campo.

[000119] Conforme descrito neste documento, várias modalidades fornecem algoritmos para filtrar conteúdo útil de imagens de campo obtidas por robôs barulhentas.

[000120] Conforme descrito neste documento, várias modalidades podem facilitar a geração de conjuntos de dados que poderiam alimentar futuros pipelines de aprendizado de máquina.

[000121] Em outras modalidades, várias abordagens algorítmicas aqui descritas podem ser usadas para desenvolver um conjunto de dados especificamente para condições de campo (por exemplo, com rótulos mascarados para caules e folhas). Isso permitiria o uso de aprendizado de máquina no contexto de tarefas de estimativa de fenótipo direcionadas a, por exemplo, área foliar, ângulo da folha, contagem de folhas e largura do caule melhorada.

[000122] Com referência agora à FIG. 18, várias etapas de um método 1801 de acordo com uma modalidade são mostradas. Como pode ser visto nesta FIG. 18, a etapa 1803 compreende a obtenção de dados de vídeo de uma única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros, em que a única câmera monocular é anexada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta. Em seguida, a etapa 1805 compreende a obtenção de dados de velocidade de robô de um ou mais codificadores, em que um ou mais codificadores são anexados ao robô móvel terrestre que está viajando ao longo da pista. Em seguida, a etapa 1807 compreende realizar a extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano. Em seguida, a etapa 1809 compreende determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de robô, uma largura estimada do primeiro caule de planta.

[000123] Com referência agora à FIG. 19, várias etapas de um método 1901 de acordo com uma modalidade são mostradas. Como pode ser visto nesta FIG. 19, a etapa 1903 compreende a obtenção de dados de vídeo de uma câmera, em que os dados de vídeo compreendem uma pluralidade de quadros, em que a câmera está ligada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta. Em seguida, a etapa 1905 compreende realizar a extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano. Em seguida, a etapa 1907 compreende a obtenção de dados de sensor de um sensor de detecção e alcance de luz (LiDAR), em que o sensor LiDAR é anexado ao robô móvel terrestre que está viajando ao longo da pista definida pela linha de culturas e em que os dados de sensor incluem pelo menos uma parte da linha de culturas. Em seguida, a etapa 1909 compreende determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de sensor, uma largura estimada do primeiro caule de planta.

[000124] Com referência agora à FIG. 20, várias etapas de um método 2001 de acordo com uma modalidade são mostradas. Como pode ser visto nesta FIG. 20, a etapa 2003 compreende a obtenção de dados de vídeo de uma única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros e em que a pluralidade de quadros inclui uma representação de um primeiro caule de planta em uma linha de culturas. Em seguida, a etapa 2005 compreende a obtenção de dados de velocidade de veículo de pelo menos uma dentre uma pluralidade de rodas de um veículo móvel. Em seguida, a etapa 2007 compreende realizar a extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano. Em seguida, a etapa 2009 compreende determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de veículo, uma largura estimada do primeiro caule de planta.

[000125] Em outra modalidade, é fornecido um dispositivo que compreende: um sistema de processamento incluindo um processador; e uma memória que armazena instruções executáveis que, quando executadas pelo sistema de processamento, realizam operações, as operações compreendendo: obtenção de dados de vídeo de uma única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros, em que a única câmera monocular é anexada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta; obtenção de dados de velocidade de robô de um ou mais codificadores, em que um ou mais codificadores são anexados ao robô móvel terrestre que está viajando ao longo da pista; realizar extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano; e determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de robô, uma largura estimada do primeiro caule de planta.

[000126] Em um exemplo, a extração de primeiro plano compreende o processamento, para cada um da pluralidade de quadros dos dados de vídeo, apenas uma janela de tamanho fixo que é menor do que cada um da pluralidade de quadros.

[000127] Em outro exemplo, a janela de tamanho fixo associada a cada um da pluralidade de quadros está localizada fora do centro em cada um da pluralidade de quadros.

[000128] Em outro exemplo, a extração de primeiro plano compreende, para cada um da pluralidade de quadros dos dados de vídeo: uma primeira função para realizar a detecção de borda; uma segunda função para realizar metamorfose; e uma terceira função para realizar a rotulagem dos componentes conectados.

[000129] Em outro exemplo, a determinação da largura estimada do primeiro caule de planta compreende: determinar, com base na pluralidade de quadros, um movimento estimado da câmera usando uma estrutura do processo de movimento; determinar uma proporção R, em que R = VR / Vx, em que VR é uma velocidade instantânea do robô obtida por meio dos dados de velocidade de robô e Vx é uma velocidade média de pixel horizontal de primeiro plano obtida por meio da estrutura do processo de movimento; determinar uma primeira largura, em pixels, em uma primeira localização do primeiro caule de planta, conforme representado em um primeiro da pluralidade de quadros dos dados de vídeo; e multiplicando R vezes a primeira largura, resultando em um primeiro valor.

[000130] Em outro exemplo, o primeiro valor é a largura estimada do primeiro caule de planta.

[000131] Em outro exemplo, a primeira largura é determinada como uma largura horizontal.

[000132] Em outro exemplo, a determinação da largura estimada do primeiro caule de planta compreende ainda: determinar uma segunda largura, em pixels, em um segundo local do primeiro caule de planta como representado no primeiro da pluralidade de quadros dos dados de vídeo; multiplicar R vezes a segunda largura, resultando em um segundo valor; e fazer a média do primeiro valor e do segundo valor, resultando na largura estimada do primeiro caule de planta.

[000133] Em outro exemplo, o robô móvel terrestre compreende pelo menos uma roda e um ou mais codificadores determinam os dados de velocidade de robô por meio da detecção de uma rotação de pelo menos uma roda.

[000134] Em outro exemplo, as operações compreendem ainda: a obtenção de dados de vídeo adicionais da única câmera monocular, em que os dados de vídeo adicionais compreendem uma pluralidade adicional de quadros, em que a linha de culturas compreende um segundo caule de planta e em que a pluralidade adicional de quadros inclui outra representação do segundo caule de planta; obter dados adicionais de velocidade de robô de um ou mais codificadores; executar extração adicional de primeiro plano em cada uma da pluralidade adicional de quadros dos dados de vídeo adicionais, em que a extração adicional de primeiro plano resulta em uma pluralidade adicional de imagens de primeiro plano; e determinar, com base na pluralidade adicional de imagens de primeiro plano e com base nos dados adicionais de velocidade de robô, uma largura adicional estimada do segundo caule de planta.

[000135] Em outra modalidade, um meio de armazenamento legível por computador não transitório é fornecido compreendendo instruções executáveis que, quando executadas por um sistema de processamento incluindo um processador, executam operações, as operações compreendendo: obtenção de dados de vídeo de uma câmera, em que os dados de vídeo compreendem um pluralidade de quadros, em que a câmera é fixada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta; realizar extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano; obtenção de dados de sensor de um sensor de detecção e alcance de luz (LiDAR), em que o sensor LiDAR é anexado ao robô móvel de solo que está viajando ao longo da pista definida pela linha de culturas e em que os dados de sensor incluem pelo menos uma parte do linha de culturas; e determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de sensor, uma largura estimada do primeiro caule de planta.

[000136] Em um exemplo, a extração de primeiro plano compreende, para cada um da pluralidade de quadros dos dados de vídeo: uma primeira função para realizar a detecção de borda; uma segunda função para realizar metamorfose; e uma terceira função para realizar a rotulagem dos componentes conectados.

[000137] Em outro exemplo, a determinação da largura estimada do primeiro caule de planta compreende: determinar, com base nos dados de sensor, uma distância estimada D da câmera ao primeiro caule de planta; determinar uma primeira largura, em pixels, em uma primeira localização do primeiro caule de planta, conforme representado em um primeiro da pluralidade de quadros dos dados de vídeo; e multiplicar a primeira largura vezes D dividido por uma distância focal de uma lente da câmera, resultando em um primeiro valor.

[000138] Em outro exemplo, o primeiro valor é a largura estimada do primeiro caule de planta.

[000139] Em outro exemplo, a câmera é uma única câmera monocular.

[000140] Em outro exemplo, as operações compreendem ainda: a obtenção de dados de vídeo adicionais da câmera, em que os dados de vídeo adicionais compreendem uma pluralidade adicional de quadros, em que a linha de culturas compreende um segundo caule de planta e em que a pluralidade adicional de quadros inclui outra representação do segundo caule de planta; executar extração adicional de primeiro plano em cada uma da pluralidade adicional de quadros dos dados de vídeo adicionais, em que a extração adicional de primeiro plano resulta em uma pluralidade adicional de imagens de primeiro plano; obter dados de sensor adicionais a partir do sensor LiDAR, em que os dados adicionais incluem pelo menos uma porção adicional da linha de culturas; e determinar, com base na pluralidade adicional de imagens de primeiro plano e com base nos dados adicionais do sensor, uma largura adicional estimada do segundo caule de planta.

[000141] Em outro exemplo, o sensor LiDAR compreende um sensor 2-D LiDAR.

[000142] Em outra modalidade, é fornecido um veículo móvel que compreende: um corpo; uma única câmera monocular acoplada ao corpo; uma pluralidade de rodas fixadas ao corpo; um sistema de processamento incluindo um processador; e uma memória que armazena instruções executáveis que, quando executadas pelo sistema de processamento, realizam operações, as operações compreendendo: obtenção de dados de vídeo da única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros, e em que a pluralidade de quadros inclui um representação de um primeiro caule de planta em uma linha de culturas; obter dados de velocidade de veículo de pelo menos uma das rodas; realizar extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano; e determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de veículo, uma largura estimada do primeiro caule de planta.

[000143] Em outro exemplo, o veículo móvel é um robô móvel terrestre autônomo e as operações são realizadas sem o uso de dados do sistema de posicionamento global (GPS).

[000144] Em outro exemplo, o veículo móvel compreende ainda pelo menos um codificador, em que pelo menos um codificador obtém os dados de velocidade de veículo e em que a única câmera monocular está localizada no corpo, no corpo ou em qualquer combinação dos mesmos.

[000145] A partir das descrições neste documento, seria evidente para um técnico com habilidade comum na técnica que as várias modalidades podem ser modificadas, reduzidas ou aprimoradas sem se afastar do escopo e do espírito das reivindicações descritas abaixo. Por exemplo, o veículo móvel pode compreender um veículo aerotransportado (por exemplo, drone, avião, helicóptero ou semelhante). Esse veículo aerotransportado pode viajar, por exemplo, abaixo do dossel da cultura. Outras modificações adequadas podem ser aplicadas à divulgação em questão. Por conseguinte, o leitor é direcionado às reivindicações para uma compreensão mais completa da amplitude e do escopo da divulgação do assunto.

[000146] FIG. 21 descreve uma representação diagramática exemplar de uma máquina na forma de um sistema de computador 2100 dentro do qual um conjunto de instruções, quando executado, pode fazer com que a máquina execute qualquer um ou mais dos métodos aqui discutidos. Em algumas modalidades, a máquina pode ser conectada (por exemplo, usando uma rede) a outras máquinas. Em uma implantação em rede, a máquina pode operar na capacidade de um servidor ou uma máquina de usuário cliente em ambiente de rede de usuário cliente- servidor, ou como uma máquina ponto a ponto em um ambiente de rede ponto a ponto (ou distribuído).

[000147] A máquina pode compreender um computador servidor, um computador de usuário cliente, um computador pessoal (PC), um tablet PC, um telefone inteligente, um computador laptop, um computador desktop, um sistema de controle, um roteador de rede, switch ou ponte, ou qualquer máquina capaz de executar um conjunto de instruções (sequenciais ou não) que especificam ações a serem tomadas por aquela máquina. Será entendido que um dispositivo de comunicação da divulgação em questão inclui amplamente qualquer dispositivo eletrônico que forneça comunicação de voz, vídeo ou dados. Além disso, embora uma única máquina seja ilustrada, o termo "máquina" também deve ser entendido como incluindo qualquer coleção de máquinas que individualmente ou em conjunto executam um conjunto (ou conjuntos múltiplos) de instruções para executar qualquer um ou mais dos métodos aqui discutidos.

[000148] O sistema de computador 2100 pode incluir um processador 2102 (por exemplo, uma unidade de processamento central (CPU), uma unidade de processamento gráfico (GPU ou ambos), uma memória principal 2104 e uma memória estática 2106, que se comunicam entre si por meio de um barramento

2108. O sistema de computador 2100 pode ainda incluir uma unidade de exibição de vídeo 2110 (por exemplo, uma tela de cristal líquido (LCD), uma tela plana ou uma tela de estado sólido. O sistema de computador 2100 pode incluir um dispositivo de entrada 2112 (por exemplo, um teclado), um dispositivo de controle de cursor 2114 (por exemplo, um mouse), uma unidade de unidade de disco 2116, um dispositivo de geração de sinal 2118 (por exemplo, um alto-falante ou controle remoto) e um dispositivo de interface de rede 2120.

[000149] A unidade de unidade de disco 2116 pode incluir um meio de armazenamento legível por computador tangível

2122 no qual é armazenado um ou mais conjuntos de instruções (por exemplo, software 2124) incorporando qualquer um ou mais dos métodos ou funções aqui descritos, incluindo os métodos ilustrados acima. As instruções 2124 também podem residir, completamente ou pelo menos parcialmente, dentro da memória principal 2104, a memória estática 2106 e/ou dentro do processador 2102 durante a execução das mesmas pelo sistema de computador 2100. A memória principal 2104 e o processador 2102 também podem constituir meios de armazenamento legíveis por computador tangíveis.

[000150] Implementações de hardware dedicado, incluindo, mas não se limitando a, circuitos integrados específicos de aplicativo, matrizes lógicas programáveis e outros dispositivos de hardware podem da mesma forma ser construídos para implementar os métodos descritos neste documento. Os aplicativos que podem incluir os aparelhos e sistemas de várias modalidades incluem amplamente uma variedade de sistemas eletrônicos e de computador. Algumas modalidades implementam funções em dois ou mais módulos de hardware interconectados específicos ou dispositivos com sinais de controle e dados relacionados comunicados entre e através dos módulos, ou como porções de um circuito integrado específico de aplicação. Assim, o sistema de exemplo é aplicável a implementações de software, firmware e hardware.

[000151] De acordo com várias modalidades da divulgação em questão, os métodos descritos neste documento são destinados à operação como programas de software em execução em um processador de computador. Além disso, as implementações de software podem incluir, mas não se limitam a, processamento distribuído ou processamento distribuído de componente / objeto, processamento paralelo ou processamento de máquina virtual também podem ser construídos para implementar os métodos descritos neste documento.

[000152] Embora o meio de armazenamento legível por computador tangível 2122 seja mostrado em uma modalidade de exemplo como um meio único, o termo "meio de armazenamento legível por computador tangível" deve ser considerado como incluindo um meio único ou vários meios (por exemplo, um banco de dados centralizado ou distribuído , e/ou caches e servidores associados) que armazenam um ou mais conjuntos de instruções. O termo "meio de armazenamento legível por computador tangível" também deve ser entendido como incluindo qualquer meio não transitório que seja capaz de armazenar ou codificar um conjunto de instruções para execução pela máquina e que faça com que a máquina execute qualquer um ou mais dos métodos da divulgação do assunto.

[000153] O termo "meio de armazenamento legível por computador tangível" deve, portanto, ser considerado como incluindo, mas não se limitando a: memórias de estado sólido, como um cartão de memória ou outro pacote que abriga uma ou mais memórias somente leitura (não voláteis) memórias de acesso aleatório ou outras memórias regraváveis (voláteis), um meio magneto-óptico ou óptico, como um disco ou fita, ou outro meio tangível que pode ser usado para armazenar informações. Por conseguinte, a divulgação é considerada como incluindo qualquer um ou mais de um meio de armazenamento legível por computador tangível, conforme listado neste documento e incluindo equivalentes reconhecidos na técnica e mídia sucessora, em que as implementações de software neste documento são armazenadas.

[000154] Embora a presente especificação descreva componentes e funções implementadas nas modalidades com referência a padrões e protocolos particulares, a divulgação não está limitada a tais padrões e protocolos. Cada um dos padrões para Internet e outra transmissão de rede comutada por pacote (por exemplo, TCP/IP, UDP/IP, HTML, HTTP) representam exemplos do estado da arte. Tais padrões são substituídos de tempos em tempos por equivalentes mais rápidos ou mais eficientes tendo essencialmente as mesmas funções. Padrões sem fio para detecção de dispositivo (por exemplo, RFID), comunicações de curto alcance (por exemplo, Bluetooth, WiFi, Zigbee) e comunicações de longo alcance (por exemplo, WiMAX, GSM, CDMA) são contemplados para uso pelo sistema de computador 2200.

[000155] As ilustrações de modalidades descritas neste documento se destinam a fornecer uma compreensão geral da estrutura de várias modalidades, e não se destinam a servir como uma descrição completa de todos os elementos e recursos de aparelhos e sistemas que podem fazer uso das estruturas aqui descritas. Muitas outras modalidades serão evidentes para aqueles versados na técnica após a revisão da descrição aqui. Outras modalidades podem ser utilizadas e derivadas das mesmas, de modo que substituições e mudanças estruturais e lógicas possam ser feitas sem se afastar do escopo desta divulgação. As figuras também são meramente representativas e não podem ser desenhadas em escala. Certas proporções podem ser exageradas, enquanto outras podem ser minimizadas. Consequentemente, o relatório descritivo e os desenhos devem ser considerados em um sentido ilustrativo e não restritivo.

[000156] Embora modalidades específicas tenham sido ilustradas e descritas aqui, deve ser apreciado que qualquer arranjo calculado para atingir o mesmo propósito pode ser substituído pelas modalidades específicas mostradas. Esta divulgação se destina a cobrir todas e quaisquer adaptações ou variações de várias modalidades. As combinações das várias modalidades e outras modalidades não especificamente descritas neste documento serão evidentes para os versados na técnica após a revisão da descrição acima. Referências 1A-34A:

[000157] [1A] Shubhra Aich e Ian Stavness. Leaf counting with deep convolutional and deconvolutional networks. CoRR, abs / 1708.07570, 2017. URL http://arxiv.org/abs/1708.07570.

[000158] [2A] Jose Luis Araus e Jill E Cairns. Field high-throughput phenotyping: the new crop breeding frontier. Trends in plant science, 19 (1): 52-61, 2014.

[000159] [3A] Tavor Baharav, Mohini Bariya e Avideh Zakhor. In situ height and width estimation of sorghum plants from 2.5d infrared images.

[000160] [4A] Gary Bradski e Adrian Kaehler. Learning OpenCV: Computer Vision in C++ with the OpenCV Library. O'Reilly Media, Inc., 2ª edição, 2013. ISBN 1449314651,

9781449314651.

[000161] [5A] J. Canny. A computational approach to edge detection. Transações IEEE em Análises de Padrão e Inteligência de Máquina, PAMI-8 (6): 679-698, novembro de

1986. ISSN 0162-8828. doi: 10.1109 / TPAMI.1986.4767851.

[000162] [6A] Ayan Chaudhury, Christopher Ward, Ali Talasaz, Alexander G. Ivanov, Mark Brophy, Bernard Grodzinski, Norman PA Huner, Rajni V. Patel e John L. Barron. Machine vision system for 3d plant phenotyping. CoRR, abs /

1705.00540, 2017. URL http://arxiv.org/abs/1705. 00540.

[000163] [7A] Yuhao Chen, Javier Ribera, Christopher Boomsma, e Edward Delp. Locating crop plant centers from uavbased rgb imagery. Na Conferência Internacional IEEE sobre Visão Computacional (ICCV), outubro de 2017.

[000164] [8A] Sruti Das Choudhury, Saptarsi Goswami, Srinidhi Bashyam, A. Samal e Tala N. Awada. Automated stem angle determination for temporal plant phenotyping analysis.

[000165] [9A] Andrei Dobrescu, Mario Valerio Giuffrida e Sotirios A. Tsaftaris. Leveraging multiple datasets for deep leaf counting. CoRR, abs / 1709.01472, 2017. URL http://arxiv.org/abs/1709.01472.

[000166] [10A] Lingfeng Duan, Wanneng Yang, Chenglong Huang e Qian Liu. A novel machine-vision-based facility for the automatic evaluation of yield-related traits in rice. Plant Methods, 7 (1): 44, dezembro de 2011. ISSN 1746-4811. doi: 10.1186 / 1746-4811-7-44. URL https://doi.org/10.1186/ 1746-4811-7-44.

[000167] [11A] Gunnar Farnebëack. Two-frame motion estimation based on polynomial expansion. Em Proceedings of the 13th Scandinavian Conference on Image Analysis, SCIA'03, páginas 363-370, Berlin, Heidelberg, 2003. Springer-Verlag. ISBN 3-540-40601-8. URL http://dl.acm.org/ citation.cfm? Id = 1763974.1764031.

[000168] [12A] Christophe Fiorio e Jens Gustedt. Two linear time union-find strategies for image processing. Theoretical Computer Science, 154 (2): 165-181, 1996. ISSN 0304-3975. doi: https://doi.org/10.1016/0304-3975(94) 00262-2. URL http://www.sciencedirect.com/science/ article / pii / 0304397594002622.

[000169] [13A] Robert T Furbank e Mark Tester. Phenomics– technologies to relieve the phenotyping bottleneck. Trends in plant science, 16 (12): 635–644, 2011.

[000170] [14A] Mario Valerio Giuffrida, Hanno Scharr e Sotirios A. Tsaftaris. ARIGAN: synthetic arabidopsis plants using generative adversarial network. CoRR, abs/1709.00938,

2017. URL http://arxiv.org/abs/1709.00938.

[000171] [15A] Mahmood R. Golzarian, Ross A. Frick, Karthika Rajendran, Bettina Berger, Stuart Roy, Mark Tester e Desmond S. Lun. Accurate inference of shoot biomass from high-throughput images of cereal plants. Plant Methods, 7 (1): 2, fevereiro de 2011. ISSN 1746-4811. doi: 10.1186 / 1746-4811-7-2. URL https://doi.org/10.1186/1746-4811-7-2.

[000172] [16A] V. Hoyos-Villegas, JH Houx, SK Singh e FB Fritschi. Ground-based digital imaging as a tool to assess soybean growth and yield. Crop Science, 54: 1756–1768, 2014. doi: 10.2135 / cropci2013.08.0540.

[000173] [17A] Mayuko Ikeda, Yoshitsugu Hirose, Tomonori Takashi, Yosuke Shibata, Takuya Yamamura, Toshiro Komura, Kazuyuki Doi, Motoyuki Ashikari, Makoto Matsuoka e Hidemi Kitano. Analysis of rice panicle traits and detection of qtls using an image analyzing method. Breeding Science, 60 (1): 55–64, 2010. doi: 10.1270 / jsbbs.60.55.

[000174] [18A] Jihui Jin e Avideh Zakhor. Point cloud based approach to stem width extraction of sorghum. 2017.

[000175] [19A] Lei Li, Qin Zhang e Danfeng Huang. A review of imaging techniques for plant phenotyping. Sensors, 14 (11): 20078–20111, 2014. ISSN 1424-8220. doi: 10.3390 / s141120078. URL http://www.mdpi.com/1424-8220/14/ 11/20078.

[000176] [20A] Bruce D. Lucas e Takeo Kanade. An iterative image registration technique with an application to stereo vision. Em Proceedings of the 7th International Joint Conference on Artificial Intelligence - Volume 2, IJCAI '81, páginas 674-679, San Francisco, CA, EUA, 1981. Morgan Kaufmann Publishers Inc. URL http: //dl.acm.org / citation.cfm? id = 1623264.1623280.

[000177] [21A] M. Minervini, A. Fischbach, H. Scharr e SA Tsaftaris. Plant phenotyping datasets, 2015. URL http://www.plant-phenotyping.org/datasets.

[000178] [22A] M. Minervini, H. Scharr e SA Tsaftaris. Image analysis: The new bottleneck in plant phenotyping [applications corner]. IEEE Signal Processing Magazine, 32 (4): 126–131, julho de 2015. ISSN 1053-5888. doi: 10.1109 / MSP.2015.2405111.

[000179] [23A] Massimo Minervini, Mohammed Abdelsamea e Sotirios A. Tsaftaris. Image-based plant phenotyping with incremental learning and active contours. 23: 35–48, 09 2014.

[000180] [24A] Massimo Minervini, Andreas Fischbach, Hanno Scharr e Sotirios A. Tsaftaris. Finely-grained annotated datasets for image-based plant phenotyping. Pattern Recognition Letters, 81:80 – 89, 2016. ISSN 0167-

8655. doi: https://doi.org/10.1016/j.patrec.2015.10. 013.

URL http://www.sciencedirect.com/science/article/pii/S016786551

5003645.

[000181] [25A] T. Mueller-Sim, M. Jenkins, J. Abel e G. Kantor. The robotanist: A ground-based agricultural robot for highthroughput crop phenotyping. Em 2017 Conferência Internacional IEEE sobre Robótica e Automação (ICRA), páginas 3634–3639, maio de 2017. doi: 10.1109 / ICRA.2017.

7989418.

[000182] [26A] Onur O¨zyesil, Vladislav Voroninski, Ronen Basri e Amit Singer. A survey on structure from motion. CoRR, abs / 1701.08493, 2017. URL http://arxiv.org/abs/1701.

08493.

[000183] [27A] Michael P Pound, Jonathan A. Atkinson, Darren M. Wells, Tony P. Pridmore e Andrew P. French. Deep learning for multi-task plant phenotyping. bioRxiv, 2017. doi: 10.1101 / 204552. URL https://www.biorxiv.org/content/cedo / 2017/10/17/204552.

[000184] [28A] David Rousseau e Henricus J. Van de Zedde. Counting leaves without “finger-counting” by supervised multiscale frequency analysis of depth images from top view, 01 2015.

[000185] [29A] Hanno Scharr, Tony P. Pridmore e Sotirios A. Tsaftaris. Editorial: Computer vision problems in plant phenotyping, cvppp 2017 – introduction to the cvppp 2017 workshop papers. Na Conferência Internacional IEEE sobre Visão Computacional (ICCV), outubro de 2017.

[000186] [30A] Kyle Simek e Kobus Barnard. Gaussian process shape models for bayesian segmentation of plant leaves. Em H. Scharr SA Tsaftaris e T. Pridmore, editores, Proceedings of the Computer Vision Problems in Plant Phenotyping (CVPPP), páginas 4.1–4.11. BMVA Press, setembro de 2015. ISBN 1-901725-55-3. doi:

10.5244 / C.29.CVPPP.4. URL https://dx.doi.org/10.5244/C.29.CVPPP.4.

[000187] [31A] Jack Sklansky. Finding the convex hull of a simple polygon. Pattern Recogn. Lett., 1 (2): 79-83, dezembro de 1982. ISSN 0167-8655. doi: 10.1016 / 0167-8655

(82) 90016-2. URL http://dx.doi.org/10.1016/0167- 8655(82)90016-2.

[000188] [32A] Siddharth Srivastava, Swati Bhugra, Brejesh Lall e Santanu Chaudhury. Drought stress classification using 3d plant models. CoRR, abs / 1709.09496,

2017. URL http://arxiv.org/abs/1709.09496.

[000189] [33A] Jordan Ubbens, Mikolaj Cieslak, Przemyslaw Prusinkiewicz e Ian Stavness. The use of plant models in deep learning: an application to leaf counting in rosette plants. Plant Methods, 14 (1): 6, 2018. ISSN 1746-

4811. doi: 10.1186 / s13007-018-0273-z. URL https://doi.org/10.1186/s13007-018-0273-z.

[000190] [34A] Kesheng Wu, Ekow Otoo e Kenji Suzuki. Optimizing two-pass connected-component labeling algorithms. Padrão Anal. Appl., 12 (2): 117–135, fevereiro de 2009. ISSN 1433-7541. doi: 10.1007 / s10044-008-0109-y. URL http://dx.doi.org/10.1007/s10044-008-0109-y.

[000191] Agora será feita referência à fenotipagem baseada em robô usando aprendizado profundo de acordo com uma ou mais modalidades. Conforme descrito neste documento, é um algoritmo que pode estimar em tempo real a contagem de estandes de plantas a partir de sequências de imagens obtidas de uma câmera voltada para o lado em um robô terrestre ultracompacto. Este algoritmo é demonstrado no problema desafiador de contagem de plantas de milho (Zea mays ou milho) em condições de campo. Em outras modalidades, o algoritmo pode ser utilizado para contar outras plantas, incluindo, mas não se limitando a, Sorgo, Trigo, Soja ou vegetais. O algoritmo aproveita a arquitetura de rede neural convolucional de ponta que é executada de forma eficiente em plataformas móveis. Além disso, o algoritmo é eficiente em termos de dados, ou seja, não precisa de uma grande quantidade de dados de estandes de milho para ser utilizado na prática. Isso é alcançado por meio de uma nova técnica de aprendizagem por transferência. Um classificador de máquina de vetor de suporte (SVM) é treinado para classificar os recursos extraídos de uma rede neural convolucional com pesos pré-treinados. O resultado é um algoritmo de contagem de estandes robusto (de acordo com uma modalidade), onde o único sensor necessário é uma câmera RGB de baixo custo (<$ 30). Extensos testes de campo mostram que a detecção é robusta contra ruídos como folhas de milho, ervas daninhas, condições variáveis de iluminação e resíduos do ano anterior. O sistema divulgado de uma modalidade atinge alta precisão e confiabilidade ao longo da estação de crescimento. Em essência, o sistema divulgado de uma modalidade permite a fenotipagem robótica em tempo real em lotes de reprodução e campos de produção. A fenotipagem robótica é uma contribuição bem-vinda, uma vez que pode ajudar a superar o gargalo da fenotipagem [23B], [24B] que retardou o progresso na reprodução de melhores culturas.

[000192] Agora será feita referência a determinada Aquisição de Dados de acordo com uma ou mais modalidades. A plataforma usada neste estudo é um veículo não tripulado de quatro rodas. O robô tem (neste exemplo) 12 polegadas (30,48 centímetros) de altura × 20 polegadas (50,8 centímetros) de comprimento × 14 polegadas (35,56 centímetros) de largura, com 6 polegadas (15,24 centímetros) de distância ao solo e pesa 14,5 libras (6,57 quilogramas). No entanto, o sistema pode usar um robô com quaisquer dimensões que permitam ao robô atravessar entre as linhas de cultura.

Esse projeto compacto e leve permite que o robô atravesse facilmente entre as linhas de cultura com espaçamento típico de linha para milho.

O robô é alimentado (neste exemplo) por quatro baterias de íon de lítio que oferecem até 4 horas de duração.

O robô pode, alternativamente, usar fontes de energia, incluindo, mas não se limitando a tipos de bateria diferentes de íon de lítio e energia solar.

As imagens são recodificadas (neste exemplo) com uma câmera digital RGB (ELP USBFHD01M, EUA) montada na lateral do chassi do robô, mas outras câmeras podem ser utilizadas, seja no visual ou em outro espectro.

O campo de visão da câmera (neste exemplo) é de 60°. Em outras modalidades, o campo de visão da câmera pode estar entre 10° e 360°. O número de plantas de milho capturadas na imagem depende da distância entre a câmera e a linha de plantas, bem como do espaçamento entre as plantas adjacentes.

Em uma linha de 30, por exemplo, duas a três plantas de milho normalmente aparecem na imagem.

A câmera aponta para baixo em um ângulo (neste exemplo) de 35° para evitar observar as linhas de milho distantes.

Em outras modalidades, a câmera aponta para baixo em um ângulo entre 0° e 85°. FIGS. 23A-23D mostram ilustrações da configuração do sistema de aquisição de dados desta modalidade.

A resolução da câmera é 640 × 480 e grava a 30 quadros por segundo.

Em outras modalidades, a resolução da câmera é de pelo menos 240P e grava pelo menos 5 quadros por segundo.

A câmera possui uma interface USB2 (embora outras interfaces também funcionem) que se conecta a um Jetson TX2 (NVIDIA, EUA) ou outro(s) computador(es), um módulo integrado para inferência rápida e eficiente de redes neurais profundas.

Em outra modalidade, qualquer módulo capaz de inferência de rede neural profunda eficiente pode ser usado. O módulo (neste exemplo) hospeda 8 GB de memória que é compartilhada entre uma CPU e GPU e é capaz de processar quadros de imagem capturados pela câmera em tempo real. Em outras modalidades, o módulo aloja entre 1 GB e 1024 GB de memória.

[000193] Agora será feita referência a certos métodos de acordo com uma ou mais modalidades. Imagens capturadas em ambiente externo estão sujeitas a uma ampla gama de variações, como luz solar, oclusão e ângulo de visão da câmera, etc. Além disso, as plantas de milho passam por mudanças significativas durante o período de crescimento. Essas variações tornam difícil a classificação usando abordagens convencionais. Portanto, na divulgação atual, um modelo de aprendizado profundo é treinado combinando uma rede neural convolucional e uma máquina de vetor de suporte para classificar a presença ou ausência de milho.

[000194] O aprendizado profundo pode identificar plantas de milho em uma imagem. No entanto, isso não é suficiente para contar as plantas de um robô em movimento, pois é difícil distinguir diferentes plantas de milho para evitar a contagem dupla. Uma maneira de resolver isso é desenhar uma região de interesse (ROI) fixa na imagem cuja largura seja, em média, menor do que a lacuna entre as plantas de milho vizinhas. O algoritmo de aprendizado profundo é aplicado apenas aos pixels dentro da ROI para detectar se uma planta está ou não presente. Isso leva a um sinal binário que assume (por exemplo) o valor 1 para todos os quadros em que um talo de milho é detectado na ROI e um valor -1 caso contrário (incluindo ervas daninhas, folhas ou outra matéria verde). Por conveniência, a ROI é colocada (em uma modalidade) no centro da imagem, mas isso não é necessário.

Também é possível mover o ROI ao redor da imagem para digitalizar várias plantas de milho.

No entanto, mesmo com uma ROI fixa, é possível que várias plantas de milho possam aparecer na ROI (ver FIG. 25 mostrando as duas plantas dentro da ROI (em que a ROI é indicada na FIG.

Como o retângulo vertical)), especialmente já que o espaçamento das plantas pode variar significativamente entre variedades, campos e equipamentos utilizados para o plantio.

Para resolver este problema, técnicas de estimativa de movimento são utilizadas (em uma modalidade) para determinar o número de plantas que passaram pelo ROI até que o ROI pare de detectar plantas de milho.

Os detalhes desse algoritmo são fornecidos no Algoritmo 1B.

Algoritmo 1B: Algoritmo de Contagem

[000195] Agora será feita referência a uma rede neural convolucional de acordo com uma ou mais modalidades.

Considerando o fato de que o algoritmo desta modalidade deve ser implementado em plataformas móveis, é importante manter um bom equilíbrio entre desempenho e eficiência.

É preciso levar em consideração o consumo de energia e a área de cobertura da memória, que podem limitar o tamanho da arquitetura e seu número de operações aritméticas.

Enquanto a maioria das redes visa uma maior precisão, aumentando a profundidade e largura [22B], [31B], [32B], MobileNets [33B] são uma família de redes especialmente desenvolvida para atender aos requisitos de aplicativos móveis e embutidos.

Devido ao uso da convolução separável em profundidade que usa entre 8 a 9 vezes menos computação do que a convolução padrão, o modelo é executado significativamente mais rápido do que suas contrapartes mais complicadas com apenas um pequeno comprometimento da precisão.

Por exemplo, o MobileNet atinge 89,5% de precisão entre os 5 primeiros no ImageNet com 569 milhões de operações de ponto flutuante [33B], enquanto o ResNet-152 usa 11,3 bilhões de flops para obter 93,2% [19B]. A arquitetura Mobilenet contém uma camada de convolução padrão seguida por 13 camadas de convolução separáveis em profundidade.

O modelo usa imagens RGB 224 × 224 como entrada e gera vetores de recursos de 1024 dimensões.

A camada totalmente conectada e softmax no modelo original são substituídas por SVM para classificação.

Detalhes da arquitetura (que pode ser utilizada por várias modalidades) são mostrados na FIG. 25 Nota-se que, mesmo para uma arquitetura tão compacta, ainda é necessária uma enorme quantidade de dados para treinar o modelo, pois contém 4,2 milhões de parâmetros. No entanto, não existe tal conjunto de dados especificamente para a agricultura. Para aliviar o elevado requisito de dados de treinamento, a presente divulgação utiliza (em várias modalidades) os princípios de aprendizagem por transferência. O modelo é ajustado com base nos pesos pré-treinados no conjunto de dados ILSVRC [34B].

[000196] Agora será feita referência a uma Máquina de Vetor de Suporte de acordo com uma ou mais modalidades. Uma Support Vector Machine (SVM) é um modelo amplamente utilizado para classificação [35B] - [40B]. Ele segue um modelo linear que constrói um hiperplano como mostrado na Equação (1B). O hiperplano ideal maximiza a margem, que é definida como a menor distância entre o limite de decisão e qualquer uma das amostras. Dado um conjunto de dados, , onde xi ϵ Rn e ti ϵ {-1,1}, a distância de um ponto xi ao limite de decisão é dada pela Equação (2B). Assim, a solução de margem máxima pode ser encontrada resolvendo a Equação (3B). Se w e b são escalados posteriormente de modo que o ponto mais próximo de qualquer classe ao hiperplano seja ± 1, a otimização é então equivalente a um problema de programação quadrática (Equação (4B)).

[000197] Como a função de destino é quadrática, sujeita a uma restrição linear, um mínimo global exclusivo é garantido. Na prática, entretanto, surgem casos em que as distribuições condicionais de classe podem se sobrepor e a separação exata dos dados de treinamento pode levar a uma generalização pobre. Por essa proporção, o SVM de margem suave foi introduzido posteriormente [41B]. Em vez de classificar estritamente cada ponto de dados corretamente,

a cada ponto de dados é atribuída uma variável de folga ξi = 0 quando está dentro ou dentro do limite de decisão correto e ξi = | ti - yi | de outra forma. A soma de todos os ξi é então ponderada por um parâmetro C que controla o trade-off entre a penalidade da variável de folga e a margem. O problema de otimização agora se torna a forma dada na Equação (5B). Observe que a convexidade dá ao SVM vantagem desejável sobre outros métodos, como uma rede neural feedforward que sofre da existência de múltiplos mínimos locais [42B], [43B]. Além disso, apesar de ser um classificador linear, as funções do kernel que transformam os dados de entrada em um espaço de recurso dimensional mais alto permitem que o SVM também classifique recursos separáveis não linearmente. Devido às vantagens, várias modalidades utilizam um SVM de margem suave para classificar os recursos extraídos da MobileNet.

(1B) (2B) (3B) (4B)

(5B)

[000198] Agora será feita referência ao treinamento de acordo com uma ou mais modalidades. As imagens são capturadas (nessas modalidades) pela câmera voltada para o lado do robô durante a estação de cultivo. A câmera aponta ligeiramente para baixo de forma que apenas a linha mais próxima fique visível. As manchas são cortadas das imagens e rotuladas de acordo com a presença ou ausência de milho como amostras positivas e negativas, respectivamente. O número de amostras de treinamento e teste (de um exemplo específico) está listado na Tabela IB. O aumento de dados também foi empregado para aumentar ainda mais os dados de treinamento. As imagens (neste exemplo) são giradas (± 10°), ampliadas (88% a 112%), deslocadas verticalmente (± 15%) e giradas horizontalmente. Cada imagem é aumentada (neste exemplo) em 16 vezes por meio de transformações de desenho aleatório da lista.

[000199] Os pesos da MobileNet são mantidos constantes durante o ajuste fino. Os hiperparâmetros para SVM são determinados por busca em grade e validação cruzada implementada em um pacote Python: scikit-learn [44B]. O kernel linear e o kernel de função de base radial (RBF) são investigados. A Tabela IIB lista os valores dos hiperparâmetros que são considerados neste exemplo. Todas as combinações são esgotadas para identificar os parâmetros ideais.

TABELA I(B): Número de amostras de treinamento e teste em cada estágio de crescimento TABELA II(B): hiperparâmetros SVM testados na pesquisa da grade

[000200] Agora será feita referência a uma estimativa de movimento de acordo com uma ou mais modalidades. Embora (nessas modalidades) a largura do ROI seja escolhida de modo que apenas uma planta de milho apareça nela, as exceções a essa suposição surgem devido às variações no espaçamento das plantas. Se a lacuna entre duas plantas vizinhas for menor do que a largura do ROI, o sinal de detecção dessas duas plantas de milho se fundirá em um único platô (ver FIGS. 26A e 26B). Portanto, é provável que subestime a população tomar o número de planaltos como a contagem. Esses erros podem aumentar, degradando o desempenho da estimativa. Para determinar o número de plantas que cada platô de sinal representa, a transformação rígida entre dois quadros consecutivos I1 e I2 é calculada quando um sinal positivo da classificação binária está presente. Uma transformação rígida é uma combinação de rotação, translação e reflexão. Certas modalidades ainda não assumem nenhuma reflexão, uma transformação rígida em ℝ2 é dada na Equação (6B). Dois pares de pontos são necessários para resolver para a matriz de transformação M. Na prática, o sistema dessas modalidades extrai e combina cerca de 100 pontos de recurso SURF [45B] em ambas as imagens e resolve para a solução de mínimos quadrados para M2. Uma vez que o movimento da câmera é predominantemente na direção X, o sistema dessas modalidades soma os valores de tx do primeiro quadro no platô até o último ser T. Se a ROI terminar de varrer através de um milho antes de encontrar o próximo um como na maioria dos casos, T é aproximadamente igual à largura da ROI w. No caso de plantas de milho adjacentes estarem próximas, T = (n-1) d + w, onde n é o número de plantas, d é a distância entre plantas vizinhas (ver FIGS. 26A e 26B). Se d não for muito

T menor que w, então n ≈ . Na implementação prática, obter w a proporção resulta em um número de ponto flutuante que é arredondado para o inteiro mais próximo. Em outras palavras, a desigualdade (7B) deve ser mantida. Por exemplo, n = 2, o algoritmo pode contar corretamente duas plantas de milho próximas, desde que sua distância não seja menor que a metade da largura da ROI. O limite inferior em d aumenta com o número de plantas de milho adjacentes n. No entanto, na maioria dos casos, n é menor que 5.

(6B)

(7B) Algoritmo 2B: Algoritmo de estimativa de movimento

[000201] Agora será feita referência ao Treinamento SVM de acordo com uma ou mais modalidades. Os melhores hiperparâmetros para o SVM encontrados na pesquisa de grade (de um exemplo) estão listados na Tabela III (B) com suas métricas de desempenho nos dados de teste. A precisão representa a probabilidade de uma amostra ser rotulada corretamente. A precisão representa a probabilidade de uma amostra positiva prevista (tp + fp) ser um positivo verdadeiro (tp), enquanto a recuperação é a probabilidade de uma amostra positiva verdadeira (tp) ser identificada entre todas as amostras positivas (tp + fn), e F1-pontuação é a média harmônica de precisão e recall. Suas fórmulas são fornecidas na Equação (8B).

[000202] Os hiperparâmetros são quase os mesmos para os três estágios de crescimento, exceto que o valor C é diferente para V4, em grande parte devido à diferença na aparência das plantas de milho em V4 de VT e R2. O kernel da função de base radial funciona melhor do que o kernel linear, e o valor γ ótimo para o kernel é idêntico em três estágios. Os resultados indicam que as características das imagens de milho em diferentes estágios são comparáveis e é possível classificar todas as imagens usando um único classificador unificado.

[000203] As métricas de desempenho também são consistentemente altas para três estágios de crescimento. Observa-se que as amostras de treinamento excluem folhas e se concentram apenas em caules e talos. As métricas demonstram que o modelo de aprendizado profundo é capaz de distinguir diferenças sutis em imagens e, portanto, reduz a inferência de folhas e ervas daninhas. A precisão média para todos os estágios é de 92,97%. Além disso, as previsões são calculadas pela média de seus k vizinhos (k é um número inteiro ímpar). Supondo que um talo de milho esteja presente nos quadros de imagem Ii, ..., Ii + n (n ≥ k), para os quadros Ii + k −1 , ..., Ii + n - k −1 , a precisão efetiva torna- 2 2 k m    P (1 − P )k − m , onde P é a precisão para um único k se m = k / 2 +1  m quadro. Em média, um talo de milho permanece na ROI por cerca de 10 quadros, então um valor de 5 é escolhido para k. Em seguida, a precisão do reconhecimento é aumentada para até 99,69%. TABELA III(B): Melhores hiperparâmetros encontrados na pesquisa de grade e suas métricas de desempenho correspondentes nos dados de teste

(8B)

[000204] Com referência agora à FIG. 30, este é um fluxograma que representa uma modalidade de um método para determinar uma população de plantas. Em primeiro lugar, a etapa 3005 compreende capturar, por uma câmera acoplada a um sistema de processamento que inclui um processador, um grupo de imagens associado a um campo de plantas, em que o grupo de imagens é capturado enquanto a câmera está em movimento no campo. Em seguida, a etapa 3010 compreende a aplicação, pelo sistema de processamento, de uma rede neural convolucional ao grupo de imagens para extrair vetores de características. Em seguida, a etapa 3015 compreende a aplicação, pelo sistema de processamento, de uma máquina de vetores de suporte aos vetores de recursos para classificar os vetores de recursos resultando em recursos classificados. Em seguida, a etapa 3020 compreende a aplicação, pelo sistema de processamento, de estimativa de movimento com base em uma transformação rígida aos recursos classificados, resultando em dados de contagem corrigidos. Finalmente, a etapa 3025 compreende determinar, pelo sistema de processamento, uma população de plantas para o campo de plantas com base nas características classificadas e nos dados de contagem corrigidos.

[000205] Em uma modalidade, a máquina de vetor de suporte compreende uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000206] Em uma modalidade, o grupo de imagens não é uma vista aérea do campo de plantas e a vista da câmera está em um ângulo descendente.

[000207] Em uma modalidade, o movimento da câmera enquanto o grupo de imagens está sendo capturado está a uma velocidade constante.

[000208] Em uma modalidade, a rede neural convolucional é aplicada apenas a uma região fixa de interesse em cada imagem do grupo de imagens.

[000209] Em uma modalidade, a rede neural convolucional compreende uma camada de convolução padrão seguida por múltiplas camadas de convolução separáveis em profundidade.

[000210] Em uma modalidade, o aumento de dados é aplicado aos dados de treinamento para a rede neural convolucional. O aumento de dados nesta modalidade é baseado na rotação da imagem, ampliação da imagem, deslocamento vertical da imagem, inversão horizontal da imagem ou uma combinação dos mesmos.

[000211] Com referência agora à FIG. 31, este mostra um diagrama de blocos que representa uma modalidade de um aparelho para determinar uma população de plantas para um campo de plantas. O aparelho compreende um veículo não tripulado 3110, uma bateria 3120, um sistema de processamento 3130 e uma câmera 3140. O sistema de processamento 3130 inclui um processador. A bateria 3120, o sistema de processamento 3130 e a câmera 3140 são suportados pelo veículo não tripulado 3110. O veículo não tripulado 3110, o sistema de processamento 3130 e a câmera 3140 são eletronicamente acoplados à bateria 3120. A câmera 3140 está em comunicação eletrônica com o sistema de processamento

3130.

[000212] Em operação, a bateria 3120 fornece eletricidade para o veículo não tripulado 3110, o sistema de processamento 3130 e a câmera 3140. A câmera 3140 captura um grupo de imagens associadas a um campo de plantas enquanto o veículo não tripulado 3110 viaja ao longo das linhas do campo. O grupo de imagens da planta capturado pela câmera 3140 é comunicado eletronicamente ao sistema de processamento 3130. O sistema de processamento 3130 implementa uma rede neural convolucional, uma máquina de vetor de suporte e estimativa de movimento em relação ao grupo de imagens para determinar uma população de plantas para o campo de plantas.

[000213] Em uma modalidade, a câmera 3140 é apontada em um ângulo descendente.

[000214] Em uma modalidade, a máquina de vetor de suporte compreende uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000215] Em uma modalidade, o veículo não tripulado 3110 viaja ao longo das linhas do campo a uma velocidade constante.

[000216] Em uma modalidade, a rede neural convolucional é aplicada apenas a uma região fixa de interesse em cada imagem do grupo de imagens.

[000217] Em uma modalidade, a rede neural convolucional compreende uma camada de convolução padrão seguida por múltiplas camadas de convolução separáveis em profundidade.

[000218] Em uma modalidade, o aumento de dados é aplicado aos dados de treinamento para a rede neural convolucional e o aumento de dados é baseado na rotação da imagem, zoom da imagem, deslocamento vertical da imagem, inversão horizontal da imagem ou uma combinação dos mesmos.

[000219] Em uma modalidade, a câmera 3140 montada no veículo não tripulado 3110 está em um gimbal ou servo que ajusta automaticamente a visão da câmera com base nas características das imagens coletadas pela câmera 3140.

[000220] Em uma modalidade, um jato de ar (isto é, um mecanismo para produzir um fluxo de ar) é suportado pelo veículo não tripulado 3110 e fornecido eletricidade pela bateria 3120. O jato de ar limpa obstruções, como folhas do quadro da câmera 3140, para que imagens desobstruídas das plantas possam ser capturadas pela câmera 3140.

[000221] Com referência agora à FIG. 32, este mostra um diagrama de blocos que representa uma modalidade de um aparelho para calcular uma população de plantas. O aparelho compreende um meio de armazenamento não transitório legível por máquina 3210, instruções executáveis 3215, um sistema de processamento 3220 e um processador 3225. O meio de armazenamento legível por máquina não transitório 3210 está em comunicação eletrônica com o sistema de processamento

3220. As instruções executáveis 3215 são armazenadas eletronicamente no meio de armazenamento legível por máquina não transitório 3210. O processador 3225 é acoplado ao sistema de processamento 3220.

[000222] Em operação, o meio de armazenamento legível por máquina não transitório 3210 comunica eletronicamente as instruções executáveis 3215 para o sistema de processamento

3220. O sistema de processamento 3220 usa o processador 3225 para executar a instrução executável 3215 e facilitar o desempenho das operações. Primeiro, o sistema de processamento 3220 aplica uma rede neural convolucional a um grupo de imagens para extrair vetores de características. O grupo de imagens está associado a um campo de plantas e é capturado enquanto uma câmera está em movimento no campo. Em seguida, o sistema de processamento 3220 aplica uma máquina de vetor de suporte aos vetores de recursos para classificar os vetores de recursos resultando em recursos classificados. Em seguida, o sistema de processamento 3220 fornece estimativa de movimento com base em uma transformação rígida para os recursos classificados, resultando em dados de contagem corrigidos. Finalmente, o sistema de processamento 3220 determina uma população de planta para o campo de plantas com base nas características classificadas e nos dados de contagem corrigidos.

[000223] Agora será feita referência à Modulação do caminho do robô e ângulo de câmera para uma coleta de dados visuais ideal. De acordo com uma modalidade, o objetivo nesta tarefa é fechar firmemente o loop entre o caminho do robô, os ângulos da câmera (controlados por servos) e a adequação da informação visual bruta sendo coletada para fenotipagem.

[000224] Diferentes fenótipos requerem que diferentes partes da planta sejam visíveis para permitir que algoritmos de visão de máquina funcionem corretamente. Por exemplo, a contagem de plantas é simplificada pela captura de imagens da interface planta-solo com uma perspectiva descendente, enquanto a estimativa da largura do caule requer uma visão desobstruída do caule com uma perspectiva horizontal. Caminhos GPS pré-especificados não podem garantir a coleta de dados de melhor qualidade. Por exemplo, algumas fazendas usam irrigação com sulcos (isto é, depressões em forma de U, em vez de terreno plano, entre as linhas de plantas), o que leva à orientação da câmera oscilando imprevisivelmente em torno do ideal durante a execução.

[000225] Para enfrentar esses desafios, um sistema adaptativo capaz de ajustar o caminho do robô, o ângulo de câmera e a velocidade de robô é implementado (de acordo com várias modalidades) para garantir imagens consistentes e de alta qualidade. FIG. 33 representa uma visão geral do ângulo de câmera adaptável e abordagem de controle do caminho do robô de acordo com uma modalidade. O principal sinal de feedback é o sinal do “crítico de recursos de imagem”, que toma como entrada os recursos extraídos de um extrator de recursos de imagem. Um projeto desses subsistemas (de acordo com várias modalidades) é apresentado em detalhes abaixo.

[000226] A referência será feita primeiro a um extrator de recurso de imagem. O objetivo do extrator de recursos de imagem é identificar recursos na imagem que são necessários ou desejáveis para quantificar o fenótipo desejado. O extrator de característica de imagem pode ser projetado de duas maneiras principais, sendo a primeira uma abordagem heurística em que certas características de baixo nível e características específicas de nível de imagem são procuradas na imagem, tais como visão raiz-solo, talo de planta através de detectores de borda ou espiga de milho na imagem; alternativamente (ou em combinação), uma rede neural pode ser usada para extrair características das imagens de uma forma semelhante à abordagem de contagem de milho.

[000227] Agora será feita referência a um crítico de recursos de imagem. O objetivo dos algoritmos e software de crítica de recurso de imagem (de várias modalidades) é fornecer um sinal de feedback para o sistema de controle que pode ser usado para controlar o caminho do robô e/ou o ângulo de câmera. O desafio aqui é determinar da maneira mais eficiente se a imagem tem ou não os recursos desejados que são necessários. A primeira etapa é determinar se a imagem tem ou não uma característica de interesse. Isso pode ser feito extraindo o recurso e comparando-o no espaço de pixel com uma biblioteca de recursos desejáveis usando várias métricas, como soma da diferença média, normas em espaços de recursos, distâncias de informação e/ou classificadores binários. A abordagem mais geral é a abordagem baseada no classificador, em que o desafio potencial é determinar se o classificador em si é suficientemente confiante. Para mitigar isso, semelhante ao algoritmo de contagem de milho, uma máquina de vetor de suporte de camada final (e/ou Processo Gaussiano com algoritmos de verossimilhança não gaussianos) pode ser invocada [37B].

[000228] Agora será feita referência a um Ângulo de Câmera - Controle de Caminho do Robô e Misturador de Controle.

O objetivo desses módulos é controlar o ângulo de câmera do robô e/ou o caminho do robô para garantir que os recursos desejados estejam na visualização adequada. Utilizando o feedback do crítico de recursos, dois casos claros podem ser visualizados. O primeiro é quando o recurso está visível, mas é necessário um ajuste no ângulo e/ou caminho para colocá-lo no centro da imagem. Isso é realizado com mecanismos de controle de feedback tradicionais usando distância de pixel de característica de imagem como um sinal de feedback contínuo. O segundo caso é que o recurso de imagem não está à vista. Isso requer que o robô procure o recurso ajustando seu caminho e/ou ângulo de câmera. O método de varredura do ângulo de câmera é utilizado (nesta modalidade), uma vez que é mais rápido e menos arriscado. O ângulo de câmera percorrerá todos os ângulos possíveis para encontrar o recurso de interesse. Se isso não levar ao recurso correto, o robô pode utilizar sua estimativa de distância da linha e ajustar a distância para valores que anteriormente levaram a recursos de imagem bem-sucedidos. Se ambos os mecanismos falharem em trazer o recurso à vista, o operador remoto pode ser alertado. Os dados são registrados para que, ao longo do tempo, um sistema de aprendizagem possa ser treinado, de forma a garantir que os recursos permaneçam visíveis. Algoritmos de aprendizado de reforço futuro aprenderão com exemplos o melhor ângulo de câmera e o melhor caminho do robô em um campo, dados recursos e localizações de campo.

[000229] Conforme descrito neste documento, é um algoritmo baseado em imagens coloridas para estimar a população de plantas de milho. A mais recente arquitetura de aprendizado profundo é usada junto com SVM clássico com kernel de função de base radial. O algoritmo reconheceu hastes de milho de forma robusta na presença de interferência de folhas e ervas daninhas, mas requer apenas uma quantidade relativamente pequena de dados para o treinamento. Após o reconhecimento, técnicas de estimativa de movimento foram usadas para calcular o movimento relativo entre a câmera e os talos de milho. Finalmente, a população de milho foi derivada do movimento relativo. O método divulgado de acordo com uma modalidade foi testado em três diferentes estágios de crescimento (V4, VT, R2) e alcançou o erro médio de 0,34% ± 6,27%, -5,14% ± 5,95% e 0,00% ± 3,71%, respectivamente. Uma das principais fontes de erro foram as folhas pendentes cobrindo as lentes da câmera, o que fez com que o algoritmo dessa modalidade ficasse mais sujeito a subestimar a população. Adicionar um jato de ar ao veículo não tripulado para mover mecanicamente as folhas do campo de visão da câmera reduz esse erro.

[000230] Agora será feita referência a alguns exemplos. Referindo-nos agora a um experimento de campo, os dados foram coletados na University of Illinois em Urbana-Champaign Energy Farm, Urbana, Illinois, de junho a outubro. Fileiras de vários comprimentos nos estágios de crescimento de V4, V6, VT, R2 e R6 foram selecionadas aleatoriamente. O robô foi conduzido a uma velocidade constante por controle remoto para um número arbitrário de lotes. Para as coletas de dados anteriores a outubro, uma pequena parte das imagens foi anotada para treinar o modelo de reconhecimento. Dois conjuntos de dados adicionais foram coletados em outubro para testar a capacidade de generalização do modelo em dados não vistos de diferentes condições de campo. A Tabela IV (B) resume as condições dos lotes e dos experimentos. TABELA IV (B): Datas e condições da coleta de dados

[000231] Referindo-se agora a certa validação (contagem de milho em campo), FIG. 27 mostra a população de plantas de milho por vaso, por robô vs humano para cada conjunto de dados. As previsões do robô concordam bem com a verdade fundamental. A linha ajustada de mínimos quadrados através de todos os dados tem um coeficiente de correlação R = 0,96. O lote de caixa e bigode de precisão para cada conjunto de dados é mostrado na FIG.28. O algoritmo atinge uma precisão consistentemente alta para todos os locais e estágios de crescimento. A precisão média em todos os conjuntos de dados é 89,74%. Observa-se que os dados de Martinsville e do Líbano foram processados sem usar os novos dados para treinar SVM. Os resultados demonstram que o modelo de reconhecimento generaliza bem para dados não vistos e lida com variações do mundo real de forma eficaz.

[000232] As principais fontes de erro incluem oclusão pesada, iluminação não uniforme e plantas de milho nas proximidades. FIGS. 29A e 29B mostram dois exemplos de folhas penduradas entre as linhas cobrindo quase completamente a lente da câmera. Embora o algoritmo de aprendizado profundo possa reconhecer corretamente os talos das folhas, ele não possui o poder de fazer previsões confiáveis quando a lente da câmera sofre de oclusão pesada. Em uma modalidade, um mecanismo mecânico como um jato de ar [46B] é usado para manter as folhas longe da vizinhança do sensor visual.

[000233] Conforme descrito neste documento, os aspectos da divulgação em questão podem incluir, por exemplo, um método para determinar uma população de plantas de um campo. O método desta modalidade compreende capturar, por uma câmera acoplada a um sistema de processamento, um grupo de imagens associado a um campo de plantas, em que o grupo de imagens é capturado enquanto a câmera está em movimento no campo. Em seguida, o sistema de processamento aplica uma rede neural convolucional ao grupo de imagens para extrair vetores de características. Em seguida, o sistema de processamento aplica uma máquina de vetores de suporte aos vetores de recursos para classificar os vetores de recursos, resultando em recursos classificados. Em seguida, o sistema de processamento aplica a estimativa de movimento com base em uma transformação rígida aos recursos classificados, resultando em dados de contagem corrigidos. Finalmente, o sistema de processamento determina uma população de planta para o campo de plantas com base nas características classificadas e nos dados de contagem corrigidos.

[000234] Em uma modalidade, um método é fornecido compreendendo: capturar, por uma câmera acoplada a um sistema de processamento que inclui um processador, um grupo de imagens associado a um campo de plantas, em que o grupo de imagens é capturado enquanto a câmera está em movimento o campo; aplicar, pelo sistema de processamento, uma rede neural convolucional ao grupo de imagens para extrair vetores de características; aplicar, pelo sistema de processamento, uma máquina de vetor de suporte aos vetores de recursos para classificar os vetores de recursos resultando em recursos classificados; aplicar, pelo sistema de processamento, estimativa de movimento com base em uma transformação rígida aos recursos classificados, resultando em dados de contagem corrigidos; e determinar, pelo sistema de processamento, uma população de planta para o campo de plantas com base nas características classificadas e nos dados de contagem corrigidos.

[000235] Em um exemplo, a máquina de vetor de suporte compreende uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000236] Em outro exemplo, o grupo de imagens não é uma vista aérea do campo de plantas e uma vista da câmera está em um ângulo descendente.

[000237] Em outro exemplo, o movimento da câmera enquanto o grupo de imagens está sendo capturado está em uma velocidade constante.

[000238] Em outro exemplo, as imagens da câmera são processadas para ajustar o ângulo de câmera para melhorar a precisão da contagem.

[000239] Em outro exemplo, as imagens da câmera são processadas para ajustar o caminho do movimento da câmera no campo para melhorar a precisão da contagem.

[000240] Em outro exemplo, a rede neural convolucional é aplicada apenas a uma região fixa de interesse em cada imagem do grupo de imagens.

[000241] Em outro exemplo, a região fixa de interesse é calculada automaticamente a partir das imagens da câmera.

[000242] Em outro exemplo, a rede neural convolucional compreende uma camada de convolução padrão seguida por várias camadas de convolução separáveis em profundidade.

[000243] Em outro exemplo, o aumento de dados é aplicado aos dados de treinamento para a rede neural convolucional e o aumento de dados é baseado na rotação da imagem, zoom da imagem, deslocamento vertical da imagem, inversão horizontal da imagem ou uma combinação dos mesmos.

[000244] Em outra modalidade, é fornecido um aparelho que compreende: um veículo não tripulado; uma bateria suportada pelo veículo não tripulado; um sistema de processamento incluindo um processador e suportado pelo veículo não tripulado; e uma câmera suportada pelo veículo não tripulado, em que a câmera captura um grupo de imagens associadas a um campo de plantas, em que o grupo de imagens é capturado enquanto o veículo não tripulado viaja ao longo das linhas do campo, e em que o sistema de processamento implementa um sistema convolucional rede neural, uma máquina de vetor de suporte e estimativa de movimento em relação ao grupo de imagens para determinar uma população de plantas para o campo de plantas.

[000245] Em um exemplo, a visão da câmera está em um ângulo descendente.

[000246] Em outro exemplo, a máquina de vetor de suporte compreende uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000247] Em outro exemplo, o veículo não tripulado viaja ao longo das linhas do campo a uma velocidade constante.

[000248] Em outro exemplo, a câmera montada no veículo não tripulado está em um gimbal que ajusta automaticamente a visualização da câmera com base nas imagens da câmera.

[000249] Em outro exemplo, a rede neural convolucional é aplicada apenas a uma região fixa de interesse em cada imagem do grupo de imagens.

[000250] Em outro exemplo, a rede neural convolucional compreende uma camada de convolução padrão seguida por várias camadas de convolução separáveis em profundidade.

[000251] Em outro exemplo, o aumento de dados é aplicado aos dados de treinamento para a rede neural convolucional e o aumento de dados é baseado na rotação da imagem, zoom da imagem, deslocamento vertical da imagem, inversão horizontal da imagem ou uma combinação dos mesmos.

[000252] Em outro exemplo, um jato de ar é suportado pelo veículo não tripulado, em que o jato de ar limpa obstruções, como folhas do quadro da câmera.

[000253] Em outra modalidade, um meio de armazenamento legível por máquina não transitório é fornecido, compreendendo instruções executáveis que, quando executadas por um sistema de processamento incluindo um processador, facilitam o desempenho das operações, compreendendo: aplicar uma rede neural convolucional a um grupo de imagens para extrair vetores de recursos, em que o grupo de imagens está associado a um campo de plantas e é capturado enquanto uma câmera está em movimento no campo; aplicar uma máquina de vetores de suporte aos vetores de recursos para classificar os vetores de recursos resultando em recursos classificados; aplicar estimativa de movimento com base em uma transformação rígida aos recursos classificados, resultando em dados de contagem corrigidos; e determinar uma população de planta para o campo de plantas com base nas características classificadas e nos dados de contagem corrigidos.

[000254] Em um exemplo, a máquina de vetor de suporte compreende uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000255] Em outro exemplo, o grupo de imagens não é uma vista aérea do campo de plantas e uma vista da câmera está em um ângulo descendente.

[000256] Em outro exemplo, a rede neural convolucional é aplicada apenas a uma região fixa de interesse em cada imagem do grupo de imagens.

[000257] Em outro exemplo, a rede neural convolucional compreende uma camada de convolução padrão seguida por várias camadas de convolução separáveis em profundidade.

[000258] Em outro exemplo, o aumento de dados é aplicado aos dados de treinamento para a rede neural convolucional e o aumento de dados é baseado na rotação da imagem, zoom da imagem, deslocamento vertical da imagem, inversão horizontal da imagem ou uma combinação dos mesmos. Referências 1B-46B

[000259] [1B] R. HOLLIDAY et al., "Plant Population and crop yield." Nature, vol. 186, no. 4718, pp. 22-4, 1960.

[000260] [2B] W. Duncan, “The relationship between corn population and yield,” Agronomy Journal, vol. 50, no. 2, pp. 82–84, 1958.

[000261] [3B] R. Willey e S. Heath, “The quantitative relationships between plant population and crop yield,”

Advances in Agronomy, vol. 21, pp. 281–321, 1969.

[000262] [4B] J. Lutz, H. Camper, e G. Jones, “Row spacing and population effects on corn yields,” Agronomy journal, vol. 63, no. 1, pp. 12–14, 1971.

[000263] [5B] A. Lang, J. Pendleton, e G. Dungan, “Influence of population and nitrogen levels on yield and protein and oil contents of nine corn hybrids,” Agronomy Journal, vol. 48, no. 7, pp. 284–289,1956.

[000264] [6B] P. Thomison, J. Johnson, e D. Eckert, “Nitrogen fertility interactions with plant population and hybrid plant type in corn,” Soil Fertility Research, pp. 28– 34, 1992.

[000265] [7B] W. Duncan, “A theory to explain the relationship between corn population and grain yield,” Crop Science, vol. 24, no. 6, pp. 1141-1145, 1984.

[000266] [8B] R. Holt e D. Timmons, “Influence of precipitation, soil water, and plant population interactions on corn grain yields,” Agronomy Journal, vol. 60, no. 4, pp. 379–381, 1968.

[000267] [9B] D. Karlen e C. Camp, “Row spacing, plant population, and water management effects on corn in the atlantic coastal plain,” Agronomy Journal, vol. 77, no. 3, pp. 393–398, 1985.

[000268] [10B] D. J. Eckert e V. L. Martin, “Yield and nitrogen requirement of no-tillage corn as influenced by cultural practices,” Agronomy journal, vol. 86, no. 6, pp. 1119–1123, 1994.

[000269] [11B] S. Birrell e KA Sudduth, sensor de população de milho para agricultura de precisão. ASAE, 1995.

[000270] [12B] K. Thorp, B. Steward, A. Kaleita e W.

Batchelor, "Using aerial hyperspectral remote sensing imagery to estimate corn plant stand density" Trans. ASABE, vol. 51, nº 1, pp. 311–320, 2008, citado por 0.

[000271] [13B] Y. Shi, N. Wang, R. Taylor, W. Raun, e J. Hardin, “Automatic corn plant location and spacing measurement using laser line-scan technique,” Precis. Agric., Vol. 14, no. 5, pp. 478–494, 2013, citado por 0.

[000272] [14B] Y. Shi, N. Wang, R. Taylor, and W. Raun, “Improvement of a ground-lidar-based corn plant population and spacing measurement system,” Comput. Elétron. Agric., Vol. 112, pp. 92 - 101, 2015, agricultura de precisão. [Conectado]. Disponível: http://www.sciencedirect.com/science/article/pii/S016816991 4003093

[000273] [15B] A. Nakarmi e L. Tang, “Automatic inter- plant spacing sensing at early growth stages using a 3d vision sensor,” Comput. Elétron. Agric., Vol. 82, pp. 23–31, 2012, citado por 25.

[000274] [16B] J. D. Luck, S. K. Pitla, e S. A. Shearer, “Sensor ranging technique for determining corn plant population,” in 2008 Providence, Rhode Island, June 29–July 2, 2008. American Society of Agricultural and Biological Engineers, 2008, p. 1.

[000275] [17B] J. A. Rascon Acuna, “Corn sensor development for by-plant management,” Dissertação Ph.D, Oklahoma State University, 2012.

[000276] [18B] D. S. Shrestha e B. L. Steward, “Automatic corn plant population measurement using machine vision,” Transactions of the ASAE, vol. 46, no. 2, pág. 559, 2003.

[000277] [19B] K. He, X. Zhang, S. Ren e J. Sun, "Deep residual learning for image recognition," em Procedimentos da conferência IEEE sobre visão computacional e reconhecimento de padrões, 2016, pp. 770–778.

[000278] [20B] A. Krizhevsky, I. Sutskever, e G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in neural information processing systems, 2012, pp. 1097–1105.

[000279] [21B] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke e A. Rabinovich, "Going deep with convolutions", em Procedimentos da conferência IEEE sobre visão computacional e reconhecimento de padrões, 2015, pp. 1–9.

[000280] [22B] K. Simonyan e A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” arXiv preprint arXiv:1409.1556, 2014.

[000281] [23B] JL Araus e JE Cairns, “Field high- throughput phenotyping: the new crop breeding frontier”, Trends in plant science, vol. 19, no. 1, pp. 52–61, 2014.

[000282] [24B] RT Furbank e M. Tester, “Phenomics – technologies to relieve the phenotyping bottleneck,” Trends in plant science, vol. 16, no. 12, pp. 635–644, 2011.

[000283] [25B] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, e L. Fei-Fei, “ImageNet Large Scale Visual Recognition Challenge,” Jornal International de Visão de Computação (IJCV), vol. 115, no. 3, pp. 211-252, 2015.

[000284] [26B] R. Girshick, J. Donahue, T. Darrell, e J. Malik, “Region-based convolutional networks for accurate object detection and segmentation.” transações IEEE sobre análises de padrões e inteligência de máquina, vol. 38, nº

1, pp. 142–158, 2016.

[000285] [27B] R. Girshick, “Fast r-cnn,” em Procedimentos da Conferência Internacional IEEE sobre Visão Computacional, 2015, pp. 1440–1448.

[000286] [28B] S. Ren, K. He, R. Girshick e J. Sun, "Faster r-cnn: Towards real-time object discovery with region proposal networks," in Advances in neural information processing systems, 2015, pp. 91–99.

[000287] [29B] J. Long, E. Shelhamer e T. Darrell, “Fully convolutional networks for semantic segmentation,” em Procedimentos da Conferência IEEE sobre Visão Computacional e Reconhecimento de Padrões, 2015, pp. 3431–3440.

[000288] [30B] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” em Advances in neural information processing systems, 2014, pp. 2672–2680.

[000289] [31B] C. Szegedy, S. Ioffe, V. Vanhoucke e AA Alemi, "Inception-v4, inception-resnet and the impact of residual connections on learning." em AAAI, 2017, pp. 4278–

4284.

[000290] [32B] K. He, X. Zhang, S. Ren e J. Sun, "Identity mappings in deep residual networks", na Conferência Européia sobre Visão Computacional. Springer, 2016, pp. 630–645.

[000291] [33B] AG Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto e H. Adam, "Mobilenets: Efficient convolutional neural networks for mobile vision applications," arXiv preprint arXiv:

1704.04861, 2017.

[000292] [34B] J. Pruegsanusak e A. Howard, https://github.com/tensorflow/models/ blob / master / slim

/ nets / mobilenet v1.md, acessado: 12/08/2017.

[000293] [35B] N. Cristianini e J. Shawe-Taylor, “An introduction to support vector machines,” 2000.

[000294] [36B] B. Scholkopf, K.-K. Sung, C. J. Burges, F. Girosi, P. Niyogi, T. Poggio, e V. Vapnik, “Comparing support vector machines with Gaussian kernels to radial basis function classifiers,” Transações IEEE sobre Processamento de Sinal, vol. 45, no. 11, pp. 2758–2765, 1997.

[000295] [37B] A. J. Smola e B. Sch¨olkopf, “On a kernel- based method for pattern recognition, regression, approximation, and operator inversion,” Algorithmica, vol. 22, no. 1-2, pp. 211–231, 1998.

[000296] [38B] AJ Smola, B. Scholkopf e K.-R. Muller, “The connection between regularization operator and support vector kernels”, Neural networks, vol. 11, no. 4, pp. 637– 649, 1998.

[000297] [39B] B. Scholkopf, S. Mika, CJ Burges, P. Knirsch, K.-R. Muller, G. Ratsch e AJ Smola, “Input space versus feature space in kernel-based methods,” Transações IEEE sobre redes neurais, vol. 10, no. 5, pp. 1000–1017,

1999.

[000298] [40B] B. Schöolkopf, CJ Burges e AJ Smola, Advances in kernel methods: support vector learning. Imprensa do MIT, 1999.

[000299] [41B] C. Cortes e V. Vapnik, “Support-vector networks,” Machine learning, vol. 20, no. 3, pp. 273-297,

1995.

[000300] [42B] J. A. Suykens, J. De Brabanter, L. Lukas, and J. Vandewalle, “Weighted least squares support vector machines: robustness and sparse approximation,”

Neurocomputing, vol. 48, no. 1, pp. 85–105, 2002.

[000301] [43B] C. M. Bishop, Neural networks for pattern recognition. Oxford University Press, 1995.

[000302] [44B] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, e E. Duchesnay, “Scikit-learn: Machine learning in Python,” Journal of Machine Learning Research, vol. 12, pp. 2825–2830, 2011.

[000303] [45B] H. Bay, T. Tuytelaars e L. Van Gool, “Surf: Speeded up robust features,” Computer vision – ECCV 2006, pp. 404-417, 2006.

[000304] [46B] B. Lobdell e J. Hummel, “Optical plant spacing and stalk diameter sensor with air-jet assist,” in Proc. 3rd Intl. Conferência sobre informação Geoespacial em Agricultura e Silvicultura, 2001.

[000305] Agora será feita referência a um robô agrícola que (em várias modalidades) permite a fenotipagem baseada em campo que supera as limitações anteriores, como altos custos operacionais e de manutenção, baixa área de cobertura, segurança, motores de combustão interna disruptivos, processamento manual excessivo ou off-board de dados de sensor e/ou a necessidade de operadores experientes. Como exemplo, é fornecido um robô de fenotipagem de campo ultraleve, de baixo custo, autônomo que pode navegar em uma variedade de condições de campo para superar as limitações acima mencionadas com sistemas de fenotipagem baseados em campo existentes.

[000306] Em uma ou mais modalidades, a variabilidade nas linhas de cultura, topologia, condições ambientais e/ou tamanho pode ser superada por um robô agrícola que é capaz de atravessar uma pluralidade de culturas em diferentes geografias sem danificar as plantas de cultura para fenotipagem, observação, e/ou durante as operações de gerenciamento da cultura. Quando as plantas são muito pequenas ou quando as linhas não estão estruturadas ou muito espaçadas, o robô agrícola pode percorrer o campo sem danificar as plantas cultivadas, mesmo que tenha que passar por cima delas, e tem baixo custo de propriedade. Em uma ou mais modalidades, um robô agrícola é fabricado e/ou opera com um baixo custo para exploração robótica, fenotipagem e/ou tarefas de gerenciamento de cultura, o que pode ser significativo dada a pressão de custo enfrentada pelos agricultores.

[000307] Em uma ou mais modalidades, um aparelho manufaturado de processo de fabricação de aditivos pode atravessar ou operar em uma pluralidade de culturas, ambientes agrícolas e/ou geografias sem danificar as culturas e a um custo suficientemente baixo. Em uma ou mais modalidades, o aparelho pode ser fabricado e operado de maneira econômica, ao mesmo tempo em que é capaz de contagem de estande e fenotipagem totalmente automatizadas.

[000308] Em uma ou mais modalidades, um aparelho de plástico fabricado ou de material composto pode atravessar ou operar em uma pluralidade de culturas, ambientes agrícolas e/ou geografias sem danificar as culturas e a um custo suficientemente baixo. Em uma ou mais modalidades, o aparelho pode ser fabricado e operado de maneira econômica, ao mesmo tempo em que é capaz de contagem de estande e fenotipagem totalmente automatizadas.

[000309] Em uma ou mais modalidades, um aparelho fabricado em metal pode atravessar ou operar em uma pluralidade de culturas, ambientes agrícolas e/ou geografias sem danificar as culturas e com custo suficientemente baixo. Em uma ou mais modalidades, o aparelho pode ser fabricado e operado de maneira econômica, ao mesmo tempo em que é capaz de contagem de estande e fenotipagem totalmente automatizadas.

[000310] Em uma ou mais modalidades, plástico, metal, compósitos ou outro material é usado em combinação para construir o robô.

[000311] Em uma ou mais modalidades, o robô pode ser construído de materiais compatíveis ou macios.

[000312] Em uma ou mais modalidades, é fornecido um aparelho que não danificará as culturas, mesmo se passar por cima delas, e não utiliza sensores de contato para determinar bordas ou caminhos de linha.

[000313] Em uma ou mais modalidades, é fornecido um robô terrestre autônomo que é capaz de rastrear um caminho pré- especificado com um alto nível de precisão sem intervenção humana. Em uma modalidade, um robô terrestre autônomo também pode incorporar outros comportamentos de nível superior, como decidir de forma autônoma quando recarregar e/ou colaborar com outros robôs terrestres autônomos para completar uma tarefa.

[000314] Tratores e culturadeiras guiados por GPS que podem seguir caminhos prescritos estão sendo adotados comercialmente pelos produtores, no entanto, a automação de grandes equipamentos aborda apenas parcialmente os desafios de robótica na agricultura, especialmente porque equipamentos grandes geralmente não podem ser usados quando o dossel da cultura fecha. Em contraste, em uma ou mais modalidades, pequenos robôs terrestres são andarilhos mecanizados que podem rastrear caminhos pré-especificados autonomamente em ambientes externos hostis. Seu pequeno tamanho permite que eles manobrem em linhas e evitem problemas como compactação do solo, por meio do uso de tecnologias de direção, detecção e autonomia compactas, leves e com eficiência energética.

[000315] Em uma ou mais modalidades, é fornecido um robô agrícola que realiza medições de observação e/ou fenotipagem agrícola e que não danifica permanentemente as plantas, mesmo se passar por cima delas. Isso é ativado por meio de vários recursos, incluindo um ou mais dos seguintes: uma plataforma robótica ultraleve (por exemplo, um robô pesando menos de 20 libras (9,07 quilogramas)); construção ultracompacta (por exemplo, um robô de tamanho compacto); um robô de baixa complexidade, operado por bateria, com horas de resistência levando a baixo custo de fabricação e operação; um robô que não danifica as plantas, mesmo passando por cima delas; um robô que inclui sensor compacto, computação e suíte analítica integrada para realizar tarefas e medições agronomicamente relevantes a bordo, incluindo contagem de estande, determinação do ângulo de talo, detecção de doenças e outros em uma plataforma robótica ultraleve; um robô que pode utilizar um conjunto de análises baseadas na web para realizar essas medições e/ou aprimorar a capacidade de medição a bordo; um sistema de acompanhamento de caminho autônomo que garante rastreamento de posição altamente preciso, o que garante que o robô permaneça em um caminho prescrito para minimizar o pisoteio sobre plantas; um sistema de seguimento de caminho autônomo que não precisa de sinal de GPS RTK de alta precisão; uma GUI (interface gráfica de usuário) de interação humana implementada como um aplicativo em um dispositivo inteligente que permite que um único operador humano controle ou direcione um ou mais robôs agrícolas autônomos; um robô ultracompacto que pode girar em uma linha de cultura; e/ou um mecanismo de rotação não dependente de um mecanismo de cremalheira e pinhão, que pode, em vez disso, utilizar um arrastador para girar implementado por acionamento por motor elétrico independente nas quatro rodas.

[000316] Uma modalidade fornece um aparelho com uma estrutura, rodas conectadas rotativamente à estrutura e uma bateria conectada à estrutura. O aparelho pode ter motores elétricos suportados pela estrutura e conectados à bateria, onde cada um dos motores elétricos é conectado a uma das rodas, em que os motores elétricos permitem que o aparelho gire pelo menos 180 graus (por exemplo, para girar 180 graus dentro o espaço entre filas adjacentes de culturas). O aparelho pode ter um processador suportado pela estrutura e sensores de velocidade suportados pela estrutura e acoplados ao processador, onde cada um dos sensores de velocidade está conectado a uma das rodas e onde os sensores de velocidade transmitem sinais de feedback de velocidade associados a cada das rodas para o processador. O aparelho pode ter um sistema de navegação global por satélite (GNSS) suportado pelo quadro e compreendendo uma antena GNSS e computador GNNS acoplado ao processador, onde o sistema global de navegação por satélite recebe, processa e transmite informações de posição para o processador. O aparelho pode ter um giroscópio suportado pela estrutura e acoplado ao processador, onde o giroscópio transmite sinais de medição incluindo medições de taxa de guinada para o processador. O aparelho pode ter um grupo de sensores suportados pela estrutura, onde o grupo de sensores fornece medições sem contato de culturas circundantes e suas características para fins de navegação. O aparelho pode ter um grupo de sensores suportados pela moldura e acoplados ao processador, onde o grupo de sensores coleta dados fenotípicos associados às culturas. O processador determina os sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, as informações posicionais e os sinais de medição aplicando uma estimativa e controle de horizonte recuado em tempo real. O processador transmite os sinais de controle para cada um dos motores elétricos, fazendo com que o aparelho rastreie um caminho de referência.

[000317] Outra modalidade fornece um aparelho que tem uma estrutura, rodas conectadas de forma rotativa à estrutura e uma bateria conectada à estrutura. O aparelho pode ter motores elétricos suportados pela estrutura e conectados à bateria, onde cada um dos motores elétricos é conectado a uma das rodas, em que os motores elétricos permitem que o aparelho gire pelo menos 180 graus (por exemplo, para girar 180 graus dentro o espaço entre filas adjacentes de culturas). O aparelho pode ter um processador suportado pelo quadro. O aparelho pode ter sensores de velocidade suportados pela estrutura e acoplados ao processador, onde cada um dos sensores de velocidade está conectado a uma das rodas e onde os sensores de velocidade transmitem sinais de feedback de velocidade associados a cada uma das rodas para o processador. O aparelho pode ter um sistema de navegação global por satélite suportado pelo quadro e compreendendo uma antena GNSS e computador GNNS acoplado ao processador, onde o sistema global de navegação por satélite recebe, processa e transmite informações de posição para o processador. O aparelho pode ter um giroscópio suportado pela estrutura e acoplado ao processador, onde o giroscópio transmite sinais de medição incluindo medições de taxa de guinada para o processador. O aparelho pode ter um grupo de sensores suportados pela moldura e acoplados ao processador, onde o grupo de sensores coleta dados fenotípicos associados às culturas. O processador determina os sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, as informações de posição e os sinais de medição. O processador transmite os sinais de controle para cada um dos motores elétricos, fazendo com que o aparelho rastreie um caminho de referência. O processador gera sinais de coleta de dados para selecionar ou ajustar um ou mais algoritmos de coleta de dados, um ou mais do grupo de sensores ou uma combinação dos mesmos, ajustando assim a coleta dos dados fenotípicos associados às culturas. Os sinais de coleta de dados podem ser gerados pelo processador de acordo com uma análise de pelo menos alguns dos dados fenotípicos, outras informações obtidas pelo processador ou uma combinação dos mesmos. Os sinais de coleta de dados podem ser gerados pelo processador sem receber sinais de comando de um usuário em uma fonte remota.

[000318] Ainda outra modalidade fornece um método incluindo receber, por um sistema de processamento de um robô agrícola com rodas, sinais de feedback de velocidade associados a cada uma das rodas, onde os sinais de feedback de velocidade são recebidos de sensores de velocidade de robô agrícola e onde cada um dos sensores de velocidade são conectados a uma das rodas. O método pode incluir o recebimento, pelo sistema de processamento, de informações de posição de um sistema de navegação global por satélite (GNSS) do robô agrícola. O método pode incluir receber, pelo sistema de processamento, sinais de medição de um giroscópio do robô agrícola, onde os sinais de medição incluem medições de taxa de guinada. O método pode incluir determinar, pelo sistema de processamento, sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, as informações posicionais e os sinais de medição aplicando uma estimativa e controle de horizonte recuado em tempo real. O método pode incluir a transmissão, pelo sistema de processamento, dos sinais de controle para um controlador acoplado a motores elétricos, fazendo com que o robô agrícola rastreie um caminho de referência, onde cada um dos motores elétricos está conectado a uma das rodas e habilita o robô agrícola para girar pelo menos 180 graus (por exemplo, para girar 180 graus dentro do espaço entre as linhas adjacentes de culturas).

[000319] Com referência agora à FIG.36, uma ilustração de uma modalidade do robô com um conjunto de sensores anexados é mostrada. Este robô é ultraleve (menos de 15 libras (6,80 quilogramas)) e compacto. A natureza ultraleve do robô garante que ele não empurre as plantas para o solo devido ao peso e minimiza o impulso do robô enquanto ele dirige. Os robôs agrícolas existentes no mercado são geralmente significativamente mais pesados. O peso ultraleve é baseado na seleção do material, na constituição do material e no projeto estrutural. A sabedoria convencional para equipamentos agrícolas é fabricá-los de metal. No entanto, o metal é pesado e caro. Em contraste, esta modalidade do robô é construída por meio de manufatura aditiva (como impressão 3D). A manufatura aditiva cria projetos complexos por camadas de material, ao contrário do trabalho tradicional de metal ou da moldagem por injeção tradicional de plásticos. Aproveitando as capacidades de fabricação aditiva, esta modalidade minimiza o peso enquanto mantém rigidez estrutural suficiente. O robô inclui peças em uma forma para distribuir de forma ideal a tensão. O mecanismo de estratificação na manufatura aditiva é utilizado para controlar a densidade, de modo que uma construção mais densa e mais forte seja utilizada para peças de alta tensão e alto desgaste. As técnicas de manufatura aditiva podem ser aplicadas a diferentes peças com base em seus níveis de desgaste e tensão esperados. Em uma modalidade, o robô pode incluir componentes de metal de baixo peso selecionados, que são selecionados para maximizar a resistência de campo do robô.

[000320] Em uma modalidade, a distância ao solo do robô é suficientemente alta para permitir a travessia de terrenos complexos. Os motores podem ser colocados suficientemente perto das rodas do robô, para minimizar a perda na transmissão. Em uma modalidade, os mecanismos próximos à roda podem ser utilizados para garantir que pouco estresse seja colocado nos motores e a potência seja transmitida diretamente para as rodas com o mínimo (se houver) engrenagens e sistema de transmissão para minimizar as perdas.

[000321] Em uma modalidade, as rodas são utilizadas que atingem um compromisso de desempenho entre tração, pressão no solo, propensão para deslocar o solo, distância ao solo suficiente, facilidade de fabricação e resistência mecânica. FIG. 37 mostra algumas das rodas que foram consideradas indesejáveis em operação. A roda mais à esquerda falhou devido à baixa distância ao solo e à pressão excessiva no solo. A roda do meio falhou devido a muita perturbação do solo e danos às plantas devido a arestas vivas (levando a pressão excessiva). A roda direita falhou devido a derrapagem excessiva devido à falta de tração, causando danos. Outras considerações incluem o uso de padrões de preenchimento de fabricação corretos para criar suavidade suficiente nas rodas, mesmo quando são fabricadas com aditivos.

[000322] FIG. 38 mostra um layout eletrônico interno de acordo com uma modalidade (esta FIG representa como um complexo conjunto de eletrônicos pode ser integrado em um robô muito pequeno).

[000323] O conjunto de eletrônicos do robô maximiza ou aumenta a resistência do robô entre cargas, otimiza ou aumenta a utilização do espaço, minimiza ou reduz a interferência entre os dispositivos e garante ou promove que os eletrônicos de alto desempenho permaneçam suficientemente frios.

[000324] Em uma modalidade, uma antena de sistema de navegação global por satélite (GNSS) é montada diretamente no centro do robô, e o módulo GNNS diferencial cinemático em tempo real com capacidade de GPS de dupla frequência (Piksi

Multi, Swift Navigation, EUA) é usado para adquirir informações posicionais precisas de nível centimétrico a uma taxa de 5 Hz. Outra antena e módulo são usados como estação base portátil e transmitem correções diferenciais. Um giroscópio de 3 eixos (STMicroelectronics L3G4200D) é usado para obter medições de taxa de guinada com uma precisão de 1 grau por segundo a uma taxa de 5 Hz. Em uma modalidade, o sistema pode ser modular com qualquer antena habilitada para RTK GPS.

[000325] Em um exemplo, pode haver quatro motores com escova de 12 V DC com uma caixa de engrenagens de metal 131,25:1, que são capazes de acionar uma roda acoplada a 80 rotações por minuto. Esses motores fornecem o torque e RPM necessários sem drenar muita bateria, para que o robô tenha pelo menos 8 horas de resistência em condições de campo.

[000326] Em um exemplo, um codificador de efeito Hall de dois canais (por exemplo, Pololu Corporation, EUA) para cada motor DC pode ser conectado para medir as velocidades das rodas. Um controlador de motor Sabertooth (por exemplo, Dimension engineering, EUA) pode ser usado, que é um driver de motor de dois canais que usa sinais de controle digital para acionar dois motores por canal (canal esquerdo e direito) e tem uma corrente de alimentação nominal de 12 A por canal. Um controlador de movimento Kangaroo x2 (por exemplo, Dimension engineering, EUA) pode ser utilizado, o qual é um controlador PID autoajustável de dois canais que usa feedback dos codificadores para manter os comandos de velocidade linear e angular desejados do robô.

[000327] Em uma modalidade que se refere adicionalmente à FIG.39, uma CPU Raspberry Pi 3 Modelo B quad-core de 1,2

GHz, 64 bits adquire medições de todos os sensores disponíveis e envia os sinais de comando desejados (por exemplo, velocidades lineares e angulares desejadas) para o Kangaroo x2 controlador de movimento na forma de dois sinais de modulação por largura de pulso.

O robô estima sua posição global alimentando todas as medições disponíveis de todos os seus sensores de bordo (GPS, giroscópio e codificadores) para um estimador de estado online.

Em uma modalidade, cada vez que os estados estimados são atualizados, eles podem ser alimentados para um controlador de seguimento de caminho que usa esses estados estimados para calcular as velocidades lineares e angulares desejadas, na estrutura do corpo, necessárias para o robô a fim de seguir a referência caminho dado por um gerador de trajetória.

Essas velocidades de comando calculadas podem então ser enviadas para o Kangaroo Motion Controller (KMC) como sinais de comando de referência, na forma de sinais LarguraPulso-Modulado (PWM). O KMC funciona como o controlador de baixo nível do robô, usando feedback dos codificadores, anexados aos motores, para determinar os sinais de controle necessários para rastrear os sinais de comando de referência fornecidos, garantindo que as velocidades desejadas do robô sejam mantidas.

O KMC emite os sinais de comando modificados para o Sabertooth Motor Controller (SMC), que correlaciona os sinais de controle fornecidos às tensões de saída necessárias para os motores.

Em uma modalidade, um sistema de resfriamento pode fornecer resfriamento de líquido para o NVIDIA Tegra GP-GPU.

Este sistema de refrigeração pode ter um radiador externo montado que é montado de forma a evitar obstruir as rodas durante o movimento.

[000328] Com referência adicionalmente à FIG.40, uma vista superior esquemática do robô desta modalidade é ilustrada mostrando o centro de gravidade (CG) e os motores / codificadores DC (apenas um dos quais é rotulado) que permite um nível desejado de controle para atravessar linhas de cultura. Em uma modalidade, as rodas podem ser críticas para garantir que o robô possa navegar sobre as plantações sem danificá-las e pode navegar sobre terrenos úmidos e lamacentas. Como exemplo, as rodas podem ter extensões em forma de pá, estruturas ou arranjos que são projetados para fornecer boa tração em solos soltos, minimizando a área de contato. Essas extensões em forma de pá podem se estender da roda e circunscrever a roda para fazer contato com o solo. Ao contrário dos robôs rastreados, esta roda tem vantagens significativas: (1) ela não leva a uma grande área que é colocada sob pressão e força conforme o robô se move, ao invés disso, limita-a apenas a uma pequena área de contato; (2) é muito mais simples de fabricar e operar no campo; e (3) é modular, no sentido de que cada roda pode ser substituída se quebrar, ao invés de ter que substituir toda a pista.

[000329] Em uma modalidade, o mecanismo de acionamento pode incluir motores montados perto de cada roda para permitir o acionamento independente nas quatro rodas, sem a necessidade de distribuir energia de uma unidade de energia central. Isso é muito diferente dos equipamentos e veículos típicos existentes, que geralmente utilizam uma única usina de energia e então transmitem a energia para rodas diferentes. O mecanismo de tração nas quatro rodas pode permitir que o robô gire, variando as velocidades das rodas independentes.

Este é um mecanismo muito mais simples, uma vez que não requer pinhão e cremalheira complexos ou outros mecanismos semelhantes para acionamento.

[000330] Outra característica da roda e do suporte é a incorporação (em um exemplo) da suspensão sem ter que aumentar o tamanho do robô. As suspensões podem ser embutidas entre a montagem da roda e o chassi. Isso tem a vantagem de que o chassi pode ser alargado, ao mesmo tempo que permite um mecanismo simples para lidar com campos agrícolas acidentados.

[000331] Agora será feita referência a certos experimentos que foram realizados para garantir que o robô de uma modalidade não danifique as plantas: I. Dirigir sobre plantas individuais: uma modalidade do robô divulgado neste documento foi conduzida sobre plantas individuais, como ervas daninhas comuns, soja em diferentes estágios de crescimento, plantas de milho em diferentes estágios de crescimento, leguminosas e arbustos. O dano às plantas foi medido por danos visíveis, a capacidade da planta de crescer após a passagem do robô e se a planta prosperou dias após o evento de direção. Os resultados foram comparados com a condução sobre as fábricas com robôs / veículos existentes, incluindo um robô maior, pequenos tratores e veículos com mais de 600LB. Todos os experimentos demonstraram que a modalidade do robô aqui divulgado não danifica as plantas, enquanto os outros veículos / robôs o fazem. II. Testes de compactação do solo: uma modalidade do robô divulgado neste documento foi conduzida sobre diferentes tipos e condições de solo, incluindo solos à base de argila no sudeste da Ásia que estavam saturados com água e solos argilosos de silte em Illinois com diferentes teores de umidade que variam de seco a super-saturação com água (no dia seguinte após uma chuva forte). Em todas as condições, o robô da modalidade deixou marcas de piso com menos de 0,3 polegadas (0,762 centímetros) de profundidade, em condições mais secas, as marcas de piso eram dificilmente visíveis em solos duros e secos. A compactação do solo foi testada verificando a densidade do solo conduzido por meio de uma sonda. Os solos impelidos pela modalidade do robô aqui divulgado foram, na verdade, considerados mais soltos devido à forma como as rodas foram projetadas. Esses resultados foram comparados com outros robôs, pequenos tratores, grandes equipamentos e veículos. Esses outros robôs / veículos resultaram em compactação do solo e marcas de piso muito mais profundas do que a modalidade do robô divulgado neste documento, uma vez que nenhum desses outros robôs / veículos são projetados para passar por cima de plantas sem danificá-las (ao contrário da modalidade do robô aqui divulgado).

[000332] FIGS. 41A-41E representam uma modalidade de uma plataforma robótica construída principalmente de peças impressas em 3D (em vez de principalmente de peças de metal), que é operada por bateria (baterias de polímero de lítio) e apresenta um conjunto fortemente integrado de sensores, dispositivos de computação, memória e software para controle e análise onboard para reconhecimento. O custo total desse robô é uma ordem de magnitude menor do que os robôs agrícolas existentes, incluindo opções disponíveis comercialmente e muitos protótipos acadêmicos. Além disso, o robô também é muito mais compacto do que muitos robôs existentes. O robô desta modalidade é capaz de girar em uma linha de cultura.

[000333] FIGS. 42A-42D representam dimensões para uma modalidade do robô. O robô possui um mecanismo para incluir suspensão nas rodas do robô. Este robô está equipado com duas câmeras de espectro visual voltadas para o lado, uma câmera voltada para a frente e um sensor 3D Intel RealSense. O robô também pode incluir iluminação LED para auxiliar na operação em áreas sombreadas. Um revestimento Paralyne pode ser fornecido para resistência à água, em que um benefício desta abordagem é que ele não aumenta significativamente o peso ou fator de forma do robô, ao mesmo tempo que fornece resistência à água. Nesta modalidade, o robô pode fornecer um caminho autônomo seguindo com alta precisão. O robô é totalmente autônomo, capaz de seguir trajetórias predefinidas com alto nível de precisão. A direção precisa através das linhas da plantação evita danos à cultura e é um dos recursos mais importantes para um robô agrícola. Na prática, as variações das condições do solo podem resultar em navegação fora da pista devido a coeficientes de tração desconhecidos do solo. Para resolver este problema, o robô desta modalidade implementa navegação baseada em RHEC aplicada a uma plataforma móvel totalmente autônoma que foi avaliada rigorosamente em condições de campo realistas para render muito menos do que 5 polegadas (12,7 centímetros) de erro de rastreamento de caminho. O sistema de orientação e controle funde as medições de um sensor inercial (giroscópio) com RTK-GPS e usa o controle preditivo do modelo não linear para executar o controle de rastreamento do caminho. Todas as quatro rodas são controladas de forma independente. Uma estrutura de estimativa e controle de horizonte recuado em tempo real (RHEC) é desenvolvida e implementada em um computador embutido. Neste exemplo, RHE (estimativa de horizonte de retrocesso) é usado para estimar estados e parâmetros restritos e RHC (controle de horizonte de retrocesso) é baseado em um modelo de sistema adaptativo que contém parâmetros variáveis no tempo. As capacidades da estrutura RHEC em tempo real são verificadas experimentalmente e os resultados mostram um desempenho de rastreamento preciso em um campo de solo acidentado e úmido, conforme ilustrado na FIG.43. Os valores médios do erro euclidiano e do tempo de cálculo necessário da estrutura RHEC são respectivamente iguais a 1,66 polegadas (4,21 centímetros) e 0,88 milissegundos.

[000334] Em uma ou mais modalidades, um robô agrícola é fornecido com forma, forma, peso e material de modo que não danifique as plantas, mesmo que passe por cima delas ou as escove durante a operação ao longo da temporada, desde a emergência da planta até a pós-cultura. Um mecanismo de locomoção para o robô permite que ele atravesse campos agrícolas sem danificar as plantas. Um sistema de navegação autônomo que compreende sensores, computadores e atuadores permite que o robô planeje e dirija em um caminho no campo agrícola que não danifique as plantas agrícolas e planeje e conduza ações de gerenciamento da cultura de uma maneira que não danifique as plantas.

[000335] Em uma modalidade, o robô pode ser fornecido com um sistema de sensor incorporado, algoritmos e software para funções agronômicas a bordo sem a necessidade de conectividade em nuvem ou conectividade com outros computadores / robôs. O robô pode realizar várias funções de coleta de dados, incluindo contagem de estandes, estimativa do ângulo do talo, altura da espiga e estimativa da altura da planta, identificação de doenças (por exemplo, ferrugem, mosaico, fungo), identificação de danos por insetos (por exemplo, danos à folha, danos ao talo, identificação de ninho de inseto), detecção de insetos, amostragem de plantas e solo e/ou recuperação de amostras que podem ser devolvidas a uma estação terrestre. Em uma modalidade, o robô pode incluir um sistema de comunicação e coordenação que permite a um usuário remoto controlar um ou mais robôs autônomos de uma maneira que as plantas agrícolas não sejam danificadas. O sistema de comunicação e coordenação pode permitir que uma equipe de robôs se comunique e colabore para obter medições agronômicas sem danificar as plantas, determinando os caminhos menos danosos e alocando porções do campo para robôs específicos para reduzir as áreas percorridas e aumentar a velocidade de obtenção de informações agronômicas.

[000336] Em uma modalidade, o sistema de comunicação e coordenação permite que uma equipe de robôs se comunique e colabore para conduzir o gerenciamento de campo, incluindo, mas não se limitando a um ou mais de remoção de ervas daninhas, descarte, amostragem, pulverização, poda, cultura sem danificar as plantas agrícolas, por determinar os caminhos menos prejudiciais e alocar porções do campo para robôs específicos para reduzir as áreas percorridas e aumentar a velocidade de realização de tarefas de gerenciamento.

[000337] Em uma modalidade, um sistema de recarga automática implantado em campo é fornecido que permite ao robô recarregar suas baterias incluindo, mas não se limitando a, uma ou mais de uma recarga conectada, recarga indutiva, troca de bateria ou carregamento sem fio. Em uma ou mais modalidades, um robô implantável em campo é capaz de auxiliar outros robôs por meio de atividades como reparar, resgatar ou recarregar outros robôs de uma maneira que não danifique as plantas cultivadas.

[000338] O direcionamento preciso através de linhas de cultura que evita danos à cultura pode ser uma tarefa importante para robôs agrícolas utilizados em várias operações de campo. Em uma ou mais modalidades, as condições de solo variáveis que normalmente resultam em navegação fora da pista devido a coeficientes de tração desconhecidos e que normalmente podem causar danos à cultura podem ser explicadas por várias modalidades. Por exemplo, uma estrutura de estimativa e controle de horizonte recuado em tempo real (RHEC) pode ser aplicada a um robô de campo totalmente autônomo para aumentar sua precisão de direção.

[000339] Microprocessadores mais rápidos e de menor custo, bem como avanços nos métodos de solução para problemas de otimização não linear, permitem o controle de horizonte de recuo não linear (RHC) e métodos de estimativa de horizonte de recuo (RHE) a serem utilizados para robôs de campo que requerem atualizações de alta frequência (milissegundos). Em uma modalidade, uma estrutura de RHEC em tempo real é desenvolvida e aplicada a uma plataforma robótica móvel totalmente autônoma para aplicações de fenotipagem em campo, como em campos de sorgo (embora as modalidades possam ser utilizadas em vários campos com várias culturas). RHE pode ser usado para estimar estados e parâmetros restritos, e é formulado abaixo: (1C) onde ξ, u, pe z são respectivamente o estado, os parâmetros de entrada e os vetores de saída. RHC é projetado com base no modelo de sistema adaptativo com parâmetros variáveis no tempo e formulado abaixo: (2C)

[000340] Em uma modalidade, um robô de campo impresso em 3D, como mostrado nas FIGS. 43A-43D, pode ser formulado com as seguintes equações: (3C) (4C) (5C) onde x e y denotam a posição do robô de campo, denota o ângulo de guinada, v denota a velocidade, ω denota a taxa de guinada e µ e κ denotam os parâmetros de tração.

[000341] Os resultados mostram um desempenho de rastreamento preciso em um campo de solo acidentado e úmido (consulte as FIGS. 44A e 44B). Os valores médios do erro euclidiano para os RHCs com base no RHE e no EKF são 0,0423 m e 0,0514 m, respectivamente. A estrutura RHEC se beneficia das estimativas de parâmetros de tração e resulta em menos erros em comparação com o RHC com base no EKF. O espaço disponível em cada lado do robô (desta forma de realização) é limitado a apenas 0,12 m; portanto, o erro deve ser menor que esse limite para evitar danos à cultura e manter o robô centralizado na linha. Os resultados de vários experimentos indicaram que o framework RHEC não viola essa restrição de erro, enquanto o RHC baseado no EKF a viola 17 vezes durante o rastreamento do caminho de linhas retas. Isso demonstra a capacidade da estrutura RHEC. Além disso, o tempo de cálculo necessário da estrutura RHEC são respectivamente iguais a 0,88 ms.

[000342] Em outra modalidade, o sistema não linear e os modelos de medição podem ser representados pelas seguintes equações: (6C) (7C)

[000343] Um diagrama esquemático de um robô de campo impresso em 3D de uma modalidade é ilustrado na FIG.40. Um modelo cinemático não linear adaptativo é derivado para o robô de campo impresso em 3D como uma extensão do modelo cinemático tradicional da seguinte forma: (8C) onde x e y denotam a posição do robô de campo, ϴ denota o ângulo de guinada, ω denota a velocidade, v denota a taxa de guinada e μ e k denotam os parâmetros de tração. A diferença entre o modelo tradicional e o desenvolvido acima são dois parâmetros de tração que mudam lentamente. Esses parâmetros fornecem para minimizar desvios entre o sistema em tempo real e o robô de campo impresso em 3D com um estimador de parâmetro online. É de notar que eles devem estar (nesta modalidade) entre zero e um.

[000344] Os vetores de estado, parâmetros, entrada e saída são respectivamente denotados da seguinte forma: (9C) (10C) (11C) (12C)

[000345] Embora os controladores baseados em modelos precisem de informações completas de estado e parâmetro para gerar um sinal de controle, o número de sensores é menor que o número de estados e parâmetros incomensuráveis na prática.

Portanto, estimadores de estado são necessários para estimar estados e parâmetros incomensuráveis.

O filtro de Kalman estendido é o método mais conhecido para sistemas não lineares.

No entanto, não é capaz de lidar com sistemas não lineares restritos.

As estimativas dos parâmetros de tração podem desempenhar um papel vital para o robô impresso em 3D, e existem restrições nesses parâmetros, o que torna o filtro de Kalman estendido inconveniente para este sistema.

A abordagem RHE tem a capacidade de lidar com restrições de estado e parâmetro e formulada para o robô impresso em 3D (desta modalidade) da seguinte forma:

(13C) onde os desvios das estimativas de estados e parâmetros antes do horizonte de estimativa são minimizados por uma matriz de ponderação semidefinida positiva simétrica HN e os desvios dos resultados medidos e do sistema no horizonte de estimativa são minimizados por uma matriz de ponderação semidefinida positiva simétrica Hk.

O horizonte de estimativa é representado por N, e os limites inferior e superior nos parâmetros de tração μk parâmetros são respectivamente definidos como 0 e 1. A função objetivo na formulação RHE consiste em duas partes: a chegada e os custos quadráticos. O custo de chegada representa as primeiras medidas: e o custo quadrático representa as medições recentes:

[0001] As medições foram perturbadas pelo ruído gaussiano com desvio padrão de Ϭx = Ϭy = 0:03 m, Ϭw = 0:0175 rad/s, Ϭv = 0:05 m/s com base na análise experimental. Portanto, as seguintes matrizes de ponderação Hk e HN são usadas em RHE não linear: (14C) (15C)

[000346] As entradas para o algoritmo RHE são os valores de posição vindos do GNNS, os valores de velocidade vindos dos codificadores montados nos motores CC e os valores da taxa de guinada vindos do giroscópio. As saídas do RHE são a posição no sistema de coordenadas x e y, o ângulo de guinada, a velocidade e os coeficientes de tração. Os valores estimados são então fornecidos ao RHC.

[000347] A abordagem RHC é utilizável para um sistema com dinâmica rápida. A proporção é que o RHC tem a capacidade de lidar com restrições rígidas no estado e na entrada, e a otimização online permite atualizar custos, parâmetros de modelo e restrições. A seguinte formulação de controle ideal de horizonte finito para o robô impresso em 3D (desta modalidade) é resolvida para obter a ação de controle atual usando o estado atual do sistema como estado inicial: (16C)

[000348] O primeiro elemento da sequência de controle ideal é aplicado ao sistema: (17C) e então o procedimento é repetido para tempos de amostragem futuros, mudando o horizonte de predição para o instante de tempo subsequente. É importante observar que a entrada de controle é exatamente o mesmo que seria se todos os estados e parâmetros imensuráveis adquirissem valores iguais às suas estimativas com base na estimativa até o tempo atual tk devido ao princípio de equivalência de certeza.

[000349] A referência de estado para o robô impresso em 3D (desta modalidade) é alterada online e definida da seguinte forma: (18C) onde xr e yr são as referências de posição, é a referência de taxa de guinada calculada a partir das referências de posição como segue: (19C) onde λ descreve a direção desejada do robô de campo impresso em 3D (λ = 0 para frente e λ = 1 para trás). A referência da taxa de guinada pode ser calculada a partir da trajetória de referência como a referência do ângulo de guinada. No entanto, o erro de estado estacionário pode ocorrer no caso de uma incompatibilidade entre o modelo do sistema e o robô impresso em 3D. Portanto, a taxa de guinada medida recentemente é usada como a referência de entrada para penalizar a taxa de entrada na função objetivo discutida neste documento.

[000350] Em uma ou mais modalidades, é fornecido um robô agrícola que não danifica as plantas cultivadas, mesmo se passar por cima delas através do uso de um peso do robô sendo significativamente pequeno, embora o robô possa resistir às condições de campo adversas; o material com o qual o robô é construído fornece a proporção correta de resistência e peso e não danifica as plantas; a estrutura do robô tem distância adequada ao solo, ausência de arestas vivas e projeto de roda apropriado para ser capaz de passar sobre plantas sem danificá-las; algoritmos de controle e analítica levam em consideração as restrições físicas do robô e seu ambiente; e/ou a capacidade de fabricação do robô, o paradigma operacional e/ou o caso de uso reduz ou minimiza o custo de fabricação, operação e/ou propriedade.

[000351] A partir das descrições neste documento, seria evidente para um técnico com habilidade comum na técnica que as várias modalidades podem ser modificadas, reduzidas ou aprimoradas sem se afastar do escopo e do espírito das reivindicações descritas abaixo. Por exemplo, as funções de detecção podem ser implementadas dinamicamente ou controladas de outra forma. Em um exemplo, diferentes grupos de sensores podem ser acionados com base em vários fatores, como clima, tipo de cultura, localização, tamanho das culturas, velocidade de robô e assim por diante. Em uma modalidade, o controle dinâmico das funções de detecção pode ser autônomo sem a atuação do usuário. Em outra modalidade, o controle dinâmico das funções de detecção pode ser baseado na atuação do usuário ou pode ser iniciado após a autorização do usuário, como um usuário respondendo a uma mensagem do robô sugerindo que um determinado sensor ou algoritmo seja acionado ou executado.

[000352] Em uma modalidade, os dados coletados pelo robô podem acionar a coleta de diferentes dados. Por exemplo, um robô pode detectar uma condição associada a culturas e pode acionar um ou mais sensores que tentam detectar as causas dessa condição (por exemplo, doenças, insetos e assim por diante). Em uma modalidade, o acionamento de uma nova técnica de coleta de dados pelo robô pode ser autônomo sem a atuação do usuário; com base na atuação do usuário; ou pode ser iniciado após a autorização do usuário, como um usuário respondendo a uma mensagem do robô sugerindo que um determinado sensor ou algoritmo seja acionado ou executado.

[000353] Em uma modalidade, um robô pode fornecer aviso a outro (s) robô (s) e/ou a um sistema de processamento central indicando dados específicos que devem ser recuperados. Por exemplo, um primeiro robô pode coletar dados indicando a existência de uma condição particular com base em uma comparação de limite associada aos dados coletados. O primeiro robô pode, então, transmitir sem fio uma mensagem para um ou mais segundos robôs (com ou sem aviso ou autorização de um usuário) para fazer com que os segundos robôs comecem a coletar os mesmos dados associados à condição.

[000354] Em uma modalidade, o robô pode ser parte de um grupo de robôs que estão coletando dados em um local. Em outra modalidade, o grupo de robôs pode estar em uma relação mestre / escravo de modo que um ou mais robôs mestre possam controlar um ou mais robôs escravos, como controle sobre os tipos de coleta de dados, caminhos de navegação, parâmetros operacionais (por exemplo, velocidade) , e assim por diante. Em uma modalidade, o grupo de robôs pode ser robôs semelhantes com recursos operacionais semelhantes (como a capacidade de coletar os mesmos tipos de dados). Em outra modalidade, o grupo de robôs pode ser robôs diferentes com uma ou mais capacidades operacionais diferentes (como a capacidade de coletar diferentes tipos de dados).

[000355] Em uma modalidade, o robô pode implementar diferentes algoritmos para a coleta de dados com base em determinados fatores, como tempo, localização, clima, velocidade de robô, dados recebidos de outras fontes (por exemplo, outros robôs, equipamento agrícola inteligente e assim por diante).

[000356] Em uma modalidade, um grupo de robôs pode colaborar para fornecer uma técnica de coleta de dados otimizada e/ou eficiente para um local específico. Por exemplo, a localização pode ser dividida em partes, onde cada robô disponível realiza toda a coleta de dados para aquela parte. Neste exemplo, as porções podem ser de tamanhos diferentes, dependendo das diferentes velocidades dos robôs. Como outro exemplo, a coleta de dados pode ser dividida em tarefas em que cada robô disponível executa algumas das tarefas para todos ou parte do local. Neste exemplo, as tarefas podem ser compartilhadas entre alguns robôs e os robôs podem ser selecionados com base nas capacidades, tais como velocidade, recursos de processamento, componentes de detecção e assim por diante.

[000357] Em uma modalidade, as informações históricas podem ser utilizadas pelo robô para ajustar suas operações. Por exemplo, o robô pode selecionar um determinado grupo de dados a serem coletados com base em informações históricas indicando que a cultura foi anteriormente suscetível a um determinado inseto ou doença. As informações históricas podem ser obtidas de várias fontes, incluindo outros robôs em outros locais. Em uma modalidade, o robô pode viajar a uma velocidade de 1 mph, 2-3 mph e/ou 4-5 mph.

[000358] Em uma modalidade, o robô e/ou equipe de robôs e/ou um computador baseado na web usa aprendizado de máquina para: detectar e identificar fenômenos relevantes para a agricultura usando dados de um único ou pluralidade de sensores, como ervas daninhas, estressores, insetos, doenças, etc. .; e/ou para medir quantidades agronômicas, como largura do caule, contagem de estandes, altura da planta, altura da espiga etc.

[000359] Conforme descrito neste documento, os aspectos da divulgação em questão podem incluir, por exemplo, um aparelho tendo um sistema de processamento que recebe sinais de feedback de velocidade associados a cada uma das rodas do aparelho, que recebe informações de posição de um sistema de navegação global por satélite do aparelho, que recebe sinais de medição de um giroscópio do aparelho, que determina sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, as informações posicionais e os sinais de medição aplicando uma estimativa e controle de horizonte recuado em tempo real, e que transmite os sinais de controle para um controlador acoplado a motores elétricos, fazendo com que o aparelho operando como um robô agrícola rastreie um caminho de referência, onde cada um dos motores elétricos está conectado a uma das rodas e permite que o robô agrícola gire 180 graus. Modalidades adicionais são divulgadas.

[000360] Em uma modalidade, é fornecido um aparelho que compreende: uma moldura; rodas conectadas rotativamente com a estrutura; uma bateria conectada com o quadro; motores elétricos suportados pela estrutura e conectados à bateria, em que cada um dos motores elétricos está conectado a uma das rodas, em que os motores elétricos permitem que o aparelho gire 180 graus; um processador suportado pelo quadro; sensores de velocidade suportados pela estrutura e acoplados ao processador, em que cada um dos sensores de velocidade está conectado a uma das rodas, em que os sensores de velocidade transmitem sinais de feedback de velocidade associados a cada uma das rodas para o processador; um sistema de navegação global por satélite (GNSS) suportado pelo quadro e compreendendo uma antena GNSS e computador GNNS acoplado ao processador, em que o sistema global de navegação por satélite recebe, processa e transmite informações de posição para o processador; um giroscópio suportado pela estrutura e acoplado ao processador, em que o giroscópio transmite sinais de medição incluindo medições de taxa de guinada para o processador; e um grupo de sensores suportados pela estrutura e acoplados ao processador, em que o grupo de sensores coleta dados fenotípicos associados às culturas, em que o processador determina os sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, a informação posicional e os sinais de medição aplicando uma estimativa e controle de horizonte recuado em tempo real, e em que o processador transmite os sinais de controle para cada um dos motores elétricos, fazendo com que o aparelho rastreie um caminho de referência.

[000361] Em um exemplo, o aparelho pesa menos de 20 libras (9,07 quilogramas).

[000362] Em outro exemplo, cada uma das rodas inclui estruturas de pá que circunscrevem a roda e contatam seletivamente o solo.

[000363] Em outro exemplo, o processador transmite os sinais de controle sem receber sinais de comando de um usuário em uma fonte remota.

[000364] Em outro exemplo, a bateria é carregável por um dispositivo de carregamento implantável por meio de recarga indutiva, recarga sem fio, uma conexão física ou uma combinação dos mesmos.

[000365] Em outro exemplo, o processador seleciona um algoritmo de entre um grupo de algoritmos associados a um do grupo de sensores sem receber sinais de comando de um usuário em uma fonte remota.

[000366] Em outro exemplo, o processador seleciona um algoritmo de entre um grupo de algoritmos associados a um do grupo de sensores de acordo com uma análise de pelo menos alguns dos dados fenotípicos e sem receber sinais de comando de um usuário em uma fonte remota.

[000367] Em outro exemplo, o processador atua um do grupo de sensores sem receber sinais de comando de um usuário em uma fonte remota.

[000368] Em outro exemplo, o processador atua um do grupo de sensores de acordo com uma análise de pelo menos alguns dos dados fenotípicos e sem receber sinais de comando de um usuário em uma fonte remota.

[000369] Em outro exemplo, o processador transmite um sinal de comando para outro aparelho, em que o sinal de comando faz com que o outro aparelho selecione um algoritmo de entre um grupo de algoritmos, acione um sensor ou uma combinação dos mesmos, em que o outro aparelho é um robô agrícola autônomo que coleta dados associados às culturas.

[000370] Em outro exemplo, o processador gera o sinal de comando de acordo com uma análise de pelo menos alguns dos dados fenotípicos e sem receber outros sinais de comando de um usuário em uma fonte remota.

[000371] Em outro exemplo, o aparelho faz parte de um grupo de aparelhos em que cada um opera como robôs agrícolas autônomos que coletam os dados fenotípicos associados às culturas, em que o grupo de aparelhos se comunica entre si para atribuir caminhos de coleta de dados, tarefas de coleta de dados ou uma combinação dos mesmos.

[000372] Em outro exemplo, o grupo de aparelhos está em uma relação de dispositivo mestre / dispositivo escravo que permite que um ou mais dispositivos mestre do grupo de aparelhos controlem um ou mais dispositivos escravos do grupo de aparelhos.

[000373] Em outro exemplo, o processador recebe um sinal de controle remoto de uma fonte remota que faz com que o processador ajuste a operação do aparelho.

[000374] Em outro exemplo, os componentes do aparelho, incluindo a moldura, são feitos de material impresso em 3D.

[000375] Em outra modalidade, é fornecido um aparelho que compreende: uma moldura; rodas conectadas rotativamente com a estrutura; uma bateria conectada com o quadro; motores elétricos suportados pela estrutura e conectados à bateria, em que cada um dos motores elétricos está conectado a uma das rodas, em que os motores elétricos permitem que o aparelho gire 180 graus; um processador suportado pelo quadro; sensores de velocidade suportados pela estrutura e acoplados ao processador, em que cada um dos sensores de velocidade está conectado a uma das rodas, em que os sensores de velocidade transmitem sinais de feedback de velocidade associados a cada uma das rodas para o processador; um sistema de navegação global por satélite (GNSS) suportado pelo quadro e compreendendo uma antena GNSS e computador GNNS acoplado ao processador, em que o sistema global de navegação por satélite recebe, processa e transmite informações de posição para o processador; um giroscópio suportado pela estrutura e acoplado ao processador, em que o giroscópio transmite sinais de medição incluindo medições de taxa de guinada para o processador; e um grupo de sensores suportados pela estrutura e acoplados ao processador, em que o grupo de sensores coleta dados fenotípicos associados às culturas, em que o processador determina os sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, a informação posicional e os sinais de medição, em que o processador transmite os sinais de controle para cada um dos motores elétricos, fazendo com que o aparelho rastreie um caminho de referência, em que o processador gera sinais de coleta de dados para selecionar ou ajustar um ou mais algoritmos de coleta de dados, um ou mais dos o grupo de sensores ou uma combinação dos mesmos, ajustando assim a coleta dos dados fenotípicos associados às culturas, em que os sinais de coleta de dados são gerados pelo processador de acordo com uma análise de pelo menos alguns dos dados fenotípicos, outras informações obtidas pelo processador, ou uma combinação dos mesmos, e em que os sinais de coleta de dados são genes avaliado pelo processador sem receber sinais de comando de um usuário em uma fonte remota.

[000376] Em um exemplo, a outra informação obtida pelo processador compreende dados fenotípicos históricos associados a uma localização das culturas, informações meteorológicas, informações de tempo ou uma combinação dos mesmos.

[000377] Em outro exemplo, o aparelho pesa menos de 20 libras (9,07 quilogramas) e cada uma das rodas inclui estruturas de pá que circunscrevem a roda e contatam seletivamente o solo.

[000378] Em outra modalidade, um método é fornecido compreendendo: receber, por um sistema de processamento de um robô agrícola com rodas, sinais de feedback de velocidade associados a cada uma das rodas, em que os sinais de feedback de velocidade são recebidos de sensores de velocidade de robô agrícola, em que cada dos sensores de velocidade está conectado a uma das rodas; receber, pelo sistema de processamento, informações de posição de um sistema global de navegação por satélite (GNSS) do robô agrícola; receber, pelo sistema de processamento, sinais de medição de um giroscópio do robô agrícola, em que os sinais de medição incluem medições de taxa de guinada; determinar, pelo sistema de processamento, os sinais de controle com base nas velocidades angulares e lineares desejadas de acordo com os sinais de feedback de velocidade, as informações posicionais e os sinais de medição aplicando uma estimativa e controle de horizonte recuado em tempo real; e transmitir, pelo sistema de processamento, os sinais de controle para um controlador acoplado a motores elétricos, fazendo com que o robô agrícola rastreie um caminho de referência, em que cada um dos motores elétricos está conectado a uma das rodas e permite que o robô agrícola gire 180 graus.

[000379] Em um exemplo, o método compreende ainda: receber, pelo sistema de processamento de um grupo de sensores do robô agrícola, dados fenotípicos associados às culturas; e gerar, pelo sistema de processamento, sinais de coleta de dados para selecionar ou ajustar um ou mais algoritmos de coleta de dados, um ou mais do grupo de sensores ou uma combinação dos mesmos, ajustando assim a coleta dos dados fenotípicos associados às culturas, em que a coleta de dados sinais são gerados pelo sistema de processamento de acordo com uma análise de pelo menos alguns dos dados fenotípicos, outras informações obtidas pelo sistema de processamento ou uma combinação dos mesmos, e em que os sinais de coleta de dados são gerados pelo sistema de processamento sem receber sinais de comando de um usuário em uma fonte remota.

[000380] Com referência agora à FIG.45, é ilustrada uma modalidade de um sistema de tratamento químico robótico que é capaz de pulverizar produtos químicos sob o dossel em várias culturas. O sistema pode incluir um pequeno robô autônomo 4502 (por exemplo, menos de 50 lb e/ou menos de 20 polegadas (50,8 centímetros) com vários sensores e atuadores. O sistema pode incluir um recipiente substituível 4504 contendo líquido, que pode ser pressurizado e/ou que pode ter várias câmaras contendo diferentes líquidos. Em um exemplo, a caixa pode ser configurada para montagem em, e/ou no robô 4502. Em outro exemplo, o canister pode ser configurado para rebocar atrás do robô 4502 (por exemplo, em um trailer, não mostrado). O sistema pode incluir mecanismos para aceitar um ou mais recipientes (por exemplo, dois). O sistema pode incluir mecanismos para pulverizar o líquido, incluindo um ou mais bicos substituíveis. O mecanismo pode incluir um sistema de pressurização. O sistema pode incluir um sistema de atuador com um ou mais atuadores para operar o mecanismo de pulverização (por exemplo, quatro), controlar a taxa, duração, direção e força de pulverização. O sistema pode incluir um sistema de pressurização de líquido que pode incluir motores, bombas, recipientes de gases pressurizados (por exemplo, CO2, N ou outros). O sistema pode incluir uma interface de operador remota conectada por meio de uma rede, permitindo que um usuário controle o robô e a pulverização, incluindo a capacidade de carregar uma prescrição de outro dispositivo em uma rede interconectada. O robô pode ter a capacidade de seguir o caminho prescrito de forma autônoma e pulverizar de acordo com a prescrição. O robô pode ter a capacidade de decidir automaticamente quando, o quê e onde pulverizar, analisando as quantidades agronômicas por meio de sensores a bordo enquanto segue os caminhos de reconhecimento de forma autônoma. O sistema pode gerar um caminho ideal com base nas condições de campo e/ou dados de outros dispositivos conectados (por exemplo, o aparelho da FIG.36) para atingir alvos de prescrição e/ou objetivos de missão. O sistema pode adaptar o caminho e a prescrição de pulverização usando dados obtidos por sensores a bordo e/ou outros dispositivos conectados para satisfazer objetivos de missão de nível mais alto, como encontrar e pulverizar produtos químicos apropriados em plantas com doenças específicas. O sistema pode executar um ou mais dos recursos descritos acima com ou sem interação do usuário com o sistema.

[000381] Em outra modalidade, um drone (por exemplo, robô) pode passar por um campo de plantações pela primeira vez (como um primeiro estágio) para coletar dados. Em seguida, o drone pode passar pelo campo de cultura uma segunda vez

(em uma segunda etapa) para confirmar a causa de uma anomalia e/ou aplicar um tratamento. Em um exemplo, o caminho percorrido pelo drone durante o primeiro estágio pode ser igual ao caminho percorrido pelo drone durante o segundo estágio. Em outro exemplo, o caminho percorrido pelo drone durante o segundo estágio pode ser diferente do caminho percorrido pelo drone durante o primeiro estágio. Em outro exemplo, o drone pode ser equipado com um acessório de pulverizador (ou outro dispositivo semelhante) e a confirmação pode ser baseada em algum nível de aprendizado de máquina que foi realizado no passado (por exemplo, antes do segundo estágio).

[000382] Em outra modalidade, um enxame (ou grupo) de drones (por exemplo, robôs) podem trabalhar juntos. Por exemplo, um ou alguns drones podem primeiro coletar dados em um (ou mais) caminhos de primeiro estágio (como discutido acima). Os dados coletados podem então ser analisados (a análise pode ser realizada a bordo de um ou mais dos drones e/ou em uma plataforma computacional baseada no solo). Em seguida, um ou mais drones diferentes carregando o(s) produto(s) químico(s) necessário(s) para tratar o(s) problema(s) em cada uma das áreas identificadas podem ir para a(s) área(s) para tratar um ou mais problemas.

[000383] Conforme descrito neste documento, em uma modalidade, o(s) robô(s) que aplicam o tratamento são os mesmos que fizeram a identificação (por exemplo, a identificação de uma anomalia).

[000384] Conforme descrito neste documento, em uma modalidade, o(s) robô(s) que aplica o tratamento são diferentes daquele(s) que fizeram a identificação (por exemplo, a identificação de uma anomalia).

[000385] Em várias modalidades, o termo drone pode se referir a qualquer pequeno robô, seja aéreo ou terrestre.

[000386] Em uma modalidade, um sistema de comunicação pode permitir que um dispositivo (por exemplo, um robô móvel) se comunique sem fio (por exemplo, bidirecionalmente) com um computador remoto a partir do qual o dispositivo pode receber uma ou mais instruções e/ou enviar informações,

[000387] Em uma modalidade, um tamanho e/ou localização de uma janela associada à extração de primeiro plano pode ser alterado. Em um exemplo, o tamanho e/ou localização pode ser alterado por um computador ou processador de bordo (por exemplo, a bordo de um robô móvel). Em outro exemplo, o tamanho e/ou localização podem ser comunicados ao dispositivo (por exemplo, robô móvel) por um computador externo ou processador.

[000388] Em outra modalidade, uma máquina de vetor de suporte pode compreender uma máquina de vetor de suporte de margem suave que aplica uma variável de folga a pontos de dados em ou dentro de um limite de decisão correto.

[000389] Em outra modalidade, a estimativa da largura pode compreender o uso de extração de primeiro plano e/ou estimativa (ões) de profundidade LIDAR.

[000390] Em outra modalidade, uma distância para uma linha pode ser estimada usando um único dispositivo de alcance ou uma pluralidade de dispositivos de alcance. O dispositivo ou dispositivos de alcance podem emitir ondas eletromagnéticas, laser, infravermelho e/ou acústicas.

[000391] Em outra modalidade, um dispositivo (por exemplo, robô móvel) pode ter várias câmeras. Em um exemplo, o dispositivo (por exemplo, robô móvel) pode usar um sistema de processamento integrado para combinar informações de várias câmeras para calcular a distância até a(s) linha(s).

[000392] Ao introduzir elementos de várias modalidades da presente divulgação, os artigos "um", "uma", "o" e "dito" se destinam a significar que há um ou mais dos elementos. Os termos "compreendendo", "incluindo" e "tendo" destinam-se a ser inclusivos e significam que pode haver elementos adicionais além dos elementos listados. Além disso, quaisquer exemplos numéricos na discussão neste documento se destinam a ser não limitantes e, portanto, valores numéricos adicionais, faixas e porcentagens estão dentro do escopo das modalidades divulgadas.

[000393] O Resumo da divulgação é fornecido com o entendimento de que não será usado para interpretar ou limitar o escopo ou significado das reivindicações. Além disso, na Descrição Detalhada anterior, pode ser visto que vários recursos são agrupados em uma única modalidade com a finalidade de agilizar a divulgação. Este método de divulgação não deve ser interpretado como refletindo uma intenção de que as modalidades reivindicadas requerem mais recursos do que são expressamente recitados em cada reivindicação. Em vez disso, como as seguintes reivindicações refletem, o assunto inventivo está em menos do que todas as características de uma única modalidade divulgada. Assim, as seguintes reivindicações são incorporadas neste documento na Descrição Detalhada, com cada reivindicação sendo por si só como um assunto reivindicado separadamente.

[000394] Embora a divulgação tenha sido descrita em detalhes em conexão com um número limitado de modalidades, deve ser prontamente entendido que a invenção não está limitada a tais modalidades divulgadas. Em vez disso, o divulgado pode ser modificado para incorporar qualquer número de variações, alterações, substituições ou arranjos equivalentes não descritos até agora, mas que são proporcionais ao espírito e ao escopo da invenção. Além disso, embora várias modalidades da invenção tenham sido descritas, deve ser entendido que os aspectos divulgados podem incluir apenas algumas das modalidades descritas.

[000395] Uma ou mais das modalidades podem utilizar um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos Nº 62/688.885, protocolado em 22 de junho de 2018 (incluindo cada Apêndice nele anexado). Os um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos No. 62/688.885, protocolado em 22 de junho de 2018 (incluindo cada Apêndice a ele anexado) pode ser utilizado no lugar de e/ou em adição a um ou mais recursos descritos neste documento em relação às várias modalidades. A divulgação do Pedido de Patente Provisório dos Estados Unidos No. 62/688.885, protocolado em 22 de junho de 2018 (incluindo cada Apêndice anexo) é incorporado aqui por referência em sua totalidade.

[000396] Uma ou mais das modalidades podem utilizar um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos No. 62/596.506, protocolado em 8 de dezembro de 2017 (incluindo cada Apêndice anexo). Os um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos nº 62/596.506, protocolado em 8 de dezembro de 2017 (incluindo cada Apêndice a ele anexado) pode ser utilizado no lugar de e/ou além de um ou mais recursos descritos neste documento em relação às várias modalidades. A divulgação do Pedido de Patente Provisório dos Estados Unidos nº 62/596.506, protocolado em 8 de dezembro de 2017 (incluindo cada Apêndice a ele anexado) é incorporado por referência neste documento em sua totalidade.

[000397] Uma ou mais das modalidades podem utilizar um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos No. 62/550.271, protocolado em 25 de agosto de 2017 (incluindo cada Apêndice nele anexado). Os um ou mais recursos (por exemplo, um ou mais dos sistemas, métodos e/ou algoritmos) descritos no Pedido de Patente Provisório dos Estados Unidos No. 62/550.271, protocolado em 25 de agosto de 2017 (incluindo cada Apêndice a ele anexado) pode ser utilizado no lugar de e/ou além de um ou mais recursos descritos neste documento em relação às várias modalidades. A divulgação do Pedido de Patente Provisório dos Estados Unidos No. 62/550.271, protocolado em 25 de agosto de 2017 (incluindo cada Apêndice anexado) é incorporado por referência neste documento em sua totalidade.

Claims (15)

REIVINDICAÇÕES EMENDADAS

1. Dispositivo caracterizado pelo fato de que compreende: um sistema de processamento incluindo um processador; um sistema de comunicação que permite que o dispositivo se comunique sem fio com um computador remoto a partir do qual o dispositivo pode receber instruções e enviar informações, e uma memória que armazena instruções executáveis que, quando executadas pelo sistema de processamento, realizam operações, as operações compreendendo: obter dados de vídeo de uma única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros, em que a única câmera monocular é anexada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta, e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta; obter de dados de velocidade de robô de um ou mais codificadores, em que um ou mais codificadores estão ligados ao robô móvel terrestre que está viajando ao longo da pista; realizar extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano; e determinar, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de robô, uma largura estimada do primeiro caule de planta, em que a determinação compreende determinar uma proporção R, em que R = VR / Vx, em que VR é uma velocidade instantânea do robô obtida por meio dos dados de velocidade de robô e Vx é uma velocidade média de pixel horizontal de primeiro plano obtida por meio de uma estrutura do processo de movimento que se baseia na pluralidade de quadros dos dados de vídeo.

2. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que a extração de primeiro plano compreende processar, para cada um da pluralidade de quadros dos dados de vídeo, apenas uma janela de tamanho fixo que é menor do que cada um da pluralidade de quadros.

3. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de que a janela de tamanho fixo associada a cada um da pluralidade de quadros está localizada fora do centro em cada um da pluralidade de quadros.

4. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que a extração de primeiro plano compreende, para cada um da pluralidade de quadros dos dados de vídeo, uma primeira função para realizar a detecção de borda.

5. Dispositivo, de acordo com a reivindicação 4, caracterizado pelo fato de que a extração de primeiro plano compreende ainda, para cada um da pluralidade de quadros dos dados de vídeo, uma segunda função para realizar metamorfose.

6. Dispositivo, de acordo com a reivindicação 5, caracterizado pelo fato de que a extração de primeiro plano compreende ainda, para cada um da pluralidade de quadros dos dados de vídeo, uma terceira função para realizar a rotulagem do componente conectado.

7. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que determinar a largura estimada do primeiro caule de planta compreende ainda determinar, com base na pluralidade de quadros dos dados de vídeo, um movimento estimado da câmera usando a estrutura do processo de movimento.

8. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que a determinação da largura estimada do primeiro caule de planta compreende ainda: determinar uma primeira largura, em pixels, em uma primeira localização do primeiro caule de planta, conforme representado em um primeiro da pluralidade de quadros dos dados de vídeo; e multiplicar R vezes a primeira largura, resultando em um primeiro valor.

9. Dispositivo, de acordo com a reivindicação 8, caracterizado pelo fato de que determinar a largura estimada do primeiro caule de planta compreende ainda: determinar uma segunda largura, em pixels, em um segundo local do primeiro caule de planta, como representado no primeiro da pluralidade de quadros dos dados de vídeo; multiplicar R vezes a segunda largura, resultando em um segundo valor; e calculando a média do primeiro valor e do segundo valor, resultando na largura estimada do primeiro caule de planta.

10. Dispositivo, de acordo com a reivindicação 8, caracterizado pelo fato de que um tamanho e uma localização de uma janela associada à extração de primeiro plano podem ser alterados e em que o tamanho e a localização podem ser alterados por um computador de bordo ou comunicados ao dispositivo por um computador externo.

11. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que as operações compreendem ainda:

obter dados de vídeo adicionais da única câmera monocular, em que os dados de vídeo adicionais compreendem uma pluralidade adicional de quadros, em que a linha de culturas compreende um segundo caule de planta e em que a pluralidade adicional de quadros inclui outra representação do segundo caule de planta; obter dados adicionais de velocidade de robô de um ou mais codificadores; realizar extração adicional de primeiro plano em cada uma da pluralidade adicional de quadros dos dados de vídeo adicionais, em que a extração adicional de primeiro plano resulta em uma pluralidade adicional de imagens de primeiro plano; e determinar, com base na pluralidade adicional de imagens de primeiro plano e com base nos dados adicionais de velocidade de robô, uma largura adicional estimada do segundo caule de planta.

12. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que o robô móvel terrestre é um robô móvel autônomo e em que as operações são realizadas sem o uso de dados do sistema de posicionamento global (GPS).

13. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de que as operações compreendem ainda: aplicar uma rede neural convolucional à pluralidade de quadros dos dados de vídeo para extrair vetores de recursos; aplicar uma máquina de vetor de suporte aos vetores de recursos para classificar os vetores de recursos, em que a aplicação da máquina de vetor de suporte resulta em recursos classificados; aplicar estimativa de movimento com base em uma transformação rígida aos recursos classificados, em que a aplicação da estimativa de movimento resulta em dados de contagem corrigidos; e determinar uma população de planta com base nos recursos classificados e nos dados de contagem corrigidos.

14. Método, caracterizado pelo fato de que compreende: permitir, por um sistema de processamento incluindo um processador, comunicação sem fio com um computador remoto a partir do qual o sistema de processamento pode receber instruções e enviar informações; obter, pelo sistema de processamento, dados de vídeo de uma única câmera monocular, em que os dados de vídeo compreendem uma pluralidade de quadros, em que a única câmera monocular é anexada a um robô móvel terrestre que está viajando ao longo de uma pista definida por uma linha de culturas, em que a linha de culturas compreende um primeiro caule de planta e em que a pluralidade de quadros inclui uma representação do primeiro caule de planta; obter, pelo sistema de processamento, os dados de velocidade de robô de um ou mais codificadores, em que um ou mais codificadores estão ligados ao robô móvel terrestre que está viajando ao longo da pista; realizar, pelo sistema de processamento, extração de primeiro plano em cada um da pluralidade de quadros dos dados de vídeo, em que a extração de primeiro plano resulta em uma pluralidade de imagens de primeiro plano; e determinar pelo sistema de processamento, com base na pluralidade de imagens de primeiro plano e com base nos dados de velocidade de robô, uma largura estimada do primeiro caule de planta, em que a determinação compreende determinar uma proporção R, em que R = VR / Vx, em que VR é um velocidade instantânea do robô obtida por meio dos dados de velocidade de robô e Vx é uma velocidade média de pixel horizontal do primeiro plano obtida por meio de uma estrutura do processo de movimento que se baseia na pluralidade de quadros dos dados de vídeo.

15. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que determinar a largura estimada do primeiro caule de planta compreende ainda: determinar uma primeira largura, em pixels, em uma primeira localização do primeiro caule de planta, conforme representado em um primeiro da pluralidade de quadros dos dados de vídeo; e multiplicar R vezes a primeira largura, resultando em um primeiro valor.