BR102019018551A2

BR102019018551A2 - Método e sistema para controlar a qualidade de grãos colhidos em uma colheitadeira combinada

Info

Publication number: BR102019018551A2
Application number: BR102019018551-1A
Authority: BR
Inventors: Stephen R. Corban; Scott Miller; Herman Herman; Zachary Pezzementi; Trenton Tabor; Jonathan Chang
Original assignee: Deere & Company
Priority date: 2018-09-18
Filing date: 2019-09-06
Publication date: 2020-03-31
Also published as: US11818982B2; CN110909589A; US20200084967A1

Abstract

método e sistema para controlar a qualidade de grãos colhidos em uma colheitadeira combinada um método e sistema para controlar a qualidade dos grãos colhidos inclui a captura, através de um ou mais sensores de imagem, de uma ou mais imagens de material em um local de amostragem dentro de um elevador de grãos da colheitadeira combinada. as imagens capturadas são definidas por um conjunto de pixels de imagem representados por dados de imagem e tem uma característica de classificação indicativa de materiais grãos ou não grãos. um ou mais controladores recebem os dados de imagem associados a uma ou mais imagens capturadas pelo(s) sensor(es) de imagem e selecionam uma imagem de amostra definida por um subconjunto de pixels da imagem do conjunto de pixels da imagem. o(s) controlador(es) aplica(m) um algoritmo de rede neural convolucional (cnn) para os dados de imagem do subconjunto de pixels de imagem da imagem da amostra selecionada para determinar a característica de classificação. o(s) controlador(es) analisa(m) a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.

Description

MÉTODO E SISTEMA PARA CONTROLAR A QUALIDADE DE GRÃOS COLHIDOS EM UMA COLHEITADEIRA COMBINADA

CAMPO DA DESCRIÇÃO [001] Esta descrição geralmente se refere a colheitadeiras combinadas agrícolas, e mais especificamente a sistemas para melhorar a qualidade dos grãos colhidos.

FUNDAMENTO DA DESCRIÇÃO [002] O valor de grão a granel pode depender da qualidade do grão a granel. Grão de alta qualidade é identificado por altas porcentagens de grão limpo não partido e baixas porcentagens de grão partido e outro material que não seja grão (MOG). Monitorar a qualidade de grão a granel pode ser útil na melhora da qualidade do grão. Formar por imagem e classificar o material do grão pode ser uma técnica de monitoramento efetiva. A classificação precisa depende, em parte, da amostragem confiável e formação por imagem dos grãos.

SUMÁRIO DA DESCRIÇÃO [003] A descrição provê um sistema de controle da qualidade do grão e método para monitoramento e controle de grão colhido por uma colheitadeira combinada agrícola.

[004] Em um aspecto, a descrição provê um método para controlar a qualidade de grãos colhidos em uma colheitadeira combinada. Um ou mais sensores de imagem capturam uma ou mais imagens de material em um local de amostragem dentro de um elevador de grão da colheitadeira combinada. As imagens capturadas são definidas por um conjunto de pixels de imagem representado por dados de imagem e tendo uma característica de classificação indicativa de material de grão ou não grão. Um ou mais controladores recebem os dados de imagem associados com uma ou mais imagens capturadas através de um ou mais sensores de imagem. O(s) controlador(es) selecionado(s) a partir das imagens capturam uma imagem de amostra,

Petição 870190088012, de 06/09/2019, pág. 138/202 / 48 definida por um subconjunto de pixels de imagem do conjunto de pixels de imagem, e aplicam um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels de imagem para a imagem de amostra selecionada. O(s) controlador(es) determina(m) a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem de amostra selecionada, e analisam a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.

[005] Em outro aspecto, a descrição provê um sistema para controlar a qualidade de grãos colhidos em uma colheitadeira combinada incluindo um ou mais sensores de imagem e um ou mais controladores. O(s) sensor(es) de imagem captura(m) imagens de material em um local de amostragem dentro de um elevador de grão da colheitadeira combinada. As imagens capturadas são definidas por um conjunto de pixels de imagem representado por dados de imagem e tendo uma característica de classificação indicativa de material de grão ou não grão. O(s) controlador(es) é/são acoplado(s) de forma operativa ao(s) sensor(es) de imagem e tem/têm um ou mais processadores para executar comandos armazenados. O(s) controlador(es) processa(m) dados de imagem associados à imagem de amostra selecionada a partir das imagens capturadas. Os dados de imagem para a imagem de amostra selecionada são definidos por um subconjunto de pixels de imagem do conjunto de pixels de imagem. O(s) controlador(es) aplica(m) um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels de imagem para a imagem de amostra selecionada e determinam a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem de amostra selecionada. O(s) controlador(es) analisa(m) a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.

[006] Os detalhes de uma ou mais modalidades estão presentes nos

Petição 870190088012, de 06/09/2019, pág. 139/202 / 48 desenhos anexos e na descrição abaixo. Outras característica e vantagens aparecerão a partir da descrição, dos desenhos e das reivindicações.

BREVE DESCRIÇÃO DOS DESENHOS [007] A figura 1 é uma vista esquemática de uma colheitadeira combinada agrícola exemplar incluindo um sistema de controle da qualidade do grão de acordo com esta descrição;

a figura 2 é uma vista em perspectiva de um elevador de rejeitos de grão da colheitadeira combinada da figura 1 para uso com o sistema de controle da qualidade do grão;

a figura 3 é uma vista parcial aumentada de uma porção do elevador de rejeitos de grão da figura 2;

a figura 4 é uma vista lateral transversal parcial simplificada da porção do elevador de rejeitos de grão da figura 2;

as figuras 5 e 6 são diagramas esquemáticos de um sistema exemplar de controle da qualidade do grão de acordo com esta descrição;

a figura 7 é um diagrama de fluxo de processos de um método exemplar para implementar o sistema de controle da qualidade do grão de acordo com esta descrição;

a figura 8 é um diagrama esquemático de um sistema de detecção exemplar de qualidade do grão para o sistema de controle de grão de acordo com esta descrição;

a figura 9 ilustra um processo exemplar de avaliação de probabilidade para certas classificações de material de uma imagem do sistema de controle da qualidade do grão de acordo com esta descrição;

as figuras 10 e 11 são diagramas esquemáticos de um sistema de conectividade remota para a colheitadeira combinada agrícola da figura 1; e as figuras 12A e 12B são imagens exemplares de rejeitos de grão.

Petição 870190088012, de 06/09/2019, pág. 140/202 / 48 [008] Símbolos de referência iguais nos vários desenhos indicam elementos iguais.

DESCRIÇÃO DETALHADA [009] A parte a seguir descreve uma ou mais implementações exemplares dos sistema e método de controle de qualidade de grão descritos, como mostrado nas figuras anexas dos desenhos brevemente descritos acima. Várias modificações às implementações exemplares podem ser contempladas por alguém versado na técnica.

[0010] Conforme usado aqui, a menos que limitado ou modificado de outra forma, listas com elementos que estão separados por conjunções (por exemplo, “e”) e que também estão precedidos pela frase “um ou mais de” ou “pelo menos um de” indicam configurações ou arranjos que incluem potencialmente elementos individuais da lista, ou qualquer combinação dos mesmos. Por exemplo, “pelo menos um de A, B, e C” ou “um ou mais de A, B, e C” indica possibilidades de apenas A, apenas B, apenas C, ou qualquer combinação de dois ou mais de A, B e C (por exemplo, A e B; B e C; A e C; ou A, B e C).

[0011] Adicionalmente, no detalhamento da descrição, termos de direção e orientação, tais como “dianteira,” “para frente,” “atrás,” “traseira,” “na lateral,” “na horizontal,” e “na vertical” podem ser usados. Tais termos são definidos, pelo menos em parte, com relação à direção no qual o veículo de trabalho ou implemento se desloca durante o uso. Por exemplo, os termos “dianteira” e “para frente” (incluindo “frente” e quaisquer outros derivados ou variações) se referem a uma direção correspondente à primeira direção de deslocamento, enquanto os termos “atrás” e “traseira” (e derivações e variações) se referem a uma direção oposta. O termo “eixo geométrico longitudinal” pode também se referir a um eixo geométrico que se estende em direções para frente e atrás. Em comparação, o termo “eixo geométrico lateral” pode se referir a um eixo geométrico que é perpendicular ao eixo

Petição 870190088012, de 06/09/2019, pág. 141/202 / 48 geométrico longitudinal e se estende em um plano horizontal; isto é, um plano contendo tanto os eixos geométricos longitudinal e lateral. O termo “vertical,” conforme aparece aqui, se refere a um eixo geométrico ou uma direção ortogonal ao plano horizontal contendo os eixos geométricos frente-trás e laterais.

[0012] A presente descrição provê um sistema de controle de qualidade de grão melhorado para uso em colheitadeiras combinadas agrícolas para intensificar a qualidade do rendimento de grão limpo. O sistema de controle de qualidade de grão aqui descrito pode ser entendido tanto para monitorar os componentes constituintes do cultivo sendo colhido conforme passa através da colheitadeira combinada tão bem quanto para controlar de forma ativa vários parâmetros operacionais da colheitadeira combinada com base em uma avaliação da qualidade do grão monitorado. Através dos sistema e método de monitoramento melhorados aqui descritos, o aspecto de controle da máquina do sistema é mais capaz de configurar os parâmetros da máquina para produzir maiores rendimentos de grão limpo.

[0013] Em várias modalidades, o sistema de controle de qualidade de grão monitora os constituintes de cultivo colhido usando um sistema de visão ou formação por imagem que inclui uma ou mais câmeras ou sensores de formação por imagem. O sistema de formação por imagem pode assim interrogar de forma visual os constituintes de cultivo em vários locais ao longo do fluxo do cultivo através da colheitadeira combinada. Os sistema e método descritos aqui não estão limitados ao posicionamento exato do sistema ou à área de interrogação.

[0014] Em certas modalidades, a formação por imagem é feita durante uma porção apenas de transporte do fluxo de cultivo através da colheitadeira combinada, que proporciona um melhor ambiente de formação por imagem conforme comparado a outras áreas de processamento de cultivo. Em várias modalidades, a formação por imagem é feita em um ou mais elevadores de

Petição 870190088012, de 06/09/2019, pág. 142/202 / 48 grão. Conforme em sistemas convencionais, formação por imagem pode ser feita em uma área de desvio ou ramificação do duto de um elevador de grão, tal como um elevador de grão limpo, no qual o grão limpo é desviado para o duto de desvio para formação por imagem enquanto desloca em uma taxa mais lenta do que enquanto no próprio elevador de grão limpo.

[0015] O sistema de controle de qualidade de grão melhorado desta descrição também oferece interrogação visual do cultivo sendo colhido formando por imagem o grão e/ou corta diretamente dentro de um elevador de grão, incluindo o grão limpo e/ou elevadores de rejeitos de grão. Em várias modalidades, conforme descrito em detalhes abaixo, o sistema de controle de qualidade de grão descrito pode ser configurado com hardware de formação por imagem adaptado para montar diretamente a um elevador de grão, sem a necessidade de um desvio, para formar diretamente por imagem o material de grão ou não grão levado no mesmo. Por tal montagem direta e posicionamento apropriado do hardware para melhor inspeção de ponto de vista e coordenação de amostra de imagem com relação às características do elevador e movimento, o sistema de controle de qualidade de grão é capaz de formar por imagem em tempo real o grão e cortar e analisar as imagens de amostra para prover identificação e classificação de parte constituinte intensificada.

[0016] Em várias modalidades, as capacidades de processamento de imagem do sistema de controle de qualidade de grão são intensificadas (por exemplo, identificação e classificação de parte constituinte melhorada) por arquitetura lógica melhorada que incorpora capacidades de aprendizado profundo. O aspecto de aprendizado profundo do sistema de controle de qualidade de grão aqui descrito permite funcionalidade e operação de sistema melhorado (por exemplo, velocidade de processamento aumentada, carga de processamento reduzida, maiores taxas de amostragem, e mais) conforme comparado ao sistema convencional. Vários atributos do aspecto de

Petição 870190088012, de 06/09/2019, pág. 143/202 / 48 aprendizado profundo do processamento de imagem estão detalhados abaixo. [0017] Com referência agora à figura 1, um sistema de controle de qualidade de grão pode ser implementado com relação a uma colheitadeira combinada agrícola exemplar 20, ou com relação a uma variedade de outras combinadas agrícolas. Conforme representado na figura 1, a colheitadeira combinada exemplar 20 inclui um chassi 22 com rodas de engate ao solo 24 ou trilhos. As rodas 24 estão montadas de forma rotativa ao chassi 22 e engatadas com o solo para impulsionar a colheitadeira combinada 20 em uma direção de deslocamento T. Um cabo operador 26, também montado no chassi 22, aloja um operador tão bem quanto vários dispositivos para controlar a combinada 20. As rodas 24 e outros dispositivos da combinada 20 são energizadas por um motor de combustão interna 28, sozinho ou em combinação com uma ou mais máquinas elétricas (não mostradas).

[0018] Uma plataforma de corte 30 é montada na frente da colheitadeira combinada 20 para cortar e juntar material de cultivo de um campo. A plataforma de corte 30 é suportada por uma alimentadora 32, que é montada de forma pivotante ao chassi 22. A alimentadora 32 pode incluir, por exemplo, um transportador inclinado (não mostrado) para transportar o corte do material de cultivo da plataforma de corte 30 para o corpo da colheitadeira combinada 20. Após passar sobre um tambor de guia ou acelerador de alimento 34, o material de cultivo da alimentadora 32 alcança um dispositivo ou separador de debulhamento geralmente orientado para frente-trás 36. Outras modalidades podem incluir dispositivos de debulhamento lateralmente orientados ou outros (não mostrados). Na modalidade representada graficamente, o separador 36 inclui um rotor 38, no qual vários elementos de debulhamento são montados. O rotor 38 gira acima de uma ou mais cestas ou concavidades de debulhamento reticuladas ou peneiradas 40, de modo que o material de cultivo que passa entre o rotor 38 e a concavidade 40 é separado, pelo menos em parte, em grão e farelo (ou outro “material sintético diferente

Petição 870190088012, de 06/09/2019, pág. 144/202 / 48 de grão” (MOG)). O MOG é conduzido para trás e liberado entre o rotor 38 e a concavidade 40. A maior parte do grão (e parte do MOG) separado no separador 36 cai para baixo através de orifício na concavidade 402. Um sensor de perda de separador 37 sensoreia a perda de grão no separador 36 como sinais separados de perda de grãos ou um sinal combinado ou agregado. [0019] O grão e o MOG que passa através das concavidades 40 caem (ou são alimentados ativamente) em um subsistema de limpeza (ou sapata de limpeza) 42 para limpeza adicional. O subsistema de limpeza 42 inclui uma ventoinha 44, acionada por um motor 46, que gera fluxo de ar geralmente traseiro, bem como uma peneira 48 e um picador 50. A peneira 48 e o picador 50 são suspensos em relação ao chassi 22 por meio de um arranjo de atuação 52, que pode incluir braços de articulação e braços oscilantes montados em discos (ou outros dispositivos). A medida que a ventoinha 44 sopra ar através de e através da peneira 48 e do picador 50, o arranjo de acionamento 52 pode causar movimento recíproco da peneira 48 e do picador 50 (por exemplo, através do movimento dos braços osciladores). A combinação deste movimento da peneira 48 e do picador 50 com o fluxo de ar a partir da ventoinha 44 geralmente faz com que as aparas mais leves sejam sopradas para cima e para trás dentro da colheitadeira combinada 20, enquanto o grão mais pesado cai através da peneira 48 e do picador 50 e acumula-se em uma calha de grão limpo 54 próximos à base da colheitadeira combinada 20. Um trado de grão limpo 56 disposto na calha de grão limpo 54 transporta o material para um lado da colheitadeira 20 e deposita o grão na extremidade inferior de um elevador de grão limpo 58. O grão limpo retirado pelo elevador de grão limpo 58 é carregado para cima até que ele atinja a saída superior do elevador de grão limpo 58. O grão limpo é então liberado do elevador de grão limpo 58 e cai dentro de um tanque de grão 60.

[0020] A maior parte dos grãos que entram no subsistema de limpeza 42, entretanto, não é transportada para trás, mas passa para baixo através do

Petição 870190088012, de 06/09/2019, pág. 145/202 / 48 picador 50, então através da peneira 48. Do material transportado pelo ar a partir da ventoinha 44 para a traseira da peneira 48 e o picador 50, partículas de MOG menores são sopradas para fora da parte traseira da colheitadeira 20. Partículas de MOG maiores e grãos não são soprados para fora da parte traseira da colheitadeira combinada 20, mas ao invés cai do subsistema de limpeza 42 e sobre um sensor de perda de sapata 62 localizado em um lado do subsistema de limpeza 42, que é configurado para detectar perdas de sapatas no lado do subsistema de limpeza 42, e sobre um sensor de perda de sapata 64 localizado no outro lado do subsistema de limpeza 42, que é configurado para detectar perdas de sapatas no seu lado do subsistema de limpeza 42. Sensores de perda de sapata de limpeza 62, 64 pode prover sinais de saída indicativos da quantidade de perda de grão em ambos os lados direito e esquerdo do subconjunto de limpeza 42. Em um exemplo, os sensores 62, 64 são sensores de impacto que contam batidas de grãos por unidade de tempo (ou por unidade de distância percorrida) para proporcionar uma indicação da perda de grão da sapata de limpeza em sinais individuais ou um sinal combinado ou agregado.

[0021] O material mais pesado que é transportado para a parte traseira do picador 50 cai da colheitadeira 20 e pode ser parcialmente detectado pelos sensores de perda de sapata de limpeza 62, 64. O material mais pesado que é transportado para a parte traseira da peneira 48 cai sobre uma panela e é então transportado por gravidade para baixo para dentro de uma calha de rejeitos de grãos 66. Este material mais pesado é chamado de grãos residuais, e é tipicamente uma mistura de grão e MOG. Um trado de rejeito 68 é disposto na calha de rejeito 66 e transporta os rejeitos de grãos para o lado oposto da colheitadeira 20 e para um elevador de rejeitos de grãos 70.

[0022] O elevador de rejeito 70 pode ser construído de uma maneira similar ou diferente como o elevador de grão limpo 58 utilizando qualquer um dos vários mecanismos de transporte conhecidos (por exemplo, trados,

Petição 870190088012, de 06/09/2019, pág. 146/202 / 48 correias de estrias e assim por diante). Como o sistema de controle de qualidade de grão será descrito aqui como interrogando os rejeitos de grãos dentro do elevador de rejeitos 70, será detalhada apenas a construção do elevador de rejeitos de grãos 70. Deve-se entender, entretanto, que os princípios desta descrição poderiam ser usados para interrogar o grão limpo dentro do elevador de grão limpo 58, e ainda que tal sistema de controle de qualidade de grão possa ser incorporado no mesmo.

[0023] Com referência também às figuras 2-4, o elevador de rejeitos de grãos 70 comunica-se com o trado de rejeito 68 em abertura de entrada ou entrada 71 do elevador de rejeitos de grãos 70 onde rejeitos de grãos são recebidos para transporte para processamento adicional. Na forma de realização representada, as rodas dentadas 74 (uma mostrada) são dispostos em extremidades opostas de uma caixa de elevador de rejeitos de grãos 76 e uma cadeia 78 (ou outro elemento flexível) é assentado sobre as rodas dentadas 74 para transferir força entre as rodas dentadas 74. Uma série de pás 80 (ou outros membros de transporte) são suportados pela corrente 78, de modo que quando as rodas dentadas 74 giram, a corrente 78 é movida para acionar as pás 80 ao longo de um caminho oblongo geralmente no sentido horário (da perspectiva da figura 4). Deste modo, os rejeitos de grãos recebidos na caixa de elevador de rejeitos 76 da verruma de rejeito 68 através da abertura de entrada 71 podem ser movidos pelas pás 80 ao longo de uma porção de elevação do trajeto oblongo. A corrente 78, as rodas dentadas 74 e as pás 80 proveem assim uma disposição transportadora 82 para o elevador de rejeitos de grãos 70. Em uma extremidade superior do alojamento de elevador de rejeitos 76, uma abertura de saída (ou outra localização de descarregamento) 84 (Veja a figura 1) é provido, de modo que rejeitos de grãos levantados dentro do elevador de rejeitos de grãos 70 pelas pás 80 saem da caixa de elevador de rejeitos 76 através da abertura de saída 84 (por exemplo, para retorno ao limite). Após a descarga dos rejeitos de grãos

Petição 870190088012, de 06/09/2019, pág. 147/202 / 48 através da abertura de saída 84, as pás 80 podem continuar (isto é, quando movidas pelas rodas dentadas 74 e a corrente 78) ao longo de uma parte de retorno do trajeto oblongo. Em certas formas de realização, um divisor (não mostrado) pode ser provido entre a porção de elevação e a porção de retorno do trajeto oblongo, de modo que o grão movido pelas pás 80 possa ser impedido de misturar. As pás 80 podem ser espaçadas igualmente, desigual, ou uma combinação das mesmas. Cada uma das pás 80 tem uma borda frontal 86 e uma borda traseira 88, a borda frontal 86 sendo mais próxima da parede lateral frontal 90 do alojamento do elevador de rejeitos 76 do que a borda traseira 88.

[0024] Em uma implementação de rejeito passivo, o elevador de rejeitos de grãos 70 transporta os rejeitos de grãos ascendente e os deposita sobre uma extremidade dianteira do rotor 38 para serem redebulhados e separado. Os rejeitos de grãos são então recebidos por um batedor de descarga 92, onde os grãos remanescentes de grão são liberados. O MOG agora separado é liberado atrás da colheitadeira combinada 20 para cair sobre o solo em uma meda ou é entregue a um subsistema de rejeito 94 que pode incluir um interruptor 96 e um espalhador 98 onde ele pode ser cortado pelo talhador 96 e espalhado sobre o campo pelo espalhador 98. Alternativamente, em uma implementação de rejeito ativo, o elevador de rejeitos de grãos 70 pode distribuir os rejeitos de grãos para cima para uma unidade de debulhamento adicional (não mostrada) que é separado do separador 36 e onde os rejeitos de grãos são posteriormente debulhados antes de serem entregues ao fluxo de cultivo principal na frente do subsistema de limpeza 42.

[0025] Com referência novamente à figura 1, a cabine do operador 26 inclui um sistema de interface com o usuário 100 com um conjunto de mecanismos de interface com o usuário, que o operador pode usar para controlar e manipular a colheitadeira combinada 20. Tais mecanismos de interface incluem um ou mais dispositivos de exibição, dispositivos de áudio

Petição 870190088012, de 06/09/2019, pág. 148/202 / 48 para prover informação de áudio, dispositivos hápticos que proveem realimentação táctil, alavancas, joysticks, rodas de direção, pedais, botões, etc. Os mecanismos de interface do usuário também podem ser um conjunto de mecanismos de entrada exibidos em um visor de interface de usuário. Por exemplo, elas podem ser ligações, ícones ou outros mecanismos acionáveis pelo usuário.

[0026] O sistema de interface de usuário 100 também pode incluir várias funcionalidades de entrada e saída para interfacear (isto é, controlar ou receber realimentação de) vários componentes da máquina através de vários sensores e atuadores através de um ou mais mestres (ou outros) controladores, representados pelo controlador 102. Será apreciado que a colheitadeira combinada 20 pode incluir outros sensores e dispositivos atuadores além do sensor de perda de separador 37 acima mencionado, a limpeza mostra os sensores de perda 62, 64 e o arranjo de acionamento 52 no subsistema de limpeza 42, e o motor 46 da ventoinha 44. Por exemplo, a colheitadeira combinada 20 pode incluir um sensor de velocidade de solo 104 que detecta a velocidade de deslocamento da colheitadeira 20 sobre o solo, por exemplo, detectando a velocidade de rotação das rodas, o eixo de acionamento, o eixo de rodas, ou outros componentes. A velocidade de viagem também pode ser detectada por um sistema de posicionamento, tal como um sistema de posicionamento global (GPS), um sistema de navegação estimada, um sistema LORAN, ou uma ampla variedade de outros sistemas ou sensores que proveem uma indicação de velocidade de viagem. Outros sensores e atuadores podem incluir um sensor de velocidade de rotor 106, um sensor de folga de debulhamento 108, um sensor de produção de grão 110, um sensor de carga de debulhamento 112, um sensor de qualidade de grão limpo 113, um sensor de qualidade de palha 114, um sensor de altura de coletor 116, um sensor de fluxo de massa de alimentadora 118, um atuador de coletor 120 e atuadores de vão de debulhamento 122, 124. Todos estes e outros podem ser configurados

Petição 870190088012, de 06/09/2019, pág. 149/202 / 48 para interfacear com o operador através do sistema de interface com o usuário 100, que pode prover entrada para o sistema de controle de qualidade de grão para melhorar a monitorização e avaliação dos rejeitos de grãos, e assim o desempenho de controle e rendimento da colheitadeira combinada 20, que será agora descrita em maiores detalhes em conexão com várias modalidades exemplificativas nas quais o hardware de formação de imagem é montado diretamente, e configurado para interrogar os rejeitos de grãos dentro do elevador de rejeitos de grãos 70.

[0027] Com referência novamente às Figuras 2-4, um sistema de formação de imagem 130 inclui uma câmera 132 com um sensor de imagem 134 e um alojamento 136. A câmera 132 pode ser dotada de seu próprio alojamento contido no interior do alojamento 136 ou, em vez disso, ser alojada apenas pelo alojamento 136. O alojamento 136 pode ser aberto no lado voltado para o elevador de rejeitos de grãos 70 ou pode ter uma parede lateral 138 com uma abertura ou ser feita de um material translúcido para permitir que a luz seja suficiente para a câmera 132 a imagem do interior do elevador de rejeitos de grãos 70. A câmera 132 pode ser uma câmera de alta resolução e taxa de quadro, tal como uma alta resolução (por exemplo, 1080p alta definição) a 10.000 ou mais quadros por segundo; entretanto, a câmera pode ter resolução mais baixa (por exemplo, 5 megapixels) e velocidades mais baixas ou mais altas (por exemplo, até 1.000.000 quadros por segundo). O alojamento 136 é montado diretamente na parede lateral 90 do alojamento de elevador de rejeitos 76, de modo que o lado aberto ou parede lateral 138, e assim o sensor de imagem 134, são alinhados em alinhamento com uma janela 140 na parede lateral frontal 90 do alojamento de elevador de rejeitos 76. Em outras modalidades, a câmera 132 pode ser montada diretamente a uma outra parede lateral, tal como a parede lateral 91 da caixa de elevador 91. O sensor de imagem 134 da câmera 132 é treinado na disposição transportadora 82 e configurado para a imagem dos rejeitos de grãos

Petição 870190088012, de 06/09/2019, pág. 150/202 / 48 transportados pela disposição transportadora 82 através do elevador de Rejeitos de grãos 70. No exemplo ilustrado, o alojamento 136 é montado na parede lateral de elevador de rejeitos de grãos 90 com uma trava 142 e uma dobradiça 144 que fornece uma conexão pivotante ao elevador de rejeitos de grãos 70, tal como para substituir e/ou limpar a câmera 132. Alternativamente, o alojamento 136 pode ser montado na parede lateral 90 do elevador de rejeitos utilizando um ou mais parafusos ou quaisquer outros mecanismos de fixação adequados. O sistema de formação de imagem 130 reflete os rejeitos de grãos dentro da caixa de elevador de rejeitos 76, tanto como transportada pelas pás 80 quanto em um estado de suspensão entre as pás 80, já que as pás 80 movem os rejeitos de grãos através do alojamento do elevador de rejeitos 76. Onde a câmera 132 é montada diretamente sobre o elevador de rejeitos de grãos 70, como no exemplo ilustrado, sem o uso de um duto de derivação, os rejeitos de grãos não precisam ser redirecionados através de um duto de derivação para formação de imagem a uma velocidade mais baixa. Assim, a economia e complexidade das estruturas de desvio e evitando a redução associada na taxa de fluxo para os rejeitos de grãos desviados. Em várias implementações, o elevador de grão limpo 58 pode ser equipado com um sistema de controle de qualidade de grão (e o respectivo hardware e software de controle) tendo um ou mais sensores de imagem ou câmeras montadas diretamente no alojamento de elevador de grão limpo. Alternativa ou adicionalmente, o elevador de grão limpo pode incluir um duto de desvio (não mostrado) no qual o sensor de qualidade de grão limpo 113 realiza amostra dos grãos limpos. Os grãos limpos amostrados podem ser transformados em imagem e analisados para melhorar a identificação e a classificação dos grãos.

[0028] Como ilustrado, a câmera 132 é geralmente posicionada em uma metade inferior do alojamento de elevador de rejeitos 76. Em uma implementação, a câmera 132 é montada no alojamento de elevador de

Petição 870190088012, de 06/09/2019, pág. 151/202 / 48 rejeitos 76 dentro de uma distância D a partir de uma extremidade inferior 146 do alojamento de elevador de rejeitos 76, aproximadamente um quarto a um terço do comprimento total do alojamento de elevador de rejeitos 76. Montar a câmera 132 em uma posição muito próxima da roda dentada (por exemplo, roda dentada 74) pode afetar adversamente a clareza das imagens capturadas pela câmera 132, uma vez que as pás 80 tendem a acelerar perto das rodas dentadas 74. Além disso, no exemplo ilustrado, a câmera 132 é geralmente montada paralela em relação à posição da parede lateral 90 do alojamento de elevador de rejeitos 76. Em outras implementações, a câmera 132 pode ser posicionada em um ângulo em relação à parede lateral 90 do alojamento de elevador de rejeitos 76 para auxiliar na provisão de um ponto de visão particular para a câmera 132 (por exemplo, para facear melhor um lado superior das pás 80 ou permitir a inspeção de borda dianteira para trás das pás 80).

[0029] A forma da janela 140 geralmente acompanha a forma do campo de visão da câmera 132, e é retilínea, de fato quadrado, no exemplo ilustrado. Outras formas geométricas e não geométricas adequadas são contempladas. A janela 140 pode ser uma abertura na parede lateral 90 (conforme mostrado), ou pode ser uma folha ou placa transparente ou transparente (por exemplo, feita de plástico ou vidro) para visão desobstruída no interior do alojamento de elevador de rejeitos 76.

[0030] No exemplo ilustrado, a largura da janela 140 é menor que a largura da parede lateral 90. Em outras implementações, janela dotada de uma largura maior, incluindo uma largura aproximadamente igual à largura (isto é, a dimensão entre os lados laterais das pás 80) da parede lateral 90 pode permitir melhor as imagens de largura total dos rejeitos de grãos sobre as pás de elevador 80, ou para proporcionar espaço para múltiplas câmeras ou outros sensores de imagem. Em uma implementação, a câmera 132 captura imagens dos rejeitos de grãos em um campo de visão 150 entre a borda frontal 86 e a

Petição 870190088012, de 06/09/2019, pág. 152/202 / 48 borda traseira 88 das pás 80 no interior do alojamento de elevador de rejeitos 76. Desta maneira, as imagens dos grãos no todo das superfícies superiores das pás 80 podem ser capturadas.

[0031] Em uma implementação exemplar, o elevador de rejeitos de grãos 70 pode ter mais de um sensor, tal como os sensores 160 e 162, mostrado na figura 4, cada um desses sensores 160, 162 pode ser posicionado internamente ou externamente em relação ao alojamento 136. Um maior número de sensores pode melhorar o desempenho do sistema de formação de imagem 130. Por exemplo, múltiplos sensores de imagem (ou câmeras) pode ser colocada lado a lado, de modo estéreo, para melhorar a percepção de profundidade da visão da câmera, como a visão binocular de seres humanos. O foco relativo dos dois sensores de imagem (ou câmeras) pode indicar melhor a localização física na pá, bem como a profundidade dos rejeitos de grãos. A localização e a profundidade dos rejeitos de grãos podem ser probativas de seus constituintes, uma vez que a propriedade do material de grãos partidos tende a ser diferente da propriedade do material de grãos limpos e força centrífuga geralmente faz com que o material de grão mais pesado ou mais denso se desloque diferentemente (por exemplo, mais distante em uma direção radial (afastada de um eixo geométrico de rotação das rodas dentadas 74) em relação ao material de grão mais leve ou menos denso). Os rejeitos mais próximos estão na câmera 132 (isto é, mais próximas à borda frontal 86 da pá 80 carregando os rejeitos), mais provavelmente os rejeitos são grãos partidos ou MOG (não limpos) porque os rejeitos são mais pesados e mais densos. Inversamente, os rejeitos mais afastados estão localizados a partir da câmera 132 (isto é, quanto mais perto da borda traseira 88 da pá 80 que transporta os rejeitos), o agente de limpeza dos rejeitos porque os rejeitos são mais leves e menos densos. Adicionalmente, com relação à formação de imagem estéreo, dois ou mais sensores de imagens (ou câmeras) podem ser usados para indicar informações de profundidade enquanto um sensor de

Petição 870190088012, de 06/09/2019, pág. 153/202 / 48 imagem (ou câmera) podem proporcionar a indicação primária de cor, foco/desfoco, iluminação e informação de exposição, por exemplo. O uso de imagens de câmera estéreo permite também melhor manutenção das pás 80 e/ou cadeia 78.

[0032] Além disso, o sistema de formação de imagem 130 pode ser operado em coordenação com a disposição transportadora 82. Por exemplo, um ou mais sensores podem iniciar a captura de imagens disparando ou sinalizando para a câmera 132 (ou outros sensores de imagem) quando um sensor detecta uma pá 80 em um local específico dentro da caixa do elevador de rejeitos 76, em relação à câmera 132, ou com base num retardo de tempo prescrito. Em uma implementação, por exemplo, um sensor (por exemplo, sensor 160) detecta a posição das pás 80 à medida que cada pá 80 se aproxima ou alcança o campo de visão 150 da câmera 132, de modo que a imagem é capturada em um momento em que a largura total do lado superior da pá 80 está dentro do campo de visão 150 da câmera 132, facilitando assim uma imagem de largura total e frente para trás dos rejeitos de grãos suportados pela pá 80. Em outra implementação, não são empregados sensores adicionais, e a câmera 132 é programada para capturar imagens em uma taxa e período predeterminados que são sincronizados com o deslocamento das pás 80. Em ainda outras implementações, a câmera 132 captura continuamente imagens em uma taxa de amostragem que é coordenada com a velocidade da pá.

[0033] Tendo descrito vários aspectos mecânicos do sistema de controle de qualidade de grão, com referência agora às figuras 5-11, a arquitetura de controle e lógica de um sistema de controle de qualidade de grão exemplar 200 será agora detalhada no contexto do elevador de rejeitos de grãos exemplar descrito acima com referência para avaliar o grão e material não grão dos rejeitos de grãos. Deve ser entendido que o sistema de controle de qualidade de grão poderia ser usado para monitorar, avaliar e fazer ajustes

Petição 870190088012, de 06/09/2019, pág. 154/202 / 48 de máquina com base no grão limpo dentro do elevador de grão limpo ou em outras localizações ao longo do caminho de fluxo do grão limpo grão através da colheitadeira combinada 20. O sistema de controle de qualidade de grão 200 estima ou determina precisamente a qualidade de material de grão, ou classificação, de rejeitos de grãos de cultivo colhida pela colheitadeira combinada 20. Conforme será descrito, o sistema de controle de qualidade de grão 200 pode ser implementado através do controlador mestre 102 da colheitadeira combinada 20, local ou processador remoto (S) do sistema de formação de imagem 130, através de um dispositivo de processamento remoto (por exemplo, um dispositivo portátil ou uma rede de computadores remotas) ou uma combinação dos mesmos.

[0034] Em geral, o sistema de interface com o usuário 100 comunicase com o sistema de controle de qualidade de grão 200, sem fio ou por fio, para exibição de monitoramento, identificação, e informações de classificação sobre os rejeitos de grãos para o operador da colheitadeira 20. O sistema de interface com o usuário 100 pode ser configurado de modo que o operador possa iniciar a comunicação com o sistema de controle de qualidade de grão 200 através do sistema de interface com o usuário 100 para acessar relatórios, gráficos, ou outros visuais que mostram o estado dos rejeitos de grãos. O sistema de interface com o usuário 100 pode exibir várias informações pertinentes ao operador e para a operação da colheitadeira combinada 20, tal como o tipo de grão para um cultivo em particular, permitindo que o operador identifique informação errónea potencial da identificação de cultivo colhida pela colheitadeira 20. O operador pode também ser capaz de iniciar vários processos de diagnóstico, procedimentos de manutenção de sistema, e procedimentos de teste através do sistema de interface de usuário 100. O sistema de interface de usuário 100 pode exibir várias heurísticas sobre os grãos no elevador de rejeitos de grãos 70, exemplos dos quais incluem diagnóstico, tipo de cultivo detectado, nível de confiança e classificação de

Petição 870190088012, de 06/09/2019, pág. 155/202 / 48 material de grão. O operador pode estar localizado fisicamente na cabine 26 da colheitadeira 20, quando em comunicação com o sistema de interface com o usuário 100. Alternativamente, o operador pode ser localizado remotamente em relação ao sistema de interface de usuário 100 e comunicando-se com o sistema de interface de usuário 100 através de um protocolo de comunicação sem fio, tal como Wi-Fi, Bluetooth ou JDLINK. Em uma forma de realização, uma interface gráfica de usuário (GUI), sob o controle de um sistema operacional, pode implementar o sistema de interface com o usuário 100 e captura as interações entre o operador e o sistema de interface com o usuário 100 e causa a exibição das informações solicitadas.

[0035] O sistema de interface com o usuário 100 dirige mensagens e informação, entrada pelo operador, para o controlador 102, e o controlador 102 retransmite a entrada do operador para um sistema de detecção de qualidade de grão 202 do sistema de controle de qualidade de grão 200. Alternativamente, o controlador 102 recebe entrada gerada por uma máquina ou dispositivo local ou remotamente localizado, tal como um computador local ou um servidor de rede à base de nuvem. Um servidor de rede à base de nuvem pode ser, por sua vez, controlado pela interação do usuário através do servidor da Internet, por exemplo.

[0036] O controlador 102 responde à entrada do operador e do sistema de detecção de qualidade de grão 202 e utiliza esta informação para controlar vários sensores e dispositivos atuadores da colheitadeira combinada 20, tais como aquelas listadas acima (por exemplo, velocidade da ventoinha 44, movimento da peneira 48 e do picador 50, e assim por diante). O sistema de detecção de qualidade de grão 202 pode ser fisicamente incorporado no sistema de formação de imagem 130. Alternativamente, estes dois sistemas podem ser localizados remotamente e se comunicam de forma sem fio. Em ainda outra realização, o sistema de detecção de qualidade de grão 202 é parte do controlador 102 ou sistema de detecção de qualidade de grão 202 é uma

Petição 870190088012, de 06/09/2019, pág. 156/202 / 48 parte de um sistema de controle distribuído onde o sistema de detecção de qualidade de grão 202 inclui seu próprio controlador, o qual, por sua vez, comunica-se com o controlador mestre 102. As imagens geradas pela câmera 132 do sistema de formação de imagem 130 são transmitidas para o sistema de detecção de qualidade de grão 202 através do controlador 102, ou alternativamente transmitido diretamente pelo sistema de formação de imagem 130 para o sistema de detecção de qualidade de grão 202. Na primeira modalidade, o controlador 102 tem a flexibilidade de executar algumas das tarefas de processamento tipicamente realizadas pelo sistema de detecção de qualidade de grão 202 para descarregar o sistema de detecção de qualidade de grão 202. Uma aplicação da modalidade precedente é onde o sistema de detecção de qualidade de grão 202 está em comunicação remota com o controlador 102 e a largura de banda do sistema é limitada. Adicionalmente, o controlador 102 está em posição para coordenar as atividades dos dispositivos da colheitadeira combinada 20, tais como os vários sensores e dispositivos atuadores referidos acima.

[0037] O sistema de detecção de qualidade de grão 202 é configurado para realizar análise de diagnóstico e em imagens de amostra do sistema de formação de imagens 130 de grãos rejeitos no grão elevador de rejeito 70. A amostra imagens são capturadas em um local de amostragem dentro do grão de elevador de rejeito 70 com uma câmera de alto desempenho, tal como a câmera 132. A característica de alto desempenho da câmera 132 acoplada com o desempenho de processamento avançado do sistema de detecção de qualidade de grão 202 proveem maior parte constituinte identificação e classificação. O local de amostragem é uma localização dentro do campo de visão da câmera 132 dentro do grão elevador de rejeito 70. As imagens de amostra são definidas por um conjunto de pixels de imagem que são representados por dados de imagem. Uma característica de classificação associado com as imagens de amostra descreve o material de grão do grão

Petição 870190088012, de 06/09/2019, pág. 157/202 / 48 rejeitos. Uma lista não limitante de categorias de classificação de grão e material não grão pode incluir grão limpo, grão partido, MOG leve, MOG pesado e grão não debulhado. Deve-se entender que os rejeitos de grãos classificados como grãos “limpo” incluem grãos que foram completamente debulhados, os rejeitos de grãos “partidos” incluem grãos limpos parciais, tais como grãos que foram cortados ou esmagados de alguma forma, o MOG leve é palha relativamente leve ou outro material não granulado tal como folhas e cascas que podem ser facilmente sopradas pela ventoinha 44, o material pesado é um material não granulado que é mais denso ou mais pesado até o ponto em que não seja facilmente soprado para fora, tal como bastões, casca e assim por diante, e grão escamoso não debulhado é grão que não foi separado de sua casca. Várias outras definições para estas categorias podem ser providas. Adicionalmente, subclassificações e classificações adicionais podem ser incluídos no sistema de controle de qualidade de grão 200. Por exemplo, uma classificação suplementar pode ser feita um “espaço vazio” classificação. Um “espaço vazio” é um espaço entre rejeitos de grãos desprovida de grãos residuais. A classificação dos espaços vazios auxilia na categorização precisa de rejeitos de grãos eliminando a possibilidade de classificação errónea de tipo de grão. Adicionalmente, a identificação de espaços vazios ajuda a melhorar a classificação de grãos evitando potencial imperfeita marcação de um vazio como grãos de MOG, e assim por diante.

[0038] Com referência agora à Figura 6, o sistema de formação de imagem 130 seleciona uma ou mais imagens de amostra a ser processada, a(s) imagem(ns) de amostra(s) selecionada(a) são representados por um subconjunto de pixels de imagem do conjunto de pixels de imagem de dados de imagem. O sistema de formação de imagem 130 gera sinais de saída para uma memória 234. Os sinais de saída carregam os dados de imagem representando as imagens de amostra selecionados.

[0039] O processador 232 compreende pelo menos uma unidade de

Petição 870190088012, de 06/09/2019, pág. 158/202 / 48 processamento configurado para analisar dados de imagem das imagens selecionadas recebidas a partir do sistema formador de imagem 130 e gera saídas com base em tal análise. Para fins deste pedido, o termo “unidade de processamento” ou “processador” significará um processamento presentemente desenvolvida ou desenvolvida no futuro unidade que executa sequências de instruções contidas em uma memória. A execução das sequências de instruções faz com que a unidade de processamento execute etapas, tal como a geração de sinais de controle. As instruções podem ser carregadas em uma memória de acesso aleatório (RAM) para execução pela unidade de processamento de uma memória somente de leitura (ROM), um dispositivo de armazenamento em massa ou algum outro armazenamento persistente. Em outras modalidades, um circuito ligado fisicamente pode ser usado no lugar de ou em combinação com instruções de software para implementar as funções descritas. Por exemplo, em outras implementações, o processador 232 é incorporado como parte de um ou mais circuitos integrados de aplicação específica (ASICs). A menos que de outro modo especificamente notado, o controlador não está limitada a qualquer combinação específica de circuito de hardware e software, nem a qualquer fonte em particular para as instruções executadas pela unidade de processamento.

[0040] O controlador 102 pode também compreender uma ou mais unidades de processamento configuradas para emitir sinais de controle para direcionar a operação de uma peça de equipamento de manuseio de cereais, tais como vários componentes da colheitadeira 20. Em uma modalidade, o controlador 102 emite sinais de controle que controlam e ajustar os parâmetros operacionais da colheitadeira 20, como listado acima [0041] Um visor 241 do sistema de interface de usuário 100 pode incluir um ou mais dispositivos pelos quais informações a respeito da qualidade de grãos ê visivelmente apresentada. Por exemplo, a visualização 241 pode incluir uma série de díodos emissores de luz que proveem alertas ou

Petição 870190088012, de 06/09/2019, pág. 159/202 / 48 notificações sobre qualidade de grão. A tela 241 pode ser uma tela de exibição, tal como uma tela de toque e incluir alto-falantes ou outros dispositivos auditivos pelo qual a informação é comunicada.

[0042] A memória não transitória 234 inclui um meio legível por computador contendo lógica de programa, na forma de código, software, circuitos ou instruções que direcionam a operação do processador 232. Memória 234 adicionalmente serve como um dispositivo de armazenamento persistente pela qual os dados são armazenados. Embora a memória 234 é ilustrado como uma memória única, em outras implementações, pode ser distribuído entre múltiplos dispositivos de memória ou locais de memória, tal como através de uma rede de área local ou uma rede de área ampla. No exemplo ilustrado, a memória 234 compreende módulos de software que realiza análise de qualidade de grão e que proveem saída direta com base nos resultados de tal análise [0043] No exemplo ilustrado, a memória 234 compreende um módulo de captura de imagem (ICM) 236, um módulo de armazenamento de dados (DS) 237, um módulo de rede neural convolucional (CNN) 239, e um módulo de saída (OM) 238. O ICM 236, o módulo DS 237, o OM 238 e o módulo de CNN 239 compreendem, cada um, lógica de programa para dirigir o processador 232 na implementação de um método 288 para controle de qualidade de grão, como delineado na Figura 7, o sistema de formação de imagem 130 transfere uma ou mais imagens de amostra dos rejeitos de grãos, adquirido a partir do interior do alojamento de elevador de rejeitos 76, para o ICM 236 da memória 234. O sistema de formação de imagem 130 seleciona uma das imagens de amostra para processamento, conforme indicado pelos blocos 290 e 292 da Figura 7, em uma implementação, o ICM 236 salva os dados de imagem selecionados correspondendo à imagem selecionada no módulo DS 237 e transmite o mesmo, ou transmite a versão gravada dos dados de imagem selecionados, para o processador 232 para processamento.

Petição 870190088012, de 06/09/2019, pág. 160/202 / 48 [0044] Como indicado pelo bloco 294 na Figura 7, a classificação dos rejeitos de grãos se inicia. Em uma implementação, o módulo de CNN 239 direciona o processador 232 para realizar um ou mais processos nos dados de imagem selecionados para melhorar a análise de imagem pela aplicação de um algoritmo de CNN para os dados de imagem selecionados em uma base de pixel, como indicado pelo bloco 296 da Figura 7. Os algoritmos de CNN são uma forma lógica de aprendizagem profunda, que podem ser empregados em aplicações de processamento de imagem para detectar ou discernir características de uma imagem sem qualquer pré-processamento ou com ou pré-filtragem reduzidos das imagens de amostra. Os algoritmos de CNN são computacionalmente eficiente uma vez que eles usam operações de convolução e agrupamento especiais e realizam o compartilhamento de parâmetro. Isto permite que modelos de CNN operem universalmente em vários dispositivos de processamento oferecendo modelagem eficiente e poderosa para realizar extração de característica automática em aplicações de processamento de imagem. Vários algoritmos de CNN podem ser implementados, um dos quais é, sem limitação, PixelNet, desenvolvido por Carnegie Mellon University, como detalhado em “PixelNet: Representation of the pixels, by the pixels, and for the pixels” disponível em http://www.cs.cmu.edu/~aayushb/pixelNet/, e aqui incorporado por referência em sua totalidade. Os algoritmos de CNN são tipicamente implementados em numerosos estágios de filtros variáveis com pesos ajustáveis e multiplicadores. Em uma implementação, o número de classificações associado com a imagem selecionada prescreve, pelo menos em parte, do número de estágios e pesos implementando os algoritmos de CNN. Por exemplo, uma característica de classificação de dez tipos de materiais de grãos pode exigir um maior número de estágios e pesos do que uma característica de classificação de três tipos de materiais de grão exigiria.

[0045] Continuando, o processador 232, com a assistência do módulo

Petição 870190088012, de 06/09/2019, pág. 161/202 / 48 de CNN 239, gera sinais de classificação (ou controle) que representam uma probabilidade de classificação dos rejeitos de grãos, que pode ser considerada como a classificação real do rejeito de grão. Com a conclusão da aplicação do algoritmo de CNN para os dados de imagem selecionada, o OM 238 direciona o processador 232 para gerar sinais que representam a probabilidade de cada classificação, conforme indicado pelo bloco 298 da Figura 7. Consequentemente, o módulo de CNN 239 implementa as características do algoritmo de CNN, tais como pesos e estágios, pelo menos em parte, com base na classificação da imagem selecionada.

[0046] Em uma implementação, o ICM 236 coleta dados de imagem representando pixels de imagem das imagens selecionadas e analisa os dados de imagem correspondentes selecionados com base em um algoritmo de classificador único (por exemplo, um algoritmo de classificador associado com a colheita). O ICM 236 atualiza a classificação, ou uma classificação suplementar, usando o algoritmo de classificador. Os sinais de classificação do processador 232 representam uma medida de confiança com base na probabilidade de identificar precisamente o material de grão. Os sinais de classificação podem ser uma representação binária da característica de classificação dos rejeitos de grãos onde os rejeitos grãos são classificados como tendo uma característica de classificação particular, ou não.

[0047] Em uma modalidade, um número “N” de imagens de amostra dos rejeitos de grãos são selecionados pelo ICM 236, representando um valor inteiro “N”. As N imagens de amostra são definidas por N conjuntos de pixels de imagem correspondentes. O módulo de CNN 239, em conjunto com o processador 232, aplica o algoritmo de CNN sobre cada conjunto e no término da aplicação do algoritmo de CNN em um conjunto, repete o processo para cada uma das imagens restantes de amostra até que todos os N conjuntos sejam processados. Em uma implementação, quando N cai abaixo de um limite predeterminado, o processamento cessa e o algoritmo de CNN é

Petição 870190088012, de 06/09/2019, pág. 162/202 / 48 anunciado como completamente aplicado. Geralmente, o processamento de um número maior de imagens de amostra, conforme descrito acima, produz uma maior medida de confiança.

[0048] Para detalhes adicionais de componentes do sistema de controle de qualidade de grão 200 comumente descrito, o leitor é direcionado para o documento de Patente US 9.779.330, concedida a Wellington et al., em 3 outubro de 2017 e intitulado “Grain Quality Monitoring”, a descrição da qual é incorporada aqui por referência apresentados em sua totalidade.

[0049] No bloco 299, o OM 238 emite sinais de controle representando a classificação dos rejeitos de grãos para o controlador 102 para ajustar os parâmetros operacionais da colheitadeira combinada 20. Por exemplo, o controlador 102 pode emitir comandos de controle para qualquer um dos vários dispositivos de atuador especificados acima para fazer ajustes nos componentes de processamento do cultivo da colheitadeira combinada 20 (por exemplo, os componentes de debulha, os componentes de limpeza e assim por diante.).

[0050] Como mostrado na Figura 8, em uma modalidade, o sistema de detecção de qualidade de grão 202 recebe imagens de amostra 242 dos rejeitos de grãos do sistema de formação de imagens 130. As imagens de amostra 242 são analisadas por um analisador de imagem 244, e um gerador de parâmetro específico de cultivo 246. O analisador de imagem 244 compreende um ou mais processadores e lógica de programa associados na forma de código, software e/ou conjunto de circuitos, armazenado em um meio legível por computador não transitório ou memória, mostrado na Figura

5. A lógica de programa inclui instruções para o processador do controlador 102 para execução pelo processador. O analisador de imagem 244 compreende um módulo de seleção de imagem 250, um módulo de qualidade de imagem 252, uma sobreposição e o módulo de detecção de enchimento 254, o módulo de CNN 239, um módulo detector de variedade e cultivo 256,

Petição 870190088012, de 06/09/2019, pág. 163/202 / 48 e um módulo de conversão e filtragem 260. O gerador de parâmetro específico de cultivo 246 inclui um módulo de rótulos 272 e um módulo de treinamento 270. O gerador de parâmetro específico de cultivo 246, em uma implementação, pode incluir um ou mais processadores.

[0051] O módulo de seleção de imagem 250 recebe imagens 242 dos rejeitos de grãos capturados no elevador de rejeitos 70 e realiza a formação de imagens de rajada e pré-filtragem, como descrito abaixo, nas imagens de amostra recebidas para ajudar na seleção de imagens para processamento completo. Conforme observado anteriormente, as pás 80 do elevador de rejeitos de grãos 70, mostradas na Figura 4, transportam os rejeitos de grãos. Os rejeitos de grãos provavelmente não são uniformemente distribuídos entre cada par de pás 802. A distribuição desigual dos rejeitos de grãos pode ter um impacto negativo sobre a classificação. Adicionalmente, a velocidade do fluxo dos rejeitos de grãos pode variar entre os pares de pás, também afetando negativamente os resultados da classificação. O módulo de seleção de imagem 250 emprega sensores de imagem, tais como o sensor de imagem 134 (e no caso de qualquer um dos sensores 160, 162 serem sensores de imagem), para classificação dos rejeitos de grãos no local de amostragem e reduz o desvio, otimiza o tamanho da amostra e reduz o desfoque do movimento nas imagens. Para compensar a distribuição desigual de rejeitos de grãos, o módulo de seleção de imagem 250 pré-filtra cada entrada de imagem, ou imagem de amostra, por meio da aplicação de um algoritmo de seleção de imagem à imagem para identificar as imagens que são importantes de processamento e classificação completos. O módulo de seleção de imagem 250 gera imagens selecionadas que sobreviveram ao processo de préfiltragem e transmite as imagens selecionadas para o módulo de qualidade de imagem 252.

[0052] O algoritmo de seleção de imagem, empregado pelo módulo de seleção de imagem 250, pode ser implementado de acordo com um número

Petição 870190088012, de 06/09/2019, pág. 164/202 / 48 de técnicas e foca principalmente na identificação de imagens com o maior número de grãos e também tem como base a localização dos grãos em relação aos seus grãos vizinhos. Exemplos de tais algoritmos de seleção de imagem, sem limitação, incluem aplicação de um algoritmo de energia Gaussiana, medição de distribuição de cores, medição de distribuição de textura, medição de distribuição de brilho de imagem, ou identificação da pá de elevador particular sobre a qual o grão é transportado. Em uma implementação, uma ou mais das pás 80 podem ser identificadas para classificação de imagem, associação de protótipo ou reconhecimento de padrão.

[0053] O módulo de qualidade de imagem 252 recebe as imagens selecionadas do módulo de seleção de imagem 250, conforme descrito acima, e analisa as imagens selecionadas para identificar, ou detectar, imagens prejudicadas. Certas circunstâncias podem prejudicar a qualidade das imagens no momento da amostragem, como foco deficiente, iluminação e cor, e material estranho, borrões, umidade ou sujeira na janela 140. O módulo de qualidade de imagem 252 remove as imagens prejudicadas, deixando as imagens melhoradas como saída para o módulo de sobreposição e detecção de enchimento 254. Em uma modalidade, as imagens prejudicadas são emitidas para um módulo diagnóstico 248 para diagnóstico. Em resposta à detecção de qualidade de imagem deficiente, o módulo de qualidade de imagem 252 pode alertar o operador da colheitadeira 20 das imagens prejudicadas ou da extensão do dano. Por exemplo, um limite predefinido pode ser comparado com o número de imagens deficientes e quando o número de imagens deficientes excede o limite predefinido, o módulo de qualidade de imagem 252 pode tomar ações corretivas adicionais. Exemplos de tais ações corretivas adicionais, sem limitação, incluem mascarar digitalmente áreas de qualidade das imagens deficientes. Em algumas implementações, o módulo de qualidade de imagem 252 pode ser omitido completamente.

[0054] O módulo de sobreposição e detecção de enchimento 254

Petição 870190088012, de 06/09/2019, pág. 165/202 / 48 analisa as imagens melhoradas do módulo de qualidade de imagem 252 ou das imagens selecionadas a partir do módulo de seleção de imagem 250, conforme o caso pode ser. O módulo de sobreposição e detecção de enchimento 254 monitora e rastreia o movimento de rejeitos de grãos dentro do elevador de rejeitos 70. Por exemplo, o módulo de sobreposição e detecção de enchimento 254 analisa as imagens melhoradas para determinar a extensão em que o elevador de rejeitos 70 é enchido com rejeitos de grãos. Em uma implementação, é feita uma avaliação do volume consumido do elevador de rejeitos de grãos 70 com base em gradientes de intensidade e outras características de imagem. O módulo de sobreposição e detecção de enchimento 254 gera uma saída comensurável com um sinal de enchimento percentual 262 que indica a porcentagem de imagens enchidas com rejeitos de grãos. Em uma implementação, com base no enchimento detectado do elevador de rejeitos 70, o módulo de sobreposição e detecção de enchimento 254 direciona o processador 232 (mostrado na Figura 6) para emitir sinais de controle para a colhedeira combinada 20 quando o elevador de rejeitos de grãos 70 está suficientemente enchido. Em outra implementação, o módulo de sobreposição e detecção de enchimento 254 identifica porções não enchidas da imagem e emite um sinal de acordo.

[0055] O módulo de detecção de sobreposição e enchimento 254 rastreia adicionalmente o movimento de rejeitos de grãos através do elevador de rejeitos 70 para identificar imagens sobrepostas de rejeitos de grãos e impedir a contagem dupla da mesma amostra de rejeitos de grãos. Em uma implementação, o módulo de detecção de sobreposição e enchimento 254 assume uma moção principalmente linear de rejeitos de grãos através do elevador de rejeitos de grãos 70. Em uma implementação, o módulo de detecção de sobreposição e enchimento 254 analisa imagens sequenciais e gera pontuações de correlação para porções das imagens. Com base nas pontuações de correlação, o módulo de detecção de sobreposição e

Petição 870190088012, de 06/09/2019, pág. 166/202 / 48 enchimento 254 identifica porções sobrepostas de tais imagens para evitar a contagem dupla das porções sobrepostas. Como resultado, a carga no processador 232 (mostrado na Figura 6) é reduzida. Após o processamento, o módulo de detecção de sobreposição e enchimento 254 envia as imagens processadas para o módulo de CNN 239.

[0056] Com referência adicional à Figura 9, em uma implementação, o módulo de detecção de sobreposição e enchimento 254 agrega 287 as probabilidades de classificação 285 e aplica uma função de calibração 289 para as probabilidades de amostra agregadas para determinar uma porcentagem de valor de massa/peso para a classe de material para uma imagem de entrada 280 em sua totalidade. O módulo de sobreposição e detecção de enchimento 254 aplica adicionalmente a filtragem 291 para emitir uma estimativa de porcentagens em peso para classes de material.

[0057] O módulo detector de variedade e cultivo 256 analisa valores associados a uma ou mais características das imagens processadas a partir do módulo de sobreposição e detecção de enchimento 254 para identificar o tipo de cultivo particular e possivelmente a variedade particular do cultivo atualmente sendo colhida. O tipo de cultivo determinado ou identificado e a variedade são emitidos como sinais 264 para gravação com as localizações georeferenciadas particulares associadas que são atravessadas pela colheitadeira combinada 20. Em uma implementação, o tipo de cultivo identificado e a variedade podem ser vistos no visor 241 (mostrado na Figura 6). Por exemplo, um campo pode ser planejado com múltiplos tipos de cultivo ou variedades múltiplas. O módulo detector de variedade e cultivo 256 detecta mudanças no tipo de cultivo e variedade à medida que a colheitadeira está cruzando o campo. O módulo detector de variedade e cultivo 256 registra tais mudanças com relação a diferentes localizações georeferenciadas no campo. Em uma implementação, os resultados de qualidade de grão podem ser armazenados e associados, na memória 234, com a variedade e tipo de cultivo

Petição 870190088012, de 06/09/2019, pág. 167/202 / 48 identificado em particular, bem como os locais georeferenciados em particular no campo. Em uma implementação, o tipo de cultivo detectado é emitido para o controlador 102 permitindo que o controlador 102 mude sua estratégia de controle com base no tipo de cultivo detectado.

[0058] O módulo detector de variedade e cultivo 256 pode estar ausente do sistema de detecção de qualidade de grão 202 ou pode ser manualmente substituído onde o operador especifica o tipo de cultivo para o módulo de CNN 239. Na implementação onde a módulo detector de variedade e cultivo 256 está faltando, o módulo de CNN 239 utiliza parâmetros genéricos para ligar valores de característica para classificar probabilidades em que uma tabela de consulta distinta ou relação matemática ou a fórmula é designada para e usada para uma classe particular de material de grão, tais como aqueles listados aqui.

[0059] Em ainda outra implementação, o módulo detector de variedade e cultivo 256 compara os valores recebidos do módulo de CNN 239, para uma ou mais características dos rejeitos de grãos, aos valores normais, típicos ou padrões ou faixas de valores e determinam um grau, nível, ou medida de confiança que os valores característicos particulares recebidos do módulo detector de variedade e cultivo 256 são, de fato, para o cultivo que está sendo colhido. Em tal implementação, o módulo detector de variedade e cultivo 256 emite sinais que representam uma indicação, tal como uma indicação de nível de confiança 266. O controlador 102 pode empregar a indicação de nível de confiança 266 para alterar a indicação dos sinais de classificação 268. Por exemplo, a indicação dos sinais de classificação 268 pode ser alterada para representar a qualidade dos rejeitos de grãos. A indicação de nível de confiança 266 pode ser apresentada ao operador através do visor 241. Onde os valores para as características recebidas do módulo de CNN 239 são drasticamente diferentes dos valores característicos típicos ou esperados para o cultivo que está sendo colhido, o módulo detector de

Petição 870190088012, de 06/09/2019, pág. 168/202 / 48 variedade e cultivo 256 pode emitir sinais que indicam um nível de confiança extremamente baixo. Em uma implementação, se a diferença entre os valores de característica recebidos e os valores de característica esperados exceder um limite predefinido, uma indicação de aviso pode ser exibida ou audivelmente apresentada ao operador. Tal diferença pode indicar vários problemas e pode levar a um baixo nível de confiança que pode ser causado pelo operador, tal como inserir o tipo de cultivo errado, ou pode ser o resultado da colheitadeira que atravessa temporariamente uma região anormal de um campo contendo um canteiro anormal de plantas. Os sinais de classificação 268 e a indicação de nível de confiança 266 podem ser empregados pelo controlador 102 para ajustar os parâmetros operacionais da colheitadeira 20 e melhorar a qualidade do grão.

[0060] Em uma implementação, o módulo de CNN 239 direciona o processador 232 para determinar a probabilidade de classificações de material de grão distinto em um local de amostragem particular. Por exemplo, o módulo de CNN 239 pode designar um local de amostragem particular a uma probabilidade de cada um de um número de classificações diferentes. Por meio de um exemplo específico, o módulo de CNN 239 pode designar o local de amostragem particular uma probabilidade de x% que a amostra de imagem está representando uma primeira classificação de um material de grão e uma probabilidade de z% que o local de amostragem está representando uma segunda classificação do material de grão e assim por diante, onde a soma das probabilidades não excede 100%. Em uma implementação, o módulo de CNN 239 direciona o processador 232 para determinar uma probabilidade de presença de uma primeira classificação de material, tal como grão partido, no local da câmera 132 bem como uma probabilidade de presença de uma segunda classificação de material diferente, tal como um MOG pesado ou MOG leve, no local da câmera 132.

[0061] Em uma implementação, o módulo de CNN 239 utiliza

Petição 870190088012, de 06/09/2019, pág. 169/202 / 48 diferentes pesos de filtro e ajusta os pesos do filtro de acordo com um conjunto de características ou conjuntos de características, e diferentes probabilidades para diferentes classificações de materiais correspondentes aos diferentes valores para diferentes combinações de características. Em uma implementação, as entradas de probabilidade são geradas tomando-se múltiplas amostras de grãos, capturando uma imagem de cada uma das múltiplas amostras de grãos, e tendo especialistas ou operadores humanos treinados rotulando diferentes partes da imagem para formar o módulo de rótulos 272. Em outra implementação, o pessoal treinado rotula manualmente diferentes partes da imagem (por exemplo, limpo, MOG pesado, MOG leve, partido ou não debulhado, por cultivo). Por exemplo, um cultivo pode ser rotulado de trigo, milho, soja e canola por operadores humanos. As imagens rotuladas são digitalmente admitidas e podem ser armazenadas no módulo de DS 237 da memória 234 para uso pelo módulo de treinamento 270.

[0062] De acordo com várias implementações, a indicação de classificação para o operador pode ser feita de um modo amigável ao usuário, tal como mostrado nas imagens das Figuras 12A e 12B. A Figura 12A mostra uma imagem de rejeitos de grãos processados utilizando o algoritmo de CNN. Cada pedaço de grão não é intencionalmente segmentado, como feito por técnicas de controle de qualidade de grão da técnica anterior. Ao invés disso, os grãos classificados são áreas destacadas, como mostrado em 336. A Figura 12B mostra uma imagem de grãos que sofreu processamento de CNN além de segmentação de ocorrência, que permite a produção de sobrecamadas ou imagens de anotação selecionando pedaços específicos de material de grão, mostrados em 338.

[0063] O módulo de treinamento 270 pode incluir um ou mais processadores e lógica de programa associada que direcionam a geração de uma tabela de consulta ou relação matemática através do aprendizado da máquina utilizando uma grande lista de vetores de características e pares de

Petição 870190088012, de 06/09/2019, pág. 170/202 / 48 rótulos. O módulo de treinamento 270 utiliza os rótulos para determinar as probabilidades desejadas de material de grão dos rejeitos de grãos e envia estas probabilidades desejadas para o módulo de CNN 239.

[0064] Em uma implementação, conforme mostrado na Figura 8, o módulo de CNN 239 é operável em um dos vários modos (por exemplo, selecionável pelo operador) onde o sistema de detecção de qualidade de grão 202 analisa os rejeitos de grãos para diferentes classificações de material de grão. Exemplos de diferentes classificações de material para o qual o módulo de CNN 239 faz uma predição são listadas acima e podem incluir espaços vazios, conforme observado. Em algumas implementações, o módulo de CNN 239 pode prever outras classificações de material dependendo de um tipo de grão particular e da planta particular da qual o grão é colhido. As probabilidades de tais outras classificações podem ser providas em tabelas de consulta ou relações matemáticas que são geradas para o módulo de rótulos 272 e o módulo de treinamento 270.

[0065] O módulo de conversão e filtragem 260 responde à saída do módulo de CNN 239 assim como um sinal de classificação suplementar 259 e converte ou mapeia as probabilidades de classificação de amostras de imagens através de todas as imagens de amostras de rejeitos de grãos, do módulo de CNN 239 e do sinal de classificação suplementar 259, para uma saída percentual em peso para diferentes classificações de materiais (incluindo classificações suplementares) nos rejeitos de grãos. O módulo de conversão e filtragem 260 determina e emite os sinais de classificação 268 indicando a qualidade do grão para as imagens de amostra com base em um agregado das probabilidades, para a classificação de material em particular, das diferentes amostras de imagens que constituem as imagens de amostra. No exemplo ilustrado, o módulo de conversão e filtragem 260 emite, para o visor 241, a informação de qualidade de grão tal como por cento em massa/peso limpo, por cento em massa/peso, por cento em massa/material de peso diferente de

Petição 870190088012, de 06/09/2019, pág. 171/202 / 48 luz de grão, por cento em massa/peso de material diferente de grão pesado, por cento em massa/peso não debulhado e assim por diante. Em uma implementação, o módulo de conversão e filtragem 260 calcula adicionalmente estatísticas com relação a tais resultados de qualidade de grão, onde instantâneos, filtrados, e a incerteza nas medições são calculadas para a exibição, controle de máquina, e módulo(s) de armazenamento da colheitadeira combinada 20.

[0066] No exemplo ilustrado, o módulo de conversão e filtragem 260 aplica uma função de calibração a uma estatística derivada de um agregado das diferentes probabilidades de classificação das diferentes amostras de imagens. Em uma implementação, o módulo de conversão e filtragem 260 converte probabilidades de classificação de amostra de imagem através de uma imagem a uma porcentagem em massa/peso para uma classificação de material para a imagem por aplicação função de calibração na forma de uma curva linear que mapeia a probabilidade de classificação média através da imagem de rejeito de grão a uma escala de peso percentual em peso ou percentual em massa para a classificação de material de grão.

[0067] Com referência às figuras 10 e 11, um sistema de conectividade remota 300 para a colheitadeira combinada 20 inclui um sistema remoto 310 localizado em um local remoto 302. Ainda incluído no sistema o sistema de comunicação remoto 300 é um sistema remoto 304 e um módulo de armazenamento de dados 306. A colheitadeira combinada 20 comunica-se com os elementos no servidor na localização Remota 302. Em uma implementação, os sistemas remotos 304, 310 podem, cada um, prover computação, software, acesso de dados, e serviços de armazenamento que não requerem conhecimento final do usuário final da localização física ou configuração que entrega os serviços. Os sistemas remotos 304, 310 podem incluir um ou mais servidores à base de rede ou não à base de rede e podem distribuir os serviços através de uma rede de área ampla, tal como a internet,

Petição 870190088012, de 06/09/2019, pág. 172/202 / 48 utilizando protocolos apropriados, e pode ser acessada através de um navegador da web ou qualquer outro componente de computação. O Software ou componentes mostrados nas Figuras 6-9, bem como os dados correspondentes, podem ser armazenados em servidores em um local remoto. Os recursos de computação em um ambiente remoto de servidor podem ser consolidados em um local central de dados remotos ou podem ser dispersos. As infraestruturas remotas do servidor podem entregar serviços através de centros de dados compartilhados, mesmo que elas apareçam como um único ponto de acesso para o usuário. Assim, os componentes e funções aqui descritos podem ser providos a partir de um servidor remoto em um local remoto utilizando uma arquitetura de servidor remoto. Alternativamente, elas podem ser fornecidas a partir de um servidor convencional, ou elas podem ser instaladas em dispositivos clientes diretamente, ou em outras maneiras.

[0068] A arquitetura da figura 10 contempla que alguns elementos da figura 1 são dispostos nas localizações remotas 302 enquanto outros não são. A título de exemplo, o armazenamento de dados 306 e os sistemas remotos 304, 310 pode ser disposto em um local separado do local da colheitadeira combinada 20 e acessado através de servidores remotos. Independentemente de onde estão localizados, eles podem ser acessados diretamente pela colheitadeira combinada 20 através de uma rede. Os sistemas remotos 304, 310 podem ser hospedados em um local remoto por um serviço, ou podem ser fornecidos como um serviço, ou acessados por um serviço de conexão que reside num local remoto. O armazenamento de dados 306 pode ser localizado local ou remotamente em relação ao sistema remoto 310 e/ou ao sistema remoto 304. O armazenamento de dados 306 pode ser compartilhado pelos sistemas remotos 304, 310.

[0069] O sistema de conectividade remota 300 pode compreender um sistema de análise de qualidade de grão 354 e um controlador de atualização 356. Em uma implementação, o sistema de análise de qualidade de grão 354 é

Petição 870190088012, de 06/09/2019, pág. 173/202 / 48 um sistema central remotamente localizado e o sistema de análise de qualidade de grão 354 e o controlador de atualização 356 são localizados remotamente em relação à colheitadeira combinada 20. Em uma modalidade, a colheitadeira combinada 20 transmite imagens processadas, ou não, para o sistema de análise de qualidade de grão 354 para propósitos de diagnóstico ou atualização de sistema através do canal 328. Um módulo de software 326 do sistema de análise de qualidade de grão 354 pode enviar atualizações de softwares de retorno ou informações de diagnóstico para a colheitadeira combinada 20 através do canal 330. Por exemplo, o operador da colheitadeira combinada 20 pode ter baixa confiança na qualidade de grão dos rejeitos de grãos. A colheitadeira combinada 20 transmite imagens dos rejeitos de grãos aparentemente prejudicados para o sistema de análise de qualidade de grão 354 para diagnóstico potencial. Alternativamente, as atualizações de software ou processo para a colheitadeira combinada 20 podem ser inicializadas pelo sistema de análise de qualidade de grão 354 e conduzido através do controlador de atualização 356 através de um canal dedicado ou canal comum ao canal 3302. Em uma implementação, o sistema de análise de qualidade de grão 354 coleta imagens suspeitas de qualidade inferior e com base em seu diagnóstico de atualizações de software ou de linha de produto através do controlador de atualização 356 para a colheitadeira combinada 20 para melhorar a análise de qualidade de grão. Alternativamente, o sistema de análise de qualidade de grão 354 coleta informação de máquinas agrícolas de mais de um banco e mediante análise das informações, detecta questões únicas para os cultivos de uma estabelecimento rural em particular em relação a cultivos de outras estabelecimentos rurais ou em relação a um padrão ou expectativa e o sistema de análise de qualidade de grão 354 envia informação de diagnóstico ou atualização para a estabelecimento rural com a cultivo de veneno detectada para assistência. Em outra implementação, o sistema de análise de qualidade de grão 354 mantém as versões de software em vários

Petição 870190088012, de 06/09/2019, pág. 174/202 / 48 estabelecimentos rurais, enviando atualizações de software tanto diretamente quanto através do controlador de atualização 356 para as máquinas agrícolas de vários estabelecimentos rurais.

[0070] Em uma implementação, o controlador de atualização 356 é acoplado comunicativamente a mais de uma colheitadeira combinada para atualização ou diagnóstico do equipamento de mais de um banco. Alternativamente, cada banco pode se comunicar com um local central, tal como o sistema de análise de qualidade de grão 354, remotamente através de um controlador distinto ou um controlador comum, tal como o controlador de atualização 356.

[0071] Em uma implementação, os canais 328 e 330 são um canal de comunicação. Elas podem ser implementadas por canais celulares, Wi-Fi, JDLINK, ou qualquer outro meio adequado de comunicação sem fio. O controlador de atualização 356 pode se comunicar com a colheitadeira combinada 20 e/ou o sistema de análise de qualidade de grão 354 através de protocolo de comunicações sem fio similar. Em uma implementação, o controlador de atualização 356 é parte do sistema de análise de qualidade de grão 354.

[0072] O sistema de análise da qualidade de grãos 354 pode, se necessário, atualizar remotamente a classificação do algoritmo classificador ou substituir ou atualizar o algoritmo classificador, da colheitadeira combinada 20, como apropriado. Assim, o sistema de análise de qualidade de grãos 354 permite maior flexibilidade na classificação, diagnóstico e atualização de máquinas agrícolas, como a colheitadeira combinada 20.

[0073] A transmissão remota de dados de imagem pela colheitadeira combinada 20 para o sistema de análise da qualidade de grãos 354 pode levar a melhorias no nível de confiança de qualidade do grão e/ou identificar características na imagem que não existem no conjunto de dados de imagem atual e que são possivelmente inesperado. Pode adicionalmente permitir que

Petição 870190088012, de 06/09/2019, pág. 175/202 / 48 máquinas agrícolas operem em uma condição ou com um cultivo que não seja atualmente suportado e/ou permitido para que um operador de uma máquina indique e relate um problema.

[0074] O acesso remoto aos dados de imagem da colheitadeira combinada 20 ao sistema de análise de qualidade de grãos 354 e do sistema de análise de qualidade de grãos 354 à colheitadeira combinada 20 pode melhorar o suporte ao cliente, permitindo a análise do desempenho do sistema, melhorando o desempenho do sistema e/ou permitindo o desenvolvimento mais rápido de atualizações de software a serem distribuídos para vários estabelecimentos rurais/clientes através de processos de distribuição normais ou diretamente para a(s) máquina(s) agrícola(s) do estabelecimento rural.

[0075] O algoritmo de CNN, quando executado pelo processador 232, efetivamente realiza segmentação semântica da imagem de amostra em uma base de pixel para prover saídas de classificação. Alternativamente ou adicionalmente, o algoritmo de CNN, ou lógica de imagem separada, pode realizar a segmentação de exemplo para medir o tamanho de grão dos rejeitos de grãos do elevador de rejeitos 70 da colheitadeira combinada 20, que pode ser útil para automação de máquinas.

[0076] Embora a presente descrição tenha sido descrita com referência a exemplos de modalidades, trabalhadores versados na técnica reconhecerão que mudanças podem ser feitas em forma e detalhe sem se afastar do espírito e escopo do objeto reivindicado. Por exemplo, embora modalidades de exemplos diferentes possam ter sido descritas como incluindo uma ou mais características provendo um ou mais benefícios, é contemplado que as características descritas possam ser trocadas entre si ou alternativamente ser combinadas umas com as outras nas modalidades de exemplo descritas ou em outras modalidades alternativas. Como a tecnologia da presente descrição é relativamente complexa, nem todas as mudanças na

Petição 870190088012, de 06/09/2019, pág. 176/202 / 48 tecnologia são previsíveis. A presente descrição descrita com referência às modalidades exemplificativas e apresentadas nas reivindicações seguintes pretende manifestamente ser tão ampla quanto possível. Por exemplo, a menos que especificamente indicado de outro modo, as reivindicações que recitam um único elemento particular também abrangem uma pluralidade de tais elementos particulares.

[0077] Além disso, os exemplos a seguir são providos, os quais são numerados para referência conveniente, como a seguir.

[0078] 1. Um método para controlar a qualidade dos grãos colhidos em uma colheitadeira combinada, o método incluindo: capturar, através de um ou mais sensores de imagem, uma ou mais imagens de material em um local de amostragem dentro de um elevador de grãos da colheitadeira combinada, as imagens capturadas definidas por um conjunto de pixels de imagem representados por dados de imagem e tendo uma característica de classificação indicativa de material de grão ou não grão; receber, através de um ou mais controladores, os dados de imagem associados com uma ou mais imagens capturadas através de um ou mais sensores de imagem; selecionar, através de um ou mais controladores, uma imagem de amostra das imagens capturadas, a imagem de amostra selecionada definida por um subconjunto de pixels de imagem do conjunto de pixels de imagem; aplicar, através de um ou mais controladores, um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels de imagem para a imagem de amostra selecionada; determinar, através de um ou mais controladores, a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da amostra de imagem selecionada; e analisar, através de um ou mais controladores, a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.

[0079] 2. O método do exemplo 1, em que o elevador de grãos é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de

Petição 870190088012, de 06/09/2019, pág. 177/202 / 48 grãos parcialmente debulhados; em que a característica de classificação é selecionada a partir de categorias de classificação incluindo grãos limpos, grãos partidos, material diferente de grão (MOG) leve, MOG pesado e grão não debulhado; e em que as categorias de classificação incluem uma classificação de espaço vazio que identifica espaços entre o material de grão ou não grão como desprovido de material.

[0080] 3. O método do exemplo 1, em que o elevador de grãos é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de grãos parcialmente debulhados; e em que o algoritmo de CNN realiza a segmentação de instâncias para medir um tamanho de grão dos rejeitos de grãos parcialmente debulhados.

[0081] 4. O método do exemplo 1, incluindo adicionalmente a geração, através de um ou mais controladores, de uma medida de confiança indicativa de uma probabilidade associada à característica de classificação.

[0082] 5. O método do exemplo 1, incluindo adicionalmente salvar, através de um ou mais controladores, os dados de imagem do subconjunto de pixels da imagem localmente ou transmitir os dados da imagem do subconjunto de pixels da imagem para um sistema remoto.

[0083] 6. O método do exemplo 1, incluindo adicionalmente: a seleção, através de um ou mais controladores, de um número inteiro N de imagens de amostra selecionadas das imagens capturadas, o número N de imagens de amostra selecionadas definidas por um número N de subconjuntos do conjunto de imagens pixels; e em que as etapas de aplicação e a determinação incluem a aplicação, através de um ou mais controladores, do algoritmo de CNN para os dados de imagem do subconjunto de pixels da imagem para cada número N de imagens de amostra selecionadas e a determinação, através de um ou mais controladores, da característica de classificação com base na aplicação do algoritmo de CNN para cada imagem de amostra selecionada.

Petição 870190088012, de 06/09/2019, pág. 178/202 / 48 [0084] 7. O método do exemplo 1, em que a etapa de seleção emprega um algoritmo de seleção de imagem com base em um ou mais dentre: energia Gaussiana, distribuição de cor, distribuição de textura, distribuição de brilho da imagem ou identificação da localização do material no local de amostragem.

[0085] 8. O método do exemplo 1, em que a etapa de captura inclui a captura de imagens de material no local de amostragem usando sensores de imagem de visão estéreo; em que a etapa de seleção inclui a seleção, através de um ou mais controladores, de uma imagem estéreo de amostra, capturada usando os sensores de imagem de visão estéreo, das imagens capturadas, a imagem estéreo de amostra selecionada definida por um subconjunto de pixels da imagem do conjunto de pixels da imagem; e em que as etapas de aplicação e determinação incluem aplicar, através de um ou mais controladores, o algoritmo de CNN aos dados de imagem do subconjunto de pixels da imagem para a imagem estéreo de amostra selecionada e determinar, através de um ou mais controladores, a característica de classificação com base na aplicação do algoritmo de CNN à imagem estéreo de amostra selecionada.

[0086] 9. Um sistema para controlar a qualidade dos grãos colhidos em uma colheitadeira combinada, o sistema incluindo: um ou mais sensores de imagem para capturar imagens de material em um local de amostragem dentro de um elevador de grãos da colheitadeira combinada, as imagens capturadas definidas por um conjunto pixels de imagens representados por dados de imagem e com uma característica de classificação indicativa de material de grão ou não grão; e um ou mais controladores operativamente acoplados a um ou mais sensores de imagem e tendo um ou mais processadores para executar comandos para: processar dados de imagem associados a uma amostra de imagem selecionada a partir das imagens capturadas, os dados de imagem para a imagem de amostra selecionada

Petição 870190088012, de 06/09/2019, pág. 179/202 / 48 definida por um subconjunto de pixels da imagem do conjunto de pixels da imagem; aplicar um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels da imagem para a imagem de amostra selecionada; determinar a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem de amostra selecionada; e analisar a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.

[0087] 10. O sistema do exemplo 9, em que o elevador de grãos é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de grãos parcialmente debulhados; em que a característica de classificação é selecionada a partir de categorias de classificação incluindo grãos limpos, grãos partidos, material diferente de grão (MOG) leve, MOG pesado e grão não debulhado; e em que as categorias de classificação incluem uma classificação de espaço vazio identificando espaços entre material de grãos ou de não grãos como desprovidos de material.

[0088] 11. O sistema do exemplo 9, em que o elevador de grãos é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de grãos parcialmente debulhados; e em que o algoritmo de CNN realiza a segmentação de instâncias para medir um tamanho de grão dos rejeitos de grãos parcialmente debulhados.

[0089] 12. O sistema do exemplo 9, em que o um ou mais controladores são adicionalmente configurados para gerar uma medida de confiança indicativa de uma probabilidade associada à característica de classificação.

[0090] 13. O sistema do exemplo 9, o um ou mais controladores são adicionalmente configurados para determinar a característica de classificação para cada número inteiro de um número N de imagens de amostra selecionadas das imagens capturadas aplicando o algoritmo de CNN aos dados de imagem associados do subconjunto de pixels da imagem para a

Petição 870190088012, de 06/09/2019, pág. 180/202 / 48 imagem de amostra selecionada.

[0091] 14. O sistema do exemplo 9, em que um ou mais controladores são ainda configurados para processar um algoritmo de seleção de imagem para selecionar a imagem de amostra selecionada das imagens capturadas com base em um ou mais dentre: energia Gaussiana, distribuição de cor, distribuição de textura, distribuição de brilho da imagem ou identificação da localização do material no local de amostragem.

[0092] 15. O sistema do exemplo 9, em que existem múltiplos sensores de imagem que captam imagens estéreo no local de amostragem usando visão estéreo; e em que o um ou mais controladores são ainda configurados para: aplicar o algoritmo de CNN aos dados de imagem de um subconjunto de pixels de imagem para uma imagem estéreo de amostra selecionada; e determinar a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem estéreo de amostra selecionada.

[0093] Como será observado por um versado na técnica, certos aspectos do objeto descrito podem ser incorporados como um método, sistema (por exemplo, um sistema de controle de veículos de trabalho incluído em um veículo de trabalho), ou produto de programa de computador. Consequentemente, certas modalidades podem ser implementadas inteiramente como hardware, inteiramente como software (incluindo firmware, software residente, microcódigo, etc.) ou como uma combinação de aspectos de software e hardware (e outros). Além disso, certas modalidades podem tomar a forma de um produto de programa de computador em um meio de armazenamento utilizável em computador, tendo código de programa utilizável por computador incorporado no meio.

[0094] Qualquer meio de computador adequado utilizável ou legível por computador pode ser usado. O meio utilizável por computador pode ser um meio de sinal legível por computador ou um meio de armazenamento

Petição 870190088012, de 06/09/2019, pág. 181/202 / 48 legível por computador. Um meio de armazenamento utilizável no computador ou legível por computador (incluindo um dispositivo de armazenamento associado a um dispositivo de computação ou dispositivo eletrônico do cliente) pode ser, por exemplo, mas não se limita a um dispositivo eletrônico, magnético, óptico, eletromagnético, infravermelho, ou sistema, aparelho ou dispositivo semicondutor, ou qualquer combinação adequada dos anteriores. Exemplos mais específicos (uma lista não exaustiva) do meio legível por computador incluiriam o seguinte: uma conexão elétrica com um ou mais fios, um disquete de computador portátil, um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), uma memória somente de leitura programável e apagável (EPROM ou memória Flash), uma fibra óptica, uma memória somente de leitura de discos compactos portátil (CD-ROM), um dispositivo de armazenamento óptico. No contexto deste documento, um meio de armazenamento utilizável por computador, ou legível por computador, pode ser qualquer meio tangível que possa conter ou armazenar um programa para uso por meio de ou em conexo com o dispositivo, aparelho, sistema de execução de instrução.

[0095] Um meio de sinal legível por computador pode incluir um sinal de dados propagado com o código de programa legível por computador incorporado no mesmo, por exemplo, na banda de base ou como parte de uma onda portadora. Tal sinal propagado pode assumir qualquer uma de uma variedade de formas, incluindo, mas não se limitando a, eletromagnética, óptica ou qualquer combinação adequada das mesmas. Um meio de sinal legível por computador pode ser não transitório e pode ser qualquer meio legível por computador que não seja um meio de armazenamento legível por computador e que possa comunicar, propagar ou transportar um programa para uso por meio de ou em conexão com um dispositivo, aparelho ou sistema de execução de instrução.

[0096] Os aspectos de certas modalidades que são descritos aqui

Petição 870190088012, de 06/09/2019, pág. 182/202 / 48 podem ser descritos com referência a ilustrações de fluxograma e/ou diagramas de blocos de métodos, aparelhos (sistemas) e produtos de programa de computador de acordo com modalidades da invenção. Será entendido que cada bloco de quaisquer ilustrações de fluxograma e/ou diagramas de blocos, e combinações de blocos em tais ilustrações de fluxograma e/ou diagramas de bloco, podem ser implementados por instruções de programa de computador. Estas instruções de programas de computador podem ser providas a um processador de um computador de uso geral, computador de uso especial ou outro aparelho de processamento de dados programável para produzir uma máquina, de tal modo que as instruções, que são executadas através do processador do computador ou outro aparelho de processamento de dados programável, crie meios para implementar as funções/ações especificadas no fluxograma e/ou blocos ou bloco do diagrama de bloco.

[0097] Estas instruções de programas de computador também podem ser armazenadas em uma memória legível por computador que pode direcionar um computador ou outro aparelho de processamento de dados programável para funcionar de uma maneira particular, de tal forma que as instruções armazenadas na memória legível por computador produzam um artigo de fabricação, incluindo instruções que implementam a função/ação especificada no fluxograma e/ou blocos ou bloco do diagrama de bloco.

[0098] As instruções do programa de computador também podem ser carregadas em um computador ou outro aparelho de processamento de dados programável para fazer com que uma série de etapas operacionais sejam realizadas no computador ou outro aparelho programável para produzir um processo implementado por computador de tal forma que as instruções executadas no computador ou outro aparelho programável provenham etapas para implementar as funções/ações especificadas no fluxograma e/ou blocos ou bloco do diagrama de bloco.

[0099] Qualquer fluxograma e diagramas de bloco nas Figuras, ou

Petição 870190088012, de 06/09/2019, pág. 183/202 / 48 discussão semelhante acima, pode ilustrar a arquitetura, funcionalidade e operação de possíveis implementações de sistemas, métodos e produtos de programa de computador de acordo com várias modalidades da presente descrição. A este respeito, cada bloco no fluxograma ou nos diagramas de bloco pode representar um módulo, segmento ou porção de código, que compreende uma ou mais instruções executáveis para implementar a(s) função(ões) lógica(s) especificada(s). Também deve ser notado que, em algumas implementações alternativas, as funções observadas no bloco (ou de outro modo descritas aqui) podem ocorrer fora da ordem indicada nas Figuras. Por exemplo, dois blocos mostrados em sucessão (ou duas operações descritas em sucessão) podem, de fato, ser executados substancialmente de forma concorrente, ou os blocos (ou operações) podem às vezes ser executados na ordem inversa, dependendo da funcionalidade envolvida. Também será notado que cada bloco de qualquer diagrama de blocos e/ou ilustração de fluxograma, e combinações de blocos em quaisquer diagramas de bloco e/ou ilustrações de fluxograma, podem ser implementados por sistemas com base em hardware de uso especial que realizam as funções ou ações especificadas, ou combinações de instruções de computador e hardware de uso especial.

[00100] A terminologia usada aqui é para o propósito de descrever apenas modalidades particulares e não se destina a ser limitante da descrição. Como usado aqui, as formas singulares “um”, “uma” e “o/a” destinam-se a incluir também as formas plurais, a menos que o contexto indique claramente o contrário. Ficará entendido ainda que qualquer uso dos termos “compreende” e/ou “compreendendo” neste relatório descritivo especifica a presença de características, números inteiros, etapas, operações, elementos e/ou componentes declarados, mas não exclui a presença ou adição de uma ou mais outras características, números inteiros, etapas, operações, elementos, componentes e/ou grupos dos mesmos.

[00101] A descrição da presente descrição foi apresentada para fins de

Petição 870190088012, de 06/09/2019, pág. 184/202 / 48 ilustração e descrição, mas não pretende ser exaustiva ou limitada à descrição na forma descrita. Muitas modificações e variações serão evidentes para os versados na técnica sem se afastarem do âmbito e do espírito da descrição. As modalidades referenciadas explicitamente aqui foram escolhidas e descritas com a finalidade de explicar melhor os princípios da descrição e sua aplicação prática, e para permitir que outros versados na técnica compreendam a descrição e reconheçam muitas alternativas, modificações e variações no(s) exemplo(s) descrito(s). Consequentemente, várias implementações diferentes daquelas explicitamente descritas estão dentro do escopo das reivindicações.

Claims

REIVINDICAÇÕES

1. Método para controlar a qualidade de grãos colhidos em uma colheitadeira combinada, o método caracterizado pelo fato de que compreende:

capturar, através de um ou mais sensores de imagem, uma ou mais imagens de material em um local de amostragem dentro de um elevador de grãos da colheitadeira combinada, as imagens capturadas definidas por um conjunto de pixels de imagem representado em dados de imagem e tendo uma característica de classificação indicativa de material de grão ou não grão;

receber, através de um ou mais controladores, os dados de imagem associados com uma ou mais imagens capturadas através de um ou mais sensores de imagem;

selecionar, através de um ou mais controladores, uma imagem de amostra das imagens capturadas, a imagem de amostra selecionada definida por um subconjunto de pixels de imagem do conjunto de pixels de imagem;

aplicar, através de um ou mais controladores, um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels de imagem para a imagem de amostra selecionada;

determinar, através de um ou mais controladores, a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da amostra de imagem selecionada; e analisar, através de um ou mais controladores, a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que o elevador de grãos é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de grãos parcialmente debulhados.
3. Método de acordo com a reivindicação 2, caracterizado pelo

Petição 870190088012, de 06/09/2019, pág. 186/202

2 / 6 fato de que a característica de classificação é selecionada a partir de categorias de classificação incluindo grão limpo, grão dividido, material diferente de grão (MOG) leve, MOG pesado e grão não debulhado.
4. Método de acordo com a reivindicação 3, caracterizado pelo fato de que as categorias de classificação incluem uma classificação de espaço vazio que identifica espaços entre o material de grão ou não grão como desprovido de material.
5. Método de acordo com a reivindicação 2, caracterizado pelo fato de que o algoritmo de CNN executa a segmentação de instâncias para medir um tamanho de grão dos rejeitos de grãos parcialmente debulhados.
6. Método de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente gerar, através de um ou mais controladores, uma medida de confiança indicativa de uma probabilidade associada à característica de classificação.
7. Método de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente salvar, através de um ou mais controladores, os dados de imagem do subconjunto de pixels de imagem localmente ou transmitir os dados de imagem do subconjunto de pixels de imagem para um sistema remoto.
8. Método de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente a marcação das características de classificação determinadas para a imagem de amostra selecionada.
9. Método de acordo com a reivindicação 1, caracterizado pelo fato de que inclui adicionalmente:

selecionar, através de um ou mais controladores, um número inteiro N de imagens de amostra selecionadas das imagens capturadas, o número N de imagens de amostra selecionadas definidas por um número N de subconjuntos do conjunto de pixels de imagem; e em que as etapas de aplicação e determinação incluem aplicar,

Petição 870190088012, de 06/09/2019, pág. 187/202

3 / 6 através de um ou mais controladores, o algoritmo de CNN para os dados de imagem do subconjunto de pixels de imagem para cada um do Número N de imagens de amostra selecionadas e determinar, através de um ou mais controladores, a característica de classificação com base na aplicação do algoritmo de CNN para cada imagem de amostra selecionada.
10. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de seleção usa um algoritmo de seleção de imagem com base em um ou mais de: energia de Gauss, distribuição de cor, distribuição de textura, distribuição de brilho de imagem, ou identificação da localização do material no local de amostragem.
11. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de captura inclui capturar imagens de material no local de amostragem usando sensores de imagem de visão estéreo;

em que a etapa de seleção inclui selecionar, por um ou mais controladores, uma imagem estéreo de amostra, capturada usando os sensores de imagem de visão estéreo, a partir das imagens capturadas, a imagem estéreo de amostra selecionada definida por um subconjunto de pixels da imagem do conjunto de pixels da imagem; e em que as etapas de aplicação e determinação incluem aplicar, por um ou mais controladores, o algoritmo de CNN aos dados de imagem do subconjunto de pixels da imagem para a imagem estéreo de amostra selecionada e determinar, por um ou mais controladores, a característica de classificação com base na aplicação do algoritmo de CNN na imagem estéreo de amostra selecionada.
12. Sistema para controlar a qualidade de grãos colhidos em uma colheitadeira combinada, o sistema caracterizado pelo fato de que compreende:

um ou mais sensores de imagem para capturar imagens de material em um local de amostragem dentro de um elevador de grão da

Petição 870190088012, de 06/09/2019, pág. 188/202

4 / 6 colheitadeira combinada, as imagens capturadas definidas por um conjunto de pixels de imagem representado por dados de imagem e tendo uma característica de classificação indicativa de material de grão ou não grão; e um ou mais controladores acoplados de forma operativa a um ou mais sensores de imagem e tendo um ou mais processadores para executar comandos para:

processar dados de imagem associados a uma imagem de amostra selecionada a partir das imagens capturadas, os dados de imagem para a imagem de amostra selecionada definidos por um subconjunto de pixels da imagem do conjunto de pixels da imagem;

aplicar um algoritmo de rede neural convolucional (CNN) aos dados de imagem do subconjunto de pixels da imagem para a imagem de amostra selecionada;

determinar a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem de amostra selecionada; e analisar a característica de classificação determinada para ajustar um parâmetro operacional da colheitadeira combinada.
13. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que o elevador de grão é um elevador de rejeitos e o material no local de amostragem inclui rejeitos de grão debulhados parcialmente.
14. Sistema de acordo com a reivindicação 13, caracterizado pelo fato de que a característica de classificação é selecionada a partir de categorias de classificação incluindo grão limpo, grão partido, outro material leve que não seja grão (MOG), MOG pesado e grão não debulhado.
15. Sistema de acordo com a reivindicação 14, caracterizado pelo fato de que as categorias de classificação incluem uma classificação de espaço vazio identificando espaços entre material de grão ou não grão como desprovidos de material.

Petição 870190088012, de 06/09/2019, pág. 189/202

5 / 6
16. Sistema de acordo com a reivindicação 13, caracterizado pelo fato de que o algoritmo de CNN realiza segmentação de instância para medir um tamanho de grão dos rejeitos de grão parcialmente debulhados.
17. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que um ou mais controladores são adicionalmente configurados para gerar uma medida de confiança indicativa de uma probabilidade associada à característica de classificação.
18. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que um ou mais controladores são adicionalmente configurados para determinar a característica de classificação para cada uma das imagens de amostra selecionadas de um número N inteiro a partir das imagens capturadas aplicando o algoritmo de CNN aos dados de imagem do subconjunto de pixels da imagem associados à imagem de amostra selecionada.
19. Sistema de acordo com a reivindicação 12, caracterizado pelo fato de que um ou mais controladores são adicionalmente configurados para processar um algoritmo de seleção de imagem para selecionar a imagem de amostra selecionada a partir das imagens capturadas com base em um ou mais de: energia de Gauss, distribuição de cor, distribuição de textura, distribuição de brilho de imagem, ou identificação da localização do material no local de amostragem.
20. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que existem múltiplos sensores de imagem que capturam imagens estéreo no local de amostragem usando visão estéreo; e em que um ou mais controladores são adicionalmente configurados para:

aplicar o algoritmo de CNN aos dados de imagem de um subconjunto de pixels da imagem para uma imagem estéreo de amostra selecionada; e

Petição 870190088012, de 06/09/2019, pág. 190/202

6 / 6 determinar a característica de classificação com base na aplicação do algoritmo de CNN aos dados de imagem da imagem estéreo de amostra selecionada.