BR102015032436B1

BR102015032436B1 - Método de monitoração da qualidade do grão, e, mídia legível por computador não transitória

Info

Publication number: BR102015032436B1
Application number: BR102015032436-7A
Authority: BR
Inventors: Aaron J. Bruns; Carl Knox Wellington; Victor S. Sierra; James J. Phelan; John M. Hageman; Cristian Dima; Hanke Boesch; Herman Herman; Zachary A. Pezzementi; Carson Robert Male; Joan Campoy; Carlos Vallespi-Gonzalez
Original assignee: Carnegie Mellon University; Deere & Company
Priority date: 2014-12-26
Filing date: 2015-12-23
Publication date: 2023-01-24
Also published as: RU2720867C2; RU2015154467A; US20160189007A1; EP3038054A3; RU2015154467A3; EP3038054B1; US10664726B2; EP3038054A2; US9779330B2; BR102015032436A8; BR102015032436A2; US20180025254A1

Abstract

MÉTODO DE MONITORAÇÃO DA QUALIDADE DO GRÃO, E, MÍDIA LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIA. Um método e mídia legível por computador não transitória, de captura de uma imagem de grão a granel e aplicação de um extrator de característica à imagem para determinar uma característica do grão a granel na imagem. Para cada um de uma pluralidade de diferentes locais de amostragem na imagem, com base na característica do grão a granel no local da amostragem, uma determinação é feita com relação a um escore de classificação quando à presença de uma classificação de material no local de amostragem. Uma qualidade do grão a granel da imagem é determinada com base em uma agregação dos escores de classificação quanto à presença da classificação de material nos locais de amostragem.

Description

FUNDAMENTOS

[001] O valor do grão a granel pode depender da qualidade do grão a granel. Grão de alta qualidade é refletido por altas percentagens de grão não quebrado limpo e baixas percentagens de grão quebrado e material diferente de grão (MOG). A monitoração da qualidade do grão a granel é frequentemente difícil e sujeita a erro.

BREVE DESCRIÇÃO DOS DESENHOS

[002] A figura 1 é um diagrama esquemático de um sistema de monitoração de qualidade de grão, de exemplo.

[003] A figura 2 é um fluxograma de um método de exemplo para monitorar a qualidade de grão.

[004] A figura 3A ilustra uma imagem de grão a granel, de exemplo.

[005] As figuras 3B-3E ilustram a aplicação de diferentes extratores de característica à imagem de grão a granel da figura 3A.

[006] A figura 4 é uma vista lateral de uma colheitadeira combinada, de exemplo, incluindo um sistema de monitoração de qualidade de grão, de exemplo.

[007] A figura 5 é um diagrama ilustrando hardware de exemplo do sistema de monitoração de qualidade de grão da colheitadeira combinada da figura 4.

[008] A figura 6 é um diagrama de bloco do sistema de monitoração de qualidade de grão da figura 5.

[009] As figuras 7A-7C são imagens ilustrando o enchimento de uma derivação da colheitadeira da figura 4.

[0010] A figura 8 é a diagrama de bloco de outro sistema de monitoração de qualidade de grão, de exemplo.

[0011] As figuras 9A-9C são imagens ilustrando detecção de sobreposição de imagem de grão a granel.

[0012] A figura 10A é uma imagem de grão a granel, de exemplo.

[0013] A figura 10B é uma imagem ilustrando segmentação da imagem de grão a granel da figura 10A.

[0014] A figura 11A é uma imagem ilustrando segmentação da imagem de grão a granel da figura 10A e aplicação de um primeiro extrator de característica para extrair primeiras características de segmentos.

[0015] A figura 11B é uma imagem ilustrando segmentação da imagem de grão a granel da figura 10A e aplicação de um segundo extrator de característica para extrair segundas características de segmentos.

[0016] A figura 12 é um exemplo de uma imagem de grão a granel rotulada com classe de material de trigo.

[0017] A figura 13 é um exemplo de uma imagem de grão a granel rotulada com classe de material de milho.

[0018] A figura 14 é um exemplo de uma imagem de grão a granel rotulada com classe de material de sementes de soja.

[0019] A figura 15 é um exemplo de uma imagem de grão a granel rotulada com classe de material de canola.

[0020] A figura 16 é um gráfico de uma função de calibração, de exemplo, uma curva linear mapeando um agregado de probabilidades a partir de múltiplas amostras de imagem para uma classe de material em uma imagem de grão a granel para uma percentagem em peso para a classe de material.

[0021] A figura 17 é um fluxograma de um método de exemplo para formar uma função de calibração para converter probabilidades de classe em percentagens em peso de classe.

[0022] A figura 18 é um fluxograma de um método de exemplo para monitorar a qualidade de grão.

DESCRIÇÃO DETALHADA DE EXEMPLOS

[0023] A figura 1 ilustra esquematicamente um sistema de monitoração de qualidade de grão 20, de exemplo. Como será descrito daqui em diante, o sistema 20 estima ou determina precisamente a qualidade de grão a granel. O sistema 20 compreende a fonte de imagem de grão a granel 24, o processador 28, o controlador 32, o visor 36 e a memória 40. A fonte de imagem de grão a granel compreende um ou mais dispositivos configurados para capturar pelo menos uma imagem de grão a granel para a análise pelo sistema 20 na determinação da qualidade do grão. Em uma implementação, “grão a granel” se refere a uma massa de produto colhido que, quando limpo, inclui somente grão da pretendido cultivo particular sendo colhida, mas que, quando não limpo, inclui adicionalmente algum grão quebrado, grão descascado, grão não debulhado do cultivo pretendida, grão de plantas não desejadas, tais como ervas daninhas ou plantas de regeneração natural, e/ou outros elementos que não são grãos, tais como impurezas vegetais, cascas, bastões, cepos, sabugos, hastes, vagens, sujeira ou outros contaminantes estranhos. Em uma implementação, uma câmera, tal como uma câmera óptica ou uma câmera infravermelha, captura pelo menos uma imagem de grão a granel.

[0024] Em uma implementação, a fonte de imagem de grão a granel 24 compreende uma câmera montada ou suportada por uma peça de equipamento de colheitadeira de grão, tal como uma colheitadeira. Por exemplo, em uma implementação, a fonte de imagem de grão a granel 24 compreende uma câmera montada longo de um elevador de grão de uma colheitadeira e/ou uma câmera montada longo do elevador de resíduos de uma colheitadeira. Em outra implementação, a fonte de imagem de grão a granel 24 compreende uma câmera montada longo de um tanque de grão de uma colheitadeira. Em ainda outras implementações, a fonte de imagem de grão a granel 24 é montada em outros locais de uma colheitadeira ao longo da qual grão colhido é transportado ou acumulado.

[0025] Em ainda outras implementações, a fonte de imagem de grão a granel 24 compreende uma câmera montada ou suportada para capturar imagens de grão a granel em outros locais nos quais grão a granel é transportado ou coletado. Por exemplo, em uma implementação, a fonte de imagem de grão a granel 24 compreende uma câmera montada longo de um elevador ou transportador, ou ao longo de um volume ou tanque de coleta de grão interno, de um veículo de transporte de grãos, um cesto de grãos ou outro local de acúmulo de grãos. A fonte de imagem de grão a granel 24 emite sinais, que representam a imagem, que são recebidos pelo processador 28.

[0026] O processador 28 compreende pelo menos uma unidade de processamento, configurada para analisar as imagens de grão a granel recebidas a partir da fonte 24 e para prover o fornecimento com base em tal análise. Para finalidades deste pedido, o termo “unidade de processamento” deve significar uma unidade de processamento atualmente desenvolvida ou a ser desenvolvida no futuro, que executa sequências de instruções contidas em uma memória. A execução das sequências de instruções causa com que a unidade de processamento realize etapas, tais como geração de sinais de controle. As instruções podem ser carregadas em uma memória de acesso aleatório (RAM) para execução pela unidade de processamento a partir de uma memória exclusivamente de leitura (ROM), um dispositivo de memória de massa, ou alguma outra memória persistente. Em outras modalidades, circuitos ligados por fios podem ser usados em lugar de, ou em combinação com instruções de software para implementar as funções descritas. Por exemplo, em outras implementações, o processador 28 é incorporado como parte de um ou mais circuitos integrados específicos de aplicação (ASICs). A menos que seja observado especificamente ao contrário, o controlador não é limitado a qualquer combinação específica de circuitos de hardware e software, nem a qualquer fonte particular para as instruções executadas pela unidade de processamento.

[0027] O controlador 32 compreende uma ou mais unidades de processamento configuradas para emitir sinais de controle direcionando a operação de uma peça de equipamento de manipulação de grão. Por exemplo, em uma implementação, o controlador 32 emite sinais de controle que controlam e ajustam parâmetros operacionais de uma peça de equipamento de colheitadeira. Em uma implementação, o controlador 32 controla um ou mais parâmetros operacionais de uma colheitadeira combinada. Por exemplo, o controlador 32 emite sinais de controle que ajustam o espaçamento côncavo, a velocidade do transportador e/ou a velocidade da ventoinha de uma colheitadeira combinada. Em outra implementação, o controlador 32 controla um ou mais parâmetros operacionais de um sistema de transporte de grão, em que grão seletivamente transportado para um de uma pluralidade de diferentes locais disponíveis ou operações em resposta a sinais que provêm do controlador 32. Por exemplo, dependendo do nível de qualidade de grão, como indicado pelo sistema 20, o controlador 32 seletivamente liga e desliga diferentes transportadores para transportar grão para os diferentes locais, tais como para as diferentes operações de peneiramento ou filtragem de grão ou diferentes destinos de uso de grão.

[0028] O visor 36 compreende um ou mais dispositivos, por meio dos quais informação relacionada à qualidade de grão é visivelmente exibida. Por exemplo, em uma implementação, o visor 36 compreende uma série de diodos de emissão de luz que provêm alertas ou notificações relacionadas à qualidade de grão. Em outra implementação, o visor 36 compreende uma tela de visor, tal como uma tela sensível ao toque. Em uma implementação, o visor 36 compreende adicionalmente alto-falantes ou outros dispositivos acústicos, por meio dos quais informação é comunicada. Em uma implementação, o visor 36 é provido na cabina de uma peça de equipamento de colheitadeira para indicar a qualidade de grão para um operador durante a colheita de grão. Em outra implementação, o visor 36 é provido remoto à colheitadeira, tal como quando a colheitadeira é remotamente controlada ou tal como quando a qualidade de grão está sendo revisada por um gestor remoto.

[0029] A memória 40 compreende uma mídia legível por computador, não transitória, contendo lógica de programa, na forma de código, software, circuitos ou instruções, que direcionam a operação do processador 28. A memória 40 adicionalmente serve como um dispositivo de armazenamento persistente, por meio do qual dado é armazenado. Embora a memória 40 seja ilustrada como uma memória única, em outras implementações, a memória 40 é distribuída entre os múltiplos dispositivos de memória ou locais de memória, tais como através de uma rede de área local ou uma rede de área alargada. No exemplo ilustrado, a memória 40 compreende módulos de software que executam a análise de qualidade de grão e que provêm o fornecimento direto com base nos escores de tal análise. No exemplo ilustrado, a memória 40 compreende o módulo de captura de imagem 48, o módulo de característica 50, o módulo de classificação 54, o módulo de determinação de qualidade 56, a porção de armazenamento de dado 58 e o módulo de saída 62.

[0030] O módulo de captura de imagem 48, o módulo de característica 50, o módulo de classificação 54, o módulo de determinação de qualidade 56, a porção de armazenamento de dado 58 e o módulo de saída 62 compreendem, cada um, lógica de programa para direcionar o processador 28 na implementação do método 100 esboçado na figura 2. Como indicado pelo bloco 102 da figura 2, o módulo de captura de imagem 48 direciona o processador 28 para receber ou obter de outra maneira uma imagem do grão a granel a partir da fonte de imagem de grão a granel 24. Em uma implementação, o módulo de captura de imagem 48 direciona o processador 28 para realizar um ou mais processos sobre a imagem do grão a granel recebida a partir da fonte 24 para melhorar a qualidade de imagem. Em uma implementação, o módulo de captura de imagem 48 direciona ainda o processador 28 para emitir sinais de controle que controlam a fonte de imagem de grão a granel 24 na captura de uma imagem do grão a granel.

[0031] Como indicado pelo bloco 104 na figura 2, o módulo de característica 50 direciona o processador 28 para aplicar um extrator de característica à, e através da, imagem de grão a granel, para extrair ou computar uma característica do grão a granel geralmente através da imagem, independentemente de quaisquer limites de particulado ou limites de grão na imagem, de forma a identificar variações na característica através da área da imagem de grão a granel. Uma característica da imagem de grão a granel é uma característica ou aspecto da imagem de grão a granel. Como será descrito daqui em diante, em algumas implementações, um ou mais extratores de característica podem ser adicionalmente aplicados a segmentos, com base em limites particulares identificados ou limites de grão, da imagem de grão a granel.

[0032] A figura 3A ilustra uma imagem de grão a granel, de exemplo, 120. Como mostrado pela figura 3A, a imagem de grão a granel 120 compreende uma imagem bidimensional constituída de um arranjo bidimensional de pixels de imagem. No exemplo ilustrado, um pixel é um menor elemento endereçável. Cada pixel de imagem de grão a granel tem um conjunto associado de características ou funcionalidades baseadas no grão a granel original, do qual a imagem foi capturada.

[0033] Como mostrado pelas figuras 3B-3E, a aplicação de vários extratores de característica, de exemplo, à imagem de grão a granel 120, produz imagens características 122, 124, 126 e 130. Cada imagem característica 122, 124, 126 e 130 é baseada na imagem de grão a granel original 120, exceto que uma característica de imagem selecionada, associada com cada pixel, é separada ou filtrada das características restantes associadas com cada pixel. A característica que é filtrada pelo filtro ou extrator de característica terá diferentes valores em diferentes locais ou pixels através da imagem característica 122, 124, 126 e 130. Tais valores podem variar em uma base de pixel para pixel ou grupos de pixels adjacentes podem ter o mesmo valor para a característica particular.

[0034] No exemplo ilustrado, a figura 3B ilustra a aplicação de um filtro de cor à imagem da figura 3A para formar a imagem característica 122. A figura 3C ilustra a aplicação de um diferente filtro de cor à imagem da figura 3A para formar a imagem característica 124. A figura 3D ilustra a aplicação de um filtro de intensidade em uma escala maior à imagem da figura 3A para formar a imagem característica 126. A figura 3E ilustra a aplicação de um filtro de transformada de cosseno discreta à imagem da figura 3A para formar a imagem característica 130. Exemplos de extratores de característica incluem, mas não são limitados a filtros de intensidade/cor em várias escalas, variação de intensidade/cor em várias escalas, detectores de borda, detectores de canto, filtros de Haar, filtros de Gabor, filtros de pequenas ondas, filtros de textura de transformada de cosseno discreta, transformada rápida de Fourier, histograma de gradientes direcionados (HOG), descritores de ponto-chave, e convoluções com conjuntos de bancos de filtro. Em uma implementação, o módulo de característica 50 direciona o processador 28 para aplicar múltiplos extratores de característica para extrair múltiplas características ou pilhas de características do grão a granel na imagem de grão a granel.

[0035] Como indicado pelo bloco 106 da figura 2, o módulo de classificação 54 direciona o processador 28 para fazer a amostragem de valores para pelo menos uma característica em diferentes locais selecionados ou amostrados da imagem de grão a granel. No exemplo ilustrado, a figura 3A ilustra cinco locais de amostragem 132A, 132B, 132C, 132D e 132E, de exemplo. Em uma implementação, os locais de amostragem, para os quais os valores para pelo menos uma característica são amostrados, são escolhidos aleatoriamente pelo módulo de classificação 54. Em uma implementação, a seleção aleatória de locais de amostragem pelo módulo de classificação 54 é não restringida. Em outra implementação, a seleção dos locais de amostragem pelo módulo de classificação 54 é de acordo com um ou mais constrições ou restrições predefinidas. Por exemplo, em uma implementação, os locais de amostragem são escolhidos aleatoriamente desde que os locais de amostragem escolhidos satisfaçam a distribuição predefinida através da amostra de imagem de grão a granel. Em uma implementação, os locais de amostragem são escolhidos aleatoriamente desde que os locais de amostragem escolhidos tenham um espaçamento mínimo um do outro, tenham um espaçamento máximo um do outro ou estejam dentro de uma faixa predefinida de espaçamentos um do outro. Em outra implementação, os locais de amostragem são escolhidos aleatoriamente, mas, em que cada zona ou porção da imagem de grão a granel, tal como cada quadrante, contém um número mínimo predefinido de locais de amostragem ou contêm não mais do que um número máximo predefinido de locais de amostragem.

[0036] Em outra implementação, os locais de amostragem são predefinidos ou pré-selecionados pelo módulo de classificação 54. Por exemplo, em uma implementação, o módulo de classificação 54 direciona o processador 28 para analisar valores para pelo menos uma característica através dos locais de amostragem predefinidos de acordo com um padrão predefinido de locais. Por exemplo, em uma implementação, o módulo de classificação 54 extrai e analisa valores para pelo menos uma característica a partir de cada outro pixel de imagem de grão a granel 120, a partir de cada quarto pixel de imagem de grão a granel 120 ou similar. Dada suficiente capacidade de computação, tal como velocidade, em uma implementação, o módulo de classificação 54 direciona o processador 28 para analisar valores para pelo menos uma característica a partir de cada um e cada pixel de imagem de grão a granel 120. Todavia, para reduzir a carga de processamento e o tempo de processamento para analisar a qualidade de grão, o módulo de classificação 54 direciona o processador 28 para extrair e utilizar valores para pelo menos uma característica a partir de somente selecionados locais de amostragem ou pixels, ou uma porção do número total de pixels, da imagem de grão a granel 120.

[0037] Em cada um dos locais de amostragem 132, o módulo de classificação 54 direciona o processador 28 para determinar, com base no valor para a característica no local de amostragem ou com base no valor para cada uma das características no local de amostragem, um escore de classificação. O módulo de classificação 54 toma a característica ou conjunto de características como uma entrada e produz um escore de classificação como uma saída que representa como provavelmente aquelas características de entrada devem pertencer a uma classe de interesse. Por exemplo, em uma implementação, o módulo de classificação 54 direciona o processador 28 para determinar um escore de classificação quanto à presença de uma classificação particular, tal como massa diferente de grão (MOG), no local de amostragem particular 132A. Em uma implementação, a determinação da probabilidade quanto à presença de uma classificação particular, tal como MOG, no local de amostragem particular 132A, é determinada com base no valor para uma única característica no local de amostragem 132A. Por exemplo, em uma implementação, o módulo de classificação 54 determina o escore de classificação quanto à presença do local de amostragem de MOG 132A é baseado no valor para a característica no correspondente local de amostragem 132A em uma dentre imagem característica 122, imagem característica 124, imagem característica 126, imagem característica 130, ou uma diferente imagem característica dos valores característicos extraídos para uma característica particular diferente. Em outra implementação, o módulo de classificação 54 determina um escore de classificação quanto à presença de MOG no local de amostragem particular 132A com base no valor de cada uma das múltiplas características no local de amostragem 132A. Por exemplo, em uma implementação, o módulo de classificação 54 determina um escore de classificação quanto à presença de MOG no local de amostragem particular 132 com base no valor para uma primeira característica no correspondente local de amostragem 132A na imagem característica 122 e adicionalmente com base no valor para uma segunda característica no correspondente local de amostragem 132A na imagem característica 124. Em ainda outras implementações, o escore de classificação quanto à presença de uma classificação particular em um local de amostragem particular é baseado no valor para mais do que duas características no local de amostragem particular.

[0038] Como ainda mostrado pela figura 3A, o módulo de classificação 54 direciona o processador 28 para determinar um escore de classificação, como descrito acima, para uma classificação particular em cada um de uma multiplicidade de diferentes locais de amostragem. Por exemplo, o módulo de classificação 54 (1) determina um primeiro escore de classificação quanto à presença de uma classificação de material particular, tal como MOG, no local de amostragem 132A, (2) determina um segundo escore de classificação quanto à presença do mesmo classificação de material particular, tal como MOG no local de amostragem 132B, (3) determina um terceiro escore de classificação quanto à presença do mesmo classificação particular, tal como MOG no local de amostragem 132C, e assim por diante, para cada local de amostragem. Embora a figura 3A ilustre cinco locais de amostragem 132, em outras implementações, o módulo de classificação 54 pode determinar um escore de classificação em um maior ou menor número de tais locais de amostragem.

[0039] Em uma implementação, o módulo de classificação 54 direciona o processador 28 para determinar um escore de classificação para cada uma das múltiplas classificações de material diferentes em cada local de amostragem 132. Por exemplo, em uma implementação, o módulo de classificação 54 atribui cada local de amostragem a um escore de classificação para cada uma de uma pluralidade de diferentes classificações. No exemplo ilustrado, o escore de classificação compreende um valor de probabilidade. Por exemplo, o módulo de classificação 54 pode atribuir o local de amostragem a uma probabilidade de x % de que a amostra de imagem está representando uma primeira classificação de material e uma probabilidade de z % de que o local de amostragem está representando uma segunda classificação de material e assim por diante, em que a soma das probabilidades não excede 100 %. Por exemplo, em uma implementação, o modelo de classificação 54 direciona o processador 28 para determinar uma probabilidade quanto à presença de uma primeira classificação de material, tal como grão quebrado, em um local de amostragem bem como uma probabilidade quanto à presença de uma segunda classificação de material diferente, tal como MOG, MOG pesado ou MOG leve, no mesmo local de amostragem. Em outras implementações, o escore de classificação determinado pelo módulo de classificação 54 compreende uma probabilidade, uma percentagem, uma distância a partir de uma superfície de decisão, uma saída binária, uma saída a partir de uma rede neural artificial, uma saída a partir de uma rede neural convolucional profunda, ou qualquer de muitos outros valores de saída de classificador.

[0040] Em uma implementação, cada local de amostragem compreende um pixel individual, a menor unidade endereçável, da imagem de grão a granel 120, em que o valor para a característica do pixel individual da imagem de grão a granel ou em que o valor de cada característica de um conjunto de características do pixel individual da imagem de grão a granel é usado para determinar uma probabilidade quanto à presença de uma classificação de material particular no pixel individual servindo como o local de amostragem.

[0041] Em outras implementações, o local de amostragem compreende alternativamente um conjunto predefinido de pixels, em que o valor para uma característica de cada um dos pixels individuais do conjunto ou em que valor de cada característica de um conjunto de características de cada um dos pixels individuais do conjunto são coletivamente usados para determinar uma probabilidade quanto à presença de uma classificação de material particular no local de amostragem. Por exemplo, em uma implementação, um local de amostragem é definido como um conjunto de quatro pixels adjacentes, em que cada um dos quatro valores para uma característica a partir dos quatro pixels adjacentes é usado para definir a probabilidade quanto à presença de uma classificação de grão particular ou de produto colhido no local de amostragem. Por exemplo, em uma implementação, um mediano, média, observação máxima, observação mínima ou outro valor estatístico derivado dos quatro valores para a uma característica a partir dos quatro pixels adjacentes é usado para determinar uma probabilidade quanto à presença de uma classificação de material particular no local de amostragem. Em outra implementação, um mediano, média, observação máxima, observação mínima ou outro valor estatístico derivado dos quatro valores a partir dos quatro pixels adjacentes para cada um de uma pluralidade de características é usado para determinar uma probabilidade quanto à presença de uma classificação de material particular no local de amostragem.

[0042] Em uma implementação, o módulo de classificação 54 determina uma probabilidade quanto à presença de uma classificação particular em um local de amostragem por consultar uma tabela de verificação predeterminada contendo diferentes valores para diferentes características e diferentes probabilidades para diferentes classificações de materiais correspondentes aos diferentes valores para as diferentes características. Em uma implementação, entradas de probabilidade na tabela de verificação são geradas por tomar múltiplas amostras de grão, capturar uma imagem de cada uma das múltiplas amostras de grão, aplicar um extrator de característica a cada uma das imagens para extrair uma característica em cada uma das imagens, medir as características em cada uma das imagens para determinar um valor para a característica, e determinar a composição atual ou classificação do material na amostra de grão por rotular a imagem da amostra de grão ou por crivagem ou filtragem passante de cada uma das amostras de grão atuais. Com base em dados obtidos a partir de um tal processo realizado sobre múltiplas amostras de grão, as probabilidades de que valores característicos particulares correspondem a uma classificação particular de material são identificadas para preencher a tabela de verificação.

[0043] Em outra implementação, o módulo de classificação 54 aplica um ou mais algoritmos ao valor para a característica extraída, ou aos valores para múltiplas características extraídas, para determinar uma probabilidade de que a amostra de imagem corresponda a uma classificação de material. Em uma tal implementação, o um ou mais algoritmos são criados de uma maneira similar ao processo acima usado para preencher a tabela de verificação acima descrita. Em particular, uma relação matemática entre diferentes valores para uma característica extraída, ou para múltiplas características extraídas de uma amostra de imagem e uma probabilidade de que a amostra de imagem está representando uma classificação particular de material é determinada por tomar múltiplas amostras de grão, capturar uma imagem de cada uma das múltiplas amostras de grão, aplicar um filtro a cada uma das imagens para extrair uma característica em cada uma das imagens, medir as características em cada uma das imagens para determinar um valor para a característica, e determinar a composição atual ou classificação do material na amostra de grão por rotular a imagem da amostra de grão ou por crivagem ou filtragem passante de cada uma das amostras de grão atuais.

[0044] No exemplo ilustrado, o módulo de classificação 54 é operável em um dentre vários modos que podem ser selecionados por um usuário do sistema 20, em que o sistema 20 analisa grão a granel para diferentes classificações de material. Por exemplo, em um modo de operação, o sistema de classificação 20 analisa grão a granel para uma única classificação de material. Em outro modo de operação, o sistema 20 analisa grão a granel para cada uma de múltiplas classificações diferentes de material, selecionada pelo usuário do sistema 20. Exemplos de diferentes classificações de material, para as quais o módulo de classificação 54 faz uma predição com relação a cada amostra de imagem individual incluem, mas não são limitados a um ou mais dentre: uma ou mais faixas relacionadas a material diferente de grão (MOG), tal como MOG leve, MOG pesado ou outras classificações mais específicas de material, tais como cascas, quebrados, bastões, cepos, sabugos, hastes, vagens, grão não debulhado, grão descascado, e grão limpo. Em outras implementações, o módulo de classificação 54 pode predizer outras classificações de material, dependendo de um tipo de grão particular e a planta particular a partir da qual o grão é colhido.

[0045] Como indicado pelo bloco 108 na figura 2, o módulo de determinação de qualidade 56 direciona o processador 28 na determinação de qualidade de grão do grão representado pela imagem de grão a granel, recebida a partir da fonte de imagem de grão a granel 24. O módulo de determinação de qualidade 56 converte as probabilidades de local de amostragem para uma estimativa global da qualidade de grão, incluindo estimativas da quantidade de cada classificação de material de interesse. O módulo de determinação de qualidade 56 determina e emite um sinal ou sinais indicando a qualidade de grão para a imagem de grão a granel com base em um agregado das probabilidades dos diferentes locais de amostragem, para a classificação particular de material. Em uma implementação, o módulo de determinação de qualidade 56 realiza uma operação estatística sobre as probabilidades, em que o valor resultante da operação estatística é usado para emitir um valor que indica qual percentagem do material representado na imagem de grão a granel 120 é uma classificação de material particular ou valores indicando qual percentagem do material representado na imagem de grão a granel é uma primeira classificação de material, qual percentagem do material representado na imagem de grão a granel é uma segunda classificação de material e assim por diante. Por exemplo, em um cenário, o módulo de determinação de qualidade 56 pode emitir um valor indicando que 70 % do material representado na imagem de grão a granel 120 constitui grão limpo, 20 % do material representado na imagem de grão a granel constituem grão quebrado e 10 % do material representado na imagem de grão a granel constitui MOG. Em uma implementação, o módulo de determinação de qualidade 56 soma e faz a média das probabilidades para cada classe ou classificação de material sobre todos dos locais de amostragem na imagem para determinar qual percentagem do material representado na imagem de grão a granel constitui uma classificação particular de material.

[0046] Em uma implementação, o módulo de determinação de qualidade aplica ainda uma função de calibração aos escores para produzir uma estimativa de massa percentual para a classificação particular de material e/ou uma massa percentual para grão limpo. Em uma implementação, o modelo de determinação de qualidade 56 aplica ainda filtros de tempo aos resultados sobre múltiplas imagens de grão a granel 120, tal como aplicação de um único filtro de janela de movimento ponderado. Em uma implementação, o módulo de qualidade 56 ainda leva em conta sobreposição de imagem no filtro de tempo. Em outra implementação, o módulo de determinação de qualidade 56 aplica um filtro ponderado com base na quantidade de material apresentada à fonte de imagem de grão a granel 24, em oposição a com base no tempo.

[0047] Com referência ainda novamente à figura 1, a memória de dado 58 compreende uma porção de memória 40 que armazena os resultados da diagnose/análise de qualidade de grão, realizada pelo sistema 20. Em uma implementação, a memória de dado 58 adicionalmente armazena quaisquer bases de dados ou tabelas de dados usadas pelo módulo de característica 50, o módulo de classificação 54 e o módulo de determinação de qualidade 56. Como observado acima, em algumas implementações, a memória de dado 58 é suportada por uma peça de equipamento de colheitadeira, tal como a colheitadeira combinada. Em outras implementações, a memória de dado 58 compreende uma base de dados remota ao processador 28 e/ou à fonte de imagem de grão a granel 24, em que os resultados são transmitidos para a memória de dado 58 através de uma rede de área local ou rede de área alargada, com fio ou sem fio.

[0048] O módulo de saída 62 compreende lógica de programa contida na memória 40 para direcionar o processador 28 a utilizar os resultados da diagnose/análise de qualidade de grão. Em uma implementação, o módulo de saída 62 exibe os resultados da diagnose de qualidade de grão em um ou mais formatos pré-ajustados ou predefinidos no visor 36. Como um resultado, um operador da peça de equipamento de colheitadeira ou o operador/gestor do dispositivo ou instalação de manipulação de grão é notificado de alterações na qualidade de grão, permitindo ao operador ou gestor fazer ajustes manuais na peça de equipamento de colheitadeira ou na instalação de manipulação de grão.

[0049] Em uma implementação, o módulo de saída 62 direciona ainda o processador 28 para armazenar os resultados da análise de qualidade de grão na memória de dado 58. Por exemplo, em uma implementação na qual tal análise de qualidade de grão é realizada durante a colheita do grão pela máquina de colheita, o módulo de saída 62 pode adicionalmente obter sinais geo-referenciados indicando o local em um campo, a partir do qual grão tendo particular qualidade de grão é colhido. Em uma implementação, o módulo de saída 62 gera mapas de campo que indicam a qualidade de grão colhido a partir de diferentes porções geo-referenciadas do campo mapeado. Em uma implementação, tal informação armazenada ou mapas de campo armazenados da qualidade de grão são subsequentemente usados para ajustar as operações de campo futuras. Por exemplo, usando tal informação armazenada ou mapas de campo armazenados da qualidade de grão, operações, tais como futuro plantio, futuras aplicação de herbicida, inseticida ou fertilizante, parâmetros futuros de cultivo e/ou parâmetros de colheita futuros, podem ser ajustados.

[0050] Em uma implementação, o módulo de saída 62 adicionalmente ou alternativamente utiliza os resultados da análise/diagnose de qualidade de grão para emitir sinais de ajuste, que são transmitidos para o controlador de máquina 32. Em resposta à recepção de tais sinais, o controlador de máquina 32 emite sinais de controle ajustados que ajustam um ou mais parâmetros operacionais do equipamento de colheitadeira, tais como a colheitadeira combinada, enquanto ela está colhendo o grão. Por exemplo, em uma implementação, em resposta a uma diagnose que existe atualmente um alto nível de material diferente de grão (MOG), um nível acima de um limiar predefinido de MOG, o módulo de saída 62 direciona o processador 28 para emitir sinais de ajuste para o controlador 32 para emitir sinais de controle de forma a aumentar a velocidade da ventoinha de limpeza, que sopra impurezas vegetais e outra matéria estranha a partir do grão. Em uma implementação, em resposta a uma diagnose que o grão a granel contém um alto nível de grão quebrado, uma quantidade maior do que um limiar predefinido, o módulo de saída 62 direciona o processador 28 para emitir sinais de ajuste para o controlador 32, que causa com que o controlador de máquina 32 forneça sinais para ajustar uma configuração do componente de debulhar que separa grão a partir do resto da planta, tal como o espaçamento côncavo em uma colheitadeira combinada.

[0051] Em uma implementação, tal ajuste é feito em tempo real e é realizado automaticamente em resposta aos resultados de qualidade de grão. Em ainda outras implementações, o ajuste é recomendado para um operador, ou o ajuste é automaticamente realizado em resposta à recepção de autorização ou confirmação a partir do operador. Em uma implementação, tais ajustes são automaticamente feitos somente sobre tais valores de qualidade de grão que satisfazem um limiar predefinido por um período de tempo mínimo.

[0052] As figuras 4-6 ilustram uma colheitadeira agrícola, de exemplo, na forma de uma combinada 200, que incorpora o sistema de monitoração de qualidade de grão 220, uma implementação de exemplo do sistema de monitoração de qualidade de grão 20. Como mostrado pela figura 4, a combinada 200 compreende uma armação principal 212 tendo estrutura de rodas incluindo rodas de engate no solo dianteiras e traseiras 214 e 215, suportando a armação principal para o movimento para frente sobre um campo de cultivo a ser colhido. As rodas dianteiras 214 são acionadas por uma transmissão hidrostática eletronicamente controlada.

[0053] Uma cabeça ou plataforma de colheitadeira 216, verticalmente ajustável, é usada para colher um cultivo e direcioná-lo para um alimentador 218. O alimentador 218 é pivotadamente conectado à armação 212 e inclui um transportador para transportar o cultivo colhido para um batedor 219. O batedor 219 direciona o cultivo para cima através de uma seção de transição de entrada 222 para uma unidade de debulhe e separação rotativo 224. Em outras implementações, outros direcionamentos e tipos de estruturas de debulhe e outros tipos de cabeças 216, tais como armação transversal suportando unidades de fileira individuais, são utilizados.

[0054] A unidade de debulhe e separação rotativo 224 debulha e separa o material de cultivo colhido. Grão e impurezas vegetais caem através de uma concavidade 225 e grelha de separação 223 na base da unidade 224 em um sistema de limpeza 226, e são limpos por um crivo superior 227 e uma peneira 228 e ventoinha de ar 229. O sistema de limpeza 226 remove as impurezas vegetais e direciona o grão limpo para um tanque de grão limpo por um elevador de grão 233. O grão limpo no tanque pode ser descarregado dentro de um carrinho de grão ou caminhão de grão pelo parafuso sem-fim de descarregamento 230. Resíduos caem dentro do elevador de retorno ou parafuso sem-fim 231 e são transportados para o rotor 237, onde eles são debulhados uma segunda vez.

[0055] Palha debulhada e separada é descarregada a partir da unidade de debulhe e separação rotativo 224 através de uma saída 232 para um batedor de descarga 234. O batedor de descarga 234, por sua vez, propulsiona a palha para fora da parte traseira da combinada. Deve ser observado que o batedor de descarga 234 poderia também descarregar material de cultivo diferente de grão diretamente para um triturador de palha. A operação da combinada é controlada a partir de uma cabina do operador 235.

[0056] No exemplo ilustrado, a unidade de debulhe e separação rotativo 224 compreende um alojamento de rotor cilíndrico 236 e um rotor 237 posicionado dentro do alojamento 236. A parte dianteira do rotor e o alojamento de rotor definem a seção de alimentação 238. A jusante da seção de alimentação 238 estão a seção de debulhar 239, a seção de separação 240 e a seção de descarga 241. O rotor 237 na seção de alimentação 238 é provido com um tambor de rotor cônico tendo elementos de alimentação helicoidais para engatar material de cultivo colhido, recebido a partir do batedor 219 e da seção de transição de entrada 222. Imediatamente a jusante da seção de alimentação 238 está a seção de debulhar 239.

[0057] Na seção de debulhar 239, o rotor 237 compreende um tambor de rotor cilíndrico tendo um número de elementos de debulhe para debulhar o material de cultivo colhido, recebido a partir da seção de alimentação 238. A jusante da seção de debulhar 239 está a seção de separação 240, na qual o grão aprisionado no material de cultivo debulhado é liberado e cai no sistema de limpeza 228. A seção de separação 240 se funde em uma seção de descarga 241 na qual material de cultivo diferente de grão é expelido a partir da unidade de debulhe e separação rotativo 224.

[0058] Um console do operador 250 posicionado na cabina 235 inclui controles convencionais de operador incluindo uma alavanca de transmissão hidráulica 252 para controlar manualmente a faixa de velocidade e a velocidade de saída da transmissão hidrostática. Um dispositivo de interface de operador 254 na cabina 235 permite a entrada de informação em um controlador 255 compreendendo um sistema de processador a bordo, o qual provê o controle de velocidade automático e inúmeras outras funções de controle, descritas abaixo, para a colheitadeira 200. O operador pode alimentar vários tipos de informação ao dispositivo de interface de operador 254, incluindo tipo de cultivo, local, produção e similares. No exemplo ilustrado, a colheitadeira combinada 200 compreende adicionalmente o visor 257 para apresentar informação para o operador. Em algumas implementações, o visor 257 pode adicionalmente servir como um dispositivo de entrada, tal como quando o visor 257 compreende uma tela sensível ao toque. Em outras implementações, o visor 257 pode ser combinado com o dispositivo de interface 254, como parte de consulta 250.

[0059] Os sinais a partir dos sensores incluem informação sobre variáveis ambientais, tais como a umidade relativa, e informação sobre variáveis controladas pelo sistema de controle a bordo. Os sinais incluem sinais de velocidade de veículo a partir de um sensor de radar ou outro transdutor de velocidade de solo convencional 260, sinais de rotor e de velocidade da ventoinha a partir dos transdutores 262 e 264, e sinais de folga de concavidade e crivo superior e sinais de abertura de peneira a partir de transdutores 266, 268 e 270, respectivamente. Sinais adicionais se originam a partir de um sensor de perda de grão 272a na saída da unidade de debulhe e separação rotativo 224 e sensores de perda de grão direito e esquerdo 272b na saída do sistema de limpeza 226, e vários outros dispositivos sensores na colheitadeira. Os sinais a partir de um sensor de fluxo em massa 278a, um sensor de umidade de grão 278b, um sensor de volume de resíduos 278c, e sensores de umidade relativa, temperatura e umidade de material 278d, 278e e 278f são também providos.

[0060] Uma barra coletora direciona os sinais provenientes dos sensores mencionados e um monitor de velocidade de motor, um monitor de fluxo em massa de grão, e outros microcontroladores na colheitadeira para o controlador 255. Os sinais a partir da interface de operador 254 são também direcionados para o controlador 255. O controlador 255 é conectado a atuadores para controlar elementos ajustáveis na colheitadeira. Sinais de realimentação a partir dos atuadores são alimentados ao controlador 255.

[0061] Os atuadores controlados pelo controlador 255 compreendem um atuador 280, que controla a velocidade rotacional da unidade de debulhe e separação rotativo 224, um atuador 282 que controla a folga da concavidade 225, um atuador 284 que controla a abertura de um pré-limpador do crivo superior 227, um atuador 286 que controla a abertura largura do crivo superior 227, um atuador 288 que controla a abertura da peneira 228, um atuador 290 que controla a velocidade da ventoinha de ar 229, e um atuador 292 que controla a velocidade de saída da transmissão hidrostática e assim a velocidade de solo da combinada. Esses atuadores são conhecidos na técnica e assim estão somente esquematicamente indicados na figura 3.

[0062] As figuras 5 e 6 ilustram o sistema de monitoração de qualidade de grão 220, uma implementação de exemplo do sistema de monitoração de qualidade de grão 20. O sistema 220 é similar ao sistema 20, exceto que o sistema 220 é especificamente ilustrado como realizando o método 100 com relação às imagens de cultivos sendo transportadas ao longo tanto do elevador de grão limpo 233 quando de um elevador de resíduos 231 da colheitadeira combinada 200 mostrada na figura 4. A figura 5 ilustra um conjunto de exemplo de hardware da colheitadeira combinada 200 que forma o sistema de monitoração de qualidade de grão 220. Como mostrado pela figura 5, o sistema de monitoração de qualidade de grão 220 compreende a fonte de imagem de grão limpo 294, a fonte de imagem de resíduos 296, o analisador de imagem 298 bem como o controlador 255 e visor de estação de operador 257, descritos acima. A figura 6 ilustra esquematicamente componentes da fonte de imagem de grão limpo 294, da fonte de imagem de resíduos 296 e do analisador de imagem 298.

[0063] Como mostrado pela figura 5, a fonte de imagem de grão limpo 294 compreende uma passagem lateral ou derivação 300 ao longo do elevador de grão limpo ou transportador 233, em que grão, incluindo material diferente de grão, é sifonado, a uma taxa ou proporção predeterminada, através de uma derivação e através de uma câmera para a captura de imagens. Em outras implementações, a fonte de imagem de grão limpo 294 compreende uma câmara de medição, na qual grão é cheio intermitentemente e removido. Como mostrado pela figura 6, a fonte de imagem de grão limpo 294 compreende adicionalmente o sensor de enchimento de derivação 308, o controlador de motor de derivação 310 e a câmera 312. O sensor de enchimento 308 compreende um sensor que emite sinais que indicam o enchimento da derivação 300 (mostrado na figura 5). O controlador de motor de derivação 310 emite sinais de controle que controlam o motor que extrai ou remove grão para amostragem a partir do elevador de grão limpo 233, em que a retirada de grão é em uma relação predefinida ou predeterminada com a quantidade de grão sendo transportada pelo elevador 233, de forma que a amostra de retirada corresponde à quantidade total de grão sendo transportada e precisamente reflete as características da quantidade total de grão sendo transportada. A câmera 312 compreende uma câmera a cores, que captura imagens dos conteúdos atuais ou do material que enche a derivação 300 e emite ou emite sinais de imagem que são transmitidos para o analisador de imagem 298. Em outras implementações, a câmera 312 pode compreender outros tipos de câmeras. Em uma implementação alternativa, as imagens a partir da câmera 312 são usadas pelo módulo de detecção de enchimento 342 para controlar o controlador de motor de derivação 310 e o sensor de enchimento de derivação 308 não é necessário.

[0064] Embora a fonte de imagem de grão limpo 294 seja ilustrada como compreendendo uma derivação 300, através da qual grão é impulsionado e ao longo da qual a câmera 312 captura imagens de grão a granel, em outras implementações, a fonte de imagem de grão limpo 294 é adicionalmente ou alternativamente provida em outros locais, ao longo dos quais grão colhido flui para o tanque de grão. Por exemplo, em outras implementações, a câmera 312 é alternativamente posicionada diretamente ao longo do elevador 233, em lugar de no interior da derivação.

[0065] A fonte de imagem de resíduos 296 compreende uma passagem lateral ou derivação 320, ao longo do elevador de resíduos ou transportador 231, em que os resíduos são sifonados, a uma taxa ou proporção predeterminada, através de a derivação e através de uma câmera para a captura de imagens. Em outras implementações, a fonte de imagem de resíduos 296 compreende uma câmara de medição, na qual grão é cheio intermitentemente e removido. Como mostrado pela figura 6, a fonte de imagem de resíduos 296 compreende adicionalmente o controlador de motor de derivação 322 e a câmera 324. O controlador de motor de derivação 322 emite sinais de controle que controlam o motor que extrai ou remove grão para amostragem a partir do elevador de resíduos 233, em que a retirada de resíduos é em uma relação predefinida ou predeterminada com a quantidade de grão sendo transportada pelo elevador 233, de forma que a amostra de retirada corresponde à quantidade total de grão sendo transportada e precisamente reflete as características da quantidade total de grão sendo transportada. A câmera 322 compreende uma câmera a cores que captura imagens de conteúdos atuais ou a derivação de enchimento de material 320 e emite ou emite sinais de imagem que são transmitidos para o analisador de imagem 298. Em outras implementações, a câmera 324 pode compreender outros tipos de câmeras.

[0066] Imagens a partir da fonte de imagem de grão limpo 294 e da fonte de imagem de resíduos 296 são transmitidas para o analisador de imagem 298. A Patente US 8.831.292 concedida em 9 de setembro de 2014 a Brueckner et al., intitulada MÉTODOS E ARRANJOS PARA A AVALIAÇÃO ÓPTICA DE CULTIVO COLHIDO EM UMA MÁQUINA DE COLHEITADEIRA, a descrição completa da qual é aqui incorporada para referência, descreve sistemas de gravação de imagem 52, 52’, outros exemplos da fonte de imagem de grão limpo 294 e da fonte de imagem de resíduos 296.

[0067] O analisador de imagem 298 compreende um processador e lógica de programa associada na forma de código, software e/ou circuito, que provêm instruções para o processador para controlar as fontes de imagem 294, 296, para analisar e processar dados de imagem recebidos a partir das fontes 294, 296 para estimar a qualidade de grão. Em uma implementação, similar ao processador 28 e à memória 40, descritos acima, o analisador de imagem 298 realiza o método 100. Em outra implementação, o analisador de imagem 298 classifica amostras de imagem com base em probabilidades que são baseadas em características calculadas independentemente de limites de segmento e características calculadas com base em limites identificados de segmentos, como será descrito daqui em diante. Os resultados provenientes do analisador de imagem 298 são transmitidos para o controlador 255, similar ao controlador 32, para ajustar automaticamente um ou mais parâmetros operacionais da colheitadeira combinada 200. Em particular, o controlador 255 transmite sinais de ajuste para um ou mais dentre os atuadores 280, 282, 284, 26, 288, 290 e 292 com base em tais resultados de qualidade de grão. Os resultados provenientes do analisador de imagem 298 são transmitidos para adiante para o visor 257 para a apresentação para o operador da colheitadeira combinada 200.

[0068] Como mostrado pela figura 6, o analisador de imagem 298 compreende o módulo de vídeo 340. O analisador de imagem 298 compreende ainda módulos de detecção de enchimento 342, 344 e o módulo de qualidade de grão 346, 348 para as fontes de imagem 294, 296, respectivamente. O módulo de vídeo 340 compreende lógica de programa para receber sinais de imagem a partir das câmeras 312, 322 e emitir tais imagens para o visor 257 descrito acima.

[0069] Os módulos de detecção de enchimento 342, 344 compreendem lógica de programa para analisar imagens recebidas a partir das câmeras 312, 322 para determinar a extensão na qual as derivações 300, 320 estão cheias com grão de amostra ou resíduos de amostra para a análise. As figuras 7A-7C ilustram imagens de uma derivação 300, de exemplo, ao longo da qual fluxos de grão amostrados ou extraídos, em que tais figuras ilustram o enchimento completo da derivação 300. Análise similar de imagem é realizada para a derivação de resíduos 320. Com base em uma extensão na qual as derivações 300, 320 são cheias, os módulos de detecção de enchimento 342, 344 emitem sinais para os controladores de motor de derivação 310, 322, para controlar ou ajustar a taxa na qual grão ou resíduos são extraídos a partir dos elevadores 233, 231 e transportados através das derivações 300, 320, respectivamente. Tal controle de enlace fechado, relacionado ao enchimento das derivações 300, 320 facilita a otimização para os níveis de enchimento para o processamento e a classificação de imagem. No exemplo ilustrado, o controle de controlador de motor de derivação 310 é adicionalmente baseado em sinais provenientes do sensor de enchimento de derivação 308. Em outras implementações, o sensor de enchimento de derivação 308 é omitido, em que o controle de controlador de motor de derivação 310 para a derivação 300 é controlado inteiramente com base em processamento de imagem das imagens recebidas a partir da câmera 312.

[0070] Os módulos de qualidade de grão 346 e 348 compreendem lógica de programa para a realização do método 100. Como descrito acima, cada um dos módulos de qualidade de grão 346, 348 recebe imagens a partir de sua câmera associada 312, 324. Os módulos de qualidade de grão 346, 348 então aplicam um filtro ou extrator de característica a tais imagens para extrair ou computar pelo menos uma característica do grão a granel representado na imagem. Cada um dos módulos de qualidade de grão 346, 348 amostra ainda valores para pelo menos uma característica em diferentes locais selecionados ou amostrados de amostragem da imagem de grão a granel. Para cada local de amostragem, os módulos de qualidade de grão 346, 348 determinam uma probabilidade para pelo menos uma classificação de material no local de amostragem com base na característica ou características extraídas ou calculadas. Os módulos de qualidade de grão 346, 348 determinam uma qualidade do grão a granel da imagem inteira com base em um agregado de probabilidades para a classificação de cada um dos múltiplos locais de amostragem diferentes. Os resultados de qualidade são então transmitidos para o controlador 255 e o visor 257 (mostrados na figura 5). Como observado acima, em outra implementação, o analisador de imagem 298 classifica amostras de imagem usando probabilidades de classificação adicionalmente com base em características calculadas a partir de segmentos de imagem, como será descrito daqui em diante.

[0071] A figura 8 ilustra esquematicamente o sistema de monitoração de qualidade de grão 420, outra implementação de exemplo do sistema de monitoração de qualidade de grão 20. O sistema de monitoração de qualidade de grão 420 é similar ao sistema de monitoração de qualidade de grão 20, exceto que o sistema de monitoração de qualidade de grão 420 classifica amostras de imagem adicionalmente com base em características calculadas a partir de segmentos de imagem. Embora o sistema de monitoração de qualidade de grão 420 seja descrito como determinando ou estimando a qualidade de grão usando imagens capturadas a partir de uma única fonte de imagem, tal como a fonte de imagem de grão limpo 294 descrita acima, em outras implementações, o sistema de monitoração de qualidade de grão 420 estima a qualidade de grão adicionalmente com base em imagens a partir de uma segunda fonte de imagem, tal como a fonte de imagem de resíduos 296, por aplicar a mesma análise de imagem sobre as imagens capturadas a partir da fonte de imagem de resíduos 296.

[0072] Como mostrado pela figura 8, o sistema de monitoração de qualidade de grão 420 compreende a fonte de imagem de grão a granel 294, o analisador de imagem 426, o controlador 255 e o visor 257 (controlador 255 e o visor 257 sendo mostrado nas figuras 4 e 5). O analisador de imagem 426 compreende um processador e lógica de programa associada na forma de código, software e/ou circuito, armazenada em uma mídia legível por computador, não transitória, ou memória, que provê instruções para o processador para controlar a fonte de imagem de grão a granel 294 e para analisar e processar dados de imagem recebidos a partir da fonte 294 para estimar a qualidade de grão. O analisador de imagem 426 compreende o módulo de qualidade de imagem 430, o módulo de detecção de sobreposição e enchimento 432, o módulo de segmentação 434, o módulo de extração de característica 436, o detector de cultivo e variedade 438, o classificador ou o módulo de classificação 440 e o módulo de conversão e filtragem 442.

[0073] O módulo de qualidade de imagem 430 direciona o processador 28 na análise da qualidade das imagens de grão a granel recebidas a partir da fonte de imagem 294. O módulo de qualidade de imagem 430 analisa tais imagens para identificar ou detectar circunstâncias que podem prejudicar a qualidade de tais imagens, como foco deficiente, má iluminação, cor deficiente, colagem de material sobre a janela de vidro através da qual imagens são capturadas, manchas sobre o vidro, umidade no vidro ou sujeira sobre o vidro. Os diagnósticos emitidos ou fornecidos 431 são apresentados no visor 257. Em uma implementação, em resposta à detecção da qualidade deficiente da imagem, em particular áreas da imagem de grão a granel, o módulo de qualidade de imagem 430 avisa um operador de tais áreas deficientes ou da extensão de tais áreas deficientes se as imagens excederem o limiar predefinido. Em uma implementação, o módulo de qualidade de imagem 430 toma a ação corretiva adicional, tal como digitalmente mascarar as áreas de qualidade deficiente de tais imagens. Em algumas implementações, o módulo de qualidade de imagem 430 é omitido.

[0074] O módulo de detecção de sobreposição e enchimento 432 analisa imagens de grão a granel recebidas a partir da fonte de imagem 294 para realizar duas funções principais: monitoração e controle do enchimento da derivação 300 (mostrado na figura 5) e rastreamento do movimento do grão a granel através da derivação 300. Como discutido acima com relação ao módulo de detecção de enchimento 342 na figura 6, o módulo 432 analisa imagens recebidas a partir da fonte 294 para determinar a extensão na qual a derivação 300 é cheia com grão a granel. Com base em gradientes de intensidade e outras características de imagem, o módulo 432 determina a extensão na qual a derivação 300 está cheia com grão a granel. O resultado é o fornecimento de um sinal de enchimento percentual 433 indicando a percentagem da imagem de grão a granel que é cheia com grão a granel. Com base no enchimento detectado da derivação 300, o módulo 432 direciona o processador 28 para emitir sinais de controle que controla operação do controlador de motor de derivação 310. Em uma implementação, o módulo 432 emite sinais quando a unidade de derivação foi suficientemente enchida, de forma que somente imagens tomadas quando a derivação 300 foi suficientemente enchida são utilizadas para análise de qualidade de grão. Em outra implementação, o módulo 432 identifica porções não enchidas de uma imagem de grão a granel e emite um sinal, de forma que porções vazias da imagem de grão a granel não são avaliadas ou processadas.

[0075] O módulo 432 rastreia ainda o movimento do grão através da derivação 300 para identificar sobreposição de imagens de grão a granel e evitar a contagem dupla da mesma amostra de grão a granel. Em uma implementação, o módulo 432 assume a maioria do movimento linear do grão a granel através da derivação 300 e através da câmera 312 (mostrada na figura 6). O módulo 432 analisa imagens sequenciais e gera escores de correlação para porções das imagens de grão a granel. Com base nos escores de correlação, o módulo 432 identifica porções sobrepostas de tais imagens, em que tais porções sobrepostas não são contadas ao dobro. Como um resultado, a carga sobre o processador 28 é reduzida.

[0076] As figuras 9A-9C ilustram um exemplo de tal rastreamento de grão a granel. A figura 9A ilustra uma primeira imagem de grão a granel 450 de trigo, recebida pelo analisador de imagem 298. A figura 9B ilustra uma segunda imagem de grão a granel 452 de trigo, recebida pelo analisador de imagem 298, em que a imagem 9B compreende uma fração antiga 454 e a uma fração nova 456. A fração antiga 454 compreende a porção de uma imagem que já foi capturada e já foi submetida ou está sendo atualmente sendo submetida à análise. A fração nova 456 compreende novo grão a granel recebido, que não foi ainda previamente capturado e utilizado para a análise da qualidade de grão. O módulo 432 compara uma ou mais porções selecionadas 460 da imagem 450 com porções da imagem 452 para identificar aquelas porções de diferentes imagens que suficientemente correspondem, de forma que tais porções das imagens são consideradas como estando em sobreposição e redundantes. Em uma implementação, o módulo 432 compara diferentes imagens para produzir o diagrama de correlação 464, tal como mostrado na figura 9C, no qual a correlação é indicada por luminosidade e aquelas porções tendo uma luminosidade acima de um limiar predefinido são consideradas como sendo porções sobrepostas de diferentes imagens. Com base em indicadores de correlação ou resultados entre as porções 460 e 462, o módulo 432 identifica o movimento da mesma porção de grão para identificar ou estimar limites ou limiares entre a fração antiga 454 e a fração nova 456 de cada uma das imagens de grão a granel, recebida a partir da fonte de imagem de grão a granel 294. Em algumas implementações, tal detecção de sobreposição ou rastreamento de grão pelo módulo 432 é omitido.

[0077] Como indicado pela seta 470, frações novas 456 da imagem de grão a granel são diretamente analisadas pelo módulo de extração de característica 436. Como indicado pela seta 472, as mesmas frações novas 456 da imagem de grão a granel são adicionalmente segmentadas pelo módulo de segmentação 434 ante de serem analisadas pelo módulo de extração de característica 436. O módulo de extração de característica 436 extrai características a partir de tanto da imagem de grão a granel como um todo (como descrito acima com relação ao bloco 106 do método 100) quanto a partir de segmentos da imagem de grão a granel. Em uma implementação alternativa, a imagem inteira 452 é analisada pelo módulo de extração de característica 436 e segmentada pelo módulo de segmentação 434 em lugar de somente as frações novas 456.

[0078] O módulo de segmentação 434 realiza a segmentação sobre a imagem recebida de grão a granel. Durante a segmentação, o módulo 434 realiza o processamento ou análise de imagem para estimar limites ou limiares de distintas peças, partículas ou objetos, referidos como segmentos, na imagem de grão a granel. A figura 10A ilustra uma imagem de grão a granel, de exemplo, 476, de trigo. Para finalidades de ilustração, a figura 10B conceitualmente ilustra a segmentação da imagem 476 para produzir a imagem segmentada 478, identificando o perímetro ou limites ou limiares de diferentes objetos 480, trigo e distintos objetos, peças ou partículas diferentes de trigo, na imagem de grão a granel 476. A figura 10B conceitualmente representa e distingue visivelmente exemplos de segmentos diferentes que são calculados ou identificados pelo módulo de segmentação 434. Em uma implementação, o módulo de segmentação 434 descarta aquelas porções da imagem 476 que não são identificadas como estando dentro dos limites ou limiares de perímetro de um segmento. Como indicado pela seta 479, os segmentos identificados pelo módulo de segmentação 434 são transmitidos para o módulo de extração de característica 436 para a análise. Em outra implementação, o módulo de segmento 434 identifica aquelas porções da imagem 476 que não são identificadas como estando dentro dos limites ou limiares de perímetro de um segmento, de forma que características não são extraídas a partir de tais porções de não segmento da imagem 476.

[0079] O módulo de extração de característica 436 extrai características de imagem a partir da imagem de grão a granel recebida a partir do módulo de detecção de sobreposição e enchimento 432 e características de segmento a partir dos segmentos identificados a partir da mesma imagem de grão a granel recebida a partir do módulo de segmentação 434. A extração de características de imagem a partir da imagem de grão a granel é descrita acima com relação ao módulo de característica 50 na figura 1; o bloco 104 na figura 2; e a extração de característica de imagem, de exemplo, mostrada nas figuras 3B-3E acima. O módulo de extração de característica 436 extrai ainda características a partir dos segmentos na imagem segmentada de grão a granel recebida a partir do módulo de segmentação 434. A figura 11A ilustra a aplicação de um extrator de característica pelo módulo de extração de característica 436 para formar a imagem de grão a granel segmentada 489, com característica extraída, que ilustra valores extraídos para uma característica particular para cada um dos segmentos na imagem de grão a granel 476. No exemplo ilustrado, a segmentação da imagem de grão a granel 476 resulta na identificação de segmentos individuais 486, em que os limites de tais segmentos 486 são identificados. No exemplo ilustrado, o módulo de extração de característica 436 aplica um extrator de característica que é baseado na área computada de um segmento. Os diferentes valores para a característica extraída são ilustrados com diferentes níveis de luminosidade no diagrama da figura 11B, no qual os segmentos individuais tendo valores característicos que caem dentro de uma predefinida faixa associada são ilustrados com uma luminosidade particular.

[0080] A figura 11B ilustra a aplicação de um diferente extrator de característica aos segmentos identificados 486 da imagem de grão a granel 476 da figura 10A para formar a imagem de grão a granel 491 segmentada, com característica extraída. No exemplo ilustrado, o módulo de extração de característica 436 aplica um extrator de característica que computa o contraste da intensidade de todos os pixels na imagem de grão a granel 476 que caem dentro de um segmento particular. Na imagem de grão a granel segmentada, com característica extraída, da figura 11B, o valor de contraste de cada segmento é ilustrado por um diferente nível de luminosidade, em que aqueles segmentos tendo valores que caem dentro de uma predefinida faixa associada são ilustrados com uma luminosidade particular. As figuras 11A e 11B ilustram apenas dois extratores de característica, de exemplo, que podem ser aplicados aos segmentos identificados com base em características dos segmentos e/ou dos pixels dentro dos segmentos. Em outras implementações, extratores de característica diferentes ou adicionais são aplicados aos segmentos identificados na imagem de grão a granel. Exemplos de tais características de segmento, que podem ser extraídas a partir dos segmentos da imagem de grão a granel incluem, mas não são limitados a arredondamento, convexidade, comprimento de contorno, eixos maior e menor, luminosidade min./máx. dentro do segmento, ajuste de superfície às intensidades dentro do segmento, e variância em luminosidade e cor dentro do segmento. A característica extraída ou características extraídas a partir do módulo de extração de característica 436 com base tanto na imagem de grão a granel quanto nos segmentos individuais identificados na imagem de grão a granel são transmitidas para o módulo detector de cultivo e variedade e o módulo de classificação 440 para a análise posterior.

[0081] Como mostrado pelas figuras 11A e 11B, cada um dos pixels individuais contidos dentro do limite de um segmento identificado é atribuído ao mesmo conjunto de valores característicos. Por exemplo, se a característica extraída compreender um formato ou tamanho característico de um segmento identificado, tal como a área de um segmento, o valor identificado para o formato ou tamanho do segmento é atribuído a cada um dos pixels dentro do limite do segmento identificado. Em circunstâncias nas quais a característica sendo extraída é baseada não somente nos limites de um segmento, mas também em características que variam de pixel para pixel dentro dos limites de um segmento identificado, cada um dos pixels dentro dos limites de um segmento identificado é atribuído ao mesmo único valor com base em, ou derivado a partir dos, diferentes valores dos diferentes pixels individuais dentro dos limites de um segmento identificado. Por exemplo, em uma implementação, uma média, mediano, observação máxima, observação mínima ou outra estatística derivada a partir dos valores dos diferentes pixels dentro dos limites do segmento é atribuído a cada um dos pixels dentro dos limites do segmento associado.

[0082] O módulo detector de cultivo e variedade analisa os valores para a uma ou mais características extraídas pelo módulo de extração de característica 436 para os segmentos identificados nas imagens de grão a granel segmentadas, com característica extraída, e as imagens de grão a granel, com característica filtrada, para identificar o tipo do cultivo particular e possivelmente a variedade particular do cultivo atualmente sendo colhida. O tipo de cultivo e a variedade determinados ou identificados são emitidos como sinais 439 para registrar com os particulares locais geo-referenciados associados atualmente sendo atravessados pela colheitadeira 200. Em uma implementação, o tipo de cultivo e a variedade determinados ou identificados são ainda exibidos no visor 257. Por exemplo, um campo pode ser planejado com múltiplos tipos de cultivo ou múltiplas variedades. O módulo detector de cultivo e variedade detecta alterações no tipo de cultivo e na variedade quando a colheitadeira está cruzando o campo e registra alterações em variedade de cultivo e tipo com relação a diferentes locais geo-referenciados no campo. Em uma implementação, os resultados de qualidade de grão podem ainda ser armazenados e associados na memória com as particulares variedades de cultivo e tipo identificados bem como os particulares locais geo-referenciados no campo. Em uma implementação, o tipo detectado de cultivo é fornecido para o controlador 255 (mostrado na figura 5) de forma que o controlador pode alterar sua estratégia de controle com base no tipo detectado de cultivo.

[0083] Em uma implementação, o tipo detectado de cultivo é usado pelo módulo de classificação 440 para escolher a partir de um conjunto de parâmetros específicos de cultivo. Por exemplo, em uma implementação, com base no cultivo detectada ou na variedade detectada de cultivo colhida, o módulo de classificação 440 acessa tabelas de verificação ou utiliza relações matemáticas ligando ou correspondendo aos valores característicos calculados e às probabilidades para a classificação de materiais. Por exemplo, em uma implementação, o classificador 440 consulta uma primeira tabela de verificação ou utiliza uma primeira relação matemática de valores característicos para as probabilidades para determinar uma probabilidade de que uma classificação de material particular existe em um local de amostragem particular para um primeiro cultivo identificado, tal como milho. Em contraste, o classificador 440 consulta uma segunda tabela de verificação diferente ou utiliza uma segunda relação matemática diferente de valores característicos para as probabilidades para determinar uma probabilidade de que uma classificação de material particular existe em um local de amostragem particular para um segundo cultivo identificado, tal como trigo, sementes de soja, cevada, canola, aveia ou similar.

[0084] Em ainda outras implementações, o módulo detector de cultivo e variedade 438 é excluído ou é manualmente anulado, em que o usuário especifica o tipo de cultivo para o módulo de classificação 440. Em ainda outras implementações, o módulo detector de cultivo e variedade 438 é excluído e o módulo de classificação 440 usa parâmetros/tabelas de verificação/relações matemáticas genéricos ligando valores característicos para as probabilidades de classificação, em que uma única tabela de verificação ou uma única relação matemática ou fórmula é utilizada para uma classe particular de material, tal como MOG leve, MOG pesado, grão limpo e similar, através de todos os tipos de cultivo.

[0085] Em uma implementação, o detector de cultivo e variedade 438 adicionalmente compara os valores recebidos a partir do módulo de extração de característica 436 para uma ou mais características para valores ou faixas de valores normais, típicos ou padronizados, para determinar um grau ou nível de confidência que os valores característicos particulares recebidos a partir do módulo 436 estão atualmente para o cultivo que é sendo colhida. Em uma tal implementação, o detector de cultivo e variedade 438 emite sinais que representam uma indicação de nível de confidência 441. Em uma implementação, o nível de confidência 441 é usado pelo controlador 255 para alterar como ele interpreta os sinais 496 que indicam a qualidade de grão. Em outra implementação, a indicação de nível de confidência 441 é apresentada no visor ou em outra saída para um operador. Por exemplo, em uma implementação, nas circunstâncias em que os valores para as características recebidas a partir do módulo 436 são tão diferentes a partir dos valores característicos típicos para o cultivo sendo colhida, o detector 438 irá emitir sinais indicando um nível de confidência extremamente baixo para os resultados finalmente apresentados pelo sistema 420. Em uma implementação, se as diferenças entre os valores característicos recebidos e os valores característicos esperados excederem um limiar predefinido, uma indicação de aviso pode ser exibida ou audivelmente apresentada para o operador. Uma tal diferença que resulta em um baixo nível de confidência pode ser o resultado de o operador estar alimentando o tipo errado de cultivo ou a colheitadeira temporariamente estar atravessando uma região anormal de um campo contendo uma transição anormal de plantas.

[0086] O módulo de classificação 440 opera similarmente ao módulo de classificação 54, como descrito acima, exceto que o módulo de classificação 440 determina uma probabilidade quanto à presença de uma classificação de material particular em cada um dos diferentes locais de amostragem adicionalmente com base no valor para uma única característica ou com base em valores de múltiplas características em cada local de amostragem das imagens segmentadas com característica extraída. Por exemplo, em uma implementação, o módulo de classificação 440 determina uma probabilidade quanto à presença de MOG no local de amostragem 132A com base no valor para uma primeira característica no correspondente local de amostragem 132A na imagem característica 122 (figura 3B), o valor para uma segunda característica no correspondente local de amostragem 132A na imagem característica 124 (figura 3C), o valor para uma terceira característica no correspondente local de amostragem 132A na imagem característica 126 (figura 3D), o valor para uma quarta característica no correspondente local de amostragem 132A na imagem característica 130 (figura 3E), bem como o valor para uma quinta característica no correspondente local de amostragem 132A na imagem extraída com característica segmentada 489 (figura 11A) e o valor para uma sexta característica no correspondente local de amostragem 132A na imagem extraída com característica segmentada 491 (figura 11B).

[0087] Similarmente ao módulo de classificação 54, o módulo de classificação 440 determina uma probabilidade, como descrito acima, para uma classificação particular em cada um de uma multiplicidade de diferentes locais de amostragem. Por exemplo, o módulo de classificação 440 (1) determina uma primeira probabilidade quanto à presença de uma classificação de material particular, tal como MOG, no local de amostragem 132A, (2) determina uma segunda probabilidade quanto à presença do mesmo classificação de material particular, tal como MOG, no local de amostragem 132B, (3) determina uma terceira probabilidade quanto à presença do mesmo classificação particular, tal como MOG, no local de amostragem 132C, e assim por diante, para cada local de amostragem. Embora a figura 3A ilustre cinco locais de amostragem 132, em outras implementações, o módulo de classificação 54 pode determinar probabilidades de classificação em um maior ou menor número de tais locais de amostragem.

[0088] Em uma implementação, o módulo de classificação 440 direciona o processador 28 para determinar uma probabilidade para cada uma das múltiplas classificações de material diferentes em cada local de amostragem 132. Por exemplo, em uma implementação, o módulo de classificação 440 atribui a cada local de amostragem uma probabilidade para cada uma de uma pluralidade de diferentes classificações. Por exemplo, o módulo de classificação 440 pode atribuir ao local de amostragem uma probabilidade de x % de que a amostra de imagem está representando uma primeira classificação de material e uma probabilidade de z % de que o local de amostragem está representando uma segunda classificação de material e assim por diante, em que a soma das probabilidades não excede 100 %. Por exemplo, em uma implementação, o modelo de classificação 440 direciona o processador 28 para determinar uma probabilidade quanto à presença de uma primeira classificação de material, tal como grão quebrado, em um local de amostragem bem como uma probabilidade quanto à presença de uma segunda classificação de material diferente, tal como MOG, MOG pesado ou MOG leve, no mesmo local de amostragem.

[0089] Em uma implementação, o módulo de classificação 440 consulta uma tabela de verificação predeterminada contendo diferentes valores para diferentes combinações de características, e diferentes probabilidades para diferentes classificações de materiais correspondentes aos diferentes valores para as diferentes combinações de características. Como observado acima, em uma implementação, a tabela de verificação específica é dedicada a cada tipo de cultivo ou a cada diferente variedade de cultivo. Em outra implementação, múltiplas tabelas são utilizadas, em que cada tabela de verificação específica é usada para um conjunto ou grupo específico de cultivos relacionadas ou variedades relacionadas. Em outras implementações, uma tabela de verificação genérica é utilizada através de todos os tipos de cultivo ou através de todas as variedades. Em uma implementação, entradas de probabilidade na tabela de verificação são geradas por tomar múltiplas amostras de grão, capturar uma imagem de cada uma das múltiplas amostras de grão, e tendo expertos ou operadores humanos treinados rotulados diferentes partes da imagem para formar imagens rotuladas 490. As figuras 12-15 ilustram imagens capturadas de grão a granel de trigo, milho, sementes de soja e canola que foram rotuladas por operadores humanos para o uso na geração de diferentes tabelas de verificação para cada um dos diferentes tipos de cultivo. As imagens rotuladas de grão a granel são digitalmente alimentadas e armazenadas para o uso pelo módulo de treinamento 492. Em uma implementação alternativa, uma relação matemática é usada em lugar de uma tabela de verificação.

[0090] O módulo de treinamento 492 compreende um processador e lógica de programa associada, que direcionam a geração de uma tabela de verificação ou relação matemática através de aprendizado por máquina por meio do uso de uma grande lista de vetores de característica e pares de rótulos. Como parte de tal treinamento, o módulo de extração de característica 436 aplica filtros e extratores de característica às imagens rotuladas de grão a granel para extrair vetores de característica para cada local de amostragem da imagem rotulada de grão a granel. Subsequentemente, o módulo de treinamento 492 usa o rótulo em cada local de amostragem para determinar as probabilidades desejadas do material neste local de amostragem e associa estas probabilidades desejadas ao conjunto de características extraídas neste local de amostragem. Tais probabilidades e correspondente conjunto de vetores de característica são armazenados como parte da tabela de verificação subsequentemente usada pelo módulo de classificação 440 quando da análise da qualidade de grão. Em uma implementação alternativa, uma relação matemática entre vetores de característica e probabilidades é gerada e armazenada em lugar de uma tabela de verificação.

[0091] No exemplo ilustrado, o módulo de classificação 440 é operável em um dentre vários modos que podem ser selecionados por um usuário do sistema 420, em que o sistema 420 analisa grão a granel para diferentes classificações de material. Exemplos de diferentes classificações de material, para as quais o módulo de classificação 440 faz uma predição com relação a cada local de amostragem incluem, mas não são limitados a uma ou mais faixas relacionadas a material diferente de grão (MOG), tal como MOG leve, MOG pesado ou outras classificações, tais como casca, quebrados, bastões, cepos, sabugos, hastes, vagens, grão não debulhado, grão descascado, e grão limpo. Em outras implementações, o módulo de classificação 440 pode predizer outras classificações de material, dependendo de um tipo de grão particular e da planta particular a partir da qual o grão é colhido. As probabilidades para tais outras classificações são providas em tabelas de verificação ou relações matemáticas que são geradas similarmente à geração da tabela de verificação ou relação matemática descrita acima com relação aos rótulos 490 e ao módulo de treinamento 492.

[0092] O módulo de conversão e filtragem 442 converte ou mapeia as probabilidades de classificação de amostra de imagem através da imagem inteira de grão a granel recebida a partir do módulo de classificação 440 para uma saída em percentagem em peso para diferentes classificações de materiais no grão a granel. O módulo de conversão e filtragem 442 determina e emite um sinal ou sinais 496 que indicam a qualidade de grão para a imagem de grão a granel com base em um agregado das probabilidades, para a classificação particular de material, das diferentes amostras de imagem que constituem a imagem de grão a granel. No exemplo ilustrado, o módulo 442 emite, para o visor 257 e controlador 255, informação de qualidade de grão, tal como percentagem em massa/peso limpos, percentagem em massa/peso quebrados, percentagem em massa/peso de material diferente de grão leve, percentagem em massa/peso material diferente de grão pesado e percentagem em massa/peso de não debulhado. Em uma implementação, o módulo 442 calcula ainda estatísticas relacionadas a tais resultados de qualidade de grão, em que instantâneos, filtrados, e as incertezas nas medições são calculadas para o visor, controle de máquina, e armazenamento.

[0093] No exemplo ilustrado, o módulo de conversão e filtragem 442 aplica uma função de calibração a uma estatística derivada a partir de um agregado das diferentes probabilidades de classificação das diferentes amostras de imagem. Em uma implementação, o módulo 442 converte probabilidades de classificação de amostra de imagem através de uma imagem para uma percentagem em massa/peso para uma classificação de material para a imagem por aplicar uma função de calibração na forma de uma curva linear que mapeia a probabilidade de classificação média através da imagem de grão a granel para uma percentagem da informação do terreno em peso ou percentagem em massa para a classificação de material. A figura 16 ilustra um mapeamento de curva linear, de exemplo, de média de saídas de probabilidade de classificação através da imagem de grão a granel ou através de múltiplas imagens de grão a granel (média ponderada algorítmica) para a percentagem da informação do terreno em massa ou percentagem em peso de percentagem (da informação do terreno) para uma classe de exemplo de material, tal como grão não debulhado para um cultivo, como trigo. Durante o tempo de marcha da colheitadeira 200, módulo de conversão 442 faz a média das probabilidades de classificação das diferentes amostras de imagem através de um ou mais imagens de grão a granel e converte as médias para percentagem em massa ou percentagem em peso de valores usando a relação de conversão representada pela curva linear.

[0094] A figura 17 ilustra métodos de exemplo, pelos quais a função de calibração, tal como a função de calibração de exemplo, mostrada na figura 16, é calculada ou determinada. A figura 17 é um fluxograma ilustrando um método de exemplo 500 para a geração de uma função de calibração, usando valores de informação de terreno, a ser usada na conversão de probabilidades agregadas para valores de percentagem em peso. Como indicado pelos blocos 502, 504, uma amostra de grão no elevador de grão 233 é removida e transmitida através da derivação 300. Como indicado pelo bloco 506, imagens da amostra de derivação são tomadas. Como indicado pelos blocos 512 e 514, características são extraídas ou calculadas a partir de cada imagem, em que probabilidades de classificação de material são determinadas e atribuídas a cada local de amostragem, como descrito acima com relação ao módulo de classificação 440.

[0095] Em uma implementação, como indicado pelo bloco 520, a amostra de grão de derivação, a partir da qual as imagens no bloco 506 foram obtidas, é então separado em diferentes componentes de material, tal como por passar a amostra de grão de derivação atual através de um limpador no bloco 522 e um agitador no bloco 524. Como indicado no bloco 526, os valores atuais para uma percentagem em peso para as diferentes classificações de material são medidos.

[0096] Em uma implementação alternativa, como indicado pelo bloco 530, ao invés de utilizar imagens capturadas a partir de uma derivação de grão a granel, a função de calibração é alternativamente determinada usando uma amostra tomada a partir do tanque de grão, tal como a partir do tanque de grão da colheitadeira, durante o tempo geral no qual o grão para a amostra de derivação foi obtido. Como indicado pelos blocos 532 e 534, esta amostra de tanque de grão é também separada em diferentes componentes de material, tal como por passar a amostra de tanque de grão atual através de um limpador no bloco 532 e um agitador no bloco 534. Como indicado pelo bloco 536, valores atuais para uma percentagem em peso para as diferentes classificações de material são medidos.

[0097] Como indicado pelas setas 540, os valores de percentagem em peso atuais para as diferentes classificações do material determinado nos blocos 526 e/ou 536 podem ser usados como percentagem em peso de informação de terreno 542 para determinar uma função de calibração 548. Como indicado pelas setas 544, uma relação entre a percentagem em peso de informação de terreno 542 para cada classe de material e o agregado das diferentes probabilidades de classificação das diferentes amostras de imagem é determinada. Esta relação é definida e usada para identificar uma função de calibração 548, tal como a função de calibração, de exemplo, mostrada na figura 16, para o uso em subsequente conversão de tempo de marcha de agregações das diferentes probabilidades de classificação das diferentes imagens para os valores de percentagem em peso para as diferentes classes de material.

[0098] Em ainda outras implementações, em lugar de determinar as percentagens em massa/peso de classe atuais a partir de amostras de grão a granel retiradas a partir de uma derivação de colheitadeira (bloco 504) ou alternativamente retiradas a partir do tanque de grão (bloco 530), a função de calibração é alternativamente determinada usando amostras de grão engenheiradas com quantidades conhecidas de cada tipo de material, em que as amostras de grão são processadas para obter uma resposta do sistema e em que a função de calibração, tal como uma curva linear mapeando saídas de probabilidade de classificação agregadas para a percentagem em passa ou peso verdadeira do solo, é gerada.

[0099] Em uma implementação, o módulo 442 aplica ainda filtros sobre múltiplos sinais de saída instantâneos 496, tal como aplicando um simples filtro de janela de movimento ponderada que leva em conta a sobreposição de imagem, resultando em sinais de saída filtrados 496. Em uma implementação os pesos no filtro são dependentes do tempo. Em uma implementação alternativa, os pesos de filtro são dependentes da quantidade de material que se moveu depois do formador de imagem, quando computados pelo módulo de detecção de sobreposição e enchimento 432.

[00100] Em uma implementação, o módulo 442 produz ainda estimativas da incerteza nos sinais de saída 496 usando as probabilidades de classificação geradas pelo classificador 440. Por exemplo, uma imagem do grão a granel, que contém amostras de imagem classificadas como MOG leve com probabilidade muito alta e todas as outras classes com probabilidade muito baixa, resultará em um sinal de saída com baixa incerteza. De forma inversa, uma imagem de grão a granel, que contém amostras de imagem classificadas com alguma probabilidade como MOG leve e alguma probabilidade como não debulhado resultará em um sinal de incerteza mais alta. Em outra implementação, a quantidade de variância no sinal de saída instantâneo computado a partir de imagens individuais de grão a granel é usada para determinar o sinal de saída de incerteza 496. Em uma implementação, o sinal de saída de incerteza 496 é usado pelo controlador 255 para alterar como ele interpreta os sinais instantâneos e/ou filtrados 496 indicando a qualidade de grão.

[00101] A figura 18 é um fluxograma funcional de um método 600, de exemplo, para monitorar a qualidade de grão. O método 600 é realizado pelo sistema 420 ilustrado na figura 8. Como indicado pelo bloco 602, o módulo de detecção de sobreposição e enchimento 432 recebe imagens do grão a granel e analisa tais imagens para determinar a sobreposição de imagens consecutivas e para identificar imagens que não estão completamente enchidas com grão. Uma vez quando uma imagem 604 apropriada para a análise foi identificada - estando cheia de grão ou tendo porções de imagem vazias refugadas e representando a sobreposição com imagens prévias - o módulo de extração de característica 436 aplica extratores de característica à imagem 604 para extrair ou calcular uma pilha de diferentes características 606, que são independentes dos limites de segmento, a partir da imagem de grão a granel 604. O módulo de segmentação 434 realiza a segmentação sobre a mesma imagem 604 para produzir uma segmentação 608 da imagem de grão a granel 604. O módulo de extração de característica 436 então aplica diferentes extratores de característica para extrair ou calcular uma pilha de diferentes características 610 a partir da segmentação 608 e da imagem de grão a granel 604. Como indicado pelo bloco 612, o módulo de classificação 440 combina a pilha de características 606 e 610 para formar vetores de característica para cada um de múltiplos locais de amostragem tomados a partir da imagem de grão a granel 604. Como indicado pelo bloco 614, o classificador o módulo 440 determina um escore de classificação, mais especificamente, as probabilidades de classificação 616 para cada local de amostragem da imagem global 604 com base nos vetores de característica em cada imagem de grão a granel. A figura 18 ilustra as probabilidades de local de amostragem, de exemplo, para MOG leve 618 e classificações de material não debulhado 620 usando locais de amostragem alinhados em uma grade regular de cada quarto pixel nas direções x e y da imagem de entrada 604. Nesta ilustração, locais de amostragem com altas probabilidades para esta classificação de material são mostrados como luminosos e com baixas probabilidades são mostrados como escuros. Tais probabilidades de classificação estão no nível de um local de amostragem, e não no nível de um segmento ou “partícula”, como definido por limites ou limiares do segmento ou “partícula”. Como um resultado, as probabilidades de classificação geralmente variam através de objetos na imagem de grão a granel, como ilustrado pela luminosidade variável em 618 e 620 através dos locais de amostragem que caem dentro de um único objeto na imagem de grão a granel 604. Como um resultado adicional, múltiplas classes de material podem ter probabilidades no mesmo local de amostragem, como ilustrado pela luminosidade média no local de amostragem 640A tanto do MOG leve 618 quanto do não debulhado 620, mostrando incerteza de classificação naqueles de amostragem. Além disso, porque o classificador 614 incorpora características de imagem 606 independentes dos limites de segmento e gera as probabilidades de classificação em locais de amostragem independentes de segmentos, porções de objetos na imagem de entrada de grão a granel 604 podem ser corretamente classificados mesmo se aqueles objetos não estiverem presentes na segmentação 608, como mostrado pela probabilidade 618 da peça delgada de MOG leve no local de amostragem 640B.

[00102] Como indicado pelo bloco 622, o módulo 442 agrega as probabilidades de classificação a partir de todos dos locais de amostragem na imagem. Como indicado pelo bloco 624, o módulo 442 aplica uma função de calibração às probabilidades de amostra agregadas para determinar um valor de percentagem em massa/peso para a classe de material para a imagem inteira 604. Como indicado pelo bloco 626, o módulo 442 aplica ainda filtragem para emitir uma estimativa de percentagens em peso para as classes de material. Tais estimativas de percentagem em peso incluem, mas não são limitados a percentagem em peso de grão limpo, percentagem em peso de grão quebrado, percentagem em peso de material diferente de grão leve, percentagem em peso de material diferente de grão pesado e percentagem em peso de grão não debulhado. Em uma implementação, os sinais de saída adicionalmente incluem estimativas de incerteza das percentagens em peso.

[00103] Em uma implementação, o mesmo processo descrito acima com relação à figura 18 é aplicado às imagens de grão a granel, recebidas a partir da fonte de imagem de grão a granel 296, o que provê imagens de resíduos. Em uma tal implementação, a segmentação de uma imagem e a extração de características de segmento podem ser excluídas devido à grande quantidade inesperada de material de sobreposição diferente de grão. Em uma implementação, a monitoração de resíduos produz percentagem em peso para as classificações de materiais compreendendo “grão livre” e/ou classificações de materiais compreendendo “resíduos/MOG-leve”. Em uma implementação, a monitoração de resíduos adicionalmente produz resultados para a classificação de materiais compreendendo “grão não debulhado”. Em ainda outras implementações, a monitoração de resíduos adicionalmente produz resultados para uma classe “vazia” quando uma imagem de resíduos está parcialmente vazia.

[00104] Embora a presente descrição tenha sido descrita com referência a modalidades de exemplo, os trabalhadores especializados na técnica reconhecerão que alterações podem ser feitas na forma e nos detalhes sem se afastar do espírito e escopo da matéria reivindicada. Por exemplo, embora diferentes modalidades de exemplo possam ter sido descritas como incluindo uma ou mais características que provêm um ou mais benefícios, é contemplado que as características descritas podem ser intercambiadas por uma outra ou ser combinadas alternativamente umas com as outras nas modalidades de exemplo descritas ou em outras modalidades alternativas. Porque a tecnologia da presente descrição é relativamente complexa, nem todas das alterações na tecnologia são previsíveis. A presente descrição descrita com referência às modalidades de exemplo e exposta nas seguintes reivindicações é manifestamente destinada a ser tão ampla quanto possível. Por exemplo, a menos que especificamente observado ao contrário, as reivindicações que mencionam um único elemento particular também englobam uma pluralidade de tais elementos particulares.

Claims

1. Método de monitoração da qualidade do grão, caracterizado pelo fato de que compreende: capturar uma imagem de grão a granel (120); aplicar um extrator de característica (436) à imagem para determinar uma característica do grão a granel na imagem, a imagem é a de uma massa de múltiplos grãos sobrepostos; para cada um de uma pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) dentro da imagem, determinar, com base na característica do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma classificação de material no local de amostragem; emitir um sinal indicando a qualidade do grão a granel da imagem com base em um agregado dos escores de classificação dos diferentes locais de amostragem; e ajustar automaticamente os conjuntos operacionais de uma colheitadeira (200) com base no sinal enquanto a colheitadeira atravessa um campo e enquanto o grão a granel está sendo colhido pela colheitadeira das plantas em um meio de cultivo.

2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende aplicar uma pluralidade de extratores de característica à imagem para determinar uma pluralidade de características do grão a granel na imagem, em que o escore de classificação quanto à presença da classificação de material no local de amostragem é baseado na pluralidade de características do grão a granel no local de amostragem.

3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: segmentar a imagem em segmentos (486) definidos por limites presumidos de elementos individuais de grão a granel; determinar uma característica de cada segmento, em que o escore de classificação quanto à presença da classificação de material em cada local de amostragem é adicionalmente baseado na característica de cada segmento em cada local de amostragem.

4. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: segmentar a imagem em segmentos (486) definidos por limites presumidos de elementos individuais de grão a granel; aplicar uma pluralidade de extratores de característica (436) a cada um dos segmentos para determinar uma pluralidade de características para cada segmento, em que o escore de classificação quanto à presença da classificação de material em cada local de amostragem é adicionalmente baseado na pluralidade de características de cada segmento em cada local de amostragem.

5. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: para cada um de uma pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) na imagem, determinar, com base na característica do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma segunda classificação de material no local de amostragem; e emitir um sinal indicando a qualidade do grão a granel da imagem com base em um agregado dos escores de classificação quanto à presença da segunda classificação em cada um dos locais de amostragem.

6. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: aplicar uma pluralidade de extratores de característica à imagem para determinar uma pluralidade de características do grão a granel na imagem; para cada um da pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) na imagem, determinar, com base na pluralidade de características do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma segunda classificação de material no local de amostragem, em que o sinal indicando a qualidade do grão a granel da imagem é baseado em um agregado dos escores de classificação quanto à presença da segunda classificação de material em cada um dos locais de amostragem.

7. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda emitir um sinal indicando um nível de confidência no sinal indicando a qualidade do grão a granel da imagem.

8. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a classificação de material é selecionada a partir de um grupo de classificações de material consistindo de: grão limpo, grão quebrado, material diferente de grão leve, material diferente de grão pesado, e grão não debulhado.

9. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda aplicar uma função de calibração ao agregado dos escores de classificação para determinar uma percentagem em peso da classificação para a imagem, em que o sinal é baseado na determinada percentagem em peso da classificação para a imagem.

10. Método de acordo com a reivindicação 1, caracterizado pelo fato de que o sinal é baseado em um filtro ponderado de fluxo de material ou de tempo de uma pluralidade do agregado de escores de classificação para a classificação a partir de múltiplas imagens de grão a granel.

11. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda ajustar automaticamente os conjuntos operacionais de uma colheitadeira (200) com base no sinal.

12. Mídia legível por computador não transitória, caracterizada pelo fato de que contém instruções para direcionar um processador (28) para: receber sinais que correspondem a uma imagem capturada de grão a granel, a imagem capturada compreendendo (A) uma massa de vários elementos individuais de grão a granel, que são sobrepostos parcialmente por outros elementos de grão a granel ou que se sobrepõem parcialmente a outros elementos de grão a granel e (B) elementos que não são grãos, selecionados a partir de um grupo de elementos que não são grãos constituído por: impurezas vegetais, cascas, sabugos, hastes e vagens; aplicar um extrator de característica (436) à imagem para determinar uma característica do grão a granel na imagem; para cada um de uma pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) na imagem, determinar, com base na característica do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma classificação de material no local de amostragem; e emitir um sinal indicando a qualidade do grão a granel da imagem com base em um agregado dos escores de classificação quanto à presença da classificação de material em cada um dos diferentes locais de amostragem, em que o sinal é baseado em um filtro ponderado de fluxo de material ou de tempo de uma pluralidade do agregado de escores de classificação para a classificação a partir de múltiplas imagens.

13. Mídia legível por computador não transitória, de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são configuradas ainda para direcionar o processador (28) para: segmentar a imagem em segmentos (486) definidos por limites presumidos de elementos individuais de grão a granel; aplicar um extrator de característica (436) aos segmentos (486) para determinar uma característica de cada segmento, em que o escore de classificação quanto à presença da classificação de material no local de amostragem (132A, 132B, 132C, 132D, 132E) é adicionalmente baseado na característica de cada segmento no local de amostragem.

14. Mídia legível por computador não transitória, de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador para: segmentar a imagem em segmentos (486) definidos por limites presumidos de elementos individuais de grão a granel; aplicar uma pluralidade de extratores de característica a cada um dos segmentos para determinar uma pluralidade de características para cada segmento, em que o escore de classificação quanto à presença da classificação de material no local de amostragem é adicionalmente baseado na pluralidade de características de cada segmento no local de amostragem.

15. Mídia legível por computador não transitória, de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador para: para cada um de uma pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) na imagem, determinar, com base na característica do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma segunda classificação de material no local de amostragem; e emitir um sinal indicando a qualidade do grão a granel da imagem com base em um agregado dos escores de classificação quanto à presença da segunda classificação de material em cada um dos locais de amostragem (132A, 132B, 132C, 132D, 132E).

16. Mídia legível por computador não transitória, de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador (28) para: aplicar uma pluralidade de extratores de característica à imagem para determinar uma pluralidade de características do grão a granel na imagem; e para cada um de uma pluralidade de diferentes locais de amostragem (132A, 132B, 132C, 132D, 132E) na imagem, determinar, com base na pluralidade de características do grão a granel no local de amostragem, um escore de classificação quanto à presença de uma segunda classificação de material no local de amostragem, em que o sinal indicando a qualidade do grão a granel da imagem é baseado em um agregado dos escores de classificação quanto à presença de uma segunda classificação de material em cada um dos locais de amostragem.

17. Mídia legível por computador não transitória, de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador (28) para aplicar uma função de calibração ao agregado dos escores de classificação para determinar uma percentagem em peso da classificação de material para a imagem, em que o sinal é baseado na determinada percentagem em peso da classificação de material para a imagem.

18. Mídia legível por computador não transitória de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador (28) para emitir um sinal indicando um nível de confidência no sinal indicando a qualidade do grão a granel da imagem.

19. Mídia legível por computador não transitória de acordo com a reivindicação 12, caracterizada pelo fato de que as instruções são ainda para direcionar o processador para emitir um sinal indicando uma incerteza no sinal indicando a qualidade do grão a granel da imagem.