BRPI0812070B1 - método e sistema para guiar um veículo - Google Patents

Description

(54) Título: MÉTODO E SISTEMA PARA GUIAR UM VEÍCULO (73) Titular: DEERE & COMPANY, Companhia Norte-Americana. Endereço: One John Deere Place, Moline, Illinois 61265, ESTADOS UNIDOS DA AMÉRICA(US) (72) Inventor: HAN SHUFENG; TERENCE DANIEL PICKETT; JOHN FRANKLIN REID.

Prazo de Validade: 10 (dez) anos contados a partir de 06/11/2018, observadas as condições legais

Expedida em: 06/11/2018

Assinado digitalmente por:

Liane Elizabeth Caldeira Lage

Diretora de Patentes, Programas de Computador e Topografias de Circuitos Integrados

1/40 “MÉTODO E SISTEMA PARA GUIAR UM VEÍCULO”

CAMPO DA INVENÇÃO [0001] Esta invenção diz respeito a um método e a um sistema para guiar um veículo com ajuste de visão.

FUNDAMENTOS DA INVENÇÃO [0002] Receptores de Sistema de Posicionamento Global (GPS) têm sido usados para prover dados de posição para aplicações de condução veicular. Entretanto, embora certos receptores de GPS com correção diferencial possam ter um erro de posicionamento geral de aproximadamente 10 centímetros (4 polegadas) durante a maior parte do seu tempo operacional, um erro de posicionamento absoluto de mais de 50 centímetros (20 polegadas) é típico para cinco por cento do seu tempo operacional. Adicionalmente, sinais de GPS podem ser bloqueados por edifícios, árvores ou outras obstruções, que podem tomar o sistema de navegação baseado apenas em GPS não confiável em certos locais ou ambientes. Dessa maneira, existe uma necessidade de suplementar ou melhorar o sistema de navegação baseado em GPS com um ou mais sensores adicionais para aumentar a precisão e robustez.

SUMÁRIO DA INVENÇÃO [0003] Um receptor de determinação de localização coleta dados de localização preliminares para um veículo durante uma janela de tempo de avaliação. Dados de orientação preliminares são determinados a partir dos dados de localização preliminares. Um módulo de visão coleta dados de visão durante a janela de tempo de avaliação. Dados de orientação de visão são determinados a partir dos dados de visão coletados. Um estimador de qualidade de visão estima dados de qualidade de visão para pelo menos um dos dados de visão e dos dados de orientação de visão para a janela de tempo de avaliação. Os dados de qualidade de visão são baseados em correlações cruzadas e em um valor de r-quadrado, onde cada correlação cruzada é entre

Petição 870180072467, de 17/08/2018, pág. 10/55

2/40 um perfil de intensidade observada dos dados de visão em uma seção e um perfil de intensidade de referência para determinar uma posição do centro da fileira. O valor r-quadrado é determinado com base em um caminho de regressão e uma ou mais posições do centro da fileira. Um ajustador ajusta os dados de orientação preliminares aos dados de orientação revisados com base nos dados de orientação de visão de maneira tal que os dados de orientação revisados fiquem em registro ou no geral coextensivos com os dados de orientação de visão, se os dados de qualidade de visão excederem um patamar mínimo.

DESCRIÇÃO RESUMIDA DOS DESENHOS [0004] A figura 1 é um diagrama de blocos de um sistema para guiar um veículo com base nos dados de orientação preliminares (por exemplo, dados de localização preliminares) e dados de orientação de visão (por exemplo, dados de localização derivados de visão) de acordo com a invenção. [0005] A figura 2 é um fluxograma de um método para guiar um veículo com base em dados de orientação preliminares (por exemplo, dados de localização preliminares) e dados de orientação de visão (por exemplo, dados de localização derivados de visão) de acordo com a invenção.

[0006] A figura 3 é um fluxograma de um outro método para guiar um veículo com base em dados de orientação preliminares (por exemplo, dados de localização preliminares) e dados de orientação de visão (por exemplo, dados de localização derivados de visão) de acordo com a invenção. [0007] A figura 4 é um gráfico que ilustra erro de posicionamento estático de dados de localização, tal como um sinal de orientação derivado de Sistema de Posicionamento Global (GPS).

[0008] A figura 5 é um gráfico que ilustra erro de posicionamento de dados de localização, tal como sinal de orientação derivado de sinal de Sistema de Posicionamento Global (GPS) depois de sintonia por um outro sensor, tal como um módulo de visão de acordo com a invenção.

Petição 870180072467, de 17/08/2018, pág. 11/55

3/40 [0009] A figura 6 é um fluxograma de uma modalidade de um método para guiar um veículo com base em dados de orientação de visão de dados de visão (por exemplo, dados de visão monocular).

[00010] A figura 7 é um fluxograma de uma outra modalidade de um método para guiar um veículo com base em dados de orientação de visão. [00011] A figura 8A é um diagrama de blocos de vários componentes ou constituintes lógicos de um estimador de qualidade de visão.

[00012] A figura 8b é um fluxograma de uma modalidade do método para determinar dados de qualidade de visão para dados de imagem ou dados de visão.

[00013] A figura 9 é uma imagem ilustrativa de uma lavoura em fileiras depois da organização ou segmentação em pixéis de lavoura e pixéis de não lavoura.

[00014] A figura 10 é um perfil de intensidade ilustrativo derivado dos pixéis de lavoura da figura 9.

[00015] A figura 11 é uma função de Fermi ilustrativa para aplicação como um gabarito ou perfil de intensidade de referência para uma janela. [00016] A figura 12 é uma função senoidal ilustrativa para aplicação como um gabarito ou um perfil de intensidade de referência para lavouras em fileiras.

[00017] A figura 13 é uma representação gráfica da determinação de correlação cruzada entre o perfil de intensidade de referência e um perfil de intensidade observado.

[00018] A figura 14 mostra um caminho de regressão (por exemplo, linha de regressão) associado com uma linha de centro aproximada de fileira de lavoura e múltiplas seções ou janelas associadas com o caminho de regressão.

[00019] A figura 15A é um diagrama de blocos de vários componentes ou constituintes lógicos de um estimador de qualidade de visão.

Petição 870180072467, de 17/08/2018, pág. 12/55

4/40 [00020] A figura 15Β é um fluxograma de uma modalidade de um método para guiar um veículo com base em dados de orientação de visão de dados de visão (por exemplo, dados de visão estéreo).

[00021] A figura 16 é uma grade de densidade de pontos que representam características de lavoura ou vegetação e uma linha de centro associada com uma fileira de lavoura.

DESCRIÇÃO DETALHADA DA MODALIDADE PREFERIDA [00022] A figura 1 é um diagrama de blocos de um sistema de orientação 11 para guiar um veículo. O sistema de orientação 11 pode ser montado ou colocado em um veículo ou robô móvel. O sistema de orientação 11 compreende um módulo de visão 22 e um receptor de determinação de localização 28 que comunicam com um ajustador 110.

[00023] O módulo de visão 22 pode ser associado com um estimador de qualidade de visão (20 ou 120). O receptor de determinação de localização 28 pode ser associado com um estimador da qualidade de localização 24. O ajustador 110 pode comunicar com um controlador veicular 25. Por sua vez, o controlador veicular 25 é acoplado a um sistema de direção 27.

[00024] O receptor de determinação de localização 28 pode compreender um receptor de Sistema de Posicionamento Global (GPS) com correção diferencial (por exemplo, um receptor de GPS e um receptor para receber um sinal de correção diferencial transmitido por um satélite ou fonte terrestre). O receptor de determinação de localização 28 fornece dados de localização (por exemplo, coordenadas) de um veículo. O receptor de determinação de localização 28 pode indicar uma ou mais das seguintes condições, estado ou estados (por exemplo, por meio de um sinal global) a pelo menos um ajustador 110 ou ao estimador da qualidade de localização 24: (1) onde o receptor de determinação de localização 28 é desabilitado, (2) onde dados de localização não são disponíveis ou estão corrompidos para um ou mais intervalos de avaliação correspondentes, e (3) onde a precisão ou

Petição 870180072467, de 17/08/2018, pág. 13/55

5/40 confiabilidade estimada dos dados de localização caem abaixo de um patamar mínimo para um ou mais intervalos de avabação. O receptor de determinação de localização 28 fornece dados de locabzação para um veículo que são bem adequados para navegação global ou planejamento do caminho global.

[00025] O módulo de locabzação 26 ou processador de dados associado com o módulo de locabzação 26 determina dados de orientação a partir de dados de locabzação coletados. Dados de orientação significam um ou mais dos dados seguintes que são derivados de dados de locabzação associados com o receptor de determinação de locabzação 28: dados de direção, dados de erro de direção, dados de desvio da trilha, dados de erro de desvio da trilha, dados de curvatura, dados de erro de curvatura, dados de locabzação derivados da visão e dados de erro de locabzação. Dados de orientação referem-se no geral a um ou mais dos seguintes itens: dados de orientação preliminar, dados de orientação revisados e dados de orientação de visão.

[00026] Em uma modalidade, o módulo de locabzação 26 pode determinar dados de orientação para guiar ou dirigir o veículo de maneira tal que o caminho veicular intercepte uma ou mais coordenadas alvos (por exemplo, pontos do caminho) ou caminhos associados com as coordenadas alvos. O módulo de locabzação 26 pode comunicar ou receber informação a respeito de coordenadas alvos, ou caminhos por meio de um planejador de caminho, um sistema de processamento de dados, um dispositivo de comunicação sem fio, uma mídia de armazenamento magnético, uma mídia de armazenamento ótico, memória eletrônica, ou de uma outra forma. Por exemplo, as coordenadas alvos ou caminhos podem ser expressas como um plano do caminho ou uma sequência de coordenadas que são baseados em fileiras de lavoura ou um mapa da área plantada de um campo. O mapa da área plantada do campo pode ser coletado por um receptor de determinação de locabzação 28 ou um outro dispositivo de determinação de localização

Petição 870180072467, de 17/08/2018, pág. 14/55

6/40 durante o plantio de uma semente, uma lavoura, uma planta ou um precursor da lavoura.

[00027] Em uma modalidade ilustrativa, o módulo de localização 26 ou receptor de determinação de localização 28 produz dados de orientação (por exemplo, dados de localização) no seguinte formato:

'<>ff _ gps gps ‘‘head. _ gps onde E_Off_gp_S é o erro de desvio da trilha estimado pelo receptor de determinação de localização 28 (por exemplo, receptor de determinação de localização 28), e Eh_ead_gps é o erro de direção estimado pelo receptor de determinação de localização 22.

[00028] O módulo de visão 22 pode compreender um sistema de coleta de imagem 31 e um sistema de processamento de imagem 33. O módulo de visão 22 ou sistema de coleta de imagem 31 coleta dados de imagem ou dados de visão, que devem ser considerados termos sinônimos em todo este documento. O módulo de visão 22 ou sistema de processamento de imagem 33 deriva dados de orientação de visão (por exemplo, dados de localização derivados da visão) dos dados de imagem ou dados de visão coletados. Os dados de orientação de visão significam um ou mais dos dados seguintes que são derivados de dados de visão associados com o módulo de visão 22: dados de direção, dados de erro de direção, dados de desvio da trilha, dados de erro de desvio da trilha, dados de curvatura, dados de erro de curvatura, dados de localização derivados da visão, dados de localização e dados de erro de localização.

[00029] Em uma modalidade, o módulo de visão 22 pode determinar dados de orientação de visão para guiar ou dirigir o veículo de maneira tal que o caminho veicular intercepte uma ou mais coordenadas alvos (por exemplo, pontos do caminho) ou caminhos associados com as coordenadas alvos. O módulo de visão 22 pode comunicar ou receber informação das coordenadas

Petição 870180072467, de 17/08/2018, pág. 15/55

7/40 alvos, ou caminhos, por meio de um planejador de caminho, um sistema de processamento de dados, um dispositivo de comunicação sem fio, uma mídia de armazenamento magnético, uma mídia de armazenamento ótico, memória eletrônica ou de outra forma. Por exemplo, as coordenadas alvos ou caminhos podem ser expressos como um plano do caminho ou uma sequência de coordenadas que são baseadas nas imagens coletadas de fileiras de lavoura ou representações derivadas das imagens coletadas. Em um exemplo, um módulo de visão 22 é capaz de identificar a localização da fileira de plantas com um erro pequeno de aproximadamente 1 centímetro para soja e aproximadamente 2,4 centímetros para milho.

[00030] Em um exemplo ilustrativo, o módulo de visão 22 produz dados de orientação de visão (por exemplo, dados de localização derivados da visão) no seguinte formato:

yVision ^off _ vision ^head _ vision onde Eofffvision é o erro de desvio da trilha estimado pelo módulo de visão 22 e Eh_ead_vision é o erro de direção estimado pelo módulo de visão 22.

[00031] O sistema de coleta de imagem 31 pode compreender um ou mais do seguinte: (1) um ou mais sistemas de formação de imagem monoculares para coletar um grupo de imagens (por exemplo, múltiplas imagens da mesma cena com diferentes ajustes de focou ou ajustes de lente, ou múltiplas imagens para diferentes campos de visão (FOV): (2) um sistema de visão estéreo (por exemplo, duas unidades de formação de imagem digital separadas por uma distância e orientação conhecidas) para determinar informação de profundidade ou coordenadas tridimensionais associadas com pontos em um objeto em uma cena; (3) um descobridor de faixa (por exemplo, descobridor de faixa laser) para determinar medições de faixa ou coordenadas tridimensionais de pontos em um objeto em uma cena; (4) um

Petição 870180072467, de 17/08/2018, pág. 16/55

8/40 sistema de radar ou um sistema de radar laser para detectar a velocidade, altitude, direção ou faixa de um objeto em uma cena; (5) um sistema laser de varredura (por exemplo, um sistema de medição laser que transmite um pulso de luz e estima a distância entre o sistema de medição laser e o objeto com base no tempo de propagação entre a transmissão do pulso e a recepção de sua reflexão) para determinar a distância a um objeto em uma cena; e (6) um sistema de formação de imagem para coletar imagens por meio de um sistema microeletromecânico ótico (MEMS), MEMS ótico de espaço livre ou um MEMS ótico integrado.

[00032] MEMS ótico de espaço livre usa semicondutores compostos e materiais com um alcance ou índices refrativos para manipular luz visível, infravermelha, ou luz ultravioleta, ao passo que MEMS óticos integrados usam componentes de polissilício para refletir, difratar, modular ou manipular luz visível, infravermelha ou luz ultravioleta. MEMS podem ser estruturados como matrizes de comutação, lentes, espelhos e reticulados de difração que podem ser fabricados de acordo com várias técnicas de fabricação de semicondutores. As imagens coletadas pelo módulo de visão 22 ou sistema de coleta de imagem 31 podem ser em cores, monocromáticas, em preto e branco, ou imagens em escala de cinza, por exemplo.

[00033] O módulo de visão 22 ou dados de localização derivados de visão podem suportar a coleta de dados de posição (coordenadas bi ou tridimensionais) correspondentes à localização de características de um objeto na imagem. O módulo de visão 22 é bem adequado para usar (a) características ou características locais de um ambiente em tomo de um veículo, (b) dados de posição ou coordenadas associados com tais características, ou ambos, para facilitar a navegação do veículo. As características locais podem compreender uma ou mais das seguintes: localização da fileira de plantas, localização da cerca, localização do edifício, localização da borda do campo, localização do limite, localização de seixos

Petição 870180072467, de 17/08/2018, pág. 17/55

9/40 rolados, localizações de rochas (por exemplo, maiores que um tamanho ou volume patamar mínimo), saliências e valas no solo, localização de árvores, localização da margem da lavoura, uma borda de corte na vegetação (por exemplo, turfa) e um marcador de referência. Os dados de orientação de visão (por exemplo, dados de localização derivados de visão) ou dados de posição de características locais podem ser usados para sintonizar (por exemplo, corrigir a deriva) os dados de orientação preliminares (por exemplo, dados de localização preliminares) do receptor de determinação de localização 28 com base regular (por exemplo, periodicamente).

[00034] Em um exemplo, um marcador de referência pode ser associado com coordenadas de localização de alta precisão. Adicionalmente, outras características locais podem ser relacionadas com a posição do marcador de referência. A posição do veículo atual pode ser relacionada com a posição do marcador de referência ou a localização fixa das características locais ou a localização do veículo. Em uma modalidade, o módulo de visão 22 pode expressar os dados de localização derivados de visão sobre a localização do veículo 22 em coordenadas ou um formato de dados que é similar ou substancialmente equivalente às coordenadas ou formato de dados do receptor de determinação de localização 28.

[00035] O módulo de visão 22 pode indicar um ou mais do seguinte por meio de uma mensagem de estado ou dados pelo menos ao ajustador 110 ou ao estimador de qualidade de visão 20: (1) se o módulo de visão 22 está desabilitado, (2) se os dados de orientação de visão (por exemplo, dados de localização derivados de visão) não estão disponíveis durante um ou mais intervalos de avaliação, (3) se os dados de orientação de visão (por exemplo, dados de localização derivados de visão) são instáveis ou corrompidos, e (4) se os dados de imagem ou dados de orientação de visão são sujeitos a um nível de precisão, um nível de desempenho ou um nível de confiabilidade que não atende um nível de desempenho/confiabilidade patamar.

Petição 870180072467, de 17/08/2018, pág. 18/55

10/40 [00036] O estimador da qualidade de localização 24 pode compreender um ou mais dos seguintes dispositivos: um indicador de intensidade de sinal associado com o receptor de determinação de localização 28, um indicador da taxa de erro de bits associado com o receptor de determinação de localização 28, um outro dispositivo para medir qualidade de sinal, uma taxa de erro, intensidade de sinal, ou desempenho de sinais, canais ou códigos transmitidos para localização-determinação. Adicionalmente, para determinação de localização baseada em satélite, o estimador da qualidade de localização 24 pode compreender um dispositivo para determinar se um número mínimo de sinais de satélite (por exemplo, sinais de quatro ou mais satélites na banda Ll para o GPS) de uma qualidade de sinal suficiente são recebidos pelo receptor de determinação de localização 28 para prover dados de localização confiáveis para um veículo durante um intervalo de avaliação.

[00037] O estimador da quabdade de localização 24 estima a qualidade dos dados de localização preliminares ou dados de quabdade de localização (por exemplo, Qgps) produzidos pelo receptor de determinação de localização 28. O estimador da quabdade de localização 24 pode estimar a quabdade dos dados de localização preliminares com base no indicador de intensidade de sinal (ou taxa de erro de bits) de cada componente do sinal recebido pelo receptor de determinação de localização 28. O estimador da quabdade de localização 24 pode também basear a estimativa de quabdade em qualquer dos seguintes fatores: (1) o número de sinais de satélite que estão disponíveis em uma área, (2) o número de satélites que são adquiridos ou recebidos pelo receptor de determinação de localização, com uma quabdade de sinal suficiente (por exemplo, perfil de intensidade de sinal) e (3) se cada sinal de satélite tem um nível de sinal aceitável ou uma taxa de erro de bits (BER) ou taxa de erro de quadros (FER) aceitável.

[00038] Em uma modalidade, diferentes faixas de intensidade de sinal são associadas com diferentes níveis de quabdade correspondentes. Por

Petição 870180072467, de 17/08/2018, pág. 19/55

11/40 exemplo, a faixa de intensidade de sinal mais baixa é associada com a baixa qualidade, uma faixa de intensidade de sinal média é associada com uma qualidade ruim, e a faixa de intensidade de sinal de sinal mais alta é associada com a melhor qualidade. Ao contrário, a faixa da taxa de erro de bits menor é associada com a melhor qualidade, a faixa de erro de bit média é associada com a qualidade ruim, e a faixa de taxa de erro de bits maior é associada com o menor nível de quabdade.

[00039] O estimador de quabdade de visão 20 estima a quabdade de dados de orientação de visão (por exemplo, dados de locabzação derivados de visão) produzidos pelo módulo de visão 22. A quabdade dos dados de orientação de visão pode ser expressa como dados de quabdade de visão (por exemplo, Qvision). O estimador de quabdade de visão 20 pode considerar a iluminação presente durante uma série de intervalos de tempo na qual o módulo de visão 22 opera e adquire imagens correspondentes. O estimador de quabdade de visão 20 pode incluir um fotodetector, um fotodetector com lentes seletivas de frequência correspondentes, um dispositivo acoplado de carga (CCD), um fotômetro, célula de sulfeto de cádmio ou similares. Adicionalmente, o estimador de quabdade de visão 30 compreende um relógio ou cronômetro para marcar a hora de coleta de imagem e medições de iluminação correspondente (por exemplo, valores de luminância para imagens). Em um exemplo ilustrativo, se a iluminação estiver dentro de uma baixa faixa de intensidade, a quabdade de visão é baixa para o intervalo de tempo; se a iluminação estiver dentro de uma faixa de intensidade média, a quabdade da visão é alta para o intervalo de tempo; e, se a iluminação estive dentro de uma faixa de intensidade alta, a quabdade da visão é fraca, baixa ou alta para o intervalo de tempo, dependendo as subfaixas definidas dentro da faixa de intensidade alta. A faixa de intensidade citada em função da quabdade pode ser apbcada com base na frequência de luz por frequência de luz ou cor de luz, em um exemplo. Em um outro exemplo, a faixa de

Petição 870180072467, de 17/08/2018, pág. 20/55

12/40 intensidade em função da qualidade pode ser aplicada para frequências na faixa infravermelha e para frequências na faixa ultravioleta diferentemente do que para luz visível.

[00040] A estimativa de qualidade da visão pode estar relacionada com uma medição de confiança no processamento das imagens. Se as características desejadas (por exemplo, fileiras de plantas) estão aparentes em uma ou mais imagens, o estimador de qualidade de visão 20 pode atribuir uma alta qualidade de imagem ou alto nível de confiança para as imagens correspondentes. Ao contrário, se as características desejadas não estão aparentes em uma ou mais imagens (por exemplo, por causa de falta de fileiras de lavouras), o estimador de qualidade de visão 20 pode atribuir uma baixa qualidade de imagem ou um baixo nível de confidência. Em um exemplo, o nível de confidência é determinado com base em uma soma das diferenças absolutas (SAD) da intensidade média de cada vetor de coluna (por exemplo, vetor velocidade do módulo de visão 22) para o par guinada/arfagem hipotetizado. Guinada pode ser definida com a orientação do módulo de visão 22 em um plano w-y e arfagem pode ser definida como a orientação do módulo de visão 22 no plano x-z, que é geralmente perpendicular ao plano x-y.

[00041] Se o módulo de visão 22 não for capaz de localizar ou fazer referência a uma característica de referência ou marcador de referência em uma imagem, ou não tiver referenciado um marcador de referência em uma imagem durante um tempo máximo de patamar, o módulo de visão 22 pode alertar o estimador de qualidade de visão 20, que pode degradar a qualidade dos dados de localização derivados de visão ou um indicador de degradação da qualidade.

[00042] Em geral, o ajustador 110 compreende um processador de dados, um microcontrolador, um microprocessador, um processador de sinal digital, um processador incorporado ou qualquer outro dispositivo

Petição 870180072467, de 17/08/2018, pág. 21/55

13/40 programável (por exemplo, programável no campo) programado com instruções de software. O ajustador 110 pode ser associado com um controlador de veículo 25. Em uma modalidade, o ajustador 110 compreende um controlador de regra. O controlador de regra do ajustador 110 pode aplicar os dados de orientação preliminares (por exemplo, dados de localização preliminares) ou um derivado destes, como o sinal de controle de erro por um intervalo de tempo correspondente, a menos que os dados de qualidade de visão excedam o nível de patamar mínimo. Pode não ser necessário nenhum ajuste, a menos que os dados de orientação preliminares (por exemplo, dados de localização preliminares) e os dados de orientação de visão (por exemplo, dados de localização derivados de visão) sejam diferentes em mais do que uma tolerância máxima). O peso da visão determina a extensão que a contribuição dos dados de orientação de visão (por exemplo, y_Vi_Sion) do módulo de visão 22 governa. O peso da localização determina a extensão da contribuição de dados de orientação (por exemplo, dados de localização) do módulo de locabzação 22 governa. O misturador 14 determina as contribuições relativas de dados de orientação (por exemplo, yGPs) ^e dados de orientação de visão (por exemplo, y_Vi_Sion) ao sinal de controle de erro (por exemplo, y) com base tanto no peso da visão quanto no peso da locabzação. Em uma modabdade, o misturador 14 pode compreender um filtro digital, um processador de sinal digital, ou um outro processador de dados arranjado para apbcar um ou mais do seguinte: (1) peso de dados de orientação de visão (por exemplo,, peso de dados de locabzação derivados de visão), (2) o peso de dados de locabzação, e (3) uma expressão de razão de mistura das contribuições relativas dos dados de locabzação e dos dados de locabzação derivados de visão para um intervalo de tempo de avaliação.

[00043] O sinal de controle de erro representa uma diferença (ou um erro) entre os dados de orientação estimados e os dados de orientação reais para abnhar o veículo a uma trilha de coordenadas alvos ou um caminho alvo.

Petição 870180072467, de 17/08/2018, pág. 22/55

14/40

Por exemplo, o sinal de controle de erro pode representar a diferença (ou erro) entre dados de localização (medidos pelo módulo de visão 22 e pelo módulo de localização 26) e a real localização do veículo. Um sinal de controle de erro como este é alimentado ao controlador do veículo 25 para derivar um sinal de controle compensado. O sinal de controle compensado corrige o gerenciamento e controla o sistema de direção 27 com base no sinal de controle de erro. O sistema de direção 27 pode compreender uma interface elétrica para comunicação com o controlador do veículo 25. Em uma modalidade, a interface elétrica compreende um sistema de direção hidráulico controlado por solenóide ou um outro dispositivo eletromecânico para controlar fluido hidráulico.

[00044] Em uma outra modalidade, o sistema de direção 27 compreende uma unidade do sistema de direção (SSU). A SSU pode ser associada com uma exigência de direção versus tempo para dirigir ou direcionar o veículo ao longo de um curso desejado ou em conformidade com um plano de caminho desejado ou alvo, ou coordenadas alvos. A direção é associada com um erro de direção (expresso como a diferença entre o ângulo de direção real e o ângulo de direção desejado).

[00045] A SSU pode ser controlada para compensar erros na posição estimada do veículo pelo módulo de visão 22 ou pelo receptor de determinação de localização 28. Por exemplo, um erro de desvio da trilha indica ou é representativo da real posição do veículo (por exemplo, em coordenadas GPS) versus a posição desejada do veículo (por exemplo, em coordenadas GPS). O erro de desvio da trilha pode ser usado para modificar o movimento do veículo com uma direção compensada. Entretanto, se não houver erro de desvio da trilha em nenhum ponto de tempo, ou intervalo de tempo, uma direção descompensada pode ser suficiente. O erro de direção é uma diferença entre a direção real do veículo e a direção estimada do veículo pelo módulo de visão 22 e pelo receptor de determinação de localização 28.

Petição 870180072467, de 17/08/2018, pág. 23/55

15/40 [00046] A figura 2 é um fluxograma de um método para guiar um veículo com dados de orientação de visão (por exemplo, dados de localização derivados de visão) e dados de localização. O método da figura 2 começa na etapa S200.

[00047] Na etapa S200, um receptor de determinação de localização 28 coleta dados de localização preliminares para um veículo associado com ele. Por exemplo, o receptor de determinação de localização 28 (por exemplo, um receptor GPS com correção diferencial) pode ser usado para determinar coordenadas do veículo para um ou mais intervalos de tempo de avaliação, ou tempos correspondentes.

[00048] Na etapa S201, o módulo de localização 26 ou receptor de determinação de localização 28 determina os respectivos dados de orientação associados com os dados de localização preliminares. Dados de orientação compreendem um ou mais dos seguintes itens que são derivados dos dados de localização preliminares coletados: dados de direção, dados de erro de direção, dados de desvio da trilha, dados de erro de desvio da trilha, dados de curvatura, dados de erro de curvatura e sinal de erro de localização. Os dados de direção referem-se à direção (por exemplo, orientação angular) de um veículo (por exemplo, um eixo longitudinal do veículo) em relação a uma direção de referência (por exemplo, norte magnético). O erro de direção é uma diferença entre a real direção do veículo e a direção do veículo alvo. O erro de direção pode ser associado com erros (por exemplo, erro de medição, erros do sistema, ou ambos) em pelo menos um do módulo de visão 22, do módulo de localização 26, do controlador do veículo 25 ou do sistema de direção 27. Dados de desvio da trilha indicam um deslocamento da posição do caminho do veículo em relação a uma posição do caminho do veículo desejada. Um erro de desvio da trilha indica ou é representativo da diferença entre a real posição do veículo (por exemplo, em coordenadas GPS) e a posição desejada do veículo (por exemplo, em coordenada GPS). A curvatura

Petição 870180072467, de 17/08/2018, pág. 24/55

16/40 é a mudança da direção no caminho desejado. Por exemplo, curvatura é a taxa de mudança do ângulo tangente com o caminho do veículo entre quaisquer dois pontos de referência (por exemplo, pontos adjacentes) ao longo do caminho.

[00049] O sinal de erro de orientação ou o sinal de erro de localização (por exemplo, yops) pode representar uma (a) diferença entre a localização veicular real e uma localização veicular desejada para um tempo desejado, (2) uma diferença entre a direção veicular real e uma direção veicular desejada para um tempo ou posição desejada, (3) ou uma outra expressão de erro associada com os dados de localização ou dados de orientação. O sinal de erro de localização pode ser definido como dados vetoriais, mas não precisa ser definido.

[00050] Na etapa S202, um módulo de visão 22 coleta dados de visão para o veículo durante a janela de tempo de avaliação. Por exemplo, o módulo de visão 22 pode coletar uma ou mais imagens de fileiras de lavoura em uma direção geral de deslocamento à medida que um veículo move-se em um campo, cada imagem coletada pode ser associada com um intervalo de tempo de avaliação correspondente.

[00051] Na etapa S203, o módulo de visão 22 determina dados de orientação de visão (por exemplo, dados de localização derivados de visão ou um sinal de erro de visão) para um ou mais dos intervalos de tempo de avaliação ou tempos correspondentes. Por exemplo, o módulo de visão 22 pode coletar imagens e processar as imagens coletadas para determinar dados de localização derivados de visão. Em um exemplo, os dados de localização derivados de visão compreendem dados de posição derivados da visão de um veículo, que são obtidos por referência a um ou mais marcadores ou características de referência visuais com localizações conhecidas correspondentes para determinar coordenadas de um veículo. As coordenadas de um veículo podem ser determinadas de acordo com um sistema de

Petição 870180072467, de 17/08/2018, pág. 25/55

17/40 coordenadas global ou um sistema de coordenadas locais.

[00052] O sinal de erro de orientação de visão ou o sinal de erro de visão (por exemplo, y_Vi_Sion) representa (1) uma diferença entre a localização veicular real e uma localização veicular desejada para um tempo desejado, (2) uma diferença entre a direção veicular real e uma direção veicular desejada para um tempo ou posição desejada, (3) ou uma outra expressão de erro associada com os dados de localização derivados de visão ou dados de orientação de visão.

[00053] Na etapa S204, o estimador de qualidade de visão 20 estima dados de qualidade de visão durante o intervalo de tempo de avaliação. O estimador de qualidade de visão 20 pode compreender um detector de luminância ou fotodetector para marcar a hora das medições de luminância para determinar o nível de qualidade com base nas condições de iluminação ambientes. O estimador de qualidade de visão 20 pode também compreender uma medição da confidência ou confiabibdade no processamento das imagens para obter características desejadas. A confidência ou confiabibdade no processamento de imagens pode depender de quaisquer dos seguintes fatores, entre outros: especificação técnica (por exemplo, resolução) do módulo de visão 22, confiabibdade de reconhecimento de um objeto (por exemplo, ponto de referência de uma imagem), confiabibdade da estimativa de uma locabzação do objeto reconhecido ou de um ponto nele, confiabilidade de converter coordenadas de imagem ou coordenadas locais em coordenadas globais ou dados de locabzação derivados de visão que são espacialmente e temporalmente consistentes com os dados de locabzação do receptor de determinação de localização 28.

[00054] A etapa S204 pode ser reabzada por várias técnicas que podem ser apbcadas alternadamente ou cumulativamente. Em uma primeira técnica, o estimador de quabdade de visão 20 pode estimar uma confidência ou confiabibdade dos dados de localização derivados de visão. Em uma segunda

Petição 870180072467, de 17/08/2018, pág. 26/55

18/40 técnica, o estimador de qualidade de visão 20 primeiro estima o nível de confidência, nível de confiabilidade ou um outro nível de qualidade na precisão dos dados de localização derivados de visão; e, segundo, o estimador de qualidade de visão 20 converte o nível de qualidade em um valor linguístico correspondente.

[00055] Na etapa S206, um ajustador 110 ou controlador do veículo 25 ajusta os dados de orientação preliminares (por exemplo, dados de localização preliminares) aos dados de orientação revisados (por exemplo, dados de localização revisados) com base nos dados de orientação de visão (por exemplo,, dados de localização derivados de visão) de maneira tal que os dados de orientação revisados (por exemplo, dados de localização revisados) fiquem em registro ou no geral coextensivos com os dados de orientação de visão (por exemplo, dados de localização derivados de visão), se os dados de qualidade de visão excederem o nível de patamar mínimo. Por exemplo, o ajustador 110 ou controlador do veículo 25 pode ajustar os dados de localização preliminares de qualquer de uma brecha de tempo ou janela de tempo de avaliação, onde os dados de qualidade de visão excedem um nível de patamar mínimo e se qualquer disparidade ou diferença entre os dados de orientação de visão e dados de orientação preliminares for substancial. Registrado ou no geral coextensivo significa que os dados de localização derivados de visão e os dados de localização preliminares para o mesmo intervalo de tempo são no geral coextensivos ou diferem em uma tolerância máxima (por exemplo, que pode ser expressa como uma distância, um vetor, ou separação em segundos (ou outras unidades) entre coordenadas geográficas). Por exemplo, a máxima tolerância pode ser estabelecida em uma distância particular (por exemplo, 2,54 centímetros) dentro de uma faixa de um centímetro a 10 centímetros.

[00056] Em uma modalidade, o ajustador 110 transmite ou disponibibza um sinal de controle de erro ao controlador veicular 25 com base

Petição 870180072467, de 17/08/2018, pág. 27/55

19/40 nos dados de localização preliminares ou dados de localização revisados. Os dados de localização revisados, ou o sinal de controle de erro derivado deles, podem ser atualizados com base em cada fenda de tempo (por exemplo, durante uma janela de tempo de aplicação). Cada brecha de tempo pode ser compatível com o escopo do intervalo de tempo de avaliação.

[00057] O ajustador 206 pode melhorar a confiabilidade e precisão dos dados de locabzação revisados ou informação de posição que são providos para navegação e controle do veículo usando os dados de locabzação derivados de visão de quabdade verificada com uma marca de referência de quabdade contra os dados de locabzação prebminares. Embora os dados de locabzação prebminares e dados de qualidade derivados de visão sejam coletados durante um intervalo de tempo de avaliação, o ajuste da etapa S206 aos dados de locabzação revisados podem ser apbcados durante um intervalo de tempo de apbcação que cobre o intervalo de tempo de avaliação ou que é substancialmente coextensivo com o intervalo de tempo de avabação. Independente de como o intervalo de tempo de avabação e o intervalo de tempo de apbcação são definidos neste exemplo, em outros exemplos, o ajustador 110 pode prover dados de controle preditivos, dados de controle de abmentação direta ou dados de controle de realimentação ao controlador do veículo 25.

[00058] O método da figura 3 é similar ao método da figura 2, exceto que o método da figura 3 inclui a etapa adicional S205 e substitui a etapa S206 pela etapa S208. Números de referência iguais indica procedimentos ou etapas iguais.

[00059] Na etapa S205, o estimador da quabdade de locabzação 24 estima os dados de quabdade de locabzação para os dados de locabzação ou dados de orientação durante uma janela de tempo de avabação. A etapa S205 pode ser reabzada por várias técnicas que podem ser apbcadas alternadamente ou cumulativamente. Em uma primeira técnica, o estimador da quabdade de

Petição 870180072467, de 17/08/2018, pág. 28/55

20/40 localização 24 pode estimar ou medir qualidade de sinal, uma taxa de erro (por exemplo, taxa de erro de bits ou taxa de erro de quadros), um nível de intensidade de sinal (por exemplo, em dBm) ou outros níveis de qualidade. Em uma segunda técnica, o estimador da qualidade de localização 24 primeiro estima ou mede a qualidade de sinal, uma taxa de erro (por exemplo, taxa de erro de bits ou taxa de erro de quadros), um nível de intensidade de sinal (por exemplo, em dBm) ou outro nível de qualidade; segundo, o estimador da qualidade de localização 24 classifica os dados de qualidade de sinal em faixas, descrições linguísticas, valores linguísticos, ou de outra forma.

[00060] Na etapa S208, um ajustador 110 ou controlador do veículo 25 ajusta os dados de orientação preliminares (por exemplo, dados de localização preliminares) aos dados de orientação revisados (por exemplo, dados de localização revisados) com base nos dados de orientação de visão (por exemplo, dados de localização derivados de visão) de maneira tal que os dados de orientação revisados fiquem em registro ou no geral coextensivos com os dados de orientação de visão, se os dados de qualidade de visão excederem o nível de patamar mínimo e se os dados de qualidade de localização ou dados de orientação forem menores ou iguais a um nível de patamar de disparo. Por exemplo, o ajustador 110 ou controlador do veículo 25 pode ajustar os dados de localização preliminares para qualquer brecha de tempo ou janela de tempo de avaliação, (a) onde os dados de qualidade de visão excedem um nível de patamar mínimo e (b) onde os dados de qualidade de visão são menores ou iguais a um nível de patamar de disparo ou de qualquer disparidade ou diferença entre os dados de orientação de visão e dados de orientação preliminares for substancial. Por exemplo, o nível de patamar de disparo pode ser onde a confiabilidade ou precisão dos dados de localização preliminares é menor que o desejado em virtude da falta de confiabilidade de satélites, ou baixa qualidade do sinal recebido (por exemplo, baixa intensidade de sinal) de sinais de satélite ou transmissões auxiliares (por

Petição 870180072467, de 17/08/2018, pág. 29/55

21/40 exemplo, referências terrestres) usadas para determinar dados de localização preliminares com precisão. O ajustador 206 pode melhorar a confiabilidade e precisão dos dados de localização revisados ou informação de posição que é provida para navegação ou controle do veículo usando os dados de orientação de visão (por exemplo, dados de localização derivados de visão) de qualidade comprovada como uma marca de referência de qualidade contra os dados de orientação preliminares (por exemplo, dados de localização preliminares). O método da figura 3 faz o ajuste aos dados de localização revisados de uma maneira mais seletiva do que a figura 2, impondo a condição adicional de que a qualidade dos dados de localização caia abaixo de um padrão (eletrodo, nível de patamar de disparo).

[00061] A figura 4 é um gráfico que ilustra erro de posicionamento estático de dados de localização, tal como um sinal GPS diferencial. O eixo vertical mostra erro na distância (por exemplo, metros), ao passo que o eixo horizontal mostra o tempo (por exemplo, segundos).

[00062] A figura 5 é um gráfico que ilustra erro de posicionamento dinâmico de dados de localização, tal como sinal GPS diferencial (por exemplo, dados de localização) depois de sintonizar em uma frequência ou taxa de atualização desejada. O eixo vertical mostra erro em distância (por exemplo, metros), ao passo que o eixo horizontal mostra tempo (por exemplo, segundos). A figura 5 mostra o erro original sem sintonia como pontos circulares cheios e erro depois da sintonia como círculos. A sintonia alcançada usando os dados de localização derivados de visão para ajustar os dados de localização em intervalos regulares (por exemplo, em intervalos de 5 segundos ou 2 Hz, como ilustrado na figura 5).

[00063] A figura 6 ilustra um método para ajustar a posição ou direção de um veículo com base em dados de visão. O método da figura 6 começa na etapa S600.

[00064] Na etapa S600, um receptor de determinação de localização 28

Petição 870180072467, de 17/08/2018, pág. 30/55

22/40 coleta dados de localização (por exemplo, dados de direção) para o veículo durante um intervalo de tempo de avaliação.

[00065] Na etapa S601, o módulo de localização 26 ou o receptor de determinação de localização 28 determina os dados de orientação (por exemplo, dados de direção) a partir dos dados de localização coletados. Por exemplo, o módulo de localização 26 pode determinar dados de orientação a partir de dois conjuntos de coordenadas que são coletados em um primeiro tempo e um segundo tempo durante o intervalo de tempo de avaliação. Dados de orientação compreendem um ou mais dos seguintes itens derivados de dados de localização coletados: dados de direção, dados de erro de direção, dados de desvio da trilha, dados de erro de desvio da trilha, dados de curvatura, dados de erro de curvatura e um sinal de erro de localização. [00066] Os dados de direção referem-se à direção (por exemplo, orientação angular) de um veículo (por exemplo, um eixo longitudinal do veículo) em relação a uma direção de referência (por exemplo, norte magnético). O erro de direção é uma diferença entre a direção do veículo real e a direção do veículo alvo. O erro de direção pode ser associado com erros (por exemplo, erro de medição) em pelo menos um do módulo de visão 22 e do módulo de localização 26.

[00067] Dados de desvio da trilha indicam um deslocamento da posição do caminho do veículo de uma posição do caminho do veículo desejada. Um erro de desvio da trilha indica ou é representativo da diferença entre a posição real do veículo (por exemplo, em coordenadas GPS) e a posição desejada do veículo (por exemplo, em coordenadas GPS).

[00068] A curvatura é a mudança na direção em relação ao caminho desejado. Por exemplo, curvatura é a taxa de mudança no ângulo tangente ao caminho do veículo entre quaisquer dois pontos de referência (por exemplo, pontos adjacentes) ao longo do caminho.

[00069] Na etapa S602, o módulo de visão 22 ou sistema de coleta de

Petição 870180072467, de 17/08/2018, pág. 31/55

23/40 imagem 31 coleta dados de visão ou dados de imagem para o veículo durante o intervalo de tempo de avaliação. Os dados de visão coletados podem compreender dados de visão monocular ou dados de visão estéreo, por exemplo.

[00070] Na etapa S603, o módulo de visão 22 ou sistema de processamento de imagem 33 determina os dados de orientação da visão (por exemplo, dados de direção de visão) a partir de dados de visão coletados. [00071] Na etapa S604, o estimador de qualidade de visão (20, 120 ou 220) estima dados de qualidade de visão para pelo menos um dos dados de visão e dos dados de orientação de visão durante o intervalo de tempo de avaliação, onde os dados de qualidade de visão são baseados em uma correlação cruzada e em um valor r-quadrado. A correlação cruzada é entre um perfil de intensidade observado dos dados de visão e uma seção e um perfil de intensidade de referência para determinar posições de centro da fileira. Um valor r-quadrado é entre um caminho de regressão e as posições de centro da fileira. A estimativa da qualidade da visão da etapa S602 é bem adequada para aplicação a dados de visão monocular (por exemplo, coletados na etapa S602).

[00072] Na etapa S606, um ajustador 110 ou controlador ajusta os dados de orientação preliminares (por exemplo, dados de direção preliminares) dos dados de orientação revisados (por exemplo, dados de direção revisados) com base nos dados de orientação de visão (por exemplo, dados de direção de visão) de maneira tal que os dados de orientação revisados (por exemplo, dados de direção revisados) fiquem em registro ou no geral coextensivos com os dados de orientação de visão, se os dados de qualidade de visão excederem um patamar mínimo. Por exemplo, o ajustador 110 ou controlador ajusta os dados de orientação preliminares aos dados de orientação revisados com base nos dados de orientação de visão, se os dados de qualidade de visão excederem um patamar mínimo e se qualquer

Petição 870180072467, de 17/08/2018, pág. 32/55

24/40 disparidade ou diferença entre os dados de orientação de visão e os dados de orientação preliminares for substancial.

[00073] O método da figura 7 é similar ao método da figura 6, exceto que etapa S605 substitui a etapa S604. Números de referência iguais na figura e na figura 7 indicam etapas ou procedimentos iguais.

[00074] Na etapa S605, o estimador de qualidade de visão (20, 120 ou 220) estima dados de qualidade de visão para pelo menos um dos dados de visão e dos dados de orientação de visão durante o intervalo de tempo de avaliação, onde os dados de qualidade de visão são baseados em um caminho de regressão e pontos da malha de densidade. A estimativa de qualidade da visão da etapa S605 é bem adequada para apbcação a dados de visão estéreo (por exemplo, coletados na etapa S602).

[00075] A figura 8A é um diagrama de blocos de uma configuração ilustrativa de um estimador de qualidade de visão 120. As conexões entre os componentes (por exemplo, 70, 72, 74, 76, 78, 80, 82, 84 e 86) da figura 8A podem representar caminhos de dados lógicos, caminhos de dados físicos, ou ambos.

[00076] O organizador 70 comunica com um módulo de perfil de intensidade 72. O módulo de correlação cruzada 76 pode receber dados de entrada do subdivisor 74, do dispositivo de armazenamento de dados 86 e do módulo de perfil de intensidade 72. O dispositivo de armazenamento de dados 86 armazena um perfil de intensidade de referência 88 para recuperação ou acesso pelo módulo de correlação cruzada 76. O módulo de correlação cruzada 76 produz dados para o estimador 84. O subdivisor 74 comunica com o estimador de centro da fileira 78. O estimador da fileira de centro 78 e o arranjador 80 fornecem dados de entrada para o avahador de variação 82. Por sua vez, o avahador de variação 82 produz dados para o estimador 84.

[00077] O módulo de visão 22 fornece um ou mais dos seguintes ao estimador de qualidade de visão 120: dados de visão, dados de imagem, e

Petição 870180072467, de 17/08/2018, pág. 33/55

25/40 dados de orientação de visão. Na forma aqui usada, dados de imagem e dados de visão devem ser considerados termos sinônimos. O módulo de visão 22 pode determinar dados de orientação de visão a partir de dados de visão ou imagem coletados.

[00078] Na figura 8A, o estimador de qualidade de visão 120 fica arranjado para estimar dados de qualidade de visão para pelo menos um dos dados de visão (ou dados de imagem) e dos dados de orientação de visão durante o intervalo de tempo de avaliação. O estimador de qualidade de visão 120 pode determinar dados de qualidade de visão com base em correlações cruzadas e em um valor r-quadrado. Cada correlação cruzada é determinada entre um perfil de intensidade observado dos dados de imagem em uma seção e um perfil de intensidade de referência para determinar posições de centro da fileira. Um valor r-quadrado é determinado entre o caminho de regressão e as posições de centro da fileira.

[00079] Um organizador 70 organiza uma imagem coletada em pixéis de lavoura e pixéis de não lavoura. Um módulo de perfil de intensidade 72 determina um perfil de intensidade com base em valores de intensidade dos pixéis de lavoura. Um dispositivo de armazenamento de dados 86 armazena um perfil de intensidade de referência associado com um grupo de fileiras de lavoura, ou com uma única fileira de lavoura. Um subdivisor 74 subdivide a imagem coletada em múltiplas seções ou janelas sobrepostas.

[00080] Em geral, o módulo de correlação cruzada 76 determina uma correlação cruzada entre o perfil de intensidade (provido pelo módulo de perfil de intensidade 72) e um perfil de intensidade de referência 88 para cada uma das seções. Em uma modalidade, o módulo de correlação cruzada 76 fica arranjado para determinar uma correlação cruzada normalizada como a correlação cruzada. A correlação cruzada normalizada é baseada em uma correlação cruzada média para um grupo de seções dos dados de imagem. Cada seção é associada com uma posição do centro da fileira correspondente,

Petição 870180072467, de 17/08/2018, pág. 34/55

26/40 que é determinada por um estimador de centro da fileira 78.

[00081] O subdivisor 74 comunica ou toma disponíveis seções ou janelas sobrepostas ao estimador de centro da fileira 78. O estimador de centro da fileira 78 é configurado para estimar as posições de centro da fileira associadas com seções ou subdivisões correspondentes dos dados de imagem. O arranjador 80 é configurado para determinar o caminho de regressão coincidente com as posições de centro da fileira. Por exemplo, o arranjador 80 arranja posições de centro de fileira estimadas em um caminho de regressão (por exemplo, Unha de regressão) definindo uma representação de uma posição e orientação de uma fileira de lavoura.

[00082] Um avaliador de variação 82 determina um valor r-quadrado entre o caminho de regressão (por exemplo, Unha de regressão) e as posições de centro da fileira. Um estimador 84 determina dados de qualidade de visão com base nas correlações cruzadas determinadas e no valor r-quadrado para apbcação a um controlador do veículo 25 ou ajustador 110 para direção de um veículo. Os dados de orientação compreendem pelo menos um de dados de direção, dados de desvio da trilha e dados de curvatura, por exemplo.

[00083] A figura 8B é um método para estimar a qualidade de dados de visão ou dados de orientação de visão. O método da figura 8B começa na etapa S800.

[00084] Na etapa S800, o módulo de visão 22 ou sistema de processamento de imagem 33 organiza uma imagem coletada em pixéis de lavoura e pixéis de não lavoura. O módulo de visão 22 ou sistema de processamento de imagem 33 podem usar discriminação de cores para organizar ou segmentar a imagem coletada em pixéis de lavoura e pixéis de não lavoura. Pixéis de lavoura podem ser definidos pelas cores da vegetação de referência (por exemplo, tonalidades verdes) ou similares. A figura 9 fornece uma ilustração da organização de imagem coletada em pixéis de lavoura e pixéis de não lavoura, consistente com a etapa S800.

Petição 870180072467, de 17/08/2018, pág. 35/55 /40 [00085] Na etapa S802, o módulo de visão 22 ou sistema de processamento de imagem 33 determina um perfil de intensidade observado com base em valores de intensidade de pixel observados dos pixéis de lavoura. Por exemplo, o módulo de visão 22 ou o sistema de processamento de imagem 33 determina um perfil de intensidade observado para um limite entre pixéis de lavoura e pixéis de não lavoura. Em uma modalidade, o perfil de intensidade observado pode indicar uma ou mais bordas de lavoura, ou um limite no geral linear entre os pixéis de lavoura e pixéis de não lavoura. [00086] O módulo de visão 22 ou o sistema de processamento de imagem 33 qualifica pixéis para sócios no perfil de intensidade observado considerando que os pixéis no perfil de intensidade de pixel atendem um critério ou exigência de intensidade de pixel (por exemplo, mínima intensidade de pixel para uma cor de vegetação ou faixa de frequência de luz correspondente a esta). A intensidade de pixel pode ser definida como um brilho de um pixel no espaço de cor monocromático (por exemplo, para a cor verde particular, sombra e nuance associados com a vegetação) ou brilho de um componente vermelho, verde e azul no espaço de cor RGB, por exemplo. A intensidade de pixel da lavoura é em geral proporcional à irradiância ou radiação eletromagnética (por exemplo, de uma ou mais bandas de frequência de luz visível) que é refletida ou incidente em uma parte da lavoura (por exemplo, uma parte de uma área superficial de lavoura) em uma imagem coletada. Os valores de intensidade de pixel para pixéis de lavoura podem atender ou exceder uma intensidade de patamar mínima para uma cobertura de vegetação de uma fileira de lavoura, incluindo um limite de uma fileira de lavoura, onde pixéis de lavoura são adjacentes a pixéis de não lavoura. Similarmente, os valores de intensidade de pixel para pixéis de lavoura podem atender ou exceder uma intensidade de patamar mínima para material de lavoura colhido que fica disposto no terreno, ou uma leira, incluindo um limite da leira.

Petição 870180072467, de 17/08/2018, pág. 36/55

28/40 [00087] Na etapa S804, o módulo de visão 22 ou sistema de processamento de imagem 33 estabelece um perfil de intensidade de referência associado com um grupo de fileiras de lavoura ou uma única fileira de lavoura (por exemplo, leira). O perfil de intensidade de referência compreende um gabarito que pode variar com base se o material da planta fica arranjado em um grupo de fileiras ou como uma ou mais leiras. A figura 11 ilustra um perfil de intensidade de referência associado com uma leira, ao passo que a figura 12 ilustra um perfil de intensidade de referência associado com múltiplas fileiras de plantas paralelas.

[00088] Na etapa S806, o módulo de visão 22 ou o estimador de qualidade de visão (20, 120 ou 220) subdivide a imagem coletada em múltiplas seções (por exemplo, janelas sobrepostas). A figura 14 fornece uma ilustração gráfica da subdivisão de seções consistente com a etapa S806. [00089] Na etapa S808, o estimador de qualidade de visão (20, 120, 220) determina uma correlação cruzada entre o perfil de intensidade e um perfil de intensidade de referência para cada uma das seções. A figura 13 fornece uma ilustração gráfica de determinação de correlação cruzada, consistente com a etapa S808.

[00090] Na etapa S810, o estimador de qualidade de visão estima uma posição do centro da fileira associada com cada uma das seções. A figura 14 mostra posições de centro de fileira associadas com cada seção, consistente com a etapa S808.

[00091] Na etapa S812, o estimador de qualidade de visão (20, 120 ou 220) arranja posições de centro de fileira estimadas em um caminho de regressão definindo uma representação de posição e orientação de uma fileira de lavoura. Um caminho de regressão pode compreender um caminho de regressão no geral linear que é definido com base nas posições e distribuição das posições de centro da fileira. Por exemplo, o estimador de qualidade de visão (20, 120 ou 220) pode estabelecer um caminho de regressão como uma

Petição 870180072467, de 17/08/2018, pág. 37/55

29/40 equação linear baseada no método dos mínimos quadrados, um método dos mínimos quadrados ponderado, um ajuste pobnomial, regressão múltipla, uma técnica de regressão estatística, uma técnica de regressão matemática, ou uma outra técnica que no geral minimiza a distância ou erro entre o caminho de regressão e as posições de centro da fileira.

[00092] Na etapa S814, o estimador de quabdade de visão (20, 120 ou 220) determina um valor r-quadrado entre o caminho de regressão e as posições de centro da fileira.

[00093] Na etapa S816, o estimador de quabdade de visão (20, 12 ou 220) determina dados de quabdade de visão com base nas correlações cruzadas determinadas e no valor r-quadrado para apbcação a um controlador do veículo ou ajustador para direção de um veículo. Um valor r-quadrado pode ser usado para determinar os graus que os dados de visão observados ou os dados de orientação de visão observados (por exemplo, posição de fileira de lavoura observada ou posição da leira) se ajustam a um modelo preditivo (por exemplo, caminho de regressão para a posição da fileira de lavoura) associado com dados de visão ou dados de orientação de visão.

[00094] A etapa S816 pode ser reabzada por várias técnicas que podem ser apbcadas alternadamente ou cumulativamente. Em uma primeira técnica, o estimador de quabdade de visão (20, 120, 220) determina o valor rquadrado com base na equação seguinte: r-quadrado = 1 - Vmodeio/V_totai, onde Vmodeio é o indicador de variabibdade ou erro de pontos centrais associados com diferentes seções com relação ao caminho de regressão (por exemplo, caminho de regressão no geral bnear), e onde V_totai é o indicador de variabibdade ou erro da fileira de lavoura em tomo de sua posição do centro média. Um valor r-quadrado pode ser normalizado em uma faixa de um a zero, tal que um valor r-quadrado que aproxima-se de um é geralmente considerado melhor que um valor de r-quadrado que se aproxima de zero. [00095] Em uma segunda técnica, o nível de confidência, C, ou dados

Petição 870180072467, de 17/08/2018, pág. 38/55

30/40 de qualidade de visão para o processamento de visão depende de dois fatores:

o valor r-quadrado da linha de regressão e a correlação cruzada normalizada a partir do casamento de gabarito

C=255*/?² *r ^LJJ reg * cross_norm ( ^cross— r \ K\ — r \ r * r < r < r v _ '0 ' v '0 ' ¹cross _ ref '0 ¹cross ¹cross _ ref

Γ = <

cross _ norm r >r _f cross cross _ ref

F < r * r cross cross _ ref 0 onde r_cross é a correlação cruzada da média ou média de um grupo de seções, r_crOss_ref é a correlação cruzada de referência, e ro é uma correlação cruzada mínima. A correlação de referência é tipicamente obtida de uma imagem de referência inicial, ao passo que a correlação cruzada mínima é tipicamente determinada pelo usuário. A fim de obter alto nível de confidência, duas condições têm que ser satisfeitas: primeiro, os centros das lavouras nas seções de processamento (por exemplo, leiras) devem formar uma linha no geral reta, ou se ajustar a um contorno tal como na forma plantada conhecido, e, segundo, o perfil de intensidade de referência (por exemplo, gabarito, similar aos da figura 11 ou figura 12). O gabarito ou perfil de referência pode ser adaptado a mudanças nas lavouras ou condições. Em virtude de a largura da fileira de lavoura poder mudar com o tempo, o gabarito pode ser atuabzado para adaptar a fileira de lavoura. Em uma implementação, a média ou valor médio histórico do espaçamento da fileira de lavoura pode ser usado.

[00096] A figura 9 é uma imagem ilustrativa de diversas lavouras em fileira depois da organização ou segmentação em pixéis de lavoura 90 e pixéis de não lavoura 902. A figura 9 é uma imagem representativa do resultado da execução da etapa S800 da figura 8B, por exemplo. A imagem coletada pelo sistema de coleta de imagem 31 ou pelo módulo de visão 22 é primeiro segmentada em pixéis de lavoura 900 e pixéis de não lavoura 902, e em seguida retificados para remover distorção. Os pixéis brancos ou de luz

Petição 870180072467, de 17/08/2018, pág. 39/55

31/40 representa pixéis de lavoura 900, ao passo que as regiões pontilhadas representam pixéis de não lavoura 902. Como mostrado, uma fileira de lavoura é organizada em uma parte de fileira 904 que cai entre uma profundidade mínima e uma profundidade máxima do sistema de coleta de imagem 31 ou módulo de visão 22. Cada lado da fileira de lavoura é associado com as bordas da lavoura 906.

[00097] A figura 10 é um perfil de intensidade observado ilustrativo derivado dos pixéis de lavoura 900 da figura 9. Em um exemplo, cada ponto de intensidade de pixel 910 representa a soma de intensidade de pixel de pixéis de lavoura em um segmento linear vertical em uma região de interesse (por exemplo, próximo ou na margem da lavoura 906). Em um outro exemplo, cada ponto de intensidade de pixel 910 representa a intensidade de um único pixel de lavoura correspondente em uma região de interesse (por exemplo, perto ou na margem da lavoura). Também em um outro exemplo, cada ponto de intensidade de pixel 910 representa uma média, ponto médio ou intensidade de pixel da moda de um agrupamento de pixéis de lavoura associados com uma região de interesse (por exemplo, próximo ou na margem da lavoura). O perfil de intensidade observado (por exemplo, da figura 10) é comparado com um perfil de intensidade de referência, denominado gabarito (por exemplo, figura 11 ou figura 12) para determinar o deslocamento da fileira de lavoura em relação a uma posição da fileira de referência. A posição da fileira de referência pode ser estabelecida quando a lavoura, ou semente, ou precursor foi plantado, por exemplo.

[00098] A figura 11 é uma função de Fermi ilustrativa para aplicação como um gabarito ou perfil de intensidade de referência para uma leira. O eixo horizontal pode ser referido como um eixo transversal, ao passo que o eixo vertical pode ser referido como um eixo dianteiro. O eixo transversal é no geral perpendicular ao eixo dianteiro. O eixo dianteiro pode ser inclinado em um ângulo conhecido com o terreno, ou horizonte. O eixo transversal e o

Petição 870180072467, de 17/08/2018, pág. 40/55

32/40 eixo dianteiro são da perspectiva do sistema de coleta de imagem 31 voltados para uma fileira de lavoura, onde a dimensão longitudinal da fileira de lavoura é no geral paralela à direção de deslocamento do veículo.

[00099] O perfil de intensidade de referência pode variar dependendo de uma aplicação particular, tal como se o campo contém fileiras de lavoura, leiras ou uma vegetação cortada (por exemplo, forragem) dispostas no terreno. Para uma leira, uma função de Fermi ou uma outra função de passo ou impulso pode ser usada para representar um perfil de intensidade de leira ideal mostrado na figura 11. Para a função de Fermi da figura 11, g representa a amplitude de pico, g/2 representa a metade da amplitude de pico e o valor k representa a largura da leira na metade da amplitude de pico. Em uma modalidade, a amplitude de pico da figura 11 pode ser associada com a profundidade avaliada máxima da leira pelo sistema de coleta de imagem 31. [000100] A figura 12 é uma função senoidal ilustrativa para aplicação como um gabarito, ou um perfil de intensidade de referência para lavouras em fileiras. O eixo horizontal pode ser referido como um eixo transversal, ao passo que o eixo vertical pode ser referido como o eixo dianteiro. O eixo transversal é no geral perpendicular ao eixo dianteiro. O eixo dianteiro pode ser incbnado em um ângulo conhecido com o terreno ou horizonte. O eixo transversal e o eixo dianteiro são da perspectiva do sistema de coleta de imagem 31 voltados para uma fileira de lavoura, onde uma dimensão longitudinal da fileira de lavoura é no geral paralela à direção de deslocamento do veículo.

[000101] A ampbtude de pico da função senoidal está indicada por a, ao passo que 2 representa o período de um comprimento de onda. Em uma modalidade, a amplitude de pico da figura 12 pode estar associada com a profundidade avabada máxima da fileira de lavoura pelo sistema de coleta de imagem 31, ao passo que o período, w, pode ser proporcional à largura da fileira de lavoura, ou espaçamento entre fileiras de lavoura adjacentes.

Petição 870180072467, de 17/08/2018, pág. 41/55

33/40 [000102] Embora uma função senoidal seja usada para o perfil de intensidade de referência da figura 12, em uma modalidade alternativa, um trem de pulsos, uma onda quadrada, uma série de funções de impulso, ou qualquer outra função adequada pode ser usada para o perfil de intensidade de referência para modelar as fileiras de lavoura de vegetação. Adicionalmente, o perfil de intensidade de referência pode variar em toda a estação de crescimento à medida que a lavoura amadurece, por exemplo.

[000103] A figura 13 é uma representação gráfica da determinação de correlação cruzada entre o perfil de intensidade de referência (por exemplo, gabarito T(k) e um perfil de intensidade observado (por exemplo, perfil de intensidade l(k)). Uma função de correlação cruzada, r(d), entre o perfil de intensidade observado (por exemplo, figura 10) e o perfil de intensidade de referência (por exemplo, figura 11) é calculado da seguinte maneira:

r (</) = .

^(T(k+d)-T/ onde r(d) é a função de correlação cruzada de imagem geral entre o perfil de intensidade observado I(k) e o perfil de intensidade de referência (T(k+d), d define a localização do perfil de intensidade de referência, L é a intensidade média do perfil de intensidade observado, T é a intensidade média do perfil de intensidade de referência, e r(dmax) é a posição do centro aproximada de qualquer fileira de lavoura na imagem. O atraso dmax que corresponde à correlação máxima r(dmax) é a posição do centro da fileira de lavoura. Em uma modabdade, a correlação cruzada representa um fator ou componente de um índice de confidência ou valor de um dado de quabdade de visão.

[000104] A figura 14 mostra um caminho de regressão 924 associado com uma linha de centro aproximada de uma fileira de lavoura e múltipla seções 920 ou leiras associadas com o caminho de regressão 924. O caminho

Petição 870180072467, de 17/08/2018, pág. 42/55

34/40 de regressão 924 pode compreender uma linha de regressão no geral linear, ou um caminho reto ou curvo que é definido por uma equação linear ou quadrática. Cada seção 920 é associada com uma posição do centro da fileira correspondente 922. Se o caminho de regressão 924 for no geral linear, ele pode ser definido com referência a um ângulo 928 (Θ) relativo a um eixo de referência 926 (por exemplo, norte magnético ou uma outra orientação de referência).

[000105] Na figura 14, o módulo de visão 22, o sistema de processamento de imagem 33 ou o estimador de qualidade de visão (20, 120 ou 220) divide os dados de visão (por exemplo, pixéis de imagem ou lavoura coletados) em múltiplas seções 920 (por exemplo, janelas sobrepostas). As seções 920 estão presentes na região de interesse (por exemplo, próxima à fileira de lavoura). O módulo de visão 22, o sistema de processamento de imagem 33 ou o estimador de qualidade de visão (20, 120 ou 220) detecta uma ou mais fileiras de lavoura por análise de regressão.

[000106] Em particular, para análise de regressão, o estimador de qualidade de visão (20, 120 ou 220) forma ou estima um caminho de regressão 924 (por exemplo, segmento da linha de regressão) associado com as posições de centro da fileira 822 ou os centros da fileira de lavoura em cada seção 920 (por exemplo, janelas sobrepostas) para aumentar a robustez de detecção de fileira. As posições de centro da fileira 922 (por exemplo, pontos) são ajustadas em um caminho de regressão 924 (por exemplo, segmento da linha de regressão). Este caminho de regressão 924 representa tanto a posição quanto orientação da fileira de lavoura.

[000107] O caminho de regressão 924 é comparado com um caminho de direção ou observado inicial do veículo para determinar dados de orientação (por exemplo, para calcular o desvio da trilha, erros de curvatura e/ou direção) para o controle do veículo. Embora o estimador de qualidade de visão (20, 120 ou 220) tipicamente use pelo menos cinco seções por fileira de lavoura,

Petição 870180072467, de 17/08/2018, pág. 43/55

35/40 virtualmente qualquer número de seções pode ser usado para detectar uma fileira de lavoura em cada imagem coletada. O estimador de qualidade de visão (20, 120 ou 220) pode determinar um valor r-quadrado, um nível de confidência ou uma outra figura de mérito para as posições de centro da fileira 922 associadas com o caminho de regressão 924.

[000108] A figura 15A é um diagrama de blocos de uma configuração ilustrativa de um estimador de qualidade de visão 220. As conexões entre os componentes (70, 90, 92, 94 e 96) da figura 15A podem representar caminhos de dados lógicos, caminhos de dados físicos, ou ambos.

[000109] O estimador de qualidade de visão 220 compreende um organizador 70 que comunica com um definidor da grade de densidade 90. O definidor da grade de densidade 90 produz dados para o filtro 92, que filtra os dados para o arranjador 94. Por sua vez, o arranjador 94 produz dados para o estimador 96.

[000110] Para o estimador de qualidade de visão 220 da figura 15A, o módulo de visão 22 pode compreender um sistema de formação de imagem de visão estéreo para coletar dados de imagem (por exemplo, dados de imagem estéreo) ou dados de visão. O organizador 70 organiza dados de imagem coletados em pixéis de lavoura e pixéis de não lavoura. O definidor de grade de densidade 90 define uma grade de densidade com base no número de pixéis de lavoura em cada célula da grade ou um grupo de células de grade. Por exemplo, cada célula da grade pode ser definida como uma matriz de X pixéis por Y pixéis, onde X e Y são qualquer número inteiro positivo. Embora a densidade de uma célula da grade possa ser definida como a razão, fração ou porcentagem de pixéis de lavoura para os pixéis totais na grade de densidade, outras definições da densidade são possíveis. O filtro 92 define pontos da grade de densidade como aquelas células da grade cujos valores são maiores que um patamar ou um número mínimo de pixéis de lavoura por célula da grade. O arranjador 94 arranja um caminho de regressão com base

Petição 870180072467, de 17/08/2018, pág. 44/55

36/40 nos pontos da grade de densidade. O caminho de regressão representa uma possível posição e possível orientação (por exemplo, de um centro) de uma fileira de lavoura ou de uma leira. Um estimador 96 determina um índice de confidência como dados de qualidade de visão com base nos pontos de grade de densidade definidos e no caminho de regressão. O índice de confidência é apbcado a um controlador de veículo ou um ajustador 110 para direção de um veículo. O estimador de quabdade de visão 220 pode determinar o índice de confidência de acordo com várias técnicas que podem ser apbcadas alternadamente ou cumulativamente.

[000111] Em uma primeira técnica, o estimador 96 é arranjado para determinar um índice de momento de pontos de grade de densidade e determinar um índice de agrupamento com base em uma função inversa do desvio padrão dos pontos da grade de densidade. O índice de momento e de agrupamento são duas medidas para avabar até que proximidade os pontos da grade de densidade estão distribuídos próximos em tomo do caminho de regressão (por exemplo, Unha de regressão). Em uma segunda técnica, o índice de momento e agrupamento são determinados de acordo com a primeira técnica, onde os dados de imagem ou dados de visão compreendem dados de imagem estéreo ou dados de imagem estéreo filtrados. O índice de momento e agrupamento são bem adequados para avabar dados de imagem estéreo, particularmente depois que os dados de imagem estéreo foram filtrados para exceder uma altura de lavoura mínima (por exemplo, um metro). Em uma terceira técnica, o estimador 96 estima ou determina o índice de confidência como um produto do índice de momento e do índice de agrupamento. Por exemplo, o índice de confidência é determinado de acordo com a seguinte equação:

onde Cm é o índice de momento dado por

M é o momento dos pontos da grade de densidade em tomo da

Petição 870180072467, de 17/08/2018, pág. 45/55 /40 linha de regressão, e M_max é o momento máximo, Cc é o índice de agrupamento dado por

C_c =0,8+— ^σά onde £(<*,-d)‘ ^a‘---Γ— w-1 di é a distância ortogonal de um caminho de regressão (por exemplo, linha de regressão) até um ponto da grade de densidade, e d é a distância média dos pontos da grade de densidade até o caminho de regressão, e n é o número total de pontos da grade de densidade, e aa representa uma variância dos pontos da grade de densidade. Em uma modalidade alternativa, um desvio é derivado da raiz quadrada da variância; o desvio pode ser usado com um substituto para a variância na equação anterior.

[000112] A figura 15B é um fluxograma de uma modalidade de um método para guiar um veículo com base em dados de localização derivados de visão de dados de visão (por exemplo, dados de visão estéreo). O método da figura 15 começa na etapa S800.

[000113] Na etapa S800, um módulo de visão 22, sistema de processamento de imagem 33, ou organizador 70 organiza uma imagem coletada em pixéis de lavoura ou pixéis de não lavoura. Por exemplo, o módulo de visão 22, sistema de processamento de imagem 33, ou organizador 70 podem usar discriminação de cores para classificar ou organizar pixéis em pixéis de lavoura e pixéis de não lavoura. Como notado previamente, a figura 9 fornece um exemplo ilustrativo da organização da imagem coletada em pixéis de lavoura e pixéis de não lavoura.

[000114] Na etapa S820, o estimador de qualidade de visão 220 ou definidor de grade de densidade 90 define uma grade de densidade com base no número de pixéis de lavoura em cada célula da grade. Por exemplo, o estimador de qualidade de visão 220 pode dividir os pixéis de lavoura em uma

Petição 870180072467, de 17/08/2018, pág. 46/55

38/40 grade de células (por exemplo, células retangulares ou hexagonais de mesmas dimensões) e contar ou estimar o número de pixéis de lavoura em cada célula da grade. Em uma modalidade, o filtro 92 sinaliza, marca ou de outra forma armazena ou indica aquelas células da grade nas quais o número de pixéis de lavoura atende ou excede um número mínimo ou patamar particular.

[000115] Na etapa S824, o estimador de qualidade de visão 220 ou arranjador 94 arranja um caminho de regressão baseado nos pontos da grade de densidade, onde o caminho de regressão representa uma possível posição e possível orientação (por exemplo, um centro ou linha de centro de uma fileira de lavoura).

[000116] Na etapa S826, o estimador de qualidade de visão 220 ou estimador 96 determina um índice de confidência como dados de qualidade de visão com base nos pontos da grade de densidade e no caminho de regressão definidos. O índice de confidência é aplicado a um controlador do veículo 25 ou um ajustador 110 para direção de um veículo. O método da figura 15 é bem adequado para determinar um índice de confidência ou dados de qualidade de visão para dados de visão estéreo ou imagens de visão estéreo. [000117] O módulo de qualidade de visão 220 pode determinar ou estimar um índice de confidência usando uma combinação de um índice de momento (CM) e um índice de agrupamento (CC). O momento dos pontos da grade de densidade em tomo do caminho de regressão ou linha de centro é calculado por:

e o índice do momento é dado por:

O índice de agrupamento é calculado pela função inversa do desvio padrão dos pontos da grade de densidade.

Petição 870180072467, de 17/08/2018, pág. 47/55

39/40

C_c = 0,8+^σά

Σα-ν² —— n -ι [000118] A figura 16 é uma grade de densidade 950 de pontos de características de lavoura 954 representando características de lavoura ou vegetação e um caminho de regressão (por exemplo, Unha de centro) associado com uma fileira de lavoura. Cada ponto de característica de lavoura 954 pode representar um ou mais pixéis de lavoura (por exemplo, um agrupamento de pixéis de lavoura). A grade de densidade 950 da figura 16 representa um exemplo ilustrativo de uma grade de densidade 950 que pode ser associada com o estimador de qualidade de visão 220 da figura 15A e o método da figura 15B. A grade de densidade 950 da figura 16 pode ser derivada de uma imagem estéreo, por exemplo.

[000119] Na figura 16, cada ponto de característica de lavoura 954 representa um número de pixéis de lavoura que atende ou excede o número, densidade ou patamar mínimo. Como ilustrado, os pontos de características de lavoura Di, D2 e Di são identificados e são localizados em xi,yi; X2,y2 e Xi,yi, respectivamente. O caminho de regressão 952, L (por exemplo, a linha de centro ou Unha de regressão) da grade de densidade 950 é usado para estimar a posição e orientação (por exemplo, Unha de centro ou eixo) das fileiras de lavoura ou característica da lavoura. Em uma modalidade alternativa, o caminho de regressão é a estimativa da margem da lavoura cortada/não cortada.

[000120] Se os pontos da grade de densidade ou pontos das características da lavoura 954 forem suficientemente próximos do caminho de regressão 952, ou dentro de um valor de separação agregada máximo, o índice de confidência ou os dados de qualidade de visão são geralmente aceitáveis ou altos. Entretanto, se os pontos da grade de densidade ou pontos de características da lavoura 954 forem afastados (do que o valor de separação

Petição 870180072467, de 17/08/2018, pág. 48/55

40/40 dos agregados máximo) do caminho de regressão 952, o índice de confidência ou dados de qualidade de visão é baixo ou geralmente inaceitável. O valor separação de agregados máximo pode ser baseado em uma interpretação estatística ou matemática (por exemplo, soma, média, moda ou média ponderada) da distância dos pontos das características da lavoura 954 com relação à projeção normal (por exemplo, projeção ortogonal) do caminho de regressão 952. Como ilustrado, uma primeira distância entre o ponto da característica da lavoura Di e o caminho de regressão é di; uma segunda distância entre o ponto da característica da lavoura D2 e o caminho de regressão é d2; e a distância entre a i-gésima distância entre o ponto da característica da lavoura Di e o caminho de regressão é di.

[000121] Tendo sido descrita a modalidade preferida, ficará aparente que várias modificações podem ser feitas sem fugir do escopo da invenção definido nas reivindicações anexas.

Petição 870180072467, de 17/08/2018, pág. 49/55

1/5

Claims (14)

1. REIVINDICAÇÕES

   1. Método para guiar um veículo, caracterizado pelo fato de que o método compreende:

   determinar dados de orientação preliminares para o veículo com base em um receptor de determinação de localização associado com o veículo durante uma janela de tempo de avaliação;

   coletar dados de visão de um módulo de visão associado com o veículo durante a janela de tempo de avaliação;

   determinar dados de orientação de visão a partir dos dados de visão coletados;

   estimar dados de qualidade de visão para pelo menos um dos dados de visão e dos dados de orientação de visão durante a janela de tempo de avaliação, os dados de qualidade de visão baseados em uma correlação cruzada e um valor de r-quadrado, a correlação cruzada sendo entre um perfil de intensidade observado dos dados de visão e um perfil de intensidade de referência para seções da imagem coletada para determinar posições de centro da fileira, o valor de r-quadrado sendo entre as posições de centro da fileira determinadas e um caminho de regressão, definindo uma representação de posição e orientação de uma fileira de lavoura, o caminho de regressão definido com base nas posições e distribuição das posições de centro da fileira determinadas; e ajustar os dados de orientação preliminares aos dados de orientação revisados com base nos dados de orientação de visão de maneira tal que os dados de orientação revisados fiquem em registro ou no geral coextensivos com os dados de orientação de visão, se os dados de qualidade de visão excederem um patamar mínimo.
2. 2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a correlação cruzada compreende uma correlação cruzada normalizada com base em uma correlação cruzada média para um grupo de

   Petição 870180072467, de 17/08/2018, pág. 50/55

   2/5 seções dos dados de visão, cada seção associada com uma posição do centro da fileira correspondente.
3. 3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a estimativa dos dados de qualidade de visão compreende:

   estimar as posições de centro da fileira associadas com seções ou subdivisões correspondentes dos dados de visão; e determinar o caminho de regressão coincidente com as posições de centro da fileira.
4. 4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a estimativa dos dados de quabdade de visão compreende:

   organizar uma imagem coletada ou os dados de visão em pixéis de lavoura e pixéis de não lavoura;

   determinar um perfil de intensidade com base em valores de intensidade de pixel dos pixéis de lavoura;

   estabelecer um perfil de intensidade de referência associado com um grupo de fileiras de lavoura ou uma única fileira de lavoura;

   subdividir a imagem coletada em múltiplas seções ou janelas sobrepostas;

   determinar uma correlação cruzada entre o perfil de intensidade e um perfil de intensidade de referência para cada uma das seções.
5. 5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que compreende adicionaimente:

   estimar uma posição do centro da fileira associada com cada uma das seções; e arranjar as posições de centro de fileira estimadas em um caminho de regressão definindo uma representação de uma posição e orientação de uma fileira de lavoura.
6. 6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que compreende adicionaimente:

   Petição 870180072467, de 17/08/2018, pág. 51/55

   3/5 determinar um valor de r-quadrado entre o caminho de regressão e as posições de centro da fileira; e determinar dados de qualidade de visão com base nas correlações cruzadas e no valor de r-quadrado determinados para apbcação a um controlador do veículo ou ajustador para direção de um veículo.
7. 7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os dados de orientação preliminares e os dados de orientação revisados compreendem cada qual pelo menos um de dados de direção, dados de desvio da trilha e dados de curvatura.
8. 8. Sistema para orientação de um veículo, caracterizado pelo fato de que o sistema compreende:

   um receptor de determinação de locahzação para coletar dados de orientação preliminares para o veículo durante uma janela de tempo de avahação;

   um módulo de visão para coletar dados de visão durante a janela de tempo de avaliação e para determinar dados de orientação de visão a partir dos dados de visão coletados;

   um estimador de qualidade de visão para estimar dados de quahdade de visão para pelo menos um dos dados de visão e dos dados de orientação de visão durante a janela de tempo de avahação, os dados de quahdade de visão baseados em uma correlação cruzada e um valor de rquadrado, a correlação cruzada sendo entre um perfil de intensidade observado dos dados de visão e um perfil de intensidade de referência para seções da imagem coletada para determinar posições de centro de fileira, o valor de r-quadrado sendo entre as posições de centro de fileira determinadas e um caminho de regressão, definindo uma representação de posição e orientação de uma fileira de lavoura, o caminho de regressão definido com base nas posições e distribuição das posições de centro da fileira determinadas; e

   Petição 870180072467, de 17/08/2018, pág. 52/55

   4/5 um ajustador para ajustar os dados de orientação preliminares a um dado de condução revisado com base nos dados de orientação de visão de maneira tal que os dados de orientação revisados fiquem em registro ou no geral coextensivos com os dados de orientação de visão, se os dados de qualidade de visão excederem um patamar mínimo.
9. 9. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende adicionalmente um módulo de correlação cruzada para determinar uma correlação cruzada normalizada como a correlação cruzada, a correlação cruzada normalizada baseada em uma correlação cruzada média para um grupo de seções dos dados de imagem, cada seção associada com uma posição do centro da fileira correspondente.
10. 10. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que o estimador de qualidade de visão compreende adicionalmente:

    um estimador de centro da fileira para estimar as posições de centro de fileira associadas com seções ou subdivisões correspondentes dos dados de imagem; e um arranjador para determinar o caminho de regressão coincidente com as posições de centro de fileira.
11. 11. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que o estimador de qualidade de visão compreende:

    um organizador para organizar uma imagem coletada em pixéis de lavoura e pixéis de não lavoura;

    um módulo de perfil de intensidade para determinar um perfil de intensidade com base em valores de intensidade dos pixéis de lavoura;

    um dispositivo de armazenamento de dados para armazenar um perfil de intensidade de referência associado com um grupo de fileiras de lavoura ou uma única fileira de lavoura;

    um subdivisor para subdividir a imagem coletada em múltiplas

    Petição 870180072467, de 17/08/2018, pág. 53/55

    5/5 seções ou janelas sobrepostas;

    um módulo de correlação cruzada para determinar uma correlação cruzada entre o perfil de intensidade e um perfil de intensidade de referência para cada uma das seções.
12. 12. Sistema, de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionaimente:

    um estimador de centro da fileira para estimar uma posição do centro da fileira associada com cada uma das seções; e um arranjador para arranjar posições de centro de fileira estimadas em um caminho de regressão definindo uma representação de uma posição e orientação de uma fileira de lavoura.
13. 13. Sistema, de acordo com a reivindicação 12, caracterizado pelo fato de que compreende adicionaimente:

    um avaliador de variação para determinar um valor de rquadrado entre o caminho de regressão e as posições de centro de fileira; e um estimador para determinar dados de qualidade de visão com base nas correlações cruzadas e no valor de r-quadrado determinados para apbcação a um controlador ou ajustador do veículo para direção de um veículo.
14. 14. Sistema, de acordo com a reivindicação 8, caracterizado pelo fato de que os dados de orientação preliminares e os dados de orientação revisados compreendem cada qual pelo menos um de dados de direção, dados de desvio da trilha e dados de curvatura.

    Petição 870180072467, de 17/08/2018, pág. 54/55

    1/15

    2520, 120 or220

    Estimador de qualidade de visão

    Dados de qualidade de visão (por exemplo θ Vision) y vision

    Módulo de visão

    Sistema de coleta de imagem

    Sistema de processamento de imagem

    Sinal de controle / compensado

    Controlador veicular (por exemplo, controlador de direção)

    Sinal de controle de erro>

    Sistema de direção .(por exemplo, sistema de direção hidráulico)

    110 1

    Ajustador

    Nível de patamar mínimo

    Dados de qualidade de localização (e.g., Qgps)

    Estimador de qualidade de localização

    26-22

    Dados de localização (por exemplo, coordenadas) gps

    Receptor de determinação de localização (por exemplo, receptor GPS)