BR112019024117A2 - Sistema e método para conexão automática entre um trator e um implemento - Google Patents

Sistema e método para conexão automática entre um trator e um implemento Download PDF

Info

Publication number
BR112019024117A2
BR112019024117A2 BR112019024117-5A BR112019024117A BR112019024117A2 BR 112019024117 A2 BR112019024117 A2 BR 112019024117A2 BR 112019024117 A BR112019024117 A BR 112019024117A BR 112019024117 A2 BR112019024117 A2 BR 112019024117A2
Authority
BR
Brazil
Prior art keywords
tractor
implement
path
processor
images
Prior art date
Application number
BR112019024117-5A
Other languages
English (en)
Other versions
BR112019024117B1 (pt
Inventor
Ferrari Luca
Morselli Riccardo
Christopher Elliott
Original Assignee
CNH Industrial Brasil Ltda.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CNH Industrial Brasil Ltda. filed Critical CNH Industrial Brasil Ltda.
Publication of BR112019024117A2 publication Critical patent/BR112019024117A2/pt
Publication of BR112019024117B1 publication Critical patent/BR112019024117B1/pt

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D2001/001—Traction couplings; Hitches; Draw-gear; Towing devices specially adapted for use on vehicles other than cars
    • B60D2001/005—Traction couplings; Hitches; Draw-gear; Towing devices specially adapted for use on vehicles other than cars for carts, scooters, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Soil Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Processing (AREA)

Abstract

sistema para conexão automática (1) entre um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) compreendendo: uma câmera 3d (9) transportada pelo trator (2) e configurada para capturar continuamente imagens do espaço tridimensional s voltado para o implemento (5); um processador (15) configurado para detectar nas imagens um formato predeterminado correspondente ao engate (7) do implemento e para determinar as coordenadas espaciais do engate em relação à posição do trator (2) de modo a calcular um caminho pi entre o trator (2) e o engate (7) e um controlador (16) configurado para mover o trator (2) ao longo do caminho calculado pi de modo que o trator (2) se aproxime do implemento (5) para permitir que, no final do caminho, o ponto de conexão do trator (4) coincida com o engate do implemento (7). quando o engate do implemento (7) sai do campo de visão da câmera (9) o processador (15) está configurado para detectar nas imagens, pontos de referência alternativos ra para recalcular o caminho pi. (figuras 1 e 2).

Description

“SISTEMA E MÉTODO PARA CONEXÃO AUTOMÁTICA ENTRE UM TRATOR E UM IMPLEMENTO”
[001] A presente invenção refere-se a um sistema e método para conexão automática entre um trator e um implemento. Pedido de patente US2015077557 descreve um sistema onde um par de câmeras é montado em um trator e produz imagens de um alvo montado no implemento (por exemplo, uma carreta ou reboque) a ser conectado ao trator. Uma unidade processadora de imagem processa as imagens e outras informações e um sistema de controle controla automaticamente a direção e o movimento do trator para alinhar o trator com o implemento, de modo que o implemento possa ser acoplado automaticamente ao trator. Mais especificamente, o sistema alinha o engate do trator com o implemento e o trator é automaticamente parado quando o engate está alinhado com o implemento.
[002] O alvo tem um projeto ou padrão específico que pode ser facilmente percebido pelas câmeras, por exemplo, um padrão quadriculado. Portanto, de acordo com a patente acima um padrão específico deve ser fornecido no implemento e o suporte do padrão deve ser corretamente alinhado. Isso requer uma modificação mecânica do implemento original. O escopo da presente invenção é fornecer um sistema para conexão automática entre um trator e um implemento que não requer o uso de padrões anexados ao implemento de modo que o sistema pode ser usado com qualquer implemento mesmo se não especificamente equipado.
[003] Além disso, o sistema de US2015077557 requer o uso de duas câmeras, isto é, uma câmera de visão à distância usada para identificar o implemento e iniciar a operação de acoplamento automático de distâncias maiores e uma câmera de visão de perto que fornece maior precisão de localização quando o trator está próximo ao implemento. Além disso, o escopo da presente invenção é realizar um sistema em que apenas uma câmera é necessária.
[004] O escopo acima é obtido pela presente invenção que refere-se a um
Petição 870190118352, de 14/11/2019, pág. 15/31
2/9 sistema para conexão automática entre um trator fornecido com um ponto de conexão e um implemento fornecido com pelo menos um engate configurado para conexão com o ponto de conexão compreendendo: uma câmera 3D transportada pelo trator e configurada para capturar continuamente imagens do espaço tridimensional S voltado para o implemento; um processador é configurado para detectar nas imagens continuamente capturadas o engate e é projetado para determinar as coordenadas espaciais do engate em relação à posição do trator de modo a calcular um caminho Pi entre o trator e o engate; um controlador configurado para mover o trator ao longo do caminho calculado Pi de modo que o trator se aproxime do implemento ou o processador é configurado para mostrar o caminho calculado Pi em um visor de modo que o usuário possa dirigir o trator, para permitir, no final do caminho Pi o ponto de conexão do trator para coincidir com o engate, caracterizado pelo fato de que quando o engate sai do campo de visão da câmera o processador é configurado para detectar nas imagens, pontos de referência alternativos Ra para recalcular o caminho Pi.
[005] A presente invenção também refere-se a um método para conexão automática entre um trator fornecido com um ponto de conexão e um implemento fornecido com pelo menos um engate configurado para conexão com o ponto de conexão compreendendo as seguintes etapas: capturar continuamente imagens do espaço tridimensional S voltado para o implemento; detectar nas imagens continuamente capturadas do engate do implemento; determinar as coordenadas espaciais do dito engate em relação à posição do trator de modo a calcular um caminho Pi entre o trator e o dito engate do implemento; mover, por meio de um controlador automático ou sob a direção do usuário, o trator ao longo do caminho calculado Pi de modo que o trator se aproxime do implemento para permitir que, no final do caminho, o ponto de conexão do trator coincida com o engate do implemento, caracterizado pelo fato que compreende a etapa de detectar nas imagens, pontos de referência alternativos Ra de modo a recalcular o caminho Pi quando o engate do
Petição 870190118352, de 14/11/2019, pág. 16/31
3/9 implemento sai do campo de visão da câmera.
[006] A invenção deve ser descrita com os desenhos anexos que mostram um exemplo não limitativo em que:
[007] A Figura 1 mostra em uma maneira esquemática de um sistema para conexão automática entre um trator e um implemento de acordo com a presente invenção em uma primeira posição;
[008] A Figura 2 mostra em uma maneira esquemática de um sistema para conexão automática entre um trator e um implemento de acordo com a presente invenção em uma segunda posição;
[009] As Figuras 3 e 4 mostram uma outra modalidade da presente invenção; e
[010] A Figura 5 mostra uma imagem elaborada pelo sistema da presente invenção.
[011] Na Figura 1, o número 1 indica um sistema para conexão automática entre um trator 2 (o trator agrícola de tipo conhecido é esquematicamente ilustrado) fornecido com um ponto de conexão 4 (de tipo conhecido - esquematicamente ilustrado) e um implemento 5 (uma carreta ou um reboque, por exemplo) fornecido com pelo menos um engate 7 configurado para conexão com o ponto de conexão 4 de acordo com as técnicas conhecidas.
[012] O ponto de conexão 4 pode ser projetado para implementos que são puxados por um trator, normalmente usando uma barra de engate para conectar o implemento ao trator 2 (consultar, nas Figuras 1,2 e 5 um exemplo dessa conexão de ponto único) ou para implementos que são transportados pelo trator 2, normalmente usando o engate três pontos para conexão (consultar nas Figuras 3 e 4 um exemplo dessa conexão).
[013] O sistema 1 compreende uma câmera tridimensional (3D) 9 (mostrada esquematicamente) transportada pelo trator 2 (no exemplo, a câmera 9 é colocada
Petição 870190118352, de 14/11/2019, pág. 17/31
4/9 em uma porção superior da cabine 10 do trator 2 mas outros locais são disponíveis) e configurada para capturar continuamente imagens do espaço tridimensional S voltado para o implemento 5.
[014] A câmera 9 pode ser um CCD (dispositivo acoplado a carga) ou um CMOS (semicondutor de óxido de metal complementar). A saída da câmera 9 pode ser digital ou analógica, colorida ou monocromática (de preferência, é usada uma câmera digital colorida de alta definição). A câmera 9 possui uma faixa dinâmica alta, para que possa capturar com sucesso a imagem alvo nas condições de operação mais claras e mais escuras. A câmera 9 pode operar na região Visível e/ou IR. O campo de visão da câmera 9 é grande o suficiente para poder identificar o alvo nas distâncias mais distantes e próximas do trator 2 ao implemento 5.
[015] O sistema 1 compreende também um visor 12 (normalmente uma tela LCD com operações de tela sensível ao toque) colocada na cabine 10 e configurada para exibir a imagem capturada para o usuário 13 do trator 2. O usuário 13 do trator pode, portanto, ver no visor 12 os itens que são colocados na parte traseira do trator 2 a uma distância predeterminada, dependendo do campo de visão da câmera 9. O sinal de saída da câmera 9 é convertido em formato digital por um dispositivo de hardware do tipo conhecido (não mostrado).
[016] De acordo com a invenção o sistema 1 compreende um processador 15 que recebe as imagens e está configurado para detectar nas imagens um formato predeterminado correspondente ao formato do engate 7 (ou dos engates se houver) que é usado como um ponto de referência R. A detecção do engate 7 é realizada por um software associado com o processador 15 caracterizado por processar imagem de acordo com as técnicas conhecidas, por exemplo, comparando-se algumas imagens de referência de engates com a imagem digital. Etapas de préprocessamento de imagem (por exemplo, filtro mediano, filtro Laplaciano, Equalização de Histograma, ...) também podem ser implementadas para ajudar o
Petição 870190118352, de 14/11/2019, pág. 18/31
5/9 classificador/software a identificar e reconhecer o engate.
[017] De acordo com uma outra modalidade preferida, a detecção do engate 7 é realizada por um software apresentando detecção com base em um modo de ensino. De acordo com o modo de ensino a imagem do implemento em uso é capturada em uma fase de ensino e a posição do engate é manualmente determinada em um visor (por exemplo usando-se visor 12 usando funções da tela sensível ao toque conhecidas) para criar uma base de dados de imagens de engates de implementos. Essa base de dados é memorizada e é ainda usada pelo processador 15 para elaborar as imagens capturadas pela câmera 9 para determinar o ponto de referência R.
[018] O processador 15 é projetado para determinar as coordenadas espaciais do ponto de referência R em relação à posição do trator 2 de modo a calcular um caminho Pi entre o trator 2 e o engate 7. O software incorporado no processador 15 executa um processo que encontra a relação entre as coordenadas no quadro de referência da câmera e as coordenadas correspondentes no quadro de referência mundial (isto é, local e orientação da imagem do engate). A relação acima é definida por parâmetros extrínsecos da câmera (matrizes de translação e rotação) que podem ser memorizados ou obtidos durante um processo de calibração.
[019] O sistema 1 compreende ainda um controlador 16 do movimento do trator 2 que interage com os componentes eletrônicos incorporados do trator de modo a mover o trator 2 ao longo do caminho calculado Pi de modo que o trator 2 se aproxime do reboque estacionado 5 para permitir que, no final do caminho, o ponto de conexão 4 do trator 2 coincida com o engate 7. O controlador 16 pode atuar na direção, na frenagem, na transmissão e no controle do motor (não mostrado) do trator para mover em baixa velocidade o trator 2. O controlador 16 pode receber informações a partir de outros sensores (não mostrados) colocados em torno do corpo do trator e fornecidos para detectar a presença de obstáculos se houver.
Petição 870190118352, de 14/11/2019, pág. 19/31
6/9
[020] Alternativamente, o processador 15 está configurado para mostrar o caminho calculado Pi no visor 12 de modo que o usuário possa dirigir o trator 2 seguindo este caminho Pi.
[021] O engate 7 fica muito mais rápido fora do campo de visão da câmera 3D 9 (consultar Figura 2) quando o trator 2 se aproxima do implemento 5 à medida que a câmera 9 é montada no teto da cabine 10.
[022] O processador 15, quando as imagens do engate não estão mais disponíveis porque o engate 7 está fora do campo de visão da câmera 9, é configurado para detectar nas imagens, pontos de referência alternativos Ra a serem usados para recalcular o caminho Pi.
[023] Para encontrar pontos de referência alternativos Ra, o processador 15 pode extrair formatos geométricos automaticamente correspondentes às partes do implemento 5 que têm uma relação espacial fixa em relação ao engate 7, por exemplo:
[024] Lados opostos da barra de tração 20 (o engate está posicionado na extremidade livre da barra de tração);
[025] Partes fáceis de distinguir do implemento (por exemplo, etiqueta 21, gravações 21, etc. - consultar Figura 5) cuja posição pode ser determinada em relação ao engate. Quando necessário o usuário (isto é, o condutor) pode selecionar e indicar formatos geométricos que podem funcionar como pontos de referência alternativos Ra no visor do trator (12). Mais de preferência, o software pode sugerir pontos de referência alternativos Ra ao usuário, os pontos de referência podem ser mostrados no visor 12 e o usuário pode confirmar a sugestão por meio de um comando de seção manual, por exemplo, atuando no visor 12 com funções da tela sensível ao toque. De acordo com essa modalidade, o processador implementa um processo de extração semiautomático onde pontos de referência alternativos extraídos devem ser validados pelo usuário de modo a serem armazenados e subsequentemente usados.
[026] Os pontos de referência alternativos Ra e sua relação espacial para o
Petição 870190118352, de 14/11/2019, pág. 20/31
7/9 engate 7 podem ainda ser armazenados na base de dados de imagens dos respectivos engates 7. Um algoritmo pode então ser implementado para atualizar a relação espacial com todas as instâncias de conexão do ponto de conexão do trator ao engate 7. Para implementos frequentemente usados 5, informações podem ser disponibilizadas na base de dados de imagens de engates em relação à detecção do engate 7 e informações precisas da relação espacial entre o engate 7 e os pontos de referência alternativos Ra, de modo que o tempo de processamento seja reduzido e precisão seja aumentada.
[027] Quando o trator 2 está alinhado com vários implementos 5, o processador 15 pode tentar detectar os diferentes engates 7 no campo de visão mas deixa a critério do usuário selecionar o implemento 5 que deve ser conectado.
[028] O recálculo acima aumenta a precisão em determinar a porção final de caminho Pi. Observa-se que, pelo menos teoricamente, o caminho Pi pode ainda ser definido com o engate fora da vista mas com uma resolução bastante baixa.
[029] No final do caminho Pi, o ponto de conexão 4 do trator está pronto para coincidir com o engate 7 do implemento 5.
[030] De acordo com uma primeira modalidade da invenção o usuário do trator ainda precisa conectar fisicamente as partes. Por exemplo, se uma conexão de engate de ponto único for usada, não será necessário um alinhamento perfeito entre as partes. A conexão física das partes pode, portanto, ser realizada pelo usuário que pode girar a barra de tração 20 ou modificar o comprimento da barra de tração 20 de acordo com as técnicas conhecidas (por exemplo, usando uma barra de tração telescópica) de modo a estabelecer a conexão física.
[031] De acordo com uma diferente modalidade (por exemplo, se um engate de três pontos for usado como descrito a seguir) um nível mais alto de alinhamento entre as partes é necessário. Neste caso, o trator 2 pode se mover ao longo do caminho Pi até que a conexão física entre as partes seja estabelecida.
Petição 870190118352, de 14/11/2019, pág. 21/31
8/9
[032] A Figura 3 mostra um implemento 5 que tem pelo menos dois engates 7a e 7b estão em um plano vertical de referência Z. Esse implemento 5 é adequado para ser conectado com um ponto de conexão do tipo engate de três pontos.
[033] Neste caso, o processador 15 está configurado para encontrar nas imagens capturadas as imagens dos dois engates 7a, 7b para determinar respectivos pontos de referência Ra, Rb usados para calcular o plano de referência vertical Z onde os pontos de referência Ra, Rb estão e um vetor de orientação de implemento V1 perpendicular ao plano de referência Z.
[034] O processador 15 está configurado para receber as informações em relação à posição e a orientação do trator de modo a determinar um vetor de orientação do trator V2. Uma tal posição pode ser derivada a partir de um sistema GPS, por exemplo.
[035] O processador 15 é projetado para calcular a projeção P1 do vetor de orientação do trator V2 no plano de referência Z e calcular a distância d (figura 3) entre o ponto de projeção P1 e um ponto P2 do plano Z tendo a mesma distância a partir dos pontos de referência Ra, Rb. O controlador automático 16 do movimento do trator 2 é projetado para mover o trator 2 de modo que o vetor de orientação do trator V2 fique paralelo ao vetor de orientação de implemento V1 (Figura 4) e a distância da projeção seja minimizada no final do caminho Pi (isto é, o deslocamento entre vetores é zero).
[036] Convenientemente, a câmera 9 é uma câmera estéreo na modalidade das Figuras 3 e 4.
[037] O processador 15 compreende um dispositivo de seleção para selecionar manualmente na imagem mostrada no visor 12 (por exemplo, com os comandos usuais usados em dispositivos portáteis fornecidos com tela sensível ao toque) regiões de interesse ROI (Figura 5 mostra sub-regiões retangulares) contendo a imagem dos engates. O processador 15 pode processar o pixel contido na região
Petição 870190118352, de 14/11/2019, pág. 22/31
9/9 de interesse ROI apenas para detectar os pontos de referência com potência computacional reduzida. Consequentemente, o software não processa toda a imagem a partir da câmera 9. Em vez disso, o sistema processa apenas a ROI que apenas inclui a visualização do engate.
[038] Em uma modalidade diferente (não mostrada) o ponto de conexão 4 pode ser colocado em frente ao trator 2. Certamente, neste caso, a câmera 3D 9 será posicionada de modo a capturar imagens do espaço em frente ao trator voltado para o implemento.

Claims (12)

1. Sistema para conectar automaticamente (1) um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) e configurado para ser conectado com o ponto de conexão (4), o dito sistema compreendendo:
uma câmera 3D (9) transportada pelo trator (2) e configurada para capturar imagens do espaço tridimensional voltado para o implemento (5);
um processador (15) configurado para detectar nas imagens capturadas o engate (7) e projetado para determinar as coordenadas espaciais do engate (7) em relação à posição do trator (2) de modo a calcular um caminho entre o trator (2) e o engate (7);
um controlador (16) configurado para mover o trator (2) ao longo do caminho calculado de modo que o trator (2) se aproxime do implemento (5) ou o processador (15), o dito controlador (16) configurado para mostrar o caminho calculado em um visor (12) para permitir que, no final do caminho o ponto de conexão do trator (4) coincida com o engate (7),
CARACTERIZADO pelo fato que quando o engate (7) sai do campo de visão da câmera (9) o processador (15) está configurado para detectar nas imagens, pontos de referência alternativos para recalcular o caminho.
2. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato que o processador (13) é projetado para sugerir pontos de referência alternativos extraídos ao usuário (13) a serem confirmados por um comando de seleção manual.
3. Sistema, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato que o implemento (5) tem pelo menos dois engates (7a, 7b);
o processador (15) está configurado para encontrar nas imagens o formato dos dois engates (7a, 7b) para calcular um plano de referência vertical (Z) e um vetor de orientação de implemento perpendicular ao plano de referência (Z);
Petição 870190118352, de 14/11/2019, pág. 24/31
2/4 o processador (15) está configurado para receberas informações em relação à posição e a orientação do trator (2) de modo a determinar um vetor de orientação do trator;
o controlador (16) está configurado para mover o trator (2) ou o processador (15) está configurado para mostrar o caminho calculado no visor (12), de modo que o vetor de orientação do trator fique paralelo com o vetor de orientação de implemento no final do caminho.
4. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato que a dita câmera 3D (9) é uma câmera estéreo, ou uma câmera de tempo de voo TOF ou um LIDAR ou um radar de imagem.
5. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato que o processador (15) compreende um dispositivo de seleção para selecionar manualmente nas imagens mostradas no visor (12) subregiões contendo o formato dos engates; o processador (15) está projetado para processar os pixels contidos na sub-região apenas para detectar os pontos de referência.
6. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato que o dito processador (15) opera em conjunto com uma base de dados de imagens de implementos com engate associado que são capturadas em uma fase de ensino em que o engate é manualmente selecionado em cada imagem do implemento;
o dito processador é projetado para usar a dita base de dados para detectar o engate nas imagens capturadas pela câmera.
7. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato que o dito controlador (16) está configurado para mover o trator controlando-se a direção, ou a frenagem, ou a transmissão e/ou o motor do trator.
Petição 870190118352, de 14/11/2019, pág. 25/31
3/4
8. Método para conectar automaticamente (1) um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) e configurado para ser conectado com o ponto de conexão (4), o dito método compreendendo as seguintes etapas:
capturar imagens do espaço tridimensional voltado para o implemento; detectar, nas imagens capturadas, o engate (7) do implemento;
determinar as coordenadas espaciais do dito engate em relação à posição do trator (2) de modo a calcular um caminho entre o trator (2) e o dito engate do implemento (7); mover, por meio de um controlador automático ou sob a direção do usuário (13), o trator (2) ao longo do caminho calculado de modo que o trator (2) se aproxime do implemento (5) para permitir que, no final do caminho, o ponto de conexão do trator (4) coincida com o engate do implemento (7), CARACTERIZADO pelo fato que compreende a etapa de detectar nas imagens, pontos de referência alternativos de modo a recalcular o caminho quando o engate do implemento (7) sai do campo de visão da câmera (9).
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato que compreendendo as etapa de:
sugerir pontos de referência alternativos extraídos (Ra) ao usuário (13); e confirmar os pontos de referência alternativos sugeridos (Ra) por um comando de seleção manual.
10. Método, de acordo com a reivindicação 8 ou 9, CARACTERIZADO pelo fato que o implemento tem pelo menos dois engates (7a, 7b), o método ainda compreendendo as etapa de:
encontrar nas imagens o formato dos dois engates (7a, 7b) para calcular um plano de referência vertical (Z) e um vetor de orientação de implemento perpendicular ao plano de referência (Z);
determinar um vetor de orientação do trator;
Petição 870190118352, de 14/11/2019, pág. 26/31
4/4 mover o trator (2) de modo que o vetor de orientação do trator fique paralelo com o vetor de orientação de implemento no final do caminho.
11. Método, de acordo com qualquer uma das reivindicações 8 a 10, CARACTERIZADO pelo fato que compreende uma etapa de ensino em que a imagem de um implemento em uso é capturada e a posição do engate é manualmente determinada na imagem para criar uma base de dados de imagens de implementos com engate associado; a dita base de dados é ainda usada para determinar o engate nas imagens continuamente capturadas.
12. Veículo de trabalho, CARACTERIZADO pelo fato que compreende o sistema de acordo com qualquer reivindicação de 1 a 6.
BR112019024117-5A 2017-05-18 2018-05-17 Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho BR112019024117B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102017000054083A IT201700054083A1 (it) 2017-05-18 2017-05-18 Sistema e metodo di collegamento automatico tra trattore ed attrezzo
IT102017000054083 2017-05-18
PCT/EP2018/062853 WO2018210990A1 (en) 2017-05-18 2018-05-17 System and method for automatic connection between a tractor and an implement

Publications (2)

Publication Number Publication Date
BR112019024117A2 true BR112019024117A2 (pt) 2020-06-02
BR112019024117B1 BR112019024117B1 (pt) 2023-02-07

Family

ID=59859558

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112019024117-5A BR112019024117B1 (pt) 2017-05-18 2018-05-17 Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho

Country Status (5)

Country Link
EP (1) EP3624578B1 (pt)
CN (1) CN110636753B (pt)
BR (1) BR112019024117B1 (pt)
IT (1) IT201700054083A1 (pt)
WO (1) WO2018210990A1 (pt)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040314A1 (pt) * 2022-08-22 2024-02-29 CNH Industrial Brasil Ltda. Sistema e método de montagem assistida de plataforma em uma colheitadeira agrícola e colheitadeira agrícola

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018219829A1 (de) * 2018-11-20 2020-05-20 Zf Friedrichshafen Ag Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
EP4001058A1 (en) * 2020-11-12 2022-05-25 Volvo Truck Corporation A system for guiding a vehicle towards a connecting vehicle which is to be connected to the vehicle
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN113033421A (zh) * 2021-03-29 2021-06-25 深圳市豪恩汽车电子装备股份有限公司 一种自动挂接拖车的方法
EP4359233A1 (en) * 2021-06-23 2024-05-01 Outrider Technologies, Inc. Autonomous trailer maneuvering
WO2022271178A1 (en) * 2021-06-24 2022-12-29 Deere & Company Determining vehicle heading and implement heading of low speed farming machine
DE102021119683A1 (de) * 2021-07-29 2023-02-02 Deere & Company Verfahren zur Unterstützung eines an einem Dreipunkt-Kraftheber durchzuführenden Kuppelvorgangs
DE102021126816A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln eines Knickwinkels, Verarbeitungseinheit und Fahrzeug
DE102021126814A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10111529A1 (de) * 2001-03-10 2002-09-12 Deere & Co Vorrichtung zum Koppeln eines Gerätes an einem Arbeitsfahrzeug
JP4563366B2 (ja) * 2006-12-07 2010-10-13 三菱農機株式会社 トラクタの作業機連結装置
GB2469438B (en) * 2009-03-09 2014-04-09 Applic Solutions Electronics & Vision Ltd Display movement of an object
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9880560B2 (en) * 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
DE102014223141B4 (de) * 2014-11-13 2019-06-19 Volkswagen Aktiengesellschaft Bestimmung einer Position eines Anhängerkupplungskopfes
DE102015201586A1 (de) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Wiedererkennung eines Anhängers
FR3042943B1 (fr) * 2015-11-03 2017-11-10 Kuhn Sa Attelage agricole avec un systeme de gestion et de guidage de manœuvres et procede mis en œuvre par cet attelage
CN106068726A (zh) * 2016-06-17 2016-11-09 北京首农畜牧发展有限公司 用于使拖拉机挂多种机具的转换系统及拖拉机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024040314A1 (pt) * 2022-08-22 2024-02-29 CNH Industrial Brasil Ltda. Sistema e método de montagem assistida de plataforma em uma colheitadeira agrícola e colheitadeira agrícola

Also Published As

Publication number Publication date
CN110636753B (zh) 2022-06-07
IT201700054083A1 (it) 2018-11-18
EP3624578A1 (en) 2020-03-25
EP3624578B1 (en) 2021-02-24
CN110636753A (zh) 2019-12-31
BR112019024117B1 (pt) 2023-02-07
WO2018210990A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
BR112019024117A2 (pt) Sistema e método para conexão automática entre um trator e um implemento
US11417116B2 (en) Vehicular trailer angle detection system
US11600011B2 (en) Vehicular trailering assist system and method
CN104460361B (zh) 车辆自动运动控制系统
EP3299191A1 (en) Trailer hitch ball detection and location measurement using a rear view camera
US20190143895A1 (en) Vehicular trailer backup assist system
KR102062923B1 (ko) 주차지원시스템
US20180141496A1 (en) Method and device for displaying an image of the surroundings of a vehicle combination
US20060071447A1 (en) Process for coupling a trailer to a motor vehicle
US20130226390A1 (en) Hitch alignment assistance
US20240190342A1 (en) Trailer hitching assist system with trailer coupler detection
JP2017091284A (ja) 車両用画像処理装置および車両用画像処理システム
EP3393852B1 (en) Guidance system and method for providing guidance
CA3003719A1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
GB2554427B (en) Method and device for detecting a trailer
KR20100110999A (ko) 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
JP2020537216A (ja) 画像処理方法及び装置
CN111210386A (zh) 图像拍摄拼接方法及系统
WO2019034916A1 (en) SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE
CN114202588B (zh) 一种车载环视相机快速自动标定方法和装置
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
US11573565B2 (en) Controller for an unmanned aerial vehicle
US20200238912A1 (en) Backup camera system for a vehicle having a trailer hitch
TWM591940U (zh) 全景停車輔助系統及其裝置
JP2010148058A (ja) 運転支援装置及び運転支援方法

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 17/05/2018, OBSERVADAS AS CONDICOES LEGAIS