BR112019024117B1 - Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho - Google Patents

Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho Download PDF

Info

Publication number
BR112019024117B1
BR112019024117B1 BR112019024117-5A BR112019024117A BR112019024117B1 BR 112019024117 B1 BR112019024117 B1 BR 112019024117B1 BR 112019024117 A BR112019024117 A BR 112019024117A BR 112019024117 B1 BR112019024117 B1 BR 112019024117B1
Authority
BR
Brazil
Prior art keywords
tractor
implement
hitch
path
processor
Prior art date
Application number
BR112019024117-5A
Other languages
English (en)
Other versions
BR112019024117A2 (pt
Inventor
Luca Ferrari
Riccardo MORSELLI
Elliott Christopher
Original Assignee
Cnh Industrial Brasil Ltda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cnh Industrial Brasil Ltda filed Critical Cnh Industrial Brasil Ltda
Publication of BR112019024117A2 publication Critical patent/BR112019024117A2/pt
Publication of BR112019024117B1 publication Critical patent/BR112019024117B1/pt

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D2001/001—Traction couplings; Hitches; Draw-gear; Towing devices specially adapted for use on vehicles other than cars
    • B60D2001/005—Traction couplings; Hitches; Draw-gear; Towing devices specially adapted for use on vehicles other than cars for carts, scooters, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Soil Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

Sistema para conexão automática (1) entre um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) compreendendo: uma câmera 3D (9) transportada pelo trator (2) e configurada para capturar continuamente imagens do espaço tridimensional S voltado para o implemento (5); um processador (15) configurado para detectar nas imagens um formato predeterminado correspondente ao engate (7) do implemento e para determinar as coordenadas espaciais do engate em relação à posição do trator (2) de modo a calcular um caminho Pi entre o trator (2) e o engate (7) e um controlador (16) configurado para mover o trator (2) ao longo do caminho calculado Pi de modo que o trator (2) se aproxime do implemento (5) para permitir que, no final do caminho, o ponto de conexão do trator (4) coincida com o engate do implemento (7). Quando o engate do implemento (7) sai do campo de visão da câmera (9) o processador (15) está configurado para detectar nas imagens, pontos de referência alternativos Ra para recalcular o caminho Pi. (Figuras 1 e 2).

Description

[001] A presente invenção refere-se a um sistema e método para conexão automática entre um trator e um implemento. Pedido de patente US2015077557 descreve um sistema onde um par de câmeras é montado em um trator e produz imagens de um alvo montado no implemento (por exemplo, uma carreta ou reboque) a ser conectado ao trator. Uma unidade processadora de imagem processa as imagens e outras informações e um sistema de controle controla automaticamente a direção e o movimento do trator para alinhar o trator com o implemento, de modo que o implemento possa ser acoplado automaticamente ao trator. Mais especificamente, o sistema alinha o engate do trator com o implemento e o trator é automaticamente parado quando o engate está alinhado com o implemento.
[002] O alvo tem um projeto ou padrão específico que pode ser facilmente percebido pelas câmeras, por exemplo, um padrão quadriculado. Portanto, de acordo com a patente acima um padrão específico deve ser fornecido no implemento e o suporte do padrão deve ser corretamente alinhado. Isso requer uma modificação mecânica do implemento original. O escopo da presente invenção é fornecer um sistema para conexão automática entre um trator e um implemento que não requer o uso de padrões anexados ao implemento de modo que o sistema pode ser usado com qualquer implemento mesmo se não especificamente equipado.
[003] Além disso, o sistema de US2015077557 requer o uso de duas câmeras, isto é, uma câmera de visão à distância usada para identificar o implemento e iniciar a operação de acoplamento automático de distâncias maiores e uma câmera de visão de perto que fornece maior precisão de localização quando o trator está próximo ao implemento. Além disso, o escopo da presente invenção é realizar um sistema em que apenas uma câmera é necessária.
[004] O escopo acima é obtido pela presente invenção que refere-se a um sistema para conexão automática entre um trator fornecido com um ponto de conexão e um implemento fornecido com pelo menos um engate configurado para conexão com o ponto de conexão compreendendo: uma câmera 3D transportada pelo trator e configurada para capturar continuamente imagens do espaço tridimensional S voltado para o implemento; um processador é configurado para detectar nas imagens continuamente capturadas o engate e é projetado para determinar as coordenadas espaciais do engate em relação à posição do trator de modo a calcular um caminho Pi entre o trator e o engate; um controlador configurado para mover o trator ao longo do caminho calculado Pi de modo que o trator se aproxime do implemento ou o processador é configurado para mostrar o caminho calculado Pi em um visor de modo que o usuário possa dirigir o trator, para permitir, no final do caminho Pi o ponto de conexão do trator para coincidir com o engate, caracterizado pelo fato de que quando o engate sai do campo de visão da câmera o processador é configurado para detectar nas imagens, pontos de referência alternativos Ra para recalcular o caminho Pi.
[005] A presente invenção também refere-se a um método para conexão automática entre um trator fornecido com um ponto de conexão e um implemento fornecido com pelo menos um engate configurado para conexão com o ponto de conexão compreendendo as seguintes etapas: capturar continuamente imagens do espaço tridimensional S voltado para o implemento; detectar nas imagens continuamente capturadas do engate do implemento; determinar as coordenadas espaciais do dito engate em relação à posição do trator de modo a calcular um caminho Pi entre o trator e o dito engate do implemento; mover, por meio de um controlador automático ou sob a direção do usuário, o trator ao longo do caminho calculado Pi de modo que o trator se aproxime do implemento para permitir que, no final do caminho, o ponto de conexão do trator coincida com o engate do implemento, caracterizado pelo fato que compreende a etapa de detectar nas imagens, pontos de referência alternativos Ra de modo a recalcular o caminho Pi quando o engate do implemento sai do campo de visão da câmera.
[006] A invenção deve ser descrita com os desenhos anexos que mostram um exemplo não limitativo em que:
[007] A Figura 1 mostra em uma maneira esquemática de um sistema para conexão automática entre um trator e um implemento de acordo com a presente invenção em uma primeira posição;
[008] A Figura 2 mostra em uma maneira esquemática de um sistema para conexão automática entre um trator e um implemento de acordo com a presente invenção em uma segunda posição;
[009] As Figuras 3 e 4 mostram uma outra modalidade da presente invenção; e
[010] A Figura 5 mostra uma imagem elaborada pelo sistema da presente invenção.
[011] Na Figura 1, o número 1 indica um sistema para conexão automática entre um trator 2 (o trator agrícola de tipo conhecido é esquematicamente ilustrado) fornecido com um ponto de conexão 4 (de tipo conhecido - esquematicamente ilustrado) e um implemento 5 (uma carreta ou um reboque, por exemplo) fornecido com pelo menos um engate 7 configurado para conexão com o ponto de conexão 4 de acordo com as técnicas conhecidas.
[012] O ponto de conexão 4 pode ser projetado para implementos que são puxados por um trator, normalmente usando uma barra de engate para conectar o implemento ao trator 2 (consultar, nas Figuras 1, 2 e 5 um exemplo dessa conexão de ponto único) ou para implementos que são transportados pelo trator 2, normalmente usando o engate três pontos para conexão (consultar nas Figuras 3 e 4 um exemplo dessa conexão).
[013] O sistema 1 compreende uma câmera tridimensional (3D) 9 (mostrada esquematicamente) transportada pelo trator 2 (no exemplo, a câmera 9 é colocada em uma porção superior da cabine 10 do trator 2 mas outros locais são disponíveis) e configurada para capturar continuamente imagens do espaço tridimensional S voltado para o implemento 5.
[014] A câmera 9 pode ser um CCD (dispositivo acoplado a carga) ou um CMOS (semicondutor de óxido de metal complementar). A saída da câmera 9 pode ser digital ou analógica, colorida ou monocromática (de preferência, é usada uma câmera digital colorida de alta definição). A câmera 9 possui uma faixa dinâmica alta, para que possa capturar com sucesso a imagem alvo nas condições de operação mais claras e mais escuras. A câmera 9 pode operar na região Visível e/ou IR. O campo de visão da câmera 9 é grande o suficiente para poder identificar o alvo nas distâncias mais distantes e próximas do trator 2 ao implemento 5.
[015] O sistema 1 compreende também um visor 12 (normalmente uma tela LCD com operações de tela sensível ao toque) colocada na cabine 10 e configurada para exibir a imagem capturada para o usuário 13 do trator 2. O usuário 13 do trator pode, portanto, ver no visor 12 os itens que são colocados na parte traseira do trator 2 a uma distância predeterminada, dependendo do campo de visão da câmera 9. O sinal de saída da câmera 9 é convertido em formato digital por um dispositivo de hardware do tipo conhecido (não mostrado).
[016] De acordo com a invenção o sistema 1 compreende um processador 15 que recebe as imagens e está configurado para detectar nas imagens um formato predeterminado correspondente ao formato do engate 7 (ou dos engates se houver) que é usado como um ponto de referência R. A detecção do engate 7 é realizada por um software associado com o processador 15 caracterizado por processar imagem de acordo com as técnicas conhecidas, por exemplo, comparando-se algumas imagens de referência de engates com a imagem digital. Etapas de pré- processamento de imagem (por exemplo, filtro mediano, filtro Laplaciano, Equalização de Histograma, ...) também podem ser implementadas para ajudar o classificador/software a identificar e reconhecer o engate.
[017] De acordo com uma outra modalidade preferida, a detecção do engate 7 é realizada por um software apresentando detecção com base em um modo de ensino. De acordo com o modo de ensino a imagem do implemento em uso é capturada em uma fase de ensino e a posição do engate é manualmente determinada em um visor (por exemplo usando-se visor 12 usando funções da tela sensível ao toque conhecidas) para criar uma base de dados de imagens de engates de implementos. Essa base de dados é memorizada e é ainda usada pelo processador 15 para elaborar as imagens capturadas pela câmera 9 para determinar o ponto de referência R.
[018] O processador 15 é projetado para determinar as coordenadas espaciais do ponto de referência R em relação à posição do trator 2 de modo a calcular um caminho Pi entre o trator 2 e o engate 7. O software incorporado no processador 15 executa um processo que encontra a relação entre as coordenadas no quadro de referência da câmera e as coordenadas correspondentes no quadro de referência mundial (isto é, local e orientação da imagem do engate). A relação acima é definida por parâmetros extrínsecos da câmera (matrizes de translação e rotação) que podem ser memorizados ou obtidos durante um processo de calibração.
[019] O sistema 1 compreende ainda um controlador 16 do movimento do trator 2 que interage com os componentes eletrônicos incorporados do trator de modo a mover o trator 2 ao longo do caminho calculado Pi de modo que o trator 2 se aproxime do reboque estacionado 5 para permitir que, no final do caminho, o ponto de conexão 4 do trator 2 coincida com o engate 7. O controlador 16 pode atuar na direção, na frenagem, na transmissão e no controle do motor (não mostrado) do trator para mover em baixa velocidade o trator 2. O controlador 16 pode receber informações a partir de outros sensores (não mostrados) colocados em torno do corpo do trator e fornecidos para detectar a presença de obstáculos se houver.
[020] Alternativamente, o processador 15 está configurado para mostrar o caminho calculado Pi no visor 12 de modo que o usuário possa dirigir o trator 2 seguindo este caminho Pi.
[021] O engate 7 fica muito mais rápido fora do campo de visão da câmera 3D 9 (consultar Figura 2) quando o trator 2 se aproxima do implemento 5 à medida que a câmera 9 é montada no teto da cabine 10.
[022] O processador 15, quando as imagens do engate não estão mais disponíveis porque o engate 7 está fora do campo de visão da câmera 9, é configurado para detectar nas imagens, pontos de referência alternativos Ra a serem usados para recalcular o caminho Pi.
[023] Para encontrar pontos de referência alternativos Ra, o processador 15 pode extrair formatos geométricos automaticamente correspondentes às partes do implemento 5 que têm uma relação espacial fixa em relação ao engate 7, por exemplo:
[024] Lados opostos da barra de tração 20 (o engate está posicionado na extremidade livre da barra de tração);
[025] Partes fáceis de distinguir do implemento (por exemplo, etiqueta 21, gravações 21, etc. - consultar Figura 5) cuja posição pode ser determinada em relação ao engate. Quando necessário o usuário (isto é, o condutor) pode selecionar e indicar formatos geométricos que podem funcionar como pontos de referência alternativos Ra no visor do trator (12). Mais de preferência, o software pode sugerir pontos de referência alternativos Ra ao usuário, os pontos de referência podem ser mostrados no visor 12 e o usuário pode confirmar a sugestão por meio de um comando de seção manual, por exemplo, atuando no visor 12 com funções da tela sensível ao toque. De acordo com essa modalidade, o processador implementa um processo de extração semiautomático onde pontos de referência alternativos extraídos devem ser validados pelo usuário de modo a serem armazenados e subsequentemente usados.
[026] Os pontos de referência alternativos Ra e sua relação espacial para o engate 7 podem ainda ser armazenados na base de dados de imagens dos respectivos engates 7. Um algoritmo pode então ser implementado para atualizar a relação espacial com todas as instâncias de conexão do ponto de conexão do trator ao engate 7. Para implementos frequentemente usados 5, informações podem ser disponibilizadas na base de dados de imagens de engates em relação à detecção do engate 7 e informações precisas da relação espacial entre o engate 7 e os pontos de referência alternativos Ra, de modo que o tempo de processamento seja reduzido e precisão seja aumentada.
[027] Quando o trator 2 está alinhado com vários implementos 5, o processador 15 pode tentar detectar os diferentes engates 7 no campo de visão mas deixa a critério do usuário selecionar o implemento 5 que deve ser conectado.
[028] O recálculo acima aumenta a precisão em determinar a porção final de caminho Pi. Observa-se que, pelo menos teoricamente, o caminho Pi pode ainda ser definido com o engate fora da vista mas com uma resolução bastante baixa.
[029] No final do caminho Pi, o ponto de conexão 4 do trator está pronto para coincidir com o engate 7 do implemento 5.
[030] De acordo com uma primeira modalidade da invenção o usuário do trator ainda precisa conectar fisicamente as partes. Por exemplo, se uma conexão de engate de ponto único for usada, não será necessário um alinhamento perfeito entre as partes. A conexão física das partes pode, portanto, ser realizada pelo usuário que pode girar a barra de tração 20 ou modificar o comprimento da barra de tração 20 de acordo com as técnicas conhecidas (por exemplo, usando uma barra de tração telescópica) de modo a estabelecer a conexão física.
[031] De acordo com uma diferente modalidade (por exemplo, se um engate de três pontos for usado como descrito a seguir) um nível mais alto de alinhamento entre as partes é necessário. Neste caso, o trator 2 pode se mover ao longo do caminho Pi até que a conexão física entre as partes seja estabelecida.
[032] A Figura 3 mostra um implemento 5 que tem pelo menos dois engates 7a e 7b estão em um plano vertical de referência Z. Esse implemento 5 é adequado para ser conectado com um ponto de conexão do tipo engate de três pontos.
[033] Neste caso, o processador 15 está configurado para encontrar nas imagens capturadas as imagens dos dois engates 7a, 7b para determinar respectivos pontos de referência Ra, Rb usados para calcular o plano de referência vertical Z onde os pontos de referência Ra, Rb estão e um vetor de orientação de implemento V1 perpendicular ao plano de referência Z.
[034] O processador 15 está configurado para receber as informações em relação à posição e a orientação do trator de modo a determinar um vetor de orientação do trator V2. Uma tal posição pode ser derivada a partir de um sistema GPS, por exemplo.
[035] O processador 15 é projetado para calcular a projeção P1 do vetor de orientação do trator V2 no plano de referência Z e calcular a distância d (figura 3) entre o ponto de projeção P1 e um ponto P2 do plano Z tendo a mesma distância a partir dos pontos de referência Ra, Rb. O controlador automático 16 do movimento do trator 2 é projetado para mover o trator 2 de modo que o vetor de orientação do trator V2 fique paralelo ao vetor de orientação de implemento V1 (Figura 4) e a distância da projeção seja minimizada no final do caminho Pi (isto é, o deslocamento entre vetores é zero).
[036] Convenientemente, a câmera 9 é uma câmera estéreo na modalidade das Figuras 3 e 4.
[037] O processador 15 compreende um dispositivo de seleção para selecionar manualmente na imagem mostrada no visor 12 (por exemplo, com os comandos usuais usados em dispositivos portáteis fornecidos com tela sensível ao toque) regiões de interesse ROI (Figura 5 mostra sub-regiões retangulares) contendo a imagem dos engates. O processador 15 pode processar o pixel contido na região de interesse ROI apenas para detectar os pontos de referência com potência computacional reduzida. Consequentemente, o software não processa toda a imagem a partir da câmera 9. Em vez disso, o sistema processa apenas a ROI que apenas inclui a visualização do engate.
[038] Em uma modalidade diferente (não mostrada) o ponto de conexão 4 pode ser colocado em frente ao trator 2. Certamente, neste caso, a câmera 3D 9 será posicionada de modo a capturar imagens do espaço em frente ao trator voltado para o implemento.

Claims (12)

1. Sistema para conectar automaticamente (1) um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) e configurado para ser conectado com o ponto de conexão (4), o dito sistema compreendendo: uma câmera 3D (9) transportada pelo trator (2) e configurada para capturar continuamente imagens do espaço tridimensional voltado para o implemento (5); um processador (15) configurado para detectar nas imagens continuamente capturadas o engate (7) e projetado para determinar as coordenadas espaciais do engate (7) em relação à posição do trator (2) de modo a calcular um caminho entre o trator (2) e o engate (7); um controlador (16) configurado para mover o trator (2) ao longo do caminho calculado de modo que o trator (2) se aproxime do implemento (5) ou do processador (15), o dito controlador (16) é configurado para mostrar o caminho calculado em um visor (12) de modo que um usuário (13) possa dirigir o trator (2) para permitir que, no final do caminho o ponto de conexão do trator (4) coincida com o engate (7), CARACTERIZADO pelo fato de que quando o engate (7) sai do campo de visão da câmera (9) o processador (15) está configurado para detectar nas imagens, pontos de referência alternativos para recalcular o caminho.
2. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o processador (13) é projetado para sugerir pontos de referência alternativos extraídos ao usuário (13) a serem confirmados por um comando de seleção manual.
3. Sistema, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que o implemento (5) tem pelo menos dois engates (7a, 7b); o processador (15) está configurado para encontrar nas imagens o formato dos dois engates (7a, 7b) para calcular um plano de referência vertical (Z) e um vetor de orientação de implemento perpendicular ao plano de referência (Z); o processador (15) está configurado para receber as informações em relação à posição e a orientação do trator (2) de modo a determinar um vetor de orientação do trator; o controlador (16) está configurado para mover o trator (2) ou o processador (15) está configurado para mostrar o caminho calculado no visor (12), de modo que o vetor de orientação do trator fique paralelo com o vetor de orientação de implemento no final do caminho.
4. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que a dita câmera 3D (9) é uma câmera estéreo, ou uma câmera de tempo de voo TOF ou um LIDAR ou um radar de imagem.
5. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que o processador (15) compreende um dispositivo de seleção para selecionar manualmente nas imagens mostradas no visor (12) sub- regiões contendo o formato dos engates; o processador (15) está projetado para processar os pixels contidos na sub-região apenas para detectar os pontos de referência.
6. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que o dito processador (15) opera em conjunto com uma base de dados de imagens de implementos com engate associado que são capturadas em uma fase de ensino em que o engate é manualmente selecionado em cada imagem do implemento; o dito processador é projetado para usar a dita base de dados para detectar o engate nas imagens capturadas pela câmera.
7. Sistema, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que o dito controlador (16) está configurado para mover o trator controlando-se a direção, ou a frenagem, ou a transmissão e/ou o motor do trator.
8. Método para conectar automaticamente (1) um trator (2) fornecido com um ponto de conexão (4) e um implemento (5) fornecido com pelo menos um engate (7) e configurado para ser conectado com o ponto de conexão (4), o dito método compreendendo as seguintes etapas: capturar continuamente imagens do espaço tridimensional voltado para o implemento; detectar, nas imagens continuamente capturadas, o engate (7) do implemento; determinar as coordenadas espaciais do dito engate em relação à posição do trator (2) de modo a calcular um caminho entre o trator (2) e o dito engate do implemento (7); mover, por meio de um controlador automático ou sob a direção do usuário (13), o trator (2) ao longo do caminho calculado de modo que o trator (2) se aproxime do implemento (5) para permitir que, no final do caminho, o ponto de conexão do trator (4) coincida com o engate do implemento (7), CARACTERIZADO pelo fato de que compreende a etapa de detectar nas imagens, pontos de referência alternativos de modo a recalcular o caminho quando o engate do implemento (7) sai do campo de visão da câmera (9).
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende as etapas de: sugerir pontos de referência alternativos extraídos (Ra) ao usuário (13); e confirmar os pontos de referência alternativos sugeridos (Ra) por um comando de seleção manual.
10. Método, de acordo com a reivindicação 8 ou 9, CARACTERIZADO pelo fato de que o implemento tem pelo menos dois engates (7a, 7b), o método compreendendo adicionalmente as etapas de: encontrar nas imagens o formato dos dois engates (7a, 7b) para calcular um plano de referência vertical (Z) e um vetor de orientação de implemento perpendicular ao plano de referência (Z); determinar um vetor de orientação do trator; mover o trator (2) de modo que o vetor de orientação do trator fique paralelo com o vetor de orientação de implemento no final do caminho.
11. Método, de acordo com qualquer uma das reivindicações 8 a 10, CARACTERIZADO pelo fato de que compreende uma etapa de ensino em que a imagem de um implemento em uso é capturada e a posição do engate é manualmente determinada na imagem para criar uma base de dados de imagens de implementos com engate associado; a dita base de dados é ainda usada para determinar o engate nas imagens continuamente capturadas.
12. Veículo de trabalho, CARACTERIZADO pelo fato de que compreende o sistema conforme definido em qualquer uma das reivindicações 1 a 6.
BR112019024117-5A 2017-05-18 2018-05-17 Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho BR112019024117B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102017000054083A IT201700054083A1 (it) 2017-05-18 2017-05-18 Sistema e metodo di collegamento automatico tra trattore ed attrezzo
IT102017000054083 2017-05-18
PCT/EP2018/062853 WO2018210990A1 (en) 2017-05-18 2018-05-17 System and method for automatic connection between a tractor and an implement

Publications (2)

Publication Number Publication Date
BR112019024117A2 BR112019024117A2 (pt) 2020-06-02
BR112019024117B1 true BR112019024117B1 (pt) 2023-02-07

Family

ID=59859558

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112019024117-5A BR112019024117B1 (pt) 2017-05-18 2018-05-17 Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho

Country Status (5)

Country Link
EP (1) EP3624578B1 (pt)
CN (1) CN110636753B (pt)
BR (1) BR112019024117B1 (pt)
IT (1) IT201700054083A1 (pt)
WO (1) WO2018210990A1 (pt)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018219829A1 (de) * 2018-11-20 2020-05-20 Zf Friedrichshafen Ag Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
EP4001058A1 (en) * 2020-11-12 2022-05-25 Volvo Truck Corporation A system for guiding a vehicle towards a connecting vehicle which is to be connected to the vehicle
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN113033421A (zh) * 2021-03-29 2021-06-25 深圳市豪恩汽车电子装备股份有限公司 一种自动挂接拖车的方法
CA3223654A1 (en) * 2021-06-23 2022-12-29 Outrider Technologies, Inc. Autonomous trailer maneuvering
WO2022271178A1 (en) * 2021-06-24 2022-12-29 Deere & Company Determining vehicle heading and implement heading of low speed farming machine
DE102021119683A1 (de) * 2021-07-29 2023-02-02 Deere & Company Verfahren zur Unterstützung eines an einem Dreipunkt-Kraftheber durchzuführenden Kuppelvorgangs
DE102021126814A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug
DE102021126816A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln eines Knickwinkels, Verarbeitungseinheit und Fahrzeug
BR102022016726A2 (pt) * 2022-08-22 2024-02-27 CNH Industrial Brasil Ltda. Sistema e método de montagem assistida de plataforma em uma colheitadeira agrícola e colheitadeira agrícola

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10111529A1 (de) * 2001-03-10 2002-09-12 Deere & Co Vorrichtung zum Koppeln eines Gerätes an einem Arbeitsfahrzeug
JP4563366B2 (ja) * 2006-12-07 2010-10-13 三菱農機株式会社 トラクタの作業機連結装置
GB2469438B (en) * 2009-03-09 2014-04-09 Applic Solutions Electronics & Vision Ltd Display movement of an object
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9880560B2 (en) * 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
DE102014223141B4 (de) * 2014-11-13 2019-06-19 Volkswagen Aktiengesellschaft Bestimmung einer Position eines Anhängerkupplungskopfes
DE102015201586A1 (de) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Wiedererkennung eines Anhängers
FR3042943B1 (fr) * 2015-11-03 2017-11-10 Kuhn Sa Attelage agricole avec un systeme de gestion et de guidage de manœuvres et procede mis en œuvre par cet attelage
CN106068726A (zh) * 2016-06-17 2016-11-09 北京首农畜牧发展有限公司 用于使拖拉机挂多种机具的转换系统及拖拉机

Also Published As

Publication number Publication date
CN110636753A (zh) 2019-12-31
IT201700054083A1 (it) 2018-11-18
EP3624578B1 (en) 2021-02-24
BR112019024117A2 (pt) 2020-06-02
WO2018210990A1 (en) 2018-11-22
EP3624578A1 (en) 2020-03-25
CN110636753B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
BR112019024117B1 (pt) Sistema e método para conexão automática entre um trator e um implemento e veículo de trabalho
CN104460361B (zh) 车辆自动运动控制系统
US20200334475A1 (en) Vehicular trailer angle detection system
CN106274685B (zh) 牵引车辆联接牵引球与拖车挂钩自主对准方法
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
US8134479B2 (en) Monocular motion stereo-based free parking space detection apparatus and method
EP3140725B1 (en) Dynamic camera view to aid with trailer attachment
US20160312432A1 (en) Computer Vision Assisted Work Tool Recognition and Installation
KR101023275B1 (ko) 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
WO2010113672A1 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム
US11279282B2 (en) Methods and systems for aligning a vehicle with a trailer
US10528056B2 (en) Vehicle guidance system
EP3393852B1 (en) Guidance system and method for providing guidance
CN114202588B (zh) 一种车载环视相机快速自动标定方法和装置
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
EP2757781B1 (en) Optical axis ascertaining device for in-vehicle camera
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
KR20170001765A (ko) Avm 시스템의 공차 보정 장치 및 방법
US11573565B2 (en) Controller for an unmanned aerial vehicle
WO2019198399A1 (ja) 画像処理装置および方法
US20200238912A1 (en) Backup camera system for a vehicle having a trailer hitch
TWM591940U (zh) 全景停車輔助系統及其裝置
JP2010148058A (ja) 運転支援装置及び運転支援方法
GB2540527A (en) Perspective shifting parking camera system
JP4310987B2 (ja) 移動体周辺監視装置

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 17/05/2018, OBSERVADAS AS CONDICOES LEGAIS