DE102016210376A1 - Intelligente anhängervorrichtungssteuerung, die ein hmi-gestütztes visual servoing verwendet - Google Patents

Intelligente anhängervorrichtungssteuerung, die ein hmi-gestütztes visual servoing verwendet Download PDF

Info

Publication number
DE102016210376A1
DE102016210376A1 DE102016210376.8A DE102016210376A DE102016210376A1 DE 102016210376 A1 DE102016210376 A1 DE 102016210376A1 DE 102016210376 A DE102016210376 A DE 102016210376A DE 102016210376 A1 DE102016210376 A1 DE 102016210376A1
Authority
DE
Germany
Prior art keywords
vehicle
ball
target
image
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016210376.8A
Other languages
English (en)
Other versions
DE102016210376A9 (de
DE102016210376B4 (de
Inventor
Shuqing Zeng
Wei Tong
Jinsong Wang
Wende Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102016210376A1 publication Critical patent/DE102016210376A1/de
Publication of DE102016210376A9 publication Critical patent/DE102016210376A9/de
Application granted granted Critical
Publication of DE102016210376B4 publication Critical patent/DE102016210376B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/26—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for remote control, e.g. for releasing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Trailers, e.g. full trailers, caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle

Abstract

Ein Verfahren zum autonomen Ausrichten einer Kupplungskugel mit einem Zugfahrzeug und einer Anhängerdeichsel an einen Anhänger mittels eines Mensch-Maschine-Schnittstelle(HMI)-gestützten Visual Servoing-Verfahrens. Das Verfahren beinhaltet das Bereitstellen von Rückfahrkamerabildern einer Rückfahrkamera. Das Verfahren beinhaltet das Berühren der Kugel an der Anhängerkupplung auf einem Display, um einen Ort der Zugkugel im Bild zu registrieren und das Berühren der Zugdeichsel auf dem Display, um einen Zielort zu registrieren an dem die Zugkugel sachgemäß mit der Zugdeichsel angeordnet wird. Das Verfahren umkreist das auf dem Bild dargestellte Ziel mittels eines Schablonenmusters und bewegt das Fahrzeug auf autonome Art und Weise, sodass die Zugkugel sich auf das Ziel zu bewegt. Das Verfahren prognostiziert einen neuen Zielort, während sich das Fahrzeug bewegt, und identifiziert das Ziel in neuen Bildern, während sich das Fahrzeug bewegt, indem das vorhergehende Schablonenmuster mit einem sich um den prognostizierten Ort herum befindlichen Bildfleck verglichen wird.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Diese Erfindung betrifft im Allgemeinen ein System und ein Verfahren zum Ausrichten einer Kupplungskugel und einer Anhängerdeichsel, und insbesondere ein System und ein Verfahren zum autonomen Ausrichten einer Anhängerdeichsel an ein Zugfahrzeug und eine Anhängerdeichsel auf einem Anhänger mittels eines Mensch-Maschine-Schnittstellen(HMI)-gestützten Visual Servoing-Verfahrens.
  • Erläuterung der verwandten Technik
  • Einige Fahrzeuge sind mit einer Anhängerkupplung ausgestattet, die es einem Anhänger oder einem sonstigen Anhängerfahrzeug ermöglicht mit dieser gekoppelt zu werden, sodass ein Zugfahrzeug in der Lage ist, den Anhänger zu schleppen. Im Allgemeinen wird die Anhängerkupplung an eine Hecktragstruktur des Zugfahrzeugs in der Nähe des hinteren Stoßfängers des Fahrzeugs angebracht, und beinhaltet eine Kupplungskugel, die einen bestimmten Durchmesser aufweist. Das Anhängerfahrzeug beinhaltet typischerweise eine Anhängerdeichsel, die sich von einer Stirnseite des Anhängerfahrzeugs aus erstreckt. Die Anhängerdeichsel beinhaltet oft eine Kugelpfanne, in der die Kupplungskugel positioniert ist, um die Anhängerkupplung an die Anhängerdeichsel zu koppeln. Ein Sicherungsmechanismus mit der Kugelpfanne, sowie eine metallische Klappe werden selektiv um die Kugel herum positioniert, wenn sie in die Kugelpfanne eingesetzt wird, um die Zugdeichsel in einer sicheren Position an die Anhängerkupplung anzubringen.
  • Wenn das Anhängerfahrzeug von dem Zugfahrzeug gelöst wird, wird die Anhängerdeichsel im Allgemeinen auf einer höhenverstellbaren Standvorrichtung aufgestützt, sodass die Kugelpfanne sich im Vergleich zu den Kugeln der Anhängerkupplung in einer höher gelegenen Position oberhalb des Erdbodens befindet. Beim Anbringen der Zugdeichsel an die Anhängerkupplung fährt der Bediener des Zugfahrzeugs das Zugfahrzeug nach hinten, um die Kupplungskugel genau unterhalb der Kugelpfanne zu positionieren. Sobald er sich in dieser Position befindet, wird die Zugdeichsel durch die Absenkung der Standvorrichtung in Richtung Kugel, abgesenkt.
  • Damit der Fahrzeugbediener beim Rückwärtsfahren des Zugfahrzeugs in der Lage ist, die Kupplungskugel genau unterhalb der Kugelpfanne der Zugdeichsel zu positionieren, um das Anhängerfahrzeug mit dem Zugfahrzeug zu verbinden, muss er über reichlich Erfahrung verfügen und recht geschickt sein. Lässt man diese Geschicklichkeit und die Erfahrung des Bedieners außer Acht, ist es praktisch unmöglich die Kupplungskugel genau an der richtigen Stelle zu positionieren. Aus diesem Grund muss der Bediener typischerweise die Anhängerdeichsel verwenden, um das Anhängerfahrzeug manuell weiter nach links oder nach rechts oder nach vorn oder nach hinten zu bewegen, um eine präzise Ausrichtung bereitzustellen. Da das Anhängerfahrzeug groß, schwer und umständlich zu bewegen sein kann, ist das manchmal eine schwierige Angelegenheit.
  • Moderne Fahrzeuge beinhalten oft eine oder mehrere Kameras, die während der Fahrt des Fahrzeugs zu Kollisionsvermeidungszwecken eine Rückfahrhilfe und eine bildliche Erfassung des Straßenverkehrs oder eine Strukturerkennung, wie z. B. die Erkennung von Straßenschildern usw. bereitstellen. Kamerasysteme, die zur Rückfahrlenkführung des Fahrzeugs verwendet werden, setzen eine visuelle Überlagerung von Grafiken, die auf dem Kamerabild eingeblendet oder überlagert werden ein, um eine Rückfahrlenkführung des Fahrzeugs bereitzustellen. Für Anwendungsfälle, bei denen Grafiken auf Kamerabildern überlagert werden, ist es von entscheidender Bedeutung, dass die Position und Ausrichtung der Kamera in Bezug zum Fahrzeug präzise kalibriert wird. Die Kalibrierung der Kameras umfasst normalerweise das Bestimmen eines Parametersatzes, das Bildkoordinaten der Kamera mit Fahrzeugkoordinaten und umgekehrt in Beziehung setzt. Während einige Parameter, wie z. B. die Kamerabrennweite und das optische Zentrum usw., stabil sind, ist das bei anderen Parametern, wie z. B. der Ausrichtung und Position der Kamera, nicht der Fall. Die Höhe der Kamera hängt beispielsweise vom Beladungszustand des Fahrzeugs, der sich von Zeit zu Zeit ändert, ab. Diese Änderung kann dazu führen, dass überlagerte Grafiken der Trajektorie des Fahrzeugs auf dem Kamerabild ungenau dargestellt werden.
  • US-Patentanmeldung Seriennummer 14/476,345 mit dem Titel Smart Tow, eingereicht am 3. September, 2014, die dem Zessionär dieser Anmeldung übertragen und durch Verweis hierin einbezogen wurde, offenbart ein System und ein Verfahren zum Bereitstellen einer visuellen Unterstützung mittels einer auf einem Rückfahrkamerabild eingeblendeten graphischen Überlagerung zur Unterstützung eines Fahrzeugbedieners beim Rückwärtsfahren eines Fahrzeugs zum Ausrichten einer Kupplungskugel an eine Anhängerdeichsel. Dieses Verfahren beinhaltet eine Kameramodellierung, mittels der die Fahrzeugkoordinaten des Kamerabilds zu Weltkoordinaten ins Verhältnis gesetzt werden, wobei die Kameramodellierung eine grafische Überlagerung bereitstellt, die eine Schlepplinie beinhaltet, die sich auf derselben Höhe wie das Kamerabild, das von einer abgeschätzten Höhe der Anhängerdeichsel bestimmt wird, befindet. Das Verfahren beinhaltet darüber hinaus das Bereitstellen einer fahrzeugdynamischen Modellierung zum Identifizieren der Bewegung des Fahrzeugs während es sich um ein Drehzentrum herum bewegt. Das Verfahren sagt dann während des Lenkens den Weg des Fahrzeugs vorher. Hierzu gehört auch die Berechnung des Drehzentrums.
  • Das oben in der '345 Anwendung beschriebene System liefert eine visuelle Unterstützung des Fahrzeugbedieners beim Ausrichten einer Zugkugel an eine Anhängerdeichsel bereitzustellen. Das System erfordert jedoch einen Fahrzeugbediener, der die Bremse, die Lenkung und das Drosselklappe des Fahrzeugs in Verbindung mit der visuellen Unterstützung bedient, um die Ausrichtung zwischen der Zugkugel und der Deichsel bereitzustellen. Da die Geschicklichkeit des Fahrzeugbedieners immer noch eine gewisse Rolle spielt, gibt, es immer noch einige Nachteile, die es mittels eines vollkommen autonomen Verfahrens zur Ausrichtung der Kupplungskugel mit der Anhängerdeichsel, zu beseitigen gilt.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Ein System und ein Verfahren zum autonomen Ausrichten einer Kupplungskugel mit einem Zugfahrzeug und einer Anhängerdeichsel an einen Anhänger mittels eines Mensch-Maschine-Schnittstelle-(HMI)-gestützten Visual-Servoing-Verfahrens. Das Verfahren beinhaltet das Bereitstellen von Rückfahrkamerabildern von einer sich am Fahrzeug befindlichen Rückfahrkamera, die die Zugkugel und die Zugdeichsel auf einem Touchscreen-Display darstellt. Das Verfahren beinhaltet das Berühren der Kugel an der Anhängerkupplung auf dem Display, um einen Ort der Zugkugel im Bild zu registrieren und das Berühren der Zugdeichsel auf dem Display, um einen Zielort zu registrieren, an dem die Zugkugel sachgemäß mit der Zugdeichsel angeordnet wird. Das Verfahren stellt ein Schablonenmuster um das auf dem Bild dargestellte Ziel herum, bereit und bewegt das Fahrzeug auf autonome Art und Weise, sodass die Zugkugel sich auf das Ziel zu bewegt. Das Verfahren prognostiziert einen neuen Zielort während sich das Fahrzeug bewegt, und identifiziert das Ziel in neuen Bildern während sich das Fahrzeug bewegt, indem das vorhergehende Schablonenmuster mit einem sich um den prognostizierten Zielort herum befindlichen Bildfleck verglichen wird. Das Verfahren stoppt das Fahrzeug, wenn die Entfernung von der Kupplungskugel zum Ziel sich unterhalb eines bestimmten Mindestgrenzwerts befindet.
  • Zusätzliche Eigenschaften der vorliegenden Erfindung gehen aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen hervor.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine Darstellung eines Kamerabilds, das ein Fahrzeug darstellt, zu dem eine Anhängerkupplung gehört, die in Beziehung zu einem Anhänger, der eine Kupplungszugdeichsel beinhaltet, positioniert ist.
  • 2 ist ein schematisches Blockschaltbild eines Systems zum automatischen Positionieren des Fahrzeugs, um die Kupplungskugel mit der Kupplungszugdeichsel anzuordnen.
  • 3 ist eine Darstellung, die eine Draufsicht eines sich entlang eines Lenkungspfad bewegenden Fahrzeugs darstellt, die eine Variable zur Umwandlung von Bildkoordinaten in Weltkoordinaten darstellt;
  • 4 ist ein Flussdiagramm, das ein Verfahren zum autonomen Positionieren der Zugkugel mittels eines HMI gestützten Visual-Servoing-Verfahrens darstellt; und
  • 5 ist ein schematisches Blockschaltbild eines Systems zum Bereitstellen des Kalman-Bucy-Filtervorgangs zum Abschätzen der Position der Zugdeichsel im Rahmen des Verfahrens zum autonomen Positionieren der Zugkugel.
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die folgende Diskussion der Ausführungsformen der Erfindung, welche sich auf ein System und ein Verfahren zum autonomen Positionieren eines Fahrzeugs beziehen, mittels denen eine sich am Fahrzeug befindliche Kupplungskugel mit einer Anhängerdeichsel angeordnet wird, ist lediglich exemplarischer Natur und dient keineswegs dazu, die Erfindung oder ihre Anwendungen oder Nutzungen zu beschränken. Wie beispielsweise bereits besprochen, verfügt das System und Verfahren über eine besondere Anwendung zum autonomen Positionieren eines Fahrzeugs, mittels der eine Kupplungskugel mit einer Anhängerdeichsel angeordnet wird. Wie in Fachkreisen auf dem Gebiet jedoch erkennbar sein wird, kann das System und Verfahren auf anderen mobilen Plattformen, wie zum Beispiel Zügen, Maschinen, Traktoren, Booten, Campingfahrzeugen usw., angewendet werden.
  • Die vorliegende Erfindung schlägt eins System und ein Verfahren zum autonomen Positionieren eines Fahrzeugs vor, mittels dessen eine sich auf einem Fahrzeug befindliche Kupplungskugel mit einer Anhängerdeichsel mittels eines HMI-gestützten Visual-Servoing-Verfahrens angeordnet wird. Wie nachfolgend im Detail erörtert, positioniert der Bediener das Fahrzeug so in der Nähe des Anhängers, dass ein von einer sich am Heck des Fahrzeugs befindlichen Kamera aufgenommenes Rückblickbild, den Anhänger und die Anhängerdeichsel darstellt. Der Bediener wird dann den Ort der Kupplungskugel im Bild mittels eines das Bild darstellenden Touchscreens identifizieren und ein sich auf der Zugdeichsel befindliches Ziel identifizieren und dann einen Befehl eingeben, gemäß dem das Fahrzeug sich autonom in Bewegung setzen wird, sodass die Kupplungskugel mit dem Ziel angeordnet wird.
  • 1 ist eine Darstellung eines Rückfahrkamerabildes 10, das von einer am Heck des Fahrzeugs 12 angebrachten Kamera bereitgestellt wird, wobei das Fahrzeug 12 eine Anhängerkupplung 14 beinhaltet, die eine sich daraus erstreckende Kupplungskugel 16 aufweist. Ein Rückfahrtsteuersystem 18 wird im Allgemeinen am Fahrzeug 12 dargestellt und beinhaltet, wie weiter unten erläutert, alle für den Betrieb der Erfindung erforderlichen Kameras, Kamerabildprozessoren, Algorithmen, autonomen Fahrzeugsteuerungen usw. Kasten 20 ist ein Touchscreendisplay am Fahrzeug 12, auf dem das Bild 10 gezeigt werden kann, um es dem Fahrzeugbediener zu ermöglichen Bild 10 zu sehen und Touchscreeneingaben, wie sie hierin diskutiert werden, bereitzustellen. Das Bild 10 stellt einen Anhänger 22 hinter dem Fahrzeug 12 dar, der eine Anhängerdeichsel 24 beinhaltet, auf der in gewissem Abstand über dem Boden und oberhalb der Zugkugel 16 eine Kugelpfanne 26 positioniert ist.
  • Sobald der Fahrzeugbediener das Fahrzeug 12 vor dem Anhänger 22 positioniert hat und das Kamerabild 10 den Trailer 22 darstellt, registriert der Fahrzeugbediener die Zugkugel 16 durch Berühren des Zugkugelbildes 16 auf dem Display 20, um den Ort der Zugkugel 16 im Bild 10 zu registrieren. Der Vorgang der Positionsregistrierung der Kupplungskugel 16 im Bild 10 kann zuvor schon durchgeführt worden sein, wobei der Ort der Zugkugel 16 im Bild 10 sich immer am selben Ort befinden sollte. Danach wird der Bediener durch das Berühren der Kugelpfanne 26 am Display 20 einen Zielort identifizieren, wobei die Kugelpfanne 26 im Folgenden als das Ziel bezeichnet wird. Fachleute auf dem Gebiet werden ohne weiteres geeignete Algorithmen und Prozesse zum Identifizieren des Ortes eines Elements in einem Bild mittels einer Touchscreenoperation erkennen. Der Fahrzeugbediener legt dann das Fahrzeug 12 in den Rückwärtsgang ein, oder gibt einen anderen geeigneten Befehl ein, über den dem System 18 mitgeteilt wird, das Fahren des Fahrzeugs 12 zu übernehmen, und die Zugkugel 16 am Zielort ohne weiteren Eingriff durch den Fahrzeugbediener zu positionieren.
  • Wie nachfolgend im Detail erörtert, wird das Ziel 10 im Zuge der Fahrzeugbewegung und der Veränderung des Ziels 10 im Bild nachverfolgt und festgehalten, um eine neue Position des Ziels zu identifizieren. Die Entfernung zwischen der Kupplungskugel 16 und dem Ziel wird jedes Mal, wenn ein neues Bild bereitgestellt wird, berechnet, und sobald die Entfernung zwischen der Kupplungskugel 16 und dem Ziel sich innerhalb eines minimalen Grenzwerts, wie z. B. einem Zoll, befindet, wird das Fahrzeug 12 gestoppt und der autonome Ausrichtungsprozess wird beendet, wobei der Fahrzeugbediener dann die Zugdeichsel 24 absenken muss, sodass die Kupplungskugel 16 innerhalb der Kugelpfanne 26 positioniert wird. Während des Ausrichtungsmanövers überwacht der Fahrzeugbediener umgebende Objekte, wie z. B. Menschen oder Tiere, wodurch es dem Fahrzeugbediener möglich ist, das automatische Anhängerausrichtungsmanöver im Fall eines Kollisionspfads durch die Betätigung der Bremse oder der Fahrzeuglenkung zu beenden.
  • 2 ist ein schematisches Blockschaltbild eines Systems 40, das das Fahrzeug 12 beim Rückwärtsfahren und im Zuge des, wie hier beschriebenen, Anhängerkupplungs-Ausrichtungsmanövers autonom positioniert. Das System 40 beinhaltet eine Rückfahrkamera 42, die an einer Visual Servoing-Steuerung 44, die die Positionen des Fahrzeugs 12 während des die Feedbackanalyse verwendenden Manövers steuert, Bilder mit einer vorgegebenen Geschwindigkeit bereitstellt. Darüber hinaus werden der Steuerung 44 in Kasten 46, wie vorstehend beschrieben, Mensch-Maschine-Schnittstellen(HMI)-Eingaben mittels des Touchscreendisplays 20 bereitgestellt. Obwohl die Nutzung des Touchscreen-Displays 20 in den hierin beschriebenen Ausführungsformen stattfindet, können auch andere Methoden bereitstehen, um den Ort der Kupplungskugel 16 und das Ziel im Bild 10 zu identifizieren. Sobald die Zugkugel 16 und das Ziel identifiziert und mittels einer HMI-Eingabe registriert wurde und der Fahrzeugbediener das Ausrichtungsmanöver einleitet, stellt die Steuerung 44 Drosselklappen- und Bremsbefehlsignale an das Motorsteuergerät (ECM) 48 bereit, um das Fahrzeug 12 bei gewünschter Geschwindigkeit auf den Anhänger 22 zuzubewegen und Lenkwinkelbefehlssignale an das elektrische Servolenkungs-(EPS)-Steuerungsmodul 50, um mittels Momentenüberlagerung eine Lenkung des Fahrzeugs für das Manöver bereitzustellen. Während sich das Fahrzeug 12 bewegt, bewegt sich auch der Zielort auf dem Bild 10, wobei die Steuerung 44 die neue Position des Zielorts von den neuen Bildern, die mit der hier geführten Diskussion konsistent sind, berechnet. Während das Fahrzeug 12 sich weiterhin auf das Ziel zu bewegt und der Zielort auf dem Bild 10 ständig aktualisiert wird, versucht die Steuerung 44 den Abstand zwischen der Zugkugel 16 und dem Ziel zu minimieren, sodass wenn sie am selben Ziel angekommen sind, der Prozess beendet wird und die Zugkugel 16 sich direkt unterhalb der Kugelpfanne 26 befinden sollte.
  • Wenn das Ziel zum ersten Mal registriert wird, identifiziert das System 40 den Zielort mithilfe von Bildkoordinaten (u, v) und stellt ein Zielmuster oder eine Zielvorlage T um das Ziel herum bereit, welche in 1 als Vorlage 30 dargestellt ist und die z. B. von einer Pixelanordnung oder einer Merkmalsbeschreibung definiert wird, die einen das Ziel beinhaltende Abschnitt des Bildes 10 dargestellt. Sobald der Zielort einmal identifiziert wurde und das System 40 aktiviert wurde, wird das Ziel nachverfolgt und festgehalten während das Fahrzeug 12 sich bewegt, um die Kupplungskugel 16 und das Ziel anzuordnen. Basierend auf der Geschwindigkeit und den Lenkwinkel des Fahrzeugs 12, prognostiziert der Algorithmus einen neuen Ort (u', v') mithilfe der Koordinaten des Ziels an jedem Probepunkt. Wenn ein neues Bild von der Kamera 42 erfasst wird, sucht der Algorithmus das neue Bild um den prognostizierten Ort (u', v') innerhalb eines vordefinierten Fensters W herum. Dieses wird als Bildfleck I(u, v) definiert, und unter Verwendung der unten stehenden Gleichungen (1) und (2) als punktierter Kasten 32 in 1 dargestellt. min u,v||T – I(u, v)||2, (1) wobei: min(|u – u'|, |v – v'|) < W. (2)
  • Wenn eine Bildübereinstimmung mit der Vorlage 30 im Fenster 32 gefunden wird, ersetzt der Algorithmus die gegenwärtige von T repräsentierten Vorlage 30 mit der neuen übereinstimmenden Vorlage T, wobei der neue Zielort (u', v') zum gegenwärtigen Zielort (u, v) wird. Der Algorithmus wiederholt den oben stehenden Prozess wenn ein neues Bild erfasst wird. Die alten Vorlagen T können verworfen werden, oder es kann ein Mittelwertbildungsprozess eingesetzt werden, wobei eine gewisse Anzahl der alten Vorlage T beibehalten wird, während das Fahrzeug 12 sich bewegt.
  • Wie bereits erwähnt, steuert die Steuerung 44 den Lenkwinkel des Fahrzeugs 12, der in einen Fahrbahn-Rad-Winkel θ umgewandelt wird. In einer Ausführungsform stellt der Algorithmus eine Steuerung mit offener Schleife bereit, um den Lenkwinkel zu berechnen, um die Entfernung zwischen der Zugkugel 16 und dem Ziel auf ein Mindestmaß zu senken.
  • Damit das möglich ist, muss der Algorithmus die Bildkoordinaten (u, v) in Bild 10 zu Weltkoordinaten umwandeln (x, y). 3 ist eine Draufsichtsdarstellung 60 eines Fahrzeugs 62, das einen Radstand aufweist b, bei dem das Fahrzeug 62 um eine sich relativ zu einem Wendepunkt 66 befindlichen Kurve 64 biegt, und in der Kreis 68 für den Ort der Zugkugel 16 und das Pluszeichen 70 für den Zielort steht. Der Ort der Kupplungskugel 16 in Weltkoordinaten ist als q = (xH, yH)T identifiziert und der Zielort in Weltkoordinaten ist als r = (x, y)T identifiziert. Der Algorithmus bildet jede Pixelposition (u, v) in der Draufsichtsdarstellung 10 in x – y Weltkoordinaten ab. Insbesondere eine Homografie-Matrix H bildet einen Pixel u = (u, v, 1)T in einer sich parallel zum Erdboden befindlichen x – y Ebene und auf derselben Höhe, auf der sich die Zugkugel 16 befindet, wie folgt ab. p = (p1, p2, p3)T, (3) p = Hu, (4) x = p1/p3, (5) y = p2/p3, (6) wobei die Homografie-Matrix H definiert wird als:
    Figure DE102016210376A1_0002
    und wobei Kc eine intrinsische Matrix, Rot die Kamera-Drehmatrix, t das Zentrum der Kamera, d die Höhe der Zugkugel 16 ist, und: nTX = d, (8) die Ebenengleichung ist. Ist die Kamera 42 einmal kalibriert sind die intrinsische Matrix Kc, die Kamera-Drehmatrix Rot und das Zentrum der Kamera t bekannte Werte.
  • Falls der Abstand zwischen dem Ort der Kupplungskugel q und dem Ort der Zugdeichsel r sich innerhalb des vorgegebenen Grenzwerts befindet, bringt der Algorithmus das Fahrzeug 12 zum Stehen, da die Kupplungskugel 16 sich am Zielort befindet. Falls der Abstand zwischen dem Kupplungskugelort q und dem Zugdeichselort r sich innerhalb des vorgegebenen Grenzwerts befindet, berechnet der Algorithmus den erwünschten Lenkradwinkel, um das Fahrzeug 12 zum Zielort zu steuern, als:
    Figure DE102016210376A1_0003
    θ = tan–1( b / R). (10)
  • Zunächst hält der Algorithmus das Fahrzeug 12 bei Vollbremsung auf der Stelle und bewegt das Lenkrad bis zum erwünschten Lenkradwinkel. Im Anschluss daran, lässt er die Bremse los und steuert die Geschwindigkeit des Fahrzeugs v unter Einhaltung des Lenkradwinkels.
  • 4 ist ein Flussdiagramm 80, das ein Verfahren für das autonome Lenken des Fahrzeugs 12 anzeigt, sodass die Zugkugel 16, wie bereits vorstehend erörtert, auf das Ziel abgestimmt wird. Der Algorithmus beginnt am Kasten 82 und ermittelt dann bei Entscheidungsraute 84, ob die Zugkugel 16 registriert ist. Falls die Zugkugel 16 bei Entscheidungsraute 84 nicht registriert ist, fordert der Algorithmus den Fahrzeugbediener, wie bereits vorstehend erörtert auf, den Ort der Zugkugel 16 im Bild 10 über das Berühren des Displays 26 bei Kasten 86 zu identifizieren und der Algorithmus registriert und speichert dann den Ort der Zugkugel 16 in Bildkoordinaten am Kasten 88. Sobald der Algorithmus den Ort der Zugkugel 16 am Kasten 88 registriert hat oder sobald der Ort der Zugkugel 16 an Entscheidungsraute 84 schon vorregistriert war, ermittelt der Algorithmus, ob ein Ziel im Bild 10 schon an Entscheidungsraute 90 identifiziert worden war. Falls es sich hierbei um den Beginn der Operation zum Ausrichten der Zugkugel 16 zum Ziel handelt, wird das Ziel an Entscheidungsraute 90 noch nicht identifiziert worden sein, und das Verfahren geht zu Kasten 92 über, wo der Fahrzeugbediener, wie bereits vorstehend erörtert, den Zielort am Bild 10 identifiziert. Der Algorithmus definiert auch die Vorlage 30 um das Ziel am Kasten 92 herum.
  • Falls das Ziel an Entscheidungsraute 90 identifiziert wurde oder ein neues Ziel am Kasten 92 identifiziert wurde, ermittelt der Algorithmus, ob ein neues Bild von der Kamera 42 an Entscheidungsraute 94 eingeholt wurde. Bei dem neuen Bild könnte es sich um das Originalbild handeln, das aufgenommen wurde, bevor der Algorithmus das Fahrzeug 12 zu Beginn des Ausrichtungsmanövers auf das Ziel zu bewegte oder es könnte sich um ein neues Bild handeln, das entstand während das Fahrzeug 12 das Ausrichtungsmanöver an der Anhängerkupplung durchführte. Falls an Entscheidungsraute 94 ein neues Bild entstanden worden war, schätzt der Algorithmus die Geschwindigkeit des Fahrzeugs 12, den Lenkwinkel des Fahrzeugs 12, die Gierrate des Fahrzeugs 12, die Trajektorie der Anhängerkupplung usw. am Kasten 96, um das Fahrzeug auf das Ziel zuzubewegen. Der Algorithmus stellte eine optische Bildentzerrung an Kasten 98 bereit, um Verzerrungen im jüngsten Bild auf eine Weise zu entfernen, die für den Fachmann allgemein verständlich ist. Der Algorithmus skaliert und positioniert dann den Bildfleck 32 neu und prognostiziert den Zielort (u', v') im neuen Bild am Kasten 100 unter der Verwendung der abgeschätzten Geschwindigkeit am Fahrzeug 12, des Lenkwinkels am Fahrzeug, 12 der Gierrate am Fahrzeug 12, der Trajektorie an der Anhängerkupplung usw. Der Algorithmus führt dann eine Musterabgleichsoperation innerhalb des Bildflecks 32 am Kasten 102 durch, um die Vorlage 30 im neuen Fenster zu identifizieren. Der Algorithmus bestimmt dann, ob eine Übereinstimmung zwischen der vorliegenden Vorlage T und einer Vorlage innerhalb des Bildflecks 32 an der Entscheidungsraute 104 gefunden wurde, und falls dies nicht der Fall ist, bricht er den Vorgang am Kasten 106 ab, indem er das Fahrzeug 12 anhält und zum Kasten 92 zurückkehrt, in den der Fahrzeugbediener den Zielort erneut eingeben muss. Falls eine Übereinstimmung mit der gegenwärtigen Vorlage T am neu skalierten Bildfleck 32 an Entscheidungsraute 104 gefunden wurde, schätzt der Algorithmus die Zielposition im neuen Bild ab, indem er z. B. einen Kalman-Bucy-Filteralgorithmus an Kasten 108 verwendet.
  • 5 ist ein Blockdiagramm eines Systems 110, das ein Beispiel eines Verfahrens zum Ermitteln der Zielposition im neuen Bild anhand des Kalman-Bucy-Filterverfahrens veranschaulicht. Das System 110 verfügt über vier Eingaben: den Fahrbahn-Rad-Winkel θ an Linie 112, die Fahrzeuggeschwindigkeit v an Linie 114, die Messung (x0, y0) der Position am Ort der Zugdeichsel p in der Bildebene an Linie 116 und eine Kalman-Filter-Verstärkung K an Linie 118. Die abgeschätzte Position (x ^, y ^) am Ziel wird als Ausgabe an Linie 120 bereitgestellt. Anhand des Fahrbahn-Rad-Winkels θ, der Fahrzeuggeschwindigkeit v, und einer Abschätzung der Zielposition (x ^, y ^) aus einer vorhergehenden Berechnung, wird die zeitliche Ableitung der Zielposition (x ., y .) an Kasten 122 wie folgt ermittelt: x . = –v + ωy, (11) y . = –ωx, (12) wobei: ω = tanθ / bv. (13)
  • Die zeitliche Ableitung der Position am Ziel (x ., y .) ist am Kasten 124 integriert, um den Zielort in Weltkoordinaten zu generieren (x, y). Der Zielort (x, y) wird in einem Subtrahierer 126 von der Messung (x0, y0) der Position am Ort der Zugdeichsel p subtrahiert, um einen Innovationsfehler e zu generieren, der in einem Multiplizierer 128 mit der Kalman-Verstärkung K multipliziert wird. Das verstärkungsangepasste Fehlersignal Ke wird dann in einem Addierer 130 zum Zielort (x, y) addiert, um die abgeschätzte Position des Ziels (x ^, y ^) an Linie 120 bereitzustellen.
  • Rückkehrend zum Flussdiagramm 80: Sobald die Zielposition, wie bereits vorstehend erörtert, am Kasten 108 erhalten wird, berechnet der Algorithmus die Entfernung von der Kupplungskugel 16 zum Ziel am Kasten 132 und ermittelt, ob die Entfernung geringer als ein an Entscheidungsraute 134 vorgegebener Grenzwert ausfällt. Falls die Entfernung geringer als der an Entscheidungsraute 134 vorgegebene Grenzwert ausfällt, weiß der Algorithmus, dass die Zugkugel 16 mit dem Ziel ausgerichtet ist und die Bremse wird betätigt, um das Fahrzeug an Kasten 136 zum Halten zu bringen. Falls die Entfernung nicht geringer als der Grenzwert an Entscheidungsraute 134 auffällt, berechnet der Algorithmus den erwünschten Lenkwinkel und die erwünschte Fahrzeuggeschwindigkeit v an Kasten 138 und stellt diese Signale den Steuermodulen 48 und 50 bereit, um das Fahrzeug 12 zu bewegen, um die Entfernung zwischen der Zugkugel 16 und dem Ziel am Kasten 140 zu verringern. Der Algorithmus kehrt dann zur Entscheidungsraute 94 zurück, um zu ermitteln, ob ein neues Bild angekommen ist.
  • Wie für den Fachmann allgemein verständlich, können die verschiedenen Schritte und Verfahren, die hierin gegebenenfalls diskutiert worden sind, um die Erfindung zu beschreiben, die von einem Computer, einem Prozessor oder sonstigen elektronischen Rechengeräten durchgeführten Operationen betreffen, die mittels elektrischer Phänomene Daten manipulieren und/oder umwandeln. Diese Computer und elektronischen Geräte können unterschiedliche flüchtige und/oder nicht flüchtige Speicher beinhalten, zu denen ein nicht transitorisches computerlesbares Medium mit einem ausführbaren darauf gespeicherten Programm einschließlich verschiedenen Codes oder ausführbaren Anweisungen gehört, die in der Lage sind von Computern oder Prozessoren ausgeführt zu werden, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Arten an Speichern und sonstigen computerlesbaren Medien beinhalten kann.
  • Die vorhergehende Diskussion offenbart und beschreibt lediglich beispielhafte Ausführungsformen der vorliegenden Erfindung. Der Fachmann erkennt leicht aus einer derartigen Diskussion und aus den begleitenden Zeichnungen und Ansprüchen, dass verschiedene Änderungen, Abwandlungen und Variationen darin ohne Abweichung von dem Erfindungsgedanken und dem Schutzumfang der Erfindung, wie in den folgenden Ansprüchen definiert ist, durchgeführt werden können.

Claims (10)

  1. Verfahren zum autonomen Ausrichten einer am Heck eines Zugfahrzeugs angebrachten Zugkugel mit einer an einem Anhänger angebrachten Zugdeichsel, wobei das besagte Verfahren Folgendes umfasst: das Bereitstellen von Rückfahrkamerabildern einer sich am Fahrzeug, befindlichen Rückfahrkamera, die die Zugkugel und die Zugdeichsel darstellen; das Darstellen der Bilder auf einem Touchscreen-Display; das Berühren der Zugkugel auf dem Display, um eine Position der Zugkugel im Bild zu registrieren; das Berühren der Zugdeichsel auf dem Display, um eine Position eines Ziels zu registrieren, das an der die Zugkugel mit der Zugdeichsel angeordnet wird; das Bereitstellen eines Schablonenmusters um das Registrierte Ziel im Bild herum; das autonome Bewegen des Fahrzeugs, sodass die Zugkugel auf das Ziel zu bewegt wird; das Prognostizieren einer Position des Ziels in neuen Bildern während sich das Fahrzeug bewegt; Das Abschätzen einer neuen Position des Ziels in den neuen Bildern, während sich das Fahrzeug bewegt, indem das Schablonenmuster um die prognostizierte Zielposition herum mit einem bereitgestellten Bildfleckfenster, verglichen wird; das Ermitteln einer Entfernung zwischen der Zugkugel und des neuen Zielorts; und das Anhalten des Fahrzeugs, wenn die Entfernung zwischen der Zugkugel und dem neuen Zielort geringer ausfällt als ein vorgegebener Grenzwert.
  2. Verfahren nach Anspruch 1, worin das autonome Bewegen des Fahrzeugs das autonome Bereitstellen von Brems-, Drossel- und Lenkbefehlen am Fahrzeug beinhaltet.
  3. Verfahren nach Anspruch 1, worin das autonome Bewegen des Fahrzeugs das auf der neuen Zielposition basierende Neuberechnen der Fahrzeuggeschwindigkeit und -lenkung beinhaltet.
  4. Verfahren nach Anspruch 1, worin das autonome Bewegen des Fahrzeugs das autonome Lenken des Fahrzeugs beinhaltet und worin das Lenken des Fahrzeugs, das Umwandeln der Bildkoordinaten der Zugkugel- und Zielortposition in Weltkoordinaten beinhaltet.
  5. Verfahren nach Anspruch 4, worin das Umwandeln der Bildkoordinaten der Zugkugel- und Zielortposition zu Weltkoordinaten das Verwenden einer Homografie-Matrix beinhaltet.
  6. Verfahren nach Anspruch 1, worin das Prognostizieren einer Position des Fahrzeugs das Verwenden der Fahrzeuggeschwindigkeit, des Fahrzeuglenkungswinkels und der Trajektorie der Anhängerkupplung beinhaltet.
  7. Verfahren nach Anspruch 1, worin das Abschätzen einer neuen Zielposition in den neuen Bildern das Abgleichen der Schablonenmuster mit einem selben sich im Fenster befindlichen Muster beinhaltet.
  8. Verfahren nach Anspruch 1, worin das Abschätzen einer neuen Zielposition das Einsetzen eines Kalman-Bucy-Filterverfahrens beinhaltet.
  9. Verfahren nach Anspruch 8, worin das Kalman-Bucy-Filterverfahren sich einer Fahrbahn-Rad-Winkel-Eingabe, einer Fahrzeuggeschwindigkeitseingabe, einem Kalman-Filter-Verstärkungswert und einer Messung der Zielposition bedient.
  10. Verfahren nach Anspruch 1, umfassend des Weiteren das Bereitstellen der optischen Bildentzerrung neu entstandener Bilder.
DE102016210376.8A 2015-06-23 2016-06-10 Intelligente anhängervorrichtungssteuerung, die ein hmi-gestütztes visual servoing verwendet Active DE102016210376B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/747,888 2015-06-23
US14/747,888 US9696723B2 (en) 2015-06-23 2015-06-23 Smart trailer hitch control using HMI assisted visual servoing

Publications (3)

Publication Number Publication Date
DE102016210376A1 true DE102016210376A1 (de) 2016-12-29
DE102016210376A9 DE102016210376A9 (de) 2017-03-02
DE102016210376B4 DE102016210376B4 (de) 2022-11-24

Family

ID=57537528

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016210376.8A Active DE102016210376B4 (de) 2015-06-23 2016-06-10 Intelligente anhängervorrichtungssteuerung, die ein hmi-gestütztes visual servoing verwendet

Country Status (3)

Country Link
US (1) US9696723B2 (de)
CN (1) CN106274685B (de)
DE (1) DE102016210376B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210142A1 (en) * 2018-04-27 2019-10-31 Continental Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
WO2019213306A1 (en) * 2018-05-01 2019-11-07 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
WO2019217586A1 (en) * 2018-05-08 2019-11-14 Continental Automotive Systems, Inc. Visual object tracker
DE102018215982A1 (de) * 2018-09-19 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke
US10984553B2 (en) 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150505B2 (en) * 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
US20170049202A1 (en) * 2015-08-21 2017-02-23 Edinaldo Nascimento Automatic Following Luggage System
US10242455B2 (en) 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
DE102016214597B4 (de) * 2016-08-05 2023-10-05 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs eines Fahrzeugs sowie Unterstützungssystem
GB2553809B (en) * 2016-09-15 2020-06-24 Jaguar Land Rover Ltd Apparatus and method for determining tow hitch location
JP7069548B2 (ja) * 2017-03-01 2022-05-18 株式会社アイシン 周辺監視装置
US10906583B2 (en) * 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10457205B2 (en) * 2017-03-16 2019-10-29 Robotzone, Llc Assisted trailer alignment system
EP3379222B1 (de) 2017-03-22 2020-12-30 Methode Electronics Malta Ltd. Auf magnetoelastik basierte sensoranordnung
US10168708B2 (en) * 2017-03-30 2019-01-01 GM Global Technology Operations LLC Wireless vehicle-trailer interface system
US11279282B2 (en) * 2017-04-19 2022-03-22 Robert Bosch Gmbh Methods and systems for aligning a vehicle with a trailer
US10266023B2 (en) * 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer
US10363874B2 (en) * 2017-09-19 2019-07-30 Ford Global Technologies, Llc Hitch assist system with hitch coupler identification feature and hitch coupler height estimation
US10414437B2 (en) * 2017-10-04 2019-09-17 Ford Global Technologies, Llc Hitch assist system for correcting misalignment between a tow hitch of a vehicle and a hitch coupler of a trailer
US10802478B2 (en) * 2017-10-19 2020-10-13 Ford Global Technologies, Llc Hitch assist system and method for autonomously maneuvering a vehicle in a user-specified target travel direction
US10160274B1 (en) * 2017-10-23 2018-12-25 GM Global Technology Operations LLC Method and apparatus that generate position indicators for towable object
US10479152B2 (en) * 2017-11-03 2019-11-19 Ford Global Technologies, Llc Compensation for trailer coupler height in automatic hitch operation
DE102017220459B4 (de) * 2017-11-16 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Anhängerankuppelassistent zum Unterstützen eines Ankuppelvorgangs eines rückwärts an einen Anhänger heranfahrenden Kraftfahrzeugs, sowie Kraftfahrzeug
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
US10144417B1 (en) * 2017-12-12 2018-12-04 Ford Global Technologies, Llc Hitch assist system and method featuring a specified angle between a vehicle heading and a trailer heading at a final position
WO2019168565A1 (en) 2018-02-27 2019-09-06 Methode Electronics,Inc. Towing systems and methods using magnetic field sensing
US11014417B2 (en) 2018-02-27 2021-05-25 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11491832B2 (en) 2018-02-27 2022-11-08 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11084342B2 (en) 2018-02-27 2021-08-10 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11135882B2 (en) 2018-02-27 2021-10-05 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11221262B2 (en) 2018-02-27 2022-01-11 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
DE102018204442B4 (de) 2018-03-22 2021-05-27 Zf Friedrichshafen Ag Anhänger und Verfahren und Steuergerät zum Bestimmen einer Orientierung eines Anhängers
JP7184925B2 (ja) * 2018-05-08 2022-12-06 コンチネンタル オートモーティブ システムズ インコーポレイテッド 後退方向で着目ポイントに向かって車両の自律運転を実施する方法、およびシステム
DE102018209382A1 (de) * 2018-06-13 2019-12-19 Zf Friedrichshafen Ag Kamera-basiertes Andocken von Fahrzeugen mittels künstlicher Intelligenz
US10960721B2 (en) * 2018-06-26 2021-03-30 Ford Global Technologies, Llc System for detection and response to retreating trailer
DE102018116922A1 (de) * 2018-07-12 2020-01-16 Connaught Electronics Ltd. Verfahren zum Bestimmen einer realen Position eines Anhängerkugelkopfs einer Anhängerkupplung eines Kraftfahrzeugs mittels eines Assistenzsystems des Kraftfahrzeugs, Assistenzsystem sowie Kraftfahrzeug
US10768633B2 (en) 2018-07-16 2020-09-08 Ford Global Technologies, Llc Hitch assist system
US10870323B2 (en) 2018-07-18 2020-12-22 Ford Global Technologies, Llc Compensation for trailer coupler geometry in automatic hitch operation
US11148667B2 (en) * 2018-08-03 2021-10-19 Continental Automotive Systems, Inc. Automated reversing by choice of target location
US11603100B2 (en) 2018-08-03 2023-03-14 Continental Autonomous Mobility US, LLC Automated reversing by following user-selected trajectories and estimating vehicle motion
CN109376733B (zh) * 2018-08-13 2021-06-25 东南大学 一种基于车牌定位的道路救援装备正方位拖牵诱导方法
CN109376734B (zh) * 2018-08-13 2020-07-31 东南大学 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法
CN109145797B (zh) * 2018-08-13 2021-06-25 东南大学 基于车底阴影定位车牌的道路救援装备正方位诱导方法
CN109159632A (zh) * 2018-08-21 2019-01-08 许彦领 牵引连接器
DE102018122055A1 (de) 2018-09-10 2020-03-12 Wabco Gmbh Querlenkverfahren und Querlenkvorrichtung für das Bewegen eines Fahrzeugs in eine Zielposition, und Fahrzeug dafür
US11433812B2 (en) 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11485413B2 (en) 2018-10-30 2022-11-01 Ford Global Technologies, Llc Application of auxiliary lighting in automatic hitch operation
US10829152B2 (en) 2018-11-08 2020-11-10 Ford Global Technologies, Llc Automated hitching system with subject trailer selection from multiple identified trailers
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US11090991B2 (en) * 2018-12-04 2021-08-17 Ford Global Technologies, Llc Human machine interface for vehicle alignment in an acceptable hitch zone
US11077730B2 (en) * 2018-12-27 2021-08-03 Continental Automotive Systems, Inc. Sensor mounting height estimation using load sensors
US11214105B2 (en) * 2019-01-29 2022-01-04 Ford Global Technologies, Llc Saturated steering detection and operation for guided vehicle operation
EP3715993B1 (de) 2019-03-25 2022-09-14 Hiab AB Fahrzeug mit einer arbeitsausrüstung sowie eine arbeitsausrüstung und ein verfahren im zusammenhang damit
SE1950427A1 (en) 2019-04-05 2020-10-06 Cargotec Patenter Ab A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
US11208146B2 (en) 2019-05-21 2021-12-28 Ford Global Technologies, Llc Acceptable zone for automated hitching with system performance considerations
US11192552B2 (en) * 2019-06-13 2021-12-07 Ford Global Technologies, Llc Vehicle motion control for trailer alignment
US11427199B2 (en) * 2019-08-22 2022-08-30 Ford Global Technologies Llc System for aligning a vehicle hitch location identifier with a trailer coupler
USD987652S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen with graphical user interface
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
USD955404S1 (en) 2019-09-11 2022-06-21 Ford Global Technologies, Llc Display screen with graphical user interface
US20210347410A1 (en) * 2020-05-08 2021-11-11 Ford Global Technologies, Llc Trailer gps location storage and recall for hitch assist operation
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer
US11787336B2 (en) 2021-06-29 2023-10-17 Ford Global Technologies , Llc Trailer hitching assistance system including trailer type identification and adaptive interface
CN113537331B (zh) * 2021-07-09 2024-02-02 广东科研世智能科技有限公司 列车轮对的定位方法、装置及存储介质
US20230206582A1 (en) * 2021-12-23 2023-06-29 Eduardo Jose Ramirez Llanos Visual tracking of target features
CN114394051B (zh) * 2022-02-28 2023-11-10 东风商用车有限公司 一种车辆间接视野的提供方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2695202B1 (fr) * 1992-09-03 1994-11-10 Aerospatiale Système embarqué de navigation pour un engin aérien comportant un radar à visée latérale et à synthèse d'ouverture.
US6612603B2 (en) * 2001-09-07 2003-09-02 Michael D. Alger Trailer hitch alignment system
US8888121B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US20090016571A1 (en) * 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US20090091649A1 (en) * 2007-10-05 2009-04-09 Anderson Leroy E Electronic document viewer
US7777615B2 (en) * 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US8191915B2 (en) * 2008-10-17 2012-06-05 GM Global Technology Operations LLC Vehicle docking assistance system
US8396653B2 (en) * 2010-02-12 2013-03-12 Robert Bosch Gmbh Dynamic range display for automotive rear-view and parking systems
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9037312B2 (en) * 2013-08-26 2015-05-19 Ford Global Technologies Trailer heading angle using vehicle wheel speed sensors
DE102013015738A1 (de) 2013-09-20 2014-04-10 Daimler Ag System und Verfahren zum Ankuppeln eines Fahrzeugs an einen Anhänger
US20150115571A1 (en) 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210142A1 (en) * 2018-04-27 2019-10-31 Continental Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US11050933B2 (en) 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
WO2019213306A1 (en) * 2018-05-01 2019-11-07 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
WO2019213206A1 (en) * 2018-05-01 2019-11-07 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11198340B2 (en) 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
WO2019217586A1 (en) * 2018-05-08 2019-11-14 Continental Automotive Systems, Inc. Visual object tracker
US11287827B2 (en) 2018-05-08 2022-03-29 Continental Automotive Systems, Inc. Visual object tracker
DE102018215982A1 (de) * 2018-09-19 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke

Also Published As

Publication number Publication date
CN106274685B (zh) 2020-01-07
DE102016210376A9 (de) 2017-03-02
US9696723B2 (en) 2017-07-04
US20160378118A1 (en) 2016-12-29
CN106274685A (zh) 2017-01-04
DE102016210376B4 (de) 2022-11-24

Similar Documents

Publication Publication Date Title
DE102016210376B4 (de) Intelligente anhängervorrichtungssteuerung, die ein hmi-gestütztes visual servoing verwendet
DE112012000466B4 (de) System und Verfahren zum Manövrieren eines Fahrzeug-Anhänger-Gespanns bei Rückwärtsfahrt
EP2644477B1 (de) Assistenzvorrichtungen und Verfahren zum Betreiben einer Assistenzvorrichtung zur Fahrtsteuerung eines Zugfahrzeugs mit Anhänger
DE102016120349A1 (de) Anhängerrückfahrassistenzsystem mit zielmanagement
DE102016210824A1 (de) Anhängungshilfe mit Schwenk-/Zoomansicht sowie virtueller Draufsicht
DE102018114607A1 (de) Hinteres Objektnäherungssystem eines Fahrzeugs mit mehreren Kameras
DE102014114078A1 (de) Intelligentes Abschleppen
DE102020121899A1 (de) System zum ausrichten einer standort-kennung einer fahrzeugkupplung mit einem anhängerkoppler
DE102018122185A1 (de) Anhängerkupplungshilfssystem und -verfahren
DE102019117132A1 (de) System und verfahren zur erkennung von und reaktion auf störung zwischen anhängerverbindungsstück und anhängerkupplungskugel
DE102019104258B4 (de) Rückfahrsystem für Fahrzeug mit Anhängerkupplung und Fahrzeug
DE102019129193A1 (de) Anwendung einer hilfsbeleuchtung in einem automatischen kupplungsvorgang
DE102018127322A1 (de) Kompensation von Anhängerkupplungsvorrichtungshöhe bei automatischem Anhängerkupplungsbetrieb
DE102020127261A1 (de) Ausrichtungspositionsanpassung für attelkupplungsanhänger im kupplungsunterstützungsbetrieb
DE102020103099A1 (de) Automatisiertes ankupplungssystem mit übernahme und übergabe der lenkung
DE102019119422A1 (de) Kompensation für anhängerkupplerhöhe in einem automatischen kupplungsvorgang
DE102020129656A1 (de) Automatisiertes kupplungssystem mit variablen rückfahrwegen
DE102020124985A1 (de) Unterscheiden zwischen nahem anhänger und verbundenem anhänger
DE102014222032A1 (de) Anhängerüberwachungssystem und -Vefahren
DE102020129110A1 (de) Geführtes coaching für fahrzeugpositionierung zum betreiben eines automatisierten kupplungsmerkmals
DE102020121800A1 (de) Verhinderung eines verfolgungssprungs einer anhängerkupplung während eines kupplungsunterstützungsvorgangs
DE102020122363A1 (de) Erfassung eines eingeengten anhängers und reaktion darauf bei einem systemunterstützten kupplungsvorgang
DE102021103652A1 (de) Anhängerkupplungsunterstützungssystem mit dynamischer fahrzeugsteuerverarbeitung
DE102021111303A1 (de) Speichern und abrufen eines gps-orts eines anhängers für einen kupplungsunterstützungsvorgang
WO2015192987A1 (de) Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: SCHWEIGER PARTNERSCHAFT PATENTANWALT UND RECHT, DE

Representative=s name: SCHWEIGER & PARTNERS, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: SCHWEIGER, MARTIN, DIPL.-ING. UNIV., DE

R020 Patent grant now final