DE102021201525A1 - Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers - Google Patents

Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers Download PDF

Info

Publication number
DE102021201525A1
DE102021201525A1 DE102021201525.5A DE102021201525A DE102021201525A1 DE 102021201525 A1 DE102021201525 A1 DE 102021201525A1 DE 102021201525 A DE102021201525 A DE 102021201525A DE 102021201525 A1 DE102021201525 A1 DE 102021201525A1
Authority
DE
Germany
Prior art keywords
trailer
point
edge
camera
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021201525.5A
Other languages
English (en)
Inventor
Eva Zimmermann
Benjamin Classen
Robert Herzig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021201525.5A priority Critical patent/DE102021201525A1/de
Priority to US17/668,552 priority patent/US20220258800A1/en
Priority to CN202210145500.9A priority patent/CN114998421A/zh
Publication of DE102021201525A1 publication Critical patent/DE102021201525A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/28—Purposes or special features of road vehicle drive control systems related to towing or towed situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers (10) von einem autonom fahrenden Zugfahrzeug-Gespanns (14). Das Verfahren umfasst die Schritte des Einlesens von Bilddaten wenigstens einer rückwärtig ausgerichteten Kamera (18), des Zuordnens von Bildpunkten der Bilddaten zum Anhänger (10) oder zum Fahrzeugumfeld, des Ermittelns einer hinteren Anhängerkante (26) oder wenigstens eines Punktes der hinteren Anhängerkontur aus den dem Anhänger (10) zugeordneten Bildpunkten, und des Bestimmens des Anhängerknickwinkels (a) in Abhängigkeit von Bildkoordinaten der Anhängerkante (26) oder des Punktes, der Dimensionen des Anhängers (10) und der Position der Kamera (18) relativ zum Auflagepunkt (34) des Anhängers (10).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers von einem autonom fahrenden Zugfahrzeug-Gespanns. Darüber hinaus betrifft die Erfindung eine Vorrichtung zum Durchführen eines solchen Verfahrens.
  • Stand der Technik
  • Bei autonom fahrenden Fahrzeugen, insbesondere Zugfahrzeugen mit Anhängern, ist es wichtig, den Anhängerzustand zu erfassen, um seinen Knickwinkel in Bezug auf die Zugmaschine, seine Position, Geschwindigkeit Abmessungen etc. zu kennen. Die Erfassung des Anhängerzustands wird für viele Zwecke benötigt. Auf der einen Seite ist die Kenntnis des Anhängerzustands unerlässlich, um kollisionsfreie, sichere Trajektorien des Lkw-Anhänger-Gespanns zu planen. Andererseits kann dadurch die Leistung der allgemeinen Objekterkennung und -verfolgung verbessert werden.
  • Die WO 2016/025120 A1 offenbart ein Verfahren und eine Vorrichtung zum Bestimmen eines Gelenkwinkels eines Gelenkfahrzeuges. Zur Bestimmung des Winkels ist an einem Zugfahrzeug eine Kamera angeordnet, welche den Anhänger überwacht. Aus den von der Kamera erfassten Bildern wird ein Parameter, wie beispielsweise eine untere Kante des Anhängers, erfasst. Dieser Parameter wird in ein geometrisches Modell umgewandelt und bestimmt, um welchen Winkel der Parameter von der Null-Lage abweicht.
  • Die Aufgabe der vorliegenden Erfindung liegt darin, ein Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers von einem autonom fahrenden Zugfahrzeug-Gespanns anzugeben, mit welchem eine zuverlässige und wirtschaftliche Bestimmung der Ausrichtung verschiedener Anhängertypen möglich ist.
  • Zur Lösung der Aufgabe wird das Verfahren zum Ermitteln einer räumlichen Ausrichtung eines Anhängers mit den Merkmalen des Anspruchs 1 angegeben. Vorteilhafte Weiterbildungen der Erfindung sind den jeweiligen Unteransprüchen zu entnehmen.
  • Offenbarung der Erfindung
  • Vorgeschlagenen wird ein Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers von einem autonom fahrenden Zugfahrzeug-Gespanns. Das Verfahren umfasst dabei die Schritte des Einlesens von Bilddaten wenigstens einer rückwärtig ausgerichteten Kamera, des Zuordnens von Bildpunkten der Bilddaten zum Anhänger oder zum Fahrzeugumfeld, des Ermittelns einer hinteren Anhängerkante oder wenigstens eines Punktes der hinteren Anhängerkontur aus den dem Anhänger zugeordneten Bildpunkten, und des Bestimmens des Anhängerknickwinkels in Abhängigkeit von Bildkoordinaten der Anhängerkante oder des Punktes, der Dimensionen des Anhängers und der Position der Kamera relativ zum Auflagepunkt des Anhängers.
  • Unter Bilddaten im Sinne der Erfindung werden Bilder verstanden, welche über eine am Zugfahrzeug angeordnete Kamera aufgenommenen werden. Diese Kamera ist derart ausgerichtet, dass wenigstens ein hinteres Ende des Anhängers in zumindest einer Kurve für die Kamera sichtbar ist. Die Vielzahl an Bildpunkten, aus welchen jedes Bild besteht, werden dabei dem Anhänger oder der Fahrzeugumgebung zugeordnet. Als hintere Anhängerkante wird bei einem kastenförmigen Anhänger eine Kante verstanden, bei welcher der Anhänger im Bild endet und nach welcher Bildpunkte der Fahrzeugumgebung folgen. Vorzugsweise ist die hintere Anhängerkante eine senkrechte Kante des Anhängers.
  • Bei einer undefinierten geometrischen Form, wie beispielsweise bei einem Tankwagen wird anstelle einer Anhängerkante lediglich ein Punkt der hinteren Anhängerkontur verwendet. Der Anhängerknickwinkel beschreibt einen Winkel, um welchen der Anhänger zu einer Längsachse des Zugfahrzeugs verschwenkt ist. Als Bildkoordinaten werden die jedem Bildpunkt des Bildes zugeordneten Koordinaten in diesem Bild verstanden. Die Dimensionen des Anhängers, werden durch die Länge, Breite und Höhe des Anhänger definiert. Vorzugsweise sind die Dimensionen des Anhängers bekannt. Für die Berechnung des Anhängerknickwinkels wird zusätzlich die Position der Kamera, d.h. der laterale und der longitudinale Abstand zum Auflagepunkt benötigt. Bevorzugt sind auch die Eigenschaften der Kamera, wie beispielsweise die Brennweite, bekannt.
  • Die Kamera ist in diesem Verfahren vorzugsweise eine Kamera, welche bereits für das autonome Fahren verwendet wird. Das Verfahren hat somit den Vorteil, dass kein zusätzliche Hardware, wie beispielsweise ein Knickwinkelsensor am Auflagepunkt angeordnet werden muss, um den Anhängerknickwinkel zu detektieren. Der Anhängerknickwinkel wird somit im Wesentlichen durch die sich im Bild ändernde Position der Anhängerkante oder des Punktes ermittelt. Durch die selbständige Ermittlung der Anhängerkante oder des Punktes sind keine Markierungen notwendig, mit denen ein Punkt oder eine Kante gekennzeichnet wird. Dadurch können, wie im Frachtverkehr üblich, die Anhänger ohne zusätzlichen Aufwand gewechselt werden. Das Verfahren erhöht somit die Wirtschaftlichkeit eines solchen Zugfahrzeug-Gespanns.
  • Vorzugsweise wird mittels zweier Kameras, die zur Längsachse entgegengesetzt am Zugfahrzeugs angeordnet sind, gleichzeitig das erfindungsgemäße Verfahren durchgeführt. Dies hat den Vorteil, dass die in den jeweiligen Kurven ermittelten Anhängerknickwinkel miteinander verglichen werden können, so dass eine Plausibilitätskontrolle dieser Werte durchgeführt werden kann. Ebenso kann dadurch bei einem Ausfall einer Kamera weiterhin der Anhängerknickwinkel berechnet werden.
  • In einer bevorzugten Ausführung der Erfindung wird die Zuordnung der Bildpunkte mit einem machine learning model durchgeführt, welches auf die Zuordnung der Bildpunkte zum Anhänger trainiert wurde. Über ein solches machine learning model können die Bildpunkte auf einfache Weise dem Anhänger zugeordnet werden. Das machine learning model wird zusätzlich während des Betriebs weiterhin trainiert. Vorzugsweise ist dieses machine learning model ein neuronales Netz, welches über einen vertieftes lernen trainiert wird.
  • In einer weiteren bevorzugten Ausführung der Erfindung wird die Ermittlung der hinteren Anhängerkante oder des Punktes mit Hilfe eines machine learning models bestimmt. Dadurch kann auch bei verschiedenen unterschiedlichen Anhängern, die Anhängerkante oder der Punkt auf einfache Weise erkannt werden.
  • Vorzugsweise wird zur Ermittlung der hinteren Anhängerkante oder des Punktes ein Bildverarbeitungs-Algorithmus verwendet. Anhand des Bildverarbeitungs-Algorithmus werden die Bilder analysiert, um die Anhängerkante oder den Punkt zu ermitteln. Bei einem Bildalgorithmus kann ein trainingsschritt, welcher für ein machine learning model notwendig ist, eingespart werden. Als Bildverarbeitungs-Algorithmus können dabei bekannte Algorithmen, wie beispielsweise der optische Fluss oder klassische Computer Vision Ansätze verwendet. Es ist dadurch möglich, die Anhängerkante oder den Punkt der Anhängerkontur auf einfache Weise zu ermitteln.
  • In einer vorteilhaften Weiterbildung wird die Ermittlung der hinteren Anhängerkante oder des Punktes und die Entfernung hierzu mit Hilfe einer durch eine Stereokamera ermittelten Disparität bestimmt. Anhand einer Stereokamera werden zwei Bilder erzeugt, so dass ein räumliches Sehen möglich ist. Durch die über die Stereokamera erzeugte Disparität kann die Entfernung zur Anhängerkante ermittelt werden. Dadurch ist es ebenso möglich, die Dimensionen des Anhängers zu ermitteln. Es können dadurch unterschiedliche Anhänger verwendet werden, bei welchen die Dimensionen zu Fahrtbeginn nicht bekannt sind. Der Fahrer muss dadurch keine Daten zu den Anhängerdimensionen eingeben. Dadurch wird das Verfahren vereinfacht und lässt sich wirtschaftlich durchführen.
  • Vorteilhafterweise wird der Anhängerknickwinkel anhand geometrischer und trigonometrischer Zusammenhänge zwischen den Bildkoordinaten, der Position der Kamera relativ zum Auflagepunkt des Anhängers und der Dimension des Anhängers berechnet. Die Anhängerknickwinkel kann dadurch anhand von einfachen Berechnungen ermittelt werden, so dass der Anhängerknickwinkel schnell berechnet werden kann. Vorzugsweise sind für die Berechnung die Eigenschaften der Kamera, wie beispielsweise die Brennweite, bekannt.
  • Bei einer weiteren vorteilhaften Ausführung wird der Anhängerknickwinkel anhand eines unteren Punktes der Anhängerkante oder eines äußersten Punktes der hinteren Anhängerkontur bestimmt. Der unterste Punkte ist dabei der Punkt, welcher bei der senkrechten Anhängerachse unten angeordnet ist. Dieser Punkt hat bei Kurven den Vorteil, dass eine durch ein Rollen des Anhängers verursachte Abweichung des Anhängerknickwinkels minimal ist. Dementsprechend kann dadurch die Genauigkeit des Verfahrens und damit des Knickwinkels, beziehungsweise der räumlichen Ausrichtung, erhöht werden.
  • Bevorzugt wird anhand einer horizontalen Abweichung zwischen einem unteren und einem oberen Punkt der Anhängerkante ein Rollwinkel des Anhängers bestimmt. Durch das Verfahren der Ermittlung der räumlichen Ausrichtung kann somit gleichzeitig der Rollwinkel berechnet werden. Dieser kann hinsichtlich eines kippkritischen Wertes ausgewertet werden. Dadurch kann die Sicherheit des autonomen Systems verbessert werden.
  • Gemäß einer zweckmäßigen Ausführung wird basierend auf dem Anhängerknickwinkel die longitudinale und laterale Position der Anhängerkante oder des Punktes, relativ zum Auflagepunkt des Anhängers oder der Kamera bestimmt. Dadurch kann somit die für das autonome Fahren wichtige räumliche Ausrichtung des Anhängers ermittelt werden.
  • Gemäß einer weiteren zweckmäßigen Ausführung werden die Dimensionen des Anhängers über Sensoren des Zugfahrzeug-Gespanns ermittelt. Diese Sensoren sind beispielsweise Radar, Lidar, Ladar oder optische Sensoren, welche bereits für das autonome Fahren verwendet werden. Dadurch sind keine zusätzlichen Sensoren notwendig, um die Dimensionen des Anhängers zu ermittelt. Das Verfahren kann dadurch wirtschaftlich durchgeführt werden. Ebenfalls ist es möglich Anhänger mit verschiedenen Dimensionen an das Zugfahrzeug anzukoppeln.
  • Die der Erfindung zugrunde liegende Aufgabe wird zusätzlich mit einer Vorrichtung zum Durchführen des erfindungsgemäßen Verfahrens gelöst. Die Vorrichtung umfasst dabei wenigstens zwei rückwärtig ausgerichtete Kameras zum Erfassen von Bilddaten, und eine Verarbeitungseinheit, zur Ermittlung einer hinteren Anhängerkante oder wenigstens eines Punktes der hinteren Anhängerkontur sowie zur Ermittlung des Anhängerknickwinkels in Abhängigkeit von Bildkoordinaten der Anhängerkante oder des Punktes, der Dimensionen des Anhängers und der Position der Kamera relativ zum Auflagepunkt des Anhängers. Mit einer solchen Vorrichtung können die zu dem Verfahren genannten Vorteile erzielt werden.
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
    • 1 Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Ermitteln der räumlichen Ausrichtung eines Anhängers, und
    • 2 Darstellung eines Ausführungsbeispiel zur Ermittlung des Anhängerknickwinkels.
  • In 1 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Ermitteln der räumlichen Ausrichtung eines Anhängers 10 (siehe auch 2) gezeigt. Bei dem Anhänger 10 handelt es sich insbesondere um einem Anhänger 10 eines autonom fahrenden Zugfahrzeug-Gespanns 14. Für die autonomen Fahrfunktionen ist dieses in der Regel mit einer Vielzahl an Sensoren, wie unter anderem Kameras 18 ausgestattet. Diese werden in diesem Verfahren für die Ermittlung der räumlichen Ausrichtung des Anhängers 10 mit verwendet werden, so dass keine zusätzlichen Kameras 18 notwendig sind.
  • In einem ersten Schritt A werden die von einer rückwärts gerichteten Kamera 18 (siehe 2) aufgenommenen Bilddaten in einer Verarbeitungseinheit 22 eingelesen. Diese Bilddaten enthalten dabei zumindest einen hinteren Teil des Anhängers 10. In der Verarbeitungseinheit werden die Bildpunkte in einem nächsten Schritt B dem Anhänger 10 oder dem Fahrzeugumfeld zugeordnet.
  • Diese Zuordnung kann dabei beispielsweise über ein machine learning model durchgeführt werden, welches aufgrund von Trainingsdaten gelernt hat den Anhänger vom Fahrzeugumfeld zu unterscheiden. Dadurch wird der Anhänger 10 in den Bilddaten erkannt.
  • In einem nächsten Schritt C wird anhand des so erkannten Anhängers 10 eine hintere Anhängerkante 26 ermittelt. Dazu werden die Bildpunkte des Anhängers 10 in ein machine learning model eingegeben, welches aufgrund des Trainings die hintere Anhängerkante 26 erkennt. Ebenso ist es möglich lediglich einen Punkt der hinteren Anhängerkante 26 für das weitere Verfahren zu verwenden. Insbesondere wird dafür ein Punkt 26 verwendet, welcher in einem unteren Bereich der Anhängerkante 26 angeordnet ist. Ein solcher Punkt 26 hat den Vorteil, dass ein durch eine Kurve verursachte Rollbewegung des Anhängers 10 lediglich geringen Einfluss auf den Anhängerknickwinkel α hat.
  • In einem weiteren Schritt D wird der Anhängerknickwinkel α bestimmt. Für diesen Schritt müssen, wenn die Dimensionen des Anhängers 10 nicht bereits hinterlegt sind, diese zuvor noch bestimmt werden. Die Ermittlung der Dimensionen muss lediglich bei Beginn der Fahrt durchgeführt werden. Das kann beispielsweise mit Hilfe eines in dem Zugfahrzeug-Gespanns 14 verbauten Radarsensors ermittelt werden.
  • 2 zeigt ein Ausführungsbeispiel zur Ermittlung des Anhängerknickwinkels α. Diese Figur zeigt dabei eine Draufsicht auf ein Zugfahrzeug-Gespann 14, bei welchem der Anhängerknickwinkel a, 0° ist und bei welchem der Anhänger 10 eingelenkt ist (gestrichelte Linien). Die Kamera 18 ist in diesem Ausführungsbeispiel an einem linken Außenspiegel des Zugfahrzeugs 30 angeordnet. Zusätzlich ist eine linke hintere Anhängerkante oder Punkt 26 gezeigt. Ein Radius r zwischen diesem Punkt 26 und einem Drehpunkt, welcher hier durch einen Auflagepunkt 34 gebildet ist, ergibt sich dabei aus der Anhängerbreite sowie einer Anhängerlänge ausgehend vom Auflagepunkt 34. Aus diesen Werten ergibt sich ein Winkel α0 zwischen der Diagonale r und einer Fahrzeuglängsachse v.
  • Die Linien SF zeigen dabei ein Sichtfeld der Kamera 18 in einer optimal ausgerichteten Stellung. Linien SF' zeigen dahingegen ein Sichtfeld einer Kamera 18, welche um einen Korrekturwinkel γ zur optimalen Stellung verstellt ist. Dieser Korrekturwinkel γ muss bei der Berechnung als Korrektur beachtet werden, da durch diesen auch eine Mittelachse x der Kamera 18 verstellt ist. Der Punktabstand xw gibt dabei den Abstand des Punktes 26 zu der Kamera 18 entlang der Mittelachse x wieder. Dieser Wert wird berechnet nach xw = r · cos(α + α0) + cx. Da die Berechnung der Werte α, α0, r ausgehend von dem Auflagepunkt 34 berechnet werden, muss für die Berechnung des Punktabstands xw zusätzlich der Kameraabstand cx, zwischen Auflagepunkt 34 und Kamera 18, addiert werden. Ebenso gibt der Punktabstand yw den Abstand des Punktes zu der Kamera 18 entlang der Querachse y wieder. Dieser Wert wird nach der Formel yw = r · sin(α + a0) - cy berechnet. Hier muss der Kameraabstand cy, welcher dem Abstand zwischen Auflagepunkt 34 und Kamera 18 entspricht, abgezogen werden.
  • Ein Bild des Anhängers 10 wird in der Kamera 18 auf einer beispielsweise durch einen Bildsensor gebildeten Bildebene 38 abgebildet. Zur besseren Veranschaulichung ist die Bildebene 38 vor der Kamera 18 gezeigt. Der Wert yi beschreibt dabei den Bildabstand zwischen der Mittelachse x und dem Punkt 26 der Anhängerkante 26 auf der Bildebene 38. Der Bildabstand yi lässt sich bestimmen. Der Bildabstand yi zu der Brennweite f verhält sich dabei ebenso wie der Punktabstand yw zu xw. Bei einer Einbeziehung des Korrekturwinkels γ ergibt sich dadurch: y i ƒ = − sin ( γ ) x w + cos ( γ ) y w cos ( γ ) x w + sin ( γ ) y w
    Figure DE102021201525A1_0001
  • Werden in diese Formel die Formeln für xw und yw eingesetzt ergibt sich dafür: y i ƒ = − sin ( γ ) ( r  cos ( a + a 0 ) + c x ) + cos ( γ ) ( r  sin ( a + a 0 ) − c y ) cos ( γ ) ( r  cos ( a + a 0 ) + c x ) + sin ( γ ) ( r  sin ( a + a 0 ) − c y )
    Figure DE102021201525A1_0002
  • Wird diese Formel nach dem Anhängerknickwinkel α ausgerechnet, kann anhand des Abbilds auf der Kamera 18, der Dimensionen des Anhängers 10 und der Position der Kamera 18 zu dem Auflagepunkt 34, der Anhängerknickwinkel α ermittelt werden. Durch Einsetzen des so bestimmten Anhängerknickwinkels α in die Formeln für xw und yw kann nun auch die longitudinale und laterale Position des Punkts 26 der Anhängerkante 26 bestimmt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2016/025120 A1 [0003]

Claims (10)

  1. Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers (10) von einem autonom fahrenden Zugfahrzeug-Gespanns (14), umfassend die Schritte: - Einlesen von Bilddaten wenigstens einer rückwärtig ausgerichteten Kamera (18), - Zuordnen von Bildpunkten der Bilddaten zum Anhänger (10) oder zum Fahrzeugumfeld, - Ermitteln einer hinteren Anhängerkante (26) oder wenigstens eines Punktes der hinteren Anhängerkontur aus den dem Anhänger (10) zugeordneten Bildpunkten, und - Bestimmen des Anhängerknickwinkels (a) in Abhängigkeit von Bildkoordinaten der Anhängerkante (26) oder des Punktes, der Dimensionen des Anhängers (10) und der Position der Kamera (18) relativ zum Auflagepunkt (34) des Anhängers (10).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Zuordnung der Bildpunkte mit einem machine learning model durchgeführt wird, welches auf die Zuordnung der Bildpunkte zum Anhänger (10) trainiert wurde.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ermittlung der hinteren Anhängerkante (26) oder des Punktes mit Hilfe eines machine learning models bestimmt wird.
  4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittlung der hinteren Anhängerkante (26) oder des Punktes ein Bildverarbeitungs-Algorithmus verwendet wird.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung der hinteren Anhängerkante (26) oder des Punktes und die Entfernung hierzu mit Hilfe einer durch eine Stereokamera ermittelten Disparität bestimmt wird.
  6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Anhängerknickwinkel (a) anhand geometrischer und trigonometrischer Zusammenhänge zwischen den Bildkoordinaten, der Position der Kamera (18) relativ zum Auflagepunkt (34) des Anhängers (10) und der Dimension des Anhängers (10) berechnet wird.
  7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Anhängerknickwinkel (a) anhand eines unteren Punktes der Anhängerkante (26) oder eines äußersten Punktes der hinteren Anhängerkontur bestimmt wird.
  8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass basierend auf dem Anhängerknickwinkel (a) die longitudinale und laterale Position der Anhängerkante (26) oder des Punktes, relativ zum Auflagepunkt (34) des Anhängers (10) oder der Kamera (18) bestimmt wird.
  9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Dimensionen des Anhängers (10) über Sensoren des Zugfahrzeug-Gespanns (14) ermittelt werden.
  10. Vorrichtung zum Durchführen eines Verfahrens nach einem der vorherigen Ansprüche, umfassend wenigstens zwei rückwärtig ausgerichtete Kameras (18) zum Erfassen von Bilddaten, und eine Verarbeitungseinheit (22), zur Ermittlung einer hinteren Anhängerkante (26) oder wenigstens eines Punktes der hinteren Anhängerkontur sowie zur Ermittlung des Anhängerknickwinkels (a) in Abhängigkeit von Bildkoordinaten der Anhängerkante (26) oder des Punktes, der Dimensionen des Anhängers (10) und der Position der Kamera (18) relativ zum Auflagepunkt (34) des Anhängers (10).
DE102021201525.5A 2021-02-17 2021-02-17 Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers Pending DE102021201525A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021201525.5A DE102021201525A1 (de) 2021-02-17 2021-02-17 Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
US17/668,552 US20220258800A1 (en) 2021-02-17 2022-02-10 Method for ascertaining a spatial orientation of a trailer
CN202210145500.9A CN114998421A (zh) 2021-02-17 2022-02-17 用于求取挂车的空间定向的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021201525.5A DE102021201525A1 (de) 2021-02-17 2021-02-17 Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers

Publications (1)

Publication Number Publication Date
DE102021201525A1 true DE102021201525A1 (de) 2022-08-18

Family

ID=82610558

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021201525.5A Pending DE102021201525A1 (de) 2021-02-17 2021-02-17 Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers

Country Status (3)

Country Link
US (1) US20220258800A1 (de)
CN (1) CN114998421A (de)
DE (1) DE102021201525A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010008324A1 (de) 2010-02-17 2011-08-18 ZF Lenksysteme GmbH, 73527 Erfassung und Auswertung einer Lagebeziehung zwischen einem Kraftfahrzeug und einem Anhänger
WO2016025120A1 (en) 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
DE102017223098A1 (de) 2017-12-18 2019-06-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
DE102019131702A1 (de) 2018-11-26 2020-05-28 Ford Global Technologies, Llc Anhängerwinkelerfassung unter verwendung von ende-zu-ende-lernen
WO2021007427A1 (en) 2019-07-09 2021-01-14 Continental Automotive Systems, Inc. Trailer body length detection system
DE102019005932A1 (de) 2019-08-22 2021-02-25 Daimler Ag Sensoreinrichtung für ein Zugfahrzeug eines Gespanns und Gespann mit einer solchen Sensoreinrichtung

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
US7904222B2 (en) * 2007-06-27 2011-03-08 GM Global Technology Operations LLC Trailer articulation angle estimation
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
US20090271078A1 (en) * 2008-04-29 2009-10-29 Mike Dickinson System and method for identifying a trailer being towed by a vehicle
RU2009113008A (ru) * 2009-04-08 2010-10-20 Михаил Юрьевич Воробьев (RU) Способ определения позиции и ориентации прицепа транспортного средства и устройство для его осуществления
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
US9555832B2 (en) * 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US8831831B2 (en) * 2011-12-20 2014-09-09 Continental Automotive Systems, Inc. Trailer backing aid using GPS mapping and camera image display
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
GB2515800B (en) * 2013-07-04 2017-06-07 Jaguar Land Rover Ltd Vehicle control system
US9037349B2 (en) * 2013-08-27 2015-05-19 Ford Global Technologies Trailer identification system for trailer backup assist
US9623904B2 (en) * 2014-06-03 2017-04-18 Ford Global Technologies, Llc Trailer curvature control with adaptive trailer length estimation
DE102015014799A1 (de) * 2015-11-13 2017-05-18 Mekra Lang Gmbh & Co. Kg System und Verfahren zur Erfassung eines Heckbereiches eines Fahrzeugs
US9610975B1 (en) * 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US20180057052A1 (en) * 2016-08-25 2018-03-01 Eaton Corporation Trailer angle measurement for automated maneuvering
US10207643B2 (en) * 2016-09-06 2019-02-19 Aptiv Technologies Limited Camera based trailer detection and tracking
US10552976B2 (en) * 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
DE102017207438B4 (de) * 2017-05-03 2020-07-09 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und deren Verwendung zur Ermittlung des Knickwinkels eines Gespanns
US10346705B2 (en) * 2017-06-20 2019-07-09 GM Global Technology Operations LLC Method and apparatus for estimating articulation angle
DE102017011177A1 (de) * 2017-12-05 2019-06-06 Wabco Gmbh Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
GB201806279D0 (en) * 2018-04-17 2018-05-30 Cambridge Entpr Ltd Method and system of articulation angle measurement
DE102018219829A1 (de) * 2018-11-20 2020-05-20 Zf Friedrichshafen Ag Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
BR112021017749A2 (pt) * 2019-03-08 2021-11-16 Orlaco Products B V Método para treinar e usar uma rede neural para detectar posição da parte ego
US20200346581A1 (en) * 2019-05-02 2020-11-05 Jared Lawson Trailer tracking commercial vehicle and automotive side view mirror system
GB2584824B (en) * 2019-05-23 2021-06-16 Jaguar Land Rover Ltd Vehicle control system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010008324A1 (de) 2010-02-17 2011-08-18 ZF Lenksysteme GmbH, 73527 Erfassung und Auswertung einer Lagebeziehung zwischen einem Kraftfahrzeug und einem Anhänger
WO2016025120A1 (en) 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
DE102017223098A1 (de) 2017-12-18 2019-06-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
DE102019131702A1 (de) 2018-11-26 2020-05-28 Ford Global Technologies, Llc Anhängerwinkelerfassung unter verwendung von ende-zu-ende-lernen
WO2021007427A1 (en) 2019-07-09 2021-01-14 Continental Automotive Systems, Inc. Trailer body length detection system
DE102019005932A1 (de) 2019-08-22 2021-02-25 Daimler Ag Sensoreinrichtung für ein Zugfahrzeug eines Gespanns und Gespann mit einer solchen Sensoreinrichtung

Also Published As

Publication number Publication date
US20220258800A1 (en) 2022-08-18
CN114998421A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
DE102011120814B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem damit gekoppelten Anhänger
DE102008029612B4 (de) System und Verfahren zum Berechnen eines Anhängerkupplungs-Gelenkwinkels
DE102004050149A1 (de) Verfahren zur Bestimmung von Deichsel- und Trailerwinkel
DE112018000107T5 (de) Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
DE102012022336A1 (de) Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
DE102004022113A1 (de) Überwachung eines PKW-Anhängers mit einer Rückfahrkamera
DE102004028763A1 (de) Andockassistent
EP3351450A1 (de) Verfahren und fahrerassistenzsystem zur ermittlung fahrdynamischer zustände eines nutzfahrzeugs
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102017011177A1 (de) Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
EP3529743A1 (de) Verfahren und vorrichtung zur erzeugung einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102018005118A1 (de) Verfahren zum Bestimmen eines Knickwinkels
DE102017123228A1 (de) Verfahren zum Klassifizieren eines Objektpunkts als statisch oder dynamisch, Fahrerassistenzsystem und Kraftfahrzeug
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
DE112019001414T5 (de) Steuergerät für ein fahrzeug
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102020112549A1 (de) Verfahren zum Vermessen eines an einem Fahrzeug angeordneten Anbauteils auf Grundlage von Bildern eines mobilen Endgeräts, Recheneinrichtung sowie Fahrerassistenzsystem
DE102018117541B4 (de) Verfahren zur Überwachung des Beladungszustandes von Nutzfahrzeugen oder Wechselaufbauten für Nutzfahrzeuge
DE10063756A1 (de) Verfahren und Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung
DE102018004110A1 (de) Verfahren und Steueranordnung zum Modellieren einer räumlichen Bewegung eines Anhängers, der gelenkig an ein Fahrzeug angehängt ist
DE102021201525A1 (de) Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
EP3476696A1 (de) Verfahren zum ermitteln von objektgrenzen eines objekts in einem aussenbereich eines kraftfahrzeugs sowie steuervorrichtung und kraftfahrzeug
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren

Legal Events

Date Code Title Description
R163 Identified publications notified