DE102018219829A1 - Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs - Google Patents

Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs Download PDF

Info

Publication number
DE102018219829A1
DE102018219829A1 DE102018219829.2A DE102018219829A DE102018219829A1 DE 102018219829 A1 DE102018219829 A1 DE 102018219829A1 DE 102018219829 A DE102018219829 A DE 102018219829A DE 102018219829 A1 DE102018219829 A1 DE 102018219829A1
Authority
DE
Germany
Prior art keywords
camera
target object
vehicle
positioning
object points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018219829.2A
Other languages
English (en)
Inventor
Martin Rapus
Christian Herzog
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102018219829.2A priority Critical patent/DE102018219829A1/de
Priority to PCT/EP2019/081116 priority patent/WO2020104263A1/de
Publication of DE102018219829A1 publication Critical patent/DE102018219829A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12), die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) an dem Zielobjekt (12) geeignet sind, hat die folgenden Schritten:- Durchführen eines kameragestützten Probepositioniermanövers;- Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthalten, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen;- Zuführen der Bilddaten zu einer Verarbeitungseinheit (20);- Bestimmen von charakteristischen Objektpunkten (30) des Zielobjekts (12) in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit (20).Ferner ist ein Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs, ein Steuergerät sowie ein System zur Bestimmung von charakteristischen Objektpunkten sowie ein Computerprogramm hierzu gezeigt.

Description

  • Die Erfindung betrifft ein Verfahren zur Bestimmung von charakteristischen Objektpunkten eines Zielobjektes, die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs an dem Zielobjekt geeignet sind, ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjektes, ein Steuergerät für das System, ein Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs sowie ein Computerprogramm mit Programmcode, um die Schritte eines der Verfahren durchzuführen.
  • Um Fahrzeuge wenigstens teilweise automatisch gegenüber einem Zielobjekt positionieren zu können, beispielsweise um einen Lkw gegenüber einem Anhänger oder einer Wechselbrücke zu positionieren, ist es bisher notwendig, das Zielobjekt für die Positionierungsprozedur extra zu präparieren, um charakteristische Objektpunkte des Zielobjektes für das Fahrzeug zu markieren. Beispielsweise müssen ein Sensor, Markierungen, Mustertafeln oder Ähnliches an dem Zielobjekt angebracht werden, um die Position und die Ausrichtung des Zielobjektes gegenüber dem Fahrzeug automatisch erfassen zu können.
  • Auch bei Verfahren, bei denen die Markierung der charakteristischen Objektpunkte digital in einem Modell erfolgt, müssen diese charakteristischen Objektpunkte manuell gefunden und markiert werden. Dies stellt einen großen Aufwand dar, da es eine Vielzahl von Zielobjekten gibt, die mit charakteristischen Objektpunkten versehen werden müssen.
  • Es ist daher Aufgabe der Erfindung, ein Verfahren, ein Steuergerät sowie ein System bereitzustellen, die die charakteristischen Objektpunkte eines Zielobjekts automatisch bestimmen und markieren können.
  • Die Aufgabe wird gelöst durch ein Verfahren zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts, die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs an dem Zielobjekt geeignet sind, mit den folgenden Schritten:
    • - Durchführen eines kameragestützten Probepositioniermanövers;
      • - Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthalten, die den von einer Kamera am Fahrzeug aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen;
    • - Zuführen der Bilddaten zu einer Verarbeitungseinheit;
      • - Bestimmen von charakteristischen Objektpunkten des Zielobjekts in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit;
  • Ferner wird die Aufgabe gelöst durch ein Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs in Bezug zu einem Zielobjekt, dessen charakteristischen Objektpunkte mittels des erfindungsgemäßen Verfahrens ermittelt wurden, mit den folgenden Schritten:
    • - Aufnehmen eines Bilds des Zielobjekts mittels wenigstens einer am Fahrzeug angebrachten Kamera;
    • - Ermitteln von Positionen charakteristischer Objektpunkte des Zielobjekts auf dem durch die Kamera aufgenommenen Bild des Zielobjekts mittels einer Auswerteeinheit;
    • - Vergleichen der ermittelten Positionen der charakteristischen Objektpunkte mit Lagedaten, die eine relative Lage der charakteristischen Objektpunkte zueinander auf dem Zielobjekt umfassen;
    • - Ermitteln einer Position und/oder einer Orientierung des motorbetriebenen Fahrzeugs relativ zum Zielobjekt basierend auf dem Ergebnis des Vergleichs; und
    • - Positionieren des motorbetriebenen Fahrzeugs in Bezug zum Zielobjekt basierend auf der ermittelten Position und/oder der ermittelten Orientierung wenigstens teilweise autonom.
  • Auch ein Steuergerät für ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs in Bezug zu einem Zielobjekt löst die Aufgabe, wobei das Steuergerät dazu ausgebildet ist, ein erfindungsgemäßes Verfahren durchzuführen.
  • Ferner wird die Aufgabe gelöst durch ein System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs in Bezug zu einem Zielobjekt, mit einem Fahrzeug, wenigstens einer an dem Fahrzeug angebrachten Kamera und einem erfindungsgemäßen Steuergerät.
  • Die wenigstens eine Kamera kann am Heck des Fahrzeugs vorgesehen sein, um ein rückwärtiges Positionieren zu ermöglichen.
  • Die Aufgabe wird ferner gelöst durch ein Computerprogramm mit Programmcode, der dazu angepasst ist, die Schritte eines erfindungsgemäßen Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines erfindungsgemäßen Steuergeräts eines erfindungsgemäßen Systems. Die Recheneinheit kann eine Verarbeitungseinheit und/oder eine Auswerteeinheit sein.
  • Dadurch, dass ein Probepositioniermanöver durchgeführt und Bilder während des Probepositioniermanövers erzeugt werden, enthalten die Bilddaten Bilder, die die Kamera auch beim automatischen Positionieren des Fahrzeugs aufnehmen würde. Somit können die charakteristischen Objektpunkte anhand der gleichen Bilder ermittelt werden, die einem System auch beim zumindest teilautonomen Positionieren des Fahrzeugs zur Verfügung stehen werden. Die Bestimmung von charakteristischen Objektpunkten, die stets im Bild und gut zu identifizieren sind, ist dadurch einfach und effizient durch die Verarbeitungseinheit automatisch möglich.
  • Vorzugsweise werden Lagedaten des Zielobjekts erstellt, insbesondere von der Verarbeitungseinheit, wobei die Lagedaten die Lage der charakteristischen Objektpunkte auf dem Zielobjekt umfassen, insbesondere die relative Lage der charakteristischen Objektpunkte zueinander auf dem Zielobjekt. Durch die Lagedaten können die charakteristischen Objektpunkte einfach vervielfältigt werden.
  • Beispielsweise wird der Verarbeitungseinheit ein Modell, insbesondere ein 3D-Modell, des Zielobjekts bereitgestellt, wobei die Verarbeitungseinheit die charakteristischen Objektpunkte im Modell markiert, wodurch eine eindeutige Markierung der charakteristischen Objektpunkte erreicht wird.
  • Zur besseren Identifikation der charakteristischen Objektpunkte, kann die Verarbeitungseinheit die zweidimensionalen Koordinaten der charakteristischen Objektpunkte in zumindest einem der Bilder der Bilddaten ermitteln.
  • Vorzugsweise bestimmt die Verarbeitungseinheit anhand der zweidimensionalen Koordinaten der charakteristischen Objektpunkte die dreidimensionalen Koordinaten der charakteristischen Objektpunkte im 3D-Modell, wodurch die charakteristischen Objektpunkte präzise im Modell markiert werden.
  • In einer Ausführungsform der Erfindung wird das kameragestützte Probepositioniermanöver von einer Simulationseinheit virtuell durchgeführt, wobei der Simulationseinheit ein Modell, insbesondere ein 3D-Modell des Zielobjekts bereitgestellt wird, wobei die Simulationseinheit anhand des 3D-Modells des Zielobjekts während der Durchführung des Probepositioniermanövers zweidimensionale Bilder erzeugt, die den von einer Kamera am Fahrzeug aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen. Auf diese Weise können Entwicklungskosten gespart werden, da keine Fahrmanöver mit echten Fahrzeugen und Zielobjekten durchgeführt werden müssen.
  • Alternativ oder zusätzlich wird das oder ein weiteres kameragestütztes Probepositioniermanöver mittels einer physischen Kamera und dem Zielobjekt oder einem Nachbau des Zielobjekts durchgeführt, wobei die Kamera während des Probepositioniermanövers derart geführt wird, dass die von der Kamera während der Durchführung des Positioniermanövers aufgenommenen Bilder den Bildern einer Kamera am Fahrzeug entsprechen. Die Kamera kann die Bilddaten erzeugen. Auf diese Weise können Dynamiken des Probepositioniermanövers besonders präzise erfasst werden.
  • Beispielsweise wird die Kamera am Fahrzeug befestigt, wobei das Probepositioniermanöver mit dem Fahrzeug durchgeführt wird, insbesondere wobei die Kamera hinsichtlich ihrer Position und Orientierung relativ zum Fahrzeug kalibriert wird. Dadurch lässt sich auf einfache Weise von den Bildern der Kamera auf die Position des Fahrzeugs schließen.
  • Um die Präzision der Bestimmung der charakteristischen Objektpunkte weiter zu verbessern, können die Bilddaten Zeitstempel der Bilder aufweisen, die die zeitliche Lage des jeweiligen Bildes im Probepositioniermanöver angeben, wobei die Zeitstempel bei der Bestimmung der charakteristischen Objektpunkte des Zielobjekts berücksichtigt werden.
  • Die Bestimmung der charakteristischen Objektpunkte kann dadurch weiter verbessert werden, dass mehrere kameragestützte Probepositioniermanöver durchgeführt werden, insbesondere wobei wenigstens eines der kameragestützten Probepositioniermanöver ein erfolgreiches Probepositioniermanöver und/oder wenigstens eines der kameragestützten Probepositioniermanöver ein erfolgloses Probepositioniermanöver ist.
  • Zur effizienten und genauen Bestimmung der charakteristischen Objektpunkte kann die Verarbeitungseinheit ein Maschinenlernmodul, insbesondere ein künstliches neuronales Netzwerk umfassen, das dazu eingerichtet ist, die charakteristischen Objektpunkte des Zielobjekts anhand wenigstens eines der Bilder des Bilddatensatzes zu bestimmen.
  • Zum Beispiel können die Position und/oder die Orientierung des Fahrzeugs mittels der Auswerteeinheit, insbesondere eines Maschinenlernmoduls ermittelt werden.
  • Merkmale, die im Zusammenhang mit dem Verfahren beschrieben sind, sind selbstverständlich auch Merkmale des Systems und der Steuereinheit, und umgekehrt.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
    • - 1a ein erfindungsgemäßes System zur Bestimmung von charakteristischen Objektpunkten eines Zielobjektes schematisch in Vogelperspektive in einer ersten Position während eines Positioniermanövers,
    • - 1b ein schematisches zweidimensionales Bild, das dem Bild entspricht, das von einer Kamera am Fahrzeug des Systems nach 1a zum in 1a gezeigten Zeitpunkt aufgenommen wurde,
    • - 2a das System nach 1a in einer zweiten Position während des Positioniermanövers,
    • - 2b ein zweidimensionales Bild ähnlich dem Bild der 1b zum Zeitpunkt der Situation der 2a,
    • - 3a das System nach 1a in einer dritten Position während des Positioniermanövers,
    • - 3b ein zweidimensionales Bild ähnlich den Bildern der 1 b und 2b zum Zeitpunkt der Situation der 3a,
    • - 4 ein Flussdiagramm eines erfindungsgemäßen Verfahren zur Bestimmung von charakteristischen Objektpunkten eines Zielobjekts sowie ein daran anschließendes erfindungsgemäßes Verfahren zur kameragestützten Positionierung eines Fahrzeugs am Zielobjekt, und
    • - 5 schematisch eine zweite Ausführungsform eines erfindungsgemäßen Systems.
  • In 1 ist schematisch ein motorbetriebenes Fahrzeug 10 gezeigt, das gegenüber einem Zielobjekt 12 positioniert werden soll.
  • Beispielsweise handelt es sich bei dem Fahrzeug 10 um einen Pkw oder einen Lkw und bei dem Zielobjekt 12 um einen Anhänger oder, wie im gezeigten Ausführungsbeispiel, um eine Wechselbrücke, die unterfahren werden soll. Die Wechselbrücke umfasst einen Container 26, der auf Stützen 28 steht (1 b).
  • Das Fahrzeug 10 weist eine Kamera 14 auf, die vorzugsweise am Heck 16 des Fahrzeugs 10 vorgesehen ist. Die Kamera 14 ist fest am Fahrzeug 10 positioniert und kalibriert, sodass der Blickwinkel der Kamera 14 von der Position und Lage des Fahrzeugs 10 abhängt. Durch die Kalibrierung ist die Lage des Blickfelds der Kamera 14, d. h. das Koordinatensystem der Bilder der Kamera 14, zum Koordinatensystem des Fahrzeugs 10 bekannt.
  • Das von der Kamera 14 in der in 1a gezeigten Situation aufgenommene Bild ist in 1b dargestellt.
  • Das Fahrzeug weist zudem ein Steuergerät 18 auf, das eine Verarbeitungseinheit 20 umfasst.
  • Die Verarbeitungseinheit 20 kann wiederum ein Maschinenlernmodul 21, beispielsweise ein künstliches neuronales Netzwerk haben.
  • Im Steuergerät 18 kann eine Datenbank 22 vorgesehen sein, in der 3D-Modelle des Zielobjektes 12, insbesondere CAD-Modelle, hinterlegt sind.
  • Die Verarbeitungseinheit 20 hat Zugriff auf die Datenbank 22 und damit auf die 3D-Modelle.
  • Denkbar ist selbstverständlich auch, dass die Datenbank 22 außerhalb des Steuergerätes 18, beispielsweise auf einem Server in einem Netzwerk oder im Internet vorhanden ist, wobei der Verarbeitungseinheit 20 beispielsweise über eine Netzwerkverbindung wenigstens das 3D-Modell des entsprechenden Zielobjektes 12 zur Verfügung gestellt wird.
  • Das Fahrzeug 10, die Kamera 14 und das Steuergerät 18 bilden ein System 23 mit dem charakteristische Objektpunkte 30 des Zielobjektes 12 bestimmt werden können.
  • Denkbar ist auch, dass das Steuergerät 18 und/oder die Verarbeitungseinheit 20 außerhalb des Fahrzeugs 10 vorgesehen sind. In diesem Fall werden die Bilddaten bzw. die Bilder per Kabel, Datenträger oder kabellos an das Steuergerät übertragen.
  • Zur Durchführung des Verfahrens (siehe 4) wird mit dem Fahrzeug 10 ein Probepositioniermanöver durchgeführt, bei dem das Fahrzeug 10 an das Zielobjekt 12 herangefahren wird. Dabei nähert sich das Fahrzeug 10 dem Zielobjekt 12 sukzessive an, wie in den 1a, 2a und 3a zu erkennen ist, die drei verschiedene Positionen während eines Probepositioniermanövers darstellen. Bei dem Zielobjekt 12 kann es sich auch um den Nachbau eines Zielobjektes handeln, um Kosten zu sparen.
  • In 3a bzw. 3b ist gut zu erkennen, dass das Fahrzeug 10 korrekt gegenüber dem Zielobjekt 12 ausgerichtet ist und nun durch weiteres Zurücksetzen die Wechselbrücke unterfahren kann. Das in den 1a bis 3a gezeigte Probepositioniermanöver ist somit erfolgreich.
  • Die 1b, 2b und 3b zeigen das zweidimensionale Bild, das die Kamera 14 des Fahrzeugs 10 in der Situation der 1a, 2a bzw. 3a aufnimmt (Schritt S1).
  • Die Bilder werden von der Kamera 14 in regelmäßigen Abständen oder kontinuierlich aufgenommen und an das Steuergerät 18 übermittelt.
  • Gut zu erkennen ist, dass die Wechselbrücke, d. h. das Zielobjekt 12 im Bild der Kamera 14 immer mehr Platz einnimmt und größer wird, wobei stets die Kontaktpunkte 24 im Bild sind, an denen der Container 26 mit den Stützen 28 verbunden ist.
  • Die einzelnen Bilder sind dabei zweidimensional und werden vom Steuergerät 18 zu Bilddaten zusammengefasst, sofern dies noch nicht von der Kamera 14 geschehen ist.
  • Da die Bilder von der Kamera 14 am Fahrzeug 10 aufgenommen wurden, sind die zweidimensionalen Bilder selbstverständlich solche Bilder, die während der Durchführung eines Probepositioniermanövers aufgenommen wurden.
  • Die Bilder werden von der Kamera mit einem Zeitstempel versehen, der den Aufnahmezeitpunkt des entsprechenden Bildes oder die zeitliche Abfolge der Bilder zueinander angibt. Die Zeitstempel können auch separat von den Bildern an das Steuergerät 18 übertragen werden.
  • Die Bilddaten werden vom Steuergerät 18 bzw. der Kamera 14 an die Verarbeitungseinheit 20 übergeben (Schritt S2). Die Verarbeitungseinheit 20 umfasst ein Maschinenlernmodul 21, das beispielsweise ein künstliches neuronales Netzwerk hat.
  • Das künstliche neuronale Netzwerk ist dazu eingerichtet bzw. dazu trainiert, charakteristische Objektpunkte 30 am Zielobjekt 12 zu erkennen.
  • „Charakteristische Objektpunkte“ 30 sind dabei solche Teile oder Abschnitte des Zielobjektes 12, die aus möglichst vielen verschiedenen Blickwinkeln auf das Zielobjekt 12 eindeutig zu identifizieren sind und die in möglichst vielen Situationen während eines Positioniermanövers im Blickfeld der Kamera 14 sind.
  • Im gezeigten Ausführungsbeispiel eignen sich als solche markanten Punkte und damit als charakteristische Objektpunkte 30 die Kontaktpunkte 24.
  • Zur Bestimmung der charakteristischen Objektpunkte 30 werden von der Verarbeitungseinheit 20 möglichst viele der zweidimensionalen Bilder der Bilddaten herangezogen. Dabei kann auch der Zeitstempel jedes Bildes berücksichtigt werden. (Schritt S3)
  • Die Verarbeitungseinheit 20 bestimmt in einem nächsten Schritt S4 die zweidimensionalen Koordinaten der erkannten charakteristischen Objektpunkte 30 in den Bildern der Bilddaten.
  • In Schritt S5, der auch bereits früher durchgeführt werden kann, lädt oder erhält die Verarbeitungseinheit 20 ein 3D-Modell, z. B. ein CAD-Modell des Zielobjektes 12 aus der Datenbank 22.
  • Durch den Vergleich der verschiedenen Bilder der Bilddaten, die zu unterschiedlichen Zeiten aufgenommen wurden, und/oder durch Vergleich mit dem 3D-Modell des Zielobjektes 12, bestimmt die Verarbeitungseinheit in Schritt S6 die dreidimensionalen Koordinaten der charakteristischen Objektpunkte 30 auf dem 3D-Modell des Zielobjektes 12.
  • Auf diese Weise hat die Verarbeitungseinheit 20 die relative Lage der charakteristischen Objektpunkte 30 auf dem Zielobjekt 12 automatisch bestimmt.
  • Die Verarbeitungseinheit 20 kann nun die charakteristischen Objektpunkte 30 in dem 3D-Modell des Zielobjektes 12 markieren (Schritt S7), wodurch Lagedaten des Zielobjektes 12 erstellt werden. Die Lagedaten können nun verwendet werden, um kameragestütztes Positionieren des Fahrzeugs 10 am Zielobjekt 12 zumindest teilweise autonom durchzuführen.
  • Um die Ergebnisse der Bestimmung der charakteristischen Objektpunkte 30 zu erhöhen, können Bilddaten aus mehreren Probepositioniermanövern verwendet werden.
  • In den 1a bis 3a ist mit gestrichelten Linien ein zweites Probepositioniermanöver angedeutet. Wie in 3b zu erkennen ist, ist das Fahrzeug 10 zum Ende hin nicht korrekt gegenüber dem Zielobjekt 12 ausgerichtet, sodass dieses zweite Probepositioniermanöver erfolglos ist. Jedoch liefern auch solche erfolglosen Probepositioniermanöver wichtige Hinweise und Informationen, sodass die Bilddaten dieses Probepositioniermanövers zur Bestimmung der charakteristischen Objektpunkte 30 herangezogen werden.
  • Mithilfe der ermittelten Lagedaten und charakteristischen Objektpunkte 30 kann das Fahrzeug 10 kameragestützt in Bezug zum Zielobjekt 12 positioniert werden. Zur Erläuterung wird wieder auf die 1 bis 3 verwiesen, da die gleichen Situationen vorliegen.
  • Während der Positionierung nimmt die Kamera 14 kontinuierlich oder in regelmäßigen Abständen Bilder des Zielobjektes 12 auf (Schritt P1).
  • Eine Auswerteeinheit 32 des Steuergeräts 18, die gleichzeitig die Verarbeitungseinheit 20 sein kann, ermittelt in den aufgenommenen Bildern die Position, d. h. die 2D-Koordinaten, der charakteristischen Objektpunkte 30 des Zielobjektes 12. Dies kann ebenfalls durch ein Maschinenlernmodul, wie einem künstlichen neuronalen Netzwerk geschehen (Schritt P2).
  • Die Auswerteeinheit 32 hat Zugriff auf die zuvor bestimmten Lagedaten des Zielobjektes 12, d.h. in diesem Ausführungsbeispiel einem 3D-Modell des Zielobjektes 12, in dem die charakteristischen Objektpunkte 30 markiert sind. Daher sind der Auswerteeinheit 32 die relative Lage der charakteristischen Objektpunkte 30 bekannt.
  • Durch einen Vergleich der aus dem Bild ermittelten Koordinaten der charakteristischen Objektpunkte 30 und der bekannten Lage der charakteristischen Objektpunkte 30 aus den Lagedaten, kann die Auswerteeinheit 32 die Position und die Orientierung des Fahrzeugs 10 relativ zum Zielobjekt 12 ermitteln (Schritt P3).
  • Anschließend kann das Steuergerät 18 das Fahrzeug 10 wenigstens teilweise autonom bewegen und so relativ zum Zielobjekt 12 positionieren (Schritt P4), bis das Fahrzeug 10 korrekt positioniert ist.
  • Die Position und die Orientierung des Fahrzeugs 10 gegenüber dem Zielobjekt 12 kann auch mittels des Maschinenlernmoduls 21 bzw. des künstlichen neuronalen Netzwerks erfolgen.
  • Das Steuergerät 18, die Verarbeitungseinheit 20 bzw. die Auswerteeinheit 32 umfassten ein Computerprogramm, das Programmcode hat. Der Programmcode ist so geschrieben, dass er das Steuergerät 18, die Verarbeitungseinheit 20 bzw. die Auswerteeinheit 32 dazu veranlasst, die Schritte der beschriebenen Verfahren durchführt, wenn er auf dem Steuergerät 18, der Verarbeitungseinheit 20 bzw. der Auswerteeinheit 32 ausgeführt wird.
  • In 5 ist eine zweite Ausführungsform des Systems 23 dargestellt, das eine zweite Ausführungsform des Verfahrens zur Bestimmung der charakteristischen Objektpunkte 30 durchführen kann. Das System 23 und das Verfahren entsprechen dabei im Wesentlichen dem System 23 und dem Verfahren der ersten Ausführungsform, sodass im Folgenden lediglich auf die Unterschiede eingegangen wird. Gleiche und funktionsgleiche Teile sind mit denselben Bezugszeichen versehen.
  • In dieser zweiten Ausführungsform werden keine physischen Probepositioniermanöver mit einem Fahrzeug 10 an einem Zielobjekt 12 durchgeführt. Vielmehr werden die 3D-Modelle des Zielobjektes 12 und gegebenenfalls des Fahrzeugs 10 einer Simulationseinheit 34 bereitgestellt. Mittels der Simulationseinheit 34 wird ein Probepositioniermanöver simuliert, indem ein vorgegebener Weg des Fahrzeugs 10 zum Zielobjekt 12 nachgestellt wird.
  • Die Simulationseinheit 34 erzeugt Bilder an verschiedenen Positionen während des simulierten Probepositioniermanövers, die beispielsweise den Bildern der 1b, 2b und 3b entsprechen. Die Simulationseinheit 34 erzeugt somit Bilder, die den Bildern entsprechen, die von einer Kamera 14 auf einem Fahrzeug 10 während der Durchführung eines (Probe-) Positioniermanövers aufgenommen worden sind bzw. aufgenommen werden.
  • Diese Bilder werden als Bilddaten an die Verarbeitungseinheit 20 weitergegeben und wie zuvor beschrieben weiterverarbeitet. Die Simulationseinheit 34 und die Verarbeitungseinheit 20 bilden somit das System 23.
  • In den gezeigten Ausführungsbeispielen ist ein Kraftfahrzeug als Fahrzeug 10 gezeigt. Selbstverständlich lässt sich das Verfahren auch auf andere Fahrzeuge, wie Baugeräte oder Schiffe übertragen.
  • Falls das motorbetriebene Fahrzeug 10 als Schiff ausgebildet ist, das eine Molendurchfahrt durchqueren und an einer Anlegestelle anlegen soll, ist in diesem Fall das „Zielobjekt“ 12 allgemein als Hafen inklusive Einfahrt definiert.
  • Bezugszeichenliste
  • 10
    Fahrzeug
    12
    Zielobjekt
    14
    Kamera
    16
    Heck
    18
    Steuergerät
    20
    Verarbeitungseinheit
    21
    Maschinenlernmodul
    22
    Datenbank
    23
    System
    24
    Kontaktpunkt
    26
    Container
    28
    Stütze
    30
    charakteristische Objektpunkte
    32
    Auswerteeinheit
    34
    Simulationseinheit

Claims (17)

  1. Verfahren zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12), die zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) an dem Zielobjekt (12) geeignet sind, mit den folgenden Schritten: - Durchführen eines kameragestützten Probepositioniermanövers; - Erzeugen von Bilddaten, die mehrere zweidimensionale Bilder enthalten, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen; - Zuführen der Bilddaten zu einer Verarbeitungseinheit (20); - Bestimmen von charakteristischen Objektpunkten (30) des Zielobjekts (12) in den Bildern des Bilddatensatzes durch die Verarbeitungseinheit (20).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Lagedaten des Zielobjekts (12) erstellt werden, insbesondere von der Verarbeitungseinheit (20), wobei die Lagedaten die Lage der charakteristischen Objektpunkte (30) auf dem Zielobjekt (12) umfassen, insbesondere die relative Lage der charakteristischen Objektpunkte (30) zueinander auf dem Zielobjekt (12).
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Verarbeitungseinheit (20) ein Modell, insbesondere ein 3D-Modell, des Zielobjekts (12) bereitgestellt wird, wobei die Verarbeitungseinheit (20) die charakteristischen Objektpunkte (30) im Modell markiert.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (20) die zweidimensionalen Koordinaten der charakteristischen Objektpunkte (30) in zumindest einem der Bilder der Bilddaten ermittelt.
  5. Verfahren nach Anspruch 3 und 4, dadurch gekennzeichnet, dass die Verarbeitungseinheit (20) anhand der zweidimensionalen Koordinaten der charakteristischen Objektpunkte (30) die dreidimensionalen Koordinaten der charakteristischen Objektpunkte (30) im 3D-Modell bestimmt.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das kameragestützte Probepositioniermanöver von einer Simulationseinheit (34) virtuell durchgeführt wird, wobei der Simulationseinheit (34) ein Modell, insbesondere ein 3D-Modell des Zielobjekts (12) bereitgestellt wird, wobei die Simulationseinheit (34) anhand des 3D-Modells des Zielobjekts (12) während der Durchführung des Probepositioniermanövers zweidimensionale Bilder erzeugt, die den von einer Kamera (14) am Fahrzeug (10) aufgenommenen Bildern während der Durchführung des Probepositioniermanövers entsprechen.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das kameragestützte Probepositioniermanöver mittels einer physischen Kamera (14) und dem Zielobjekt (12) oder einem Nachbau des Zielobjekts (12) durchgeführt wird, wobei die Kamera (14) während des Probepositioniermanövers derart geführt wird, dass die von der Kamera (14) während der Durchführung des Positioniermanövers aufgenommenen Bilder den Bildern einer Kamera (14) am Fahrzeug (10) entsprechen, insbesondere wobei die Kamera (14) die Bilddaten erzeugt.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Kamera (14) am Fahrzeug (10) befestigt wird, wobei das Probepositioniermanöver mit dem Fahrzeug (10) durchgeführt wird, insbesondere wobei die Kamera (14) hinsichtlich ihrer Position und Orientierung relativ zum Fahrzeug (10) kalibriert wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten Zeitstempel der Bilder aufweisen, die die zeitliche Lage des jeweiligen Bildes im Probepositioniermanöver angeben, wobei die Zeitstempel bei der Bestimmung der charakteristischen Objektpunkte (30) des Zielobjekts (12) berücksichtigt werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere kameragestützte Probepositioniermanöver durchgeführt werden, insbesondere wobei wenigstens eines der kameragestützten Probepositioniermanöver ein erfolgreiches Probepositioniermanöver und/oder wenigstens eines der kameragestützten Probepositioniermanöver ein erfolgloses Probepositioniermanöver ist.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (20) ein Maschinenlernmodul (21), insbesondere ein künstliches neuronales Netzwerk umfasst, das dazu eingerichtet ist, die charakteristischen Objektpunkte (30) des Zielobjekts (12) anhand wenigstens eines der Bilder des Bilddatensatzes zu bestimmen.
  12. Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), dessen charakteristischen Objektpunkte (30) mittels eines Verfahren gemäß einem der vorhergehenden Ansprüche ermittelt wurden, mit den folgenden Schritten: - Aufnehmen eines Bilds des Zielobjekts (12) mittels wenigstens einer am Fahrzeug (10) angebrachten Kamera (14); - Ermitteln von Positionen der charakteristischen Objektpunkte (30) des Zielobjekts (12) auf dem durch die Kamera (14) aufgenommenen Bild des Zielobjekts (12) mittels einer Auswerteeinheit (32); - Vergleichen der ermittelten Positionen der charakteristischen Objektpunkte (30) mit Lagedaten, die eine relative Lage der charakteristischen Objektpunkte (30) zueinander auf dem Zielobjekt (12) umfassen; - Ermitteln einer Position und/oder einer Orientierung des motorbetriebenen Fahrzeugs (10) relativ zum Zielobjekt (12) basierend auf dem Ergebnis des Vergleichs; und - Positionieren des motorbetriebenen Fahrzeuges (10) in Bezug zum Zielobjekt (12) basierend auf der ermittelten Position und/oder der ermittelten Orientierung wenigstens teilweise autonom.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Position und/oder die Orientierung des Fahrzeugs (10) mittels der Auswerteeinheit (32), insbesondere eines Maschinenlernmoduls ermittelt wird.
  14. Steuergerät (18) für ein System (23) zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12) und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), wobei das Steuergerät (18) dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
  15. System (23) zur Bestimmung von charakteristischen Objektpunkten (30) eines Zielobjekts (12) und/oder zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs (10) in Bezug zu einem Zielobjekt (12), mit einem Fahrzeug (10), wenigstens einer an dem Fahrzeug (10) angebrachten Kamera (14) und einem Steuergerät (18) nach Anspruch 14.
  16. System (23) nach Anspruch 15, dadurch gekennzeichnet, dass die wenigstens eine Kamera (14) an einem Heck des Fahrzeugs (10) angebracht ist.
  17. Computerprogramm mit Programmcode, um die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines Steuergeräts (18) eines Systems (23) nach Anspruch 14.
DE102018219829.2A 2018-11-20 2018-11-20 Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs Pending DE102018219829A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018219829.2A DE102018219829A1 (de) 2018-11-20 2018-11-20 Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
PCT/EP2019/081116 WO2020104263A1 (de) 2018-11-20 2019-11-13 Verfahren, steuergerät, system und computerprogramm zur bestimmung von charakteristischen objektpunkten eines zielobjektes sowie verfahren zum kameragestützten positionieren eines motorbetriebenen fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018219829.2A DE102018219829A1 (de) 2018-11-20 2018-11-20 Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102018219829A1 true DE102018219829A1 (de) 2020-05-20

Family

ID=68583375

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018219829.2A Pending DE102018219829A1 (de) 2018-11-20 2018-11-20 Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs

Country Status (2)

Country Link
DE (1) DE102018219829A1 (de)
WO (1) WO2020104263A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258800A1 (en) * 2021-02-17 2022-08-18 Robert Bosch Gmbh Method for ascertaining a spatial orientation of a trailer

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10906583B2 (en) * 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US11279282B2 (en) * 2017-04-19 2022-03-22 Robert Bosch Gmbh Methods and systems for aligning a vehicle with a trailer
US10654415B2 (en) * 2017-04-28 2020-05-19 GM Global Technology Operations LLC System and method for determining a starting point of a guidance line for attaching a trailer to a trailer hitch mounted in a cargo bed of a vehicle
IT201700054083A1 (it) * 2017-05-18 2018-11-18 Cnh Ind Italia Spa Sistema e metodo di collegamento automatico tra trattore ed attrezzo

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220258800A1 (en) * 2021-02-17 2022-08-18 Robert Bosch Gmbh Method for ascertaining a spatial orientation of a trailer

Also Published As

Publication number Publication date
WO2020104263A1 (de) 2020-05-28

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102016223422B4 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102018206805B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts
EP3393875B1 (de) Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem
DE102018221054A1 (de) Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
DE102016224291A1 (de) Verfahren zur rechnergestützten Adaption eines vorgegebenen teilautomatisierten Fahrsystems eines Kraftfahrzeugs
DE102015206546A1 (de) Fahrbahnmarkierungserkennungsvorrichtung
WO2020051618A1 (de) Analyse dynamisscher räumlicher szenarien
EP3582139A1 (de) Kamera-basiertes andocken von fahrzeugen mittels künstlicher intelligenz
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
EP3444780A1 (de) Verfahren zum registrieren von wenigstens zwei verschiedenen 3d-modellen
DE102019002269A1 (de) Verfahren zum Ermitteln einer Orientierung eines Fahrzeugs relativ zu einem Kraftfahrzeug
DE102018219829A1 (de) Verfahren, Steuergerät, System und Computerprogramm zur Bestimmung von charakteristi-schen Objektpunkten eines Zielobjektes sowie Verfahren zum kameragestützten Positionieren eines motorbetriebenen Fahrzeugs
DE102020211636A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
DE102005005242A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
DE102016215932A1 (de) Verfahren und Vorrichtung zum Betreiben wenigstens eines teil- oder hochautomatisierten Fahrzeugs
DE102021005053A1 (de) Verfahren zum Fusionieren von einer Vielzahl von Sensordaten mittels einer elektronischen Recheneinrichtung, sowie ein Fahrerassistenzsystem
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
WO2021245151A1 (de) Unüberwachtes lernen einer gemeinsamen darstellung von daten von sensoren unterschiedlicher modalität
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
DE102022130692B3 (de) Computerimplementiertes Verfahren zur Erstellung eines dreidimensionalen virtuellen Modells einer Umgebung eines Kraftfahrzeugs
DE102018120966A1 (de) Verfahren zum Erkennen eines Teils eines Anhängers sowie Anhängererfassungssystem für ein Zugfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R163 Identified publications notified
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000