-
Die vorliegende Erfindung betrifft unter anderem ein Verfahren zum Betreiben eines automatisierten Fahrzeugs mit einem Schritt des Abgleichens von Umgebungsdatenwerten mit einer digitalen Karte, abhängig von einer Position des automatisierten Fahrzeugs, wobei abhängig von dem Abgleich sowohl statische als auch nicht-statische Objekte bestimmt werden. Weiterhin wird abhängig von einem Bewegungsverhalten der nicht-statischen Objekte eine Fahrstrategie für das automatisierte Fahrzeug derart bestimmt, dass das automatisierte Fahrzeug, abhängig von der Fahrstrategie, betrieben wird.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren zum Betreiben eines automatisierten Fahrzeugs umfasst einen Schritt des Erfassens von Umgebungsdatenwerten mittels einer Umfeldsensorik des automatisierten Fahrzeugs, wobei die Umgebungsdatenwerte Objekte in einer Umgebung des automatisierten Fahrzeugs repräsentieren, einen Schritt des Bestimmens einer Position des automatisierten Fahrzeugs und einen Schritt des Abgleichens der Umgebungsdatenwerte mit einer digitalen Karte, abhängig von der Position des automatisierten Fahrzeugs, wobei die digitale Karte Umgebungsmerkmale umfasst, wobei eine erste Teilmenge der Objekte als statische Objekte bestimmt werden, wenn diese Objekte als Umgebungsmerkmale von der digitalen Karte umfasst werden, und eine zweite Teilmenge der Objekte als nicht-statische Objekte bestimmt werden, wenn diese Objekte nicht als Umgebungsmerkmal von der digitalen Karte umfasst werden. Das Verfahren umfasst weiterhin einen Schritt des Bestimmens eines Bewegungsverhaltens der nicht-statischen Objekte relativ zu dem automatisierten Fahrzeug, einen Schritt des Bestimmens einer Fahrstrategie für das automatisierte Fahrzeug, abhängig von dem Bewegungsverhalten der nicht-statischen Objekte, und einen Schritt des Betreibens des automatisierten Fahrzeugs, abhängig von der Fahrstrategie.
-
Unter einem automatisierten Fahrzeug ist ein teil-, hoch oder vollautomatisiertes Fahrzeug gemäß einem der SAE-Level 1 bis 5 (siehe Norm SAE J3016) zu verstehen.
-
Unter einem Betreiben eines automatisierten Fahrzeugs, insbesondere abhängig von der Fahrstrategie, ist beispielsweise das Ausführen einer Quer- und/oder Längssteuerung des automatisierten Fahrzeugs zu verstehen, wobei die Quer- und/oder Längssteuerung derart erfolgt, dass das automatisierte Fahrzeug sich entlang einer Trajektorie bewegt. In einer möglichen Ausführungsform umfasst das Betreiben beispielsweise auch das Ausführen sicherheitsrelevanter Funktionen („Scharfstellen“ eines Airbags, Feststellen der Sicherheitsgurte, etc.) und/oder weitere (Fahrassistenz-) Funktionen.
-
Unter einer Umfeldsensorik ist wenigstens ein Video- und/oder wenigstens ein Radar- und/oder wenigstens ein Lidar- und/oder wenigstens ein Ultraschall- und/oder wenigstens ein weiterer Sensor zu verstehen, welcher dazu ausgebildet ist, eine Umgebung eins Fahrzeugs in Form von Umgebungsdatenwerten zu erfassen. In einer möglichen Ausführungsform umfasst die Umfeldsensorik dazu beispielsweise eine Recheneinheit (Prozessor, Arbeitsspeicher, Festplatte) mit einer geeigneten Software und/oder ist mit solch einer Recheneinheit verbunden. In einer möglichen Ausführungsform umfasst diese Software beispielsweise Objekterkennungsalgorithmen, welche auf einem neuronalen Netz bzw. künstliche Intelligenz basieren.
-
Unter einem statischen Objekt ist hier beispielsweise ein Objekt zu verstehen, welches sich wenigstens aktuell nicht bewegt. Dabei kann es sich beispielsweise um Verkehrszeichen (Straßenschilder, Ampelanlagen, etc.), Infrastrukturmerkmale (Leitplanken, Brückenpfeiler, Fahrbahnbegrenzungen, etc.), parkende Fahrzeuge, Mülltonne am Straßenrand, Gebäude, etc. handeln.
-
Unter einem dynamischen Objekt ist hier beispielsweise ein Objekt zu verstehen, welches sich aktuell bewegt. Dabei kann es sich beispielsweise um weitere Fahrzeuge, Fußgänger, Fahrradfahrer, etc. handeln.
-
Unter einem Bewegungsverhaltens der nicht-statischen Objekte relativ zu dem automatisierten Fahrzeug ist beispielsweise zu verstehen, ob sich dieses Objekt von dem automatisierten Fahrzeug entfernt oder auf das automatisierte Fahrzeug zu bewegt, etc. In einer Ausführungsform umfasst das Bewegungsverhalten insbesondere, ob die Bewegung dieses Objekts ein Risiko für das automatisierte Fahrzeug darstellt (beispielsweise indem sich dieses Objekt derart nähert, dass eine Kollision droht, etc.).
-
Unter einer digitalen Karte ist eine Karte zu verstehen ist, welche in Form von (Karten-) Datenwerten auf einem Speichermedium vorliegt. Diese Karte ist beispielsweise derart ausgebildet, dass eine oder mehrere Kartenschichten umfasst werden, wobei eine Kartenschicht beispielsweise eine Karte aus der Vogelperspektive (Verlauf und Position von Straßen, Gebäuden, Landschaftsmerkmalen, etc.) zeigt. Dies entspricht beispielsweise einer Karte eines Navigationssystems. Eine weitere Kartenschicht umfasst beispielsweise eine Radarkarte, wobei Umgebungsmerkmale, welche von der Radarkarte umfasst werden, mit einer Radarsignatur hinterlegt sind. Eine weitere Kartenschicht umfasst beispielsweise eine Lidarkarte, wobei Umgebungsmerkmale, welche von der Lidarkarte umfasst werden, mit einer Lidarsignatur hinterlegt sind.
-
Das erfindungsgemäße Verfahren löst vorteilhafterweise die Aufgabe, ein Verfahren zum effizienten Erkennen sich bewegender Objekte in einer Umgebung eines automatisierten Fahrzeugs und somit auch ein sicheres Betreiben dieses automatisierten Fahrzeugs bereitzustellen. Diese Aufgabe wird mittels des erfindungsgemäßen Verfahrens unter anderem gelöst, indem Objekte in der Umgebung erfasst und mit einer digitalen Karte abgeglichen werden. Dies erlaubt mit möglichst wenig Ressourcen bzw. Rechenkapazitäten, statische von nicht-statischen Objekten zu unterscheiden. Auf diese Weise wird für kritische dynamische Objekte ausreichend Rechenkapazität auf dem automatisierten Fahrzeug beispielsweise für die Lokalisierung, Trajektorienplanung und Aktuatorenansteuerung verwendet, die in diesem Fall in einer hochgenauen und sicheren Weise erfolgt. Unkritische statische Objekte werden mit möglichst wenigen Ressourcen in der Trajektorienplanung, Lokalisierung und Aktuatorenansteuerung berücksichtigt.
-
Vorzugsweise ist die digitale Karte als hochgenaue Karte ausgebildet, welche die Umgebungsmerkmale mit einer hochgenauen Position umfasst.
-
Die hochgenaue Karte ist insbesondere derart ausgebildet, dass sie sich zur Navigation eines automatisierten Fahrzeugs eignet. Darunter ist beispielsweise zu verstehen, dass die hochgenaue Karte dazu ausgebildet ist, mittels eines Abgleichs von hinterlegten Umgebungsmerkmalen mit erfassten Sensordatenwerten des automatisierten Fahrzeugs eine hochgenaue Position dieses automatisierten Fahrzeugs zu bestimmen. Dazu umfasst die hochgenaue Karte beispielsweise diese Umgebungsmerkmale mit hochgenauen Positionsangaben (Koordinaten).
-
Unter einer hochgenauen Position ist eine Position zu verstehen, welche innerhalb eines vorgegebenen Koordinatensystems, beispielsweise WGS84-Koordinaten, derart genau ist, dass diese Position eine maximal zulässige Unschärfe nicht überschreitet. Dabei kann die maximale Unschärfe beispielsweise von der Umgebung abhängen. Weiterhin kann die maximale Unschärfe beispielsweise davon abhängen, ob ein Fahrzeug manuell oder teil-, hoch- oder vollautomatisiert (entsprechend einem der SAE-Level 1 bis 5) betrieben wird. Grundsätzlich ist die maximale Unschärfe so gering, dass insbesondere ein sicheres Betreiben des automatisierten Fahrzeugs gewährleistet ist. Für ein vollautomatisiertes Betreiben des automatisierten Fahrzeugs liegt die maximale Unschärfe beispielsweise in einer Größenordnung von etwa 10 Zentimeter.
-
Vorzugsweise umfasst die Position des automatisierten Fahrzeugs sowohl eine Positionsangabe in einem vorgegebenen Koordinatensystem als auch eine Pose des automatisierten Fahrzeugs.
-
Unter einer Pose des automatisierten Fahrzeugs ist eine räumliche Lage in einem Koordinatensystem zu verstehen, welche beispielsweise Neigungs-, Kipp- und Rollwinkel - in Relation zu den Achsen des Koordinatensystems - umfasst.
-
Vorzugsweise umfasst das Bewegungsverhalten wenigstens, ob sich die nicht-statischen Objekte in der Umgebung des automatisierten Fahrzeugs bewegen oder nicht bewegen.
-
Vorzugsweise umfasst die Fahrstrategie eine Trajektorie für das automatisierte Fahrzeug und das Betreiben ein Abfahren dieser Trajektorie.
-
Unter einer Trajektorie ist beispielsweise - in Relation zu einer Karte - einer Linie zu verstehen, welcher das automatisierte Fahrzeug folgt. In einer Ausführungsform bezieht sich diese Linie beispielsweise auf einen festen Punkt an dem automatisierten Fahrzeug. In einer weiteren möglichen Ausführungsform ist unter einer Trajektorie beispielsweise ein Fahrschlauch zu verstehen, welcher von dem automatisierten Fahrzeug durchfahren wird.
-
In einer möglichen Ausführungsform umfasst die Fahrstrategie zusätzlich eine Geschwindigkeitsangabe, mit der sich das automatisierte Fahrzeug entlang der Trajektorie bewegen soll.
-
Die erfindungsgemäße Vorrichtung, insbesondere ein Steuergerät, ist dazu eingerichtet, alle Schritte des Verfahrens gemäß einem der Verfahrensansprüche zum Betreiben eines automatisierten Fahrzeugs auszuführen.
-
Dazu umfasst die Vorrichtung insbesondere eine Recheneinheit (Prozessor, Arbeitsspeicher, Speichermedium) sowie eine geeignete Software, um das Verfahren gemäß einem der Verfahrensansprüche auszuführen. Weiterhin umfasst die Vorrichtung eine Schnittstelle um Datenwerte, mittels einer Kabel- und/oder kabellosen Verbindung, beispielsweise mit weiteren Einrichtungen des Fahrzeugs (Steuergeräte, Kommunikationseinrichtungen, Umfeldsensorik, Navigationssystem, etc.) und/oder externen Einrichtungen (Server, Cloud, etc.) auszusenden und zu empfangen.
-
Weiterhin wird ein Computerprogramm beansprucht, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Verfahrensansprüche zum Betreiben eines automatisierten Fahrzeugs auszuführen. In einer Ausführungsform entspricht das Computerprogramm der von der Vorrichtung umfassten Software.
-
Weiterhin wird ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist, beansprucht.
-
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung aufgeführt.
-
Zeichnungen
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Betreiben eines automatisierten Fahrzeugs; und
- 2 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Betreiben eines automatisierten Fahrzeugs in Form eines Ablaufdiagramms.
-
Ausführungsformen der Erfindung
-
1 zeigt ein mögliches Ausführungsbeispiel des erfindungsgemäßen Verfahrens 300 zum Betreiben eines automatisierten Fahrzeugs 100, welches sich entlang einer Trajektorie 110 bewegt. Die Umgebung des automatisierten Fahrzeugs 100 umfasst sowohl statische Objekte 201 als auch nicht-statische Objekte 202. Die nachfolgenden Ausführungen erfolgen rein beispielhaft anhand eines Videosensors, wobei die Umgebungsdatenwerte somit Bilddaten bzw. Bildern entsprechen.
-
In einer möglichen Ausführungsform wird ein Objekterkennungsalgorithmus der Umfeldsensorik oder eine nachgelagerten Verarbeitungseinheit so angepasst, dass dieser Algorithmus in der Lage ist, statische Objekte 201 und nicht-statische Objekte 202 voneinander zu unterscheiden. Dazu wird beispielsweise eine Position und/oder eine Pose des automatisierten Fahrzeugs 100 mittels einer digitalen Karte bestimmt. Dies erfolgt beispielsweise mittels GNSS-basierter, Car-2-X-Signallaufzeit-basierter oder Umfeldsensorik-basierter Lokalisierung. Nachdem die Position und/oder die Pose in der digitalen Karte bestimmt sind, werden mittels des Objekterkennungsalgorithmus zunächst Bildbereiche identifiziert, die deckungsgleich zu den statischen Objekten 201 der digitalen Karte sind. Dabei wird die Position und/oder die Pose des automatisierten Fahrzeugs 100 relativ zu den erwarteten statischen Objekten, welche von der digitalen Karte umfasst werden, mitberücksichtigt. Dazu werden beispielsweise die voraussichtlich an dieser Fahrzeugposition sichtbaren statischen Strukturen der digitalen Karte in ein Koordinatensystem der Umfeldsensorik transformiert. Anschließend wird mit dem Objekterkennungsalgorithmus ein Abgleich zwischen den transformierten statischen Strukturen der digitalen Karte, abhängig von der Position und/oder der Pose, mit den Umgebungsdatenwerten durchgeführt. Als Ergebnis erhält man Bildbereiche in den Umgebungsdatenwerten, welche den statischen Strukturen der digitalen Karte entsprechen. Diese Bildbereiche werden beispielsweise als statische Strukturen in den Bilddaten markiert.
-
In einem nächsten Schritt werden diese Bildbereiche, welche nicht deckungsgleich zur digitalen Karte sind, als potentielle Kandidaten für die nicht-statischen Objekte 202 markiert. In diesen Bildbereichen der Umfeldsensorik werden mittels des Objekterkennungsalgorithmus dann gezielt die nicht-statischen Objekten 202 bestimmt. Dabei wird beispielsweise auch der Bildfluss dieser Bildbereiche der potenziell nicht-statischen Objekte 202 über mehrere Bilder der Umfeldsensorik mitberücksichtigt. Beispielsweise wird so analysiert, ob sich der Bildbereich der potentiell nicht-statischen Objekte 202 innerhalb der Umgebungsdatenwerte in eine bestimmte Richtung bewegt, oder ob sich die Positionen der potentiell nicht-statischen Objekte 202 relativ zu dem automatisierten Fahrzeugs 100 gleichmäßig bewegen.
-
Bewegen sich die potentiell nicht-statischen Objekte 202 beispielsweise in eine bestimmte Richtung, so verändert sich die Position innerhalb der Umgebungsdatenwerte sowie die entsprechend transformierten Positionen dieser Objekte 202 relativ zu dem automatisierten Fahrzeug 100 über die Zeit. Dies wird mithilfe des Objekterkennungsalgorithmus erkannt. Dabei werden in den Umgebungsdatenwerten die statischen Bereiche, welche deckungsgleich mit der digitalen Karte sind, für die Betrachtung der nicht-statischen Objekte 202 verworfen und nur die Bildbereiche der potentiell nicht-statischen Objekte 202 ausgewertet.
-
Bewegen sich die potenziell nicht-statischen Objekte 202 jedoch nicht in eine bestimmte Richtung, so handelt es sich beispielsweise um ein geparktes Fahrzeug. Dies wird mithilfe des vorgeschlagenen Objekterkennungsalgorithmus erkannt. Das entsprechende Objekt wird dann beispielsweise als statisch markiert und nicht als nicht-statisches Objekt 202 weiter betrachtet. Somit werden beispielsweise auch geparkte Fahrzeuge, also nur vorübergehend statische Objekte, nicht weiter ausgewertet bzw. betrachtet.
-
In einer weiteren Ausführungsform wird beispielsweise die Bewegungserkennung von Objekten 201, 202 von der eigentlichen Objekterkennung entkoppelt. Das bedeutet es wird zunächst mithilfe eines ersten intelligenten Algorithmus wie beispielsweise einer künstlichen Intelligenz und/oder eines neuronalen Netzes ein Abgleich zwischen der digitalen Karte und den Umgebungsdatenwerten durchgeführt und damit Bildbereiche statischer Objekte 201 und potenziell nicht-statischer Objekte 202 bestimmt. Anschließend erfolgt im gleichen oder in einem nachgelagerten Algorithmus die Erkennung der Bewegung der potenziellen nicht-statischen Objekte 202 mittels einer Auswertung mehrerer Umgebungsdatenwerte, welche zu unterschiedlichen Zeitpunkten erfasst werden. Weiterhin erfolgt mithilfe eines hochgenauen Objekterkennungsalgorithmus die hochgenaue Auswertung der nicht-statischen Objekte 202 in den markierten Bildbereichen des ersten Algorithmus.
-
In einer weiteren Ausführungsform wird beispielsweise eine Objekterkennung der statischen Objekte 201 und der nicht-statischen Objekte 202 in einer getrennten Art und Weise durchgeführt. Beispielsweise wird ein eher langsamer Objekterkennungsalgorithmus für die statischen Objekte 201 verwendet, oder es werden nach dem Abgleich mit der digitalen Karte direkt die Kartendaten verwendet. Ein weiterer, eher schnellerer Objekterkennungsalgorithmus wird für die potenziellen nicht-statischen Objekte 202 parallel dazu ausgeführt.
-
In einer weiteren Ausführungsform kann es beispielsweise der Fall sein, dass es keine Bildbereiche gibt, die potenzielle nicht-statische Objekte 202 umfassen. Hierbei kann der Algorithmus für die hochgenaue Erkennung der nicht-statischen Objekte 202 in eine Art Schlafmodus versetzt werden, wodurch wertvolle Ressourcen des automatisierten Fahrzeugs gespart werden können. Der einfache Objekterkennungsalgorithmus für die statischen Objekte 201 wird weiterhin ausgeführt, bis wieder potenzielle nicht-statische Objekte 202 in den Umgebungsdatenwerten bestimmt werden können, welche sich weder mit der digitalen Karte abgleichen lassen, bzw. sich im Laufe der Zeit bewegen. Dann kann der entsprechende hochgenaue Algorithmus aus dem Schlafmodus geweckt werden. Auf diese Weise werden wertvolle Rechenkapazitäten des automatisierten Fahrzeugs 100 eingespart und nur bei Bedarf freigegeben.
-
In einer weiteren Ausführungsform umfasst die Umfeldsensorik des automatisierten Fahrzeugs 100 beispielsweise sogenannte Hauptsensoren und dazu redundante Sensoren. Die Umgebungsdatenwerte der Hauptsensoren werden in dieser Ausführungsform verwendet, um die entsprechenden Bildbereiche mittels des nachgelagerten Algorithmus oder den nachgelagerten Algorithmen in statische Bildbereiche und Bildbereiche mit nicht-statischen Objekten 202 zu kategorisieren. Die redundanten Sensoren werden in diesem Fall vorübergehend nicht verwendet und erst dann aktiv eingebunden, wenn in den Umgebungsdatenwerten der Hauptsensoren potenziell nicht-statische Objekte 202 bestimmt werden. Die Bildbereiche mit diesen potenziell nicht-statischen Objekten 202 werden anschließend mittels der Hauptsensoren und mittels der dazu redundanten Sensoren hochgenau bestimmt und eine Position dieser Objekte relativ zu dem automatisierten Fahrzeug 100 bestimmt und/oder über die Zeit nachverfolgt. Somit können ebenfalls Ressourcen des automatisierten Fahrzeugs 100 eingespart werden, indem die redundanten Sensoren nur verwendet werden, wenn von der Umgebung des automatisierten Fahrzeugs 100 nicht-statische Objekte 202 umfasst werden.
-
In einer weiteren Ausführungsform werden die redundanten Sensoren beispielsweise erst dann verwendet bzw. aktiv eingebunden, wenn eine hochgenaue Erkennung der potenziell nicht-statischen Objekte 202 in den Umgebungsdatenwerten, welche mittels der Hauptsensoren erfasst werden, nicht eindeutig bzw. nicht mit einer vorgegebenen Genauigkeit möglich ist. In diesem Fall können die redundanten Sensoren dazu verwendet werden, die Genauigkeit der Erkennung der potenziell nicht-statischen Objekte 202, relativ zu dem automatisierten Fahrzeug 100, zu verbessern.
-
2 zeigt ein mögliches Ausführungsbeispiel eines Verfahrens 300 zum Betreiben eines automatisierten Fahrzeugs 100.
-
In Schritt 310 werden Umgebungsdatenwerte mittels einer Umfeldsensorik des automatisierten Fahrzeugs 100 erfasst, wobei die Umgebungsdatenwerte Objekte in einer Umgebung des automatisierten Fahrzeugs 100 repräsentieren.
-
In Schritt 320 wird eine Position des automatisierten Fahrzeugs 100 bestimmt.
-
In Schritt 330 werden die Umgebungsdatenwerte mit einer digitalen Karte, abhängig von der Position des automatisierten Fahrzeugs 100, abgeglichen, wobei die digitale Karte Umgebungsmerkmale umfasst, wobei eine erste Teilmenge der Objekte 201, 202 als statische Objekte 201 bestimmt werden, wenn diese Objekte 201 als Umgebungsmerkmale von der digitalen Karte umfasst werden, und eine zweite Teilmenge der Objekte 201, 202 als nicht-statische Objekte 202 bestimmt werden, wenn diese Objekte 202 nicht als Umgebungsmerkmal von der digitalen Karte umfasst werden.
-
In Schritt 340 wird ein Bewegungsverhalten der nicht-statischen Objekte 202 relativ zu dem automatisierten Fahrzeug 100 bestimmt.
-
In Schritt 350 wird eine Fahrstrategie für das automatisierte Fahrzeug 100, abhängig von dem Bewegungsverhalten der nicht-statischen Objekte 202, bestimmt.
-
In Schritt 360 wird das automatisierte Fahrzeug 100, abhängig von der Fahrstrategie, betrieben.
-
In Schritt 370 endet das Verfahren 300.
