-
Die Erfindung betrifft ein Verfahren zur Umgebungsrepräsentation eines Fahrzeugs, bei dem Umgebungsdaten erfasst und in hierarchischen Datenstrukturen abgelegt werden und in der Umgebung Objekte identifiziert werden, wobei eine Höhe eines Detaillierungsgrades der hierarchischen Datenstrukturen in unterschiedlichen Bereichen abhängig von Eigenschaften dort identifizierter Objekte eingestellt wird.
-
Aus der
WO 2004/029877 A2 ist ein Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, bekannt, wobei mittels einer Kamera digitale Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert werden. Dabei wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen, wobei die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera bestimmt wird. Auch wird mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert, wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird. Dabei wird eine Abfolge von lokalen 3D-Tiefenansichten akkumuliert, wobei die Bilddaten der einzelnen lokalen 3D-Tiefenansichten, die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind, miteinander addiert werden. Vor der Addition werden die Bilddaten einer Gewichtung unterzogen, wobei im Rahmen der Gewichtung das mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente geteilt wird. Die einzelnen Volumenelemente werden in einer hierarchischen Datenstruktur, insbesondere in einer Baumstruktur, hinterlegt, wobei es sich um einen so genannten Octree handelt. Bei diesem Octree verteilt jeder Knoten mittels eines 3D-Schlüssels die Menge der gespeicherten Volumen auf acht Unterbäume (Volumenelemente), wobei jeder Unterbaum wiederum weiter unterteilt sein kann.
-
Die
DE 10 2010 011 629.7 beschreibt ein Verfahren zur Umgebungsrepräsentation eines Fahrzeugs, mit dem Informationen über die Umgebung eines Fahrzeugs von verschiedenen Sensoren erfasst werden. Die Sensoren umfassen Kameras, Laser-, Lidar-, Ultraschall- und Infrarotsensoren. Dabei wird ein festgelegter Bereich der Fahrzeugumgebung vollständig in nichtüberlappende Teilbereiche, so genannte Zellen, unterteilt. Jeder Zelle werden Informationen darüber zugeordnet, ob und mit welcher Wahrscheinlichkeit sich Objekte in dem der Zelle entsprechenden Teilbereich der Fahrzeugumgebung befinden. Die Gesamtheit dieser Belegungsinformationen lässt sich durch Verwendung hierarchischer Datenstrukturen so abbilden, dass Zellen verschiedener Größe möglich sind. Bereiche hoher anwendungsspezifischer Relevanz werden mit hoher Auflösung, d. h. geringer Zellengröße, und Bereiche geringer anwendungsspezifischer Relevanz werden mit geringer Auflösung, d. h. großer Zellengröße, dargestellt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Umgebungsrepräsentation eines Fahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, weiches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Umgebungsrepräsentation eines Fahrzeugs werden Umgebungsdaten erfasst und in hierarchischen Datenstrukturen abgelegt. In der Umgebung werden Objekte identifiziert, wobei eine Höhe eines Detaillierungsgrades der hierarchischen Datenstrukturen in unterschiedlichen Bereichen abhängig von Eigenschaften dort identifizierter Objekte eingestellt wird.
-
Erfindungsgemäß wird eine Unsicherheit der Objektidentifizierung ermittelt und der Detaillierungsgrad wird in solchen Bereichen erhöht, in denen Objekte mit hoher Unsicherheit der Objektidentifizierung erfasst werden.
-
Hierbei werden die Umgebungsdaten, insbesondere Sensormessdaten, in Zellen eingetragen, um eine probabilistische Umgebungsrepräsentation zu erhalten. Jede Zelle enthält eine Belegungswahrscheinlichkeit, welche aufgrund der Sensormessdaten an dieser Stelle berechnet wurde. Die Gesamtheit der Zellen wird als Belegungsgitter oder Belegungskarte, auch als Occupancy Grid bekannt, bezeichnet. Eine Akkumulierung der Daten im Belegungsgitter ermöglicht in besonders vorteilhafter Weise weitere Anwendungen, wie z. B. eine Bestimmung einer Fahrspur, eine Freiraumanalyse, eine Detektion bewegter Objekte, eine Eigenlokalisierung des eigenen Fahrzeugs und Parkfunktionen. Aufgrund der Erhöhung des Detaillierungsgrades nur in den Bereichen, in welchen sich Objektgrenzen befinden, ist eine effiziente Repräsentation realisierbar, wobei bei gleich bleibendem Speicherbedarf eine erhöhte Genauigkeit der Bestimmung von Objektgrenzen und somit eine verbesserte Funktion sowie Robustheit verschiedener Anwendungen möglich ist. Die Anwendungen sind insbesondere Fahrerassistenzsysteme und Sicherheitsvorrichtungen des Fahrzeugs, welche auf einer Umgebungserfassung basieren oder Daten einer Umgebungserfassung nutzen.
-
Aus dem erfindungsgemäßen Verfahren ergibt sich in besonders vorteilhafter Weise, dass eine durch eine Unterteilung der Umgebung des Fahrzeugs in Zellen begrenzte Genauigkeit der Umgebungsrepräsentation bei nahezu gleichbleibendem Aufwand verbessert wird, indem Zellen geringerer Größe und somit höherer Auflösung in Bereichen verwendet werden, in denen sich Objektgrenzen mit hoher Unsicherheit befinden. Die Unsicherheit wird insbesondere geschätzt und bezieht sich auf die Belegungswahrscheinlichkeit der jeweiligen Zelle. Aus der Verfeinerung von Randbereichen der Objekte werden ein bei der Akkumulierung der Umgebungsdaten im Belegungsgitter entstehender Diskretisierungsfehler an den Objektgrenzen und die Unsicherheiten minimiert, ohne dass eine Anzahl der im Belegungsgitter insgesamt verwendeten Zellen erhöht wird.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Umgebungsreprasentation nach dem Stand der Technik, und
-
2 schematisch eine Umgebungsrepräsentation mit inhaltsgesteuertem Detaillierungsgrad.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In
1 ist eine Umgebungsrepräsentation eines nicht gezeigten Fahrzeugs nach dem Stand der Technik dargestellt, wobei Umgebungsdaten D in einem hierarchisch organisierten Belegungsgitter G abgelegt sind. Hierarchisch organisierte Belegungsgitter G zeichnen sich dadurch aus, dass nicht alle Zellen die gleiche Größe haben müssen. Das Belegungsgitter G ist insbesondere nach einem aus
„Schmid, M. R., Maehlisch, M., Dickmann, J. und Wünsche, H.-J.: Dynamit Level of Detail 3D Occupancy Grids for Automotive Use; In: Intelligent Vehicle Symposium, San Diego, USA, 2010" oder der
DE 10 2010 011 629.7 bekannten Verfahren erstellt.
-
Bei den Umgebungsdaten D handelt es sich um Sensordaten der Umgebung des Fahrzeugs, welche mittels eines oder mehrerer am Fahrzeug angeordneter Sensoren, beispielsweise Kameras, Laser-, Lidar-, Ultraschall- und/oder Infrarotsensoren, erfasst werden. Anhand der Umgebungsdaten D wird insbesondere ein Fahrerassistenzsystem des Fahrzeugs betrieben, wobei es sich bei dem Fahrerassistenzsystem beispielsweise um ein so genanntes automatisches Abstandsregelsystem, Bremsassistenzsystem, Nachtsichtassistenzsystem und/oder weitere Systeme zur Unterstützung des Fahrers des Fahrzeugs handeln kann. Die Umgebungsdaten D werden weiterhin vorzugsweise zum Betrieb von Sicherheitsvorrichtungen, insbesondere so genannter Pre-Crash-Sicherheitsvorrichtungen verwendet.
-
In das dargestellte Belegungsgitter G werden die Umgebungsdaten D eingetragen, um eine probabilistische Umgebungsrepräsentation zu erhalten. Jede Zelle Z1 bis Z4 des Belegungsgitters G enthält eine Belegungswahrscheinlichkeit, die aufgrund der Umgebungsdaten D an dieser Stelle berechnet wurde. Eine Akkumulierung der Umgebungsdaten D in dem Belegungsgitter G ermöglicht neben der Objekterkennung weitere Anwendungen, wie z. B. die Bestimmung einer Fahrspur, eine Detektion bewegter Objekte und eine Eigenlokalisierung des Fahrzeugs. Die Akkumulierung erfolgt dabei insbesondere nach dem aus der
WO 2004/029877 A2 bekannten Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs.
-
Die hierarchische Organisation des Belegungsgitters G erlaubt es, dieses speicherplatzeffizient abzulegen.
-
Im dargestellten Ausführungsbeispiel ist das Belegungsgitter G nach dem Stand der Technik als so genanntes zweidimensionales Quadtree ausgebildet, wobei ein Wurzelknoten, d. h. jeweils eine Zelle Z1, Z2, Z3, rekursiv in vier gleich große Kindknoten, d. h. Teilzellen Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z3.1 bis Z3.4 aufgeteilt wird, um den Raum feiner zu unterteilen. Dies geschieht nur in den Zellen Z1, Z2 und Z3, für welche Messergebnisse vorliegen, d. h. in welchen Objektpunkte O1 bis O12 erfasst wurden, die zum Objekt O gehören.
-
Weiterhin werden Positionen F1 bis F16 erfasst, an welchen keine Objektsignale, d. h. keine Objektpunkte O, ermittelt werden. In der Zelle Z4, welche ausschließlich Positionen F9 bis F16 ohne Objektsignale umfasst, erfolgt keine Unterteilung in Teilzellen.
-
Daraus resultiert eine Erhöhung des Detaillierungsgrades in den Bereichen B1 bis B3 der hierarchischen Datenstrukturen, in welchen sich die Objektpunkte O1 bis O12 befinden. Eine maximale Tiefe des Detaillierungsgrades ist dabei vorgegeben, wobei die Umgebungsdaten in allen Bereichen B1 bis B3, in welchen sich die Objektpunkte O1 bis O12 befinden, mit dem gleichen Detaillierungsgrad abgelegt werden. Mit anderen Worten: Der Detaillierungsgrad ist für jede Zelle Z1, Z2, Z3, welche mit wenigstens einem Objektpunkt O1 bis O12 belegt ist, gleich.
-
2 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Umgebungsrepräsentation mit einem inhaltsgesteuerten Detaillierungsgrad.
-
Auch hier werden die erfassten Umgebungsdaten D in hierarchischen Datenstrukturen, d. h. einem als Quadtree ausgebildeten Belegungsgitter G, abgelegt. Alternativ zu der Verwendung eines zweidimensionalen Quadtrees als Datenstruktur ist auch die Verwendung so genannter dreidimensionaler Octrees oder kd-trees möglich.
-
Der Detaillierungsgrad des Belegungsgitters G wird jedoch zusätzlich zu dem in 1 dargestellten Ausführungsbeispiel nach dem Stand der Technik erfindungsgemäß in solchen Bereichen erhöht, in denen Objekte O mit hoher Unsicherheit der Objektidentifizierung erfasst werden, d. h. in den Teilzellen Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4, in denen sich Grenzen von Objekten O befinden. Diese Erhöhung kann dabei in mehreren Stufen oder kontinuierlich mit einer Erhöhung der Wahrscheinlichkeit des Auftretens von Objektgrenzen erfolgen, wobei auch die Wahrscheinlichkeit des Auftretens von Objektgrenzen in Stufen oder kontinuierlich ermittelt wird.
-
Zur Ermittlung der Wahrscheinlichkeit des Auftretens von Objektgrenzen werden Daten wiederholter, akkumulierter Messungen im Belegungsgitter G ausgewertet. Befindet sich in einer Teilzelle Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 gegebener Größe eine Objektgrenze, d. h. ein Teil der jeweiligen Teilzelle Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 ist belegt und ein Teil nicht, so liefert ein Sensor, der wiederholt zufällig oder systematisch verschiedene Teile der jeweiligen Teilzelle Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 misst, widersprüchliche Informationen.
-
Aus der Gesamtheit der Messungen für diese Teilzellen Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 lässt sich eine Belegungswahrscheinlichkeit ermitteln, die mit einer gewissen Unsicherheit versehen ist. Diese Unsicherheit wird aus einer Statistik der Messungen und/oder aufgrund von Informationen über die Lage und Entfernung der jeweiligen Teilzelle Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 relativ zum Sensor ermittelt, da beispielsweise mit zunehmender Entfernung die Ungenauigkeit der Messung und der Einfluss des Rauschens zunimmt. Die Ermittlung der Unsicherheit der geschätzten Belegungswahrscheinlichkeit der jeweiligen Teilzelle Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4 erfolgt dabei vorzugsweise anhand einer so genannten Evidenztheorie nach Dempster-Shafer, wie sie beispielsweise in „Konrad, M. und Dietmayer, K.: Occupancy Grid Mapping using the Dempster-Shafer-Theory; In: 8th International Workshop in Intelligent Transportation (WIT 2011), Hamburg, 2011" beschrieben ist.
-
Die Belegungswahrscheinlichkeit und die Unsicherheit der Messung werden derart ausgewertet, dass die Teilzellen Z1.1 bis Z1.4, Z2.1 bis Z2.4 und Z.3.1 bis Z3.4, die eine Objektgrenze enthalten, identifiziert werden. Dies sind im dargestellten Ausführungsbeispiel die Teilzellen Z1.3 und Z.3.1.
-
Zur Erhöhung des Detaillierungsgrades werden diese Teilzellen Z1.3 und Z3.1 hierarchisch in Unterteilzellen Z1.3.1 bis Z1.3.4 und Z3.1.1 bis 3.1.4 zerlegt. Damit wird die räumliche Auflösung des Belegungsgitters G in Bereichen, die Objektgrenzen enthalten, erhöht, während das Belegungsgitter G in Bereichen, die zusammenhängend frei an den Positionen F1 bis F16 oder zusammenhängend belegt sind, eine niedrigere räumliche Auflösung aufweist.
-
Anwendungen, welche die Daten der Objektpunkte O1 bis O12 und/oder daraus rekonstruierter Objekte O verwenden, sind beispielsweise Vorrichtungen zur Selbstlokalisierung und Navigation des Fahrzeugs, Pre-Crash-Sicherheitsvorrichtungen, Vorrichtungen zur Fahrspurerkennung und Detektion bewegter Objekte. Diese Anwendungen werden insbesondere durch Akkumulierung der Umgebungsdaten D realisiert.
-
Im Anwendungsfall der Spurschätzung des Fahrzeugs wird der Detaillierungsgrad entlang der gefahrenen Trajektorie des Sensorfahrzeugs erhöht und der anwendungsrelevante Bereich beispielsweise als Schlauch um die zurückgelegte Trajektorie definiert.
-
Um anhand einer hohen Detailtreue sowie einer hohen Speicher- und Rechenzeiteffizienz eine optimale Funktion der Anwendungen zu realisieren, wird der Detaillierungsgrad der hierarchischen Datenstruktur nur in solchen Bereichen erhöht, in denen sich mit großer Wahrscheinlichkeit Grenzen erkannter Objekte O befinden. Mit anderen Worten: Eine Tiefe der Datenstruktur wird dynamisch nur für definierte Bereiche erhöht. Damit wird bei näherungsweise gleich bleibendem Speicherbedarf eine erhöhte Genauigkeit in den gewünschten Bereichen möglich. Dies erlaubt eine effiziente Repräsentation, da eine geringe Anzahl relevanter Objekte O in einer groben Datenstruktur abgelegt wird und die Gesamtkomplexität minimiert wird.
-
Im dargestellten Ausführungsbeispiel wurde das Objekt O an den Objektpunkten O1 bis O12 angetastet. Messungen an den Positionen F1 bis F16 ergaben kein Objektsignal und bilden somit eine freie Fahrzeugumgebung ab. In den Teilzellen Z1.3 und Z3.1 werden widersprüchliche Sensorsignale gemessen, da das Objekt O diese Teilzellen Z1.3 und Z3.1 nur teilweise ausfüllt. Damit ergibt sich für diese Bereiche, d. h. Teilzellen Z1.3 und Z3.1, eine erhöhte Unsicherheit für die ermittelte Belegungswahrscheinlichkeit.
-
Entsprechend werden diese Bereiche, wie bereits beschrieben, hierarchisch in die Unterteilzellen Z1.3.1 bis Z1.3.4 und Z3.1.1 bis 3.1.4 zerlegt und die Umgebungsdaten D werden diesen neu gebildeten Unterteilzellen Z1.3.1 bis Z1.3.4 und Z3.1.1 bis 3.1.4 zugeordnet. Dadurch wird die Grenze des Objekts O genauer abgebildet.
-
Im Bereich der Zelle Z2 weisen alle Teilzellen Z2.1 bis Z2.4 widerspruchsfreie Messdaten auf. Die Unsicherheit der ermittelten Belegungswahrscheinlichkeit für die Zelle Z2 ist daher gering, so dass eine hierarchische Unterteilung nicht erforderlich ist.
-
In einem nicht dargestellten Ausführungsbeispiel erfolgt in diesem Fall der Widerspruchsfreiheit einer gesamten Zelle Z1 bis Z4, wie beispielsweise im dargestellten Ausführungsbeispiel der Zelle Z2, auch keine Unterteilung der Zelle Z2 in die Teilzellen Z2.1 bis Z2.4, woraus sich eine weitere Verringerung des Speicherplatzbedarfs ergibt.
-
Im Rahmen des erfindungsgemäßen Verfahrens wird somit eine hohe Detailtreue bei geringer Gesamtkomplexität realisiert, so dass eine effektive Umgebungsrepräsentation des Fahrzeugs möglich ist.
-
Bezugszeichenliste
-
-
- B1 bis B3
- Bereich
- D
- Umgebungsdaten
- F1 bis F16
- Position
- G
- Belegungsgitter
- O
- Objekt
- O1 bis O12
- Objektpunkt
- Z1
- Zelle
- Z1.1 bis Z1.4
- Teilzelle
- Z1.3.1 bis Z1.3.4
- Unterteilzelle
- Z2
- Zelle
- Z2.1 bis Z2.4
- Teilzelle
- Z3
- Zelle
- Z3.1 bis Z3.4
- Teilzelle
- Z3.1.1 bis Z3.1.4
- Unterteilzelle
- Z4
- Zelle
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2004/029877 A2 [0002, 0018]
- DE 102010011629 [0003, 0016]
-
Zitierte Nicht-Patentliteratur
-
- „Schmid, M. R., Maehlisch, M., Dickmann, J. und Wünsche, H.-J.: Dynamit Level of Detail 3D Occupancy Grids for Automotive Use; In: Intelligent Vehicle Symposium, San Diego, USA, 2010” [0016]
- „Konrad, M. und Dietmayer, K.: Occupancy Grid Mapping using the Dempster-Shafer-Theory; In: 8th International Workshop in Intelligent Transportation (WIT 2011), Hamburg, 2011” [0027]
