-
Die
Erfindung betrifft ein Verfahren zur Umgebungsrepräsentation
eines Fahrzeugs, bei dem Umgebungsdaten erfasst und in hierarchischen
Datenstrukturen abgelegt werden und in der Umgebung Objekte erkannt
werden.
-
Aus
der
WO 2004/029877
A2 ist ein Verfahren zur Beobachtung und Vermessung der
seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von
Parklücken, bekannt, wobei mittels einer Kamera digitale
Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert
werden. Dabei wird die Eigenbewegung des Fahrzeugs erfasst, um auf
Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare
auszuwählen, wobei die zu den beiden Aufnahmezeitpunkten
vorliegende Position und Ausrichtung der Kamera bestimmt wird. Auch
wird mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage
des Bildpaares ein lokales 3D-Tiefenbild generiert, wobei hierbei die
Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im
Rahmen einer synthetischen Stereogeometrie berücksichtigt
wird. Dabei wird eine Abfolge von lokalen 3D-Tiefenansichten akkumuliert, wobei
die Bilddaten der einzelnen lokalen 3D-Tiefenansichten, die denselben
Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind, miteinander addiert
werden. Vor der Addition werden die Bilddaten einer Gewichtung unterzogen,
wobei im Rahmen der Gewichtung das mittels der akkumulierten 3D-Tiefenansichten
dargestellte Volumen in einzelne Volumenelemente geteilt wird. Die
einzelnen Volumenelemente werden in einer hierarchischen Datenstruktur,
insbesondere in einer Baumstruktur, hinterlegt, wobei es sich um
einen so genannten Octree handelt. Bei diesem Octree verteilt jeder
Knoten mittels eines 3D-Schlüssels die Menge der gespeicherten
Volumen auf acht Unterbäume (Volumenelemente), wobei jeder
Unterbaum wiederum weiter unterteilt sein kann.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem
Stand der Technik verbessertes Verfahren zur Umgebungsrepräsentation
eines Fahrzeugs anzugeben.
-
Die
Aufgabe wird erfindungsgemäß mit einem Verfahren
gelöst, welches die im Anspruch 1 angegebenen Merkmale
aufweist.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
werden Umgebungsdaten erfasst und in hierarchischen Datenstrukturen
abgelegt und in der Umgebung Objekte erkannt.
-
Erfindungsgemäß wird
eine Relevanz der Objekte bezüglich einer Anwendung ermittelt
und ein Detaillierungsgrad der hierarchischen Datenstrukturen wird
in Bereichen erhöht, in denen Objekte mit hoher anwendungsspezifischer
Relevanz erfasst werden.
-
Hierbei
werden die Umgebungsdaten, insbesondere Sensormessdaten vorzugsweise
in Belegungsgitter eingetragen, um eine probabilistische Umgebungsrepräsentation
zu erhalten. Jede Zelle des Belegungsgitters enthält eine
Belegungswahrscheinlichkeit, welche aufgrund der Sensormessdaten
an dieser Stelle berechnet wurde. Die Akkumulierung der Daten in
einem Belegungsgitter ermöglicht in besonders vorteilhafter
Weise weitere Anwendungen wie die Bestimmung der Fahrspur, die Detektion bewegter
Objekte und die Eigenlokalisierung. Aufgrund der Erhöhung
des Detaillierungsgrades nur in den Bereichen, in welchen Objekte
mit hoher anwendungsspezifischer Relevanz erfasst werden, ist eine effiziente
Repräsentation realisierbar, wobei es hierbei möglich
ist, bei gleich bleibendem Speicherbedarf eine erhöhte
Genauigkeit der jeweiligen Anwendung in den relevanten Bereichen
und somit eine verbesserte Funktion der Anwendung zu erzielen. Bei
der Anwendung handelt es sich insbesondere um Fahrerassistenzsysteme
und Sicherheitsvorrichtungen des Fahrzeugs, welche auf einer Umgebungserfassung
basieren oder Daten einer Umgebungserfassung nutzen.
-
Weiterhin
besteht die Möglichkeit den Detaillierungsgrad der hierarchischen
Datenstruktur in denjenigen Bereichen zu verringern in denen Objekte mit
niedriger anwendungsspezifischer Relevanz erfasst werden.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand von Zeichnungen näher
erläutert.
-
Dabei
zeigen:
-
1 schematisch
eine Umgebungsrepräsentation nach dem Stand der Technik,
und
-
2 schematisch
eine Umgebungsrepräsentation mit inhaltsgesteuertem Detaillierungsgrad.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
In 1 ist
eine Umgebungsrepräsentation nach dem Stand der Technik
dargestellt, wobei Umgebungsdaten D in einem so genannten Belegungsgitter
G, auch als Occupancy Grid bekannt, abgelegt sind.
-
Bei
den Umgebungsdaten D handelt es sich um Sensordaten der Umgebung
eines nicht näher dargestellten Fahrzeugs, welche mittels
eines oder mehrerer Sensoren, beispielsweise Kameras, Laser-, Lidar-,
Ultraschall- und/oder Infrarotsensoren, erfasst werden. Anhand der
Umgebungsdaten D wird insbesondere ein Fahrerassistenzsystem des
Fahrzeugs betrieben, wobei es sich bei dem Fahrerassistenzsystem
beispielsweise um ein so genanntes automatisches Abstandsregelsystem,
Bremsassistenzsystem, Nachtsichtassistenzsystem und/oder weitere Systeme
zur Unterstützung des Fahrers des Fahrzeugs handeln kann.
Die Umgebungsdaten D werden weiterhin vorzugsweise zum Betrieb von
Sichervorrichtungen, insbesondere so genannter Pre-Crash-Sicherheitsvorrichtungen
verwendet.
-
In
das dargestellte hierarchische Belegungsgitter G nach dem Stand
der Technik werden die Umgebungsdaten D eingetragen, um eine probabilistische
Umgebungsrepräsentation zu erhalten. Jede Zelle Z1 bis
Z4 des Belegungsgitters G enthält eine Belegungswahrscheinlichkeit,
die aufgrund der Umgebungsdaten an dieser Stelle berechnet wurde. Eine
Akkumulierung der Umgebungsdaten in dem Belegungsgitter G ermöglicht
neben der Objekterkennung weitere Anwendungen, wie z. B. die Bestimmung
einer Fahrspur, eine Detektion bewegter Objekte und eine Eigenlokalisierung
des Fahrzeugs. Die Akkumulierung erfolgt dabei insbesondere nach
dem aus der
WO
2004/029877 A2 bekannten Verfahren zur Beobachtung und
Vermessung der seitlichen Umgebung eines Fahrzeugs.
-
Hierarchische
Datenstrukturen haben dabei den Vorteil, dass nicht alle Zellen
dieselbe Größe besitzen müssen. Dies
erlaubt es, die Belegungsgitter G speicherplatzeffizient abzulegen.
-
Im
dargestellten Ausführungsbeispiel nach dem Stand der Technik
ist das Belegungsgitter G als so genanntes zweidimensionales Quadtree
ausgebildet, wobei ein Wurzelknoten, d. h. jeweils eine Zelle Z1,
Z3, rekursiv in vier gleich große Kindknoten, d. h. Teilzellen
Z1.1 bis Z1.4, Z.3.1 bis Z3.4 aufgeteilt wird, um den Raum feiner
zu unterteilen. Dies geschieht nur in den Zellen Z1 und Z3, für
welche Messergebnisse vorliegen, d. h. in welchen Objekte O1 bis
O7 erfasst wurden.
-
Die
aufgrund der Unterteilung entstandenen Teilzellen Z1.1, Z1.2, Z1.4
und Z3.2, in welchen sich die erfassten Objekte O1 bis O7 befinden,
werden weiter unterteilt. Somit entstehen in den Teilzellen Z1.1,
Z1.2 und Z1.4 Objektzellen Z1.1.1 bis Z1.1.4, Z1.2.1 bis Z1.2.4
und Z1.4.1 bis Z1.4.4. In der Teilzelle Z3.2 entstehen Objektzellen
Z3.2.1 bis Z3.2.4, da sich das Objekt O7 in der Teilzelle Z3.2 befindet.
Daraus resultiert eine Erhöhung des Detaillierungsgrades
in den Bereichen der hierarchischen Datenstrukturen, in welchen
sich die Objekte O1 bis O7 befinden. Eine maximale Tiefe des Detaillierungsgrades ist
dabei vorgegeben, wobei die Umgebungsdaten in allen Bereichen, in
welchen sich die Objekte O1 bis O7 befinden, mit dem gleichen Detaillierungsgrad
abgelegt werden. Mit anderen Worten: Der Detaillierungsgrad ist
für jede Teilzelle Z1.1, Z1.2, Z1.4 und Z3.2, welche mit
einem Objekt O1 bis O7 belegt ist, gleich.
-
2 zeigt
ein Ausführungsbeispiel der erfindungsgemäßen
Umgebungsrepräsentation mit einem inhaltsgesteuerten Detaillierungsgrad.
-
Auch
hier werden die erfassten Umgebungsdaten D in hierarchischen Datenstrukturen,
d. h. einem als Quadtree ausgebildeten Belegungsgitter G, abgelegt.
Alternativ zu der Verwendung eines zweidimensionalen Quadtrees als
Datenstruktur, ist auch die Verwendung so genannter dreidimensionaler
Octrees oder kd-trees möglich.
-
Der
Detaillierungsgrad des Belegungsgitters G wird jedoch erfindungsgemäß in
Bereichen erhöht, in denen Objekte mit hoher anwendungsspezifischer Relevanz
erfasst werden. Diese Erhöhung kann dabei in mehreren Stufen
oder kontinuierlich mit einer Erhöhung der Relevanz erfolgen,
wobei auch die Relevanz der Objekte O1 bis O7 in Stufen oder kontinuierlich
ermittelt wird.
-
Zur
Ermittlung der Relevanz der Objekte O1 bis O7 werden die Objekte
O1 bis O7 zunächst erfasst und anschließend anhand
der erfassten Daten identifiziert. Weiterhin werden deren Eigenschaften sowie
eine Entfernung der Objekte O1 bis O7 zu dem Fahrzeug ermittelt
und berücksichtigt, wobei die Eigenschaften zumindest eine
Größe, eine Art, eine Bewegung, eine Relativbewegung,
eine Position und weitere die Objekte O1 bis O7 kennzeichnende Eigenschaften
umfassen. Diese Eigenschaften und die Entfernung werden in Abhängigkeit
der Anwendung, für deren Betrieb die Umgebungsdaten D verwendet werden,
derart ausgewertet, dass eine für die jeweilige Anwendung
spezifische Relevanz ermittelt wird. Die Erfassung der Objekte erfolgt
dabei vorzugsweise mit dem gleichen Sensor der Umweltdatenerfassung
oder zumindest einem weiteren Sensor.
-
Anwendungen,
welche die Daten der Objekte O1 bis O7 verwenden, sind beispielsweise
Vorrichtungen zur Selbstlokalisierung und Navigation des Fahrzeugs,
Pre-Crash-Sicherheitsvorrichtungen, Vorrichtung zur Fahrspurerkennung
und Detektion bewegter Objekte. Diese Anwendungen werden insbesondere
durch Akkumulierung der Umgebungsdaten realisiert.
-
Bei
der Selbstlokalisierung und Navigation des Fahrzeugs erfolgt die
Erhöhung des Detaillierungsgrades vorzugsweise in den Bereichen,
in welchen Landmarken, wie beispielsweise Bäume und Ecken,
detektiert werden.
-
Alternativ
oder zusätzlich zu den Objekten können auch örtliche
Begrenzungen, z. B. an das Fahrzeug angrenzende Umgebungsbereiche,
erkannt und mit zunehmender Entfernung vom Fahrzeug linear abfallend
berücksichtigt werden, was insbesondere im Zusammenhang
mit Pre-Crash-Anwendungen vorteilhaft ist. Bei Pre-Crash-Sicherheitsvorrichtungen
und der Detektion bewegter Objekte wird der Detaillierungsgrad insbesondere
für Objekte erhöht, welche Verkehrsteilnehmer,
die sich in einem Bereich direkt vor dem Sensorfahrzeug befinden, darstellen.
Hierbei wird der anwendungsrelevante Bereich, das heißt
das Belegungsgitter G, insbesondere als Quader relativ zum Fahrzeug
definiert.
-
Im
Anwendungsfall der Spurschätzung des Fahrzeugs wird der
Detaillierungsgrad entlang der gefahrenen Trajektorie des Sensorfahrzeugs
erhöht und der anwendungsrelevante Bereich beispielsweise
als Schlauch um die zurückgelegte Trajektorie definiert.
-
So
weist beispielsweise ein in Fahrtrichtung vor dem Fahrzeug befindliches
Objekt mit einer vergleichsweise geringen Geschwindigkeit und einem sehr
geringen Abstand eine hohe Relevanz bezüglich der Pre-Crash-Sicherheitsvorrichtung
oder einer automatischen Abstandsregelung auf. Ein linksseitig mit
ausreichendem Abstand vor dem Fahrzeug befindliches Objekt weist
beispielsweise bei einem Einparkvorgang in eine rechtsseitig hinter
dem Fahrzeug befindliche Parklücke lediglich eine geringe
oder keine Relevanz bezüglich eines Einparkassistenzsystems
auf.
-
Um
anhand einer hohen Detailtreue sowie einer hohen Speicher- und Rechenzeiteffizienz
eine optimale Funktion der Anwendungen zu realisieren, wird der
Detaillierungsgrad der hierarchischen Datenstruktur nur in solchen
Bereichen erhöht, in denen sich mittels der vorgeschalteten
Objekterkennung erfasste Objekte mit hoher anwendungsspezifischer Relevanz
befinden. Mit anderen Worten: Eine Tiefe der Datenstruktur wird
dynamisch nur für definierte Bereiche erhöht.
Da sich mit einer Erhöhung des Detaillierungsgrades der
hierarchischen Datenstruktur grundsätzlich auch der Speicherbedarf
erhöht, wird in vorteilhafter Weise gleichzeitig in weniger
relevanten Bereichen der Detaillierungsgrad der hierarchischen Datenstruktur
verringert. Somit wird bei in etwa gleich bleibendem Speicherbedarf
eine erhöhte Genauigkeit in den gewünschten Bereichen
möglich. Dies erlaubt eine effiziente Repräsentation,
da eine geringe Anzahl relevanter Objekte in einer feinen Datenstruktur
abgelegt wird und gleichzeitig die Gesamtkomplexität minimiert
wird.
-
Im
dargestellten Ausführungsbeispiel wurde für die
Teilzelle Z1.1 das Objekt O3, welches für eine aktuelle
Anwendung eine geringe Relevanz aufweist, identifiziert.
-
In
Bereich B1 wurden die Objekte O1, O2, O4 bis O6 erkannt, welche
eine höhere anwendungsspezifische Relevanz aufweisen, als
das Objekt O3, so dass der Detaillierungsgrad in den Teilzellen
Z1.2 und Z1.4 derart erhöht wird, dass die Objektzellen Z1.2.1
bis Z1.2.4 und Z1.4.1 bis Z1.4.4 gebildet werden. Gegenüber
den Objekten O1, O2, O4 bis O6 weist Objekt O3 somit eine geringe
Relevanz auf.
-
Im
Bereich B2 wurde das Objekt O7 identifiziert, dessen Relevanz aufgrund
seiner Eigenschaften und/oder seiner Entfernung als für
die Anwendung hoch ermittelt wurde. Aus diesem Grund wird der Detaillierungsgrad
gegenüber dem zu den Teilzellen Z1.2 und Z1.4 gehörigen
Detaillierungsgrad in der Teilzelle Z3.2 weiter erhöht,
wobei die Teilzelle Z3.2 zunächst in die Objektzellen Z3.2.1
bis Z3.2.4 unterteilt wird. Um die Genauigkeit weiter zu erhöhen,
wird die Objektzelle Z3.2.4, in welcher sich das Objekt O7 befindet,
zusätzlich in die Objektzellen 3.2.4.1 bis 3.2.4.4 unterteilt,
so dass sehr genau ermittelbar ist, wo sich das Objekt O7 in der
Umgebung des Fahrzeugs befindet.
-
Daraus
folgend wird die hohe Detailtreue realisiert, so dass im Rahmen
des erfindungsgemäßen Verfahrens bei geringer
Gesamtkomplexität eine effektive Umgebungsrepräsentation
möglich ist.
-
Bezugszeichenliste
-
- D
- Umgebungsdaten
- B1,
B2
- Bereich
- G
- Belegungsgitter
- Z1
- Zelle
- Z1.1
- Teilzelle
- Z1.1.1
bis Z1.1.4
- Objektzelle
- Z1.2
- Teilzelle
- Z1.2.1
bis Z1.2.4
- Objektzelle
- Z1.3
- Teilzelle
- Z1.4
- Teilzelle
- Z1.4.1
bis Z1.4.4
- Objektzelle
- Z2
- Zelle
- Z3
- Zelle
- Z3.1
- Teilzelle
- Z3.2
- Teilzelle
- Z3.2.1
- Objektzelle
- Z3.2.2
- Objektzelle
- Z3.2.3
- Objektzelle
- Z3.2.4
- Objektzelle
- Z3.2.4.1
bis Z3.2.4.4
- Objektzelle
- Z3.3
- Teilzelle
- Z3.4
- Teilzelle
- Z4
- Zelle
- O1
bis O7
- Objekt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - WO 2004/029877
A2 [0002, 0017]
