DE102009006113A1

DE102009006113A1 - Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten

Info

Publication number: DE102009006113A1
Application number: DE102009006113A
Authority: DE
Inventors: Thien-Nghia Nguyen; Marc Michael Dr. Meinecke; Thanh-Binh Dr. To; Bernd Prof. Dr. Michaelis
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2008-03-03
Filing date: 2009-01-26
Publication date: 2009-09-10
Anticipated expiration: 2029-01-27
Also published as: DE102009006113B4

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs mit mindestens einer ersten Sensoreinrichtung (2) und mindestens einer zweiten Sensoreinrichtung (3) sowie einer Auswerteeinrichtung (4), wobei die Sensoreinrichtungen (2, 3) Informationen über in einem Umfeld des Fahrzeugs (6) erkannte Objekte (10, 14) in Form von Sensorobjekten bereitstellen, wobei ein Sensorobjekt ein von der jeweiligen Sensoreinrichtung (2, 3) erkanntes Objekt (10, 14) repräsentiert, und die Sensorobjekte als Attribut mindestens eine Existenzwahrscheinlichkeit des repräsentierten Objekts (10, 14) umfassen und die von der mindestens einen ersten Sensoreinrichtung (2) und von der mindestens einen zweiten Sensoreinrichtung (3) erkannten Sensorobjekte einer Objektfusion (66) unterzogen werden, bei der Fusionsobjekte erzeugt werden, denen mindestens eine Existenzwahrscheinlichkeit als ein Attribut zugeordnet wird, wobei die Existenzwahrscheinlichkeiten der Fusionsobjekte basierend auf den Existenzwahrscheinlichkeiten der Sensorobjekte fusioniert werden, wobei die Fusionierung der Existenzwahrscheinlichkeit eines der Sensorobjekte jeweils abhängig von der jeweiligen Sensoreinrichtung (2, 3) erfolgt, von der das entsprechende Sensorobjekt bereitgestellt ist.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung für ein Fahrzeug zur Beschreibung eines Umfelds des Fahrzeugs, das mit mindestens einer ersten Sensoreinrichtung und mindestens einer zweiten Sensoreinrichtung erfasst wird und deren bereitgestellte Informationen in einer Auswerteeinrichtung ausgewertet werden, um eine Umfelddarstellung bereitzustellen. Insbesondere betrifft die Erfindung ein Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs mit mindestens einer ersten Sensoreinrichtung und mindestens einer zweiten Sensoreinrichtung sowie einer Auswerteeinrichtung. Ferner betrifft die Erfindung eine Vorrichtung zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs, umfassend mindestens eine erste Sensoreinrichtung und mindestens eine zweite Sensoreinrichtung, die das Umfeld erfassen, sowie eine Auswerteeinrichtung, die mit der mindestens einen ersten Sensoreinrichtung und mit der mindestens einen zweiten Sensoreinrichtung gekoppelt ist.
Die Kenntnis eines Umfelds eines Fahrzeugs ist für unterschiedliche Fahrzeugsysteme, wie z. B. Sicherheitssysteme, von großer Wichtigkeit. Mit Sensoreinrichtungen, die beispielsweise einen Ultraschallsensor oder eine Kamera umfassen, werden Daten über das Umfeld erfasst. Durch ein Nutzen von Informationen unterschiedlicher Sensoreinrichtungen wird eine Repräsentation des Umfelds erzeugt, welche die Realität des Umfelds möglichst gut widerspiegeln soll. In der Umgebung befinden sich statische Objekte, wie beispielsweise Bäume, Häuser usw., und dynamische Objekte, die sich in einem ortsfesten Bezugssystem bewegen, wie beispielsweise Personen, Tiere, Kraftfahrzeuge usw. Um ausreichende Informationen über diese sich bewegenden Objekte (dynamischen Objekte) im Umfeld des Fahrzeugs zu jedem Zeitpunkt zur Verfügung zu haben, ist eine kontinuierliche Überwachung, d. h. ein kontinuierliches Erfassen von Messdaten, über die Umgebung notwendig. In der Regel arbeiten die Sensoreinrichtungen in sich fortwährend iterativ wiederholenden Messzyklen.
Aus der DE 10 2006 035 207 ist eine Vorrichtung bekannt, die mittels einer Kameraeinrichtung einen Näherungswert für eine Position eines möglichen Objektes bestimmt. In einer Auswerteeinrichtung werden zwei Grenzwerte für die Position des Objekts anhand der von der Kamera zur Verfügung gestellten Daten ermittelt. Mit einem einen Laser nutzenden so genannten Lidar-System (Laser Imaging Detection and Ranging System) oder einem Radarsystem wird überprüft, ob sich tatsächlich ein Objekt in dem durch den ersten Grenzwert und den zweiten Grenzwert definierten Positionsbereich befindet.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zu schaffen, die es ermöglichen, eine verbesserte Umfeldrepräsentation eines Umfelds eines Fahrzeugs mit statischen und dynamischen Objekten bereitzustellen.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs 12 gelöst. Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs mit mindestens einer ersten Sensoreinrichtung und mindestens einer zweiten Sensoreinrichtung sowie eine Auswerteeinrichtung vorgeschlagen, bei dem die Sensoreinrichtungen Informationen über in einem Umfeld des Fahrzeugs erkannte Objekte in Form von Sensorobjekten bereitstellen, wobei ein Sensorobjekt ein von der jeweiligen Sensoreinrichtung erkanntes Objekt repräsentiert, und die Sensorobjekte als Attribut mindestens eine Existenzwahrscheinlichkeit des repräsentierten Objekts umfassen und die von der mindestens einen ersten Sensoreinrichtung und von der mindestens einen zweiten Sensoreinrichtung erkannten Sensorobjekte einer Objektfusion unterzogen werden, bei der Fusionsobjekte erzeugt werden, denen mindestens eine Existenzwahrscheinlichkeit als Attribut zugeordnet wird, wobei die Existenzwahrscheinlichkeiten der Fusionsobjekte basierend auf den Existenzwahrscheinlichkeiten der Sensorobjekte fusioniert wird, wobei die Fusionierung der Existenzwahrscheinlichkeit eines der Sensorobjekte jeweils abhängig von der jeweiligen Sensoreinrichtung erfolgt, von der das entsprechende Sensorobjekt bereitgestellt ist. Eine entsprechende Vorrichtung zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs umfasst mindestens eine erste Sensoreinrichtung und mindestens eine zweite Sensoreinrichtung, die das Umfeld erfassen, sowie eine Auswerteeinrichtung, die mit der mindestens einen ersten Sensoreinrichtung und der mindestens einen zweiten Sensoreinrichtung gekoppelt ist, wobei die Sensoreinrichtungen ausgebildet sind, Informationen über jeweils erfasste Objekte in Form von Sensorobjekten bereitzustellen, die als Attribut mindestens eine Existenzwahrscheinlichkeit für das erfasste Objekt umfassen, und die Auswerteeinheit ausgebildet ist, die von der mindestens einen ersten Sensoreinrichtung und von der mindestens einen zweiten Sensoreinrichtung erkannten Sensorobjekte einer Objektfusion zu unterziehen, bei der Fusionsobjekte erzeugt werden, denen mindestens eine Existenzwahrscheinlichkeit als ein Attribut zugeordnet ist, wobei die Fusion der Existenzwahrscheinlichkeit des Fusionsobjekts basierend auf den Existenzwahrscheinlichkeiten der Sensorobjekte ausgeführt ist und abhängig von der jeweiligen Sensoreinrichtung erfolgt, von der das jeweilige Sensorobjekt bereitgestellt ist. Obwohl die einzelnen Sensoreinrichtungen bereits selbständig Objekte erkennen und diese erkannten Objekte als Sensorobjekte, in der Regel in Form einer Liste von Sensorobjekten, bereitstellen, ist es erfindungsgemäß vorgesehen, die von den unterschiedlichen Sensoreinrichtungen bereitgestellten Sensorobjekte einer Fusion zu unterziehen. Hierbei werden Fusionsobjekte erzeugt. Da insbesondere eine Existenzwahrscheinlichkeit der erkannten Objekte von besonderer Bedeutung ist, umfassen die Fusionsobjekte als Attribut mindestens eine Existenzwahrscheinlichkeit. Durch die Fusionierung der Sensorobjekte werden Fusionsobjekte geschaffen, die die real existierenden Objekte repräsentieren. Aufgrund der Fusion der Sensorobjekte, die jeweils von einer der Sensoreinrichtungen erfasst und erkannt sind, können die Existenzwahrscheinlichkeiten der Fusionsobjekte (wie auch andere Attribute) durch eine Fusion der Sensorobjekte zu den Fusionsobjekten deutlich verbessert werden. Da die einzelnen Sensoreinrichtungen hinsichtlich ihrer Messgüte und/oder Fehleranfälligkeit, beispielsweise aufgrund von Rauschen, einer Anfälligkeit gegenüber veränderlichen Umweltbedingungen usw., unterscheiden, ist es vorgesehen, dass bei der Fusionierung der Existenzwahrscheinlichkeiten der einzelnen Sensorobjekte zu der Existenzwahrscheinlichkeit der Fusionsobjekte eine Fusionierung jeweils unter Berücksichtigung der Sensoreinrichtung erfolgt, die das jeweilige Sensorobjekt bereitgestellt hat, dessen Sensorobjekt-Existenzwahrscheinlichkeit in die Existenzwahrscheinlichkeit für das Fusionsobjekt fusioniert wird. Durch die Fusionierung der Sensorobjekte zu Fusionsobjekten wird eine deutlich verbesserte Umfelddarstellung erreicht. Insbesondere für sicherheitsrelevante Fahrzeugsysteme, die von einer Existenz von Objekten in der Umgebung des Kraftfahrzeugs abhängig sind, ist eine gute Kenntnis über die tatsächliche Existenz von Objekten in der Umgebung notwendig. Durch die Fusionierung der Existenzwahrscheinlichkeiten der Sensorobjekte zu einer Existenzwahrscheinlichkeit von Fusionsobjekten, die die realen Objekten repräsentieren, wird somit die Aussage über die Existenzwahrscheinlichkeit von Objekten in der Umgebung des Kraftfahrzeugs deutlich verbessert. Hierüber können Fehlauslösungen von Sicherheitssystemen, die beispielsweise Rückhaltesysteme vor einem tatsächlichen Eintreffen einer Kollision mit einem Objekt in der Umgebung, die als unvermeidbar erkannt ist, auslösen, deutlich reduziert oder vollständig vermieden werden.
Bei einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass für die zum Zeitpunkt k ermittelten Fusionsobjekte eine Prädiktion auf einen Zeitpunkt k + 1 vorgenommen wird und die zum Zeitpunkt k + 1 ermittelten Sensorobjekte mit den Fusionsobjekten assoziiert werden, mit deren Prädiktion sie gemäß Assoziationsvorgaben übereinstimmen, wobei die Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k + 1 anhand der Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k und der Existenzwahrscheinlichkeit zum Zeitpunkt k + 1 des Sensorobjekts fusioniert wird. Als Assoziationsvorgabe kann ein Mahalanobis-Abstandsvorgabewert dienen. Bei dieser Ausführungsform ist es möglich, die in vorausgegangenen Fusionierungsschritten erzeugten Fusionsobjekte mit den aktuell bereitgestellten Sensorobjekten zu assoziieren und hierüber die bereits zuvor gewonnenen Informationen, insbesondere hinsichtlich der Existenzwahrscheinlichkeit der im Umfeld existierenden Objekte, optimal auszuwerten.
Eine Weiterbildung sieht vor, dass die Existenzwahrscheinlichkeit eines Fusionsobjekts, das mit einem Sensorobjekt assoziiert werden kann, gemäß folgender Formel berechnet wird:
wobei P_FusObj(k) die Existenzwahrscheinlichkeit des Fusionsobjekt zum Zeitpunkt k, P_SenObj(k) die Existenzwahrscheinlichkeit des Sensorobjekts zum Zeitpunkt k, γ eine sensoreinrichtungsunabhängige Fusionierungskonstante und δ^a und δ^b sensoreinrichtungsabhängige Fusionierungskonstanten angeben, wobei gilt: δ^a + δ^b = 1. Die angegebene Formel, die der Fuzzy-Logik entlehnt ist, ermöglicht über die festgelegte Wahl der Konstante γ eine Vorwahl, ob die Fusionierung eher einer Und-Verknüpfung oder eher einer Oder-Verknüpfung der beiden Existenzwahrscheinlichkeiten, d. h. der Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k und der Existenzwahrscheinlichkeit des Sensorobjekts zum Zeitpunkt k + 1 entsprechen soll. Darüber hinaus wird über die sensoreinrichtungsabhängigen Fusionierungskonstanten δ^a und δ^b die Möglichkeit geschaffen, die von unterschiedlichen Sensoreinrichtungen gelieferten Existenzwahrscheinlichkeiten unterschiedlich relativ zu der bereits in dem Fusionsobjekt fusionierten Existenzwahrscheinlichkeit zu gewichten. Hierüber kann berücksichtigt werden, dass die Zuverlässigkeit von Existenzwahrscheinlichkeitsaussagen der einzelnen Sensoreinrichtungen eine unterschiedliche Zuverlässigkeit und Güte aufweisen. Ferner kann abhängig von der Güte der Assoziation ebenfalls eine Wichtung der ”alten” Fusionsobjekt-Existenzwahrscheinlichkeit P_FusObj(k) relativ zur Existenzwahrscheinlichkeit P_SenObj(k + 1) des Sensorobjekts erfolgen.
Um im Umfeld auftretende neue Objekte bei der Fusionierung berücksichtigen zu können, ist bei einer Ausführungsform der Erfindung vorgesehen, dass für Sensorobjekte, die mit keinem der bekannten Fusionsobjekte assoziiert werden können, die Fusionierung ein Erzeugen eines neuen Fusionsobjekts umfasst, welchem als Existenzwahrscheinlichkeit die Existenzwahrscheinlichkeit des Sensorobjekts zugewiesen wird.
Während eine Umfelddarstellung über Sensorobjekte und hieraus fusionierte Fusionsobjekte besonders gut für sich bewegende, d. h. in einem ortsfesten Bezugssystem bewegende, Objekte im Umfeld des Fahrzeugs geeignet ist, kann eine verbesserte Umfeldrepräsentation erreicht werden, wenn von den Sensoreinrichtungen zusätzlich Informationen bereitgestellt werden, anhand derer eine Belegungskarte erstellt wird, wobei das Umfeld in Bereiche unterteilt wird und jedem Bereich jeweils eine Zelle zugeordnet wird, wobei die Zellen gemeinsam die Belegungskarte darstellen, und vorgesehen ist, für die Zellen Belegungswahrscheinlichkeiten zu ermitteln, die ein Maß für eine Existenz eines Objekts in dem der Zelle zugeordneten Bereich des Umfelds angeben. Zusätzlich zu einer Objekterkennung in den Sensoreinrichtungen, die zur Ableitung der Sensorobjekte führt, werden somit Informationen bereitgestellt, die es ermöglichen, eine Belegungskarte des Umfelds zu erstellen. Das Erstellen der Belegungskarte wird in der Regel so ausgeführt, dass den einzelnen Zellen mindestens ein Wert zugeordnet ist, welcher die Existenzwahrscheinlichkeit eines Objekts in dem der Zelle zugeordneten Raumbereich des Umfelds angibt. Ein Vorteil eines solchen Verfahrens zur Umfelddarstellung bzw. Bereitstellung einer Umfelddarstellung liegt in einer möglichst vollständigen Nutzung der Informationen der mindestens zwei Sensoreinrichtungen, wobei zum einen die guten Belegungswahrscheinlichkeitsaussagen in den durch die Zellen gebildeten Belegungskarten erzeugt werden, die insbesondere für statische Objekte eine hohe Aussagekraft besitzen, und zum anderen auch für dynamische Objekte hohe Existenzwahrscheinlichkeiten über die Fusionierungsobjekte erlangt werden können.
Eine deutliche weitere Verbesserung lässt sich erreichen, wenn die Ergebnisse der objektorientierten Umfelddarstellung mit einer kartenbasierten Umfelddarstellung kombiniert werden. Bei einer bevorzugten Ausführungsform ist daher vorgesehen, dass für Fusionsobjekte, die zu einem Messzeitpunkt k + 1 keinem der Sensorobjekte zugeordnet werden können, die Existenzwahrscheinlichkeit fusioniert wird, indem anstelle der Existenzwahrscheinlichkeit des entsprechenden Sensorobjekts eine anhand der Belegungskarte ermittelte Belegungswahrscheinlichkeit für den Bereich oder die Bereiche verwendet wird, an dem oder denen sich das Fusionsobjekt gemäß der Prädiktion aufhält. Solche Situationen, bei denen kein entsprechendes Sensorobjekt für ein Fusionsobjekt von einer Messeinrichtung geliefert wird, treten beispielsweise bei einem Radarsystem auf, wenn ein anderes statisches oder dynamisches Objekt im Umfeld das entsprechende zu dem Fusionsobjekt korrespondierende Objekt zwischenzeitlich verdeckt. Dies bedeutet, dass das Objekt in der Umgebung, welches mit dem Fusionsobjekt korrespondiert, durch die Radarstrahlen nicht erfasst werden kann, weil ein anderes Objekt, beispielsweise ein Brückenpfeiler oder ein auf einer Verkehrsinsel montiertes Verkehrsschild, das Sichtfeld des Radars auf das entsprechende reale Objekt in einem oder mehreren Messzyklen verdeckt. In einer solchen Situation ist eine Sensoreinrichtung häufig nicht in der Lage, für dieses reale Objekt ein Sensorobjekt bereitzustellen, da die Sensoreinrichtung hierfür das reale Objekt selber über einen gewissen Zeitraum erfassen und nachverfolgen können muss, um sicherzugehen, dass ein real existierendes Objekt vorliegt. Die Rohdaten hingegen können bereits häufig früher und zuverlässiger eine Aussage über eine Belegung eines bestimmten Bereichs im Umfeld des Kraftfahrzeugs liefern. Somit wird die Fusionierung dadurch verbessert, dass aus der Belegungskarte bekannte Existenzwahrscheinlichkeiten für Objekte in einem bestimmten Bereich genutzt werden, der mit dem Bereich korrespondiert, in den sich das Fusionsobjekt gemäß der Prädiktion bewegt hat.
Bei einer Ausführungsform ist vorgesehen, dass die Fusionierung nach folgender Formel erfolgt: PFusObj(k + 1) = [PFusObj(k)·PGrid(k + 1)]1-γ·[1 – (1 – PFusObj(k))·(1 – PGrid(k + 1))]γ,wobei P_Grid(k + 1) die aus der Belegungskarte abgeleitete Belegungswahrscheinlichkeit an dem prädizierten Ort des Fusionsobjekts angibt. Hierbei gibt γ erneut eine Fusionierungskonstante an, die festlegt, ob die Fusionierung eher einer Und-Verknüpfung oder einer Oder-Verknüpfung der Existenzwahrscheinlichkeiten bzw. Belegungswahrscheinlichkeiten ähneln soll.
Weiterhin ist es vorteilhaft, eine Klassifizierung der Objekte vorzunehmen. Hierbei erfolgt eine Klassifizierung der Sensorobjekte hinsichtlich ihres Typs als auch vorzugsweise eine Klassifizierung der Fusionsobjekte hinsichtlich ihres Typs. Mit einer Klassifizierung ist ein Objekttyp bzw. eine Objektklasse gemeint. Zu diesen zählen Fußgänger, Fahrradfahrer, Autos, Bäume, Häuser usw. Besonders vorteilhaft wird die Klassifizierung mit Vergleichsdaten vorgenommen, die entweder in den Sensoreinrichtungen vorliegen und/oder in der Auswerteeinrichtung abgelegt sind. Als Vergleichsdaten können beispielsweise Referenzdaten dienen. Für eine Sensoreinrichtung, die als Stereokamera ausgebildet ist, kann beispielsweise ein Höhenverhältnis zu einem Breitenverhältnis eines ermittelten Objekts innerhalb eines definierten Raumbereichs bzw. einer definierten Fläche des Umfelds bestimmt werden. Anhand dieses Verhältnisses kann beispielsweise ermittelt werden, ob es sich um einen Fußgänger handelt. Die Klassifizierung anhand von Referenzdaten kann sowohl in den Sensoreinrichtungen als auch in der Auswerteeinrichtung oder alternativ in den Sensoreinrichtungen oder der Auswerteeinrichtung vorgenommen werden. Die Klassifizierung stellt somit ein mögliches Attribut der Sensorobjekte und auch der Fusionsobjekte dar. Als weitere Attribute werden Vorgaben über die Geometrie der Objekte, wie beispielsweise eine Länge, eine Breite und/oder eine Höhe bestimmt. Weiterhin vorteilhaft ist es, eine Dynamik der Objekte zu bestimmen. Mit der Dynamik der Objekte sind eine Gierrate, eine Geschwindigkeit, eine Orientierung sowie eine Beschleunigung usw. eines Objekts gemeint. Weiterhin zählen zur Dynamik Informationen, die ein fahrzeugbezogenes Fahrverhalten charakterisieren, beispielsweise einen Überholvorgang, einen Ein- und/oder Ausparkvorgang, einen Notbremsvorgang, einen Beschleunigungsvorgang, einen Verzögerungsvorgang, ein Kreuzen einer Fahrbahn von Fußgängern und/oder Radfahrern usw., um nur einige charakterisierende Eigenschaften der Dynamik von Objekten zu nennen.
Ebenso wie die Existenzwahrscheinlichkeiten der einzelnen Sensorobjekte können auch weitere Attribute einer Fusionierung unterzogen werden. Eine bevorzugte Ausführungsform sieht daher vor, dass die Sensorobjekte und Fusionsobjekte hinsichtlich weiterer Attribute einem Fusionierungsverfahren unterzogen werden, beispielsweise unter Verwendung eines Kalman-Filters. Dies bedeutet, dass eine Dynamik und Prädiktion beispielsweise mittels eines Kalman-Filters ausgeführt werden kann.
Zur weiteren Ausgestaltung der Erfindung ist es vorteilhaft, dass die in der Auswerteeinheit verarbeiteten Informationen zu einer detaillierten Beschreibung des Umfelds zusammengefügt werden. Die Auswerteeinheit kann ein Rechner sein, der Informationen aufnimmt, verarbeitet und die Ergebnisse zusammenfügt. Die zusammengefügten Ergebnisse können vorteilhaft auch grafisch durch die Auswerteeinheit aufbereitet werden, so dass sie auf einer Ausgabeeinheit, z. B. einer Anzeigevorrichtung, darstellbar sind. Die detaillierten Ergebnisse werden vorteilhaft von anderen System genutzt, die auf Umfeldinformationen angewiesen sind, um beispielsweise das Fahrzeug zu lenken, in die Längs- und/oder Querführung und/oder -dynamik einzugreifen, Precrash-Maßnahmen zu ergreifen usw. Daher ist es vorteilhaft, wenn die Umfeldrepräsentation zumindest auch in elektronischer Form bereitgestellt wird.
In der Auswerteeinrichtung sind Informationen eines Expertensystems angesiedelt bzw. umgesetzt. Das Expertenwissen, welches zum Teil in den Fusionierungsvorschriften und Formeln enthalten ist, kann zusätzlich weitere Informationen auswerten und nutzbar machen, um die Informationsfusionierung zu verbessern. Bei einer Ausführungsform der Erfindung ist vorgesehen, dass mittels mindestens einer dritten Sensoreinrichtung Informationen über das Umfeld und/oder die mindestens eine Sensoreinrichtung und/oder die mindestens eine zweite Einrichtung erfasst werden und die Sensoreinrichtungsabhängigkeit der Fusionierung abhängig von den Informationen der mindestens einen dritten Sensoreinrichtung variiert wird. Bei der dritten Sensoreinrichtung kann es sich beispielsweise um einen Sensor handeln, der Regen im Umfeld des Kraftfahrzeugs detektiert. Handelt es sich bei einer der Sensoreinrichtungen beispielsweise um eine Stereokamera, so ist es bekannt, dass diese bei starkem Regen hinsichtlich der Objekterfassung gestört ist. Somit ist es vorteilhaft, beispielsweise bei der Fusionierung der Existenzwahrscheinlichkeiten der Sensorobjekte, die von der als Stereokamera ausgebildeten Sensoreinrichtung bereitgestellten Informationen schwächer gewichtet in die Fusionsobjekte zu fusionieren, als dies der Fall ist, wenn trockene Verhältnisse herrschen. Ebenso spielen insbesondere Lichtverhältnisse, beispielsweise eine tief stehende, entgegen der Fahrtrichtung gerichtete Sonneneinstrahlung eine entscheidende Rolle für eine Güte der mittels der Stereokamera empfangenen Daten. Auch andere Sensoreinrichtungen, die andere Messverfahren und Prinzipien verwenden, können von Umfeldeinflüssen abhängig unterschiedlich zuverlässige Messergebnisse liefern. Vorteilhaft ist ferner ein Expertensystem, welches Informationen der Sensoreinrichtungen vergleicht, beispielsweise hinsichtlich ihrer Klassifikation, und zumindest die Daten einzelner Sensorobjekte nur in die Fusionierung einbezieht, wenn diese durch ein Sensorobjekt einer anderen Sensoreinrichtung plausibilisiert und/oder bestätigt werden. Wenn ein Radar beispielsweise einen stationären Gullideckel auf einer Straße erfasst, dann wird diese Information von dem Expertensystem bei einer Ausführungsform nur weitergegeben, wenn die Information von einer Kamera bestätigt wird.
Um insbesondere eine objektbasierte Umfelddarstellung, wie sie über die Fusionierungsobjekte bereitgestellt wird, mit der über die Belegungskarte bereitgestellten Umfelddarstellung in konsistenter Weise zu verbessern, ist bei einer Ausführungsform vorgesehen, dass den Fusionierungsobjekten eine Nachverfolgungsinformation zugeordnet wird, die ein Maß für eine Güte einer Nachverfolgung des Fusionsobjekts über mehrere Messzeitpunkte angibt, und für die Fusionsobjekte, die bewegte Objekte repräsentieren und für die die Nachverfolgungsinformation eine ausreichende Nachverfolgungsgüte anzeigt, die im Ausdehnungsbereich des Fusionsobjekts liegenden Zellen der Belegungskarte als belegt gekennzeichnet werden und diesen Zellen die Belegungswahrscheinlichkeit zugeordnet wird, die der Existenzwahrscheinlichkeit des Fusionsobjekts entspricht. Hierdurch wird eine Belegungskartendarstellung geschaffen, in der sowohl die statischen Objekte als auch die dynamisch bewegten Objekte mit einer hohen Existenzwahrscheinlichkeit an den Positionen dargestellt sind, die dem optimalen ”Wissensstand” der Umfelderfassung entsprechen. Es versteht sich, dass die Zellen, denen über die Fusionierungsobjekte eine Belegung und eine Existenzwahrscheinlichkeit bzw. Belegungswahrscheinlichkeit zugewiesen ist, gesondert gekennzeichnet sind, so dass bei einer Aktualisierung der Belegungskarte die Bewegung des Fusionsobjekts berücksichtigt wird.
Als besonders vorteilhaft erweist sich hierbei eine Ausführungsform, bei der die Belegungswahrscheinlichkeiten, die bei der Erstellung der Belegungskarte ohne Berücksichtigung der Fusionierungsobjekte ermittelt sind, für die Zellen abgespeichert werden, wenn deren Belegungswahrscheinlichkeit aufgrund eines Fusionierungsobjekts verändert wird. Hat sich das Fusionierungsobjekt aus dem der Zelle zugeordneten Bereich wegbewegt, d. h. entfernt, können dann der Belegungszustand und/oder die Belegungswahrscheinlichkeit der Zelle, die zuvor abgespeichert wurden, erneut der Zelle zugewiesen bzw. in die Fusionierung der neu gewonnenen Informationen der Sensoreinrichtungen miteinbezogen werden.
Die mindestens eine erste Sensoreinrichtung umfasst vorzugsweise eine Stereokamera und/oder die mindestens eine zweite Sensoreinrichtung ein Radar oder Lidar (Laser Imaging Detection and Ranging System).
Die im Zusammenhang mit dem Verfahren beschriebenen Vorteile gelten entsprechend für die korrespondierenden Vorrichtungsmerkmale der erfindungsgemäßen Vorrichtung.
Nachfolgend wird die Erfindung unter Bezugnahme auf eine Zeichnung anhand von Ausführungsbeispielen näher erläutert. Hierbei zeigen:
1 ein schematisches Blockschaltbild einer Vorrichtung zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs;
2 eine schematische Darstellung einer Erläuterung einer kartenbasierten Umfelddarstellung;
3 eine schematische Darstellung zur Beschreibung der Informationsgewinnung mit einem Radarsystem;
4 eine schematische Darstellung zur Erläuterung der Informationsgewinnung mittels einer Stereokamera; und
5 eine schematische Darstellung eines Verfahrens zur Umfelddarstellung.
In 1 ist schematisch eine Ausführungsform einer Vorrichtung 1 zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs beschrieben. Die Vorrichtung 1 umfasst eine erste Sensoreinrichtung, die beispielsweise als Radar oder Lidar ausgebildet ist. Eine solche Einrichtung sendet in unterschiedliche Richtungen elektromagnetische Strahlung aus, die an Objekten in der Umgebung zu dem Fahrzeug zurückreflektiert werden. Anhand der Laufzeit und einer eventuellen Frequenzverschiebung können eine Entfernung und eine Relativgeschwindigkeit des Objekts zu dem Fahrzeug ermittelt werden, an dem die erste Sensoreinrichtung 2 angeordnet ist. Die Vorrichtung 1 umfasst ferner eine zweite Sensoreinrichtung 3, die beispielsweise als Stereokamera ausgebildet ist. Eine Stereokamera umfasst zwei zueinander beabstandet angeordnete Bilderfassungseinheiten, die beispielsweise ein linkes und ein rechtes Kamerabild desselben Raumbereichs des Umfelds erfassen. Die Stereokamera berechnet anhand einer Disparität zwischen linkem und rechtem Kamerabild Tiefeninformationen von Objekten, die in den Bildern erkannt werden. Hierdurch ist eine 3D-Rekonstruktion von den in den Bildern erfassten Objekten im Umfeld des Fahrzeugs möglich, an dem die zweite Sensoreinrichtung angeordnet ist. Es versteht sich für den Fachmann, dass die Vorrichtung zum Bereitstellen einer Umfelddarstellung weitere Sensoreinrichtungen umfassen kann, die nach demselben oder unterschiedlichen Messprinzipien das Umfeld des Fahrzeugs erfassen.
Die erste Sensoreinrichtung 2 und die zweite Sensoreinrichtung 3 sind so ausgestaltet, dass diese eine Vorauswertung der erfassten Informationen vornehmen und Objekte im Umfeld des Kraftfahrzeugs identifizieren. Die Informationen über die einzelnen detektierten Objekte werden zu einem so genannten Sensorobjekt zusammengefasst, welches die Attribute umfasst, die das entsprechende Objekt charakterisieren. Diese Attribute können beispielsweise die Position, eine Geschwindigkeit, eine Orientierung der Bewegung, eine Ausdehnung in den unterschiedlichen Raumrichtungen usw. umfassen. Ebenso können die einzelnen erkannten Objekte hinsichtlich ihres Objekttyps klassifiziert werden. Dies kann beispielsweise über ein Vergleichen der erfassten Daten mit Referenzdaten erfolgen. Die Sensoreinrichtungen 2, 3 sind ferner so ausgebildet, dass sämtliche Sensorobjekte, d. h. sämtliche erkannte Objekte, mit einer Existenzwahrscheinlichkeit als Attribut versehen werden. Diese Existenzwahrscheinlichkeit ist ein Maß dafür, dass das bei der Umfelderfassung von einer der Sensoreinrichtungen 2, 3 erkannte Objekt auch tatsächlich im Umfeld des Kraftfahrzeugs existiert.
Die erste Sensoreinrichtung 2 und die zweite Sensoreinrichtung 3 sind mit einer Auswerteeinrichtung 4 gekoppelt. An diese werden die Informationen über die erfassten Sensorobjekte, vorzugsweise in Form einer Objektliste, übertragen. In der Auswerteeinrichtung werden die erfassten Sensorobjekte der verschiedenen Sensoreinrichtungen 2, 3 zu Fusionsobjekten fusioniert. Hierbei können unterschiedliche Fusionierungsverfahren Anwendung finden. Diese können für die einzelnen Attribute angepasst gewählt werden. Die Auswerteeinrichtung 4 kann beispielsweise ein Expertensystem 5 umfassen, in dem Expertenwissen gespeichert ist, welches es ermöglicht, die in der Fusionierung erzeugten Fusionsobjekte zuverlässiger zu klassifizieren, als dies beispielsweise den einzelnen Sensoreinrichtungen möglich ist. Während beispielsweise anhand einer Stereokamera die räumlichen Abmessungen eines erfassten Objekts häufig gut ermittelt werden können, ist es nicht möglich, dynamische Aussagen, beispielsweise eine Relativgeschwindigkeit zum Fahrzeug, zu ermitteln. Diese Informationen kann jedoch beispielsweise aus einem Radarsystem anhand des Dopplereffekts bestimmt werden. Werden die Informationen über eine räumliche Ausdehnung und eine erfasste Relativgeschwindigkeit gemeinsam mit der bekannten Eigengeschwindigkeit des Fahrzeugs in Relation gesetzt, so können einzelne Objekte, die erkannt sind, zuverlässiger klassifiziert werden. Ein abgestellter Müllcontainer und ein Kleinwagen besitzen beispielsweise ungefähr identische Abmessungen. Anhand einer ermittelten Eigengeschwindigkeit des detektierten Objekts in einem ortsfesten Koordinatensystem ist es jedoch möglich, einen solchen am Straßenverkehr teilnehmenden Kleinwagen von einem abgestellten Container zu unterscheiden.
Insbesondere ist die Auswerteeinrichtung ausgebildet, für die von der ersten Sensoreinrichtung 2 und der zweiten Sensoreinrichtung 3 erkannten Sensorobjekte Fusionsobjekte zu ermitteln und insbesondere für diese eine Existenzwahrscheinlichkeit aus den Existenzwahrscheinlichkeiten der Sensorobjekte zu fusionieren. Die Fusion wird sensoreinrichtungsabhängig ausgeführt. Beispielsweise wird ein Gewicht einer Existenzwahrscheinlichkeit eines Sensorobjekts bei der Fusion verringert, wenn über eine dritte Sensoreinrichtung 17, die beispielsweise als Regensensor ausgebildet ist, Regen detektiert ist, der eine Datenerfassung einer Kamera nachteilig beeinflusst (nicht jedoch eine Radarmessung), und das Sensorobjekt von der als Stereokamera ausgebildeten zweiten Sensoreinrichtung 3 bereitgestellt ist. Bei einigen Ausführungsformen kann vorgesehen sein, dass die Sensoreinrichtungen 2, 3 so ausgebildet sind, dass diese als Objekte nur solche erkennen, die sich in einem ortsfesten Koordinatensystem selbst bewegen. Dies bedeutet, dass als Sensorobjekte nur dynamische Objekte detektiert bzw. an die Auswerteeinrichtung 4 übermittelt werden.
Um eine verbesserte Umfelddarstellung zu erhalten, liefern die erste Sensoreinrichtung 2 und die zweite Sensoreinrichtung 3 an die Auswerteeinrichtung 4 darüber hinaus Informationen, die es der Auswerteeinrichtung ermöglichen, eine Belegungskarte für das Umfeld des Fahrzeugs zu erstellen. Hierfür wird die Umgebung des Fahrzeugs, d. h. dessen Umfeld, gedanklich in Bereiche unterteilt. Jedem Bereich wird dann eine Zelle zugeordnet. Die einzelnen Zellen bilden dann eine so genannte Belegungskarte. Jeder Zelle wird ein Belegungszustand zugeordnet, der angibt, ob sich in dem der Zelle zugeordneten Bereich des Umfelds ein Objekt befindet (Zustand ”belegt”) oder kein Objekt befindet (Zustand ”frei”). Die Zellen können darüber hinaus den Zustand ”unbekannt” annehmen, wenn es anhand der erfassten Informationen nicht möglich ist, eine Aussage über den entsprechenden Bereich der Umgebung des Fahrzeugs hinsichtlich eines Belegungszustands zu geben.
Dem Fachmann sind Verfahren bekannt, wie eine solche Belegungskarte erstellt werden kann. Üblich ist es, dass jeder Zelle mindestens eine Belegungswahrscheinlichkeit zugeordnet ist, die ein statistisches Maß dafür ist, dass die Zelle belegt oder frei ist. Wird die Belegungswahrscheinlichkeit für die Zelle auf einen Wert zwischen Null und Eins begrenzt, so ist es beispielsweise möglich, dem Wert Eins den Zustand ”belegt” und dem Wert Null den Zustand ”frei” zuzuordnen. Da einzelne Messungen nur eine endliche Wahrscheinlichkeit für eine Existenz eines Objekts in einem entsprechenden Raumbereich angeben, ist es vorteilhaft, die Belegungswahrscheinlichkeit einer Zelle in der Belegungskarte dadurch abzusichern oder zu erhärten, dass die Belegungsinformationen unterschiedlicher Messzyklen fusioniert werden. Als Fusionierungsmethoden werden häufig das Bayes-Theorem, die Dempster-Shafer-Theorie oder eine Fuzzy-Logik verwendet. Beispielsweise kann die Belegungswahrscheinlichkeit P i / Beleg(k + 1) einer Zelle i zum Zeitpunkt k + 1 anhand folgender Fusionsformel errechnet werden:
Hierbei gibt P i.Sensor / Beleg(k + 1) die durch die Sensoreinrichtung ermittelte Belegungswahrscheinlichkeit für die Zelle i zum Zeitpunkt k + 1 an. Zellen werden mit einer Belegungswahrscheinlichkeit P_Beleg = 0,5 initialisiert, was bedeutet, dass der Belegungszustand unbekannt ist.
In 2 ist schematische im oberen Teil eine Draufsicht auf eine Straßenszene gezeigt, in der sich ein Kraftfahrzeug 6 auf einer Straße 7 in einer durch einen Pfeil 8 angegebenen Richtung bewegt. Am in Fahrtrichtung linken Fahrbahnrand 9 befinden sich als Bäume und Sträucher ausgebildete Objekte 10. Am in Fahrtrichtung rechten Fahrbahnrand 11 befindet sich eine Leitplanke 12. Ferner befindet sich auf einem Seitenstreifen 13 ein weiteres Objekt 14. Zur Erleichterung einer Orientierung ist ein Koordinatensystem 15 eingezeichnet. Im unteren Teil der Darstellung der 2 ist eine Belegungskarte 16 dargestellt, wie sie von dem Kraftfahrzeug 6 während der Fahrt erfasst worden ist. Eine Belegungswahrscheinlichkeit ist über eine Schraffur angedeutet. Je enger die Schraffur, desto höher ist die Belegungswahrscheinlichkeit. Das Kraftfahrzeug selbst ist auf die Belegungswahrscheinlichkeit 1 gesetzt, obwohl dieses selbstverständlich nicht von den Sensoreinrichtungen erfasst wird. In der Belegungskarte sind die erkannten Gegenstände mit denselben Bezugszeichen wie im oberen Teil der 1 bezeichnet, jedoch mit einem Apostroph versehen.
Anhand von 3 und 4 soll erläutert werden, wie die verschiedenen Sensoreinrichtungen Informationen zum Erstellen einer Belegungskarte sowie zum Detektieren von Sensorobjekten erfassen und auswerten.
In 3 ist auf der rechten Seite eine fotografische Abbildung 21 eines Bereichs vor einem Kraftfahrzeug, gesehen von dem Kraftfahrzeug aus, dargestellt. Zu erkennen ist eine Fahrbahn 22, auf der sich ein vorausfahrendes Fahrzeug 23 befindet. Ferner ist links der Fahrbahn 22 ein Straßenbaum 24 zu erkennen. In größerem Abstand seitlich links von der Fahrbahn 22 sind ferner abgestellte Fahrzeuge 25 schwach zu erkennen. Auf der linken Seite der 3 sind die von einem Radarsystem erfassten Rohdaten grafisch aufgetragen. Die Ordinate 27 gibt eine Entfernung vor dem Kraftfahrzeug an, während die Abszisse 28 quer zur Fahrtrichtung orientiert ist. In einem Erfassungsbereich 32 des Radars ist über Graustufen eine Signalstärke für jene Signale codiert, die aus dem entsprechenden Raumbereich zum Fahrzeug zurückreflektiert wurden. Je dunkler ein Bereich ist, desto höher ist die gemessene Signalstärke. Gut zu erkennen sind die starken Reflexionssignale 29, die mit dem Straßenbaum 24 korrespondieren, sowie die Reflexionssignale 30, die mit dem vorausfahrenden Fahrzeug 23 korrespondieren. Über eine schwächere Schraffur sind ferner Reflexionssignale 31 zu erkennen, die den abgestellten Fahrzeugen 25 zugeordnet werden können. Diese erfassten Informationen können unmittelbar zum Erstellen einer Belegungskarte durch die Auswerteeinrichtung (vergleiche 1) verwendet werden. Eine Belegungswahrscheinlichkeit ist hierbei durch die Signalstärke der Reflexion angegeben.
Die Sensoreinrichtung ist ferner so ausgebildet, dass einzelne Objekte, hier der Straßenbaum 24 und das vorausfahrende Fahrzeug 23, als Objekte im Umfeld des Kraftfahrzeugs identifiziert und gegebenenfalls beispielsweise über eine ermittelte Eigengeschwindigkeit durch Auswertung einer Dopplerverschiebung klassifiziert werden. Eine Klassifizierung kann auch beispielsweise über ein Höhen-Ausdehnungsverhältnis erfolgen.
In 4 ist analog die Datenerfassung für eine Stereokamera schematisch dargestellt. Auf der linken Seite ist erneut eine fotografische Abbildung 41 des Bereichs vor dem Kraftfahrzeug dargestellt. Zu erkennen ist eine Fahrbahn 42, mehrere vorausfahrende Fahrzeuge 43–45, eine Straßenlaterne 46, einige Straßenbäume 47 sowie eine Hecke oder Mauer 48. Anhand einer Disparität zwischen zwei in einem Abstand zueinander aufgenommenen Aufnahmen wird eine 3D-Rekonstruktion der grafisch erfassten Elemente und Objekte vorgenommen. Hierdurch kann sowohl eine Position der Objekte in der Ebene bestimmt werden, in der sich das Fahrzeug bewegt, als auch eine Höhe der Objekte über dieser Ebene. Auf der rechten Seite der 4 ist eine Draufsicht auf den Raum vor dem Fahrzeug grafisch dargestellt. Die Ordinate 51 kennzeichnet erneut den Abstand vom Fahrzeug in Fahrtrichtung und die Abszisse 52 eine Orientierung quer zur Fahrtrichtung des Fahrzeugs. Über eine Graustufe ist jeweils eine Höhe der rekonstruierten Bildpunkte in dem entsprechenden Bereich angedeutet. Die Höhen korrespondieren mit Höhen der detektierten Objekte gegenüber der Ebene. Zu erkennen sind sowohl die Mauer/Hecke 48' als auch die vorausfahrenden Fahrzeuge 43'–45' sowie die Straßenlaterne 46' in der Darstellung zu erkennen sind. Ein Maß für die Existenzwahrscheinlichkeit ist dadurch gegeben, wie viele Bildpunkte innerhalb eines Flächenbereichs, der dem erkannten Objekt zugeordnet wird, erfasst worden sind. Die dargestellten Informationen können somit ebenfalls verwendet werden, um eine Belegungskarte zu verbessern. Ferner ist es möglich, aufgrund von mehreren nacheinander aufgenommenen Stereoabbildungen ein so genanntes Objekttracking durchzuführen. Hierbei werden bei einer Ausführungsform die erkannten Objekte selektiert, die dynamische Objekte sind. Diese werden dann in Form einer Objektliste der Auswerteeinrichtung 4 (vergleiche 1) bereitgestellt.
Um die Existenzwahrscheinlichkeit der erkannten Objekte verbessert bestimmen zu können, werden diese von den einzelnen Sensoreinrichtungen über mehrere Messzyklen verfolgt (getrackt). Hierbei wird anhand der Häufigkeit, mit der ein Objekt vorausgehend erkannt wurde, eine Existenzwahrscheinlichkeit aufgrund seiner ”Lebensdauer”, d. h. Erfassungslebensdauer, ermittelt. Je häufiger ein Objekt erkannt wurde, desto höher ist dessen Existenzwahrscheinlichkeit und desto unwahrscheinlicher ist es, dass die Detektion auf ein Messrauschen oder Ähnliches zurückzuführen ist. Zusätzlich werden bei einer Kamera beispielsweise die Anzahl der dem Objekt zugeordneten 3D-Punkte ausgewertet, um eine Existenzwahrscheinlichkeit zu erhalten. Je mehr 3D-Bildpunkte einem Objekt zugeordnet werden, desto größer ist dessen Existenzwahrscheinlichkeit. Hierbei ist jedoch zu berücksichtigen, dass Objekte in großer Entfernung aufgrund der Abbildungsperspektive zwangsläufig nur einen kleineren Bildbereich bedecken und eine Anzahl der Bildpunkte, die diesen zugeordnet werden können, zwangsweise geringer sind als bei einem Objekt, welches sich in unmittelbarer Nähe des Fahrzeugs bei der Detektion befindet. Daher wird die Existenzwahrscheinlichkeit aufgrund der Anzahl der detektierten und dem Objekt zugewiesenen Messpunkte bei einer Ausführungsform in Abhängigkeit eines Abstands von dem Fahrzeug ermittelt. Für andere Sensoreinrichtungen können andere Kriterien herangezogen werden, um eine Existenzwahrscheinlichkeit der detektierten Objekte zu ermitteln. Für Radar- oder Lidarsensoren wird hierzu beispielsweise wie oben bereits erwähnt eine Reflexionssignalstärke herangezogen. Die einzelnen so ermittelten Existenzwahrscheinlichkeiten für die einzelnen Objekte werden in den einzelnen Sensoreinrichtungen vorzugsweise über einen der Fuzzy-Logik entstammenden Ansatz fusioniert, welcher über die nachfolgenden Fusionierungsformeln für die Existenzwahrscheinlichkeit einzelner Objekte, wie sie in den Sensoreinrichtungen ermittelt werden, angegeben sind. Die Gammafaktoren werden verwendet, um eine Verknüpfung zu wählen, die zwischen einer Oder-Verknüpfung (γ = 1) und einer Und-Verknüpfung (γ = 0) angepasst an den entsprechenden Sensortyp ausgewählt werden kann. Die Gammafaktoren werden somit für jeden einzelnen Sensor bzw. jede einzelne Sensoreinrichtung individuell angepasst. Für eine Stereokamera wird somit die Existenzwahrscheinlichkeit eines detektierten Sensorobjekts vorzugsweise nach folgender Formel berechnet: PCameraObj(k) = [PLebensdauer(k)·P3D-Punkte(k)]1-γ·[1 – (1 – PLebensdauer(k))·(1 – P3D-Punkte(k))]γ,wobei P_Lebensdauer(k) die aus der Anzahl der vorangegangenen Erkennungen abgeleitete Existenzwahrscheinlichkeit und P_3D-Punkte, die aus der Anzahl der zum Objekt gehörigen 3D-Punkte ermittelten Existenzwahrscheinlichkeiten angeben. Entsprechend lautet die Fusionierungsformel für ein durch ein Radarsystem erfasstes Sensorobjekt: PRadarObj(k) = [PLebensdauer(k)·PSignalstäike(k)]1-γ·[1 – (1 – PLebensdauer(k))·(1 – PSignalstäike(k))]γ.
Hierbei gibt P_{Signalstärke(k)} die aufgrund der Reflexionssignalstärke ermittelte Existenzwahrscheinlichkeit eines Objekts an.
Auch wenn die in den einzelnen Sensoreinrichtungen ermittelten Existenzwahrscheinlichkeiten bereits eine hohe Güte aufweisen, lässt sich diese deutlich verbessern, indem in der Auswerteeinrichtung eine Fusionierung der Sensorobjekte zu Fusionsobjekten durchgeführt wird. Dies ist exemplarisch in 5 dargestellt. Eine erste als Radar ausgebildete Sensoreinrichtung 61 und eine als Stereokamera ausgebildete zweite Sensoreinrichtung 62 erfassen das Umfeld. Diese Sensoreinrichtungen 61, 62 liefern sowohl Informationen 63, die für eine kartenbasierte Fusion 64 verwendet werden können, als auch Informationen 65 über erkannte Sensorobjekte für eine objektbasierte Sensorfusion 66. Bei einigen Ausführungsformen umfassen die Informationen 63 für die kartenbasierte Fusion nur solche Informationen, die nicht den für die objektbasierte Fusion 66 zugeführten Sensorobjekte zugeordnet werden können. Entsprechend werden für die objektbasierte Fusion nur solche erkannten Objekte verwendet, welche als dynamische, d. h. selbstbewegte, Objekte erkannte sind.
Bei der kartenbasierten Fusion 64 werden die einzelnen Informationen mit Zellen der Belegungskarte assoziiert 67 und anschließend eine Aktualisierung 68 der einzelnen Zellen der Belegungskarte durchgeführt. Hierbei werden insbesondere die bereits zuvor ermittelten Belegungswahrscheinlichkeiten der Zellen mit den neu ermittelten Belegungswahrscheinlichkeiten fusioniert. Man erhält eine Belegungskarte 69 mit Zellen, denen Belegungswahrscheinlichkeiten zugeordnet sind.
Bei der objektbasierten Fusion 66 werden die Sensorobjekte, die von den einzelnen Sensoreinrichtungen 61, 62 in Form von Objektlisten geliefert sind, miteinander assoziiert 71 und beispielsweise über ein Kalman-Filter-Tracking 72 nachverfolgt. Für die einzelnen fusionierten Objekte wird abhängig davon, ob ein Sensorobjekt mit einem bereits zuvor erkannten Objekt fusioniert werden kann, eine Initialisierung 73 eines Fusionsobjekts oder eine Aktualisierung 74 des Fusionsobjekts vorgenommen, mit dem das Sensorobjekt assoziiert werden kann. Für Fusionsobjekte, die eine vorgegebene Existenzwahrscheinlichkeit unterschreiten und mit keinem Sensorobjekt assoziiert werden können, findet eine Verwerfung 75 statt.
Wird ein Objekt erstmals erfasst, so kann das zugehörige Sensorobjekt mit keinem der zuvor ermittelten Fusionsobjekte assoziiert werden. Somit wird ein neues Fusionsobjekt initialisiert, dessen Existenzwahrscheinlichkeit P_Fusobj(k) die Existenzwahrscheinlichkeit des entsprechenden Sensorobjekts P_Sensobj(k) zugewiesen wird: PFusObj(k) = PSenObj(k).
Kann ein Sensorobjekt einem Fusionsobjekt zugeordnet werden, so wird die Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k + 1 gemäß folgender Formel berechnet:
Hierbei geben δ_A und δ_B Gewichtungen für das Sensorobjekt und das Fusionsobjekt an. Hierbei gilt: δ_A + δ_B = 1. Die Gewichte werden auf Basis eines aktuellen Sensorvertrauensgrads und einer Abweichung zwischen prädiziertem Fusionsobjekt und gemessenem Sensorobjekt festgelegt. Wird somit eine große Abweichung beim Tracken des Fusionsobjekts festgestellt, so wird die Existenzwahrscheinlichkeit des Sensorobjekts geringer gewichtet. Die Gewichtung des Sensorobjekts wird verringert, wenn äußere Einflüsse für eine Sensoreinrichtung deren Messzuverlässigkeit beeinflusst. Beispielsweise beeinflusst Regen eine Detektionszuverlässigkeit einer Stereokamera nachteilig. Solche Informationen können beispielsweise über die dritte Sensoreinrichtung 1 bei der Vorrichtung 1 nach 1 gewonnen werden. Die Gewichte werden somit aktuell und sensorabhängig angepasst. Der Gammafaktor gibt wie bei den oben angegebenen Fusionsformeln erneut an, ob die beiden fusionierten Existenzwahrscheinlichkeiten eher als Oder- oder als Und-Verknüpfung miteinander fusioniert werden sollen.
Kann ein Fusionsobjekt keinem der ermittelten Sensorobjekte zugeordnet werden, so wird bei einer bevorzugten Ausführungsform dessen Existenzwahrscheinlichkeit dadurch aktualisiert, dass anstelle einer durch ein Sensorobjekt gelieferten Existenzwahrscheinlichkeit anhand der Belegungskarte die Belegungswahrscheinlichkeit an dem Ort, an dem sich das Fusionsobjekt gemäß der Prädiktion befinden soll, verwendet wird, um eine Existenzwahrscheinlichkeit abzuleiten. Eine Fusionierung der Existenzwahrscheinlichkeit des Fusionsobjekts erfolgt in einem solchen Fall gemäß folgender Formel: PFusObj(k + 1) = [PFusObj(k)·PGrid(k + 1)]1-γ·[1 – (1 – PFusObj(k))·(1 – PGrid(k + 1))]γ.
γ ist erneut eine geeignet zu wählende Fusionierungskonstante. P_Grid(k + 1) gibt die aus der Belegungskarte abgeleitete Existenzwahrscheinlichkeit zum Zeitpunkt k + 1, vorzugsweise nach dem Aktualisieren der Belegungskarte, an.
Kann ein Fusionsobjekt keinem der Sensorobjekte zugeordnet werden und ist dessen Existenzwahrscheinlichkeit kleiner als ein Vorgabewert, beispielsweise kleiner 0,2, so wird das Fusionsobjekt verworfen, d. h. nicht weiter nachverfolgt (getrackt).
Die objektbasierte Fusion 66 liefert somit Objekte, Fusionsobjekte, mit einer sehr zuverlässigen Existenzwahrscheinlichkeit 76.
Bei einer Ausführungsform ist vorgesehen, dass die dynamischen Objekte gemäß ihrer Klassifizierung, welche eine Ausdehnung angibt, oder nur punktuell, d. h. in einer Zelle, in die Belegungskarte eingetragen werden und ihnen dort als Belegungswahrscheinlichkeit die ermittelte Existenzwahrscheinlichkeit des entsprechenden Fusionsobjekts zugeordnet wird. Hierdurch erhält man eine sehr stark verbesserte Belegungskarte, in der sowohl die statischen Bereiche als auch die dynamischen Objekte jeweils mit einer hohen Zuverlässigkeit hinsichtlich der Belegungswahrscheinlichkeit bzw. Existenzwahrscheinlichkeit verzeichnet sind.
Allgemein wird den übrigen Fahrzeugsystemen eine Umfelddarstellung bereitgestellt, die die dynamischen Objekte und die statischen Bereiche optimal charakterisieren. Hierbei ist es möglich, dass sowohl die Fusionsobjekte mit ihren Existenzwahrscheinlichkeiten als auch eine Belegungskarte mit und/oder ohne darin eingefügte Fusionsobjekte bereitgestellt werden.
Es versteht sich, dass die dargestellten Ausführungsformen lediglich beispielhafte Ausführungsformen sind. Insbesondere können mehr Sensoreinrichtungen in die Sensordatenfusion einbezogen werden. Ferner wird angemerkt, dass die Fusionierung der Sensorobjekte jeweils über Fusionsobjekte ausgeführt ist. Dies bietet den Vorteil, dass die einzelnen Sensoreinrichtungen nicht zeitlich synchronisiert ihre Sensordaten zur Verfügung stellen müssen. Andere Ausführungsformen können jedoch sehr wohl vorsehen, dass Sensordaten einzelner unterschiedlicher Sensoreinrichtungen zunächst miteinander assoziiert und fusioniert werden und erst anschließend gegebenenfalls zusätzlich mit einem zuvor ermittelten Fusionsobjekt zu einem aktualisierten Fusionsobjekt fusioniert werden.

1: Vorrichtung zum Bereitstellen einer Umfelddarstellung
2: erste Sensoreinrichtung
3: zweite Sensoreinrichtung
4: Auswerteeinrichtung
5: Expertensystem
6: Kraftfahrzeug
7: Straße
8: Pfeil
9: linker Fahrbahnrand (in Fahrtrichtung)
10: Objekte
11: rechter Fahrbahnrand (in Fahrtrichtung)
12: Leitplanke
13: Seitenstreifen
14: weiteres Objekt
15: Koordinatensystem
16: Belegungskarte
17: dritte Sensoreinrichtung
21: Bild
22: Fahrbahn
23: vorausfahrendes Fahrzeug
24: Straßenbaum
25: abgestelltes Fahrzeug
27: Ordinate
28: Abszisse
29–31: Reflexionssignale
32: Erfassungsbereich
41: Abbildung
42: Fahrbahn
43–45: vorausfahrende Fahrzeuge
46: Straßenlaterne
47: Baum
48: Hecke/Mauer
51: Ordinate
52: Abszisse
53: Randstreifen
61: erste Sensoreinrichtung
62: zweite Sensoreinrichtung
63: Informationen für eine kartenbasierte Fusion
64: kartenbasierte Fusion
65: Informationen für eine Sensorobjektfusion
66: objektbasierte Fusion
67: Assoziieren mit Zellen
68: Aktualisieren der Zellen
69: Belegungskarte
71: Assoziation
72: Kalman-Filter-Tracking
73: Initialisierung
74: Aktualisierung
75: Verwerfung
76: Bereitstellen von Objekten mit Existenzwahrscheinlichkeit
77: Bereitstellen einer Umfelddarstellung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 102006035207 [0003]

Claims

Verfahren zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs mit mindestens einer ersten Sensoreinrichtung (2) und mindestens einer zweiten Sensoreinrichtung (3) sowie einer Auswerteeinrichtung (4), dadurch gekennzeichnet, dass die Sensoreinrichtungen (2, 3) Informationen über in einem Umfeld des Fahrzeugs (6) erkannte Objekte (10, 14) in Form von Sensorobjekten bereitstellen, wobei ein Sensorobjekt ein von der jeweiligen Sensoreinrichtung (2, 3) erkanntes Objekt (10, 14) repräsentiert, und die Sensorobjekte als Attribut mindestens eine Existenzwahrscheinlichkeit des repräsentierten Objekts (10, 14) umfassen und die von der mindestens einen ersten Sensoreinrichtung (2) und von der mindestens einen zweiten Sensoreinrichtung (3) erkannten Sensorobjekte einer Objektfusion (66) unterzogen werden, bei der Fusionsobjekte erzeugt werden, denen mindestens eine Existenzwahrscheinlichkeit als ein Attribut zugeordnet wird, wobei die Existenzwahrscheinlichkeiten der Fusionsobjekte basierend auf den Existenzwahrscheinlichkeiten der Sensorobjekte fusioniert werden, wobei die Fusionierung der Existenzwahrscheinlichkeit eines der Sensorobjekte jeweils abhängig von der jeweiligen Sensoreinrichtung (2, 3) erfolgt, von der das entsprechende Sensorobjekt bereitgestellt ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die zum Zeitpunkt k ermittelten Fusionsobjekte eine Prädiktion auf einen Zeitpunkt k + 1 vorgenommen wird und die zum Zeitpunkt k + 1 ermittelten Sensorobjekte mit den Fusionsobjekten assoziiert werden, mit deren Prädiktion sie gemäß Assoziationsvorgaben übereinstimmen, wobei die Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k + 1 anhand der Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k und der Existenzwahrscheinlichkeit zum Zeitpunkt k + 1 des Sensorobjekts fusioniert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Existenzwahrscheinlichkeit eines Fusionsobjekts, das mit einem Sensorobjekt assoziiert werden kann, gemäß folgender Formel berechnet wird:
wobei P_FusObj(k) die Existenzwahrscheinlichkeit des Fusionsobjekt zum Zeitpunkt k, P_senObj(k) die Existenzwahrscheinlichkeit des Sensorobjekts zum Zeitpunkt k, γ eine sensoreinrichtungsunabhängige Fusionierungskonstante und δ^a und δ^b sensoreinrichtungsabhängige Fusionierungskonstanten angeben, wobei gilt: δa+ δb = 1.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für Sensorobjekte, die mit keinem der bekannten Fusionsobjekte assoziiert werden können, die Fusionierung ein Erzeugen eines neuen Fusionsobjekts umfasst, welchem als Existenzwahrscheinlichkeit die Existenzwahrscheinlichkeit des Sensorobjekts zugewiesen wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtungen Informationen bereitstellen, anhand derer eine Belegungskarte (16, 69) erstellt wird, wobei das Umfeld in Bereiche unterteilt wird und jedem Bereich jeweils eine Zelle zugeordnet wird, wobei die Zellen die Belegungskarte darstellen und für die Zellen Belegungswahrscheinlichkeiten ermittelt werden, die ein Maß für eine Existenz eines Objekts in dem der Zelle zugeordneten Bereich des Umfelds angeben.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für Fusionsobjekte, die zu einem Messzeitpunkt k + 1 keinem der Sensorobjekte zugeordnet werden können, die Existenzwahrscheinlichkeit fusioniert wird, indem anstelle der Existenzwahrscheinlichkeit eines entsprechenden Sensorobjekts eine anhand der Belegungskarte (16, 69) ermittelte Belegungswahrscheinlichkeit für den Bereich oder die Bereiche verwendet wird, an dem oder denen sich das Fusionsobjekt gemäß der Prädiktion aufhält.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Fusionierung nach folgender Formel erfolgt: PFusObj(k + 1) = [PFusObj(k)·PGrid(k + 1)]1-γ·[1 – (1 – PFusObj(k))·(1 – PGrid(k + 1))]γ.wobei P_Grid(k + 1) die aus der Belegungskarte abgeleitete Belegungswahrscheinlichkeit an dem prädizierten Ort des Fusionsobjekts angibt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorobjekte hinsichtlich ihres Typs klassifiziert werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorobjekte und Fusionsobjekte hinsichtlich weiterer Attribute einem Fusionierungsverfahren unterzogen werden, beispielsweise unter Verwendung eines Kalman-Filters.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass mittels mindestens einer dritten Sensoreinrichtung (17) Informationen über das Umfeld und oder die mindestens eine erste Sensoreinrichtung (2) und/oder die mindestens eine zweite Sensoreinrichtung (3) erfasst werden und die die Sensoreinrichtungsabhängigkeit der Fusionierung abhängig von den Informationen der mindestens einen dritten Sensoreinrichtung (17) variiert wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass den Fusionierungsobjekten eine Nachverfolgungsinformation zugeordnet wird, die ein Maß für eine Güte einer Nachverfolgung des Fusionsobjekts über mehrere Messzeitpunkte angibt, und für die Fusionsobjekte, die bewegte Objekte repräsentieren und für die die Nachverfolgungsinformation eine ausreichende Nachverfolgungsgüte anzeigt, die im Ausdehnungsbereich des Fusionsobjekts liegenden Zellen der Belegungskarte als belegt gekennzeichnet werden und diesen Zellen die Belegungswahrscheinlichkeit zugeordnet wird, die der Existenzwahrscheinlichkeit des Fusionsobjekts entspricht.
Vorrichtung (1) zum Bereitstellen einer Umfelddarstellung eines Fahrzeugs (6), umfassend mindestens eine erste Sensoreinrichtung (2) und mindestens eine zweite Sensoreinrichtung (3), die das Umfeld erfassen, sowie eine Auswerteeinrichtung (4), die mit der mindestens einen ersten Sensoreinrichtung (2) und der mindestens einen zweiten Sensoreinrichtung (3) gekoppelt ist, dadurch gekennzeichnet, dass die Sensoreinrichtungen (2, 3) ausgebildet sind, Informationen über jeweils erfasste Objekte (9, 14) in Form von Sensorobjekten bereitstellen, die als Attribut mindestens eine Existenzwahrscheinlichkeit für das erfasste Objekt (10, 14) umfassen, und die Auswerteeinrichtung (4) ausgebildet ist, die von der mindestens einen ersten Sensoreinrichtung (2) und von der mindestens einen zweiten Sensoreinrichtung (3) erkannten Sensorobjekte einer Objektfusion zu unterziehen, bei der Fusionsobjekte erzeugt werden, denen mindestens eine Existenzwahrscheinlichkeit als ein Attribut zugeordnet ist, wobei die Fusion einer Existenzwahrscheinlichkeit des Fusionsobjekts basierend auf der Existenzwahrscheinlichkeit der Sensorobjekte ausgeführt ist und abhängig von der jeweiligen Sensoreinrichtung (2, 3) erfolgt, von der das Sensorobjekt bereitgestellt ist.
Vorrichtung (1) nach Anspruch 12, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) eine Prädiktionseinheit umfasst, die für zum Zeitpunkt k ermittelte Fusionsobjekte eine Prädiktion auf einen Zeitpunkt k + 1 vornimmt, die die Auswerteeinrichtung (4), die zum Zeitpunkt k + 1 ermittelten Sensorobjekte mit den Fusionsobjekten assoziiert, mit deren Prädiktion die Sensorobjekte gemäß Assoziationsvorgaben übereinstimmen, und wobei die Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k + 1 anhand der Existenzwahrscheinlichkeit des Fusionsobjekts zum Zeitpunkt k und der Existenzwahrscheinlichkeit zum Zeitpunkt k + 1 des Sensorobjekts fusioniert wird.
Vorrichtung (1) nach Anspruch 13, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) ausgebildet ist, die Existenzwahrscheinlichkeit eines Fusionsobjekts, das mit einem Sensorobjekt assoziiert werden kann, gemäß folgender Formel zu berechnen:
wobei P_FusObj(k) die Existenzwahrscheinlichkeit des Fusionsobjekt zum Zeitpunkt k, P_SenObj(k) die Existenzwahrscheinlichkeit des Sensorobjekts zum Zeitpunkt k, γ eine sensoreinrichtungsunabhängige Fusionierungskonstante und δ^a und δ^b sensoreinrichtungsabhängige Fusionierungskonstanten angeben, wobei gilt: δa + δb = 1.
Vorrichtung (1) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) ausgebildet ist, für Sensorobjekte, die mit keinem der bekannten Fusionsobjekte assoziiert werden können, bei der Fusionierung ein neues Fusionsobjekts zu erzeugen, welches als Existenzwahrscheinlichkeit die Existenzwahrscheinlichkeit des Sensorobjekts zugewiesen wird.
Vorrichtung (1) nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) eine Kartenerzeugungseinrichtung umfasst und die Sensoreinrichtungen (2, 3) ausgebildet sind, Informationen bereitstellen, anhand derer die Kartenerzeugungseinrichtung eine Belegungskarte (16, 69) erstellen kann, wobei das Umfeld in Bereiche unterteilt ist und jedem Bereich jeweils eine Zelle zugeordnet ist und die Zellen die Belegungskarte (16, 69) darstellen, und die Kartenerzeugungseinrichtung ausgebildet ist, für die Zellen Belegungswahrscheinlichkeiten zu ermitteln, die ein Maß für eine Existenz eines Objekts (10, 14) in dem der Zelle zugeordneten Bereich des Umfelds angeben.
Vorrichtung (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, dass für Fusionsobjekte, die zu einem Messzeitpunkt k + 1 keinem der Sensorobjekte zugeordnet werden können, die Existenzwahrscheinlichkeit fusioniert wird, indem anstelle der Existenzwahrscheinlichkeit eines entsprechenden Sensorobjekts eine anhand der Belegungskarte (16, 69) ermittelte Belegungswahrscheinlichkeit für den Bereich oder die Bereiche verwendet wird, an dem sich das Fusionsobjekt gemäß der Prädiktion aufhält.
Vorrichtung (1) nach Anspruch 17, dadurch gekennzeichnet, dass die Fusionierung nach folgender Formel erfolgt: PFusObj(k + 1) = [PFusObj(k)·PGrid(k + 1)]1-γ·[1 – (1 – PFusObj(k))·(1 – PGrid(k + 1))]γ.wobei P_Grid(k + 1) die aus der Belegungskarte abgeleitete Belegungswahrscheinlichkeit an dem prädizierten Ort des Fusionsobjekts angibt.
Vorrichtung (1) nach einem der Ansprüche 12 bis 18, dadurch gekennzeichnet, dass in mindestens einer der Sensoreinrichtungen (2, 3) und oder der Auswerteeinrichtung (4) Vergleichsinformationen vorliegen, anhand derer die Sensorobjekte hinsichtlich ihres Typs klassifizierbar sind.
Vorrichtung (1) nach einem der Ansprüche 12 bis 19, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) ausgebildet ist, die Sensorobjekte und Fusionsobjekte hinsichtlich weiterer Attribute einem Fusionierungsverfahren zu unterziehen, beispielsweise unter Verwendung eines Kalman-Filters.
Vorrichtung (1) nach einem der Ansprüche 12 bis 20, dadurch gekennzeichnet, dass mindestens eine dritte Sensoreinrichtung (17) mit der Auswerteeinrichtung gekoppelt ist, die Informationen über das Umfeld und/oder die mindestens eine erste Sensoreinrichtung (2) und/oder die mindestens eine zweite Sensoreinrichtung (3) erfasst, und die Auswerteeinrichtung (4) ausgebildet ist, die Sensoreinrichtungsabhängigkeit der Fusionierung abhängig von den Informationen der mindestens einen dritten Sensoreinrichtung (17) zu variieren.
Vorrichtung (1) nach einem der Ansprüche 12 bis 21, dadurch gekennzeichnet, dass die Auswerteeinrichtung (4) ausgebildet ist, den Fusionierungsobjekten eine Nachverfolgungsinformation zuzuordnen, die ein Maß für eine Güte einer Nachverfolgung des Fusionsobjekts über mehrere Messzeitpunkte angibt, und für die Fusionsobjekte, die die bewegte Objekte repräsentieren und für die die Nachverfolgungsinformation eine ausreichende Nachverfolgungsgüte anzeigt, die im Ausdehnungsbereich des Fusionsobjekts liegenden Zellen der Belegungskarte (16, 69) als belegt zu kennzeichnen und diesen Zellen die Belegungswahrscheinlichkeit zuzuordnen, die der Existenzwahrscheinlichkeit des Fusionsobjekts entspricht.
Vorrichtung (1) nach einem der Ansprüche 12 bis 22, dadurch gekennzeichnet, dass die mindesten eine erste Sensoreinrichtung (2) eine Stereokamera umfasst und/oder die mindestens eine zweite Sensoreinrichtung (3) ein Radar oder Lidar (Laser Imaging Detection and Ranging System) umfasst.