DE102019102923B4

DE102019102923B4 - Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Info

Publication number: DE102019102923B4
Application number: DE102019102923.6A
Authority: DE
Inventors: Daniel Meissner; Marco Baumgartl; Dominik Bauch; Luca TRENTINAGLIA; Josef MEHRINGER; Michael Himmelsbach
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-02-06
Filing date: 2019-02-06
Publication date: 2022-12-01
Anticipated expiration: 2039-02-07
Also published as: CN113227834A; US20220075053A1; DE102019102923A1; WO2020160798A1

Abstract

Verfahren zur Sensordatenfusion für ein Fahrzeug (F), wobei dem Fahrzeug (F) ein Abstandssensor (S1) zugeordnet ist, und bei dem Verfahren- ein Fusionsobjektdatensatz bereitgestellt wird, umfassend Fusionsobjektdaten, die jeweils repräsentativ sind für ein in der Umgebung des Fahrzeugs (F) ermitteltes Fusionsobjekt (OF),- ein Richtungskennwert ermittelt wird, der repräsentativ ist für einen Winkel (α), den eine Messrichtung (M) des Abstandssensors (S1) im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse (x) eines vorgegebenen Referenzkoordinatensystems (R) des Fahrzeugs (F) einschließt,- ein Abstandsmesswert (d) des Abstandssensors (S1) erfasst wird,- abhängig von dem Abstandsmesswert (d) und dem Richtungskennwert ein Fusionsobjekt (OF) ermittelt wird, dem der Abstandsmesswert (d) und der Richtungskennwert zugeordnet werden, wobei- abhängig von den Fusionsobjektdaten jeweils ein Abstandskennwert (d̂) ermittelt wird, der repräsentativ ist für einen Abstand in Messrichtung (M) zwischen dem Abstandssensor (S1) und je einem in der Umgebung des Fahrzeugs (F) ermittelten Fusionsobjekt (OF) und-jeweils eine Abweichung (εd) zwischen dem jeweiligen Abstandskennwert (d̂) und dem Abstandsmesswert (d) ermittelt wird, wobei nur im Falle, dass die Abweichung (εd) geringer ist als ein vorgegebener Schwellenwert, der Abstandsmesswert (d) und der Richtungskennwert einem Fusionsobjekt (OF) zugeordnet werden und- abhängig von dem Abstandsmesswert (d), dem Richtungskennwert und den entsprechenden Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Darüber hinaus betrifft die Erfindung ein Fahrzeug, ein Computerprogramm sowie ein computerlesbares Speichermedium.
Zur Erkennung von Objekten in Umgebung eines Fahrzeugs werden oftmals heterogene Sensorvorrichtungen eingesetzt. Erkannte Objekte im Fahrzeugumfeld können zur sicheren Umsetzung von Assistenzfunktionen herangezogen werden, insbesondere für längs regelnde Funktionen wie Active Cruise Control, oder einen Kreuzungsassistent und für querregelnde Funktionen wie Lateral Collision Avoidance, Lenk- und Spurführungsassistent.
Bedingt durch unterschiedliche Messprinzipien der eingesetzten Sensorvorrichtungen können die durch die Sensorvorrichtungen erfassten Informationen über die Objekte unterschiedlich sein. Aufgrund beschränkter Rechenleistung in Fahrzeugen werden die durch die Sensorvorrichtungen bereitgestellten Informationen üblicherweise auf High-Level-Ebene fusioniert. Das bedeutet, dass die Sensorvorrichtungen jeweils anhand der erfassten Informationen separat Objekte erkennen und diese in einer abstrakten, sensorunabhängigen Objektrepräsentation als Informationen bereitstellen (sogenannte „Sensorobjekte“); die bereitgestellten Informationen werden dann durch eine separate Sensordatenfusionseinheit zu jeweils einer Objektrepräsentation je tatsächlichem Objekt zusammengeführt bzw. fusioniert (sogenannte „Fusionsobjekte“).
Als Objektrepräsentation kommt beispielsweise ein Rechteck oder Quader in Betracht (vgl. 1). Für diese Objektrepräsentation wird jedem Objekt O ein Referenzpunkt A zugewiesen, der bezüglich eines Referenzkoordinatensystems R, beispielsweise relativ zu einem vorgegebenen Bezugspunkt am/im Fahrzeug, eine laterale Verschiebung (x, y), eine Orientierung des Objekts O, beispielsweise der Winkel zur x-Achse des Referenzkoordinatensystems R, sowie die Länge I (bezüglich x-Achse) und Breite b (bezüglich y-Achse) umfasst. Ein Referenzpunkt A, dem neben der lateralen Verschiebung (x, y) als Position des Objekts O eine Breite b, Länge I und Orientierung zugeordnet sind, kann auch als „Zustand“ bezeichnet werden. Dem Zustand können weitere Eigenschaften des Objekts O zugeordnet werden, beispielsweise die Höhe h (bezüglich z-Achse), Geschwindigkeit oder ein Objekttyp. Jede Messgröße des Objekts O kann dabei als normalverteilte Zufallsvariable mit Varianz und Kovarianzen bezüglich der anderen Messgrößen modelliert und diese Werte ebenfalls dem Zustand zugeordnet werden.
Bei der High-Level-Fusion werden also lediglich die bereitgestellten Objektrepräsentationen der einzelnen Sensorvorrichtungen fusioniert, insbesondere also Sensorobjekte zu Fusionsobjekten assoziiert und fusioniert; die sensorspezifisch erfassten Informationen über die Objekte werden von den Sensorvorrichtungen selbst verarbeitet und bleiben von der Sensordatenfusionseinheit unberücksichtigt. Dadurch ist die Rechenlast über Sensorvorrichtungen und Sensordatenfusionseinheit verteilt; statt sensorspezifischer Datenverarbeitung oder Kommunikation kann auf Objektrepräsentationen zurückgegriffen werden.
Nachteilig ist, dass durch die Vorverarbeitung der erfassten Informationen durch die Sensorvorrichtungen und der damit einhergehenden Abstraktion Informationen über die Objekte verlorengehen. Ebenfalls nachteilig ist, dass auf einige Sensordaten, welche den Anforderungen der eingesetzten Objektrepräsentation nicht genügen, zu oben genannter High-Level-Fusion nicht zurückgegriffen werden kann. Insbesondere betrifft dies vergleichsweise kostengünstige Sensorvorrichtungen wie z.B. Abstandssensoren, bei denen einzelne Messgrößen der eingesetzten Objektrepräsentation, nicht gemessen werden können.
DE 10 2015 214 743 A1 betrifft ein Verfahren zur verbesserten Datenfusionierung bei der Umfelderfassung in einem Kraftfahrzeug, umfassend die folgenden Schritte: a) Erfassen eines Umfeldes des Kraftfahrzeugs mit mindestens einem Sensor, b) Erkennen von Objekten in von dem mindestens einen Sensor erfassten Messdaten, c) Fusionieren der erkannten Objekte und deren Objektpositionen in einer Umfeldkarte, wobei in der Umfeldkarte hinterlegten Objekten eine Existenzwahrscheinlichkeit zugeordnet wird oder ist, und wobei die Existenzwahrscheinlichkeit eines hinterlegten Objektes reduziert wird, wenn beim Erfassen an der Position des hinterlegten Objektes ein Freibereich gemessen wird, wobei den in der Umfeldkarte hinterlegten Objekten jeweils mindestens ein Orientierungsattribut zugeordnet und in der Umfeldkarte hinterlegt ist, und für einen Bereich im Sensorbereich des mindestens einen Sensors, in dem ein Freibereich gemessen wird, die Existenzwahrscheinlichkeit eines Objektes, welches in dem mit dem Bereich korrespondierenden Bereich in der Umfeldkarte hinterlegt ist, in Abhängigkeit des zugeordneten Orientierungsattributs reduziert wird. DE 10 2014 223 363 A1 betrifft ein Verfahren zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte, bei der Objekten eine oder mehrere Positionen in der Referenzkarte zugeordnet werden, mit folgenden Schritten: an aufeinander folgenden Punkten einer Trajektorie des Kraftfahrzeugs werden jeweils ein Radarimpuls ausgesandt und anschließend eine winkel- und zeitaufgelöste Messung der Radarimpulsantwort durchgeführt, Bestimmen von Positionen von Objekten im Umfeld des Kraftfahrzeugs aus der Radarimpulsantwort, wobei die aktuell bestimmten Objektpositionen eine Umgebungskarte bilden, Ermitteln der Position des Kraftfahrzeugs in der Referenzkarte durch Vergleich der Umgebungskarte mit der Referenzkarte, wobei die Referenzkarte aus den bestimmten Positionen erstellt ist und fortlaufend aktualisiert wird, wobei eine Objektklassifikation für die bestimmten Objektpositionen in der aktuellen Umgebungskarte und/oder Referenzkarte durchgeführt und die Ermittlung der Position des Kraftfahrzeugs unter Berücksichtigung der Objektklassifikation ausgeführt wird.
DE 103 19 700 A1 betrifft ein Verfahren zur Ermittlung einer Wahrscheinlichkeit für eine Kollision zwischen einem Fahrzeug und einem Gegenstand auf der Basis von tiefenaufgelösten Bildern eines Überwachungsbereichs in wenigstens einer Ebene, in dem sich der Gegenstand befindet, und einer aktuellen Relativgeschwindigkeit des Gegenstands gegenüber dem Fahrzeug wenigstens in der Ebene, bei dem für den Gegenstand und für das Fahrzeug in einer geschätzten Kollisionslage, die der Gegenstand und das Fahrzeug relativ zueinander bei einer Kollision einnehmen, jeweils eine auf eine Projektionsgerade, die im Wesentlichen orthogonal zu einer geschätzten Relativgeschwindigkeit bei Erreichen der Kollisionslage orientiert ist, projizierte Kontur und deren Lage zueinander ermittelt werden, eine Überdeckung der projizierten Konturen ermittelt wird, und in Abhängigkeit von der Überdeckung der beiden projizierten Konturen die Kollisionswahrscheinlichkeit bestimmt wird.
DE 10 2010 063 133 A1 betrifft ein Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeugs, mit den folgenden Schritten: - Aufnehmen, durch eine Fahrzeugkamera, einer Sequenz zeitlich aufeinander folgender Bilder einer Fahrzeugumgebung; - Bestimmen, basierend auf der Bildsequenz, mindestens eines Bewegungsflusses bezüglich eines Objekts in der Fahrzeugumgebung; und - Bestimmen der Eigenbewegung des Fahrzeugs basierend auf dem mindestens einen Bewegungsfluss.
DE 10 2017 101 772 A1 betrifft ein Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, bei welchem mittels eines Radarsensors Radarsignale ausgesendet werden und die von dem Objekt reflektierten Radarsignale empfangen werden, anhand der Radarsignale ein Empfangssignal bestimmt wird, aus dem Empfangssignal ein Leistungsspektrum bestimmt wird, welches eine Intensität des Empfangssignals in Abhängigkeit von einer Entfernung zu dem Objekt und einer Radialgeschwindigkeit des Objekts beschreibt und anhand des Leistungsspektrums das Objekt erfasst wird, wobei aus dem Leistungsspektrum ein Verlauf der Intensität in Abhängigkeit von der Entfernung bestimmt wird, anhand des Verlaufs ein minimaler Entfernungswert und ein maximaler Entfernungswert bestimmt werden und anhand des minimalen Entfernungswerts und des maximalen Entfernungswerts Abmessungen des Objekts bestimmt werden.
Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zur Sensordatenfusion für ein Fahrzeug sowie eine entsprechende Vorrichtung, ein Fahrzeug, Computerprogramm sowie computerlesbares Speichermedium zu schaffen, durch das die genannten Nachteile überwunden werden können.
Die Aufgabe wird gelöst durch die unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Sensordatenfusion für ein Fahrzeug, dem ein Abstandssensor zugeordnet ist. Bei dem Verfahren wird ein Fusionsobjektdatensatz bereitgestellt, der Fusionsobjektdaten umfasst. Die Fusionsobjektdaten sind jeweils repräsentativ für ein in der Umgebung des Fahrzeugs ermitteltes Fusionsobjekt.
Bei dem Verfahren wird ferner ein Richtungskennwert ermittelt. Der Richtungskennwert ist repräsentativ für einen Winkel, den eine Messrichtung des Abstandssensors im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse eines vorgegebenen Referenzkoordinatensystems des Fahrzeugs einschließt.
Darüber hinaus wird ein Abstandsmesswert des Abstandssensors erfasst.
Abhängig von dem Abstandsmesswert und dem Richtungskennwert wird ein Fusionsobjekt ermittelt, dem der Abstandsmesswert und der Richtungskennwert zugeordnet werden.
Ferner wird abhängig von dem Abstandsmesswert, dem Richtungskennwert und den entsprechenden Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt.
In vorteilhafter Weise ermöglicht dies den Einsatz von Abstandssensoren zur High-Level-Fusion bei Fahrzeugen.
Durch die Fusion von Objektdaten und Abstandsmesswerten können nahezu sämtliche Abstandssensoren genutzt werden, insbesondere auch vergleichsweise kostengünstige Ultraschallsensoren oder Radarsensoren mit geringer Winkelauflösung bzw. bei Winkelinformation mit hoher Unsicherheit.
Dadurch, dass bei der Fusion der Abstandsmesswerte ein bereits vorliegender Fusionsobjektdatensatz verwendet wird, kann eine Assoziation der Abstandsmesswerte zu erkannten Objekten vereinfacht umgesetzt werden, so dass eine Implementierung auf im Fahrzeug eingesetzten, leistungsschwachen Steuergeräten ermöglicht wird.
Die bereitgestellten Fusionsobjektdaten sind insbesondere repräsentativ für Fusionsobjekte in Rechteck- oder Quader- Objektrepräsentation. Als vorgegebene Bezugsachse kommt beispielsweise die Längsachse des Fahrzeugs in Betracht.
Der Schritt, in dem abhängig von dem Abstandsmesswert und dem Richtungskennwert ein Fusionsobjekt aus dem Fusionsobjektdatensatz zur Zuordnung ermittelt wird, kann auch als Assoziationsschritt bezeichnet werden.
Der Schritt, in dem abhängig von dem Abstandsmesswert, dem Richtungskennwert und den Fusionsobjektdaten, die dem im Assoziationsschritt zugeordneten Fusionsobjekt entsprechen, ein innoviertes Fusionsobjekt ermittelt wird, kann auch als Innovationsschritt oder Fusion bezeichnet werden.
Gemäß dem ersten Aspekt wird abhängig von den Objektdaten jeweils ein Abstandskennwert ermittelt. Der Abstandskennwert ist repräsentativ für einen Abstand in Messrichtung zwischen dem Abstandssensor und je einem in der Umgebung des Fahrzeugs ermittelten Fusionsobjekt.
Überdies wird jeweils eine Abweichung zwischen dem jeweiligen Abstandskennwert und dem Abstandsmesswert ermittelt. Nur im Falle, dass die Abweichung geringer ist als ein vorgegebener Schwellenwert, werden der Abstandsmesswert und der Richtungskennwert einem Fusionsobjekt zugeordnet. Anderenfalls wird der entsprechende Abstandsmesswert und/oder Richtungskennwert beispielsweise verworfen oder geprüft, ob der Abstandsmesswert eine geringere Abweichung zu einem Abstandskennwert aufweist, der einem anderen Fusionsobjekt aus Fusionsobjektdatensatz zugeordnet ist.
In vorteilhafter Weise ermöglicht dies eine Datenreduktion, so dass eine Rechenlast bei der Verarbeitung gering gehalten werden kann. Dieser Schritt kann auch als Gating bezeichnet werden. Der Abstandskennwert stellt dabei keinen tatsächlichen Messwert dar, sondern entspricht vielmehr einer Prädiktion anhand des bereits vorliegenden Fusionsobjektdatensatzes, welchen Abstandsmesswert der Abstandssensor je Fusionsobjekt wahrscheinlich ausgeben wird. Als Maß der Abweichung kann beispielhaft die euklidische Distanz oder Mahalanobis Distanz verwendet werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der Abstandsmesswert ausschließlich dem Fusionsobjekt mit der geringsten ermittelten Abweichung zugeordnet. Beispielsweise werden dabei zunächst mehrere potentielle Fusionsobjekte als Kandidaten für die Zuordnung ermittelt, deren jeweiliger Abweichung den Schwellenwert unterschreitet. In einem zweiten Schritt kann dann mittels eines sogenannten local nearest neighbour gating Verfahrens das Fusionsobjekt mit der geringsten Abweichung aus den Kandidaten ermittelt werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird abhängig von den Fusionsobjektdaten jeweils ein dem Fahrzeug zugewandtes Kontursegment des entsprechenden Fusionsobjekts ermittelt.
Darüber hinaus wird ausgehend von dem Abstandssensor jeweils ein Schnittpunkt zwischen einem Vektor in Messrichtung und einer Gerade entlang des jeweiligen Kontursegments ermittelt.
Schließlich wird abhängig von dem jeweiligen Schnittpunkt der jeweilige Abstandskennwert ermittelt.
In vorteilhafter Weise kann so eine Varianz der Messgrößen Länge und Breite des Objekts berücksichtigt werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt umfassen die Fusionsobjektdaten einen Fusionsreferenzpunkt, eine laterale Erstreckung des Fusionsobjekts bezüglich des Fusionsreferenzpunkts, eine Orientierung des Fusionsobjekts bezüglich des Referenzkoordinatensystems des Fahrzeugs sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung.
Abhängig von den Fusionsobjektdaten und dem Schnittpunkt wird daraufhin ein Transformationszustand ermittelt. Der Transformationszustand umfasst eine laterale Erstreckung des Fusionsobjekts bezüglich des Schnittpunkts, die Orientierung des Fusionsobjekts bezüglich des Referenzkoordinatensystems des Fahrzeugs sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung.
Der Fusionsreferenzpunkt kann auch als Zustand des Fusionsobjekts bezeichnet werden. In vorteilhafter Weise kann durch diese Ausgestaltung der Zustand des Fusionsobjekts unter Berücksichtigung der Unsicherheiten auf den ermittelten Schnittpunkt transformiert werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird abhängig von dem Transformationszustand und den Indikatorkennwerten, dem Abstandsmesswert und dem Richtungskennwert ein innovierter Transformationszustand ermittelt.
Daraufhin wird abhängig von dem innovierten Transformationszustand ein innoviertes Fusionsobjekt ermittelt.
Der innovierte Transformationszustand bezeichnet einen um die Messdaten des Abstandssensors ergänzten Transformationszustand. In vorteilhafter Weise kann der Zustand des Fusionsobjekts im ermittelten Schnittpunkt so mit dem ermittelten Abstandsmesswert und dem Richtungskennwert unter Berücksichtigung der Unsicherheiten angepasst werden. Der Schritt, in dem abhängig von dem innovierten Transformationszustand ein innoviertes Fusionsobjekt ermittelt wird, umfasst insbesondere eine Rücktransformation auf den ursprünglichen Fusionsreferenzpunkt, so dass nachfolgend wieder eine Fusion des innovierten Fusionsobjekts mit Sensorobjekten ermöglicht wird.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird die Messrichtung des Abstandssensors abhängig von einer Detektionscharakteristik des Abstandssensors ermittelt, insbesondere im Falle, dass es sich bei dem Abstandssensor um einen Ultraschallsensor handelt. Alternativ kann die Messrichtung beispielsweise durch eine Verbauung des Abstandssensors vorgegeben sein und beispielhaft durch eine werksseitige Kalibrierung in der Sensordatenfusionseinheit hinterlegt sein.
Gemäß einem zweiten Aspekt betrifft die Erfindung eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug. Die Vorrichtung ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt auszuführen. Die Vorrichtung kann auch als Sensordatenfusionseinheit bezeichnet werden.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Fahrzeug. Das Fahrzeug umfasst eine Vorrichtung zur Sensordatenfusion gemäß dem zweiten Aspekt sowie einen Abstandssensor.
In einer vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst das Fahrzeug eine weitere Sensorvorrichtung. Die weitere Sensorvorrichtung ist eingerichtet, Messdaten zu erfassen, die repräsentativ sind für eine Umgebung des Fahrzeugs.
Darüber hinaus ist die weitere Sensorvorrichtung dazu eingerichtet, abhängig von den Messdaten Sensorobjektdaten zu ermitteln, die repräsentativ sind für ein in der Umgebung des Fahrzeugs durch die weitere Sensorvorrichtung ermitteltes Sensorobjekt.
Ferner ist die Vorrichtung ausgebildet, abhängig von dem Fusionsobjektdatensatz und den Sensorobjektdaten ein innoviertes Fusionsobjekt zu ermitteln. Das innovierte Fusionsobjekt ist beispielhaft repräsentiert durch Fusionsobjektdaten, die in dem Fusionsobjektdatensatz gespeichert werden.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst die weitere Sensorvorrichtung wenigstens eines aus einer Kamera, einem RaDAR, Radio Detection And Ranging, -Sensor, einem LiDAR, Light Detection And Ranging, -Sensor oder einem LaDAR, Laser Detection And Ranging, -Sensor oder besteht daraus.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem dritten Aspekt umfasst der Abstandssensor wenigstens eines aus einem Ultraschallsensor, einem Punktlasersensor, einem Infrarotsensor oder einem RaDAR, Radio Detection And Ranging, -Sensor oder besteht daraus.
Gemäß einem vierten Aspekt betrifft die Erfindung ein Computerprogramm zur Sensordatenfusion für ein Fahrzeug. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
Gemäß einem fünften Aspekt betrifft die Erfindung ein computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem vierten Aspekt gespeichert ist.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.
Es zeigen:

1 eine beispielhafte Objektrepräsentation;
2 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeugs mit einer Vorrichtung zur Sensordatenfusion; und
3 ein beispielhaftes Ablaufdiagramm eines Verfahrens zur Sensordatenfusion.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen versehen.
Im Folgenden wird ein System vorgeschlagen, das es ermöglicht, in einer High-Level-Objektfusion auch Abstandsmesswerte zu fusionieren. Anhand des Ausführungsbeispiels der 2 ist ein erfindungsgemäßes Fahrzeug F mit einer Vorrichtung V zur Sensordatenfusion sowie einem Abstandssensor S1 dargestellt, der eingerichtet ist, Abstandsmesswerte d zu erfassen. Dabei kann es sich z.B. um einen Ultraschall-, Punktlaser- oder Infrarotsensor handeln. Unabhängig von der verwendeten Methode zur High-Level-Objektfusion wird im Automobilbereich als Ergebnis der Objektfusion üblicherweise eine Liste von Rechtecken bzw. Quadern (vgl. 1) als Objektrepräsentation ausgegeben, welche erkannte, insbesondere bewegliche, Objekte in der Umgebung des Fahrzeugs F repräsentieren. 2 zeigt ein solches Fusionsobjekt O_F, dem ein Fusionsreferenzpunkt A_F, eine Länge I und Breite b bezüglich des Fusionsreferenzpunkt A, eine Orientierung des Fusionsobjekts O_F bezüglich eines Referenzkoordinatensystems R des Fahrzeugs F sowie jeweils ein Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der Länge I, Breite b und Orientierung zugeordnet sind. Die Unsicherheit kann beispielsweise durch eine Varianz ausgedrückt sein.
Neben dem Abstandsmesswert d kann durch die Ausrichtung des Abstandssensors S1 oder im Falle eines z.B. Ultraschallsensors aus der Detektionscharakteristik eine Messrichtung α ermittelt werden, in der der Abstandsmesswert d erfasst wurde. Darüber hinaus können zugehörige Varianzen bei der Messung ermittelt werden.
Das Fahrzeug F weist ferner beispielhaft eine weitere Sensorvorrichtung S2 auf, die zur Erfassung der Umgebung des Fahrzeugs F eingerichtet ist. Der Abstandssensor S1 sowie die weitere Sensorvorrichtung S2 sind mit der Vorrichtung V zur Sensordatenfusion signaltechnisch gekoppelt. Die weitere Sensorvorrichtung S2 stellt dabei Sensorobjektdaten bereit, die durch die Vorrichtung V nach einem beliebigen Verfahren zur High-Level-Objektfusion fusioniert und in einem Fusionsobjektdatensatz gespeichert werden. Beispielhaft wird in diesem Zusammenhang auf die Ausführungen von N. Kämpchen in „Feature-level fusion of laser scanner and video data“, Ulm: Ulm University, 2007; und F. Seeliger in „Fahrzeugübergreifende Informationsfusion“, Ulm: Schriftenreihe des Instituts für Mess-, Regel- und Mikrotechnik der Universität Ulm, 2017 verwiesen.
Um die Abstandsmesswerte d mit den Fusionsobjektdaten zu fusionieren, werden diese gemäß dem erfindungsgemäßen Verfahren wie folgt zu jeweils einem Fusionsobjekt O_F assoziiert und der Objektzustand anschließend innoviert. Im Assoziationsschritt wird die Abstandsmessung des Abstandssensors S1 zu einem Fusionsobjekt O_F aus der fusionierten Objektliste bzw. aus dem Fusionsobjektdatensatz zugeordnet. Sollte das Fahrzeug F mehr als einen Abstandssensor S1 aufweisen, so sind die im Folgenden beschriebenen Schritte entsprechend für jeden dieser Abstandssensoren je Messung anzuwenden. Bei der Innovation wird der Zustand jedes Fusionsobjekts O_F mit den assoziierten Abstandsdaten angepasst.
Der Vorrichtung V ist in diesem Zusammenhang insbesondere ein Daten- und Programmspeicher zugeordnet, in dem ein Computerprogramm gespeichert ist, das anhand des Ablaufdiagramms der 3 im Folgenden näher erläutert wird.
In einem ersten Schritt P10 wird ein Fusionsobjektdatensatz bereitgestellt, der Fusionsobjektdaten umfasst, die jeweils repräsentativ sind für ein in der Umgebung des Fahrzeugs F ermitteltes Fusionsobjekt O_F. Beispielsweise ist der Fusionsobjektdatensatz in einem Datenspeicher der Vorrichtung V hinterlegt und wurde in einem vorangegangenen Fusionsverfahren aus den Sensorobjektdaten der weiteren Sensorvorrichtung S2 ermittelt.
Das Programm wird in einem Schritt P20 fortgesetzt, in dem ein Richtungskennwert ermittelt wird, der repräsentativ ist für einen Winkel α, den eine Messrichtung M des Abstandssensors S1 im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse x des Fahrzeugs F einschließt.
In diesem Zusammenhang kann in einem vorausgehenden Schritt P18 die Messrichtung M des Abstandssensors S1 abhängig von seiner Detektionscharakteristik ermittelt worden sein.
In einem auf den Schritt P20 folgenden Schritt P30 wird abhängig von den Objektdaten jeweils ein Abstandskennwert d̃ ermittelt, der repräsentativ ist für einen Abstand in Messrichtung M zwischen dem Abstandssensor S1 und je einem in der Umgebung des Fahrzeugs F ermittelten Fusionsobjekt O_F.
Hierzu wird in einem Schritt P32 abhängig von den Fusionsobjektdaten jeweils ein dem Fahrzeug F zugewandtes Kontursegment Ks des entsprechenden Fusionsobjekts O_F ermittelt und in einem anschließenden Schritt P34 ausgehend von dem Abstandssensor S1 jeweils ein Schnittpunkt xs zwischen einem Vektor in Messrichtung M und einer Gerade K_G durch das jeweilige Kontursegment Ks ermittelt. Der Schnittpunkt xs wird insbesondere in einer lateralen Richtung bestimmt, also als Versatz bezüglich des Referenzkoordinatensystems R entlang x- und y-Achse. In anderen Worten wird der Schnittpunkt xs des Richtungsvektors der Abstandsmessung mit dem nächstliegenden Kontursegment Ks jedes Fusionsobjekts O_F bestimmt. Abhängig von der Varianz der Objektausdehnung (Länge I und Breite b) kann es auch Schnittpunkte xs geben, die auf den jeweiligen Verlängerungen K_G der Kontursegmente Ks, leicht neben dem Fusionsobjekt O_F liegen. Der jeweilige Abstandskennwert d̃ wird dann in einem Schritt P36 abhängig von dem jeweiligen Schnittpunkt xs ermittelt.
Im Anschluss wird in einem Schritt S40 abhängig von den Fusionsobjektdaten und dem Schnittpunkt xs ein Transformationszustand ermittelt, der die Länge und Breite des Fusionsobjekts O_F bezüglich des Schnittpunkts xs, die Orientierung des Fusionsobjekts O_F bezüglich des Referenzkoordinatensystems R sowie jeweils einen entsprechenden Indikatorkennwert umfasst, um so den Zustand des Fusionsobjekts O_F unter Berücksichtigung der Unsicherheiten auf den ermittelten Schnittpunkt xs zu transformieren. Dabei wird der Objektzustand bzw. der Fusionsreferenzpunkt A_F anhand der Funktion A'_F = ƒ(A_F) vom aktuellen Fusionsreferenzpunkt A_F auf der Objektkontur Ks auf den Schnittpunkt xs transformiert, wobei A'_F den Transformationszustand bezeichnet. Entsprechend werden die Varianzen P_AF des Objektzustands mittels P'_AF = J_ƒ(A_F) · P_AF · J_ƒ(A_F)^T, wobei J_ƒ(A_F) die Jakobi-Matrix von f(·) im Punkt A_F, in den Schnittpunkt xs transformiert.
In einem darauffolgenden Schritt P50 wird ein Abstandsmesswert d des Abstandssensors S1 erfasst.
Anschließend wird in einem Schritt P60 jeweils eine Abweichung ε_d zwischen dem Abstandskennwert d̃ und dem jeweiligen Abstandsmesswert d ermittelt, wobei nur im Falle, dass die Abweichung ε_d geringer ist als ein vorgegebener Schwellenwert, der Abstandsmesswert d in einem anschließenden Schritt P70 einem Fusionsobjekt O_F zugeordnet wird, und zwar ausschließlich dem Fusionsobjekt O_F mit der geringsten ermittelten Abweichung ε_d. Der Schritt P60 kann auch als Gating bezeichnet werden. In anderen Worten wird nur wenn der Unterschied zwischen dem prädizierten Abstand des Abstandssensors S1 zum Schnittpunkt xs und dem tatsächlichen gemessenen Abstand kleiner ist als ein, je nach Anwendungsfall applizierbarer, Schwellenwert, das Fusionsobjekt O_F als ein Kandidat für eine Assoziation berücksichtigt. Als Maß für den Unterschied können beliebige Kriterien, wie z.B. der euklidischen Distanz, Mahalanobis Distanz, usw. verwendet werden. Von allen Fusionsobjekten O_F, die als Kandidat für eine Assoziation bestimmt wurden, wird die Abstandmessung zu dem Fusionsobjekt O_F mit dem kleinsten Unterschied assoziiert. Dabei wird jede Abstandsmessung lediglich zu einem einzigen Fusionsobjekt O_F assoziiert. Es können jedoch mehrere Abstandmessungen zu einem Fusionsobjekt O_F assoziiert werden.
In einem auf den Schritt P70 folgenden Schritt P80 wird abhängig von dem Transformationszustand und den Indikatorkennwerten, dem Abstandsmesswert d und dem Richtungskennwert ein innovierter Transformationszustand ermittelt.
Dabei wird der Transformationszustand A'_F bezüglich des Schnittpunkts xs mit den in Schritt P70 assoziierten Abstandsdaten angepasst. Insbesondere kann hierzu folgendes Modell für die Messung verwendet werden, mit dem zu jedem Zustand mit den Koordinaten (X, Y) die erwartete Messung ẑ = (d̂, α̂) berechnet werden kann: $\hat{d} = \sqrt{X^{2} + Y^{2}}$
$\hat{α} = 2 {tan}^{- 1} (\frac{Y}{X + \hat{d}})$
$R = [\begin{matrix} v a r_{d} & 0 \\ 0 & v a r_{a} \end{matrix}]$
Mit den Formeln (1) und (2) des Modells kann und unter Berücksichtigung der Formel (3), die die Unsicherheit der Abstandsmessung als Varianz var_d und der Richtungsmessung als var_α widerspiegeln, mit gängigen Fusionsansätzen, wie beispielhaft in F. Seeliger in „Fahrzeugübergreifende Informationsfusion“, Ulm: Schriftenreihe des Instituts für Mess-, Regel- und Mikrotechnik der Universität Ulm, 2017 erläutert, die für den Transformationszustand A'_F erwartete Messung ẑ bestimmt und A'_F im Schnittpunkt x_S entsprechend der Differenz zwischen erwarteter und tatsächlicher Messung des Abstandssensors S1 angepasst werden, also der innovierte Transformationszustand $\hat{A'_{F}}$
ermittelt werden.
In einem darauffolgenden Schritt P90 wird abhängig von dem innovierten Transformationszustand $\hat{A'_{F}}$
ein innoviertes Fusionsobjekt $\hat{A'_{F}}$
ermittelt, um in nachfolgenden Schritten wieder (Sensor-)objektdaten fusionieren zu können. Hierzu wird der innovierte Transformationszustand $\hat{A'_{F}}$
beispielsweise mittels ƒ^-1(·) und $J_{ƒ^{- 1}} (\cdot)$
wieder auf den ursprünglichen Fusionsreferenzpunkt A_F des Fusionsobjektes O_F zurücktransformiert.
Sollte bei dem verwendeten Fusionsansatz auch die Existenzwahrscheinlichkeit der Fusionsobjekte O_F geschätzt werden, so kann auch die Existenzwahrscheinlichkeit dem Transformationszustand zugeordnet und innoviert werden.
Das Programm wird anschließend beendet oder gegebenenfalls nach einer vorgegebenen Unterbrechung in dem Schritt P10 mit aktualisiertem Objektdatensatz fortgesetzt.

Claims

Verfahren zur Sensordatenfusion für ein Fahrzeug (F), wobei dem Fahrzeug (F) ein Abstandssensor (S1) zugeordnet ist, und bei dem Verfahren - ein Fusionsobjektdatensatz bereitgestellt wird, umfassend Fusionsobjektdaten, die jeweils repräsentativ sind für ein in der Umgebung des Fahrzeugs (F) ermitteltes Fusionsobjekt (O_F), - ein Richtungskennwert ermittelt wird, der repräsentativ ist für einen Winkel (α), den eine Messrichtung (M) des Abstandssensors (S1) im bestimmungsgemäßen Betrieb mit einer vorgegebenen Bezugsachse (x) eines vorgegebenen Referenzkoordinatensystems (R) des Fahrzeugs (F) einschließt, - ein Abstandsmesswert (d) des Abstandssensors (S1) erfasst wird, - abhängig von dem Abstandsmesswert (d) und dem Richtungskennwert ein Fusionsobjekt (O_F) ermittelt wird, dem der Abstandsmesswert (d) und der Richtungskennwert zugeordnet werden, wobei - abhängig von den Fusionsobjektdaten jeweils ein Abstandskennwert (d̂) ermittelt wird, der repräsentativ ist für einen Abstand in Messrichtung (M) zwischen dem Abstandssensor (S1) und je einem in der Umgebung des Fahrzeugs (F) ermittelten Fusionsobjekt (O_F) und -jeweils eine Abweichung (ε_d) zwischen dem jeweiligen Abstandskennwert (d̂) und dem Abstandsmesswert (d) ermittelt wird, wobei nur im Falle, dass die Abweichung (ε_d) geringer ist als ein vorgegebener Schwellenwert, der Abstandsmesswert (d) und der Richtungskennwert einem Fusionsobjekt (O_F) zugeordnet werden und - abhängig von dem Abstandsmesswert (d), dem Richtungskennwert und den entsprechenden Fusionsobjektdaten ein innoviertes Fusionsobjekt ermittelt wird.
Verfahren nach Anspruch 1, bei dem - der Abstandsmesswert (d) und der Richtungskennwert ausschließlich dem Fusionsobjekt (O_F) mit der geringsten ermittelten Abweichung (ε_d) zugeordnet werden.
Verfahren nach einem der vorstehenden Ansprüche 1 oder 2, bei dem - abhängig von den Fusionsobjektdaten jeweils ein dem Fahrzeug (F) zugewandtes Kontursegment (Ks) des entsprechenden Fusionsobjekts (O_F) ermittelt wird, - ausgehend von dem Abstandssensor (S1) jeweils ein Schnittpunkt (xs) zwischen einem Vektor in Messrichtung (M) und einer Gerade (K_G) entlang des jeweiligen Kontursegments (Ks) ermittelt wird, und - abhängig von dem jeweiligen Schnittpunkt (xs) der jeweilige Abstandskennwert (d̂) ermittelt wird.
Verfahren nach Anspruch 3, bei dem - die Fusionsobjektdaten einen Fusionsreferenzpunkt (A_F), eine laterale Erstreckung des Fusionsobjekts (O_F) bezüglich des Fusionsreferenzpunkts (A_F), eine Orientierung des Fusionsobjekts (O_F) bezüglich des Referenzkoordinatensystems (R) des Fahrzeugs (F) sowie jeweils einen Indikatorkennwert umfassen, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung, und - abhängig von den Fusionsobjektdaten und dem Schnittpunkt (x_s) ein Transformationszustand ermittelt wird, umfassend eine laterale Erstreckung des Fusionsobjekts (O_F) bezüglich des Schnittpunkts (x_s), die Orientierung des Fusionsobjekts (O_F) bezüglich des Referenzkoordinatensystems (R) des Fahrzeugs (F) sowie jeweils einen Indikatorkennwert, der repräsentativ ist für eine Unsicherheit bei der Ermittlung der lateralen Erstreckung und Orientierung.
Verfahren nach Anspruch 4, bei dem - abhängig von dem Transformationszustand und den Indikatorkennwerten, dem Abstandsmesswert (d) und dem Richtungskennwert ein innovierter Transformationszustand ermittelt wird, und - abhängig von dem innovierten Transformationszustand ein innoviertes Fusionsobjekt ermittelt wird.
Verfahren nach einem der vorstehenden Ansprüche, bei dem - die Messrichtung (M) des Abstandssensors (S1) abhängig von einer Detektionscharakteristik des Abstandssensors (S1) ermittelt wird.
Vorrichtung (V) zur Sensordatenfusion für ein Fahrzeug (F), wobei die Vorrichtung (V) ausgebildet ist, ein Verfahren nach einem der vorstehenden Ansprüche 1 bis 6 auszuführen.
Fahrzeug (F), umfassend eine Vorrichtung (V) zur Sensordatenfusion nach Anspruch 7 sowie einen Abstandssensor (S1).
Fahrzeug (F) nach Anspruch 8, umfassend eine weitere Sensorvorrichtung (S2), die eingerichtet ist - Messdaten zu erfassen, die repräsentativ sind für eine Umgebung des Fahrzeugs (F), - abhängig von den Messdaten Sensorobjektdaten zu ermitteln, die repräsentativ sind für ein in der Umgebung des Fahrzeugs (F) durch die weitere Sensorvorrichtung (S2) ermitteltes Sensorobjekt (Os) und - die Vorrichtung (V) ausgebildet ist, abhängig von dem Fusionsobjektdatensatz und den Sensorobjektdaten ein innoviertes Fusionsobjekt (O_F) zu ermitteln.
Fahrzeug (F) nach Anspruch 9, bei dem - die weitere Sensorvorrichtung (S2) wenigstens eines umfasst aus einer Kamera, einem RaDAR, Radio Detection And Ranging, -Sensor, einem LiDAR, Light Detection And Ranging, -Sensor oder einem LaDAR, Laser Detection And Ranging, -Sensor oder daraus besteht.
Fahrzeug (F) nach einem der vorstehenden Ansprüche 8 bis 10, bei dem - der Abstandssensor (S1) wenigstens eines umfasst aus einem Ultraschallsensor, einem Punktlasersensor, einem Infrarotsensor oder einem RaDAR, Radio Detection And Ranging, -Sensor oder daraus besteht.
Computerprogramm zur Sensordatenfusion für ein Fahrzeug (F), umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 6 auszuführen.
Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.