-
Die Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs auf der Basis von fusionierten Sensordaten, wobei erste Sensordaten betreffend das Objekt mittels zumindest eines ersten Sensors des Kraftfahrzeugs erfasst werden und zweite Sensordaten betreffend das Objekt mittels zumindest eines zweiten Sensors des Kraftfahrzeugs erfasst werden. Darüber hinaus werden die erfassten ersten und zweiten Sensordaten fusioniert und in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten der mindestens eine erste Positionsparameter des Objekts bestimmt. Die Erfindung betrifft auch ein korrespondierendes Computerprogrammprodukt, ein Fahrerassistenzsystem und ein Kraftfahrzeug.
-
Es sind viele Fahrerassistenzsysteme aus dem Stand der Technik bekannt, die auf der Detektion von Objekten in der Umgebung des Kraftfahrzeugs basieren, insbesondere statischen Objekten sowie dynamischen Objekten, zum Beispiel anderen Verkehrsteilnehmern, Fußgängern, Leitplanken, und so weiter. Darüber hinaus kann zur Detektion von Objekten in der Umgebung des Kraftfahrzeugs eine Vielzahl von Sensoren verwendet werden, wie Kameras, Radare und so weiter.
-
In diesem Zusammenhang beschreibt die
US 2017/0285161 A1 ein Objektdetektionssystem, welches einen Radarsensor und eine Kamera aufweist, wobei basierend auf der Entfernung und der Richtung der Radarerfassung eine Entfernungskarte für das Bild, welches mittels der Kamera erfasst wird, bestimmt wird und basierend auf der Entfernungskarte ein Detektionsbereich im Bild definiert wird und nur der Detektionsbereich des Bildes zum Bestimmen einer Identität des Objekts verarbeitet wird. Alternativ kann die Geschwindigkeit des Objekts im Bild aus einer Entfernungsrateninformation, die vom Radarsensor bereitgestellt wird, bestimmt werden.
-
Im Allgemeinen kann durch die Kombination von Informationen, die von verschiedenen Sensoren, insbesondere Sensoren unterschiedlicher Arten, erfasst werden, eine umfassendere und genauere Beschreibung der Umgebung bereitgestellt werden. Dabei können sich Sensordaten nicht nur gegenseitig ergänzen, sondern Sensordaten können auch verwendet werden, um eine Objektdetektion mit höherer Genauigkeit und Verlässlichkeit bereitzustellen. Insbesondere für fortgeschrittenere Fahrerassistenzsysteme, wie zum Beispiel eine adaptive Geschwindigkeitsregelung und insbesondere um vollautomatisierte Kraftfahrzeuge bereitzustellen, benötigen solche Kraftfahrzeuge eine Ausstattung auf hoher Ebene mit Bezug auf Sensoren und elektronische Recheneinheiten, und mehrere Sensortechnologien müssen gleichzeitig verwendet werden, um eine konsistente Umgebung zu schaffen. Insbesondere muss eine Objektfusion unter Verwendung mehrerer Sensoren durchgeführt werden. Zu diesem Zweck können Datenfusionsalgorithmen verwendet werden, die in drei Hauptphasen eingeteilt werden können, nämlich Datenabgleich, auch Synchronisation genannt, Assoziierung und Fusion der Objekte sowie Tracking. Ein Verfahren zum Tracking von Objekten unter Verwendung von Assoziierung zwischen vorhergehend und neu detektierten Objekten, wenngleich auch nicht basierend auf fusionierten Sensordaten, ist in der
US 8,799,201 B2 beschrieben.
-
Jedoch gibt es auch inhärente Probleme, die solche Datenfusionsverfahren betreffen: Zunächst werden, wenn Objekte, die von verschiedenen Sensoren erfasst werden, miteinander vereinigt werden, diese unter Verwendung eines Fehlermodells fusioniert, welches den Sensoren zugeordnet ist. Das Fehlermodell, welches jedem Sensor zugeordnet ist, funktioniert meistens gut, allerdings stellt sich das den Sensoren zugeordnete Modell in machen speziellen Situationen als falsch heraus, und dies hat einen negativen Einfluss auf das Fusionsergebnis. Zum Beispiel können Messfehler der Kamera im Falle einer Neigung der Straße größer sein als durch das zugeordnete Fehlermodell spezifiziert. Weiterhin werden beim Tracking von Objekten Filter wie zum Beispiel ein Kalmanfilter verwendet, wobei üblicherweise eine solche Filterung eine zeitliche Verzögerung hervorruft. Somit kann sich, wenn diese Objekte verarbeitet werden, diese Verzögerung kumulieren, was ebenfalls zu großen Fehlern führen kann. Darüber hinaus wird, wenn ein Objekt getrackt wird, auch eine Geschwindigkeit, die diesem Objekt zugeordnet ist, geschätzt. Falls sich das Objekt zwischen dem vorhergehenden Zeitschritt und dem aktuellen Zeitschritt bewegt hat, wird die Geschwindigkeit als ungleich Null geschätzt. Dies kann jedoch ein Problem darstellen, da, auch wenn Objekte statisch sind, sie üblicherweise irgendwelchen kleinen Entfernungsfluktuationen unterliegen. Damit kann die Objektgeschwindigkeit, die geschätzt wird, falsch sein und statische Fahrzeuge werden fälschlicherweise als eine Relativgeschwindigkeit aufweisend erachtet, was dann irgendwelche Trajektorien erzeugen wird.
-
Daher ist es Aufgabe der vorliegenden Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein Fahrerassistenzsystem und ein Kraftfahrzeug bereitzustellen, welche es ermöglichen, mindestens einen Positionsparameter eines Objekts in einer Umgebung des Kraftfahrzeugs auf der Basis fusionierter Sensordaten in verlässlicherer Weise zu bestimmen.
-
Diese Aufgabe wird gelöst durch ein Verfahren, ein Computerprogrammprodukt, ein Fahrerassistenzsystem und ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
-
Im Zusammenhang mit der Erfindung wird ein Verfahren zum Bestimmen zumindest eines ersten Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs auf der Basis von fusionierten Sensordaten bereitgestellt, wobei erste Sensordaten betreffend das Objekt mittels mindestens eines ersten Sensors des Kraftfahrzeugs erfasst werden und zweite Sensordaten betreffend das Objekt mittels mindestens eines zweiten Sensors des Kraftfahrzeugs erfasst werden. Darüber hinaus werden die erfassten ersten und zweiten Sensordaten fusioniert und in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten der mindestens eine erste Positionsparameter des Objekts bestimmt. Darüber hinaus wird der mindestens eine erste Positionsparameter in Abhängigkeit von nur den ersten Sensordaten korrigiert und das Ergebnis als mindestens ein korrigierter erster Positionsparameter bereitgestellt.
-
Die Erfindung basiert auf der Erkenntnis, dass jede Art von Sensor seine Stärken und Schwächen mit Bezug auf die Bestimmung bestimmter Eigenschaften oder bestimmter Parameter von Objekten in einer Umgebung des Kraftfahrzeugs hat. Zum Beispiel können mittels eines LIDAR-Sensors Abstände zu Objekten auf hochgenaue Weise gemessen werden, während Geschwindigkeiten von Objekten zum Beispiel durch einen Radarsensor sehr genau gemessen werden können und andere Objektparameter können wiederum auf der Basis fusionierter Sensordaten auf verlässlichste Weise bestimmt werden. Daher kann zum Beispiel ein bestimmter Positionsparameter, der durch die Sensordatenfusion bereitgestellt wird, auf der Basis von denjenigen Sensordaten korrigiert werden, die von einem bestimmten Sensor oder bestimmten Sensortyp erfasst wurden, der dazu ausgelegt ist, diesen bestimmten Positionsparameter auf viel genauere und verlässlichere Weise zu erfassen als andere Sensoren oder sogar als die Sensordatenfusion. Daher können insbesondere die Stärken eines bestimmten Sensors mit Bezug auf die Messung eines bestimmten Positionsparameters gezielt verwendet werden, um das Ergebnis aus der Sensordatenfusion dieses spezifischen Positionsparameters zu korrigieren. Dies erlaubt es, die Vorteile, die von der Sensordatenfusion bereitgestellt werden, nämlich das Bereitstellen umfassender Informationen über die Umgebung und das Bereitstellen von zum Beispiel manch anderen Objektparametern auf sehr genaue und verlässliche Weise, mit spezifischen Stärken von mindestens einem Sensortyp mit Bezug auf Genauigkeit und Präzision der Messung von mindestens einem spezifischen Positionsparameter zu kombinieren. Daher können Positionsparameter von Objekten in der Umgebung eines Kraftfahrzeugs auf viel genauere und verlässliche Weise detektiert werden.
-
Im Allgemeinen stellt ein Positionsparameter einen Parameter dar, der von der Position des Objekts in der Umgebung des Kraftfahrzeugs abhängt. Diese Positionsparameter kann die Position des Objekts selbst darstellen, aber auch eine Geschwindigkeit des Objekts oder eine Beschleunigung oder irgendeine weitere zeitliche Ableitung der Position des Objekts. Darüber hinaus können neben dem mindestens einen ersten Positionsparameter des Objekts viel mehr Informationen über das Objekt und Eigenschaften des Objekts in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten bereitgestellt werden, zum Beispiel die räumliche Ausdehnung des Objekts, seine Bewegungsrichtung, seine Orientierung und auch eine Klassifikation eines solchen Objekts kann basierend auf den fusionierten ersten und zweiten Sensordaten durchgeführt werden, zum Beispiel eine Klassifikation der Art des Objekts. Weiterhin muss die Korrektur nicht für jeden bestimmten Parameter des Objekts durchgeführt werden. Insbesondere können nur solche Positionsparameter, für welche mittels zumindest eines der Sensoren des Kraftfahrzeugs sehr genaue Sensordaten bereitgestellt werden können, korrigiert werden. Darüber hinaus sind der erste Sensor und der zweite Sensor des Kraftfahrzeugs vorzugsweise als Sensoren eines verschiedenen Typs ausgebildet, insbesondere welche unterschiedliche Messprinzipien verwenden. Dadurch kann die Umgebung auf der Basis der erfassten Sensordaten auf umfassendste und genaueste Art und Weise beschrieben werden. Neben dem mindestens einen ersten Sensor, der vorzugsweise von einem ersten Sensortyp ist, und dem mindestens einen zweiten Sensor, der vorzugsweise von einem zweiten Sensortyp ist, der sich vom ersten Sensortyp unterscheidet, kann das Kraftfahrzeug auch weitere Sensoren von weiteren Sensortypen aufweisen, von welchen die Sensordaten fusioniert werden, insbesondere für einen korrespondierenden Zeitschritt, und auf deren Basis der mindestens eine erste Positionsparameter bestimmt wird. Im Allgemeinen werden zum Bereitstellen der ersten und der zweiten und optional weiterer Sensordaten mindestens zwei der folgenden Sensortypen verwendet: Ein Laserscanner, insbesondere ein LIDAR-Sensor, ein Radarsensor, eine Kamera, ein Ultraschallsensor. Auch mehrere Sensoren des gleichen Typs können verwendet werden. Der mindestens eine erste Sensor ist vorzugsweise ein LIDAR und/oder ein Radar, was besonders große Vorteile hat, was später beschrieben wird.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung weist der erste Sensor eine höhere Genauigkeit mit Bezug auf eine Bestimmung des mindestens einen ersten Positionsparameters auf als der mindestens eine zweite Sensor. Somit kann durch das Korrigieren des mindestens einen ersten Positionsparameters in Abhängigkeit von nur den ersten Sensordaten das Ergebnis am meisten verbessert werden, und vorteilhafterweise stimmt der mindestens eine korrigierte erste Positionsparameter genauer mit dem tatsächlichen Positionsparameter überein als der unkorrigierte erste Positionsparameter.
-
Darüber hinaus ist jedem des mindestens einen ersten und des mindestens einen zweiten Sensors eine Messgenauigkeit zugeordnet, insbesondere in Form eines Fehlermodells, wobei der mindestens eine erste Positionsparameter, welcher in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten bestimmt wird, in Abhängigkeit von jeder der Messgenauigkeiten ermittelt wird. Jede Messgenauigkeit in Form des besagten Fehlermodells kann durch den Hersteller der jeweiligen Sensoren bereitgestellt werden und daher vordefiniert sein. Ein solches Fehlermodell kann einen Fehlerbereich oder auch mehrere Fehlerbereiche in Abhängigkeit von der Richtung definieren. Zum Beispiel kann für jede Richtung im Raum ein korrespondierender Fehlerbereich für jeden Sensor definiert sein. Auch kann ein Fehlerbereich nur für zwei Richtungen im Raum definiert sein, da es in den meisten Fällen ausreichend ist, die Position oder andere Eigenschaften von Objekten in der horizontalen Ebene zu kennen, nämlich senkrecht zur Hochachse des Kraftfahrzeugs.
-
Wenn das fusionierte Objekt basierend auf den fusionierten Sensordaten berechnet wird, wie zum Beispiel das Bestimmen der fusionierten Position des Objekts, kann diese fusionierte Position derart bestimmt werden, dass die fusionierte Position mit jeweiligen von jedem Sensor bereitgestellten Positionen innerhalb der jeweiligen Fehlerbereiche übereinstimmt. Jedoch mag dies, zum Beispiel im Fall, dass eines der Fehlermodelle versagt, wie anfangs beschrieben, nicht immer möglich sein. Im Allgemeinen kann also die fusionierte Position oder irgendein anderer fusionierter Positionsparameter, als eine Art gewichtete Mittelung basierend auf den Sensordaten, die von jedem Sensor bereitgestellt werden, berechnet werden, wobei die Gewichte in Abhängigkeit von den jeweiligen Fehlermodellen bestimmt werden, sodass diejenigen Sensordaten, die eine höhere Genauigkeit aufweisen, stärker gewichtet werden. Dadurch können auf Basis einer solchen Datenfusion sehr gute und genaue Ergebnisse erzielt werden, zumindest in den meisten Fällen.
-
Gemäß einer sehr vorteilhaften Ausgestaltung der Erfindung stellt der mindestens eine erste Positionsparameter einen Abstand zwischen dem Kraftfahrzeug und dem Objekt dar. Wie anfangs beschrieben, kann in manchen speziellen Situationen das Fehlermodell, welches einem spezifischen Sensor zugeordnet ist, fehlschlagen, was in einer sehr ungenauen Bestimmung des Abstands des Objekts mit Bezug auf das Kraftfahrzeug basierend auf der Sensordatenfusion resultieren kann. Auch kumulierte Verzögerungen, die durch die Verwendung von Filtern begründet sind, schlagen sich in einer höheren Ungenauigkeit mit Bezug auf die Bestimmung des Abstands zwischen dem Objekt und dem Kraftfahrzeug nieder. Mit anderen Worten beeinflussen die meisten Probleme, die mit der Datenfusion einhergehen, die Genauigkeit des bestimmten Abstands zwischen dem Objekt und dem Kraftfahrzeug. So können gemäß dieser vorteilhaften Ausgestaltung der Erfindung diese Probleme durch Korrigieren des in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten berechneten Abstands überwunden werden.
-
Zu diesem Zweck ist es sehr vorteilhaft, wenn der erste Sensor einen Laserscanner aufweist, insbesondere einen LIDAR-Sensor. Mittels eines LIDAR-Sensors können die den Objekten in der Umgebung des Kraftfahrzeugs zugeordneten Abstandsinformationen in einer sehr genauen Art und Weise bereitgestellt werden. Weiterhin kann diese Genauigkeit kaum durch irgendwelche Umgebungsbedingungen beeinflusst werden, zum Beispiel wenn die Straße beispielsweise eine bestimmte Neigung hat. Somit kann der Abstand zum Objekt, der basierend auf den fusionierten Sensordaten berechnet wird, letztendlich auf Basis der Rohdaten, die vom LIDAR-Sensor oder LIDAR-Sensoren, im Falle, dass das Kraftfahrzeug mehrere LIDAR-Sensoren aufweist, die Sensordaten betreffend dasselbe Objekt bereitstellen, korrigiert werden.
-
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird eine erste Position des Objekts einschließlich einer ersten Position einer Begrenzung des Objekts, die dem Kraftfahrzeug zugewandt ist, in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten bestimmt, wobei die ersten Sensordaten in Form von Messpunkten bereitgestellt werden, die eine gemessene zweite Position der Objektbegrenzung relativ zum Kraftfahrzeug definieren, wobei die ermittelte erste Position des Objekts durch Verschieben der bestimmten ersten Position des Objekts derart, dass die erste Position der Begrenzung mit der gemessenen zweiten Position der Objektbegrenzung übereinstimmt, korrigiert wird. Auf diese Art und Weise kann oben genannte Abstandskorrektur durchgeführt werden. Unter Verwendung der Rohdaten des LIDAR-Sensors, ermöglichen somit die durch den LIDAR-Sensor bereitgestellten Messpunkte, die die Position der dem Kraftfahrzeug zugewandten Objektbegrenzung, insbesondere die dem LIDAR-Sensor zugewandte Objektbegrenzung, definieren, die Durchführung eines Angleichungsschritts, was besonders vorteilhaft ist, wenn das Abstandsfehlermodell, welches einem Kraftfahrzeugsensor zugeordnet ist, fehlschlägt. Dies erlaubt es auch, die Verzögerungen, die durch das Tracking erzeugt werden, zu kompensieren. Daher können nun auch sehr schwierige Situationen, die zu höherer Ungenauigkeit der Bestimmung von Objektparametern, insbesondere Positionsparametern, basierend auf den fusionierten Sensordaten, führen, in sehr genauer Art und Weise gehandhabt werden.
-
Dabei können die ersten Sensordaten in Form einer Belegungsgitterdarstellung bereitgestellt werden. Die Verwendung eines Belegungsgitters ist eine sehr geeignete Darstellung insbesondere für Sensordaten, die von einem LIDAR-Sensor bereitgestellt werden. Auch andere Sensordaten können vorteilhafterweise durch ein solches Belegungsgitter repräsentiert werden, wie diejenigen, die von einer Kamera, einem Radar und/oder einem Ultraschallsensor bereitgestellt werden. Jede Zelle eines solchen Gitters ist mit einem bestimmten Positionsbereich der Umgebung des Kraftfahrzeugs assoziiert und darüber hinaus kann jeder Zelle zumindest ein Zustand zugeordnet sein, welcher den jeweiligen Zellen basierend auf den erfassten Sensordaten zugeordnet wird. Derartige Zustände können zum Beispiel besetzt oder nicht besetzt sein, was bedeutet, dass zumindest ein Teil eines Objekts innerhalb desjenigen Positionsbereichs der Umgebung vorhanden ist, welcher einer bestimmten Zelle, die als besetzt klassifiziert wurde, zugeordnet ist, und dass kein Objekt in einem Positionsbereich der Umgebung vorhanden ist, der einer bestimmten Zelle, die als nicht besetzt klassifiziert wurde, zugeordnet ist. Ein weiterer möglicher jeder Zelle zugeordneter Zustand kann auch statisch, dynamisch oder unbekannt sein. Wenn ein Objekt an der bestimmten Position detektiert wurde und das Objekt als statisch oder dynamisch klassifiziert wurde oder nicht bezüglich seiner dynamischen Eigenschaften klassifiziert werden kann, dann können auch die korrespondierenden zugeordneten Zellen korrespondierend als statisch oder dynamisch oder unbekannt klassifiziert werden. Auch Geschwindigkeitsinformationen können jeder Zelle abhängig von den ermittelten Geschwindigkeiten von Objekten zugeordnet werden, die in Positionsbereichen, die mit den jeweiligen Zellen des Belegungsgitters assoziiert sind, detektiert wurden. Daher kann eine Vielzahl vorteilhafter Informationen über die Umgebung auf einfache Weise mittels eines Belegungsgitters repräsentiert werden.
-
Darüber hinaus wäre es, um oben beschriebene Abstandskorrektur durchzuführen, ausreichend, eine Belegungsgitterdarstellung der LIDAR-Sensordaten bereitzustellen, welche Positionsinformationen über Objekte in der Umgebung bereitstellen. Folglich sind Gitterzustände wie besetzt und nicht besetzt in ausreichend hoher räumlicher Auflösung ausreichend. Jedoch ist es besonders vorteilhaft, zusätzlich Geschwindigkeitsinformationen des Objekts mittels eines Radarsensors bereitzustellen, was im Folgenden beschrieben wird, und daher diese zusätzlichen Geschwindigkeitsinformationen in der Gitterdarstellung, insbesondere in Form oben beschriebener zusätzlicher Zustände statisch, dynamisch und unbekannt, einzuschließen.
-
Daher stellt gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung der mindestens eine erste Positionsparameter eine Geschwindigkeit des Objekts dar. Wie ebenfalls anfangs erklärt, werden, obwohl Objekte statisch sind, aufgrund kleiner Fluktuationen in den auf Basis der fusionierten Sensordaten ermittelten Abständen, diese Objekte fälschlicherweise als dynamisch klassifiziert und einer bestimmten Relativgeschwindigkeit zugeordnet. Dies kann nun vorteilhafterweise durch das Bereitstellen einer Korrektur der Geschwindigkeit des Objekts vermieden werden.
-
Für eine derartige Geschwindigkeitskorrektur werden vorzugsweise die Sensordaten von zumindest einem Radarsensor verwendet, da üblicherweise ein Radarsensor Geschwindigkeitsinformationen über Objekte mit sehr hoher Genauigkeit bereitstellen kann. Daher ist gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung der mindestens eine erste Sensor ein Radarsensor oder weist einen Radarsensor auf. Daher kann auch eine Klassifikation von Objekten mit Bezug auf ihre dynamischen Eigenschaften, nämlich ob sie statisch oder dynamisch sind, mit sehr hoher Verlässlichkeit und Genauigkeit bereitgestellt werden.
-
Eine derartige Geschwindigkeitskorrektur kann zum Beispiel wie folgt durchgeführt werden: Im Falle, dass die Geschwindigkeit des Objekts, die mittels des Radarsensors bestimmt wurde, gleich Null ist und im Falle, dass die Geschwindigkeit des Objekts, die in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten bestimmt wurde, von Null verschieden ist, wird dann die letztendlich korrigierte Geschwindigkeit des Objekts gleich Null gesetzt. Dies erlaubt eine sehr genaue und verlässliche Bestimmung dessen, ob ein Objekt statisch ist oder nicht. Diese vorteilhafte Ausgestaltung der Erfindung beruht auf der Erkenntnis, dass im Falle, dass sich ein Objekt bewegt und daher dynamisch ist, kleine Fluktuationen die Bestimmung der Geschwindigkeit basierend auf den fusionierten Sensordaten nicht so stark beeinträchtigen und insbesondere die korrekte Klassifikation als dynamische Objekte überhaupt nicht beeinflussen. Jedoch im Falle, dass ein Objekt statisch ist, können sogar kleine Fluktuationen eine falsche Klassifikation des Objekts als dynamisch verursachen. Daher kann durch die Isolierung der rohen Radarsensordaten um das fusionierte Objekt auf einfache Weise korrekt ermittelt werden, ob sich das Objekt bewegt oder nicht, und wenn basierend auf den Radarsensordaten bestimmt wird, dass sich das Objekt nicht bewegt, dann kann die absolute Geschwindigkeit dieses Objekts gleich Null gesetzt werden und sein Zustand kann gleich stillstehend oder anhaltend gesetzt werden, und somit können Fluktuationen in den Sensordaten nicht mehr zu einer falschen Klassifikation eines solchen Objekts führen. In anderen Fällen, wenn die Geschwindigkeit des Objekts, wie sie durch die fusionierten Sensordaten oder die Radarsensordaten bestimmt wurde, eindeutig von Null verschieden ist, muss dann keine Korrektur der Geschwindigkeit durchgeführt werden, obwohl auch in diesem Fall nichtsdestoweniger eine Geschwindigkeitskorrektur durchgeführt werden kann.
-
Die beschriebene Abstandskorrektur und die beschriebenen Geschwindigkeitskorrektur können auch kombiniert werden. Dies ist sehr vorteilhaft, da dann sehr genaue Abstandsinformationen und sehr genaue dynamische Informationen über detektierte Objekte in der Umgebung des Kraftfahrzeugs bereitgestellt werden können. Daher wird gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung zusätzlich zum mindestens einen ersten Positionsparameter zumindest ein zweiter Positionsparameter des Objekts in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten bestimmt und der mindestens eine zweite Positionsparameter in Abhängigkeit von nur den zweiten Sensordaten korrigiert und das Ergebnis als mindestens ein zweiter korrigierter Positionsparameter bereitgestellt. So kann beispielsweise der erste Positionsparameter der Abstand des Objekts zum Fahrzeug sein, der vorteilhafterweise durch Verwendung der rohen LIDAR-Sensordaten korrigiert werden kann, und der zweite Positionsparameter kann die Geschwindigkeit des detektierten Objekts sein, die vorteilhafterweise durch Verwendung der rohen Radarsensordaten korrigiert werden kann, insbesondere wie bereits oben beschrieben. Dadurch kann die Gesamtdetektionsgenauigkeit verbessert werden.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt mit Programmcode, der in einem computerlesbaren Medium gespeichert ist und der, wenn er durch einen Prozessor einer elektronischen Steuereinrichtung ausgeführt wird, den Prozessor dazu veranlasst, ein erfindungsgemäßes Verfahren oder eine seiner Ausführungsformen durchzuführen.
-
Die Erfindung betrifft auch ein Fahrerassistenzsystem zum Bestimmen zumindest eines ersten Positionsparameters eines Objekts in der Umgebung eines Kraftfahrzeugs auf der Basis von fusionierten Sensordaten, wobei das Fahrerassistenzsystem zumindest einen ersten Sensor aufweist, der dazu ausgelegt ist, erste Sensordaten betreffend das Objekt zu erfassen, und wobei das Fahrerassistenzsystem mindestens einen zweiten Sensor aufweist, der dazu ausgelegt ist, zweite Sensordaten betreffend das Objekt zu erfassen. Darüber hinaus weist das Fahrerassistenzsystem eine Steuereinheit auf, die dazu ausgelegt ist, die erfassten ersten und zweiten Sensordaten zu fusionieren und den mindestens einen ersten Positionsparameter des Objekts in Abhängigkeit von den fusionierten ersten und zweiten Sensordaten zu bestimmen. Darüber hinaus ist die Steuereinheit dazu ausgelegt, den mindestens einen ersten Positionsparameter in Abhängigkeit von nur den ersten Sensordaten zu korrigieren und das Ergebnis als korrigierten zumindest einen ersten Positionsparameter bereitzustellen.
-
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem gemäß der Erfindung oder einer ihrer Ausgestaltungen.
-
Die mit Bezug auf das erfindungsgemäße Verfahren oder seine Ausgestaltungen beschriebenen Vorteile gelten in gleicher Weise für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Kraftfahrzeug. Darüber hinaus ermöglichen die bevorzugten Ausführungsformen, die mit Bezug auf das erfindungsgemäße Verfahren beschrieben wurden, weitere vorteilhafte korrespondierende Ausführungsformen des erfindungsgemäßen Computerprogrammprodukts, des erfindungsgemäßen Fahrerassistenzsystems und des erfindungsgemäßen Kraftfahrzeugs.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs, insbesondere in einer Draufsicht, mit einem Fahrerassistenzsystem zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung des Kraftfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung;
- 2 eine schematische Darstellung eines Sensordatenfusionsprozesses, welcher durch eine Steuereinheit des Kraftfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung durchgeführt wird;
- 3 eine schematische Darstellung des Vorgangs des Korrigierens eines Positionsparameters, welcher basierend auf einem Ergebnis des Datenfusionsprozesses ermittelt wird, wobei in diesem Beispiel der Positionsparameter den bestimmten Abstand zwischen dem Kraftfahrzeug und dem Objekt darstellt, gemäß einem Ausführungsbeispiel der Erfindung;
- 4 eine schematische Darstellung des Vorgangs des Korrigierens eines Positionsparameters, der basierend auf einem Ergebnis des Datenfusionsprozesses ermittelt wird, wobei in diesem Beispiel der Positionsparameter die bestimmte Geschwindigkeit des Objekts darstellt, gemäß einem Ausführungsbeispiel der Erfindung; und
- 5 eine schematische Darstellung der Bestimmung von mindestens einem Positionsparameter des Objekts auf Basis der fusionierten Sensordaten und der Korrektur des Ergebnisses in Abhängigkeit von den Rohsensordaten, gemäß einem Ausführungsbeispiel der Erfindung.
-
1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1, insbesondere in einer Draufsicht, mit einem Fahrerassistenzsystem 2 zum Bestimmen zumindest eines Positionsparameters eines Objekts 3, welches in diesem Beispiel als weiteres Kraftfahrzeug 3, welches vor dem Kraftfahrzeug 1 fährt, ausgebildet ist, in einer Umgebung 4 des Kraftfahrzeugs 1 gemäß einem Ausführungsbeispiel der Erfindung. Zum Erfassen der Umgebung 4 einschließlich des voraus befindlichen Kraftfahrzeugs 3 weist das Fahrerassistenzsystem 2 des Kraftfahrzeugs 1 mehrere Sensoren von unterschiedlichen Sensortypen auf. In diesem Beispiel weist das Fahrerassistenzsystem 2 mehrere LIDAR-Sensoren 5 auf, mehrere Radarsensoren 6 und mehrere Kameras 7. Diese Sensoren 5, 6, 7 können derart am Kraftfahrzeug 1 angeordnet sein, dass die Umgebung in 360 Grad um das Kraftfahrzeug 1 erfasst werden kann, oder nur ein Unterbereich davon, insbesondere in einer horizontalen Ebene, die hier als die x-y-Ebene des Fahrzeugkoordinatensystems 8 dargestellt ist. Darüber hinaus weist das Fahrerassistenzsystem 2 eine Steuereinheit 9 auf. Die von den jeweiligen dieser Sensoren 5, 6, 7 erfassten Sensordaten werden an die Steuereinheit 9 übermittelt und von dieser Steuereinheit 9 verarbeitet. Die von den LIDAR-Sensoren 5 erfassten Sensordaten sind hier mit dem Bezugszeichen 16 bezeichnet, die von den Radarsensoren 6 erfassten Sensordaten sind mit dem Bezugszeichen 16 bezeichnet und die von den Kameras 7 erfassten Sensordaten sind mit dem Bezugszeichen 17 bezeichnet. Die Verarbeitung der erfassten Sensordaten 15, 16, 17, die von der Steuereinheit 9 durchgeführt wird, wird nun im Folgenden beschrieben.
-
2 zeigt eine schematische Darstellung eines Sensordatenfusionsprozesses, der von der Steuereinheit 9 gemäß einem Ausführungsbeispiel der Erfindung durchgeführt wird. Der Prozess beginnt in Schritt S1, der den Vorgang der Objekt-Assoziierung illustriert. In diesem Schritt S1 werden die Sensordaten 15, 16, 17 der verschiedenen Sensoren 5, 6, 7, die sich auf ein und dasselbe Objekt beziehen, in diesem Fall das vorausfahrende Kraftfahrzeug 3, assoziiert. In diesem hier dargestellten Beispiel sind die Sensordaten 15, 16, 17 von nur drei Sensoren 5, 6, 7 eines verschiedenen Typs dargestellt.
-
Dabei bezeichnet 3a das Detektionsergebnis von einer der Kameras 7, 3b das Detektionsergebnis von einem der Radarsensoren 6 und 3c das Detektionsergebnis von einem der LIDAR-Sensoren 5, insbesondere mit Bezug auf das Kraftfahrzeugkoordinatensystem 8. Diese Detektionsergebnisse 3a, 3b, 3c von jedem Sensor 5, 6, 7 können eine Vielzahl von Informationen über das detektierte Objekt 3 enthalten, wie die räumliche Ausdehnung des Objekts 3, dessen Position, seine Geschwindigkeit, seine Größe, und so weiter.
-
Weiterhin wird diese Objekt-Assoziierung auf der Basis von synchronisierten Sensordaten 15, 16, 17 durchgeführt, was bedeutet, dass die Sensordaten 15, 16, 17, die von den jeweiligen Sensoren 5, 6, 7 zu leicht unterschiedlichen Zeiten erfasst wurden, gemeinsamen Zeitschritten zugeordnet werden. Darüber hinaus ist jedem Sensor 5, 6, 7 ein korrespondierendes Fehlermodell zugeordnet. Basierend auf diesem Fehlermodell kann für jedem Messpunkt, der von jedem jeweiligen Sensor 5, 6, 7 gemessen wurde, ein korrespondierender Fehlerbereich in Schritt S2 definiert werden, wie in der Mitte in 2 dargestellt. Für jeden Sensor 5, 6, 7 ist ein repräsentativer Messpunkt P1, P2, P3 und der korrespondierende Fehlerbereich 10, 11, 12 dargestellt. Basierend auf diesen jeweiligen Messpunkten P1, P2, P3 wird ein fusionierter Punkt 13 berechnet, insbesondere wobei das jeweilige Fehlermodell berücksichtigt wird, welches hier durch die jeweiligen Fehlerbereiche 10, 11, 12 repräsentiert wird. Auch diesem Fusionspunkt 13 wird letztendlich ein korrespondierender Fehlerbereich 14 zugeordnet, welcher basierend auf den jeweiligen Fehlerbereichen 10, 11, 12 der jeweiligen Messpunkte P1, P2, P3 berechnet wird. Wie in 2 in Schritt S2 dargestellt, ist der resultierende Fehlerbereich 14 des fusionierten Punkts 13 viel kleiner als die jeweiligen Fehlerbereiche 10, 11, 12 der jeweiligen Messpunkte P1, P2, P3. Dies bedeutet, dass zumindest in den meisten Situationen die Genauigkeit und Verlässlichkeit der Detektion basierend auf den fusionierten Sensordaten 15, 16, 17 durch diese Sensordatenfusion verbessert werden kann. Eine derartige Sensordatenfusion, wie mit Bezug auf Schritt S2 beschrieben, kann mit all den verfügbaren Sensordaten 15, 16, 17, die sich auf das gleiche Objekt 3 beziehen und welche dem gleichen Zeitschritt zugeordnet sind, durchgeführt werden, was zu einem fusionierten Objekt 18 als Ausgabe in Schritt S3 führt.
-
In den meisten Fällen führt die Sensordatenfusion zu sehr guten Ergebnissen, das bedeutet, dass die Parameter des fusionierten Objekts 18 mit den realen Parametern des Objekts 3 sehr gut übereinstimmen. Jedoch gibt es auch manche inhärenten Probleme einer solchen Datenfusion, die zu einer höheren Ungenauigkeit mit Bezug auf die Positionsparameter, die basierend auf dem fusionierten Objekt 18 bestimmt werden, führen können. Zum Beispiel können eines oder mehrere Fehlermodelle, die den Sensoren 5, 6, 7 zugeordnet sind, fehlschlagen. Insbesondere das einer Kamera 7 zugeordnete Fehlermodell 10 schlägt im Falle, dass die Straße eine Neigung aufweist, fehl. Darüber hinaus führt die Verwendung von manchen Filtern, wie Kalmanfiltern, für ein Tracking zu einer zeitlichen Verzögerung, die kumuliert wird. Diese Probleme führen zu höheren Ungenauigkeiten zum Beispiel mit Bezug auf die Bestimmung des Abstands zwischen dem Objekt 3 und dem Kraftfahrzeug 1. Darüber hinaus können, insbesondere wenn sich das Objekt 3 nicht bewegt, kleine Fluktuationen im Abstand, der basierend auf dem fusionierten Objekt 18 bestimmt wurde, zu einer falschen Klassifikation dieses Objekts 3 als sich bewegend führen. Diese negativen Auswirkungen auf die Bestimmung des Abstands und der Klassifikation des Objekts 3 können vorteilhafterweise kompensiert werden, wie im Folgenden mit Bezug auf 3 und 4 beschrieben, die Verfahrensschritte S4, S5, S6, S7, die von der Steuereinheit 9 im Anschluss an die Verfahrensschritte S1, S2, S3 wie mit Bezug auf 2 beschrieben, durchgeführt werden, illustrieren.
-
3 zeigt eine schematische Darstellung des Vorgangs des Korrigierens eines Positionsparameters, welcher basierend auf dem fusionierten Objekt 18 bestimmt wird, wobei in diesem Beispiel der Positionsparameter den ermittelten Abstand zwischen dem Kraftfahrzeug 1 und dem Objekt 3 darstellt. 3 zeigt auf der linken Seite den Abstand d, der auf der Basis des fusionierten Objekts 18 bestimmt wurde. Dieser Abstand d wird nun zu einem Abstand d' in Abhängigkeit von den rohen Sensordaten 15, die von den LIDAR-Sensoren des Fahrerassistenzsystems 2 bereitgestellt werden, korrigiert. Diese Sensordaten 15 sind hier in Form einzelner Messpunkte dargestellt, die sich auf die Begrenzung 19 (vergleiche 1) des Kraftfahrzeugs 3 beziehen, die dem Kraftfahrzeug 1 zugewandt ist. Da angenommen werden kann, dass diese Messpunkte der Sensordaten 15, die von den LIDAR-Sensoren 5 bereitgestellt werden, hochgenau sind, kann in Schritt S5 ein Angleichungsschritt durchgeführt werden. Dabei wird das fusionierte Objekt 18 derart in seiner Position verschoben, dass die Begrenzung 20 des fusionierten Objekts 18, zum Beispiel im Mittel, mit den Messpunkten, die von den Sensordaten 15 der LIDAR-Sensoren 5 bereitgestellt werden, übereinstimmen. Dabei kann das fusionierte Objekt 18 als Ganzes verschoben werden, was in einem positionskorrigierten fusionierten Objekt 18`mit einem positionskorrigierten Abstand d' zum Kraftfahrzeug 1 resultiert. Alle oder zumindest manch andere Objektparameter, die basierend auf dem Fusionsergebnis ermittelt wurden, nämlich dem fusionierten Objekt 18, können unverändert bleiben, wie die räumliche Ausdehnung des fusionierten Objekts 18, seine Größe, seine Art oder andere optional bestimmte Parameter. Auch die ermittelte Geschwindigkeit oder deren Klassifikationen als statisch oder dynamisch können unverändert bleiben, jedoch ist es sehr vorteilhaft, die Geschwindigkeit als alternativen oder zusätzlichen Positionsparameter ebenfalls zu korrigieren, wie nun mit Bezug auf 4 beschrieben wird.
-
4 zeigt eine schematische Darstellung des Korrekturvorgangs zum Korrigieren der Geschwindigkeit des Objekts 3, die basierend auf dem fusionierten Objekt 18 gemäß einem Ausführungsbeispiel der Erfindung bestimmt wurde. Wie auf der linken Seite von 4 gezeigt, ist dem fusionierten Objekt 18 eine Geschwindigkeit v zugeordnet, die von 0 verschieden ist und die basierend auf den fusionierten Sensordaten 15, 16, 17 ermittelt wurde. Um die Korrektur durchzuführen, werden zunächst in Schritt S6 die Rohdaten 16 des Radarsensors 6, insbesondere die Rohsensordaten 16 um das fusionierte Objekt 18, isoliert und basierend auf diesen Sensordaten 16 wird die Geschwindigkeit des Objekts 3 bestimmt, was in einer sehr genauen Art und Weise erfolgen kann. Im Fall, dass basierend auf den Sensordaten 16 des Radarsensors 6 bestimmt wird, dass sich das Objekt 3 nicht bewegt, dann wird die Geschwindigkeit v des fusionierten Objekts 18 zu einer Geschwindigkeit v' von 0 im Schritt S7 korrigiert, wie auf der rechten Seite in 4 dargestellt. Die Auflösung der Radardaten ist extrem verlässlich und erlaubt daher, statische von dynamischen Rohdaten zu unterscheiden. Durch Isolieren der Rohdaten um das fusionierte Objekt 18 kann sehr genau bestimmt werden, ob sich das Objekt 3 bewegt oder nicht, und falls nicht, kann die absolute Geschwindigkeit des Objekts 3 gleich Null gesetzt werden und der Klassifikationszustand des Objekts 3 kann stillstehend oder anhaltend oder statisch gesetzt werden. Diese Geschwindigkeitskorrektur kann alternativ oder zusätzlich zur Abstandkorrektur, wie mit Bezug auf 3 beschrieben, durchgeführt werden. Weiterhin kann die Geschwindigkeitskorrektur vor der Abstandskorrektur, zeitlich nach der Abstandskorrektur oder gleichzeitig mit der Abstandskorrektur durchgeführt werden. Zusammenfassend kann eine Art hybride Architektur bereitgestellt werden, die fusionierte Sensordaten einerseits und Rohdaten von zumindest einem einzelnen Sensor andererseits nutzt, was weiterhin in 5 dargestellt ist.
-
5 zeigt eine weitere schematische Darstellung der Bestimmung von mindestens einem Positionsparameter des Objekts 3 auf der Basis der fusionierten Sensordaten 15, 16, 17 und der Korrektur des Ergebnisses in Abhängigkeit von den Rohsensordaten 15, 16, 17 gemäß einem Ausführungsbeispiel der Erfindung. Hier stellen wiederum die jeweiligen Sensoren 5, 6, 7, die von einem unterschiedlichen Sensortyp sind, korrespondierende Sensordaten 15, 16, 17 bereit. Diese Sensordaten 15, 16, 17 können in Form einer korrespondierenden Objektliste bereitgestellt werden, wie die Detektionsergebnisse 3a, 3b, 3c, wie in 2 dargestellt, oder solche Objektlisten können auf Basis der jeweiligen Sensordaten 15, 16, 17 erstellt werden. Diese Sensordaten 15, 16, 17 oder die Objektlisten werden dann in einem Fusionsprozess, wie zuvor beschrieben, fusioniert, dessen Ausgang das fusionierte Objekt 18 mit assoziierten Positionsparametern, wie dem Abstand d zum Kraftfahrzeug 1 und der Geschwindigkeit v des Objekts 3, darstellt. Diese Positionsparameter d, v können nun vorteilhafterweise unter Verwendung der jeweiligen Sensorrohdaten 15, 16, 17 korrigiert werden.
-
Diese Sensorrohdaten 15, 16, 17 können in Form eines Belegungsgitters 21 repräsentiert werden. Solch ein statisches Belegungsgitter 21 ist besonders vorteilhaft zur Darstellung der Freirauminformation, die von der Kamera 7 in Form der jeweiligen Kamerasensordaten 17 bereitgestellt wird, der Rohdaten 15 des einen oder der mehreren LIDAR-Sensoren 5 sowie der Rohdaten 16 des Radarsensors 6 oder der Radarsensoren 6. Dieses Belegungsgitter 21 kann nun vorteilhafterweise als Eingang für den Datenkorrekturprozess dienen.
-
Somit kann vorteilhafterweise zum Beispiel eine Abstandskorrektur unter Verwendung der Rohdaten 15, die von dem einen oder den mehreren LIDAR-Sensoren 5 bereitgestellt werden, durchgeführt werden, wobei der Abstand d, wie dieser aus dem fusionierten Objekt 18 bestimmt wurde, zum korrigierten Abstand d' als letztendliches Ergebnis korrigiert werden. In gleicher Weise kann auch die Geschwindigkeit v als Ergebnis der Objektfusion auf Basis der Radardaten 16 zur korrigierten Geschwindigkeit v' als letztendliches Ergebnis korrigiert werden. Schließlich kann ein korrigiertes fusioniertes Objekt 18' bereitgestellt werden, welches jeweilige korrigierte Objektparameter aufweist, insbesondere die korrigierten Positionsparameter d' und v'. Dieses Ergebnis kann nun vorteilhafterweise verwendet werden, um eine oder mehrere Fahrerassistenzfunktionen auszuführen, zum Beispiel eine adaptive Geschwindigkeitsregelungsfunktion oder sogar eine vollautomatisierte Fahrfunktion.
-
Zusammenfassend ermöglichen die Erfindung oder ihre Ausführungsformen vorteilhafterweise, die inhärenten Probleme mit Bezug auf die Fusion von Objekten unter Verwendung der Rohdaten aus dem LIDAR und/oder Radar als Eingang, auf deren Basis das Fusionsergebnis korrigiert werden kann, zu lösen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017/0285161 A1 [0003]
- US 8799201 B2 [0004]
