-
Die Erfindung betrifft ein Verfahren zur Online-Kalibrierung von Sensorinformationen eines Fahrzeugs sowie ein Fahrassistenzsystem.
-
Für das autonome Fahren ist eine möglichst sichere Umfeldwahrnehmung unabdinglich. Dabei wird das Umfeld mit Hilfe von Sensoren unterschiedlicher Sensortypen, wie beispielsweise zumindest einem Radarsensor, einer oder mehrerer Kameras und vorzugsweise auch zumindest einem LIDAR-Sensor erfasst. Bevorzugt ist eine ganzheitliche 360°-3D-Erfassung der Umwelt, so dass alle statischen und dynamischen Objekte im Fahrzeugumfeld erfasst werden können.
-
Um die sichere Umfelderfassung zu gewährleisten, ist insbesondere eine präzise Kalibrierung der Sensoren untereinander erforderlich. Dabei ist eine permanente Überwachung des Kalibrierzustands der Sensorsysteme, sowie eine - falls notwendig - Neukalibrierung während der Fahrt für hochautomatisierte Fahrfunktionen unabdingbar, da sonst ein Ausfall der autonomen Fahrfunktion resultieren würde.
-
In bekannten Verfahren werden Sensoren einzeln relativ zu einem Fixpunkt des Fahrzeugs kalibriert, jedoch wird nicht das gesamte Set von Sensoren relativ zueinander kalibriert. Dies hat den Nachteil, dass häufig die für automatische Fahrfunktionen erforderliche Präzision nicht erreicht werden kann.
-
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs anzugeben, das eine zuverlässige und hochgenaue Online-Sensorkalibrierung, d.h. eine Kalibrierung von Sensorinformationen unterschiedlicher Sensortypen relativ zueinander während der Fahrt des Fahrzeugs ermöglicht.
-
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein Fahrassistenzsystem ist Gegenstand des nebengeordneten Patentanspruchs 15.
-
Gemäß einem ersten Aspekt bezieht sich die Erfindung auf ein Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs. Das Fahrzeug weist zumindest einen Sensor eines ersten Sensortyps und zumindest einen Sensor eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps auf. Hierbei bedeutet „unterschiedlicher Sensortyp“, dass die Sensoren unterschiedliche Verfahren bzw. Technologien zur Umfelderfassung nutzen, beispielsweise Erfassung des Umfelds basierend auf unterschiedlichen Arten von elektromagnetischen Wellen (Radar, Lidar, Ultraschall, sichtbares Licht etc.).
-
Das Verfahren umfasst die folgenden Schritte:
- Zunächst wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps erfasst. Dabei werden erste Sensorinformationen durch diesen Sensor des ersten Sensortyps bereitgestellt.
-
Ebenso wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps erfasst. Dabei werden zweite Sensorinformationen durch diesen Sensor des zweiten Sensortyps bereitgestellt. Die Erfassung der ersten und zweiten Sensorinformationen kann zeitgleich oder zumindest zeitweise mit einem zeitlichen Überlapp erfolgen. Es versteht sich, dass sich die ersten und zweiten Sensorinformationen zumindest teilweise auf den gleichen Umgebungsbereich beziehen und damit zumindest teilweise den gleichen Erfassungsbereich haben.
-
Anschließend wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen erzeugt. Die erste dreidimensionale Repräsentation von Umgebungsinformationen ist insbesondere eine 3D-Punktwolke, die die Fahrzeugumgebung basierend auf einer Vielzahl von Punkten im dreidimensionalen Raum wiedergibt.
-
Zudem wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen erzeugt. Die zweite dreidimensionale Repräsentation von Umgebungsinformationen ist wiederum insbesondere eine 3D-Punktwolke, die die Fahrzeugumgebung basierend auf einer Vielzahl von Punkten im dreidimensionalen Raum wiedergibt.
-
Anschließend wird die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen oder daraus abgeleitete Informationen verglichen. Unter „Vergleichen“ im Sinne der vorliegenden Offenbarung wird insbesondere verstanden, dass die erste und zweite dreidimensionale Repräsentation zueinander in Bezug gesetzt wird, um die Deckungsgleichheit der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen prüfen zu können. Dies kann insbesondere ein Ermitteln von miteinander korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen bedeuten. Unter „daraus abgeleiteter Informationen“ werden jegliche Informationen verstanden, die aus der ersten und zweiten dreidimensionalen Repräsentation durch jegliche Art von Datenverarbeitung erhalten werden können, beispielsweise durch Datenreduktion, Filterung etc.
-
Daraufhin werden Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen bestimmt. Insbesondere kann geprüft werden, ob es zwischen der Vielzahl von korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation insgesamt eine Abweichung gibt, die sich auf eine nicht korrekte Kalibrierung der Sensoren zurückführen lässt. So kann beispielsweise ein Versatz von korrespondierenden Bereichen in der ersten und zweiten dreidimensionalen Repräsentation, der mit der Entfernung zum Fahrzeug wächst, aus einer nicht korrekten Kalibrierung im Roll-, Nick- und/oder Gier-Winkel eines Sensors resultieren.
-
Nach der Bestimmung der Abweichungen werden Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors basierend auf den ermittelten Abweichungen berechnet. Die Korrekturinformationen können insbesondere einen Hinweis darauf geben, wie die Kalibrierung eines oder mehrerer Sensoren verändert werden müssen, um eine verbesserte Deckungsgenauigkeit der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen zu erreichen.
-
Zuletzt erfolgt ein Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen. Das Kalibrieren der Sensoren umfasst insbesondere eine softwareseitige Kalibrierung, d.h. die von einem oder mehreren Sensoren bereitgestellten Sensorinformationen werden derart auf Basis der Korrekturinformationen angepasst, dass eine verbesserte Überdeckung der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen erreicht wird.
-
Es versteht sich, dass auch die Kalibrierung von Sensoren von mehr als zwei unterschiedlichen Sensortypen basierend auf dem vorgeschlagenen Verfahren möglich ist.
-
Der technische Vorteil des vorgeschlagenen Verfahrens besteht darin, dass durch die Überführung von mehreren unterschiedlichen Sensorinformationen in eine dreidimensionale Repräsentation von Umgebungsinformationen die Sensorinformationen untereinander vergleichbar werden und dabei eine Online-Kalibrierung der Sensoren basierend auf Umgebungsinformationen möglich wird, die während der Fahrt des Fahrzeugs gewonnen werden. Dadurch lässt sich eine hochgenaue Kalibrierung der Sensoren erreichen, die für eine sichere und präzise Umgebungserfassung für autonome Fahrfunktionen des Fahrzeugs nötig ist.
-
Gemäß einem Ausführungsbeispiel sind die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen zeitdiskrete Informationen. In anderen Worten stellen die Sensoren keine zeitkontinuierlichen Informationen bereit, sondern liefern Umgebungsinformationen zu diskreten Zeitpunkten, beispielsweise mit einer bestimmten Taktrate. Vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen erfolgt eine zeitliche Synchronisierung der Informationen zueinander. Dadurch kann erreicht werden, dass Deckungsungenauigkeiten zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen, die aufgrund eines zeitlichen Versatzes der Umgebungsinformationen durch die verschiedenen Sensoren beispielsweise durch unterschiedliche Taktrate bzw. unterschiedliche Erfassungszeitpunkte entstehen, reduziert werden.
-
Für den Fall, dass keine zeitliche Synchronisierung der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen möglich ist, kann vor dem Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen eine Interpolation von Informationen zwischen zwei Zeitschritten der zeitdiskreten Informationen erfolgen. Dadurch können Zwischenwerte von Sensorinformationen bzw. dreidimensionalen Repräsentationen von Umgebungsinformationen zwischen zwei aufeinanderfolgenden Zeitschritten erhalten werden, mittels denen eine verbesserte Deckungsgenauigkeit erreicht werden kann.
-
Gemäß einem Ausführungsbeispiel werden jeweils erste und zweite dreidimensionale Repräsentationen von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen und Abweichungen zwischen diesen ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen zur Berechnung der Korrekturinformationen verwendet. Insbesondere wird geprüft, ob es bei der Vielzahl von Abweichungen, die zwischen korrespondierenden Informationen in den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen bestehen, solche Abweichungen ermittelt werden können, die auf einen Kalibrierungsfehler eines oder mehrerer Sensoren zurückzuführen sind. Wenn solche Abweichungen festgestellt werden, kann versucht werden, die Kalibrierung eines oder mehrerer Sensoren derart anzupassen, dass die Abweichungen reduziert werden, d.h. die Deckungsgenauigkeit der ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen erhöht wird.
-
Gemäß einem Ausführungsbeispiel erfolgt die Berechnung der Korrekturinformationen zu Kalibrierparametern iterativ, und zwar derart, dass in mehreren Iterationsschritten jeweils zumindest eine erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen, die die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden, Korrekturinformationen berechnet und nach Anwendung der Korrekturinformationen auf die Kalibrierparameter zumindest eines Sensors Informationen über die Deckungsgleichheit der ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen ermittelt werden. Dadurch kann iterativ die Kalibrierung der Sensoren verbessert werden.
-
Gemäß einem Ausführungsbeispiel werden in den aufeinander folgenden Iterationsschritten die Korrekturinformationen derart iterativ verändert, dass der Deckungsgleichheitsfehler zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen reduziert wird. Beispielsweise werden nach der Ermittlung von Korrekturinformationen in einem Iterationsschritt die Korrekturinformationen angewendet und damit die Sensorkalibrierung geändert. Daraus entsteht vorzugsweise eine modifizierte erste und/oder zweite dreidimensionale Repräsentation von Umgebungsinformationen, die hinsichtlich Deckungsgleichheit geprüft wird. Dieser Zyklus wird mehrmals durchlaufen, bis ein Abbruchkriterium erreicht ist. Dadurch lässt sich iterativ die Sensorkalibrierung verbessern.
-
Gemäß einem Ausführungsbeispiel wird zur Reduzierung des Deckungsgleichheitsfehlers ein Minimierungsverfahren oder ein Optimierungsverfahren angewandt wird. Ein Beispiel hierfür ist der Iterative Closest Point-Algorithmus. Bei der Durchführung des Algorithmus wird beispielsweise versucht, die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen mittels Rotation und Translation möglichst gut miteinander in Deckung zu bringen. Beispielsweise werden miteinander korrespondierende Punkte der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen bestimmt und anschließend wird beispielsweise die Summe der Quadrate der Abstände über alle diese Punktepaare gebildet. Damit wird ein Gütekriterium bzgl. der Übereinstimmung zwischen den dreidimensionalen Repräsentationen von Umgebungsinformationen bzw. den 3D-Punktwolken erhalten. Das Ziel des Algorithmus ist es, dieses Gütekriterium durch die Veränderung der Transformationsparameter (d.h. Parameter zur Rotation und Translation) zu minimieren. Dadurch kann die Deckungsgleichheit der durch unterschiedliche Sensoren ermittelten dreidimensionalen Repräsentationen von Umgebungsinformationen sukzessive verbessert werden.
-
Gemäß einem Ausführungsbeispiel erfolgt die Berechnung von Korrekturinformationen zu Kalibrierparametern mittels mehrerer erster und zweiter dreidimensionaler Repräsentationen von Umgebungsinformationen, die zu unterschiedlichen Zeitpunkten ermittelt wurden, und zwar derart, dass mehrere Paare von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, wobei die Umgebungsinformationen eines Paares jeweils die Fahrzeugumgebung zum gleichen Zeitpunkt wiedergeben, miteinander verglichen werden und Korrekturinformationen berechnet werden. Durch den Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen über mehrere Zeitpunkte hinweg lässt sich die Genauigkeit der Sensorkalibrierung weiter erhöhen.
-
Gemäß einem Ausführungsbeispiel ist der Sensor des ersten Sensortyps eine Kamera. Die Kamera kann insbesondere dazu ausgebildet sein, zweidimensionale Bilder zu erzeugen. Es können auch mehrere Sensoren des ersten Sensortyps vorgesehen sein, um einen größeren Bereich der Umgebung des Fahrzeugs zu erfassen. Insbesondere kann mittels der Sensoren des ersten Sensortyps eine 360°-Darstellung der Umgebung, d.h. eine Rundumsichtdarstellung in einer horizontalen Ebene erzeugt werden.
-
Gemäß einem Ausführungsbeispiel ist die Kamera eine monokulare Kamera und aus den Bildinformationen, die durch die Kamera bereitgestellt werden, werden dreidimensionale Repräsentationen von Umgebungsinformationen aus Einzelbildern oder einer Sequenz von zeitlich aufeinanderfolgenden zweidimensionalen Bildern berechnet.
-
Hierbei kann beispielsweise ein structure-from-motion-Verfahren, ein shape-from-focus-Verfahren oder ein shape-from-shading-Verfahren verwendet werden. Alternativ kann auch eine Tiefenschätzung mittels neuronaler Netze erfolgen. Dadurch können Tiefeninformationen zu den zweidimensionalen Bildinformationen der Kamera gewonnen werden, die für die Erzeugung dreidimensionaler Repräsentationen von Umgebungsinformationen herangezogen werden. Structure-from-motion-Verfahren gehen hierbei in der Regel von einer statischen Umgebung aus.
-
Alternativ können eine oder mehrere Stereokameras verwendet werden, um Tiefeninformationen zu den zweidimensionalen Bildinformationen zu erhalten.
-
Gemäß einem Ausführungsbeispiel erfolgt basierend auf einer Sequenz von zeitlich aufeinanderfolgenden Bildinformationen mindestens einer Kamera, insbesondere zweidimensionalen Bildinformationen, eine Segmentierung von in den Bildinformationen enthaltenen bewegten Objekten und eine Schätzung von dreidimensionaler Struktur und Relativbewegungen der segmentierten Objekte und der stationären Umgebung, etwa unter Verwendung des Verfahrens aus Patentanmeldung
DE 10 2019 208 216 A1 . Dadurch können Segmentierungs- und Strukturinformationen auch in dynamischen Umgebungen mit hoher Genauigkeit ermittelt werden. Die ermittelten Informationen zu den Relativbewegungen der Umgebung und der bewegten Objekte können vorteilhaft einfließen in die Synchronisation der dreidimensionalen Repräsentationen aller Objekte, bzw. Interpolation zwischen zwei Zeitschritten, was zu einer höheren Genauigkeit bei der Ermittlung der Korrekturinformationen für die Kalibrierparameter führt.
-
Gemäß einem Ausführungsbeispiel ist der Sensor des zweiten Sensortyps ein Radarsensor oder ein LIDAR-Sensor.
-
Gemäß einem Ausführungsbeispiel werden aus den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen bewegte Objekte ausgefiltert, so dass die Berechnung der Korrekturinformationen ausschließlich basierend auf stationären Objekten erfolgt. Durch die Ausfilterung der bewegten Objekte kann die Genauigkeit der Sensorkalibrierung erhöht werden, da bei stationären Objekten aus der Abweichung zwischen den ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen direkt auf die Kalibrierungenauigkeiten zwischen den Sensoren geschlossen werden kann.
-
Gemäß einem anderen Ausführungsbeispiel werden die Korrekturinformationen basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich stationäre Objekte enthalten und basierend auf einem Vergleich von ersten und zweiten dreidimensionalen Repräsentationen von Umgebungsinformationen, die lediglich bewegte Objekte enthalten, berechnet. Dadurch können neben den stationären Objekten auch bewegte Objekte für die Berechnung von Korrekturinformationen zur Sensorkalibrierung verwendet werden. Zu den bewegten Objekten sollten vorzugsweise jedoch Bewegungsinformationen, beispielsweise die Trajektorie bzw. die Geschwindigkeit bekannt sein, um die Bewegung der Objekte bei der Berechnung der Korrekturinformationen kompensieren zu können.
-
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Fahrassistenzsystem für ein Fahrzeug. Das Fahrassistenzsystem weist einen Sensor eines ersten Sensortyps und zumindest einen Sensor eines zweiten, vom ersten Sensortyp unterschiedlichen Sensortyps auf. Das Fahrassistenzsystem ist dazu ausgebildet, die folgenden Schritte zu vollziehen:
- - Erfassen der Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps und Bereitstellen von ersten Sensorinformationen durch diesen Sensor des ersten Sensortyps;
- - Erfassen der Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps und Bereitstellen von zweiten Sensorinformationen durch diesen Sensor des zweiten Sensortyps;
- - Erstellen einer ersten dreidimensionalen Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen;
- - Erstellen einer zweiten dreidimensionalen Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen;
- - Vergleichen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen;
- - Bestimmen von Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen;
- - Berechnen von Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors basierend auf den ermittelten Abweichungen;
- - Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen.
-
Unter „dreidimensionale Repräsentation von Umgebungsinformationen“ wird jegliche Darstellung von Umgebungsinformationen in einem dreidimensionalen Koordinatensystem verstanden, beispielsweise eine diskrete räumliche Darstellung von Objektbereichen im dreidimensionalen Raum.
-
Unter dem Begriff „3D-Punktwolke“ im Sinne der vorliegenden Offenbarung wird eine Menge von Punkten im dreidimensionalen Raum verstanden, wobei jeder Punkt angibt, dass sich an der Stelle, an der sich der Punkt im dreidimensionalen Raum befindet, ein Objektbereich befindet.
-
Unter dem Begriff „Sensortyp“ im Sinne der vorliegenden Offenbarung wird eine Sensorgattung verstanden, die Umgebungsinformationen mittels auf einem vorgegebenen Erfassungsprinzip ermittelt. Sensortypen können beispielsweise Kameras, Radarsensoren, LIDAR-Sensoren, Ultraschallsensoren etc. sein.
-
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
-
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
-
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
- 1 beispielhaft eine schematische Darstellung eines Fahrzeugs mit einem Fahrassistenzsystem, das eine Vielzahl von Sensoren unterschiedlicher Sensortypen zum Erfassung der Umgebung des Fahrzeugs aufweist;
- 2 beispielhaft ein Ablaufdiagramm zur Veranschaulichung von Verfahrensschritten zur Kalibrierung von Sensorinformationen einer Kamera und Sensorinformationen eines Radars und/oder LIDARS; und
- 3 beispielhaft eine schematische Darstellung der Verfahrensschritte zur Online-Kalibrierung von Sensorinformationen unterschiedlicher Sensortypen.
-
1 zeigt beispielhaft und schematisch ein Fahrzeug 1 mit einem Fahrassistenzsystem, das eine Umfelderfassung mittels einer Vielzahl von Sensoren 2, 3, 4 unterschiedlicher Sensortypen ermöglicht. Zumindest ein Teil der Sensoren 2, 3, 4 ermöglicht eine Rundum-Umfelderfassung (360°-Umfelderfassung).
-
Das Fahrzeug 1 umfasst insbesondere zumindest einen Sensor 2 eines ersten Sensortyps, der ein Radarsensor ist. Der erste Sensortyp basiert damit auf dem Radarprinzip. Der Sensor 2 kann beispielsweise im Frontbereich des Fahrzeugs vorgesehen sein. Es versteht sich, dass mehrere Sensoren 2 des ersten Sensortyps um das Fahrzeug 1 herum verteilt vorgesehen sein können, beispielsweise im Frontbereich, im Heckbereich und/oder in den Seitenbereichen des Fahrzeugs 1. Der zumindest eine Sensor 2 des ersten Sensortyps erzeugt erste Sensorinformationen. Dies sind beispielsweise die von einem Radarsensor bereitgestellten Rohinformationen. Aus diesen ersten Sensorinformationen wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen erzeugt. Dies kann insbesondere eine 3D-Punktwolke sein. Für den Fall, dass mehrere Sensoren 2 des ersten Sensortyps verwendet werden, kann die erste dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 2 erzeugt werden.
-
Das Fahrzeug 1 umfasst des Weiteren zumindest einen Sensor 3 eines zweiten Sensortyps, der eine Kamera ist. Der zweite Sensortyp ist damit vom Typ „Kamera“, d.h. ein bildaufnehmender Sensor. Der Sensor 3 kann beispielsweise im Windschutzscheibenbereich des Fahrzeugs 1 vorgesehen sein. Es versteht sich, dass mehrere Sensoren 3 des zweiten Sensortyps um das Fahrzeug 1 herum verteilt vorgesehen sein können, beispielsweise im Frontbereich, im Heckbereich und/oder in den Seitenbereichen des Fahrzeugs 1. Der zumindest eine Sensor 3 des zweiten Sensortyps erzeugt zweite Sensorinformationen. Dies sind beispielsweise die von einer Kamera bereitgestellten Bildinformation. Die Kamera kann zweidimensionale Bildinformationen der Umgebung bereitstellen, d.h. die Bildinformationen enthalten keine Tiefeninformation. In diesem Falle können die zweiten Sensorinformationen weiterverarbeitet werden, und zwar derart, dass aus der Änderung der Bildinformationen in aufeinanderfolgenden Bildern einer Bildsequenz Tiefeninformationen zu den Bildinformationen erhalten werden. Hierzu können dem Fachmann bekannte Verfahren verwendet werden, die räumliche Zusammenhänge aus zweidimensionalen Bildsequenzen erzeugen. Beispiele hierfür sind das structure-from-motion-Verfahren, das shape-from-focus-Verfahren oder das shape-from-shading-Verfahren. Auch eine Tiefenschätzung mittels neuronaler Netze ist grundsätzlich denkbar. Für den Fall, dass die Kamera eine Stereokamera ist, können die zweiten Sensorinformationen auch direkt dreidimensionale Informationen sein, d.h. zu einem Teil der Pixel oder zu jedem Pixel des Bildes auch Tiefeninformationen aufweisen. Aus diesen zweiten Sensorinformationen wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen erzeugt. Dies kann insbesondere eine 3D-Punktwolke sein. Für den Fall, dass mehrere Sensoren 3 des zweiten Sensortyps verwendet werden, kann die zweite dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 3 erzeugt werden.
-
Das Fahrzeug 1 umfasst vorzugsweise auch zumindest einen Sensor 4 eines dritten Sensortyps, der ein LIDAR-Sensor ist. Der dritte Sensortyp basiert damit auf dem LIDAR-Prinzip. Der Sensor 4 kann beispielsweise im Dachbereich des Fahrzeugs 1 vorgesehen sein. Es versteht sich, dass mehrere Sensoren 4 des dritten Sensortyps am Fahrzeug 1 verteilt vorgesehen sein können. Der zumindest eine Sensor 4 des dritten Sensortyps erzeugt dritte Sensorinformationen. Dies sind beispielsweise die von einem LIDAR-Sensor bereitgestellten Rohinformationen. Aus diesen dritten Sensorinformationen wird eine dritte dreidimensionale Repräsentation von Umgebungsinformationen erzeugt, sofern die dritte Sensorinformation nicht schon eine solche bereitstellt. Dies kann insbesondere eine 3D-Punktwolke sein. Für den Fall, dass mehrere Sensoren 4 des dritten Sensortyps verwendet werden, kann die dritte dreidimensionale Repräsentation von Umgebungsinformationen basierend auf Sensorinformationen von mehreren oder allen dieser Sensoren 4 erzeugt werden.
-
Das Fahrzeug umfasst des Weiteren eine Recheneinheit 5, die dazu ausgebildet ist, die von den Sensoren 2, 3, 4 bereitgestellten Daten weiterzuverarbeiten. Die Recheneinheit kann, wie in 1 dargestellt, eine zentrale Recheneinheit sein oder es können mehrere dezentrale Recheneinheiten vorgesehen sein, so dass Teilaufgaben des nachfolgend beschriebenen Verfahrens verteilt auf mehreren Rechnereinheiten durchgeführt werden.
-
2 zeigt ein Ablaufdiagramm, das die Verfahrensschritte des Verfahrens zur Kalibrierung von Sensorinformationen unterschiedlicher Sensoren 2, 3, 4 relativ zueinander veranschaulicht.
-
In Schritt S10 werden Sensorinformationen zumindest eines Radarsensors und/oder zumindest eines LIDAR-Sensors empfangen.
-
Wenn Radar- und LIDAR-Sensoren vorhanden sind, werden für jeden Sensortyp getrennt zunächst die Sensorinformationen bereitgestellt.
-
Falls diese Sensoren nicht bereits eine dreidimensionale Repräsentation von Umgebungsinformationen, insbesondere eine 3D-Punktwolke bereitstellen, wird aus den Sensorinformationen eine solche gebildet. Wenn Radar- und LIDAR-Sensoren vorhanden sind, wird für jeden Sensortyp getrennt eine dreidimensionale Repräsentation von Umgebungsinformationen, insbesondere eine 3D-Punktwolke bereitgestellt. Die 3D-Punktwolken können durch Sensorinformationen eines einzigen Sensors oder durch Zusammenführen von Sensorinformationen mehrerer Sensoren gleichen Sensortyps gebildet werden.
-
Vorzugsweise erfolgt in Schritt S11 bei der 3D-Punktwolke, die aus den Sensorinformationen des Radarsensors gewonnen wurde, und -falls vorhanden- aus der 3D-Punktwolke, die aus den Sensorinformationen des LIDAR-Sensors gewonnen wurde, eine Trennung nach statischen und dynamischen Inhalten. Dies bedeutet insbesondere, dass für jeden Sensortyp jeweils eine erste 3D-Punktwolke, die lediglich statische Objekte enthält, und eine zweite 3D-Punktwolke, die lediglich bewegte Objekte enthält, erstellt werden. Dadurch ist es möglich, getrennte Korrekturinformationen zu den Kalibrierungsparametern aus statischen Objekten und bewegten Objekten zu erzeugen.
-
Zudem werden in Schritt S12 zweite Sensorinformationen von einer Kamera empfangen. Aus zweiten Sensorinformationen wird in Schritt S13 eine 3D-Punktwolke erzeugt.
-
Beispielsweise erfolgt eine dreidimensionale Rekonstruktion der Umgebung des Fahrzeugs 1 durch Auswertung der zeitlich aufeinanderfolgenden Bilder einer Bildsequenz einer oder mehrerer Kameras, beispielsweise mittels eines structure-from-motion Rekonstruktionsverfahrens.
-
Vorzugsweise wird ein Verfahren verwendet, das in der deutschen Patentanmeldung
DE 10 2019 208 216 A1 offenbart ist. Die Offenbarung dieser Patentanmeldung wird vollständig zum Gegenstand der vorliegenden Offenbarung gemacht. Vorzugsweise wird gemäß dem Verfahren sowohl eine 3D-Rekonstruktion der Umgebung bzw. Ausgabe einer 3D-Punktwolke, als auch eine Segmentierung von bewegten Objekten vollzogen. Dadurch kann eine Trennung zwischen bewegten und stationären Objekten in den von der zumindest einen Kamera bereitgestellten Bildinformationen vorgenommen werden (S14). Zudem können mittels des Verfahrens Trajektorien der bewegten Objekte ermittelt werden, wie auch die Trajektorie des Kamerasystems gegenüber der stationären Umgebung. Durch die Kenntnis der Bewegung der Objekte können auch 3D-Punktwolken unterschiedlicher Sensortypen, die bewegte Objekte enthalten, zueinander korreliert werden und dadurch Korrekturinformationen für die Kalibrierung abgeleitet werden. Hierbei vereinfachen sich unter anderem die Schritte Synchronisation und Interpolation, welche dann auch genauere Ergebnisse liefern.
-
Nachdem eine Trennung von statischen und dynamischen Inhalten in den 3D-Punktwolken, die von Sensorinformationen eines Radar-Sensor und/oder eines LIDAR-Sensor sowie von Sensorinformationen einer Kamera erzeugt wurden, erfolgt ist, können entweder die weiteren Verfahrensschritte lediglich basierend auf 3D-Punktwolken, die statische Objekte enthalten, durchgeführt werden oder es werden getrennte 3D-Punktwolken mit jeweils statischen oder dynamischen Objekten erzeugt und die weiteren Verfahrensverläufe werden getrennt für statische und dynamische Objekte durchgeführt, d.h. es werden sowohl 3D-Punktwolken mit statischen Objekten als auch 3D-Punktwolken mit dynamischen Objekten verglichen und zur Erzeugung der Korrekturinformationen für die Sensorkalibrierung herangezogen. Somit können die nachfolgend beschriebenen Schritte parallel für 3D-Punktwolken mit dynamischen Objekten und 3D-Punktwolken mit statischen Objekten durchgeführt werden.
-
Die Schritte S10/S11 und S12/S13/S14, d.h. die Verarbeitung der von dem Radarsensor bzw. dem LIDAR-Sensor bereitgestellten Sensorinformationen und der von der Kamera bereitgestellten Sensorinformationen können zumindest teilweise parallel vollzogen werden.
-
In Schritt S15 werden die 3D-Punktwolken vorzugsweise zueinander synchronisiert, und zwar derart, dass diese auf Deckungsgleichheit überprüfbar werden. Dies kann zum einen eine zeitliche Synchronisation sein. Die 3D-Punktwolken der jeweiligen Sensortypen können zu unterschiedlichen Zeitpunkten generiert werden, so dass die Umgebungsinformationen in den 3D-Punktwolken aufgrund der Bewegung des Fahrzeugs zueinander örtlich versetzt sind. Dieser Versatz kann durch eine zeitliche Synchronisation der 3D-Punktwolken behoben werden. Zudem ist es möglich, dass aus mehreren zeitlich aufeinander folgenden 3D-Punktwolken Zwischeninformationen berechnet werden, etwa mittels Interpolation, um den zeitlichen Versatz zwischen den 3D-Punktwolken der jeweiligen Sensortypen zu kompensieren.
-
Anschließend werden in Schritt S16 die 3D-Punktwolken miteinander verglichen und die Abweichungen zwischen den 3D-Punktwolken bestimmt. Beispielsweise können die in den zu vergleichenden Punktwolken miteinander korrespondierende Punkte, d.h. Punkte, die gleiche Bereiche einer Szene der Umgebung repräsentieren, miteinander verglichen und die Abstände zwischen diesen Punkten bzw. deren örtlicher Versatz zueinander bestimmt werden. Dadurch kann in Schritt S18 ermittelt werden, welche Kalibrierungenauigkeit zwischen den Sensoren des Fahrassistenzsystems besteht und welche Kalibrierparameter geändert werden müssen (z.B. linearer Versatz oder Abweichung durch einen verdrehten Sensor).
-
Anschließend werden in Schritt S18 die Korrekturinformationen angewendet, d.h. die 3D-Punktwolken werden nach einer Modifizierung der Kalibrierparameter basierend auf den Korrekturinformationen erneut auf Deckungsgleichheit hin überprüft und diese Deckungsgleichheit beurteilt.
-
Daraufhin wird in Schritt S19 entschieden, ob eine ausreichende Deckungsgleichheit erreicht wurde. Falls nein, werden die Schritte S16 bis S19 erneut durchlaufen. Dabei kann ein Minimierungsverfahren mit linearem Gradientenabstieg, beispielsweise ein Iterative-Closest-Point-Verfahren (ICP-Verfahren) vollzogen werden.
-
Nachdem eine hinreichende Deckung zwischen den 3D-Punktwolken erzielt wurde, erfolgt in Schritt S20 die Ausgabe der Korrekturinformationen zu den Kalibrierparametern der Sensoren und/ oder eine Anwendung derselben zur Sensorkalibrierung.
-
3 zeigt ein Ablaufdiagramm, das die Schritte eines Verfahrens zur Online-Kalibrierung von Sensorinformationen von Sensoren eines Fahrzeugs verdeutlicht.
-
Zunächst wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des ersten Sensortyps erfasst. Zudem werden erste Sensorinformationen durch diesen Sensor des ersten Sensortyps bereitgestellt (S30).
-
Zudem wird die Umgebung während der Fahrt des Fahrzeugs durch zumindest einen Sensor des zweiten Sensortyps erfasst. Dabei werden zweite Sensorinformationen durch diesen Sensor des zweiten Sensortyps bereitgestellt (S31). Die Schritte S31 und S32 werden zeitgleich oder zumindest zeitweise zeitlich überlappend ausgeführt.
-
Anschließend wird eine erste dreidimensionale Repräsentation von Umgebungsinformationen aus den ersten Sensorinformationen erstellt (S32).
-
Zeitgleich zu Schritt S32 oder zumindest in zeitlichem Überlapp wird eine zweite dreidimensionale Repräsentation von Umgebungsinformationen aus den zweiten Sensorinformationen erzeugt (S33).
-
Daraufhin wird die erste und zweite dreidimensionale Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen miteinander verglichen (S34). Unter „abgeleitete Informationen“ wird hierbei jegliche Information verstanden, die durch Modifikation aus der ersten bzw. zweiten dreidimensionalen Repräsentation gewonnen werden kann, beispielsweise durch Filterung, Beschränkung auf stationäre oder nichtstationäre Objekte etc.
-
Basierend auf dem Vergleichsergebnis werden Abweichungen zwischen der ersten und zweiten dreidimensionalen Repräsentation von Umgebungsinformationen oder daraus abgeleiteter Informationen bestimmt (S35).
-
Auf Basis der ermittelten Abweichungen werden Korrekturinformationen zu Kalibrierparametern zumindest eines Sensors berechnet (S36). Zuletzt erfolgt ein Kalibrieren der Sensoren des Fahrzeugs relativ zueinander basierend auf den berechneten Korrekturinformationen (S37). Dies bedeutet insbesondere, dass nicht die Lage bzw. Ausrichtung der Sensoren am Fahrzeug modifiziert wird, sondern eine indirekte Kalibrierung durch Modifizierung der 3D-Punktwolken basierend auf den Korrekturinformationen erfolgt.
-
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Sensor
- 3
- Sensor
- 4
- Sensor
- 5
- Recheneinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019208216 A1 [0029, 0052]
