-
Die vorliegende Erfindung betrifft ein Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs, bei welchem anhand von Sensordaten eines ersten Sensors des Sensorsystems ein erstes Objektmerkmal, welches zumindest einen Bereich eines Objekts in der Umgebung des Kraftfahrzeugs beschreibt, bestimmt wird, anhand von Sensordaten eines zweiten Sensors des Sensorsystems ein zweites Objektmerkmal, welches zumindest einen Bereich des Objekts beschreibt, bestimmt wird und der zweite Sensor in Abhängigkeit von dem ersten Objektmerkmal und dem zweiten Objektmerkmal kalibriert wird. Darüber hinaus betrifft die vorliegende Erfindung ein Sensorsystem für ein Kraftfahrzeug.
-
Das Interesse richtet sich vorliegend auf Sensorsysteme für Kraftfahrzeuge. Diese Sensorsysteme können mehrere Sensoren umfassen, mit denen beispielsweise Objekte in der Umgebung des Kraftfahrzeugs erfasst werden können. Mit jedem der Sensoren können Sensordaten bereitgestellt werden, welche das Objekt in der Umgebung beschreiben. Dabei ist es aus dem Stand der Technik bekannt, die Sensordaten jeweiliger Sensoren miteinander zu fusionieren, um genauere Informationen von dem Objekt zu erhalten.
-
Bei der Fusion der unterschiedlichen Sensordaten ist ein gemeinsames Referenzsystem notwendig. Es wird typischerweise versucht, die Sensoren mit einer ausreichend exakten und bekannten Position und Orientierung zueinander zu verbauen. Die exakte (mechanische) Positionierung ist jedoch technisch limitiert und bei entsprechenden Genauigkeitsanforderungen werden die Kosten für eine solche Kalibrierung unter Umständen unwirtschaftlich. Bei einem Sensorsystem eines Kraftfahrzeugs unterliegt die mechanische Positionierung der beteiligten Komponenten im Betrieb des Kraftfahrzeugs einer Vielzahl dynamischer Einflüsse. Diese dynamischen Einflüsse können beispielsweise reversible sein und in Folge von Temperaturänderungen auftreten oder die dynamischen Einflüsse können eine permanente Verformung betreffen. Da diese Änderungen bezüglich der Einbaulage der Sensoren nicht mechanisch nachgeführt werden können, ist es erforderlich, die Sensoren des Sensorsystems entsprechend zu kalibrieren.
-
Hierzu beschreibt die
DE 10 2008 046 545 A1 ein Verfahren zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs. Hierbei wird die Umgebung anhand von mehreren Bilderfassungseinheiten, deren Erfassungsbereiche sich zumindest teilweise überlappen, erfasst. Aus den Einzelbildern, die mit den Bilderfassungseinheiten bereitgestellt werden, kann mit Hilfe einer Bildverarbeitungseinheit dann ein Gesamtbild erzeugt werden, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt. Dabei ist es vorgesehen, dass die Bilderfassungseinheiten mittels markanter Punkte und/oder Kanten am Fahrzeug kalibriert werden, indem Positionen und/oder Verläufe dieser markanten Punkte und/oder Kanten in einem aktuellen Bildausschnitt der jeweiligen Bilderfassungseinheit mit Positionen und/oder Verläufen dieser markanten Punkte und/oder Kanten in einem Modellbild verglichen werden.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein Sensorsystem für ein Kraftfahrzeug einfach und zuverlässiger kalibriert werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie durch ein Sensorsystem mit den Merkmalen des Patentanspruchs 5 gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Patentansprüche.
-
Ein erfindungsgemäßes Verfahren dient zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs. Hierbei wird anhand von Sensordaten eines ersten Sensors des Sensorsystems ein erstes Objektmerkmal, welches zumindest einen Bereich eines Objekts in der Umgebung des Kraftfahrzeugs beschreibt, bestimmt. Ferner wird anhand von Sensordaten eines zweiten Sensors des Sensorsystems ein zweites Objektmerkmal, welches zumindest einen Bereich eines Objekts beschreibt, bestimmt. Des Weiteren wird der zweite Sensor in Abhängigkeit von dem ersten Objektmerkmal und dem zweiten Objektmerkmal kalibriert. Darüber hinaus wird eine Abweichung einer Position und/oder einer Orientierung zwischen dem ersten Objektmerkmal und dem zweiten Objektmerkmal bestimmt und der zweite Sensor wird in Abhängigkeit von der Abweichung kalibriert.
-
Mit Hilfe des Verfahrens soll das Sensorsystem des Kraftfahrzeugs kalibriert werden. Das Sensorsystem umfasst einen ersten Sensor und einen zweiten Sensor, welche beispielsweise als Radarsensor, Kamera, Lidarsensor, Laserscanner, Ultraschallsensor oder dergleichen ausgebildet sein können. Grundsätzlich kann es vorgesehen sein, dass das Sensorsystem mehr als zwei Sensoren umfasst. Mit Hilfe der Sensoren werden Sensordaten bereitgestellt, welche ein Objekt in der Umgebung beschreiben. Grundsätzlich können die jeweiligen Sensordaten auch mehrere Objekte in der Umgebung beschreiben. Bei den Objekten kann es sich beispielsweise um weitere Verkehrsteilnehmer, bauliche Einrichtungen oder Fahrbahnmarkierungen handeln. Anhand der Sensordaten des ersten Sensors wird das erste Objektmerkmal bestimmt, welches zumindest einen Bereich des Objekts in der Umgebung beschreibt. Ferner wird anhand der Sensordaten des zweiten Sensors das zweite Objektmerkmal bestimmt, welches ebenfalls einen Bereich des gleichen Objekts in der Umgebung beschreibt.
-
Gemäß einem wesentlichen Aspekt der Erfindung ist es vorgesehen, dass eine Abweichung der Position und/oder der Orientierung zwischen dem ersten Objektmerkmal und dem zweiten Objektmerkmal bestimmt wird und der zweite Sensor in Abhängigkeit von der Abweichung kalibriert wird. Da die beiden Sensoren vergleichbare Messgrößen beziehungsweise Sensordaten liefern, können diese miteinander in Bezug gesetzt werden. In den Sensordaten der Sensoren können nun die Unterschiede bezüglich derjenigen Attribute bestimmt werden, welche jeweils das gleiche Objekt beschreiben. Beispielsweise können die Unterschiede in einem Signalverlauf der Sensordaten des ersten Sensors und der Sensordaten des zweiten Sensors bestimmt werden. Wenn nun das erste Objektmerkmal und das zweite Objektmerkmal, welche jeweils das gleiche Objekt beschreiben, bestimmt sind, können Differenzen bezüglich der Position und/oder Orientierung ermittelt werden. Diese Abweichung ergibt sich aufgrund eines Unterschieds der Einbauposition des ersten und/oder des zweiten Sensors zu einer jeweiligen Soll-Einbauposition. Mit Hilfe der Abweichung kann dann der zweite Sensor präzise kalibriert werden. Alternativ oder zusätzlich kann es vorgesehen sein, dass der erste Sensor anhand der Abweichung kalibriert wird. Die Kalibrierung kann softwareseitig offline während der Produktion des Kraftfahrzeugs durchgeführt werden. Insbesondere ist es vorgesehen, dass die Kalibrierung online im Betrieb des Kraftfahrzeugs durchgeführt wird.
-
Bevorzugt werden anhand der Abweichung Transformationsparameter für die Sensordaten des zweiten Sensors bestimmt und die Sensordaten des zweiten Sensors werden zum Kalibrieren des zweiten Sensors mit den Transformationsparametern angepasst. Auf Grundlage des ersten und des zweiten Objektmerkmals kann eine translatorische und/oder rotatorische Abweichung bestimmt werden. Mit Hilfe der Transformationsparameter kann eine globale Transformationsvorschrift für die Überführung der Sensordaten des zweiten Sensors in das System des ersten Sensors ermittelt werden.
-
Ferner ist es insbesondere vorgesehen, dass die Abweichung der Position und/oder die Orientierung in einem n-dimensionalen Koordinatensystem des ersten Sensors bestimmt wird. Das Koordinatensystem kann insbesondere zweidimensional oder dreidimensional sein. Das Koordinatensystem des ersten Sensors dient also als Referenzsystem. Dies ermöglicht insgesamt eine präzise Kalibrierung.
-
Weiterhin ist es vorteilhaft, wenn überprüft wird, ob der Bereich des Objekts, welchen das erste Objektmerkmal beschreibt, zumindest bereichsweise mit dem Bereich des Objekts, welchen das zweite Objektmerkmal beschreibt, übereinstimmt. Die Attribute zur Beschreibung des erkannten Objekts, welche durch die Objektmerkmale gegeben sind, müssen nicht zwingend identisch sein. Eine entsprechende Vergleichbarkeit, wie sie beispielsweise die durch die Beschreibung der Position und Ausdehnungen des Objekts gegeben sein kann, ist aber erforderlich. Dabei ist es insbesondere vorgesehen, dass sich die Erfassungsbereiche der Sensoren zumindest bereichsweise überlappen.
-
Ein erfindungsgemäßes Sensorsystem für ein Kraftfahrzeug umfasst einen ersten Sensor, einen zweiten Sensor und ein Steuergerät. Dabei ist das Steuergerät insbesondere dazu ausgelegt, ein erfindungsgemäßes Verfahren oder eine vorteilhafte Ausgestaltung davon durchzuführen. Dabei ist es insbesondere vorgesehen, dass die erste und/oder der zweite Sensor als Kamera, Radarsensor, Lidarsensor, Laserscanner oder Ultraschallsensor ausgebildet ist.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile können auf das erfindungsgemäße Sensorsystem übertragen werden.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügte Zeichnung näher erläutert.
-
Dabei zeigen:
-
1 ein Kraftfahrzeug, welches ein Sensorsystem mit zwei Sensoren in Form von Kameras umfasst;
-
2 Bilder, welche mit den Kameras bereitgestellt werden und Objektmerkmale, welche erkannt werden;
-
3 Abweichungen zwischen den Objektmerkmalen aus den Bildern;
-
4 ein schematisches Ablaufdiagramm eines Verfahrens zum Kalibrieren des Sensorsystems.
-
In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Sensorsystem 2, welches dazu dient, Objekte 3 in einer Umgebung 4 des Kraftfahrzeugs 1 zu erfassen.
-
Das Sensorsystem 2 umfasst einen ersten Sensor 5 und einen zweiten Sensor 6. Der erste Sensor 5 und der zweite Sensor 6 sind vorliegend als Kamera ausgebildet. Mit den Sensoren 5, 6 können Sensordaten in Form von Bildern bereitgestellt werden, welche das Objekt 3 in der Umgebung beschreiben. Darüber hinaus umfasst das Sensorsystem 2 ein Steuergerät 7, mittels welchem Sensordaten beziehungsweise die Bilder, die mit dem Sensor 5, 6 bereitgestellt werden, ausgewertet werden können. Es kann auch vorgesehen sein, dass die Sensordaten der Sensoren 5, 6 in zwei getrennten Steuergeräten ausgewertet werden und in einem unabhängigen Steuergerät miteinander in Bezug gesetzt werden.
-
Das Sensorsystem 2 soll nun kalibriert werden. Dies kann nach der Fertigung des Kraftfahrzeugs 1 erfolgen. Alternativ oder zusätzlich kann die Kalibrierung des Sensorsystems 2 fortlaufend im Betrieb des Kraftfahrzeugs 1 durchgeführt werden. Für die Kalibrierung des Sensorsystems 2 ist es erforderlich, dass die Sensordaten beziehungsweise Messgrößen, die mit den Sensoren 5, 6 bereitgestellt werden, miteinander in Bezug gesetzt werden können. Hierzu zeigt 2 die Bilder 8, 9, die mit den Sensoren 5, 6 beziehungsweise den Kameras bereitgestellt werden. Dabei ist ein erstes Bild 8, das mit dem ersten Sensor 5 bereitgestellt wird, und ein zweites Bild 9, das mit dem zweiten Sensor 6 bereitgestellt wird, gezeigt. In den jeweiligen Bildern 8, 9 werden Objektmerkmale 10, 11 bestimmt, welche Objekte 3 in der Umgebung 4 des Kraftfahrzeugs 1 beschreiben. Die Objektmerkmale 10, 11 können mit dem Steuergerät 7 mit Hilfe eines entsprechenden Objekterkennungsalgorithmus bestimmt werden.
-
In dem ersten Bild 8 werden erste Objektmerkmale 10 bestimmt. Diese ersten Objektmerkmale 10 beschreiben als Objekte 3 einen Lastkraftwagen und einen Personenkraftwagen in Fahrtrichtung vor dem Kraftfahrzeug 1. Darüber hinaus beschreiben die ersten Objektmerkmale 10 eine Fahrbahnmarkierung auf der Fahrbahn. Die ersten Objektmerkmale 10 werden in einem ersten Koordinatensystem bestimmt, das vorliegend durch die Achsen x und y gekennzeichnet ist. In gleicher Weise werden zweite Objektmerkmale 11 in dem zweiten Bild 9 bestimmt. Die zweiten Objektmerkmale 11 werden in einem zweiten Koordinatensystem bestimmt, welches durch die Achsen x' und y' beschrieben ist.
-
Dabei ist es erforderlich, dass sich die Erfassungsbereiche der Sensoren 5, 6 zumindest Bereichsweise überschneiden. Damit können die Objektmerkmale 10, 11 in einem ähnlichen Koordinatensystem bestimmt werden. Ein ähnliches Koordinatensystem bedeutet hier, dass die translatorischen und rotatorischen Unterschiede der Koordinatensysteme begrenzt sind. Das bedeutet, dass immer noch eine ausreichende Überlappung des jeweiligen Erfassungsbereichs beziehungsweise Sichtbereichs der beiden Sensoren 5, 6 gewährleistet ist. Die ersten Objektmerkmale 10 und die zweiten Objektmerkmale 11 müssen nicht identisch sein aber eine Vergleichbarkeit ist erforderlich. Diese Vergleichbarkeit kann beispielsweise durch die Beschreibung mit der Position und Ausdehnung der Objekte 3 gegeben sein. So werden beispielsweise von beiden Sensoren 5, 6 eine nicht zwangsläufig identisch und nicht vollständige Liste von Objekten 3 geliefert, die mit der Hilfe eines etablierten Matching-Verfahrens abgeglichen werden können. Da die detektierten Objekte 3 beider Sensoren 5, 6 in der Regel nicht identisch sein werden, und man jedem der Sensoren 5, 6 eine gewisse Ungenauigkeit bei der Detektion zugesteht, sind verbleibende Unterschiede neben den zufälligen Abweichungen auf die Differenz in Einbauposition und Einbauorientierung zurückzuführen.
-
In dem Beispiel gemäß 2 soll das Koordinatensystem des ersten Sensors 5 als Referenzsystem betrachtet werden. Ferner soll eine Abweichung des Koordinatensystems des zweiten Sensors 6 zu dem Koordinatensystem des ersten Sensors 5 bestimmt werden. Hierzu werden die von dem zweiten Sensor 6 erkannten Objekte 3 beziehungsweise Objektmerkmale 11 in das Koordinatensystem des ersten Sensors 5 projiziert. Durch geeignete Matching-Verfahren können die jeweiligen ersten Objektmerkmale 10 den zweiten Objektmerkmalen 11 zugeordnet werden. Dies ist beispielhaft in dem unteren Bild 8 von 2 dargestellt.
-
3 zeigt eine Abweichung Δ bezüglich der Orientierung des ersten Objektmerkmals 10 und des zweiten Objektmerkmals 11. Diese Abweichung Δ kann für jedes der Objektmerkmale 10, 11 in den Bildern 8, 9 bestimmt werden. Auf Grundlage der Abweichung Δ kann eine globale Transformationsvorschrift zur Überführung beziehungsweise Fusionierung der Objekte von dem zweiten Sensor 6 in das System des ersten Sensors 5 ermittelt werden. Das Verfahren kann grundsätzlich für zwei- und dreidimensionale Problemstellungen angewendet werden. Bei einem dreidimensionalen Koordinatensystem sind mindestens sechs Freiheitsgrade zu bestimmen. Hier ergeben sich drei Freiheitsgrade bezüglich der Translation und drei Freiheitsgrade bezüglich der Rotation. Gegebenenfalls sind zusätzlich Maßstabs- und Scherungsparameter zu berücksichtigen. Ferner können bei einer Überbestimmung Parameterschätzungsverfahren, wie beispielsweise die Methode der kleinsten Quadrate, zur Anwendung kommen. Eine Überbestimmung bedeutet, dass ein überbestimmtes Gleichungssystem vorliegt, d. h. es liegen mehr Messwerte oder Beobachtungen als unbekannte und zu bestimmende Parameter vor. Hierdurch ist eine Überführung der Sensordaten beziehungsweise der zweiten Objektmerkmale 11 aus dem Koordinatensystem des zweiten Sensors 6 in das Koordinatensystem des ersten Sensors 5 möglich. Dies ermöglicht nun die Weiterverarbeitung der Daten in einem einheitlichen Koordinatensystem.
-
4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Kalibrieren des Sensorsystems. In einem Schritt 51 werden die Sensordaten mit dem ersten Sensor 5 bereitgestellt. Darüber hinaus werden die ersten Objektmerkmale 10 bestimmt. In einem Schritt S2 werden die Sensordaten mit dem zweiten Sensor 6 bereitgestellt. Des Weiteren werden die zweiten Objektmerkmale 11 bestimmt. In einem Schritt S3 erfolgt ein Matching der Sensordaten bzw. Objektmerkmale 10, 11. In einem Schritt S4 wird dann die Abweichung Δ bezüglich der Position und/oder Orientierung der Sensordaten beziehungsweise der Objektmerkmale 10, 11 bestimmt. In einem Schritt S5 können dann auf Grundlage der Abweichung Δ Transformationsparameter für die Sensordaten des zweiten Sensors 6 bestimmt werden. Schließlich können in einem Schritt S6 die Sensordaten des zweiten Sensors 6 mit den Transformationsparametern angepasst werden. In dem schematischen Ablaufdiagramm von 4 beschreiben die durchgezogenen Linien Schritte, welche in dem Koordinatensystem des ersten Sensors 5 durchgeführt werden und die gestrichelten Linien beschreiben Schritte, welche in dem Koordinatensystem des zweiten Sensors 6 durchgeführt werden.
-
Anstelle zweier Kameras als Sensoren 5, 6 kann das Verfahren auch mit anderen Sensoren, beispielsweise Radarsensoren, Lidarsensoren, Laserscannern oder Ultraschallsensoren durchgeführt werden. Der Sensortyp des ersten Sensors 5 kann sich von dem Sensortyp des zweiten Sensors 6 unterscheiden. Zudem ist das Verfahren nicht nur auf zwei Sensoren 5, 6 beschränkt.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Sensorsystem
- 3
- Objekt
- 4
- Umgebung
- 5
- Sensor
- 6
- Sensor
- 7
- Steuergerät
- 8
- Bild
- 9
- Bild
- 10
- Objektmerkmal
- 11
- Objektmerkmal
- x
- Achse
- y
- Achse
- x'
- Achse
- y'
- Achse
- Δ
- Abweichung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008046545 A1 [0004]
