DE102005037094B3

DE102005037094B3 - Kalibrierverfahren für einen Sensor zur Abstandsmessung

Info

Publication number: DE102005037094B3
Application number: DE102005037094A
Authority: DE
Inventors: Mirko Dipl.-Inf. Mählisch; Stefan Dipl.-Inf. Hahn; Klaus Prof. Dr.-Ing. Dietmayer
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2005-08-03
Filing date: 2005-08-03
Publication date: 2006-10-26
Anticipated expiration: 2025-08-04

Abstract

Die vorliegende Erfindung betrifft ein Kalibrierverfahren zur Kalibration eines Abstandssensors mit wenigstens zwei Sensorkanälen. Der einzeilige, nicht vertikal auflösende Abstandssensor (3) strahlt keulenförmig, so dass die Abstrahlung nicht strahlenförmig idealisierbar ist. Mittels einer Kamera (4) und einer als Wand ausgebildeten Kalibrierfläche (2) werden für jeden Sensorkanal die Strahlungskeulen durch Repräsentanzwerte abgebildet und in Bildkoordinaten der Kamera erfasst. Die Messung wird für unterschiedliche Lagen der Kalibrierfläche (2) durchgeführt. Über ein Optimierungsverfahren kann, ausgehend von einer ersten Hypothese der Lagebeziehung zwischen dem Abstandssensor (3) und der Kamera (4), eine Kalibrierfunktion ermittelt werden, die es erlaubt, eine mögliche Abweichung der Positionen und Lagen des Sensors zu kompensieren. Somit ist das Verfahren sowohl zur Kalibrierung des Abstandssensors (3) wie auch zur Kreuzkalibrierung für den Abstandssensor (3) und die Kamera (4) geeignet.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Kalibrieren eines Sensors zur Abstandsmessung mit wenigstens zwei Sensorkanälen, dessen Abstrahlung keulenförmig ist.
Abstandssensoren werden zur Detektion von Objekten in einem Überwachungsbereich verwendet, um den Abstand und möglichst auch die Lage des erkannten Objekts zu bestimmen. Dazu werden Sensoren eingesetzt, die aktiv Strahlung emittieren und reflektierte Strahlung detektieren. Aus der Laufzeitmessung des emittierten zum reflektierten Impuls können die Entfernung zu einem erfassten Objekt ermittelt werden. Es ist jedoch notwendig, die genaue Ausrichtung des Sensors zum Fahrzeug zu kennen. Die im Automobilbereich eingesetzten Abstandssensoren emittieren elektromagnetische Strahlung im Infrarot- oder Radiobereich. Sie werden als Laserscanner, Multibeam-LIDAR oder Radar bezeichnet.

Um neben der Entfernung und dem Winkel weitere Informationen über das detektierte Objekt zu erhalten, werden Abstandssensoren häufig mit Video- oder Kamerasystemen kombiniert. Durch diese Sensorfusion ist es möglich, neben einer sehr exakten Abstandsbestimmung die horizontale und vertikale Position sowie den Objekttyp mit stark verbesserter Genauigkeit zu bestimmen. Ein System mit mehreren Sensoren ist aus DE 199 34 670 B4 bekannt. Um die Messdaten der einzelnen Sensoren gemeinsam verarbeiten zu können, muss eine Kalibrierung der einzelnen Sensoren und eine Kreuzkalibrierung stattfinden. Die räumliche Lage der beiden Sensoren zueinander muss im Vorhinein bestimmt werden.

Zur Ermittlung der Lagebeziehung zwischen dem Fahrzeug und dem Abstandssensor sind diverse Justage- und Kalibrierverfahren vorgeschlagen worden, z.B. DE 102 17 295 A1 . Auch existieren Kalibrierverfahren, um die Lagebeziehung zwischen Videosensoren und optoelektronischen bzw. Abstandssensoren mit Vertikalauflösung durchzuführen.

Bei den bekannten Justageverfahren wird die Sollausrichtung des Sensors mit der aktuellen Sensorausrichtung ständig verglichen und im Anschluss durch manuelle Änderung der Ausrichtung des Sensors an den Sollwert angepasst. Ein großer Nachteil der Justageverfahren ist die hohe Ungenauigkeit, die mit sinkender Ortsauflösung der zu justierenden Sensoren steigt. Zusätzlich ist die Mechanik der Anbringung des Sensors am Fahrzeug sehr anspruchsvoll, wenn eine Justierung im Winkelbereich der Größenordnung von einem Grad oder weniger ermöglicht werden soll.

Automatische Kalibrierverfahren beruhen auf der Idee, Kalibrierobjekte derart zu gestalten, dass sie von den zu kalibrierenden Sensoren eindeutig erkannt werden. Aus den verschiedenen Lagemessungen der einzelnen Sensoren für das gleiche Kalibrierobjekt werden die Lagebeziehungen der Sensoren zueinander errechnet. Die Messungen erfolgen dabei jeweils relativ zu den einzelnen lokalen Sensorkoordinatensystemen. Die verwendeten Kalibrierobjekte müssen so beschaffen sein, dass sie von jedem Sensor eindeutig identifiziert werden können. Gerade bei Sensoren mit niedrigen Ortsauflösungen, wie beispielsweise bei nicht vertikal auflösenden Sensoren oder stark keulenförmig emittierenden Sensoren, ist die Gestaltung eines solchen Kalibrierobjekts sehr schwierig.

Aus DE 101 54 861 A1 ist ein Verfahren zum Erfassen von Bildinformationen in einem Überwachungsbereich mit einem optoelektronischen Sensor und einer Videokamera bekannt. Die erfassten Daten des Abstandssensors werden dabei den Daten des Videosensors zugeordnet. Hierzu muss die Position des Videosensors relativ zum Abstandssensor bekannt sein, die entweder präzise justiert werden muss oder durch Kalibrierung zu ermitteln ist. Zur Anpassung wird vorgeschlagen, die Lagekoordinaten aller Bildpunkte eines Segments auf die Erfassungsebene des Abstandssensors zu projizieren. Durch Mittelwertbildung der projizierten Bildpunkte wird dann eine Lage des Segments in der Erfassungsebene des Abstandssensors definiert. Diese Anpassung entspricht einer Kalibrierung der Lage des Sensorbildes und des Videobildes. Hierzu muss aber die relative Ausrichtung von Abstandssensor und Videokamera sowie deren relative Lage bekannt sein, insbesondere der Abstand der Videokamera senkrecht zur Erfassungsebene. Das angegebene Verfahren beruht darauf, dass der Abstandssensor den Gegenstand punktgenau auflöst. Zur Kalibrierung eines Sensors, der eine keulenförmige Strahlung emittiert, ist das oben genannte Verfahren jedoch nicht geeignet.

Es ist die Aufgabe der vorliegenden Erfindung, ein Kalibrierverfahren anzugeben, mit dem keulenförmig emittierende Abstandssensoren kalibriert werden können und das auf aufwendige Kalibrierobjekte verzichtet.

Gelöst wird die vorliegende Aufgabe durch ein Verfahren gemäß den Merkmalen des Patentanspruchs 1.

Erfindungsgemäß wird ein Verfahren zur Kalibrierung eines Abstandssensors mit wenigstens zwei Sensorkanälen bereitgestellt. Die vom Sensor emittierte Strahlung ist keulenförmig. Der mehrkanalige Sensor sendet eine Strahlungskeule auf einem Sensorkanal aus. Die Strahlungskeule trifft auf eine im Überwachungsbereich des Sensors angeordnete Kalibrierfläche und wird von dieser reflektiert. Die reflektierte Strahlungskeule wird von einer Kamera eines Videosystems, insbesondere eines Videosensors erfasst. Aus der erfassten Strahlungskeule wird ein Repräsentanzwert in Bildkoordinaten der Kamera bestimmt. Nach Veränderung der Lage der Kalibrierfläche in Bezug auf den Sensor und die Kamera wird ein zweiter Repräsentanzwert für die Strahlungskeule des Sensorkanals in Bildkoordinaten der Kamera ermittelt. Somit stehen zwei Repräsentanzwerte für die Strahlungskeule des Sensorkanals zur Verfügung. Auf die gleiche Weise werden für einen weiteren Sensorkanal wenigstens zwei Repräsentanzwerte der Strahlungskeule bestimmt. Anschließend werden die Keulenachsen der Strahlungskeulen in Sensorkoordinaten als Geraden modelliert. Die Geraden verlaufen im Modell bevorzugt durch den Ursprung des Sensorkoordinatensystems. Mittels einer Transformation werden die modellierten Geraden aus dem Sensorkoordinatensystem in Bildkoordinaten der Kamera überführt.

In einem weiteren Verfahrensschritt werden die Geraden mit den gemessenen Repräsentanzwerten für jeden Sensorkanal in Bildkoordinaten verglichen. Aus dem Vergleich wird eine Gütefunktion errechnet, um eine mögliche Abweichung der modellierten Geraden von den zugehörigen gemessenen Repräsentanzwerten zu minimieren, um also eine Verschiebung und Verdrehung der Sensorachsen auszugleichen. Im Idealfall überlappen die Geraden mit den jeweiligen Repräsentanzwerten in Bildkoordinaten. In diesem Fall ist keine Kalibration notwendig.

Alternativ kann die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 2 gelöst werden.

Die Strahlungskeule eines Sensorkanals des Abstandssensors wird vom Sensor auf eine Kalibrierfläche ausgesendet. Die von der Kalibrierfläche reflektierte Strahlungskeule wird von einer Kamera eines Videosystems erfasst und ein Repräsentanzwert für die Strahlungskeule in Bildkoordinaten der Kamera bestimmt. In einem weiteren Verfahrensschritt wird nach der gleichen Vorgehensweise der Repräsentanzwert für wenigstens einen weiteren Sensorkanal ermittelt. Nachdem ein Repräsentanzwert für die Strahlungskeulen der beiden oder aller Sensorkanäle zur Verfügung steht, wird die Lage der Kalibrierfläche in Bezug auf den Abstandssensor und die Kamera verändert. Anschließend wird für jeden Sensorkanal ein zweiter Repräsentanzwert der Strahlungskeule ermittelt und in Bildkoordinaten der Kamera dargestellt. Diese Verfahrensschritte können dann für mehrere Positionen der Kalibrierfläche in Bezug auf den Abstandssensor und die Kamera durchgeführt werden, so dass die Messgenauigkeit steigt.

In einem weiteren Schritt wird für jede Strahlungskeule die Keulenachse als Gerade im Sensorkoordinatensystem modelliert. Die Geraden der Keulenachsen schneiden sich bevorzugterweise im Ursprung des Sensorkoordinatensystems. Die modellierten Geraden werden nun in Bildkoordinaten der Kamera transformiert. Aus dem Vergleich der Geraden mit den zugehörigen, ermittelten Repräsentanzwerten des Sensorkanals in Bildkoordinaten kann eine Abweichung festgestellt werden. Aus der Differenz wird eine Gütefunktion berechnet, um diese Abweichung zu minimieren. Zur Kalibrierung des Abstandssensors wird also vollständig auf Messwerte des Sensors verzichtet. Alternativ kann die Keulenachse der Strahlungskeule jedoch auch durch Messung mit dem Abstandssensor bestimmt werden. Dann kann die Kalibrierfunktion aus den Repräsentanzwerten und den Messwerten des Abstandssensors ermittelt werden.

Die Kalibrierfunktion wird vorteilhafterweise für jeden Sensorkanal ermittelt. Die Kalibrierverfahren nach der ersten oder der zweiten Alternative eignen sich insbesondere für einzeilige, also horizontale und nicht vertikal aufgelöste Sensoren, deren Abstrahlung stark keulenförmig ist. Da sich die Strahlung eines solchen Sensors nicht strahlenförmig idealisieren lässt, sind die bisher bekannten Kalibrierverfahren nicht geeignet.

Es erweist sich als vorteilhaft, die Strahlungskeulen aller Sensorkanäle zu erfassen. Damit steht eine größere Anzahl an Messwerten zur Verfügung. Die Genauigkeit des Verfahrens wird deutlich verbessert. Auch können die Strahlungskeulen eines Sensorkanals mehrfach gemessen werden, um durch anschließende Mittelwertbildung eine Streuung der Messwerte auszugleichen.

Bevorzugt wird die Belichtungszeit der Kamera soweit erhöht, dass die Strahlungskeulen aller Sensorkanäle erfasst werden können. Damit wird festgestellt, ob sich die Erfassungsbereiche des Sensors und der Kamera überlappen. Dies ist zur Durchführung des Kalibrierverfahrens notwendig. Existiert kein Überlappungsbereich muss die Ausrichtung des Sensors und/oder der Kamera verändert werden.

Vorteilhafterweise wird das Kalibrierverfahren in einem abgedunkelten Raum durchgeführt, so dass nur die entsprechenden hellen Flecken der Reflektionsstellen der einzelnen Strahlungskeulen im Kamerabild erkennbar sind. Zusätzlich wird die Belichtungszeit der Kamera so eingestellt, dass die einzelnen Reflektionsflecken der Strahlungskeulen auf der Kalibrierfläche einzeln abgebildet werden. Dies trägt zur weiteren Optimierung des Verfahrens bei.

In einer bevorzugten Ausführung des Verfahrens emittiert der Sensor auf allen Sensorkanälen gleichzeitig oder kurzzeitig hintereinander, wobei die Kamera die Strahlungskeulen in einem Bild erfassen kann. Zum Bestimmen der Repräsentanzwerte der Strahlungskeulen werden die erfassten Strahlungskeulen segmentiert. Dies kann entsprechend der zur Verfügung stehenden Sensorkanäle geschehen. Der berechnete Repräsentanzwert wird dann beispielsweise mittels eines Nächster-Nachbar-Verfahren einem Segment und damit einem Sensorkanal zugeordnet.

Besonders bevorzugt ist die Kalibrierfläche eine diffus reflektierende Fläche. Dies kann z.B. eine Platte mit einem hellen Anstrich oder einer speziellen Reflektionsbeschichtung sein. Alternativ kann auch eine glatt verputzte Mauer als Reflektionsfläche dienen. Das Kalibrierverfahren lässt sich also mit einer einfachen Kalibrierfläche ausführen. Hierzu kann nahezu jede beliebige Wand dienen, so dass die Kalibrierung praktisch überall durchgeführt werden kann. Auf aufwendige Kalibrierobjekte wird gänzlich verzichtet.

Vorzugsweise ist wenigstens der Abstandssensor in einem Fahrzeug angeordnet. Die Kamera kann dann lediglich für den Vorgang des Kalibrierens auf dem Fahrzeug montiert werden. Auch eine Montage der Kamera in Nähe des Fahrzeugs ist möglich; es muss lediglich gewährleistet sein, dass sich die Überwachungsbereiche von Abstandssensor und Kamera überschneiden. Ist in dem Fahrzeug neben dem Abstandssensor auch gleichzeitig die Kamera integriert, so kann der relative Abstand von Sensor und Kamera beispielsweise aus den Konstruktionsdaten oder CAD-Daten des Fahrzeugs ermittelt werden. Das Kalibrierverfahren kann also entweder zur Kalibration des vorhandenen Abstandssensors eingesetzt werden oder, wenn in einem Fahrzeug ein Abstandssensor und eine Videokamera angeordnet sind, zu deren Kreuzkalibration. Dabei wird festgestellt inwieweit die einzelnen Sensoren "schielen", ihre Winkellage also abweicht.

Bevorzugt ist der Sensor ein optoelektrischer Sensor oder ein auf Lichtemission und Lichtaufnahme basierendes LIDAR-System. Im Automobilbereich finden häufig sogenannte LIDAR-Sensoren Anwendung. Sie arbeiten vorzugsweise im Infrarotbereich. Auch werden mehrstrahlige einzeilige Laser-Abstandssensoren, z.B. sogenannte Multibeam-LIDAR oder Laserscanner eingesetzt, deren Wellenlänge im Bereich von 905 bis 920 nm liegt. Diese Sensoren sind in der Regel im Frontbereich eines Fahrzeugs untergebracht. Die verwendete Kamera muss im Wellenlängenbereich des Abstandssensors sensitiv sein, um die vom Sensor abgestrahlte Wellenlänge zu erfassen. Typischerweise eingesetzte Kameras verfügen über einen Videosensor oder basieren auf der CMOS-Technik. Sie arbeiten beispielsweise im Wellenbereich von 400 bis 905 nm. In der Regel sind in diese Kameras im Fahrzeuginnenraum hinter der Frontscheibe angeordnet.

In einer weiteren vorteilhaften Ausführungsform ist der Sensor ein Radarsensor oder ein elektromagnetische Wellen emittierender Sensor. Um die Strahlungsdiagramme bzw. Strahlungskeulen eines Radarsensors zu erfassen, wird eine Sonde in der Erfassungsebene des Sensors angebracht. Die Sonde ist bevorzugt eine Hochfrequenzempfängersonde, die in der Erfassungsebene des Sensors bewegt werden kann und so die emittierte Strahlung an jedem Punkt der Erfassungsebene erfasst. Hierfür eignen sich besonders sogenannte Nahfeldmesswände.

Um die aktuell gemessene Intensität einem Bildpunkt in der Erfassungsebene zuordnen zu können, ist die Sonde bevorzugt mit einem optischen Marker versehen, zum Beispiel einem Schachbrettmuster. Damit kann der Ort, an dem sich die Sonde gerade befindet, von der Kamera erfasst und in Bildkoordinaten des Kamerasystems umgewandelt werden. Die von der Sonde gemessene Intensität wird beispielsweise an eine Bildverarbeitungseinheit übermittelt, die ein der empfangenen Strahlung proportionales Messsignal weiterverarbeiten kann.

Anstelle eines optischen Markers kann die Sonde auch eine Leuchtquelle, bevorzugterweise eine LED aufweisen. Die Leuchtquelle leuchtete proportional zu der von der Sonde gemessenen Intensität. Die Leuchtintensität der Leuchtquelle kann dann von der Kamera erfasst werden, so dass auch nichtsichtbare elektromagnetische Strahlung bzw. Strahlung in einem Wellenlängenbereich, in dem die Kamera nicht sensitiv ist, von der Kamera detektiert werden.

Bevorzugterweise weist die Kalibrierfläche optische Marker auf, die beispielsweise in Form eines Schachbrettmusters angeordnet sind. Durch Auswertung der optischen Marker können die intrinsischen Kameraparameter ermittelt werden.

Ebenfalls ist es möglich, aus dem erkannten Schachbrettmuster die Lage der Kamera relativ zur Kalibrierfläche zu ermitteln. Dies geschieht mit herkömmlichen Verfahren zur Kamerakalibrierung.

Die Kalibrierung des Sensors bzw. die Kreuzkalibrierung von Sensor und Kamera kann auch in Raumkoordinaten erfolgen. Dies hat den Vorteil, dass alle sechs Freiheitsgrade der Lagebeziehung des Abstandssensors zur Kamera bestimmt werden können. Die Lage der Kalibrierfläche in Raumkoordinaten ist bekannt. Dazu muss die Kalibrierfläche optische Marker aufweisen, beispielsweise ein Schachbrettmuster, so dass die Lage der Kamera zur Kalibrierfläche in dreidimensionalen Kamerakoordinaten vermessen werden kann. Die Intensitätsaufnahme erfolgt dann analog dem Verfahren in Bildkoordinaten; jedoch wird jeder Intensitätswert einem dreidimensionalen Raumpunkt des Kamerakoordinatensystems zugeordnet. Damit lässt sich dann die Lage der Kamera in Raumkoordinaten wie auch die Lage des Abstandssensors in Raumkoordinaten bestimmen. Es wird in diesem Fall also auch die Winkellage und die Position des Sensors wie der Kamera bestimmt. Die Kalibrierfunktion wird dann ebenfalls in dreidimensionalen Raumkoordinaten ermittelt, so dass ein "Schielen" des Abstandssensors oder der Kamera korrigiert werden kann.

Bevorzugterweise werden die Repräsentanzwerte der Strahlungskeulen durch Intensitätsdiagramme approximiert. Der Repräsentanzwert der Strahlungskeule kann dabei als Flächenschwerpunkt oder als ein mit der Intensität gewichteter Flächenschwerpunkt aufgefasst werden. Auch ist es möglich, den Punkt der maximalen Intensität als Repräsentanzwert zu verwenden. Denkbar ist ebenfalls, den Mittelpunkt der Extremalwerte in zwei Koordinatenrichtungen als Repräsentanzwert zu verwenden.

Alternativ könnte eine Kalibrierung nicht auf Messungen des Verlaufs der Strahlungskeulenmittelachsen beruhen, sondern mit einer Messung des Strahlungskeulenverlaufs selbst arbeiten. Dazu könnten beispielsweise umgebende Ellipsen oder Äquiintensitätskurven innerhalb der Strahlungsdiagramme verwendet werden.

Werden die Messdaten in dreidimensionalen Kamerakoordinaten aufgezeichnet, so kann der Strahlungsgang der Mittelachsen der Strahlungskeulen direkt im Raum durch eine Gerade z.B. mittels eines "Least-Squares-Verfahrens" angenähert werden. Die Position des Abstandssensors ergibt sich dann aus dem Schnittpunkt der Mittelachsen der Strahlungskeulen.

Für die Berechnung der Kalibrierdaten wird von einer ersten Hypothese der Lagebeziehung der Kamera zum Abstandssensor in Form von sechs Freiheitsgraden aufgestellt. Die sechs Freiheitsgrade sind notwendig, um die vollständige Lagebeziehung zweier Objekte im dreidimensionalen Raum zu beschreiben. Drei der Freiheitsgrade stellen die Positionsabweichung dar, die drei anderen die Verdrehung der beiden Objekte gegeneinander. Die Hypothese der Lagebeziehung wird in Form einer 4 × 4-Transformationsmatrix beschrieben, um eine Koordinatentransformation aus dem lokalen Sensorkoordinatensystem in das Kamerakoordinatensystem durchzuführen. Die Keulenachsen der Strahlungskeule, die die Mittelachse der Keule darstellen, werden in lokalen Sensorkoordinaten als Geraden durch den Ursprung modelliert. Mit Hilfe der hypothetischen Transformationsmatrix werden die Geradengleichungen der Keulenachsen aus den Sensorkoordinaten in Kamerakoordinaten transformiert. Die transformierten Geraden werden im Anschluss mit Hilfe der intrinsischen Kameraparameter in das Bildkoordinatensystem der Kamera projiziert. Die Kameraparameter werden dazu in einem Standardkalibrierverfahren zuvor ermittelt oder sind vom Hersteller bekannt.

Entspricht die hypothetische Lagebeziehung der Kamera zum Abstandssensor ihrer tatsächlichen Lagebeziehung, müssen im Idealfall alle während der Datenaufnahmeprozedur abgespeicherten mittleren Reflektionspunkte der Strahlungskeulen, also die ermittelten Repräsentanzwerte, auf den jeweils zu diesen Strahlungskeulen gehörenden projizierten Geraden liegen. Aus der aber in der Realität auftretenden Abweichung der Repräsentanzwerte von den projizierten Mittelachsen kann eine Gütefunktion berechnet werden.

Dieses Gütekriterium der Lagehypothese kann mathematisch durch den aufsummierten quadratischen perpentikularen Abstand aller Messpunkte zu den jeweils zugehörigen Geraden ausgedrückt werden:

T_opt stellt dabei die gesuchten Kreuzkalibrierdaten dar. T ist die aktuelle Lagehypothese als 4 × 4-Matrix. Der Operator B beschreibt die Projektion einer Geradengleichung nach dem Lochkameramodell von lokalen Kamerakoordinaten in Bildkoordinaten. Das Funktional d_p beschreibt den perpentikularen Abstand zwischen einem Punkt (erstes Argument) und einer in analytischer Form gegebenen Gerade (zweites Argument) in Bildkoordinaten. Der Punkt P(m, n) ist der während der m-ten Iteration der Messprozedur aufgenommene mittlere Reflektionspunkt der n-ten Strahlungskeule. g(n) ist die analytische Beschreibung der Mittelachse der n-ten Strahlungskeule in lokalen Sensorkoordinaten. Es handelt sich hierbei um eine nicht lineare Optimierungsaufgabe, die mit Standardverfahren, beispielsweise Gradientenabstieg, gelöst werden kann.

Die sich nach der Optimierung ergebende Lagebeziehung T_opt von Kamera und Abstandssensor in Form der Transformationsmatrix ist eindeutig in Bezug auf fünf Freiheitsgrade. Ein Transformationsfreiheitsgrad ist nicht bekannt. Der während der Optimierung ermittelte Translationsanteil der Koordinatentransformation zwischen dem lokalen Sensorkoordinatensystem und dem Kamerakoordinatensystem ist demnach als Richtungsvektor zu interpretieren, der lediglich eine Gerade durch den Ursprung des Kamerakoordinatensystems definiert, auf der der Ursprung des Sensorkoordinatensystems liegen muss. Den vollständigen Translationsanteil der Lagebeziehung erhält man dann durch Hinzunahme des Abstands zwischen dem Abstandssensor und der Kamera. Dieser Abstand ist durch Messung oder aus den Konstruktionsdaten (CAD-Daten) des Fahrzeugs bekannt. Dieser Nachteil verschwindet bei der 3D-Kalibrierung; dort muss jedoch das Schachbrettmuster gemessen werden.

Eine bevorzugte Ausführungsform der Erfindung wird nun beispielhaft anhand der Zeichnungen beschrieben. Es zeigen:
1 eine schematische Seitenansicht eines Fahrzeugs und einer Kalibrierfläche;
2 ein Prinzipbild eines Messaufbaus zur Kalibrierung; mit Abstandssensor und Kamera
3 ermittelte Messwerte in Bildkoordinaten der Kamera; und
4 einen prinzipiellen Messaufbau mit einer Kalibrierfläche mit optischern Markern.
1 zeigt ein Fahrzeug 1, das sich vor einer Wand befindet, die als Kalibrierfläche 2 ausgebildet ist. Im vorderen Bereich des Fahrzeugs 1 ist ein nach vorne gerichteter Abstandssensor 3 angeordnet, der als LIDAR-Sensor ausgebildet ist. Eine Kamera 4 eines Videosystems mit einem integrierten Videosensor ist hinter der Frontscheibe des Fahrzeugs 1 angeordnet und erfasst einen vor dem Fahrzeug 1 befindlichen Überwachungsbereich 5. Der Überwachungsbereich 5 der Kamera 4 erfasst auch einen Großteil der vor dem Fahrzeug befindlichen Kalibrierfläche 2. Der Überwachungsbereich 6 des Abstandssensors 3 ist weitaus schmaler Der Abstandssensor 3 detektiert lediglich den unteren Bereich der Kalibrierfläche 2. Die beiden Überwachungsbereiche 5, 6 überlappen sich jedoch teilweise.
Der einzeilige, nicht vertikal auflösende und stark keulenförmig emittierende Abstandssensor 3 strahlt eine elektromagnetische Welle im Infrarotbereich oder im sichtbaren Bereich an die Kalibrierfläche 2. Die Kamera 4 arbeitet im gleichen Wellenlängenbereich wie der Abstandssensor 3. Die von der Kalibrierfläche 2 reflektierte Strahlung des Abstandssensors 3 wird von der Kamera 4 erfasst.
Strahlt der Abstandssensor 3 auf allen Messkanälen aus, so ergeben sich auf der Kalibrierfläche nebeneinander angeordnete Strahlungskeulen. Im Bild 2 ist beispielhaft angezeigt, wie sieben Strahlungskeulen 7 eines Abstandssensors 3 mit sieben Messkanälen auf die Kalibrierfläche 2 auftreffen. Die sieben Strahlungskeulen 7 liegen alle im Überwachungsbereich 5 der Kamera 4; sie werden also von der Kamera 4 erfasst.
Nach dem erfindungsgemäßen Kalibrierverfahren wird nun der die Kalibrierfläche 2 umgebende Raum abgedunkelt, so dass nur die hellen Flecken der Reflektionsstellen der einzelnen Strahlungskeulen 7 von der Kamera aufgenommen und im Videobild erkennbar sind. Zusätzlich wird die Belichtungszeit der Kamera so kurz eingestellt, dass die einzelnen Reflektionsstellen der Strahlungskeulen 7 des Abstandssensors 3 einzeln beleuchtet werden.
Zumindest muss aber sichergestellt werden, dass die Strahlungskeulen 7 so in Gruppen abgebildet werden, dass zwei benachbarte Reflektionsflecken nicht gleichzeitig im Bild beleuchtet sind. Über ein Schwellwertverfahren wird nun das Graubild der Kamera in ein Binärbild umgewandelt. Der Schwellwert ist dabei so einzustellen, dass die Reflektionsflecken der einzelnen Sensorkanäle des Abstandssensors 3 jeweils als Zusammenhangskomponenten im entstehenden Binärbild auftauchen. Keinesfalls dürfen aber von zwei unterschiedlichen Sensorkanälen belichtete Bildbereiche zu derselben Zusammenhangskomponente im Binärbild zusammengefasst werden. Für jede Zusammenhangskomponente wird anschließend der Flächenschwerpunkt berechnet und abgespeichert.
Dieser Vorgang wird solange mit neuen Aufnahmen der Kamera 4 wiederholt, bis ausreichend viele Flächenschwerpunkte für jeden Sensorkanal ermittelt wurden. Dadurch wird die verfahrensbedingte Streuung bei der Ermittlung der Flächenschwerpunkte als Approximation für die Reflektionspunkte der Mittelachsen der Strahlungskeulen 7 kompensiert. Im Anschluss werden die ermittelten Flächenschwerpunkte zu einem der Sensorkanäle assoziiert. Beispielsweise kann die Strecke zwischen den zwei hinsichtlich ihrer Position im Kamerabild extremaler Flächenschwerpunkten in N gleichgroße Segmente unterteilt werden, wobei N die Anzahl der Sensorkanäle des Abstandssensors 3 ist. Im Anschluss wird jeder berechnete Flächenschwerpunkt über ein Nächster-Nachbar-Verfahren einem Segment und somit einem Sensorkanal zugeordnet.
Aus allen einem Sensorkanal zugeordneten Flächenschwerpunkten wird danach der Mittelwert berechnet. Dieser Mittelwert wird als Repräsentanzwert 8 angesehen. Es entsteht also für jeden Sensorkanal des Abstandssensors 3 ein Repräsentanzwert 8, der den Mittelpunkt des von der Kamera erfassten Reflektionsfleckens und somit die Strahlungskeule 7 selbst repräsentiert.
Anschließend wird die Lage der Kalibrierfläche 2 in Bezug auf den Abstandssensor 3 und die Kamera 4 verändert. Nun wird die oben beschriebene Prozedur für jede neue Lage der Kalibrierfläche 2 wiederholt. Damit entstehen für M verschiedene Lagen der Kalibrierfläche 2 N Datensätze für Repräsentanzwerte 8 der einzelnen Sensorkanäle des Abstandssensors 3, insgesamt also M × N Punktmessungen der Repräsentanzwerte 8, wobei N die Anzahl der Sensorkanäle des Abstandssensors 3 ist. Diese Punktmessungen lassen sich in Bildkoordinaten der Kamera 4 darstellen, was in 3 verdeutlicht wird.
Bild 3 zeigt die Repräsentanzwerte 8 der Strahlungskeulen 7 für den Abstandssensor 3 mit sieben Sensorkanälen. Im Beispiel wurden M = 4 unterschiedliche Lagen der Kalibrierfläche 2 berücksichtigt. Die Repräsentanzwerte 8 eines jeden Sensorkanals werden zur besseren Verdeutlichung in Bild 3 durch fiktive Mittelachsen 9 dargestellt. Die sich theoretisch ergebenden Mittelachsen 9 der sieben Sensorkanäle schneiden sich alle in einem Schnittpunkt 10. Der Schnittpunkt 10 spiegelt den gemessenen Ort des Abstandssensors 3 in Bildkoordinaten der Kamera 4 wieder.
Für die Berechnung der Kalibrierdaten für den Abstandssensor 3 bzw. zur Berechnung der Kreuzkalibrierungsdaten wird nun eine Hypothese für die Lagebeziehung zwischen dem Abstandssensor 3 und der Kamera 4 aufgestellt. Dazu wird eine Keulenachse 11 der vom Abstandssensor 3 ausgesendeten Strahlungskeulen 7 in lokalen Sensorkoordinaten als eine Gerade durch den Ursprung modelliert. Diese Modellbildung findet für die Strahlungskeule 7 jedes Sensorkanals des Abstandssensors 3 statt. Die zur Hypothese vorliegende geschätzte Lagebeziehung zwischen dem Abstandssensor 3 und der Kamera 4 wird in Form einer Transformationsmatrix aufgestellt. Mit Hilfe der Transformationsmatrix werden die Geradengleichungen der Keulenachsen aus dem Sensorkoordinatensystem in das Kamerakoordinatensystem transformiert. Die transformierten Geraden werden danach wiederum in Bildkoordinaten der Kamera projiziert. Dies geschieht mit Hilfe der intrinsischen Kameraparameter, die mit Standardkalibrierverfahren gewonnen werden können.
Entspricht die hypothetische Lage zwischen dem Abstandssensor 3 und der Kamera 4 der wirklichen Lage, so liegen die ermittelten Repräsentanzwerte 8 der Strahlungskeule 7 auf den zugehörigen modellierten und projizierten Keulenachsen 11. Dies wird in Bild 3 verdeutlich, bei dem sich einzelne Keulenachsen 11 und die die Repräsentanzwerte 8 verdeutlichenden theoretischen Mittelachsen 9 bereits überlappen. Lediglich für den im Bild 3 rechts dargestellten Sensorkanal ist noch eine Abweichung zwischen der theoretischen Mittelachse 9 und der Keulenachse 11 erkennbar. Über einen Optimierungsprozess kann nun die Hypothese der Lagebeziehung so lange verändert werden, bis alle Repräsentanzwerte 8 möglichst nahe an den entsprechenden Keulenachsen 11 liegen. Die damit erhaltene Transformationsmatrix stellt eine Kalibrierfunktion dar, mit der später im Betrieb die ermittelten Sensordaten des Abstandssensors 3 und die Videodaten räumlich übereinander gelegt werden können.
Bild 4 zeigt eine andere Kalibrierfläche 12, in deren vier äußeren Ecken optische Marker 13 in Form von Schachbrettmustern angeordnet sind. Der Abstandssensor 3 sendet elektromagnetische Wellen aus, die als Strahlungskeule 7 auf der Kalibrierfläche 12 erscheinen. Die Strahlungskeule 7 wird durch einen Repräsentanzwert 8, der letztlich die Keulenachse der Strahlungskeule 7 wiedergibt, dargestellt.
Die auf der Kalibrierfläche 12 erzeugte Strahlungskeule 7 wird von der Kamera 4 erfasst. Gleichzeitig liegen die optischen Marker 13, wenigstens zwei von ihnen, im Überwachungsbereich 5 der Kamera 4. Damit lässt sich nun die Lage der Kalibrierfläche 12 zur Kamera 4 ermitteln. Dieses Verfahren wird benötigt, wenn die Kreuzkalibrierung zwischen dem Abstandssensor 3 und der Kamera 4 in Raumkoordinaten erfolgen soll. Die Kalibrierung in Raumkoordinaten hat den Vorteil, dass alle sechs Freiheitsgrade zur Beschreibung der Lagebeziehung zwischen dem Abstandssensor 3 und der Kamera 4 bestimmt werden können. Die Intensität der Strahlungskeule 7 bzw. die Intensitätsaufnahme kann dann analog zum Kalibrierverfahren für Bildkoordinaten erfolgen. Dabei wird jedem Intensitätswert ein dreidimensionaler Raumpunkt des Kamerakoordinatensystems zugeordnet.

1: Fahrzeug
2: Kalibrierfläche
3: Abstandssensor
4: Kamera
5: Überwachungsbereich (von 4)
6: Überwachungsbereich (von 3)
7: Strahlungskeule
8: Repräsentanzwert
9: Mittelachse
10: Schnittpunkt
11: Keulenachse
12: Kalibrierfläche
13: Marker

Claims

Verfahren zum Kalibrieren eines Sensors zur Abstandsmessung mit wenigstens zwei Sensorkanälen, dessen Abstrahlung keulenförmig ist, gekennzeichnet durch die folgenden Schritte: a) Aussenden einer Strahlungskeule (7) eines Sensorkanals auf eine Kalibrierfläche (2) mittels des Sensors, b) Erfassen der Strahlungskeule (7) mit einer Kamera (4) eines Videosystems, c) Ermitteln eines ersten Repräsentanzwertes (8) der Strahlungskeule (7) in Bildkoordinaten der Kamera (4), d) Verändern der Lage der Kalibrierfläche (2) in Bezug auf den Sensor und die Kamera (4), e) Erfassen der Strahlungskeule (7) mit der Kamera (4), f) Ermitteln eines zweiten Repräsentanzwertes (8) der Strahlungskeule (7) in Bildkoordinaten der Kamera (4), g) Wiederholen der Schritte a) bis f) für wenigstens einen weiteren Sensorkanal, h) Modellieren von Keulenachsen (11) der ausgesendeten Strahlungskeulen (7) als Geraden in Sensorkoordinaten, i) Transformieren der modellierten Geraden aus Sensorkoordinaten in Bildkoordinaten der Kamera (4), j) Vergleichen der Geraden mit den ermittelten Repräsentanzwerten (8) in Bildkoordinaten für jeden Sensorkanal, k) Ermitteln einer Kalibrierfunktion zur Kompensation einer möglichen Abweichung der modellierten Geraden von wenigstens mehreren Repräsentanzwerten (8).
Verfahren zum Kalibrieren eines Sensors zur Abstandsmessung mit wenigstens zwei Sensorkanälen, dessen Abstrahlung keulenförmig ist, gekennzeichnet durch die folgenden Schritte: a) Aussenden einer Strahlungskeule (7) eines Sensorkanals auf eine Kalibrierfläche (2) mittels des Sensors; b) Erfassen der Strahlungskeule (7) mit einer Kamera (4) eines Videosystems; c) Ermitteln eines Repräsentanzwertes (8) der Strahlungskeule (7) in Bildkoordinaten der Kamera (4); d) Wiederholen der Schritte a) bis c) für wenigstens einen weiteren Sensorkanal; e) Verändern der Lage der Kalibrierfläche (2) in Bezug auf den Sensor und die Kamera (4); f) Wiederholen der Schritte a) bis d) für wenigstens eine zweite Lage der Kalibrierfläche (2); h) Modellieren von Keulenachsen (11) der ausgesendeten Strahlungskeulen (7) als Geraden in Sensorkoordinaten; i) Transformieren der modellierten Geraden in Bildkoordinaten der Kamera (4); j) Vergleichen der modellierten Geraden mit den zugehörigen Repräsentanzwerten (8) des Sensorkanals in Bildkoordinaten; k) Berechnen einer Kalibrierfunktion zur Kompensation einer möglichen Abweichung der modellierten Geraden von wenigstens mehreren Repräsentanzwerten (8) in Bildkoordinaten.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Strahlungskeulen (7) aller Sensorkanäle erfasst werden.
Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch Erhöhen der Belichtungszeit der Kamera (4), so dass die Strahlungskeulen (7) aller Sensorkanäle erfasst werden, und Feststellen der Überlappung der Überwachungsbereiche (5, 6) des Sensors und der Kamera (4).
Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch Aussenden und Erfassen der Strahlungskeulen (7) für alle Sensorkanäle gleichzeitig, Ermitteln der Repräsentanzwerte (8) der Strahlungskeulen (7) durch Segmentierung der erfassten Strahlungskeulen (7) und Zuordnung der Repräsentanzwerte (8) zu den einzelnen Sensorkanälen.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kalibrierfläche (2) eine im Wesentlichen ebene Fläche ist, die diffus oder gerichtet die Sensorstrahlung reflektiert.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass wenigstens der Sensor in einem Fahrzeug (1) integriert ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Sensor ein optoelektrischer Sensor, ein auf Lichtemission und Lichtaufnahme basierendes LIDAR-System oder ein LIDAR-Sensor ist, der vorzugsweise im Infrarotbereich arbeitet, und die Kamera (4) im Bereich der vom Sensor abgestrahlten Wellenlänge sensitiv ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Sensor ein Radarsensor oder ein elektromagnetische Wellen emittierender Sensor ist, und vor der Kalibrierfläche (2) eine Sonde, insbesondere eine HF-Empfängersonde, angeordnet ist, die die emittierte Strahlung misst.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Sonde einen Marker aufweist, der von der Kamera (4) erfasst wird, und ein der empfangenen Strahlung proportionales Messsignal von der Sonde an einen Bildverarbeitungsrechner übermittelt wird.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Sonde mit einer Leuchtquelle, vorzugsweise einer LED, ausgestattet ist, und das Leuchtmittel proportional zu der von der Sonde gemessenen Emission leuchtet.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Kalibrierfläche (2) optische Marker (13) aufweist, vorzugsweise in Form eines Schachbretts, durch Auswertung der optischen Marker (13) die intrinsischen Kameraparameter ermittelt werden, und/oder die Lage der Kamera (4) zur Kalibrierfläche (2) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Lage der Kalibrierfläche (2) in Raumkoordinaten und der Abstand zwischen dem Sensor und der Kamera (4) bekannt sind, und aus den ermittelten Repräsentanzwerten (8) die Lage der Kamera (4) und des Sensors in Raumkoordinaten bestimmt wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Kalibrierfunktion in dreidimensionalen Raumkoordinaten ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 14, gekennzeichnet durch approximieren der Repräsentanzwerte (8) der Strahlungskeulen (7) durch Intensitätsdiagramme.
Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass der Repräsentanzwert (8) der Strahlungskeule als Flächenschwerpunkt, mit der Intensität gewichteter Flächenschwerpunkt und/oder als Maximalwert der Intensität ermittelt wird.