DE10115043A1 - Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems - Google Patents

Abstract

Bei einem Verfahren zur Kalibrierung eines Kamerasystems wird eine Kamera auf einen Referenzkörper ausgerichtet, wobei der Referenzkörper optisch erfasst und in einer Auswerteeinheit des Kamerasystems die relative Position der Kamera zu einem Referenzkoordinatensystem ermittelt wird. DOLLAR A In einer einfachen Ausführung wird der Referenzkörper in der Weise ausgerichtet, dass eine Referenzlinie des Referenzkörpers mit einer Geraden im Referenzkoordinatensystem zusammenfällt. Die Referenzlinie wird vom Kamerasystem optisch und rechnerisch erfasst, anschließend wird der Winkel zwischen der Referenzlinie und einer zugeordneten Geraden im Kamera-Koordinatensystem ermittelt und zur Korrektur der Abweichung zwischen Kamera-Koordinatensystem und Referenzkoordinatensystem herangezogen.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrich­ tung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems, nach dem Ober­ begriff des Anspruches 1 bzw. 9.

In der Offenlegungsschrift DE 195 36 297 Al ist ein Kalibrie­ rungsverfahren beschrieben worden, bei dem zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten relativ zu einem Referenzkoordinaten­ system ein Kalibrierungsgegenstand von einer Kamera in ver­ schiedenen Positionen aufgezeichnet und in einer der Kamera zu­ geordneten Auswerteeinheit ausgewertet wird. Der Kalibrierungs­ gegenstand ist mit einer schwarzweiß gestreiften Oberfläche versehen, die von einem der Kamera zugeordneten Beleuchtungs­ projektor mit definierten Lichtstrukturen angestrahlt wird, wo­ durch ein bestimmtes Reflektionsmuster entsteht. Aus der Re­ flektion des Musters kann auf die Position der Kamera im Refe­ renzkoordinatensystem geschlossen werden, wobei Abweichungen des kamerafesten Koordinatensystems vom Referenzkoordinatensys­ tem entweder durch eine Justierung des Kamerasystems korrigiert oder rechnerisch bei der Auswertung eines aufgenommenen Bildes berücksichtigt werden können.

Dieses auf den Prinzipien der Steifenprojektion und der Trian­ gulation beruhende Verfahren setzt voraus, dass dem Kamerasys­ tem ein Beleuchtungsprojektor zugeordnet ist, welcher in der Lage ist, definierte Lichtstrukturen zu erzeugen. Weiterhin müssen vergleichsweise aufwendige Auswertealgorithmen durchlau­ fen werden, mit denen das vom Kamerasystem aufgenommene Reflek­ tionsmuster zur Bestimmung der Kameraposition untersucht wird.

Eine weitere Kalibrierungseinrichtung wird in der Druckschrift DE 198 31 340 C1 beschrieben, aus der es bekannt ist, zur Aus­ richtung einer Laserbearbeitungsmaschine zum Bearbeiten von Werkstücken eine Kalibrierplatte vor dem Kameraobjektiv anzu­ ordnen und zu vermessen, wobei der Laserstrahl der Einrichtung zum Schreiben einer Testmarkierung auf eine Testplatte gelenkt wird. Das Bild der Testmarkierung wird gemeinsam mit dem Bild der Kalibrierplatte vom Kamerasystem der Laserbearbeitungsma­ schine aufgenommen und in einer zugeordneten Steuereinrichtung ausgewertet.

Dieses Verfahren setzt den Einsatz einer Lasereinrichtung vor­ aus und ist aus diesem Grund für die Kalibrierung von aus­ schließlich optisch funktionierenden Kamerasystemen nicht ge­ eignet.

Der Erfindung liegt das Problem zu Grunde, ein Kamerasystem, insbesondere ein Kamerasystem zum Einsatz in einem Fahrzeug, mit einfachen Mitteln zu kalibrieren. Die Kalibrierung soll zweckmäßig auch unter erschwerten Bedingungen möglich sein, welche einer hochgenauen Ausrichtung einzelner Bauteile zuein­ ander üblicherweise zuwider laufen, beispielsweise in einer Montagehalle.

Dieses Problem wird erfindungsgemäß mit den Merkmalen des An­ spruches 1 bzw. 9 gelöst.

Gemäß dem neuartigen Verfahren wird ein Referenzkörper im Blickfeld des Kamerasystems in der Weise im Referenzkoordina­ tensystem - üblicherweise ein Inertialsystem bzw. Weltsystem - positioniert, so dass eine Referenzlinie auf oder am Referenz­ körper mit einer Geraden im Referenzkoordinatensystem zusammen­ fällt. Diese Referenzlinie wird von der Kamera erfasst und als rechnerische Linie in der Auswerteeinheit weiter verarbeitet, indem der Winkel zwischen der Referenzlinie und einer zugeord­ neten Geraden im kamerafesten Koordinatensystem ermittelt wird. Dieser Winkel kennzeichnet die Winkelabweichung in der betrach­ teten Ebene zwischen dem Kamera-Koordinatensystem und dem Refe­ renzkoordinatensystem, die zur Korrektur des Kamerasystems he­ rangezogen werden, wobei die Korrektur entweder in der Weise erfolgen kann, dass die Position des Kamerasystem neu justiert wird, bis das Kamera-Koordinatensystem die gewünschte Lage zum Referenzkoordinatensystem erreicht hat, oder ausschließlich auf rechnerischem Wege erfolgt, indem das von der Kamera erzeugte Bild auf die gewünschte Lage gedreht und ausgerichtet wird oder die Winkelabweichung bei der folgenden Auswertung erzeugter Bilder berücksichtigt wird.

Diese Vorgehensweise bietet den Vorteil, dass der Abstand der Kamera vom Referenzkörper nur grob geschätzt werden muss, je­ doch nicht exakt bestimmt werden muss, wodurch der Aufwand für die Durchführung des Verfahrens vereinfacht wird und insbeson­ dere aufwendige Apparaturen zur Positionsfestlegung des Refe­ renzkörpers entfallen können. Gegebenenfalls kann der Abstand zwischen Kamera und Referenzkörper völlig außer Acht gelassen werden. Außerdem kann mit vergleichsweise großen Toleranzen ge­ arbeitet werden, weil das in der Kamera aufgenommene Bild rech­ nerisch in der Auswerteeinheit des Kamerasystems ausgewertet und insofern die äußeren Bedingungen wie Schmutz, Temperatur oder ähnliches praktisch keine Rolle spielen, da auf eine Ver­ messung des Referenzgegenstandes in Bezug auf die Dimensionie­ rung oder gegebenenfalls eines Oberflächenmusters verzichtet werden kann.

Die Ausrichtung des Referenzkörpers im Referenzkoordinatensys­ tem kann mit vergleichsweise geringem Aufwand durchgeführt wer­ den, weil lediglich eine einzige Referenzlinie des Referenzkör­ pers mit einer definierten Geraden zusammenfallen muss, bei­ spielsweise die Längsachse des Referenzkörpers mit der Verti­ kalachse des Referenzkoordinatensystems. Im Übrigen spielt die Ausrichtung des Referenzkörpers keine oder nur eine untergeord­ nete Rolle.

Zweckmäßig wird als Referenzlinie die Seitenkontur des Refe­ renzkörpers ermittelt, beispielsweise unter Anwendung des Ver­ fahrens der Kantendetektion und des Linienfits. Die Seitenkon­ tur wird insbesondere beim Einsatz langgestreckter Grundkörper als Referenzkörper ermittelt, deren Seitenkontur parallel zur Körper-Längsachse verläuft oder zumindest parallel zur Längs­ achse vermessen bzw. ermittelt wird. In weiterer bevorzugter Ausgestaltung, die insbesondere bei zur Längsachse symmetrisch ausgebildeten Referenzkörpern zum Einsatz kommt, beispielsweise bei zylindrischen, quaderförmigen oder konus- bzw. kegelförmi­ gen oder pyramidenförmigen Grundkörpern, wird der Verlauf von zwei gegenüberliegenden Seitenkonturen ermittelt und als Refe­ renzlinie die Mittellinie zwischen den Seitenkonturen herange­ zogen; in dieser Ausführung werden Ungenauigkeiten in der Sym­ metrie des Referenzkörpers auf Grund der Mittelung über den Querschnitt zumindest teilweise kompensiert.

Alternativ oder zusätzlich zur Aufnahme und Berechnung der Sei­ tenkontur kann als Referenzlinie auch eine Musterlinie auf der Oberfläche des Referenzkörpers dienen. Die Musterlinie wird von dem Kamerasystem aufgenommen und als Referenzlinie für den Ver­ gleich mit dem Kamera-Koordinatensystem herangezogen.

Vorteilhaft wird zumindest der Rollwinkel des Kamera- Koordinatensystem in Bezug auf das Referenz-Koordinatensystem bestimmt, welcher als Winkel in der Bildebene der Kamera zwi­ schen der Referenzlinie und der zugeordneten Geraden im Kamera- Koordinatensystem ermittelt wird. Zusätzlich und gegebenenfalls auch alternativ zum Rollwinkel können aus geometrischen Zusam­ menhängen der Nickwinkel und der Gierwinkel bestimmt werden.

Weitere Vorteile und zweckmäßige Ausführungsformen sind den weiteren Ansprüchen, der Figurenbeschreibung und den Zeichnun­ gen zu entnehmen. Es zeigen:

Fig. 1 eine Seitenansicht auf ein Kamerasystem mit ei­ ner Kamera und einer Auswerteeinheit auf einem Fahrzeug, mit einem seitlich zur optischen Achse der Kamera versetzten und aufrecht auf dem Boden stehenden Referenzkörper im Blickfeld der Kame­ ra,

Fig. 2 eine Draufsicht auf die Kamera nach Fig. 1,

Fig. 3 eine Ansicht aus dem Blickwinkel der Kamera,

Fig. 4 bis Fig. 6 den Fig. 1 bis 3 entsprechende Ansichten, jedoch mit einem senkrecht und ohne seitlichen Versatz zur optischen Achse der Kamera stehenden Refe­ renzkörper,

Fig. 7 eine Draufsicht auf ein Kamerasystem, das gegen­ über einer Fahrzeuglängsachse mit seitlichem Versatz angeordnet ist, wobei der Referenzkörper zusätzlich einen seitlichem Versatz zur opti­ schen Achse der Kamera aufweist.

Bei den in den Fig. 1 bis 7 dargestellten Ausführungsbeispielen sind gleiche Bauteile bzw. gleiche Achsen, Linien und Winkel mit gleichen Bezugszeichen versehen.

Das in Fig. 1 dargestellte Kamerasystem 1 ist auf einem Fahr­ zeug 4 angeordnet und umfasst eine Kamera 2 sowie eine mit der Kamera 2 kommunizierende Auswerteeinheit 3, in der die von der Kamera 2 aufgenommenen Bilder ausgewertet werden. Über das Kame­ rasystem 1 soll insbesondere im Fahrbetrieb des Fahrzeugs 4 die Position des Fahrzeugs in Bezug auf die Umgebung, insbesondere relativ zur Fahrspurmarkierung, festgestellt werden, wobei die Information über die genaue Fahrzeugposition beispielsweise in Fahrerassistenzsystemen weiterverarbeitet werden kann.

Um die Kamera 2 auf dem Fahrzeug 4 relativ zu einem absoluten, der Welt angehörenden Referenzkoordinatensystem 7 zu kalibrie­ ren, wird nach der Montage des Kamerasystems auf dem Fahrzeug ein Kalibrierverfahren angewandt, mit dem Winkelabweichungen des kamerafesten Koordinatensystems 6 gegenüber dem Referenzko­ ordinatensystem 7 kompensiert werden können.

Zur Durchführung des Kalibrierverfahrens wird im Blickfeld der Kamera 2 ein Referenzkörper 5 positioniert, welcher in Bezug auf das absolute Referenzkoordinatensystem 7 eine vorgegebene Ausrichtung einnimmt, in dem zweckmäßig die Längsachse 8 des Referenzkörpers 5 mit der Hochachse des Referenzkoordinatensys­ tems 7 zusammenfällt; der Referenzkörper 5 steht senkrecht auf dem Boden. Die optische Achse 9 der Kamera 2 ist identisch mit der Längsachse des Kamera-Koordinatensystems 6 und kennzeichnet üblicherweise den Bildmittelpunkt des Kamerabildes. Der Durch­ stoßpunkt der optischen Achse 9 durch die Bildebene 10 des von der Kamera erzeugten Bildes ist, wie Fig. 3 zu entnehmen, mit dem Bezugszeichen 11 bezeichnet.

Der Draufsicht nach Fig. 2 ist zu entnehmen, dass die Kamera 2 mit dem Kamera-Koordinatensystem 6 einen Gierwinkel β gegenüber dem Referenzkoordinatensystem 7 aufweist, wobei der Gierwinkel β bedeutet, dass die optische Achse 9 der Kamera 2 um die Hoch­ achse des Kamera-Koordinatensystems 6 verdreht ist. Der Refe­ renzkörper 5 wird zweckmäßig in der Weise in Bezug auf das Fahrzeug angeordnet, dass die Fahrzeuglängsachse die Längsachse 8 des Referenzkörpers 5 schneidet, so dass bei entsprechender Ausrichtung des Referenzkoordinatensystems 7 die Fahrzeuglängs­ achse mit einer Achse des Referenzkoordinatensystems zusammen­ fällt. In dieser Ausführung ist der Gierwinkel β identisch mit der Verdrehung der Kamera 2 um die Kamera-Hochachse gegenüber der Fahrzeuglängsachse.

Fig. 3 zeigt eine Ansicht des Referenzkörpers 5 aus dem Blick­ winkel der Kamera. Der Referenzkörper 5 ist vorteilhaft als langgestreckter Grundkörper ausgeführt, beispielsweise als zy­ lindrische Stange oder als Stange mit viereckigem Querschnitt, wobei aufgrund der vertikalen Ausrichtung des Referenzkörpers 5 zum Boden und der geneigten optischen Achse der Kamera der Re­ ferenzkörper 5 eine optische Verzerrung in der Bildebene 10 der Kamera erfährt, bei der die seitlichen Konturen 12a und 12b des Referenzkörpers 5 trotz eines über die Länge gleichbleibenden Querschnitts eine konusförmige Gestalt einnehmen. Der Durch­ stoßpunkt 11 der optischen Achse der Kamera durch die Bildebene 10 liegt in dieser Ausführung außerhalb der Mittellinie bzw. Längsachse 8 des Referenzkörpers 5.

Bei dem Kalibrierverfahren wird eine Referenzlinie des Refe­ renzkörpers 5, der von der Kamera 2 aufgenommen wird, in der Auswerteeinheit des Kamerasystems ermittelt und in Bezug zum Kamera-Koordinatensystem gesetzt. Im Ausführungsbeispiel wird als Referenzlinie die Längsachse bzw. Mittellinie 8 des Refe­ renzkörpers 5 bestimmt, indem zunächst die Seitenkonturen 12a und 12b des Referenzkörpers ermittelt werden und anschließend auf rechnerischem Wege in der Auswerteeinheit die Mittellinie zwischen den Seitenkonturen 12a und 12b bestimmt wird. Diese Mittellinie bzw. Längsachse 8, die aufgrund der vertikalen Po­ sition des Referenzkörpers 5 auf dem Boden mit der Hochachse des Referenzkoordinatensystems 7 zusammenfällt, wird in Bezug zum Kamera-Koordinatensystem gesetzt und dient der Ermittlung des Rollwinkels γ, der gemäß Fig. 3 als Winkel zwischen dem Ho­ rizont 13 im Bild der Kamera und einer Linie 14 definiert ist, welche parallel zu einer Querachse des Kamera- Koordinatensystems 6 liegt. Gegebenenfalls werden die Seiten­ konturen direkt in Bezug zum Kamera-Koordinatensystem gesetzt und als Referenzlinie herangezogen.

Bei Kenntnis des Verlaufs der Referenzlinie - im Ausführungs­ beispiel nach den Fig. 1 bis 3 die Mittellinie 8 - können zusätzlich zum Rollwinkel γ auch der Nickwinkel α und der Gier­ winkel β berechnet werden.

Im zweiten Ausführungsbeispiel nach den Fig. 4 bis 6 ist der Referenzkörper 5 gegenüber dem Boden sowie dem Referenzkoordi­ natensystem 7 um den Nickwinkel α geneigt angeordnet, so dass die optische Achse 9 der Kamera 2 senkrecht auf die Oberfläche des Referenzkörpers 5 trifft. Der Nickwinkel α kann in einem einfachen Iterationsverfahren dadurch festgestellt werden, dass der Referenzkörper 5 in verschiedenen Neigungslagen positio­ niert wird, diese Neigungslagen von der Kamera aufgenommen wer­ den und in der Auswerteeinheit des Kamerasystems bestimmt wird, ob die Seitenkonturen 12a und 12b des Referenzkörpers 5 einen auf die perspektivische Verzerrung zurück zu führenden Winkel einschließen. Liegt der Winkel zwischen des Seitenkonturen 12a und 12b unterhalb eines vorgegebenen Grenzwertes, kann mit hin­ reichender Genauigkeit davon ausgegangen werden, dass der Refe­ renzkörper 5 mit seiner Längsachse 8 gegenüber dem Referenzko­ ordinatensystem 7 um den Nickwinkel α verschwenkt ist; in die­ sem Fall liegt keine optische Verzerrung im Bild des Referenz­ körpers 5 vor. Bei Ausschluss derartiger Verzerrungen können Nickwinkel α, Gierwinkel β und Rollwinkel γ mit größerer Genau­ igkeit bestimmt werden.

Die um den Nickwinkel α geneigte Position des Referenzkörpers 5 kann näherungsweise auch dadurch festgestellt werden, dass eine Mehrzahl von Referenzkörpern 5 nebeneinander in unter­ schiedlichen Neigungslagen angeordnet sind, wobei derjenige Re­ ferenzkörper, dessen Seitenkonturen die geringste Verzerrung aufweisen, der um den Nickwinkel α geneigten Position am nächsten kommt. Eine derartige Referenzeinrichtung mit einer Mehrzahl von Referenzkörpern, die zueinander um diverse Winkel­ lagen fest oder einstellbar verschwenkt sind, ist in Fig. 4 mit gestrichelter Linie eingezeichnet.

Wie Fig. 5 in Verbindung mit Fig. 6 zu entnehmen, ist in diesem Ausführungsbeispiel, in welchem die Längsachse des Fahrzeuges die Längsachse 8 des Referenzkörpers 5 schneidet, aufgrund ei­ ner geradlinigen Ausrichtung der Kamera 2, bei der die opti­ schen Achse 9 mit der Fahrzeuglängsachse zusammenfällt, kein Gierwinkel gegenüber dem Referenzkoordinatensystem 7 vorhanden.

Der Draufsicht nach Fig. 7 ist zu entnehmen, dass die optische Achse 9 der Kamera 2 einen Gierwinkel β* mit der Fahrzeuglängs­ achse 15 einschließt und mit seitlichem Versatz zur Fahrzeug­ längsachse 15 angeordnet ist. Außerdem schließt in Draufsicht der Referenzkörper 5 einschließlich dem Referenzkoordinatensys­ tem 7 einen weiteren Gierwinkel β gegenüber dem Kamera- Koordinatensystem 6 ein, so dass die Fahrzeuglängsachse 15 ge­ genüber der entsprechenden Achse des Referenzkoordinatensystems 7 einen Gierwinkel β* + β aufweist.

Claims (9)

1. Verfahren zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems, bei dem eine Kamera (2) des Kamerasystems (1) auf einen Referenzkörper (5) ausgerichtet, der Referenzkörper (5) optisch erfasst und in einer Auswerteeinheit (3) des Kamerasystems (1) die relative Position der Kamera (2) zu einem Referenzkoordinatensystem (7) ermittelt wird, dadurch gekennzeichnet,
dass der Referenzkörper (5) in der Weise zu dem Referenzko­ ordinatensystem (7) ausgerichtet wird, dass eine Referenzli­ nie des Referenzkörpers (5) mit einer Geraden im Referenzko­ ordinatensystem (7) zusammenfällt,
dass die Referenzlinie des Referenzkörpers (5) vom Kamera­ system (1) optisch und rechnerisch erfasst wird,
dass der Winkel zwischen der Referenzlinie bzw. einer mit der Referenzlinie zusammenhängenden Linie und einer zugeord­ neten Geraden im Kamera-Koordinatensystem (6) ermittelt und zur Korrektur der Abweichung zwischen dem Kamera- Koordinatensystem (6) und dem Referenzkoordinatensystem (7) herangezogen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bestimmung der Referenzlinie die Seitenkontur (12a, 12b) des Referenzkörpers (5) im Kamerasystem (1) ermittelt wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass gegenüberliegende Seitenkonturen (12a, 12b) ermittelt und zwischen die Seitenkonturen (12a, 12b) eine rechnerische Mit­ tellinie als Referenzlinie gelegt wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet dass als Referenzlinie eine Musterlinie auf der Oberfläche des Referenzkörpers (5) herangezogen wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als Referenzkörper (5) ein langgestreckter Grundkörper mit symmetrischer Querschnittsgeometrie herangezogen wird.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Grundkörper einen über seine Länge konstanten Quer­ schnitt aufweist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Referenzkörper (5) senkrecht zu einer eben im Refe­ renzkoordinatensystem (7) angeordneten Referenzfläche positio­ niert wird.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Rollwinkel (γ) zwischen Kamera-Koordinatensystem (6) und Referenzkoordinatensystem (7) als Winkel in der Bildebene (10) der Kamera (2) zwischen einer Referenzlinie und der zuge­ ordneten Geraden im Kamera-Koordinatensystem (6) ermittelt wird.

9. Vorrichtung zur Kalibrierung eines Kamerasystems, insbeson­ dere eines auf einem Fahrzeug angeordneten Kamerasystems, ins­ besondere zur Durchführung des Verfahrens nach einem der vor­ hergehenden Ansprüche, mit einer dem Kamerasystem (1) zugeord­ neten Kamera (2) und einer Auswerteeinheit (3) zur Auswertung des Kamerabildes, und mit einem Referenzkörper (5) im Blickfeld der Kamera (2), dadurch gekennzeichnet, dass in dem Kamerasystem (1) ein Abbild mit einer Referenzlinie des Referenzkörpers (5) erzeugbar ist und dass die Abweichung der Referenzlinie relativ zu einer Geraden in einem kamerafes­ ten Koordinatensystem (6) ermittelbar ist.