DE102018212871A1 - Vorrichtung und Verfahren zur Kamera-Kalibrierung - Google Patents

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Ermittlung von Kalibrierungsparametern einer Kamera (150), insbesondere einer Kamera für ein Fahrerassistenzsystem (ADAS, Advanced Driver Assistance System) eines Fahrzeugs.Die Vorrichtung (100) weist ein Muster (200) auf, wobei das Muster (200) mindestens 3 nicht-kollineare distinktive Raumpunkte (220) aufweist. Weiterhin weist die Vorrichtung (100) einen Schlitten (300) auf, der die Kamera (150) trägt und der sich entlang einer vordefinierten, im Wesentlichen linearen, Trajektorie (320) mit im Wesentlichen konstanten Abweichungen zwischen der Orientierung des Kamerasystems und der Orientierung der Schlittenbewegung bewegt, wobei das Muster (200), mittels der Kamera (150) , als Teil eines Bildes (250) erfasst wird, und wobei die Raumpunkte (220) des Musters (200) während der Bewegung auf der Trajektorie (320) von der Kamera (150) mindestens zweimal erfasst werden. Ferner weist die Vorrichtung (100) eine Recheneinheit (400) auf, welche eingerichtet ist, für jedes Bild (250) jeden der Raumpunkte (220) je einem Bildpunkt (270) des Bildes (250) zuzuordnen und daraus eine Transformationsfunktion zu berechnen, und einen Mittelwert der berechneten Transformationsfunktionen als Kalibrierungsparameter der Kamera (150) zu verwenden.

Description

• Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Ermittlung von Kalibrierungsparametern einer Kamera, insbesondere einer Kamera für ein Fahrerassistenzsystem (ADAS, Advanced Driver Assistance System) eines Fahrzeugs. Weiterhin betrifft die Erfindung eine Verwendung, ein Programmelement und ein computerlesbares Medium.
• Eine oder mehrere Kameras werden z.B. bei Fahrerassistenzsystemen für eine Vielzahl von Anwendungen verwendet, z.B. für die Erkennung von Verkehrszeichen oder des Gegenverkehrs. Für derartige Anwendungen muss die Kamera kalibriert werden. Durch die Kalibrierung wird die formale Relation zwischen dreidimensionalen Raumpunkten und entsprechenden Bildpunkten in den Bildern des Kamerasystems ermittelt und als Parametersatz in dem ADAS-System abgelegt. Mit obigen Daten ist während der Fahrt eine vermessende Erfassung der Umgebung des Fahrzeuges möglich. Weiterhin ist es mit obigen Daten möglich und wichtig, Fehler in der Produktion zu entdecken, wie etwa die fehlerhafte Einbaulage der Kamera ins Fahrzeug. Insbesondere ist hier die Kameraorientierung gegenüber der Geradeausfahrtrichtung des Fahrzeuges, später Orientierung genannt, bzw. die Höhe der Kamera über dem Boden, später Höhe genannt, vom besonderen Interesse.
• Dabei werden bei einigen Systemen zwei Typen von Kalibrierung unterschieden:
• - Die sogenannte intrinsische Kalibrierung wird als einer der letzten Schritte bei der Kamerafertigung durchgeführt. Die Parameter beinhalten für jede Kamera des Systems eine Beschreibung der Lichtpfade des optischen Systems (intrinsische Parameter). Die entsprechenden Parameter werden in der Kamera bzw. in einer Datenbank abgespeichert und als konstant über die gesamte Lebensdauer der Kamera angenommen.
• - Die sogenannte extrinsische Kalibrierung wird als einer der letzten Schritte bei der Fahrzeugfertigung, in einigen Fällen (gegebenenfalls ergänzend) im laufenden Betrieb des Fahrzeuges durchgeführt. Die Parameter beschreiben die Position und Orientierung in Bezug auf ein fest referenziertes Koordinatensystem am Fahrzeug im Stillstand (extrinsische Parameter). Im Folgenden wird unter „Kalibrierung“ die extrinsische Kalibrierung verstanden.
• Für die Kalibrierung wird beispielsweise das Fahrzeug vor der Vermessung hochgenau ausgerichtet. Die Kalibrierung ist im Stand der Technik ein zeitaufwändiger und fehleranfälliger Prozess.
• Es ist Aufgabe der vorliegenden Erfindung, diese Nachteile wenigstens teilweise zu überwinden. Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.
• Die Vorrichtung weist einen beweglichen Schlitten auf. Der Schlitten kann beispielsweise auf Schienen montiert sein; er kann aber auch ein Fahrzeug, insbesondere ein Landfahrzeug, oder Teil eines Fahrzeugs sein. Der Schlitten ist mit der Kamera fest und unbeweglich verbunden; beispielsweise trägt er die Kamera, welche auf dem Schlitten, unter dem Schlitten oder seitlich angeordnet ist. Der Schlitten bewegt sich entlang einer vordefinierten, im Wesentlichen linearen, Trajektorie parallel zu einer Ebene mit einer gegebenen Normalen. Die Abweichungen der Orientierung der Kamera zu dem durch die Ebene und der Bewegungsrichtung eindeutig bestimmten Koordinatensystem werden auch als Rollen (um die Bewegungsachse, „roll“), Nicken (um die Querachse, „pitch“) bzw. Gieren (um den Normalenvektor der Ebene, „yaw“) bezeichnet und im Folgenden Orientierungsabweichung der Kamera zur Geradeausbewegung des Schlittens genannt. Vor und/oder nach der Bewegung entlang der vordefinierten Trajektorie kann der Schlitten beschleunigt oder abgebremst oder auch seitwärts gelenkt werden. Während der Bewegung entlang der Trajektorie werden Änderungen der Richtung und vorzugsweise positive oder negative Beschleunigungen vermieden. Ein geringfügiges Abbremsen, z.B. durch die Reibung eines Kugellagers, kann dabei toleriert werden.
• Weiterhin weist die Vorrichtung zur Ermittlung von Kalibrierungsparametern einer Kamera ein Muster auf. Das Muster weist mindestens 3 nicht-kollineare distinktive Raumpunkte auf. Das Muster ist vor der Kalibrierung vermessen, so dass die Lage Orientierung und die Höhe der distinktiven Punkte, insbesondere gegenüber der oben genannten Ebene, in einem festgelegten Koordinatensystem bekannt ist.
• Während der Bewegung entlang der Trajektorie wird das Muster, mittels der Kamera, als Teil eines Bildes erfasst. Dieses Bild kann beispielsweise zwischengespeichert und/oder mittels eines Rechensystems verarbeitet werden. Während der Bewegung auf der Trajektorie werden die Raumpunkte des Musters von der Kamera mindestens zweimal erfasst.
• Die Vorrichtung weist ferner eine Recheneinheit auf, welche eingerichtet ist, für jedes Bild jeden der Raumpunkte je einem Bildpunkt des Bildes zuzuordnen und daraus eine Transformationsfunktion zu berechnen, und Mittelwerte der Orientierungsparameter der berechneten Transformationsfunktionen als Kalibrierungsparameter der Kamera zu verwenden. Die Mittelwerte können z.B. der arithmetische, der geometrische oder ein gewichteter Mittelwert der berechneten Transformationsfunktionen der mindestens zwei Bilder sein.
• Die genannte Vorrichtung vermeidet die hochgenaue Ausrichtung des Schlittens und/oder die hochgenaue Vermessung des Musters und des Schlittens zueinander. Weiterhin kann das Muster recht einfach sein, z.B. zwei oder drei Balken, die sich durch Farbe und/oder Kontrast deutlich von dem Hintergrund abheben. Außerdem ist der Zeitbedarf der Messung relativ gering, weil nur gewährleistet sein muss, dass die Kamera mit dem Schlitten entlang einer vordefinierten Trajektorie bewegt wird.
• In einer Ausführungsform werden die Raumpunkte des Musters während der Bewegung auf der Trajektorie von der Kamera mindestens dreimal erfasst. Dadurch wird es zusätzlich möglich, die Gleichförmigkeit der Bewegung des Schlittens zu überprüfen. Dies kann beispielsweise dadurch geschehen, dass die erfassten Bilder mit einem Zeitstempel versehen werden. Dann wird der zeitliche Abstand zwischen dem ersten und dem zweiten Zeitstempel mit dem zeitlichen Abstand zwischen dem zweiten und dem dritten Zeitstempel verglichen. Diese zeitlichen Abstände müssen, bis auf eine vordefinierte Toleranz, gleich sein. Weiterhin kann die Linearität der Bewegung geprüft werden, indem geprüft wird, ob die Ortsvektoren der Kamerazentren kollinear (bei zwei Posen ist das immer der Fall) und die Orientierung der Kamera jeweils im Koordinatensystem des Musters konstant sind. Dies dient zur Überprüfung der Annahmen bzw. der der Vorbedingungen für die Kalibrierung.
• In einer Ausführungsform weist der Schlitten weiterhin ein Odometer auf. Dies kann zusätzlich oder alternativ zur Überprüfung der Gleichförmigkeit und Linearität der Bewegung des Schlittens verwendet werden.
• In einer Ausführungsform weist die Trajektorie eine Länge von 1 m bis 10 m, insbesondere von 2 m bis 5 m, auf. Dies hat sich bei Experimenten als eine sinnvolle Strecke zur Ermittlung von hinreichend präzisen Kalibrierungsparametern bei einem nicht zu hohen Aufwand für die Bereitstellung der Trajektorie erwiesen.
• In einer Ausführungsform wird eine Geschwindigkeit zwischen 0,5 und 50 m/s, insbesondere zwischen 2 und 20 m/s, gewählt. Dieser Bereich der Geschwindigkeit hat sich als besonders handhabbar für die genannte Vorrichtung erwiesen.
• In einer Ausführungsform wird das vollständige Muster während der Bewegung auf der Trajektorie erfasst. Dabei werden mindestens die 3 nicht-kollinearen distinktiven Raumpunkte während der Bewegung auf der Trajektorie erfasst. Durch die Erfassung des vollständigen Musters ist diese Bedingung sicher gewährleistet.
• In einer Ausführungsform ist das Muster auf einem Boden angeordnet. Dies hat sich in der Praxis als besonders handhabbar erwiesen. Weiterhin ist durch diese Anordnung eine deutliche Veränderung der Bildinhalte von Bild zu Bild gesichert. Bei einer Anordnung des Musters beispielsweise an einer vertikalen Wand kann diese Veränderung zwischen den Bildern geringer ausfallen.
• Das Muster kann beispielsweise zwei Zebrastreifen, jeweils mit der Länge 3 m und Breite 50 cm, aufweisen. Es sind auch weitere Formen bzw. Ausrichtungen des Musters möglich, wie z.B. Schachbrettmuster und/oder Punktmuster.
• In einer der Ausführungsformen, bei denen das Muster auf dem Boden angeordnet ist, ist der Boden im Bereich des Musters eben und einfarbig. Dieser Bereich kann z.B. ein größerer Bereich einer Werkshalle sein. Dabei kann sich das Muster deutlich von dem Boden abheben.
• In einer Ausführungsform ist der Schlitten ein Fahrzeug, beispielsweise ein Landfahrzeug. Bei einem Landfahrzeug kann die lineare Bewegung mit konstanter Geschwindigkeit (die zu konstanten Orientierungsabweichung der Kamera führt) beispielsweise durch Rollenlassen des Fahrzeugs erreicht werden; dabei kann der Fahrer unmittelbar vor Erreichen der Trajektorie z.B. das Lenkrad des Fahrzeugs loslassen und den Leerlauf einlegen. Dabei kann es einen Bereich der Fahrzeuganfahrt auf das Muster geben. Dieser kann so ausgestaltet sein, dass keine Hindernisse zwischen der Kamera und dem Muster angeordnet und/oder sichtbar sind. Der Bereich kann z.B. 15 m lang sein und durch Markierungen, wie z.B. durch Pylonen, gekennzeichnet werden, um so zu einer einfachen Durchführung der Kalibrierung beizutragen.
• In einer Ausführungsform umfassen die Kalibrierungsparameter die Höhe über dem Boden und die Orientierungsabweichung zur Geradeausbewegung. Insbesondere bei Landfahrzeugen weist eine Kamera nach dem Einbau derartige Abweichungen auf, die für die Verwendung z.B. in vielen ADAS-Systemen berücksichtigt werden müssen.
• Die Erfindung betrifft weiterhin ein Verfahren zur Ermittlung von Kalibrierungsparametern einer Kamera, mittels einer Vorrichtung nach einem der vorhergehenden Ansprüche, mit den Schritten:
• • Bereitstellen eines Musters. Dabei weist das Muster mindestens 3 nicht-kollineare distinktive Raumpunkte auf.
• • Bereitstellen eines Schlittens. Dabei ist der Schlitten eingerichtet, sich entlang einer vordefinierten, im Wesentlichen linearen, Trajektorie mit im Wesentlichen konstanten Orientierungsabweichung zur Geradeausbewegung zu bewegen. Weiterhin ist die Kamera fest an dem Schlitten angeordnet.
• • Bewegen des Schlittens mit der Kamera, entlang der vordefinierten, im Wesentlichen linearen, Trajektorie mit im Wesentlichen konstanten Orientierungsabweichung zur Geradeausbewegung.
• • Während der Bewegung auf der Trajektorie, mindestens zweimaliges Erfassen der Raumpunkte des Musters, mittels der Kamera, als je ein Bild, und Abbilden jedes Raumpunkts auf je einen Bildpunkt jedes Bildes.
• • Zuordnen, mittels der Recheneinheit, für jedes Bild, jeden der Raumpunkte zu je einem Bildpunkt des Bildes und berechnen einer Transformationsfunktion.
• • Verwenden der Mittelwerte der Parameter der berechneten Transformationsfunktionen als Kalibrierungsparameter der Kamera.
• In einer Ausführungsform weist das Verfahren folgende weitere Schritte auf:
• • Während der Bewegung auf der Trajektorie, mindestens dreimaliges Erfassen der Raumpunkte des Musters, als je ein Bild, oder verwenden eines Odometers;
• • Aus der Differenz je zweier Bilder, oder aus dem Geschwindigkeitsprofil des Odometers, berechnen der Gleichförmigkeit der Bewegung auf der Trajektorie.
• Die genannte Vorrichtung wird insbesondere zur Ermittlung von Kalibrierungsparametern einer Kamera verwendet.
• Die Erfindung betrifft weiterhin ein Programmelement, welches, wenn es auf einer Recheneinheit ausgeführt wird, die Recheneinheit anweist, das geschilderte Verfahren durchzuführen.
• Die Erfindung betrifft weiterhin ein computerlesbares Medium, auf dem das genannte Programmelement gespeichert ist.
• Zur weiteren Verdeutlichung wird die Erfindung anhand von in den Figuren abgebildeten Ausführungsform beschrieben. Diese Ausführungsformen sind nur als Beispiel, nicht aber als Einschränkung zu verstehen.
• Dabei zeigen:
• 1: die schematische Darstellung eines Szenarios und einer Vorrichtung zur Ermittlung von Kalibrierungsparametern einer Kamera;
• 2: die schematische Darstellung einer Vorrichtung zur Ermittlung von Kalibrierungsparametern einer Kamera;
• 3: die schematische Darstellung eines Verfahrens zur Kalibrierung einer Kamera.
• 1 zeigt ein Szenario, von oben, bei der Kalibrierung einer Kamera 150. Es ist ein Fahrzeug 310 gezeigt, das sich, während des Kalibrierens der Kamera 150, auf einer Trajektorie 320 parallel zur Bodenebene befindet. Die Trajektorie 320 kann z.B. 3 m lang sein und durch Markierungen, z.B. durch Pylonen, gekennzeichnet werden, um eine einfache Erkennung der Trajektorie 320 zu ermöglichen. Die Kamera 150 ist als Frontkamera gestaltet; die Kamera 150 kann aber auch aus mehreren Kameras, insbesondere aus einer Surround-View-Anordnung, bestehen. In oder auf dem Fahrzeug 310 ist eine Recheneinheit 400 angeordnet. Diese kann mit einem Server, beispielsweise in einer Cloud, verbunden sein (nicht gezeigt). Die Trajektorie 320 ist im Wesentlichen linear. Die Bewegung auf der Trajektorie 320 geschieht mit im Wesentlichen konstanten Orientierungsabweichungen zur Geradeausbewegung, z.B. mit konstanter Geschwindigkeit. Im Blickfeld der Kamera 150 ist ein Muster 200 angeordnet. Dieses besteht in dem gezeigten Ausführungsbeispiel aus drei Vierecken, welche am Boden 290 angeordnet sind. Das Muster 200 kann einfach gestaltet sein, z.B. - wie gezeigt - als eine Art Zebrastreifen. Das Muster 200 hebt sich durch Farbe und/oder Kontrast deutlich von dem Hintergrund ab. Das Muster kann beispielsweise zwei Zebrastreifen, jeweils mit der Länge 3 m und Breite 50 cm, aufweisen. Es sind auch weitere Formen bzw. Ausrichtungen des Musters möglich, wie z.B. Schachbrettmuster und/oder Punktmuster. Das Muster 200 weist mindestens 3 nicht-kollineare distinktive Raumpunkte 220 auf. Das Muster ist vermessen, so dass die Lage der distinktiven Punkte auf der Bodenebene in einem festgelegten Koordinatensystem bekannt ist. Der Boden 290 weist einen Anfahrtsbereich 330 und einen Abfahrtsbereich 335 auf; diese sind nicht Teil der Trajektorie 320. Die Trajektorie 320 kann gerade zu dem Muster 200 verlaufen; sie kann aber - wie in 1 dargestellt - auch schräg zu dem Muster 200 verlaufen.
• 2 zeigt die schematische Darstellung einer Vorrichtung 100 zur Ermittlung von Kalibrierungsparametern einer Kamera 150. Die gezeigten Komponenten können Teil eines Fahrerassistenzsystems (ADAS) sein. Die Kamera 150 kann beispielsweise Teil des Szenarios von 1 sein. Die Kamera 150 ist mit einer Zuordnungsvorrichtung 420 verbunden. Die Zuordnungsvorrichtung 420 ist eingerichtet, um Bilder der Kamera 150 zu analysieren und das Muster 200 in einem Bild 250, das die Kamera 150 erfasst hat, zu erkennen und die distinktiven Punkte 220 auf dem Muster 200 zu identifizieren. Das Ergebnis der Zuordnungsvorrichtung 420 ist eine Zuordnung von Raumpunkten 220 im Referenzkoordinatensystem auf dem Boden 250 und korrespondierenden Bildpunkten 270 in dem Bild 250 der Kamera 150. Das Ergebnis der Zuordnungsvorrichtung 420 wird in einer Bildauswertungsvorrichtung 430 verwendet, um die sogenannte Pose (Ausrichtung und Translation der Kamera 150) gegenüber dem Referenzkoordinatensystem des Musters 200 zu ermitteln. Die Bildauswertungsvorrichtung 430 kann in einigen Ausführungsformen verwendet werden, um zu überprüfen, ob das Fahrzeug 310 sich auf einer im Wesentlichen linearen Trajektorie 320 mit im Wesentlichen konstanten Abweichungen der Orientierung zur Geradeausbewegung, z.B. mit konstanter Geschwindigkeit, bewegt, d.h. ob es sich gerade und unbeschleunigt bewegt. Für diese geradlinige Bewegung kann z.B. der Fahrer unmittelbar vor Erreichen der Trajektorie das Lenkrad des Fahrzeugs loslassen und den Leerlauf einlegen. Diese Überprüfung kann in einer Ausführungsform durch Structure-From-Motion (SfM) Methoden und/oder durch ein Odometer 170 unterstützt werden. Dies kann zur Überprüfung der Annahmen der Kalibrierung verwendet werden. Die Kalibrierungsvorrichtung 440 ist eingerichtet, aus mehreren Posen der Kamera 150 die Orientierungsabweichungen der Kamera zur Geradeausbewegung zur Kalibrierung der Kamera 150 zu bestimmen. In dem Speicher 450 und/oder einem Server kann das Ergebnis der Kalibrierung gespeichert werden.
• 3 zeigt die schematische Darstellung eines Verfahrens 500 zur Kalibrierung einer Kamera 150, für das beispielsweise ein Szenario genutzt wird, wie es in 1 dargestellt ist. Dabei wird angenommen, dass die intrinsischen Parameter der Kamera 150 bekannt und konstant sind. Damit lässt sich eine Abbildung eines Raumpunkts s auf einen Bildpunkt p darstellen als: $$\text{p}=\text{k}\left(\text{s},\text{ theta}\right)$$

  

  mit:
• s: Raumpunkt 220;
• theta: die extrinsischen Parameter bzw. die Pose der Kamera.
• p: der s entsprechende Bildpunkt 270.
• Eine oben erwähnte Pose beschreibt eine Abbildung aus dem Koordinatensystem des Musters in das Koordinatensystem der Kamera und wird durch eine Rotationsmatrix R und einen Translationsvektor t repräsentiert. Eine solche Bewegung (Translation und Rotation) eines ersten Raumpunktes x auf einen zweiten Raumpunkt y wird beschrieben mit: $$\text{y}=\text{R}\left(\text{theta}\right)\cdot \text{x}+\text{t}\left(\text{theta}\right)$$

  
• Eine geeignete Parametrisierung von R und t ist durch die Winkel Gieren (yaw), Nicken (pitch) und Rollen (roll), und eine Translation t, gegenüber dem Koordinatensystem der Kamera 150, gegeben.
• Nach dem Start 501 des Verfahrens 500 wird in Schritt 502 der Schlitten 300 oder das Fahrzeug 310 auf dem Boden 290, z.B. in einer Werkshalle, bewegt, sodass es in den Zufahrtsbereich 330 des Musters 200 in geeigneter Ausrichtung eintritt. In Schritt 503 wird überprüft, ob die so erreichte Anfangsposition Teil einer gültigen Trajektorie 320 ist. Es kann mehr als eine gültige Trajektorie 320 geben. Wenn nein, wird die Anfahrt (Schritt 502) wiederholt. Wenn ja und in dem Fall, wenn der Schlitten ein Landfahrzeug ist, kann der Fahrer unmittelbar vor Erreichen der Trajektorie das Lenkrad des Fahrzeugs loslassen (Schritt 504) und den Leerlauf einlegen (Schritt 505) . Schritte 504 und 505 können auch vertauscht oder parallel ausgeführt werden. Während es Befahrens der Trajektorie 320 ist insbesondere das Muster 200, zumindest die Raumpunkte 220, zu jedem Zeitpunkt, während der Schlitten 300 sich auf der Trajektorie 320 befindet, im Bild 250 der Kamera 150 sichtbar. Das Muster 200 kann mittig auf dem Bild 250 der Kamera 150 angeordnet sein. Die Strecke auf der Trajektorie 320 ist z.B. 3 m.
• Während des Befahrens der Trajektorie 320 werden von der Kamera 150 mindestens zwei Bilder 250 aufgenommen. In einer Ausführungsform werden mindestens drei Bilder 250 aufgenommen. Während des Befahrens der Trajektorie 320 erkennt die Einheit mehrfach, z.B. in vordefinierten Abständen, im Schritt 506 das Muster 200 und ermittelt zu jedem Bild 250 korrespondierende Raumpunkte s_i 220 bzw. Bildpunkte p_i 270. Sind mindestens 3 nicht kollineare bekannte Raumpunkte s_i 220 auf dem Muster 200 und entsprechende Bildpunkte p_i 270 auf dem korrespondierenden Bild 250 ermittelt worden, so lässt sich in Schritt 507 die Pose der Kamera 150 gegenüber dem Musterkoordinatensystem durch das Lösen folgender Gleichung schätzen: Minimiere in Bezug auf theta die Quadratsumme der Residuale L(theta), mit $$\text{L}\left(\text{theta}\right)={\displaystyle \sum _{\text{i}}{\Vert {\text{p}}_{\text{i}}-\text{k}\left({\text{s}}_{\text{i}},\text{ theta}\right)\Vert }^2}$$

  
• Liegen mindestens drei Bilder 250 vor, so kann in Schritt 508 überprüft werden, ob die Bewegung linear und konstante Abweichungen von den Rotationsachsen aufwies. Im positiven Fall sind die Ortsvektoren der Kamerazentren kollinear (bei zwei Posen ist das immer der Fall) und die Orientierung der Kamera ist konstant. Hier ist eine zusätzliche Überprüfung mittels statistischer Methoden möglich. Wenn nein, wird die Anfahrt (Schritt 502) wiederholt. Die genannte Überprüfung kann mittels eines Odometers 170 plausibilisiert bzw. weiter überprüft werden.
• In Schritt 509 wird überprüft, ob ausreichend (z.B. bei Landfahrzeugen zwei oder mehr, im Allgemeinen drei oder mehr) Posen Rj, tj bei der Befahrung der Trajektorie 320 ermittelt wurden. Wenn nein, werden die Schritte 504 bis 508 wiederholt. Wenn ja, wird in Schritt 510 die Kamerakalibrierung durchgeführt.
• Es sind mindestens zwei Posen theta1 und theta2 (mit R1, t1 und R2, t2) verfügbar. Aufgrund der Vorbedingung der Geradeausfahrt werden die Winkel der beiden Posen als konstant angenommen. Da das Bodenkoordinatensystem und das Fahrzeugkoordinatensystem bis auf den Gierwinkel gleich ausgerichtet sind, kann Roll, Pitch, und die Höhe über dem Muster 200 und somit über dem Boden 250 als Durchschnitt von Roll, Pitch und der Höhe der beteiligten Posen ermittelt werden. Insbesondere zur Schätzung des Gierwinkels (Yaw) wird die Annahme der Geradeausfahrt getroffen, d.h. R1 = R2. Betrachtet man nun den Vektor t12 $$\text{t12}=\text{R}\left(\text{t2}-\text{t1}\right)$$

  

  der die Geradeausbewegung des Fahrzeuges im lokalen Koordinatensystem der ersten Kamera darstellt, so existiert eine Rotation Q, welche die longitudinale Achse (optische Achse) des ersten Bildes 250 der Kamera 150 parallel zu t rotiert. Die Rotation Q beschreibt unter anderem die Abweichung der Geradeausrichtung in Gier zu der optischen Achse der Kamera (Yaw). Mit $$\text{Q}=\left(\begin{array}{l}\text{r1}\\ \text{r2}\\ \text{r3}\end{array}\right)$$

  

  und wenn die optische Achse der Kamera der Einheitsvektor e3 ist, mit $$\text{e3}=\left(\begin{array}{l}0\\ 0\\ 1\end{array}\right)$$

  

  so ergibt sich Yaw durch das Lösen der folgenden Gleichungen.
• Mit Q = { q1 ; q2 ; q3 } d.h. in Termini von yaw, pitch und roll dargestellt, t normiert, und die optische Achse der Kamera der Einheitsvektor e3 $$\text{t}=\text{Q}\cdot \text{e3}=\text{r3}$$

  
• Hierbei spielt die Parametrisierung von Q in yaw, pitch und roll keine spezielle Rolle. In bestimmten Fällen ist die Parametrisierung von Q durch Eulerwinkel gegeben mit Q = { Qpitch ; Qyaw ; Qroll } und das obige Gleichungssystem nimmt die Form $$\left(\begin{array}{l}\text{tx}\\ \text{ty}\\ \text{tz}\end{array}\right)=\left(\begin{array}{c}-\text{sin}\left(\text{yaw}\right)\\ \text{sin}\left(\text{pitch}\right)\cdot \text{cos}\left(\text{yaw}\right)\\ \text{cos}\left(\text{pitch}\right)\cdot \text{cos}\left(\text{yaw}\right)\end{array}\right)$$

  

  an, wodurch Yaw sich ergibt als $$\text{Yaw}=\text{asin}\left(-\text{tx}\right)$$

  
• Sind mehr als zwei Posen vorhanden, kann das Verfahren entsprechend auf die weiteren Posen angewendet werden. Generell wird durch die Verwendung mehrerer Posen die Genauigkeit der Kalibrierung verbessert. Für Yaw wird der Vektor t als die Durchschnittsrichtung der aus (Gl. 4) ermittelten Richtungen bestimmt und das Verfahren analog zu dem Fall mit zwei Posen fortgesetzt.
• Auf dieser Basis wird anschließend ein nichtlineares Problem gelöst, welches die 4 gesuchten Parameter mit sämtlichen erhobenen Daten gemeinsam durchführt. In einer Ausführungsform kann das folgende Problem nach den unbekannten Parametern minimiert werden: $$\begin{array}{l}\text{L }\left(\text{yaw}\text{, pitch}\text{, roll}\text{, t1}\text{, dt}{\text{, lambda}}_{\text{k}}\right)=\\ {\displaystyle \sum _{\text{i}}{\displaystyle \sum _{\text{j}}{\Vert {\text{p}}_{\text{ij}}-\text{k}\left({\text{s}}_{\text{i}},\text{ yaw}\text{, pitch}\text{, roll}\text{, t1}+{\text{lambda}}_{\text{j}}*\text{dt}\right)\Vert }^2}}\end{array}$$

  
• Dabei sind p_ij die i-ten Punkte des Musterpunktes s_i im Bild j.
• Weiterhin sind { yaw, pitch, roll }, die über die Geradeausfahrt konstanten Parameter der Orientierung der Kamera 150 gegenüber dem Muster 200. Der Vektor t1 beschreibt die Lage der ersten Kamera im Referenzsystem des Targets. Der normalisierte Vektor dt gibt dann die Richtung der Geradeausbewegung des Fahrzeuges in der Welt und die Faktoren lambda_k die vielfachen des Vektors dt für die nachfolgende Kameraposition. Somit sind die Positionen der Kameras automatisch kollinear. Aus pitch, roll, sowie aus t1 und dt können wie oben beschrieben die gesuchten Parameter bestimmt werden.
• Im optionalen Schritt 511 kann das Ergebnis (yaw, pitch, roll und die Höhe der Kamera über dem Muster 200 - d.h. auch über dem Boden 290 - in einem Speicher abgelegt werden.
• Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und die unbestimmten Artikel „eine“ oder „ein“ keine Vielzahl ausschließen. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.
• Bezugszeichenliste

100

Vorrichtung

150

Kamera

170

Odometer

200

Muster

220

Raumpunkte s

250

Bild

270

Bildpunkte p

290

Boden

300

Schlitten

310

Fahrzeug

320

Trajektorie

330

Anfahrtsbereich

335

Abfahrtsbereich

400

Recheneinheit

420

Zuordnungsvorrichtung

430

Bildauswertungsvorrichtung

440

Kalibrierungsvorrichtung

450

Speicher

500

Verfahren

501

Start

502 .. 511

Schritte des Verfahrens

Claims (15)

1. Vorrichtung (100) zur Ermittlung von Kalibrierungsparametern einer Kamera (150), aufweisend: ein Muster (200), wobei das Muster (200) mindestens 3 nicht-kollineare distinktive Raumpunkte (220) aufweist, einen Schlitten (300), der die Kamera (150) festmontiert trägt und der sich entlang einer vordefinierten, im Wesentlichen linearen, Trajektorie (320), die parallel zu einer Ebene verläuft, mit im Wesentlichen konstanten Abweichungen zwischen der Orientierung des Kamerasystems und der Orientierung der Schlittenbewegung bewegt, wobei das Muster (200) , mittels der Kamera (150) , als Teil eines Bildes (250) erfasst wird, wobei die Raumpunkte (220) des Musters (200) während der Bewegung auf der Trajektorie (320) von der Kamera (150) mindestens zweimal erfasst werden, und eine Recheneinheit (400), welche eingerichtet ist, für jedes Bild (250) jeden der Raumpunkte (220) je einem Bildpunkt (270) des Bildes (250) zuzuordnen und daraus eine Transformationsfunktion zu berechnen, und einen Mittelwert oder Mittelwerte der Parameter der berechneten Transformationsfunktionen als Kalibrierungsparameter der Kamera (150) zu verwenden.
2. Vorrichtung (100) nach Anspruch 1, wobei die Raumpunkte (220) des Musters (200) während der Bewegung auf der Trajektorie (320) von der Kamera (150) mindestens dreimal erfasst werden.
3. Vorrichtung (100) nach Anspruch 1 oder 2, wobei der Schlitten (300) weiterhin ein Odometer (170) aufweist.
4. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (320) eine Länge von 1 m bis 10 m, insbesondere von 2 m bis 5 m, aufweist.
5. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei eine Geschwindigkeit zwischen 0,5 und 50 m/s, insbesondere zwischen 2 und 20 m/s, gewählt wird.
6. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei das vollständige Muster (200) während der Bewegung auf der Trajektorie (320) erfasst wird.
7. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei das Muster (200) auf einem Boden (290) angeordnet ist.
8. Vorrichtung (100) nach Anspruch 6, wobei der Boden (290) im Bereich des Musters (200) eben und einfarbig ist.
9. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei der Schlitten (300) ein Fahrzeug ist.
10. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, wobei die Kalibrierungsparameter die Höhe über dem Boden (290) und die Abweichung von den Rotationsachsen umfassen.
11. Verfahren zur Ermittlung von Kalibrierungsparametern einer Kamera (150), mittels einer Vorrichtung (100) nach einem der vorhergehenden Ansprüche, mit den Schritten: - Bereitstellen eines Musters (200), wobei das Muster (200) mindestens 3 nicht-kollineare distinktive Raumpunkte (220) aufweist; - Bereitstellen eines Schlittens (300), wobei der Schlitten (300) eingerichtet ist, sich entlang einer vordefinierten, im Wesentlichen linearen, Trajektorie (320) mit im Wesentlichen konstanten Abweichungen von den Rotationsachsen zu bewegen, und wobei die Kamera (150) an dem Schlitten (300) festmontiert angeordnet ist; - Bewegen des Schlittens (300) mit der Kamera (150), entlang der vordefinierten Trajektorie (320) mit im Wesentlichen konstanten Abweichungen der Orientierung des Kamerasystems und der Orientierung der Schlittenbewegung; - Während der Bewegung auf der Trajektorie, mindestens zweimaliges Erfassen der Raumpunkte (220) des Musters (200), mittels der Kamera (150), als je ein Bild (250), und Abbilden jedes Raumpunkts (220) auf je einen Bildpunkt (270) jedes Bildes (250) ; - Zuordnen, mittels der Recheneinheit (400), für jedes Bild (250) , jeden der Raumpunkte (220) zu je einem Bildpunkt (270) des Bildes (250) und berechnen einer Transformationsfunktion; - Verwenden der Mittelwerte der Parameter der berechneten Transformationsfunktionen als von Kalibrierungsparameter der Kamera (150).
12. Verfahren nach Anspruch 11, mit dem weiteren Schritt: - Während der Bewegung auf der Trajektorie, mindestens dreimaliges Erfassen der Raumpunkte (220) des Musters (200), als je ein Bild (250), oder verwenden eines Odometers (170); - Aus der Differenz je zweier Bilder (250), oder aus dem Geschwindigkeitsprofil des Odometers (170), berechnen der Gleichförmigkeit der Bewegung auf der Trajektorie.
13. Verwendung einer Vorrichtung (100) nach einem der Ansprüche 1 bis 10 oder eines Verfahrens nach Anspruch 11 oder 12 zur Ermittlung von Kalibrierungsparametern einer Kamera (150).
14. Programmelement, welches, wenn es auf einer Recheneinheit (400) ausgeführt wird, die Recheneinheit (400) anweist, das Verfahren nach Anspruch 11 oder 12 durchzuführen.
15. Computerlesbares Medium, auf dem ein Programmelement nach Anspruch 14 gespeichert ist.

Images