-
Die Erfindung betrifft eine Kamera und ein Verfahren zur geometrischen Kalibrierung einer Kamera, wobei nachfolgend Kamera allgemein als abbildendes optisches System verstanden werden soll.
-
Die geometrische Kalibrierung von abbildenden optischen Systemen (Kameras) ist Grundvoraussetzung für deren Einsatz als Messsystem. Der Vorgang wird auch als Bestimmung der Parameter der inneren Orientierung bezeichnet. Ziel ist es, für jedes Pixel eine Blickrichtung (line of sight) im Kamerakoordinatensystem zu bestimmen. Für diese Aufgabe stehen verschiedene Verfahren zur Verfügung.
-
Heutzutage wird die geometrische Kamerakalibrierung durch eines der folgenden Verfahren durchgeführt:
- 1. Messpunkte (Passpunkte) werden im Objektraum aufgebracht und durch ein unabhängiges Messsystem eingemessen, z.B. durch Theodoliten. Die Passpunkte können auf Wänden, Testtafeln etc. liegen. Mit dem zu kalibrierenden Kamerasystem werden n Aufnahmen der Testpunkte gemacht. Aus den Abbildungen dieser Messpunkte, der Kenntnis ihrer Position im Objektraum, bestimmten a priori-Informationen über die Kamera (z.B. Pixelgröße, Brennweite) sowie über ein Abbildungsmodell können die Parameter der inneren und äußeren Orientierung geschätzt werden.
Nachteilig an dem Verfahren ist, dass Passpunktfelder immobil und unflexibel sind. Die Parameter der inneren und äußeren Orientierung werden in der Regel in einem Schritt bestimmt und sind nicht entkoppelbar. Damit können Fehler, die aus der äußeren Orientierung stammen, in die innere Orientierung verschoben werden und umgekehrt. Das Verfahren ist stark vom verwendeten Abbildungsmodell abhängig.
- 2. Kameras können mit Kollimator/Manipulator-System kalibriert werden. Dazu wird die Kamera auf einem Zwei-Achs-Manipulator fixiert und vor einen Kollimator gestellt, der eine Wellenfront erzeugt, die durch die Optik der Kamera auf einen einzelnen Punkt auf der Fokalebene abgebildet wird. Damit ergibt sich eine Zuordnung der Bildkoordinaten des beleuchteten Pixels zu den beiden Winkeln (Azimut, Elevation) des Manipulators. Das Verfahren wird für n Pixel wiederholt, um das gesamte Bildfeld hinreichend abzudecken. Somit stehen nach dem Messvorgang n 4-Tuples (Pixelkoordinate auf dem Detektor x und y, Manipulatorwinkel Azimut und Elevation) zur Verfügung, mit Hilfe derer man alle Pixel geometrisch kalibrieren kann.
Nachteilig ist jedoch, dass mit dem Ansatz enorme Kosten (Investitionen) und ein hoher Zeitaufwand verbunden sind, da sequentiell gemessen werden muss. Es handelt sich aber um ein direktes Messverfahren, das hochgenau ist. Das Verfahren kann nur in speziellen Labors durchgeführt werden. Die Vermessung eines Detektors (auch automatisiert) kann mehrere Tage beanspruchen.
- 3. Der Einsatz von diffraktiven optischen Elementen (DOE) gestattet ebenfalls eine geometrische Kamerakalibrierung. Dabei wird eine durch einen Kollimator erzeugte ebene Welle auf ein DOE gelenkt. Das DOE wirkt als Strahlteiler und erzeugt n ebene Wellen mit unterschiedlichen Richtungen. Diese n ebenen Wellen werden durch die Kameraoptik auf jeweils einen Punkt auf der Fokalebene abgebildet. In einem Schritt werden n Punkte auf dem Detektor abgebildet, deren Soll-Position hochgenau bekannt ist. Unter Kenntnis der durch das DOE erzeugten Beugungswinkel, bestimmter a priori-Informationen über die Kamera (z.B. Pixelgröße, Brennweite) sowie eines Abbildungsmodells können die Parameter der inneren Orientierung der Kamera bestimmt werden. Die DOE-Kalibrierung kombiniert positive Eigenschaften der beiden anderen Verfahren – sie ist schnell, hochgenau und reproduzierbar.
Nachteilig ist, dass für die Kalibrierung ein zusätzlicher Messaufbau nötig ist, was den Einsatz im Feld einschränkt. Kalibrierungen während des operationellen Betriebes der Kamera sind nicht möglich.
-
Der Erfindung liegt das technische Problem zugrunde, eine Kamera sowie ein Verfahren zur geometrischen Kalibrierung einer Kamera zur Verfügung zu stellen, mittels derer einfach eine geometrische Kalibrierung auch während des operationellen Betriebes der Kamera durchgeführt werden kann.
-
Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und 9. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Hierzu umfasst die Kamera mindestens eine Optik, mindestens einen optischen, ortsauflösenden Detektor, der in einer Fokalebene angeordnet ist, eine Auswerteeinheit, mindestens eine Lichtquelle und ein diffraktives optisches Element, wobei mittels der Lichtquelle das diffraktive optische Element beleuchtbar ist, so dass dieses verschiedene ebene Wellen erzeugt, die durch die Optik jeweils punktförmig auf dem optischen Detektor abgebildet und durch die Auswerteeinheit mindestens zur geometrischen Kalibrierung ausgewertet werden. Anschaulich wird die Vorrichtung zur Kalibrierung in die Kamera integriert. Somit ist es auch einfach möglich, die Kamera während des operationellen Betriebes zu kalibrieren bzw. die Kalibrierung zu überprüfen. Die Lichtquelle ist dabei eine sehr schmalbandige Lichtquelle bzw. nahezu monochromatische Lichtquelle wie beispielsweise ein Laser, damit definierte scharfe Beugungsstrukturen (Punkte) entstehen. Damit ebene Wellen am diffraktiven optischen Element ankommen, muss die Abstrahlcharakteristik der Lichtquelle annähernd kugelförmig sein. Diese kugelförmige Wellen werden dann durch die Optik der Kamera in ebene Wellen überführt, am diffraktiven optischen Element reflektiert und durch die Optik punktförmig auf den optischen Detektor abgebildet.
-
Diffraktive optische Elemente sind in den verschiedensten Ausführungsformen bekannt, wobei passive und aktive diffraktive optische Elemente bekannt sind, wobei letztere auch als SLMs (spatial light modulator) bezeichnet werden. SLMs können beispielsweise als verstellbares Mikro-Spiegel-Array (reflektives SLM) oder als transmittives oder reflektives Flüssigkristall-Display (Liquid Cristal, LC-Display) ausgebildet sein. Diese können aktiv angesteuert werden, so dass deren Beugungsstrukturen zeitlich veränderbar sind. Die passiven diffraktiven optischen Elemente hingegen weisen ein festes Beugungsmuster auf. Diese können reflektiv oder transmitiv ausgebildet sein. Üblicherweise sind passive diffraktive optische Elemente planare Substrate beispielsweise aus Glas oder Kunststoff, auf die beispielsweise durch fotolithografische Ätzschritte Strukturen aufgebracht werden. Auch aktive Elemente können transmittiv oder reflektiv ausgeführt werden. Vorliegend kann prinzipiell jedes der vorgenannten diffraktiven optischen Elemente zum Einsatz kommen.
-
In einer Ausführungsform ist mindestens ein optischer Detektor als Matrix-Sensor ausgebildet. Matrix-Sensoren haben dabei den Vorteil gegenüber Zeilen-Sensoren, dass die Projektion der gebeugten Lichtwellen auf den optischen Detektor einfacher ist, wohingegen die Ausrichtung des diffraktiven optischen Elements zu einem Zeilensensor äußerst schwierig und komplex ist. Der optische Detektor, der mit der gebeugten Lichtwelle bestrahlt wird, kann dabei der oder einer der optischen Detektoren der Kamera für den operationellen Betrieb sein. Es ist jedoch auch möglich, einen separaten optischen Detektor vorzusehen, der nur für die Kalibrierung verwendet wird. Insbesondere bei Zeilen-Kameras bietet sich dies aufgrund der geschilderten Problematik an. In diesem Fall wird dann neben den Zeilen-Sensoren, die die eigentliche Abbildung des Objektraumes gewährleisten, ein separater Matrix-Sensor auf der Fokalebene angeordnet, der nur zu Kalibrierzwecken verwendet wird.
-
In einer weiteren Ausführungsform ist das diffraktive optische Element in die Optik integriert. Hierzu werden beispielsweise Randbereiche der Optik auf der Objektseite, die für die Abbildung nicht verwendet werden, strukturiert. Der Vorteil ist, dass dadurch Optik und diffraktives optisches Element eine definierte Lage haben und eine Ausrichtung zueinander entfällt. Allerdings erfordert dies eine Bearbeitung der empfindlichen Optik.
-
In einer alternativen Ausführungsform ist das diffraktive optische Element auf der Optik angeordnet. Beispielsweise wird dabei eine DOE-Folie auf die Optik geklebt. Ist dabei das diffraktive optische Element ein passives diffraktives optisches Element, so wird dies wieder am Randbereichen der Optik angeordnet, um die operationelle Abbildung nicht zu stören. Dabei ist das diffraktive optische Element beispielsweise als mikrostrukturierter Spiegel ausgebildet.
-
Eine Anordnung im ausgeleuchteten Bereich der Optik ist prinzipiell auch möglich, durch die Fokussierung der Kamera auf Objekte mit einer Mindestentfernung werden die Beugungsstrukturen nicht scharf auf der Fokalebene abgebildet und sind damit im operationellen Betrieb nicht sichtbar. Allerdings sorgt eine im ausgeleuchteten Bereich der Optik angebrachte beugende Struktur für eine Verringerung der Abbildungsgüte durch entstehendes Streulicht.
-
Bei der Verwendung von aktiven diffraktiven optischen Elementen ist es auch möglich, beispielsweise ein LC-Display im ausgeleuchteten Bereich der Optik anzuordnen. Im operationellen Betrieb der Kamera wird dann das aktive diffraktive optische Element transparent geschaltet, so dass es die Abbildung nicht stört. Im Kalibriermodus wird dann das diffraktive optische Element reflektiv geschaltet. Der Vorteil ist, dass die Abbildung der Beugungsstruktur mit dem Teil der Optik erfolgt, der auch die operationelle Abbildung vornimmt. Diese mittleren Bereiche der Optik (paraxialer Bereich) sind empfindlicher für Positions- und Lageänderungen der Optik zur Fokalebene. Bei der Verwendung von passiven diffraktiven optischen Elementen kann die Empfindlichkeit durch Verwendung von mehreren Elementen erhöht werden. Dies gilt im Übrigen auch für Ausführungsformen, bei denen die diffraktiven optischen Elemente in die Optik integriert sind.
-
In einer weiteren alternativen Ausführungsform ist mindestens ein diffraktives optisches Element an einer Blende der Optik angeordnet, die beispielsweise als Ringmetallblende ausgebildet ist. Auch hier werden vorzugsweise mindestens zwei diffraktive optische Elemente verwendet. Der Vorteil dieser Ausführungsform ist, dass die Optik nicht bearbeitet werden muss. Alternativ kann das diffraktive optische Element auch an einer geeigneten Stelle an einer mechanischen Halterung der Optik angeordnet werden.
-
In einer weiteren Ausführungsform umfasst die Kamera mehrere Lichtquellen, die unterschiedliche Abstrahlrichtungen aufweisen. Die unterschiedlichen Abstrahlrichtungen werden vorzugsweise bei Ausführungsformen mit mehreren diffraktiven optischen Elementen verwendet.
-
In einer weiteren Ausführungsform ist mindestens eine Lichtquelle in der Fokalebene angeordnet.
-
In einer weiteren Ausführungsform umfasst die Lichtquelle eine optische Faser, deren Apertur den Lichtaustritt der Lichtquelle bildet. Die eigentliche Lichtquelle, z.B. eine Laserdiode, kann dann an einer geeigneten Stelle in der Kamera angeordnet werden. Dabei ist der optischen Faser vorzugsweise eine Linse zugeordnet, um das austretende Licht möglichst kugelförmig abzustrahlen.
-
Verfahrensmäßig kann mittels der Kalibriermessung eine im Labor vorgenommene Kalibrierung im Betrieb überprüft werden oder aber eine Veränderung zu einer vorangegangenen Kalibriermessung im operationellen Betrieb vorgenommen werden. Die Kalibriermessung im Labor kann dabei mittels eines weiteren Verfahrens und/ oder aber mit der in der Kamera integrierten Vorrichtung vorgenommen werden. Die Trennung der Beugungsstrukturen von den Bilddaten im Betrieb kann durch Differenzbildung bzw. spektrale Trennung erfolgen, wenn der optische Detektor für die Beugungsstrukturen gleich dem optischen Detektor für den operationellen Betrieb ist. Die Messung kann dabei periodisch, beispielsweise jede Stunde einmal, wiederholt werden.
-
Die Erfindung erlaubt eine "in-operation"-Kalibrierung von Kameras in Echtzeit.
-
Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die einzige Figur zeigt eine schematische Darstellung einer Kamera.
-
Die Kamera 20 umfasst einen optischen Detektor 10, der in einer Fokalebene FE angeordnet ist. Des Weiteren umfasst die Kamera 20 eine Lichtquelle 1. Die Lichtquelle 1 umfasst eine monochromatische Lichtquelle, die ihr Licht in eine optische Faser einkoppelt, wobei das freie Ende der optischen Faser in der Fokalebene FE angeordnet ist. Die Apertur der optischen Faser stellt den Lichtaustritt der Lichtquelle 1 dar. Des Weiteren umfasst die Kamera einen mechanischen Halter 6, der eine Optik 3 der Kamera 20 und eine ringförmige Blende 11 trägt. Am Randbereich der Blende 11 ist an der zur Optik 3 zugewandten Seite ein diffraktives optisches Element 5 angeordnet, das beispielsweise als passives reflektives diffraktives optisches Element 5 ausgebildet ist.
-
Die Lichtquelle 1 emittiert in ihrer Form bekannte, beispielsweise kugelförmige Wellenfronten 2. Diese kugelförmigen Wellenfronten 2 werden durch die Optik 3 der Kamera 20 in eine ebene Welle 4 überführt und am reflektiven diffraktiven optischen Element 5 reflektiert. Das reflektive diffraktive optische Element 5 wirkt als Strahlteiler und erzeugt eine Anzahl von ebenen Wellen 7 mit unterschiedlichen Ausbreitungsrichtungen. Die verschiedenen ebenen Wellen 7 werden durch die Optik 3 der Kamera 20 zu Strahlenbündeln 8a, 8b gebündelt und punktförmig als Punkte 9a, 9b auf dem Detektor 10 der Kamera 20 abgebildet. Die Punkte 9a, 9b können im operationellen Betrieb beispielsweise durch ein Differenzbildverfahren (Differenz zwischen Bild 1 [ohne sichtbare Beugungsstrukturen] und Bild 2 [mit sichtbaren Beugungsstrukturen], wobei die Zeitdifferenz zwischen den beiden Bildern sehr kurz sein soll, z.B. 10ms) oder durch spektrale Trennung extrahiert werden.
-
Die eigentliche Überprüfung bzw. Korrektur der geometrischen Kalibrierung erfolgt vorzugsweise wie folgt. Vorab wird die zu kalibrierende Kamera 20 in einem initialen Schritt im Labor mit einem Standardverfahren kalibriert (siehe auch 1. bis 3. in der Würdigung des Standes der Technik). Während dieser Laborkalibrierung werden mittels der Kamera 20 wie zuvor beschrieben Beugungspunkte generiert und auf den optischen Detektor 10 in der Fokalebene FE abgebildet. Die Koordinaten dieser Punkte 9a, 9b werden in der Kamera 20 in einem Speicher 12 oder in einem Messprotokoll gespeichert. Soll nun diese Kalibrierung während des Betriebes der Kamera 20 überprüft werden, so wird die Lichtquelle 1 kurz eingeschaltet und die Koordinaten der erfassten Punkte 9a, 9b erfasst. Eine Auswerteeinheit 13 vergleicht dann die aktuellen Koordinaten der Punkte 9a, 9b mit den Koordinaten der Punkte 9a, 9b aus der Laborkalibrierung, die in dem Speicher 12 gespeichert sind. Aus eventuell gemessenen Veränderungen der Lage der Punkt 9a, 9b wird auf die Änderung der Parameter der inneren Orientierung der Kamera 20 geschlossen.
-
Ergänzend ist anzumerken, dass, wenn der optische Detektor 10 nicht der optische Detektor für den operationellen Betrieb der Kamera 20 ist, üblicherweise alle optischen Detektoren auf einer Fokalebenenplatte angeordnet sind und sich daher gegenüber der Optik 3 gleich verhalten. Daher kann dann von dem separaten optischen Detektor 10 auf die optischen Detektoren für den operationellen Betrieb geschlossen werden.
