DE102004056723A1

DE102004056723A1 - Verfahren und Vorrichtung zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems

Info

Publication number: DE102004056723A1
Application number: DE200410056723
Authority: DE
Inventors: Martin Dr. Scheele; Marcel Rogalla; Reinhard Dr. Schuster; Sven Krüger; Silke Dr. Eckert
Original assignee: ASTRO und FEINWERKTECHNIK ADLE; ASTRO- und FEINWERKTECHNIK ADLERSHOF GmbH; Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Astro- und Feinwerktechnik Adlershof De GmbH; KROEGER, SVEN, 10245 BERLIN, DE; Rogalla Marcel 12555 Berlin De; Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2004-11-19
Filing date: 2004-11-19
Publication date: 2006-05-24
Anticipated expiration: 2024-11-20
Also published as: DE102004056723B4

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung (1) zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems (2), insbesondere für digitale Kameras, umfassend eine kohärente Lichtquelle (3), ein diffraktives optisches Element (6) zur Erzeugung eines Beugungsbildes als Teststruktur, wobei die Teststruktur auf die photosensitiven Sensoren (10) des optoelektronischen Sensorsystems (2) abbildbar sind, wobei das diffraktive optische Element als mindestens ein ansteuerbares diffraktives optisches Element (6) zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern ausgebildet ist, wobei die ideale Intensitätsverteilung in der idealen Bildebene der Beugungsbilder (13) bekannt ist, wobei durch Auswertung der Signale der photosensitiven Sensoren (10) in einer Auswerte- und Steuereinheit (8) eine geometrische Lagebestimmung bis in den Subpixel-Bereich durchführbar ist.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems.
Es gibt eine Vielzahl von optoelektronischen Systemen, die sich in Parametern wie Anzahl der Sensorzeilen oder Größe einer Matrix, Anzahl der Sensorelemente in der Zeile bzw. Matrix sowie der spektralen, radiometrischen und/oder geometrischen Auflösung unterscheiden. Dabei wird die Anordung der photosensitiven Sensoren in der Messbildebene eines optoelektronischen Sensorsystems üblicherweise als Fokalebene bezeichnet.
Werden keine besonderen Anforderungen an die Bildgeometrie gestellt, wird beispielsweise nur die Anzahl der Pixel angegeben, wie dies bei Digitalkameras für den Privat-Gebrauch üblich ist.
Soll jedoch das optoelektronische Sensorsystem zur Messung beispielsweise von 3D-Objekten verwendet werden, so ist eine geometrische Kalibrierung des Sensorsystems notwendig. Hier ist die genaue Kenntnis der inneren Orientierung eines jeden einzelnen Sensorelementes (z.B. ein Pixel) ein wesentliches quantitatives Merkmal, das eine völlig neue Qualität der Sensoren mit sich bringt und das hochgenaue Vermessen der Szenengeometrie überhaupt erst ermöglicht. In physikalischer Sicht wird damit aus der einfachen Abbildung ein Messprozess.

Eine mögliche Vorgehensweise zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems ist die präzise Winkelmessung einzelner Sensorelemente bezüglich einer raumfesten Achse. Hierzu wird beispielsweise ein Kollimator zum optoelektronischen Sensorsystem auf einem Messtisch hochgenau angeordnet, wobei die Richtung zwischen Kollimator und Sensorsystem entsprechend feinfühlig verstellt werden kann, so dass die geometrische Lage eines einzelnen Elementes genau bestimmbar ist. Wird diese Vermessung für ausreichend viele Elemente wiederholt, kann die geometrische Lage aller Elemente des Sensors extrapoliert werden. Diese unter Laborbedingungen durchzuführende geometrische Kalibration findet beispielsweise bei digitalen Kameras für Weltraumzwecke Anwendung. Nachteilig an dem bekannten Verfahren ist jedoch der verhältnismäßig hohe Zeitaufwand von mehreren Stunden.

Die in der Photogrammetrie übliche Methode zur geometrischen Kalibration von optoelektronischen Sensorsystemen ist die Aufnahme eines bildausfüllenden Testfeldes mit vermessenen Kontrollmarken. In der anschließenden Messauswertung kann ein Kalibrationsfile gewonnen werden, mit dessen Hilfe das Sensorsystem metrisch qualifiziert wird. Schwierigkeiten entstehen bei der Kalibration eines auf unendlich fokussierten Sensorsystems, weil die Messmarken aus endlicher Entfernung unscharf abgebildet werden. So scheitert unter Umständen die Kalibration langbrennweitiger Systeme an dem zu geringen Abstand und der erforderlichen Größe des Messfeldes.

Aus der DE 197 27 281 C1 ist eine Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras bekannt, umfassend eine kohärente Lichtquelle und ein synthetisches Hologramm zur Erzeugung einer wohldefinierten Teststruktur, wobei die kohärente Lichtquelle und das Hologramm derart zueinander angeordnet sind, dass bei Beleuchtung des Hologramms durch die kohärente Lichtquelle das Hologramm eine dreidimensionale Teststruktur um die Fokalebene der CCD-Kamera erzeugt. Dieses Hologramm kann auch als diffraktives optisches Element zur Erzeugung eines Beugungsbildes betrachtet werden. Dieses eigentlich sehr fortschrittliche Verfahren stößt jedoch insbesondere an seine Grenzen, wenn Zeilen-Sensoren kalibriert werden sollen, weil die Intensitätsverteilung auf einer Sensorzeile nicht ohne weiteres zu der zwei- bzw. dreidimensionalen Intensitätsverteilung des vom Hologramm erzeugten Bildes in der Sensorebene zugeordnet werden kann, insbesondere wenn die erzeugte Teststruktur rotationssymmetrisch ist.

Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur geometrischen Kalibration von optoelektronischen Sensorsystemen zu schaffen, mittels derer mit geringerem zeitlichen Aufwand verschiedenste optoelektronische Sensorsysteme geometrisch kalibriert werden können.

Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und 8. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Hierzu ist das diffraktive optische Element als mindestens ein ansteuerbares diffraktives optisches Element (dynamisches DOE) zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern ausgebildet, wobei die ideale Intensitätsverteilung in der idealen Bildebene (Fokalebene) der Beugungsbilder bekannt ist, wobei durch Auswertung der Signale der photosensitiven Sensoren in einer Auswerte- und Steuereinheit eine geometrische Lagebestimmung im Subpixel-Bereich durchführbar ist.

Durch die Erzeugung einer schnellen Abfolge von verschiedenen Beugungsbildern können Beugungsbilder über die Sensorelemente wandern, so dass die genaue Ausrichtung der Sensorelemente bestimmbar ist, da durch geschickte Wahl der Beugungsbilder auch eine nur teilweise Überdeckung der Sensorelemente mit ausgewählten Bereichen der Beugungsbilder erfassbar sind. Ein weiterer Vorteil ist, dass mit ein und demselben Messaufbau unterschiedliche optoelektronische Sensorsysteme kalibriert werden können, wobei auch keine Beschränkung auf den sichtbaren Spektralbereich besteht. Ein weiterer Vorteil ist, dass die Vorrichtung relativ kompakt ist, so dass auch ein Transport und Wiederaufbau relativ unkritisch ist. Dabei sei angemerkt, dass bei geringeren Anforderungen an die Genauigkeit selbstverständlich die Kalibration nicht in Subpixelgenauigkeit durchgeführt werden muss.

In einer bevorzugten Ausführungsform sind die Abfolge von Beugungsbildern in der Auswerte- und Steuereinheit abgelegt und/oder werden dort berechnet, wobei die Auswerte- und Steuereinheit mit dem ansteuerbaren diffraktiven optischen Element verbunden ist. Der Vorteil dieser Anordnung ist, dass dadurch die Synchronisation zwischen der Abfolge der Beugungsbilder und der Auswertung der resultierenden Intensitätsverteilung auf den Sensorelementen sehr einfach möglich ist, da sowohl Generation als auch Auswertung der Beugungsbilder in der gleichen Einheit erfolgen.

In einer weiteren bevorzugten Ausführungsform wird die Abfolge der Beugungsbilder in Abhängigkeit der Bildfeldgröße und/oder der Brennweite und/oder der Einzelsensorabmaße und/oder der Pixelgröße und/oder dem Durchmesser der Eingangsapertur der Optik ausgewählt. Hierdurch können die Beugungsbilder sehr gezielt auf das zu kalibrierende optoelektronische Sensorsystem abgestimmt werden, was die Auswertung erheblich vereinfacht.

In einer weiteren bevorzugten Ausführungsform ist das mindestens eine ansteuerbare diffraktive optische Element zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern als LCD-Matrix, als Mikro-Spiegel-Array und/oder als Membranspiegel ausgebildet. Eine LCD-Matrix ist ein transmissives diffraktives optisches Element. Anschaulich kann dabei eine bestimmte Struktur, beispielsweise ein Streifen der Matrix, transparent geschaltet werden, wohingegen der Rest der Matrix nichttransparent geschaltet ist. Alternativ kann auch ein reflektives diffraktives optisches Element wie das Mikro-Spiegel-Array zur Anwendung kommen, wobei die Spiegel beispielsweise mittels Piezoelementen verstellbar sind. Alternativ zum Mikro-Spiegel-Array kann auch ein Membranspiegel verwendet werden. Dieser besteht vorzugsweise aus einer sehr dünnen Siliziumnitrid-Membran von beispielsweise 1 μm Dicke, die einige 10 μm über einem Elektroden-Array aufgespannt ist. Durch elektrostatische Anziehung kann die Membran gezielt rechnergesteuert sehr schnell verformt werden, wodurch mit der Membran verbundene Spiegel verkippt werden. Die Spiegel werden dabei vorzugsweise durch eine Aluminium-Beschichtung auf einem Substrat realisiert, das mit der Membran verbunden ist. Alternativ kann die Membran aus dem Substrat herausgebildet werden.

In einer weiteren bevorzugten Ausführungsform ist zwischen der kohärenten Lichtquelle und dem ansteuerbaren diffraktiven optischen Element eine Einrichtung zur optischen Strahlaufweitung angeordnet. Hierdurch wird der relativ enge Lichtstrahl der kohärenten Lichtquelle in eine parallele kohärente Wellenfront gewandelt, so dass die diffraktiven optischen Elemente über die volle Fläche gleichmäßig ausgeleuchtet werden.

In einer weiteren bevorzugten Ausführungsform ist mindestens ein weiteres statisches und/oder dynamisches diffraktives optisches Element vorhanden, mittels dessen eine geometrische Kalibration für endliche Entfernungseinstellungen durchführbar ist. Dabei sind die weiteren diffraktiven optischen Elemente vorzugsweise austauschbar angeordnet, so dass unterschiedliche endliche Entfernungseinstellungen einstellbar sind. Mittels nur eines ansteuerbaren diffraktiven optischen Elements kann eigentlich nur eine Entfernungseinstellung unendlich geometrisch kalibriert werden, da die parallele kohärente Strahlung einem Objekt aus dem Unendlichen entspricht. Wird nun aber eine endliche Entfernungseinstellung beim optoelektronischen Sensorsystem vorgenommen, so würde das Beugungsbild nicht scharf in der Fokalebene abgebildet werden. Mittels des zweiten diffraktiven optischen Elements kann diese Unschärfe dann ausgeglichen werden. Erfolgt dieser Abgleich durch statische diffraktive optische Elemente, so muss für jede endliche Entfernungseinstellung ein anderes statisches diffraktives optisches Element verwendet werden, weshalb diese auch vorzugsweise austauschbar angeordnet sind. Es ist jedoch auch denkbar, die verschiedenen statischen diffraktiven optischen Elemente zumindest bereichsweise durch ein ansteuerbares diffraktives optisches Element zu ersetzen, wobei sich bereichsweise auf einen Bereich von endlichen Entfernungseinstellungen bezieht.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispieles näher erläutert. Die einzige Figur zeigt ein schematisches Blockschaltbild einer Vorrichtung zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems.
Die Vorrichtung 1 zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems 2 umfasst eine kohärente Lichtquelle 3, eine Einrichtung 4 zur Strahlaufweitung, einen semitransparenten Spiegel 5, ein ansteuerbares diffraktives optisches Element 6, ein statisches diffraktives optisches Element 7 sowie eine Auswerte- und Steuereinheit 8. Das zu kalibrierende optoelektronische Sensorsystem 2 umfasst eine Optik 9 und mindestens einen photosensitiven optoelektronischen Sensor 10. Der Sensor 10 ist beispielsweise als CCD- oder CMOS-Zeilen- oder -Matrix-Sensor ausgebildet. Der oder die photosensitiven Sensoren 10 sind mit der Auswerte- und Steuereinheit 8 verbunden. Des Weiteren ist die Auswerte- und Steuereinheit 8 mit dem ansteuerbaren diffraktiven optischen Element 6 verbunden. Die kohärente Lichtquelle 3, die beispielsweise als Laser ausgebildet ist, emittiert einen Lichtstrahl 11, der durch die Einrichtung 4 aufgeweitet wird, wobei die Aufweitung vorzugsweise auf das Gesichtsfeld der Optik 9 abgestimmt ist. Dieser aufgeweitete, kohärente Lichtstrahl 12 trifft auf den semitransparenten Spiegel 5, wobei dieser für die Richtung des aufgeweiteten Lichtstrahls 12 transparent ist. Das ansteuerbare diffraktive optische Element 6 wird von der Auswerte- und Steuereinheit 8 derart angesteuert, dass eine zeitliche Abfolge von verschiedenen Beugungsbildern erzeugt wird. Das ansteuerbare diffraktive optische Element 6 ist dabei reflektiv, d.h. die gewünschten Beugungsbilder werden auf den semitransparenten Spiegel 5 zurückreflektiert und von dort als Beugungsbild 13 für eine unendliche Entfernungseinstellung des optoelektronischen Sensorsystems 2 reflektiert. Soll nun wie im dargestellten Beispiel das optoelektronische Sensorsystem 2 für endliche Entfernungseinstellungen kalibriert werden, so würde das fiktiv aus dem Unendlichen kommende Beugungsmuster 13 (aufgrund der Parallelität) unscharf abgebildet werden. Dies wird nun durch das statische diffraktive optische Element 7 kompensiert, das derart gewählt wird, dass das Beugungsbild 13 in der Fokalebene der optoelektronischen Sensoren 10 scharf abgebildet wird. Die Auswerte- und Steuereinheit 8 liest dann die Intensitätsverteilung auf dem Sensor aus, wobei durch die sich ändernden Beugungsbilder 13 auf die geometrische Lage und Ausrichtung der Sensorelemente zurückgerechnet werden kann, wobei eine Subpixelgenauigkeit, wenn erforderlich, erreichbar ist. Die Beugungsbilder 13 können dabei Zeilen, Streifen und/oder Kreise bzw. Rechtecke sein, die dann beispielsweise in der Abfolge zeitlich über die Sensoren 10 wandern.

Claims

Vorrichtung zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems, insbesondere für digitale Kameras, umfassend eine kohärente Lichtquelle, ein diffraktives optisches Element zur Erzeugung eines Beugungsbildes als Teststruktur, wobei die Teststruktur auf die photosensitiven Sensoren des optoelektronischen Sensorsystems abbildbar sind, dadurch gekennzeichnet, dass das diffraktive optische Element als mindestens ein ansteuerbares diffraktives optisches Element (6) zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern ausgebildet ist, wobei die ideale Intensitätsverteilung in der idealen Bildebene der Beugungsbilder (13) bekannt ist, wobei durch Auswertung der Signale der photosensitiven Sensoren (10) in einer Auswerte- und Steuereinheit (8) eine geometrische Lagebestimmung der Sensorelemente bis in den Subpixel-Bereich durchführbar ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass in der Auswerte- und Steuereinheit (8) die Abfolge von Beugungsbildern (13) ablegbar und/oder berechenbar sind, wobei die Auswerte- und Steuereinheit (8) mit dem ansteuerbaren diffraktiven optischen Element (6) verbunden ist.
Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Abfolge der Beugungsbilder (13) in Abhängigkeit der Bildfeldgröße und/oder Brennweite und/oder Einzelsensorabmaße und/oder Pixelgröße und/oder Durchmesser der Eingangsapertur der Optik (9) auswählbar ist.
Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das ansteuerbare diffraktive optische Element (6) zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern als LCD-Matrix, als Mikro-Spiegel-Array und/oder als Membran-Spiegel ausgebildet ist.
Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zwischen der kohärenten Lichtquelle (3) und dem ansteuerbaren diffraktiven optischen Element (6) eine Einrichtung (4) zur optischen Strahlaufweitung angeordnet ist.
Vorrichtung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens ein weiteres statisches und/oder ansteuerbares diffraktives optisches Element (7) vorhanden ist, mittels dessen eine geometrische Kalibration für endliche Entfernungseinstellungen durchführbar ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die weiteren diffraktiven optischen Elemente (7) austauschbar angeordnet sind, so dass unterschiedliche endliche Entfernungseinstellungen einstellbar sind.
Verfahren zur geometrischen Kalibrierung eines optoelektronischen Sensorsystems (2), insbesondere für digitale Kameras, mittels einer kohärenten Lichtquelle (3), mindestens eines ansteuerbaren diffraktiven optischen Elements (6) zur Erzeugung verschiedener Beugungsbilder sowie eine Auswerte- und Steuereinheit (8) zum Auslesen der optoelektronischen Sensoren (10) des optoelektronischen Sensorsystems (2), umfassend folgende Verfahrensschritte: a) Berechnen oder Auswählen einer Abfolge von Beugungsbildern (13) als Teststrukturen, deren ideale Intensitätsverteilung in der idealen Bildebene bekannt ist, b) Ansteuern des ansteuerbaren diffraktiven optischen Elements (6) zur Erzeugung einer definierten Abfolge von Beugungsbildern (13), c) Erfassen und Auswerten der resultierenden Intensitätsverteilungen der Pixel der optoelektronischen Sensoren (10) und d) Ermitteln der geometrischen Lage der Sensorelemente des optoelektronischen Sensors (10).
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in der Auswerte- und Steuereinheit (8) die Abfolge von Beugungsbildern abgelegt sind und/oder berechnet werden, wobei die Auswerte- und Steuereinheit (8) mit dem ansteuerbaren diffraktiven optischen Element (6) verbunden ist.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Abfolge der Beugungsbilder (13) in Abhängigkeit der Bildfeldgröße und/oder der Brennweite und/oder der Einzelsensorabmaße und/oder der Pixelgröße und/oder der Durchmesser der Eingangsapertur der Optik (9) ausgewählt wird.
Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass das ansteuerbare diffraktive optische Element (6) zur Erzeugung einer zeitlichen Abfolge von Beugungsbildern als LCD-Matrix, als Mikro-Spiegel-Array und/oder als Membran-Spiegel ausgebildet ist.
Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass der kohärente Lichtstrahl (11) aufgeweitet wird, bevor dieser auf das ansteuerbare diffraktive optische Element (6) trifft.
Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, dass mittels mindestens eines weiteren statischen und/oder ansteuerbaren diffraktiven Elements (7) eine geometrische Kalibration für endliche Entfernungseinstellungen durchgeführt wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die statischen diffraktiven optischen Elemente (7) austauschbar angeordnet sind, so dass unterschiedliche endliche Entfernungseinstellungen einstellbar sind.