DE102011106453A1

DE102011106453A1 - Verfahren und Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder

Info

Publication number: DE102011106453A1
Application number: DE102011106453A
Authority: DE
Inventors: Enrico Geissler; Dr. Nieten Christoph; Dr. Pretorius Marco
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2011-07-04
Filing date: 2011-07-04
Publication date: 2013-01-10
Also published as: US9420220B2; US20130010087A1

Abstract

Es werden ein Verfahren und eine Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, zur Verfügung gestellt. Die Vorrichtung ist ausgestattet mit – einem Sensor (13) mit einer Anzahl Pixel (16), die wenigstens zeitweise in zwei voneinander verschiedene Pixelgruppen unterteilt sind, wobei die voneinander verschiedenen Pixelgruppen wenigstens eine Pixelgruppe mit bereits ausgelesenen Pixeln und eine Pixelgruppe mit überwiegend noch auszulesenden Pixeln umfassen, – einer Abbildungsoptik mit einer schaltbaren Umschaltvorrichtung (9), welche die Teilbilder des dreidimensionalen Bildes mit Hilfe nacheinander eingenommener unterschiedlicher Schaltzustände der Umschaltvorrichtung (9) zeitsequentiell auf den Sensor (13) abgebildet, und – einer mit dem Sensor (13) und der Umschaltvorrichtung (9) verbundenen Steuereinheit, die das Auslesen des Sensors (13) und die Schaltzustände der Umschaltvorrichtung (9) derart steuert, dass gemäß dem Verfahren. zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder die Umschaltvorrichtung (9) beim Abbilden der Teilbilder auf den Sensor (13) wenigstens einen Schaltzustand einnimmt, in dem den unterschiedlichen Pixelgruppen des Sensors (13) Ausschnitte unterschiedlicher Teilbilder zugeführt werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, mit einem einzigen, eine Anzahl Pixel aufweisenden Sensor. Daneben betrifft die Erfindung eine Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder, die jeweils ein erstes und ein zweites Teilbild umfassen.
Mit dem 3D-Trend des Kinos im Broadcastbereich aber auch für die private Nutzung sind neben der Bild- oder Filmwiedergabe mittels 3D-Bildschirmen auch die Lösungen für eine stereoskopische Bildaufnahme gefordert. Hier liegt der Bedarf bei kompakten und kostengünstigen Lösungen. Ein Beispiel für die Nutzung von 3D-Bildern oder 3D-Filmen ist die Steuerung von Fahrzeugen, bei denen der Fahrer nur eine sehr eingeschränkte Sicht nach außen besitzt. Hier besteht ein Bedarf an einer kostengünstigen und kompakten Stereodatenaufnahme, die dem Fahrer im Inneren des Fahrzeugs dargestellt wird, und auf deren Basis es eine Steuerung des Fahrzeugs vornimmt. Dies ist beispielsweise bei militärischen Fahrzeugen wie etwa Panzern der Fall. Wegen der hohen Kasten der erforderlichen Kameras etwa für den Infrarotbereich ist es hier sinnvoll, auf die Aufnahme von Stereobildern mittels einer einzigen Kamera zu setzen.
Ein anderes Beispiel für die Nutzung von 3D-Bildern oder 3D-Filmen ist die Aufnahme von vergrößerten Stereobildern, während einer Operation mittels eines Stereooperationsmikroskops. Dabei ist eine kompakte Aufnahmeeinheit erforderlich, um den Operateur nicht zu behindern. Die Kompaktheitsanforderung kann durch die Anordnung einer einzigen Kamera für beide Stereokanäle erfüllt werden.
Den genannten Beispielen ist gemeinsam, dass eine möglichst effiziente Nutzung des zur Verfügung stehenden Lichtes gewünscht ist. Insbesondere im Bereich der militärischen Anwendungen ist dies wünschenswert, weil die angesprochenen Fahrzeuge häufig unbeleuchtet unterwegs sind, so dass eine möglichst effiziente Nutzung des angebotenen Lichtes einen großen Vorteil bringt. Auch im Bereich der Operationsmikroskope ist eine möglichst effiziente Nutzung des Lichtes vorteilhaft, um die Patienten nicht unnötig mit Licht zu belasten, um Schädigungen des Gewebes, insbesondere bei Eingriffen an der Netzhaut zu vermeiden. Daher ist man bestrebt, eine möglichst hohe Lichtausbeute beim Aufnehmen eines Teilbildes zu erzielen, um beispielsweise die Exposition des Gewebes möglichst kurz zu halten oder möglichst viel Restlicht bei möglichst kurzen Belichtungszeiten zur Aufnahme der stereoskopischen Bilder benutzen zu können.
Aus dem Stand der Technik sind optische Beobachtungsgeräte bekannt, bei denen die stereoskopischen Teilstrahlengänge durch ein gemeinsames Hauptobjektiv auf einen gemeinsamen Bildempfänger abgebildet werden. Beispielsweise beschreibt US 5,828,487 ein stereoskopisches Beobachtungssystem mit einem einzigen Beobachtungsstrahlengang und einer Kamera. Zwischen dem Beobachtungsstrahlengang und der Kamera ist eine schaltbare Blende angeordnet, die im Beobachtungsstrahlengang von einer linken Position zu einer rechten Position in Hochgeschwindigkeit hin- und herbewegt werden kann. Dadurch werden die stereoskopischen Teilbilder produziert. Die Vorrichtung kann mit einer Videokamera betrieben werden, wobei die Blende mit der Bildwiederholfrequenz synchronisiert ist.
Den Vorrichtungen aus dem Stand der Technik ist gemeinsam, dass eine Blende dafür sorgt, dass entweder Licht für ein rechtes oder ein linkes Teilbild eines Stereobildes auf den Sensor der Kamera gelangt. Es wird also zu einem beliebigen Zeitpunkt entweder ein rechtes oder ein linkes Teilbild aufgenommen. Um mit derartigen Systemen eine hohe Bildfrequenz bei der Aufnahme stereoskopischer Bilder erreichen zu können, muss der Bildinhalt des Sensors sehr schnell in einen Zwischenspeicher verschoben werden, damit der Sensor rasch wieder für eine neue Belichtung bereit ist. Der Speicherinhalt wird dann während der Belichtung für das nächste Teilbild aus dem Zwischenspeicher ausgelesen und an einen Computer übertragen. Der benötigte Zwischenspeicher erhöht zum einen die Kosten der Kamera, wobei die Kamera umso teurer wird, je schneller das Auslesen der Stereobilder möglich sein soll. Weiterhin muss sich der Zwischenspeicher nahe am Kamerachip befinden, um einen verlustfreien Datentransfer mit hohen Datenraten zu ermöglichen, was dazu führt, dass einer Verringerung des Kameravolumens Grenzen gesetzt sind.
Die Bestrebung, das Licht bei Aufnahmen der stereoskopischen Bilder möglichst optimal auszunutzen, sind also auch durch die verfügbare Kameratechnologie Grenzen gesetzt. Dies gilt insbesondere, wenn neben dem Preis der verwendeten Kamera auch eine kompakte Baugröße der Kamera von Bedeutung ist.
Im Lichte des genannten Standes der Technik ist es Aufgabe der vorliegenden Erfindung, ein vorteilhaftes Verfahren zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder mit einem einzigen Sensor zur Verfügung zu stellen.
Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine vorteilhafte Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder zur Verfügung zu stellen.
Die erste Aufgabe wird durch ein Verfahren zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder nach Anspruch 1 gelöst, die zweite Aufgabe durch eine Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder nach Anspruch 6. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
In dem erfindungsgemäßen Verfahren werden dreidimensionale Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, zeitsequentiell mit einem einzigen Sensor aufgenommen. Der Sensor weist eine Anzahl Pixel auf, die zeitsequentiell aufgelesen werden und wenigstens zeitweise in wenigstens zwei voneinander verschiedene Pixelgruppen unterteilt sind. Der Begriff „zeitsequentielles Auslesen” soll dabei nicht nur das nacheinander Auslesen einzelner Pixel, sondern auch ein zeitsequentielles Auslesen, in dem Sensorzeilen oder -spalten nacheinander ausgelesen werden, umfassen. Die voneinander verschiedenen Pixelgruppen umfassen eine Pixelgruppe mit bereits ausgelesenen Pixeln und eine Pixelgruppe mit überwiegend noch auszulesenden Pixeln, wobei letztere auch ausschließlich aus noch auszulesenden Pixeln bestehen kann. In dem Verfahren werden die Teilbilder des dreidimensionalen Bildes mit Hilfe nacheinander eingenommener unterschiedlicher Schaltzustände einer schaltbaren Umschaltvorrichtung zeitsequentiell auf den Sensor abgebildet. Beim zeitsequentiellen Abbilden der Teilbilder auf den Sensor nimmt die Umschaltvorrichtung wenigstens einen Schaltzustand ein, in dem den voneinander verschiedenen Pixelgruppen des Sensors Ausschnitte unterschiedlicher Teilbilder zugeführt werden.
Gegenüber dem eingangs beschriebenen Stand der Technik bietet das erfindungsgemäße Verfahren den Vorteil, dass bei seiner Durchführung eine Kamera mit Rolling Shutter Verwendung finden kann. Bei einem solchen Rolling Shutter wird das Kamerabild direkt zeilenweise oder spaltenweise ausgelesen. Nach dem Auslesen einer Kamerazeile oder -spalte steht diese wieder für eine Belichtung bereit. Es muss also nicht wie bei einem konventionellen Verschluss (Global Shutter) erst der gesamte Sensor ausgelesen werden, bevor eine neue Belichtung erfolgen kann. Da beim Rolling Shutter bis zur nächsten Belichtung nicht abgewartet werden muss, bis der gesamte Sensor ausgelesen ist, sondern lediglich die Belichtung für die Dauer des Auslesens einer Zeile oder Spalte unterbrochen ist, braucht die Auslesegeschwindigkeit des Sensors nicht mit Hilfe eines Zwischenspeichers erhöht zu werden, um die zur Verfügung stehende Belichtungsdauer zu erhöhen. Kameras mit Rolling Shutter sind daher bei vergleichbaren Belichtungsdauern auf Grund des Wegfalls des Zwischenspeichers deutlich kostengünstiger als Kameras mit Global Shutter und auch kompakter realisierbar. Beim Rolling Shutter wird also unter Verzicht auf den Zwischenspeicher das Kamerabild direkt zeilenweise oder spaltenweise ausgelesen, wonach die ausgelesene Pixelzeile oder -spalte rasch wieder für eine Belichtung bereit steht. Dies hat zur Folge, dass auch die Datenaufnahme nicht in einem Schuss erfolgt, sondern die Belichtungszeiten der einzelnen Zeilen oder Spalten zeitlich leicht gegeneinander verschoben sind.
Das erfindungsgemäße Verfahren ermöglicht es bei einer Kamera mit Rolling Shutter derjenigen Pixelgruppe mit den überwiegend noch nicht ausgelesenen Pixeln einen Ausschnitt des bisherigen Teilbildes des dreidimensionalen Bildes zuzuführen. Gleichzeitig kann der Pixelgruppe mit den bereits ausgelesenen Pixeln bereits ein Ausschnitt des nachfolgenden Teilbildes zugeführt werden. Wird bei einer Kamera mit Rolling Shutter die i-te Zeile des Sensors ausgelesen, so kann beispielsweise allen Zeilen > i noch Licht für das bisherige Teilbild, beispielsweise für den rechten Stereokanal, zugeführt werden, wohingegen allen Sensorzeilen < i, die bereits ausgelesen sind, bereits das nächste Teilbild, beispielsweise das für den linken Stereokanal, zugeführt werden kann. Möglich wird dies dadurch, dass das Umschaltelement unterschiedliche Schaltzustände aufweist, wobei mindestens einer der Schaltzustände in der Lage ist, den voneinander verschiedenen Pixelgruppen des Sensors Ausschnitte unterschiedlicher Teilbilder zuzuführen.
In den Vorrichtungen nach Stand der Technik ist das darin verwendete Umschaltelement, beispielsweise eine Blende, wie sie in US 5,828,487 beschrieben ist, nicht in der Lage, unterschiedlichen Bereichen des Sensors unterschiedliche Teilbilder zuzuführen. Ein Wechsel des dem Sensor zugeführten Teilbildes kann daher nicht synchron mit einem Rolling Shutter erfolgen, sondern erst dann, wenn die letzte Zeile des Sensors ausgelesen ist. Es lassen sich daher die Vorteile, die beim Auslesen des Sensors mit Rolling Shutter erzielbar sind, in den Vorrichtungen nach Stand der Technik nicht zum Aufnehmen dreidimensionaler Bilder heranziehen.
Die Umschaltvorrichtung kann im erfindungsgemäßen Verfahren eine Strukturierung mit einer Trennlinie zwischen den Strukturen aufweisen, wobei die Position des Bildes der Trennlinie auf dem Sensor vom Schaltzustand der Umschaltvorrichtung bestimmt wird. Die Unterteilung der Pixel des Sensors in die Pixelgruppen wird dann durch die Position des Bildes der Trennlinie auf dem Sensor bestimmt. Dabei ist es insbesondere möglich, das Bild der Trennlinie mittels nacheinander eingenommener Schaltzustände der Umschaltvorrichtung über den Sensor zu bewegen. Dies ermöglicht ein synchronisieren der Umschaltvorrichtung mit dem Sensor in der Art, dass die Trennlinie immer eine Pixelgruppe mit bereits ausgelesenen Pixeln von einer Pixelgruppe mit überwiegend noch auszulesenden Pixeln trennt.
Das Zuordnen der Trennlinie zu den bereits ausgelesenen Pixeln kann beispielsweise anhand einer vorab vorgenommenen Kalibrierung erfolgen, in der jedem Zustand des Sensors, in dem ein Anteil der Pixel ausgelesen ist, jeweils ein Schaltzustand der Umschaltvorrichtung zugeordnet wird. Wenn dann die Frequenz des Auslesens des Sensors bekannt ist, braucht lediglich noch die geeignete Frequenz beim Umschalten der Schaltzustände in der Umschaltvorrichtung eingestellt zu werden, um die Synchronisation zu erhalten. Dabei kann das Auslesen der Pixel mit der Bewegung der Trennlinie über den Sensor derart synchronisiert sein, dass die Trennlinie verschoben wird, nachdem ein vorbestimmter Anteil der Pixel in der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln ausgelesen worden ist. Beispielsweise kann eine gerade ausgelesene Pixelzeile oder Pixelspalte durch Verschieben der Trennlinie um diese Zeile bzw. Spalte aus der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln entfernt und der Pixelgruppe mit den bereits ausgelesenen Pixeln zugeordnet werden. In dem Beispiel mit den Pixelzeilen besteht aber auch die Möglichkeit, zuerst eine bestimmte Anzahl Pixelzeilen auszulesen, bevor die Trennlinie so verschoben wird, dass die ausgelesenen Pixelzeilen gemeinsam aus der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln herausgenommen und der Pixelgruppe mit den bereits ausgelesenen Pixeln zugeordnet werden. Dies ist insbesondere dann von Vorteil, wenn die Strukturierung des Umschaltelementes grober ist, als die Strukturierung des Sensors. Beispielsweise kann die Umschaltvorrichtung ebenfalls pixelartig aufgebaut sein, wobei die Pixel dann typischer Weise größer sind, als die Pixel des Sensors, sodass das Bild eines Pixels der Umschaltvorrichtung typischerweise auf mehrere Pixel des Sensors abgebildet wird. Wenn in diesem Fall die Trennlinie zeilenweise verschoben würde, wären Doppelbelichtungen von Pixeln die Folge, was die Kanaltrennung der Teilbilder verschlechtert. Wenn mehrere Pixelzeilen einer Zeile des Umschaltelementes zugeordnet sind, ist es außerdem vorteilhaft, wenn die Integration des nächsten Bildes in den Pixeln dieser Zeilen bis nach dem Umschalten des Schaltzustandes des Umschaltelementes verzögert wird, sodass Doppelbelichtungen zuverlässig vermieden werden können.
Eine Vorrichtung zum zeitsequenziellen Aufnehmen dreidimensionaler Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, umfasst einen Sensor mit einer Anzahl von Pixeln, eine Abbildungsoptik mit einer schaltbaren Umschaltvorrichtung sowie eine mit dem Sensor und der Umschaltvorrichtung verbundene Steuereinheit. in dem Sensor sind die Pixel wenigstens zeitweise in zwei voneinander verschiedene Pixelgruppen unterteilt, wobei die voneinander verschiedenen Pixelgruppen wenigstens eine Pixelgruppe mit bereits ausgelesenen Pixeln und eine Pixelgruppe mit überwiegend noch auszulesenden Pixeln umfassen. Insbesondere kann die Pixelgruppe mit den überwiegend noch auszulesenden Pixeln auch ausschließlich aus noch auszulesenden Pixeln bestehen, sodass die eine Pixelgruppe nur ausgelesene Pixel und die andere Pixelgruppe nur auszulesende Pixel umfasst. Mit der schaltbaren Umschaltvorrichtung der Abbildungsoptik werden die Teilbilder des dreidimensionalen Bildes mit Hilfe nacheinander eingenommener unterschiedlicher Schaltzustände der Umschaltvorrichtung zeitsequenziell auf den Sensor abgebildet. Die Steuereinheit steuert das Auslesen des Sensors und die Schaltzustände der Umschaltvorrichtung derart, dass die Umschaltvorrichtung beim Abbilden der Teilbilder auf den Sensor wenigstens einen Schaltzustand einnimmt, in dem den unterschiedlichen Pixelgruppen des Sensors Ausschnitte unterschiedlicher Teilbilder zugeführt werden. Insbesondere kann die Steuereinheit derart ausgestaltet sein, dass in dem Zustand des Umschaltelementes, in dem unterschiedlichen Pixelgruppen des Sensors Ausschnitte unterschiedlicher Teilbilder zugeführt werden, der Pixelgruppe mit überwiegend noch nicht ausgelesenen Pixeln ein Ausschnitt des bisherigen Teilbildes und der Pixelgruppe mit den bereits ausgelesenen Pixeln ein Ausschnitt des nachfolgenden Teilbildes zugeführt werden.
Die erfindungsgemäße Vorrichtung ist dazu ausgelegt, dass erfindungsgemäße Verfahren auszuführen, sodass die mit Bezug auf das erfindungsgemäße Verfahren beschriebenen Vorteile auch bei der erfindungsgemäßen Vorrichtung vorhanden sind. Die erfindungsgemäße Vorrichtung ermöglicht das gleichzeitige Abbilden von Ausschnitten unterschiedlicher Teilbilder auf den Sensor sowie deren räumliche Trennung auf dem Sensor. Mit anderen Worten, die erfindungsgemäße Vorrichtung ermöglicht sowohl die Gleichzeitigkeit und die räumliche Trennung von Ausschnitten aus den Stereokanälen auf dem Sensor, als auch eine zeitliche Zuordnung der Sensorpixel zu diesen Ausschnitten.
Zum Realisieren der erfindungsgemäßen Vorrichtung eignet sich insbesondere eine Umschaltvorrichtung mit einer Strukturierung, die eine Trennlinie zwischen den Strukturen aufweist, wobei die Trennlinie Strukturen voneinander trennt, die dem Sensor Ausschnitte unterschiedlicher Teilbilder zuführen, und wobei der Schaltzustand der Umschaltvorrichtung die Position des Bildes der Trennlinie auf dem Sensor bestimmt. Die Unterteilung der Pixel des Sensors in die Pixelgruppen ist dabei von der Position des Bildes der Trennlinie auf dem Sensor bestimmt. Dabei können insbesondere Schaltzustände der Umschaltvorrichtung für eine Mehrzahl von Positionen des Bildes der Trennlinie auf dem Sensor vorhanden sein. Die Schaltzustände sind dann von der Steuereinheit derart nacheinander einstellbar, dass das Bild der Trennlinie auf dem Sensor mit Hilfe des Einstellens der Schaltzustände über den Sensor bewegt wird. Dabei ist es beispielsweise möglich, dass die Steuereinheit das Auslesen eines vorbestimmten Anteils der Pixel in der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln veranlasst, bevor der nächste Schaltzustand des Umschaltelementes eingenommen wird.
Da in dieser Ausgestaltung die Trennlinie nicht nur auf dem Umschaltelement vorhanden ist, sondern auch als Bild auf dem Sensor eignet sich die Trennlinie zum Synchronisieren des Umschaltelementes mit dem Sensor. Das Bild der Trennlinie auf dem Sensor repräsentiert dabei die Trennlinie zwischen den Pixelgruppen. Sie kann mittels der Schaltzustände dem Auslesestand des Sensors nachgeführt werden. Wenn beispielsweise der Sensor zeilenweise ausgelesen wird, kann das Bild der Trennlinie mittels eines Wechsel des Schaltzustandes des Umschaltelementes um diejenige Anzahl Pixelzeilen verschoben werden, die seit dem letzten Wechsel des Schaltzustandes ausgelesen worden sind. Der Wechsel des Schaltzustandes kann dabei entweder nach jedem Auslesen einer Zeile erfolgen oder nach dem Auslesen einer vorgegebenen Anzahl von Zeilen. Die Synchronisierung kann mittels einer Kalibrierung erfolgen, wie sie mit Bezug auf das erfindungsgemäße Verfahren beschrieben worden ist. Alternativ kann die Lage des Bildes der Trennlinie auf dem Sensor auch mittels einer Bilderkennungssoftware ermittelt werden. Danach kann eine vorbestimmte Anzahl an Pixelzeilen ausgelesen werden, bevor ein Signal an die Umschaltvorrichtung gesendet wird, das anzeigt, dass der nächste Schaltzustand eingenommen werden kann. Die Anzahl der ausgelesenen Pixelzeilen entspricht dabei derjenigen Anzahl an Pixelzeilen, um die das Bild der Trennlinie auf dem Sensor beim Wechseln des Schaltzustandes verschoben wird.
In einer Ausgestaltung umfasst die Umschaltvorrichtung Umschaltelemente, die in Form einer Umschaltelementematrix mit Umschaltelementezeilen und/oder Umschaltelementespalten angeordnet sind und von denen jedes zumindest so viele verschiedene Schalteinstellungen einnehmen kann, wie das dreidimensionale Bild Teilbilder umfasst. Es liegt dann eine Strukturierung der Umschaltvorrichtung in wenigstens zwei voneinander verschiedene Umschaltelementegruppen mit voneinander verschiedenen Schalteinstellungen der Umschaltelemente vor, wobei jede Umschaltelementegruppe aus einer variablen Zahl von Umschaltelementezeilen und/oder Umschaltelementespalten gebildet ist. Die Zuordnung der Umschaltelementezeilen und/oder Umschaltelementespalten zu den Unschaltelementegruppen erfolgt dabei durch die Trennlinie, wobei die Position der Trennlinie auf der Umschaltvorrichtung vom Schaltzustand der Umschaltvorrichtung bestimmt ist. Ebenso sind die Pixel des Sensors in Form einer Pixelmatrix mit Pixelzeilen und/oder -spalten angeordnet, wobei jede Pixelgruppe aus einer variablen Zahl von Pixelzeilen und/oder Pixelspalten gebildet ist. Die Zuordnung der Pixelzeilen und/oder Pixelspalten zu den Pixelgruppen ist durch das Bild der Trennlinie auf dem Sensor bestimmt. Jede Pixelgruppe des Sensors ist genau einer Umschaltelementegruppe des Umschaltelements zugeordnet. Die Umschaltelemente können hierbei beispielsweise Spiegelelemente einer Kippspiegelvorrichtung (Digital Micromirror Device, DMD) sein.
In der erfindungsgemäßen Vorrichtung kann die Abbildungsoptik neben der Umschaltvorrichtung außerdem eine erste Optikbaugruppe, eine zweite Optikbaugruppe, eine dritte Optikbaugruppe und einen Teilbündelerzeuger umfassen.
Die erste Optikbaugruppe wandelt ein aus der Objektebene kommendes divergentes Lichtbündel im Wesentlichen in ein paralleles Lichtbündel um. Mit anderen Worten, die erste Optikbaugruppe bildet einen Objektpunkt nach unendlich ab (kollimiert das von dem Objektpunkt ausgehende Licht).
Der Teilbündelerzeuger ist der ersten Objektbaugruppe beobachterseitig nachgeschaltet und erzeugt aus dem parallelen Lichtbündel wenigstens zwei parallele Teillichtbündel, welche die Teilbilder des dreidimensionalen Bildes repräsentieren. Er kann beispielsweise als Lochblende mit einer der Anzahl der Teilbilder entsprechenden Anzahl von Blendenöffnungen realisiert sein, als Filter mit unterschiedliche Filtercharakteristiken aufweisenden Filterbereichen oder als Polarisationseinrichtung mit Polarisatoren, die zueinander senkrechte Polarisationsrichtungen aufweisen.
Die zweite Optikbaugruppe ist dem Teilbündelerzeuger beobachterseitig nachgeschaltet und bildet die parallelen Teillichtbündel auf eine mit der Umschaltvorrichtung zusammenfallende oder in deren Nähe befindliche Zwischenbildebene ab, sodass dort gleichzeitig Zwischenbilder der Teilbilder des dreidimensionalen Bildes entstehen.
Die dritte Optikbaugruppe ist der Umschaltvorrichtung beobachterseitig nachgeschaltet und bildet die Zwischenbilder auf den Sensor ab. Dabei steuert die Steuereinheit die Schaltzustände der Umschaltvorrichtung derart, dass die Zwischenteilbilder von der dritte Objektbaugruppe zeitsequenziell auf den Sensor abgebildet werden.
Eine derartige Ausgestaltung der Abbildungsoptik ermöglicht es, die erfindungsgemäße Vorrichtung zu realisieren, ohne dass für die Teilstrahlengänge jeweils eigene optische Elemente vorhanden zu sein brauchen. Insbesondere die dritte Optikbaugruppe lässt sich dabei so ausgestalten, dass beide Teilstrahlengänge die optischen Elemente dieser Baugruppe jeweils vollständig durchsetzen, sodass diese Baugruppe kompakt gehalten werden kann. Ein Beispiel für eine solche Abbildungsoptik ist in der deutschen Patentanmeldung mit der Nr. DE 10 2011 010 262 beschrieben, auf die mit Bezug auf weitere Details im Hinblick auf einen möglichen Aufbau der Abbildungsoptik Bezug genommen wird.
Weitere Merkmale, Eigenschaften und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Figuren.
1 zeigt in einer schematischen Darstellung die Komponenten einer erfindungsgemäßen Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder.
2 zeigt ein schematisches Bild, in dem die Zeitverhältnisse beim Auslesen des Sensors in einer ersten Ausführungsvariante des erfindungsgemäßen Verfahrens dargestellt sind.
3 zeigt das Umschaltelement und den Sensor während des erfindungsgemäßen Verfahrens gemäß der ersten Ausführungsvariante in einer stark vereinfachten Darstellung.
4 zeigt ein schematisches Bild, in dem die Zeitverhältnisse beim Auslesen des Sensors in einer zweiten Ausführungsvariante des erfindungsgemäßen Verfahrens dargestellt sind.
5 zeigt das Umschaltelement und den Sensor während des erfindungsgemäßen Verfahrens gemäß der zweiten Ausführungsvariante in einer stark schematisierten Darstellung.
6 zeigt ein schematisches Bild, in dem die Zeitverhältnisse beim Auslesen des Sensors in einer dritten Ausführungsvariante des erfindungsgemäßen Verfahrens dargestellt sind.
7 zeigt eine erste konkrete Ausführungsvariante für die optischen Komponenten der Vorrichtung aus 1, wobei der erste Teilstrahlengang eines stereoskopischen Bildes eingezeichnet ist.
8 zeigt die optischen Komponenten aus 7, wobei der zweite stereoskopische Teilstrahlengang des stereoskopischen Bildes eingezeichnet ist.
9 zeigt eine zweite konkrete Ausführungsvariante für die optischen Komponenten der Vorrichtung aus 1, wobei der erste Teilstrahlengang eines stereoskopischen Bildes eingezeichnet ist.
10 zeigt die Vorrichtung aus 9, wobei der zweite Teilstrahlengang des stereoskopischen Bildes eingezeichnet ist.
11 zeigt eine dritte konkrete Ausführungsvariante für die optischen Komponenten der Vorrichtung aus 1, wobei der erste Teilstrahlengang eines stereoskopischen Bildes eingezeichnet ist.
12 zeigt die Vorrichtung aus 11, wobei der zweite Teilstrahlengang des stereoskopischen Bildes eingezeichnet ist.
13 zeigt die Filterkuren von Filtern, die in der in den 11 und 12 gezeigten Vorrichtung Verwendung finden.
14 zeigt die Strukturierung eines Spektralfilterrades, welches in der in den 11 und 12 gezeigten Vorrichtung Verwendung findet.
Mit Bezug auf 1 wird nachfolgend der prinzipielle Aufbau einer erfindungsgemäßen Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder dargestellt. Die Vorrichtung kann insbesondere in Form verschiedener optischer Beobachtungsgeräte realisiert werden, beispielsweise in Form von medizinisch-optischen Beobachtungsgeräten wie etwa Operationsmikroskopen oder Endoskopen, in Form von stereoskopischen Bildaufnahmegeräten zur Aufnahme von 3D-Filmen, in Form von optischen Beobachtungsgeräten zur Stereodatenaufnahme für Fahrzeuge, etc. Die Vorrichtung umfasst eine erste Optikbaugruppe 1, die das Licht aus einer Objektebene 3 im Wesentlichen nach unendlich bildet, also ein von der Objektebene 3 ausgehendes divergentes Strahlenbündel zu einem parallelen Strahlenbündel kollimiert. Beobachterseitig zur ersten Optikbaugruppe 1 ist ein Teilbündelerzeuger 5 angeordnet, der aus dem nach dem Durchtritt durch die erste Optikbaugruppe 1 parallelen Strahlenbündel so viele parallele Teilstrahlenbündel erzeugt, wie das dreidimensionale Bild Teilbilder hat. In der Regel sind dreidimensionale Bilder als stereoskopische Bilder mit zwei Teilbildern realisiert, sodass der Teilbündelerzeuger typischerweise zwei Teilbündel erzeugt. Es können jedoch auch mehr als zwei Teilbilder zum Aufbau eines dreidimensionalen Bildes verwendet werden, insbesondere wenn eine Variation der Stereobasis des Betrachters möglich sein soll. In diesem Fall kann der Teilbündelerzeuger mehr als zwei Teilbündel erzeugen. Der Übersichtlichkeit halber sind in den Figuren nur stereoskopische Strahlenbündel mit jeweils nur zwei Teilbündeln dargestellt. Eine Änderung der Stereobasis tritt bspw. auf, wenn mehrere Beobachter bei einer OP vorhanden sind und durch die gleiche Optik schauen. Beispielsweise erfolgt eine Augen-OP häufig durch zwei Chirurgen. Dabei nimmt der eine Chirurg bezogen auf das Operationsfeld eine gegenüber dem anderen Chirurgen um 90° gedrehte Arbeitsposition ein. Das bedeutet, dass die Stereobasis der beiden Chirurgen, die durch die jeweilige Verbindungslinie von rechtem und linkem Auge definiert ist, auch um 90° gedreht ist.
Als Teilbündelerzeuger 5 können unterschiedliche Vorrichtungen zur Anwendung kommen. Beispielsweise kann der Teilbündelerzeuger als eine Lochblende mit einer der Anzahl der zu erzeugenden Teilbündel entsprechenden Lochblendenöffnungen ausgebildet sein. Eine alternative Ausgestaltung kann eine Anzahl Spektralfilter umfassen, wobei die Spektralfilter unterschiedliche Transmissionscharakteristiken aufweisen. Hierbei kommen so viele Spektralfilter mit unterschiedlichen Transimissionscharakteristiken zum Einsatz, wie das dreidimensionale Bild Teilbilder aufweist. Eine dritte Ausgestaltung des Teilbündelerzeugers, der sich insbesondere für stereoskopische Bilder, also dreidimensionale Bilder mit zwei Teilbildern, eignet, ist ein auf zwei Polarisatoren mit zueinander orthogonalen Polarisationszuständen basierender Teilbündelerzeuger 5. Grundsätzlich kommt als Teilbündelerzeuger 5 aber jeder Mechanismus in Frage, der in der Lage ist, Teilpupillen aus einer Pupille zu erzeugen. Der Begriff Pupille steht hierbei für ein reelles oder virtuelles Bild der Aperturblende. Es besteht daher auch die Möglichkeit, den Teilbündelerzeuger in Form von virtuellen Blenden auszugestalten. Die Ausgestaltung als virtuelle Blenden kann bspw. durch die nachfolgenden optischen Elemente geschehen.
Beobachterseitig zum Teilbündelerzeuger 5 ist eine zweite Optikbaugruppe 7 angeordnet, die die Teilbündel in eine Zwischenbildebene abbildet. In oder in der Nähe der Zwischenbildebene ist die Umschaltvorrichtung 9 angeordnet. Als Umschaltvorrichtung kann eine reflektive Umschaltvorrichtung, beispielsweise eine Kippspiegelmatrix (DMD), oder eine transmissives Umschaltvorrichtung wie etwa eine Flüssigkristallanzeige (Liquid Crystal Display, LCD) zusammen mit einem Polarisationsanalysator oder einem Spektralfilter Verwendung finden. Die Spiegelmatrix kann insbesondere Verwendung finden, wenn der Teilbündelerzeuger als Blonde mit wenigstens zwei Blendenöffnungen ausgestaltet ist, die Flüssigkristallanzeige in Verbindung mit dem Polarisationsanalysator, wenn der Teilbündelerzeuger zwei Polarisatoren mit aufeinander senkrecht stehenden Polarisationsrichtungen umfasst, und der Spektralfilter, wenn der Teilbündelerzeuger wenigstens zwei Spektralfilter mit unterschiedlichen Transmissionscharakteristiken umfasst.
Der Umschaltvorrichtung 9 ist eine dritte Optikbaugruppe 11 beobachterseitig nachgeschaltet. Dieser werden von der Umschaltvorrichtung 9 die Teilstrahlenbündel, welche die Teilbilder des dreidimensionalen Bildes repräsentieren, zeitsequentiell zugeführt. Hierzu weist die Umschaltvorrichtung 9 Schaltzustände auf, die das zeitsequentielle Zuführen der unterschiedlichen Teilstrahlenbündel zur dritten Optikbaugruppe 11 ermöglichen. Wenigstens ein Schaltzustand des Umschaltelements 9 ist dabei so ausgebildet, dass der dritten Optikbaugruppe gleichzeitig Ausschnitte aus zwei verschiedenen Teilstrahlenbündeln zugeführt werden, die einander nicht überlappenden Ausschnitten der in der Zwischenbildebene gebildeten Zwischenteilbilder entsprechen. Die dritte Optikbaugruppe kann dabei zumindest kleiner als die erste Optikbaugruppe ausgebildet sein, da ihre lateralen Abmessungen lediglich für den Durchtritt eines Teilstrahlenbündels ausgelegt zu sein brauchen.
Beobachterseitig zur dritten Optikbaugruppe 11 ist ein Sensor 13 zur Bildaufnahme in einer zur Zwischenbildebene konjugierten Ebene angeordnet. Auf den Sensor 13 werden die Teilstrahlenbündel mittels der dritten Optikbaugruppe 11 abgebildet. Sofern der dritten Optikbaugruppe 11 von der Umschaltvorrichtung 9 gleichzeitig Ausschnitte zweier Teilstrahlenbündel zugeführt werden, die einander nicht überlappenden Ausschnitten der Zwischenteilbilder entsprechen, werden auf dem Sensor die Ausschnitte der unterschiedlichen Teilbilder nebeneinander abgebildet. Der Sensor kann insbesondere ein CMOS-Sensor (CMOS: Complementary Metal Oxide Semiconductor) sein.
Der Sensor 13 weist eine Anzahl Pixel auf, die typischerweise matrixförmig in Zeilen und Spalten angeordnet sind. Im Rahmen der Erfindung kommt ein MOS-Sensor mit Roling Shutter zum Einsatz, in dem die Pixel des Sensors zeilenweise ausgelesen. Alternativ ist aber auch ein spaltenweises statt zeilenweises Auslesen grundsätzlich möglich. Nach dem Auslesen einer Zeile steht diese wieder für eine Belichtung bereit. Dies hat zur Folge, dass die Belichtungszeiten der einzelnen Zeilen zeitlich leicht gegeneinander verschoben sind. Erfolgt bei einem Sensor mit Rolling Shutter beispielsweise das Auslesen der i-ten Zeile so wird in allen Zeilen j > i noch Licht für das Bild gesammelt. Alle Sensorzeilen, die bereits ausgelesen sind, das hießt j < i, können dagegen bereits für das Sammeln des Lichtes für das nächste Bild genutzt werden. im Unterschied dazu werden in Kameras mit Global Shutter zuerst alle Zeilen ausgelesen, bevor eine neue Belichtung erfolgt. Um ein schnelles Auslesen des gesamten Sensors zu ermöglichen, wird daher ein Zwischenspeicher benötigt, der den erforderlichen Bauraum vergrößert und umso teurer ist, je schneller das Auslesen des Sensors erfolgen soll. Die Verwendung eines Sensors mit Rolling Shutter bietet daher den Vorteil, dass weniger Bauraum benötigt wird und dass die gesamte Vorrichtung kostengünstiger herzustellen ist.
2 zeigt am Beispiel eines CMOS-Sensors mit 1080 Zeilen das Auslesen der Sensorzeilen mit einem Rolling Shutter in Abhängigkeit von der Zeit. Außerdem sind die Auslesedauer T_read für eine Sensorzeile sowie die Dauer der Aufnahme eines Einzelbildes (Frame) T_frame eingezeichnet. Die Belichtung einer Zeile erfolgt so lange, bis die entsprechende Sensorzeile ausgelesen wird. Die das Ende der Belichtung der einzelnen Zeilen markierende Linie ist in 2 als End_exp bezeichnet. Nach dem Auslesen einer Zeile, also nach der Zeitdauer T_read, steht diese wieder zur Belichtung zur Verfügung. Die den Beginn der Belichtung der einzelnen Sensorzeilen markierende Linie ist in 2 als Start_exp bezeichnet. Die mit Rolling Shutter mögliche Belichtungsdauer T_ex,rolling ist durch den zeitlichen Abstand zwischen der Linie Start_exp und der nachfolgenden Linie End_exp gegeben.
Wenn wie in Vorrichtungen nach Stand der Technik dem Sensor nacheinander nur die kompletten Teilbilder des dreidimensionalen Bildes zugeführt werden können, kann das Lichtsammeln für das folgende Teilbild erst dann beginnen, wenn die letzte Sensorzeile (Zeile Nr. 1080) ausgelesen ist, da erst dann das gesamte vorhergehende Teilbild in elektrische Signale umgewandelt ist. Andererseits muss das Lichtsammeln beendet sein, bevor die erste Sensorzeile das nächste Mal ausgelesen wird, weil sonst ein Teilbildwechsel während der Belichtung erfolgen würde. Doppelbelichtungen wären die Folge. Für die Belichtung des Sensors steht daher im Stand der Technik lediglich ein Zeitfenster T_ex,global zur Verfügung, wie es in 2 dargestellt ist. Dieses Zeitfenster entspricht dem Zeitfenster, das zur Verfügung stehend würde, wenn der Sensor statt mit Rolling Shutter mit Global Shutter ohne schnellen Zwischenspeicher betrieben würde.
Während bei einem Sensor mit Global Shutter eine Belichtung der Sensorzeilen so lange nicht erfolgt, bis der gesamte Sensor ausgelesen ist, erfolgt bei einem Rolling Shutter ein erneutes Belichten einer Zeile, nachdem diese ausgelesen ist. Um Doppelbelichtung zu vermeiden, muss bei einem Rolling Shutter daher im Stand der Technik die Belichtung auf das Zeitfenster T_ex,global beschränkt werden, um einen Global Shutter zu simulieren. Um die Belichtung bei einem Rolling Shutter auf das in 2 gezeigte Zeitfenster T_ex,global zu beschränken, ist daher eine Blitzbeleuchtung notwendig. Diese Beleuchtung muss in dem Zeitraum T_ex,global erfolgen, also nachdem die letzte Zeile des Sensors (Zeile 1080 in 2) gerade ausgelesen wurde und bevor die erste Zeile des Sensors (Zeile 1 in 2) erneut ausgelesen wird. Die standardmäßig in optischen Beobachtungsgeräten verwendeten Beleuchtungsmittel, typischerweise Bogenlampen, sind jedoch für eine derartige Blitzbeleuchtung nicht geeignet. Halbleiterlichtquellen, die sich für eine Blitzbeleuchtung grundsätzlich eignen, sind teuer und für einige Anwendungen, beispielsweise das Drehen von 3D-Filmen, nicht leistungsstark genug. Im Bereich der medizinisch-optischen Beobachtungsgeräte tritt zudem die Problematik auf, dass das beobachtete Operationsfeld nie völlig dunkel ist, sodass auch außerhalb des Zeitfensters T_ex,global, Licht auf den Sensor fällt. Dies führt dazu, dass eine Belichtung während des Umschaltens von einem Teilbild zum nächsten Teilbild stattfindet. Dies führt zu Fehlinformationen im Bild, was gerade im medizinischen Bereich sehr störend ist. Zwar kann das optische Beobachtungsgerät mit einer schnellen Blende ausgestattet werden, die lediglich während der gewollten Belichtungszeit T_ex,global Licht zum Sensor gelangen lässt, jedoch ist auch diese Lösung relativ kostenaufwändig und benötigt zusätzlichen Bauraum.
Zwar existieren auch hochwertige Kameras mit Rolling Shutter, bei denen ein Global Shutter intern simuliert werden kann, jedoch ist diese Lösung teuer und hinsichtlich der Lichtausbeute nachteilig, da nicht die mögliche Belichtungsdauer T_ex,rolling ausgenutzt wird.
All diesen Lösungen ist gemeinsam, dass für die Belichtung der Sensorzeilen nur ein Bruchteil der grundsätzlich möglichen Belichtungszeit zur Verfügung steht. Die Erfindung schlägt daher eine Methode vor, wie die Belichtungsdauer über die Belichtungsdauer T_ex,global hinaus verlängert werden kann.
In dem erfindungsgemäßen Verfahren sind die Pixel des Sensors wenigstens zeitweise in zwei voneinander verschiedene Pixelgruppen unterteilt, nämlich in eine Gruppe, die aus bereits ausgelesenen Pixeln besteht, und eine Pixelgruppe, die zumindest überwiegend noch auszulesende Pixel umfasst, wie nachfolgend mit Bezug auf 3 beschrieben wird. Die Figur zeigt beispielhaft eine Umschaltvorrichtung 9 und einen Sensor 13, die jeweils 3 Zeilen zu je 3 Umschaltelementen 14 bzw. 3 Pixeln 16 aufweisen. Die Zeilen der Umschaltvorrichtung 9 und des Sensors 13 sind mit 1 bis 3 durchnummeriert. Die Umschaltvorrichtung 9 weist dabei wenigstens einen Schaltzustand auf, in dem den unterschiedlichen Pixelgruppen des Sensors 13 unterschiedliche Teilbilder zugeführt werden. Jedes Umschaltelement 14 kann zumindest so viele verschiedene Schalteinstellungen einnehmen, wie das dreidimensionale Bild Teilbilder umfasst. Im Falle eines stereoskopischen Bildes mit einem rechten und einem linken Teilbild können die Umschaltelemente 14 zwei Schalteinstellungen einnehmen. In der einen Schalteinstellung wird von dem Umschaltelement 14 im Zusammenspiel mit der dritten Optikbaugruppe ein Bildpunkt eines ersten Teilbildes, beispielsweise des rechten Teilbildes, auf den Sensor 13 abgebildet. In der anderen Schalteinstellung wird von dem Umschaltelement 14 dagegen im Zusammenspiel mit der dritten Optikbaugruppe ein Bildpunkt eines anderen Teilbildes, bspw. des linken Teilbildes auf einen zugeordneten Ausschnitt des Sensors 13 abgebildet.
In der in 3 gezeigten Darstellung weist die Umschaltvorrichtung so viele Umschaltelemente auf wie der Sensor 13 Pixel 16 besitzt. Die Anordnung der Pixel 16 auf dem Sensor entspricht dabei der Anordnung der Umschaltelemente 14 in der Umschaltvorrichtung. Jedes Umschaltelement 14 bildet in dieser Ausführungsvariante abhängig von der Schalteinstellung einen Bildpunkt des ersten oder zweiten Teilbildes auf den entsprechenden Pixel 16 des Sensors 13 ab. Mittels einer Trennlinie 15 sind die Umschaltelemente 14 der Umschaltvorrichtung 9 in wenigstens zwei voneinander verschiedene Umschaltelementegruppen mit voneinander verschiedenen Schalteinstellungen der Umschaltelemente 14 unterteilt. In der in 3 gezeigten Darstellung wird die eine Umschaltelementegruppe von der ersten Zeile gebildet. Diese bildet einen Ausschnitt aus dem Teilbild A auf die erste Pixelzeile des Sensors 13 ab. Die zweite Umschaltelementegruppe wird von den Zeilen 2 und 3 gebildet und bildet einen Ausschnitt aus dem Teilbild B auf die zweite und dritte Pixelzeile des Sensors 13 ab. Das Bild 17 der Trennlinie 15 auf dem Sensor 13 unterteilt dabei die Pixel 16 in eine Pixelgruppe, der der Ausschnitt aus dem Teilbild A zugeführt wird (erste Pixelzeile), und eine Pixelgruppe, der der Ausschnitt aus dem Teilbild B zugeführt wird (Pixelzeilen 2 und 3). Welchen Pixeln ein Ausschnitt des Teilbilds A zugeführt wird und welchen Pixeln ein Ausschnitt des Teilbilds B wird dabei von der Lage der Trennlinie 15 auf der Umschaltvorrichtung bestimmt, die die Umschaltelemente 14 nach ihren Schalteinstellungen trennt.
Wie in 1 dargestellt ist, weist die erfindungsgemäße Vorrichtung eine Steuereinheit 19 auf, die über Steuerleitungen 18, 20 sowohl mit der Umschaltvorrichtung 9, als auch mit dem Sensor 13 verbunden ist. Die Steuerung erfolgt so, dass die Umschaltvorrichtung 9 nacheinander eine Anzahl von Schaltzuständen einnimmt, die sich hinsichtlich der Lage der Trennlinie 15 voneinander unterscheiden. in dem in 3 gezeigten Beispiel kommen sechs Schaltzustände vor, nämlich: (1) ein Schaltzustand, in dem die Trennlinie 15 oberhalb der ersten Umschaltelementezeile verläuft, (2) ein Schaltzustand wie er in 3 dargestellt ist und in dem die Trennlinie 15 zwischen der ersten und der zweiten Umschaltelementezeile verläuft, (3) ein Schaltzustand, in dem die Trennlinie zwischen der zweiten und dritten Umschaltelementezeile verläuft, (4) ein Schaltzustand, in dem die Trennlinie 15 oberhalb der ersten Umschaltelementezeile verläuft und in dem alle Umschaltelemente 14 eine gegenüber dem ersten Schaltzustand vertauschte Schalteinstellungen einnehmen, (5) ein Schaltzustand mit der Trennlinie 15 zwischen der ersten und der zweiten Umschaltelementezeile, wobei die Umschaltelemente 14 gegenüber dem zweiten Schaltzustand vertauschte Schalteinstellungen einnehmen und (6) ein Schaltzustand mit der Trennlinie 15 zwischen der zweiten und der dritten Umschaltelementezeile, wobei alle Umschaltelemente 14 gegenüber dem zweiten Schaltzustand vertauschte Schalteinstellungen einnehmen.
Im ersten Schaltzustand 1 (Trennlinie oberhalb der ersten Umschaltelementezeile) befinden sich alte Umschaltelemente in einer Schalteinstellung, in der den entsprechenden Pixeln 16 des Sensors 13 die jeweiligen Ausschnitte des Teilbildes B zugeführt werden. in diesem Schaltzustand wird dem Sensor daher das gesamte Teilbild B zugeführt. In dem als Nächstes eingenommenen Schaltzustand wandert die Trennlinie 15 in die in 3 gezeigte Stellung, in der sie die erste Umschaltelementezeile von der zweiten Umschaltelementezeile trennt. Gleichzeitig nehmen die Umschaltelemente der ersten Umschaltelementezeile die zweite Schalteinstellung ein, in der sie der ersten Pixelzeile des Sensors 13 einen ersten Ausschnitt des Teilbildes A zuführen. Die Umschaltelemente 14 der Umschaltelementezeilen 2 und 3 verbleiben in der Schalteinstellung, in der sie den Pixelzeilen 2 und 3 des Sensors 13 weiterhin einen Ausschnitt des Teilbildes B zuführen. Als Nächstes wird der dritte Schaltzustand eingenommen, in der die Trennlinie 15 zwischen der zweiten und der dritten Umschaltelementezeile platziert ist. In diesem Schaltzustand befinden sich die Umschaltelemente 14 der ersten und zweiten Umschaltelementezeile jeweils in derjenigen Schalteinstellung, in der sie der zweiten Pixelzeile des Sensors einen Ausschnitt des Teilbildes A zuführen. Insgesamt wird dem Sensor 13 damit nunmehr ein größerer Ausschnitt des Teilbildes A zugeführt, wohingegen der dem Sensor zugeführte Ausschnitt des Teilbildes B verringert ist. im darauffolgenden Schaltzustand verläuft die Trennlinie 15 wieder oberhalb der ersten Umschaltelementezeile 1, wobei nun alle Umschaltelemente eine Schalteinstellung aufweisen, in der allen Pixeln des Sensors 13 Ausschnitte des Teilbildes A zugeführt werden. Mit anderen Worten, in diesem Schaltzustand wird dem Sensor 13 das vollständige Teilbild A zugeführt. In einem fünften Schaltzustand wandert die Trennlinie 15 wieder zwischen die erste Umschaltelementezeile und die zweite Umschaltelementezeile, jedoch befinden sich die Umschaltelemente 14 der ersten Zeile nun in der Schalteinstellung, in der der ersten Pixelzeile des Sensors 13 ein Ausschnitt eines nachfolgenden Teilbildes B zugeführt wird, wohingegen sich die Umschaltelemente der Umschaltelementezeilen 2 und 3 der Umschaltvorrichtung 9 noch in der Schalteinstellung befinden, in der den Pixelzeilen 2 und 3 des Sensors 13 weiterhin ein Ausschnitt des Teilbildes A zugeführt wird. Im sechsten Schaltzustand wandert die Trennlinie 15 wieder zwischen die zweite und dritte Umschaltelementezeile, wobei die Umschaltelemente 14 der Umschaltelementezeilen 1 und 2 Schalteinstellungen einnehmen, in denen den Pixelzeilen 1 und 2 des Sensors 13 ein entsprechender Ausschnitt des nachfolgenden Teilbildes B' zugeführt werden und nur noch der Pixelzeile 3 des Sensors 13 das Teilbild A aufgrund der entsprechenden Schalteinstellung der Umschaltelemente 14 der Umschaltelementezeile 3 zugeführt wird. Der nun folgende Schaltzustand der Umschaltvorrichtung 9 entspricht dann wieder dem ersten Schaltzustand der Umschaltvorrichtung 9, nunmehr mit dem Teilbild B' statt dem Teilbild B.
Die Steuereinheit 19 steuert dabei den Wechsel der Schaltzustände der Umschaltvorrichtung 9 also so, dass den noch auszulesenden Pixelzeilen des Sensors 13 weiter das bisherige Teilbild zugeführt wird, während den bereits ausgelesenen Pixelzeilen des Sensors 13 das nachfolgende Teilbild zugeführt wird. Die Steuerung durch die Steuereinheit 19 erfolgt dabei so, dass das Bild 17 der Trennlinie 15 auf dem Sensor 13 die Pixel des Sensors 13 in Pixelgruppen unterteilt, von denen die eine die bereits ausgelesenen Pixel enthält und die andere die noch auszulesenden Pixel. Gleichzeitig sorgt die Trennlinie 15 der Umschaltvorrichtung 9 dafür, dass den bereits ausgelesenen Pixelzeilen ein anderes Teilbild als den noch auszulesenden Pixelzeilen zugeführt wird. Der Wechsel der Schaltzustände der Umschaltvorrichtung wird dabei von der Steuereinheit 19 so gesteuert, dass ein Verschieben der Trennlinie 15 auf der Umschaltvorrichtung, und damit auch ihres Bildes 17 auf den Sensor 13, mit dem Auslesen der Pixelzeilen des Sensors synchronisiert ist. Das heißt, ein Verschieben der Trennlinie 15 von ihrer Position zwischen der ersten und der zweiten Umschaltelementezeile in die Position zwischen der zweiten und dritten Umschaltelementezeile erfolgt dann, wenn die zweite Pixelzeile ausgelesen wird. Auf diese Weise wird jeder Pixelzeile immer dann, wenn sie gerade ausgelesen worden ist, ein Ausschnitt eines neuen Teilbildes zugeführt. Dieser Ausschnitt verbleibt dann so lange auf der Pixelzeile, bis sie erneut ausgelesen wird. Die so erreichbare Belichtungsdauer entspricht der Zeit T_ex,rolling aus 2.
Damit das Abbilden der Ausschnitte der Teilbilder und der Trennlinie 15 auf den Sensor 13 realisiert werden kann, befindet sich die Umschaltvorrichtung 9 in einer Zwischenbildebene oder nahe der Zwischenbildebene der aus den Optikbaugruppen 1 bis 3 gebildeten Abbildungsoptik.
Das Aufeinanderfolgen der Schaltzustände der Umschaltvorrichtung wurde der Übersichtlichkeit halber mit lediglich drei Umschaltelementezeilen und drei Sensorzeilen beschrieben. Typischerweise ist die Zahl der Zeilen und die Zahl der Umchaltelemente bzw. Pixel je Zeile jedoch sehr viel größer. Im Falle von N Umschaltelementezeilen und N Pixelzeilen wird ein auf einer bestimmten Umschaltelementezeile befindliches Zwischenbild auf genau eine Pixelzeile des Sensors 13 abgebildet. Wird nun die i-te Zeile des Sensors ausgelesen so wird entsprechend die Trennlinie, die bisher zwischen der i – 1-ten Umschaltelementezeile und der i-ten Umschaltelementezeile platziert war, so verschoben, dass sie nunmehr zwischen der i-ten Umschaltelementezeile und der i + 1-ersten Umschaltelementezeile platziert ist. Mit anderen Worten, die i-te Zeile wechselt aus der Pixelgruppe mit den noch nicht ausgelesenen Pixeln in die Pixelgruppe mit den bereits ausgelesenen Pixeln. War diese i-te Zeile bisher beispielsweise dem rechten Teilbild zugeordnet, so wird sie nach dem Wechsel des Schaltzustandes dem linken Teilbild zugeordnet. Der gesamte Vorgang kann als sukzessive Wanderung der stereoskopischen Teilbilder über die Sensorfläche angesehen werden, wobei die Trennlinie zwischen den Teilbildern mit der Trennlinie zwischen den bereits ausgelesenen und den noch auszulesenden Pixeln zusammenfällt. Aufgrund der zuvor beschriebenen Steuerung fällt diese Trennlinie mit dem Bild 17 der auf der Umschaltvorrichtung 9 vorhandenen Trennlinie 15, die ja bestimmt, welchem Teil des Sensors welches Teilbild zugeführt wird, zusammen.
Ist die Umschaltvorrichtung beispielsweise als DMD realisiert, so ist die Schalteinstellung der Umschaltelemente die Schaltstellung, d. h. die Kippstellung, der Kippspiegelelemente. Die Zeitdauer, die für das Umschalten der Spiegel von der einen Schaltstellung in die andere benötigt wird, beträgt etwa 2 μs. Diese Zeit ist selbst für schnelle Kameras kürzer als die Auslesezeit einer Sensorzeile. Mit Bezug auf 2 bedeutet dies, dass, wenn das Umschalten sofort nach Beginn des Auslesens einer Pixelzeile erfolgt, die ausgelesene Pixelzeile bereits das nächste Teilbild empfängt, sobald sie wieder belichtet werden kann. Die für die Belichtung zur Verfügung stehende Zeit wird dann im Wesentlichen durch die Dauer eines Frames T_frame abzüglich der Dauer des Auslesens einer Sensorzeile T_read bestimmt. Bei hochwertigen Kameras wie beispielsweise dem Modell A405 der Firma Basler beträgt die Auslesezeit für eine Pixelzeile T_read = 3,455 μs. Möchte man mit einer solchen Kamera zeitsequentiell Stereobilder mit einer Bildwiederholrate von 60 Hz aufnehmen, so muss die Kamera mit 120 Hz betrieben werden. Das entspricht einer Zeitdauer eines Frames T_frame von 8,33 ms. Daraus ergibt sich, dass die für eine Zeile zur Verfügung stehende maximale Belichtungsdauer T_ex,rolling, also die maximale Integrationszeit, bei über 99% der Dauer eines Frames T_frame liegt. Daher kann mehr als 99% des angebotenen Lichtes zur Belichtung benutzt werden. Wenn dagegen wie im Stand der Technik die Umschaltvorrichtung erst dann von dem einen Teilbild zum anderen wechselt, wenn alle Pixelzeilen ausgelesen worden sind, steht für die Belichtung nur die für einen Frame benötigte Zeit T_frame abzüglich der für das Auslesen aller Pixelzeilen benötigten Zeit zur Verfügung. Bei einer Auslesezeit pro Zeile von 3,455 μs und 1080 Zeilen ergibt sich so eine Gesamtauslesezeit für alle Zeilen von 1080 × 3,455 μs = 3,73 ms. Für die Belichtung stehen daher nur 8,33 ms–3,73 ms zur Verfügung. Insgesamt steht daher dann nur 55% der Dauer eines Frames zur Belichtung zur Verfügung. Mit anderen Worten, es können lediglich 55% des Lichtes zur Belichtung genutzt werden.
Bei einem preisgünstigeren Kameramodell, etwa der A404 von Basler, beträgt die Auslesezeit pro Zeile T_read 4,56 μs. Auch in diesem Fall kann bei einer Bildwiederholrate von 120 Hz mehr als 99% des Lichtes zur Belichtung genutzt werden. Erfolgt dagegen das Umschalten der Teilbilder erst nach dem vollständigen Auslesen aller Sensorzeilen so beträgt die zur Belichtung nicht nutzbare Zeit 1080 × 4,56 μs = 4,92 ms. Zur Belichtung stehen dann nur noch 3,41 ms zur Verfügung, wodurch nur etwa 41% des Lichtes zur Belichtung nutzbar sind.
Eine Consumerkamera kann in der Regel nicht schneller als mit 60 Hz betrieben werden. Die Auslesezeit pro Zeile betragt etwa 15 μs. Die Zeit pro Frame beträgt bei 60 Hz etwa 16,6 ms. Auch bei der Consumerkamera beträgt die zur Belichtung zur Verfügung stehende Zeit daher mehr als 99% der Zeit pro Frame. Wenn dagegen zuerst der gesamte Sensor ausgelesen wird, bevor die Belichtung mit dem folgenden Teilbild erfolgt, gehen ca 1080 × 15 μs = 16,2 ms der Zeit pro Frame für die Belichtung verloren, sodass lediglich 2,4% der Dauer des Frames zur Belichtung zur Verfügung stehen.
Diese Abschätzungen zeigen, dass insbesondere bei kostengünstigen Kameras ein erheblicher Effizienzgewinn mit der vorgeschlagenen Vorrichtung realisierbar ist.
In der bisher beschriebenen Ausführungsform der Erfindung hat die Anzahl der Umschaltelementezeilen in der Umschaltvorrichtung 9 der Anzahl der Pixelzeilen im Sensor 13 entsprochen. In der Regel stimmt die Anzahl der Umschaltelementezeilen jedoch nicht mit der Anzahl der Pixelzeilen überein. Typischerweise ist die Anzahl der Pixelzeilen im Sensor 13 größer als die Anzahl der Umschaltelementezeilen in der Umschaltvorrichtung 9. In diesem Fall wird das auf oder in der Nähe einer Umschaltelementezeile befindliche Zwischenbild auf mehrere Pixelzeilen im Sensor 13 abgebildet. Das Verschieben der Trennlinie zwischen den Umschaltelementezeilen darf daher erst dann erfolgen, wenn alle Pixelzeilen, auf die die Umschaltelementezeile ihren Zwischenbildausschnitt abbildet, ausgelesen sind. Die Verhältnisse beim Auslesen, wenn die Anzahl der Pixelzeilen größer ist als die Anzahl der Umschaltelementezeilen, ist in den 4 und 5 dargestellt. Die Darstellung aus 4 entspricht dabei der Darstellung aus 2 und die aus 5 der Darstellung aus 3.
4 zeigt ein Beispiel, in dem der Sensor 1080 Pixelzeilen aufweist, die Umschaltvorrichtung 9 dagegen nur 27 Umschaltelementezeilen. Wenn sich die Umschaltvorrichtung genau in der Zwischenbildebene der Vorrichtung aus 1 befindet, wird daher das auf einer Umschaltelementezeile des Umschaltelements 9 befindliche Zwischenbild auf 40 einander benachbarte Pixelzeilen des Sensors 13 abgebildet. Um Doppelbelichtungen in diesen 40 Pixelzeilen zu vermeiden, erfolgt das Umschalten der Umschaltelementezeilen, also das Verschieben der Trennlinie 15 um eine Umschaltelementezeile, erst dann, wenn das Auslesen der letzten der 40 Pixelzeilen, denen das Bild der Umschaltelementezeile zugeführt wird, beginnt, da dann die Belichtung der letzten der 40 Pixelzeilen endet. Wenn das Umschalten der Umschaltelementezeile beendet ist, ist ein Teil der 40 Pixelelementezeilen bereits vollständig ausgelesen, so dass sie wieder für eine Belichtung zur Verfügung stehen. Wenn allerdings sofort nach dem Auslesen mit der Bildintegration begonnen würde, würde das Umschalten des Umschaltelementes während der Bildintegration erfolgen. Um Doppelbelichtungen zu vermeiden, wird die Bildintegration in den ausgelesenen Pixelzeilen daher so lange ausgesetzt, bis mit dem Auslesen der 40. Zeile begonnen und das Umschaltelement geschaltet wird, sodass eine gewisse Zeitspanne AT zwischen dem Ende des Auslesens einer Zeile und dem Start der Belichtung (Linie Start_exp) liegt. Die für die Belichtung mit dem nachfolgenden Teilbild zur Verfügung stehende Belichtungsdauer T_ex,rolling ist daher gegenüber der in 2 dargestellten Ausführungsvariante um die Zeit ΔT vermindert.
Die Zuordnung von Pixelzeilen zu Umschaltelementezeilen ist in 5 noch einmal verdeutlicht. In dieser Figur zeigt die linke Seite die Umschaltvorrichtung 9, die rechte Seite den Sensor 13. In der in 5 beispielhaft gezeigten stark vereinfachten Darstellung sind jeder Umschaltelementezeile 14 zwei Pixelzeilen 16 zugeordnet. Das Verschieben der Trennlinie 15 auf der Umschaltvorrichtung 9 erfolgt dann jeweils nach dem Auslesen der zweiten, der vierten und der sechsten Pixelzeile.
Im allgemeinen Fall, in dem die Umschaltvorrichtung 9 M Umschaltelementezeilen und der Sensor N Pixelzeilen aufweist, sind einer Umschaltelementezeile N/M = K Pixelzeilen zugeordnet. Um benachbarte Pixelzeilen des Sensors 9 durch eine Umschaltelementezeile nicht zu beeinflussen, so dass die Trennung der Teilbildkanäle auf dem Sensor erhalten bleibt, erfolgt ein Wechsel des Schaltzustandes der Umschaltvorrichtung 9 immer nachdem K Sensorzeilen ausgelesen sind. Wenn beispielsweise die Zeilen i bis i + K – 1 des Sensors 13 einer Zeile j der Umschaltvorrichtung zugeordnet sind, so ändert die Umschaltvorrichtung 9 den Schaltzustand, wenn die Sensorzeile i + K – 1 ausgelesen wird. Zu diesem Zeitpunkt beginnt auch die neue Bildintegration der ausgelesenen Zeilen. Auf diese Weise ist sichergestellt, dass es während der Belichtungszeit nicht zu einer Vermischung von Bildinformationen aus dem rechten und linken Stereokanal kommt. Nach Ablauf der für das Ändern des Schaltzustandes der Umschaltvorrichtung 9 benötigten Umschaltzeit kann die Belichtung der Zeile i mit dem nächsten Teilbild begonnen werden. Wenn die Pixelzeilen des Sensors 3 streng nacheinander ausgelesen werden, beträgt die zum Auslesen der K Pixelzeilen benötigte Zeit dem K-fachen der Auslesezeit T_read für eine einzige Pixelzeile. Da das Umschalten des Schaltzustands der Umschaltvorrichtung 9 und die neue Bildintegration bereits dann erfolgen kann, wenn die K – 1 Pixelzeile ausgelesen ist und mit dem Auslesen der K-ten Pixelzeile begonnen wird, ist die zur Belichtung zur Verfügung stehende Zeit T_ex,rolling gegeben durch die Zeitdauer pro Frame T_frame abzüglich dem K-1-fachen der für eine Pixelzeile benötigten Auslesezeit und abzüglich der für das Schalten der Umschaltvorrichtung 9 benötigten Schaltzeit.
Im Falle des in 4 dargestellten Beispiels mit 27 Umschaltelementezeilen und 1080 Pixelzeilen ergibt sich für einen DMD mit einer Umschaltzeit pro Zeile von etwa 2 μs und ein Kameramodell A405 der Firma Basler mit einer Auslesezeit pro Zeile von 3,455 μs und einer Aufnahmerate von 120 Hz ein für die Belichtung nicht zur Verfügung stehender Zeitraum von (40 – 1) × 3,455 μs + 2 ms = 137 μs. Bei einer Dauer pro Frame von 8,33 ms bedeutet dies, dass immer noch 98% der Dauer eines Frames für jede Zeile zur Belichtung zur Verfügung steht, was bedeutet, dass etwa 98% des angebotenen Lichtes verwertet wird.
Im Falle eines preisgünstigeren Kameramodells wie der A404 von Basler, bei der die Auslesezeit pro Zeile 4,65 μs beträgt, beträgt die für eine Belichtung nicht zur Verfügung stehende Zeitdauer (40 – 1) × 4,56 μs + 2 μs = 180 μs. Auch hier beträgt bei einer Bildrate von 120 Hz (entspricht einer Dauer des Frames von 8,33 ms) die Lichtausnutzung 98%.
Selbst bei einer Consumerkamera steht noch ein Anteil von 96% der Zeit pro Frame für eine Belichtung zur Verfügung. In einer solchen Consumerkamera, in der die Auslesezeit pro Zeile etwa 15 μs beträgt, wird die Zeit pro Frame daher um (40 – 1) × 15 μs + 2 μs = 587 μs vermindert. Bei einer Dauer eines Frames von 16,67 ms (die Consumerkamera kann typischerweise nur mit einer Bildrate von 60 Hz betrieben werden) stehen daher noch etwa 96% der Zeit pro Frame für die Belichtung zur Verfügung.
Die Beispiele zeigen, dass in einer Anordnung mit einer strukturierten Umschaltvorrichtung zum Umschalten zwischen den Teilbildkanälen, wobei sich die Umschaltvorrichtung in der Zwischenbildebene befindet, bei Verwendung einer Kamera mit Rolling Shutter und der beschriebenen Synchronisation zwischen dem Auslesen der Pixelzeilen des Sensors 13 und dem Umschalten des Schaltzustandes der Umschaltvorrichtung 9 die Ausnutzung des verfügbaren Beleuchtungslichtes auf über 90% gegenüber Anordnungen nach Stand der Technik erhöhen lässt, selbst wenn die Umschaltvorrichtung deutlich weniger Zeilen als der Sensor besitzt.
Wenn die strukturierte Umschaltvorrichtung genau in der Zwischenbildebene der in 1 gezeigten Vorrichtung platziert ist, können aufgrund von Überlagerungen der Struktur der Umschaltvorrichtung und der Struktur des Sensors Moiré-Effekte auftreten. Diese können vermieden werden, wenn die Umschaltvorrichtung nicht genau in der Zwischenbildebene platziert wird, sondern geringfügig vor oder hinter der Zwischenbildebene. Das auf der Umschaltvorrichtung entstehende Zwischenbild ist dann leicht unscharf. Dies hat zur Folge, dass, wenn einer Umschaltelementezeile K Pixelzeilen zugeordnet sind, das Teilbild der Umschaltelementezeile auf K' > K Pixelzeilen abgebildet wird. Aus diesem Grund darf eine Umschaltelementezeile einer nicht in einer Zwischenbildebene befindlichen Umschaltvorrichtung erst dann ihre Schalteinstellung verändern, wenn K' – 1 Zeilen des Sensors 13 ausgelesen sind. Mit dem Umschalten beginnt dann die nächste Bildintegration in diesen K' Zeilen. 6 zeigt schematisch die Verhältnisse beim Auslesen der Zeilen, wenn sich die Umschaltvorrichtung 9 nicht genau in der Zwischenbildebene befindet. Wenn beispielsweise die Zahl der Pixelzeilen, die einer Umschaltelementezeile zugeordnet sind, K 40 beträgt und die Zahl der von einer Umschaltelementezeile beeinflussten Pixelzeilen K' = 80 ist, so erfolgt das Umschalten des Schaltzustandes der Umschaltvorrichtung und der Beginn der neuen Bildintegration erst mit dem Beginn des Auslesens der 80. Pixelzeile, d. h. nachdem 79 Pixelzeilen ausgelesen sind. Die für eine Belichtung einer Pixelzeile zur Verfügung stehende Zeitdauer ergibt sich dann aus der Dauer eines Frames abzüglich der für das Auslesen der 79 Pixelzeilen benötigten Zeitdauer und abzüglich der für das Umschalten des Schaltzustandes der Umschaltvorrichtung benötigten Zeitdauer. Bei einer Kamera wie der A405 von Basler ergibt sich so eine maximale Belichtungszeit pro Zeile, die Dauer eines Frames, vermindert um (80 – 1) × 3,455 μs + 2 μs = 275 μs entspricht. Somit steht noch 99,5% der Dauer eines Frames für die Belichtung zur Verfügung. Selbst im Beispiel mit der Consumerkamera steht noch rund 93% der Dauer eines Frames für die Belichtung zur Verfügung.
Auch wenn die Schaltzeit beispielsweise für die Spiegel einer DMD lediglich etwa 2 μs beträgt, so können jedoch häufig nicht jederzeit beliebige Spiegel umgeschaltet werden. Je nach Verfahren des Schreibens der Bildinformationen in den DMD liegt die Zeit, die zwischen dem Update zweier Bilder, also zum Verschieben der Trennlinie 15 auf der Umschaltvorrichtung 9, benötigt wird, bei etwa 80 μs (abhängig von der Auflösung des DMD und der Elektronik). Vorteilhafterweise wird jedoch ein DMD verwendet, bei dem das Bild mit einem sogenannten ”Phased Reset” in den DMD geschrieben wird. Bei einem ”Phased Reset” erfolgt analog zum Auslesen eines Kamerabildes mit Rolling Shutter das Schreiben des Bildes in den DMD in Blöcken von 8 Zeilen, wobei die Zeit zwischen dem Schreiben zweier Blöcke zu jeweils 8 Zeilen je nach DMD und Elektronik zwischen 2 und 10 μs, insbesondere bei etwa 5 μs, liegt. Insbesondere kann eine solche Ansteuerung des DMD gewählt werden, dass das Auslesen des Kamerabildes und das Schreiben eines Bildes im DMD zeitlich synchron laufen.
Eine erste konkrete Ausführungsvariante für die Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder aus 1 ist in den 7 und 8 dargestellt. In dieser Ausführungsvariante findet eine reflektive Umschaltvorrichtung Verwendung. Während 7 den ersten Teilstrahlengang eines stereoskopischen Bildes darstellt, stellt 8 den zweiten Teilstrahlengang des stereoskopischen Bildes dar.
Die erste konkrete Ausführungsvariante der erfindungsgemäße Vorrichtung, die im vorliegenden Ausführungsbeispiel als Operationsmikroskop ausgebildet ist, umfasst ein Hauptobjektiv 21, eine Aperturblende 22 als Teilbündelerzeuger, eine Zwischenabbildungsoptik 23 und als Umschaltvorrichtung eine Kippspiegelmatrix 25, die entlang eines ersten optischen Achsenabschnitts OA1 von objektseitig nach beobachterseitig hintereinander angeordnet sind. Weiterhin umfasst das Operationsmikroskop eine Kameraadapteroptik 26 und einen elektronischen Bildsensor 27, die entlang eines zweiten optischen Achsenabschnitts OA2 von objektseitig nach beobachterseitig hintereinander angeordnet sind. Der erst optische Achsenabschnitt OA1 und der zweite optische Achsenabschnitt OA2 bilden zusammen eine gefaltete optische Achse des Beobachtungsgeräts und schneiden sich in einem Schnittpunkt S unter einem Winkel von 90°. Im Schnittpunkt S ist ein Ablenkelement 28 angeordnet, welches ein von der Kippspiegelmatrix 25 ausgehendes, durch die Zwischenabbildungsoptik 23 hindurchtretendes Strahlenbündel in Richtung den zweiten optischen Achsenabschnitt OA2 ablenkt. In der mit Bezug auf die 7 und 8 beschriebenen konkreten Ausführungsvariante entspricht das Hauptobjektiv 21 der ersten Optikbaugruppe aus 1, die Zwischenabbildungsoptik 23 der zweiten Optikbaugruppe und die Zwischenabbildungsoptik 23, die von jedem Teilstrahlengang zwei mal durchlaufen wird, zusammen mit der Kameraadapteroptik 26 der dritten Optikbaugruppe.
Im vorliegenden Ausführungsvariante ist das Hauptobjektiv 21 als Objektiv mit variabler Brennweite ausgebildet. Derartige Objektive werden auch Varioobjektive oder Varioskope genannt und können beispielsweise eine objektseitige Linsengruppe und eine beobachterseitig Linsengruppe umfassen, wobei die beobachterseitige Linsengruppe entlang der optischen Achse verschiebbar angeordnet ist. Das Varioskop des Ausführungsbeispiels umfasst eine erste Linsenkombination und eine zweite Linsenkombination, die entlang der optischen Achse verschiebbar zueinander angeordnet sind. Durch Verschieben der beobachterseitigen Linsengruppe kann im vorliegenden Ausführungsbeispiel der Arbeitsabstand des Operationsmikroskops vom Objekt, also der Abstand der Fokusebene des Hauptobjektivs 21 von der ersten Linsenfläche des Hauptobjektivs 21, variiert werden.
Die Brennweite des Hauptobjektivs 21 beträgt im vorliegenden Ausführungsbeispiel 336,88 mm. Alle optischen Flächen des Hauptobjektivs sind rotationssymmetrisch in Bezug auf den ersten optischen Achsenabschnitt OA1 ausgebildet. Das Hauptobjektiv 21 kollimiert die objektseitigen Strahlenbündel, das heißt es bildet sie im Wesentlichen nach unendlich ab und weist dabei eine reelle, mechanisch zugängliche Austrittspupille in einer vorbestimmten Ebene zwischen dem Hauptobjektiv 21 und der Zwischenabbildungsoptik 23 auf. In dieser Austrittspupillenebene ist im vorliegenden Ausführungsbeispiel der Mittelpunkt des Ablenkelements 28 angeordnet. Unmittelbar benachbart zum Ablenkelement 28, also auch in unmittelbarer Nähe zur Austrittspupillenebene, befindet sich die Aperturblende 22, die zwei Blendenöffnungen 24A und 24B aufweist, welche die Pupillen der beiden Stereokanäle des Operationsmikroskops aus dem Gesamtstrahlengang ausschneiden. Während objektseitig der Blende 22 also ein Strahlengang vorliegt, der die Linsenelemente in zumindest dem größten Teil ihrer gesamten Querschnittsfläche zentriert zum ersten optischen Achsenabschnitt OA1 durchsetzt, liegen bildseitig der Aperturblende 22 zwei Teilstrahlenbündel vor, die jeweils nur einen Teil der Querschnittsflächen der optischen Elemente durchsetzen.
Die Zwischenabbildungsoptik 23 weist vier Linsen auf, wobei eine Linse als Kittglied ausgebildet ist. Insgesamt ist die Zwischenabbildungsoptik 23 als sammelnde Optik mit einer Brennweite ausgebildet, die um eine Größenordnung geringer ist, als die Brennweite des Hauptobjektivs 21 und typischerweise im Bereich zwischen 0,5% und 10% der Brennweite des Hauptobjektivs 1 liegt. Im vorliegenden Ausführungsbeispiel beträgt die Brennweite der Zwischenabbildungsoptik 23 f = 24,57 mm. Die Zwischenabbildungsoptik 23 erzeugt aus einem von der Aperturblende 22 kommenden Teilstrahlenbündel ein Zwischenbild im Bereich der Kippspiegelmatrix 25. Wie das Hauptobjektiv 21 weist die Zwischenabbildungsoptik 23 im vorliegenden Ausführungsbeispiel im Hinblick auf das Korrigieren von Abbildungsfehlern eine Mehrzahl von Linsen auf. So sind im vorliegenden Ausführungsbeispiel vier Linsen vorhanden, von denen eine als Kittglied ausgebildet ist. Wenigstens eine der Linsenflächen in der Zwischenabbildungsoptik 23 ist dabei vorteilhafterweise asphärisch ausgebildet.
Im Bereich des von der Zwischenabbildungsoptik 23 generierten Zwischenbildes ist die Kippspiegelmatrix 25 angeordnet. Vorteilhafterweise ist die Kippspiegelmatrix 25 dabei so angeordnet bzw. ist die Zwischenabbildungsoptik 23 so ausgebildet, dass am Ort der Kippspiegelmatrix 25 kein scharfes Zwischenbild entsteht, sondern absichtlich ein leicht defokussiertes oder mit Abbildungsfehlern behaftetes Zwischenbild erzeugt wird. Dadurch lassen sich Moiré-Effekten, die durch die periodischen Strukturen der Kippspiegelmatrix 25 und des Bildsensors 27 bedingt sind, minimieren.
Im vorliegenden Ausführungsbeispiel ist die Kippspiegelmatrix 25 als eine Anordnung von Mikrospiegeln ausgebildet, die um eine gemeinsame Achse zwischen zwei Kippstellungen bistabil um einen Auslenkwinkel hin und her geschaltet werden können. Derartige Standardkomponenten werden unter der Handelsbezeichnung ”DMD” (Digital Micromirror Device) in verschiedenen Ausführungsformen kommerziell vertrieben.
In der einen Kippstellung reflektieren die Kippspiegelelemente das Teilstrahlenbündel 29A des durch die Blendenöffnung 24A der Aperturblende definierten Stereokanals zurück in die Zwischenabbildungsoptik 23 (vgl. 7), wohingegen die Kippspiegelelemente in der zweiten Stellung das Teilstrahlenbündel 29B des durch die zweite Blendenöffnung 24B der Aperturblende 22 definierten Stereokanals in die Zwischenabbildungsoptik 23 zurückreflektiert. Das jeweils nicht in die Zwischenabbildungsoptik 23 zurückreflektierte Teilstrahlenbündel wird von den Kippspiegelelementen in einen Bereich mit hoher Absorption reflektiert. Dieser Bereich kann insbesondere als eine Lichtfalle (nicht dargestellt) ausgebildet sein kann, etwa als Lichtfalle, wie sie in US 2010/0182681 A1 beschrieben ist. Auf den Inhalt dieser Veröffentlichung wird im Hinblick auf eine mögliche Ausgestaltung der Lichtfallen daher verwiesen. Für jeden Stereokanal ist im vorliegenden Ausführungsbeispiel eine eigene Lichtfalle vorgesehen.
Das zwischen der Aperturblende 22 und der Zwischenabbildungsoptik 23 angeordnete Ablenkelement 28 dient zur Faltung der optischen Achse und ist im vorliegenden Ausführungsbeispiel als Spiegelfläche ausgebildet. Alternativ kann es jedoch auch als Prismenfläche, als optisches Gitter, als Hologramm, etc. ausgebildet sein. Die Spiegelflächennormale schließt im vorliegenden Ausführungsbeispiel mit dem ersten optischen Teilachsenabschnitt OA1 einen Winkel von 45° ein, sodass eine Faltung der optischen Achse um 90° erfolgt. Wie bereits erwähnt, ist das Ablenkelement 28 in der Austrittspupille des Hauptobjektivs 21 angeordnet.
Die dem Ablenkelement in Richtung auf den Bildsensor 27 nachgeordnete Kameraadapteroptik 26 ist im vorliegenden Ausführungsbeispiel als afokales Zoomsystem ausgebildet. Als solches umfasst es im vorliegenden Ausführungsbeispiel drei Linsen bzw. Linsengruppen, von denen die den Bildsensor 27 zugewandte Linse feststehend angeordnet ist und die beiden Linsen bzw. Linsengruppen entlang des zweiten optischen Achsenabschnitts OA2 verschiebbar angeordnet sind. Bevorzugt weist die Zoomoptik eine am Ort des Ablenkelements 28 angeordnete oder, falls dies nicht möglich ist, in dessen Nähe angeordnete ortsfeste Eintrittspupillenebene auf. Im Unterschied zu dem dargestellten Ausführungsbeispiel kann das Ablenkelement in die Kameraadapteroptik 26 integriert sein. In diesem Fall könnte bspw. die objektseitige Linse der Kameraadapteroptik 26 zwischen dem Ablenkelement 28 und der Zwischenabbildungsoptik 23 angeordnet sein.
In einer besonders vorteilhaften Ausgestaltung der in den 7 und 8 dargestellten konkreten Ausführungsvariante der Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder sind die optischen Eigenschaften des Hauptobjektivs 21 und der Zwischenabbildungsoptik 23 so aufeinander abgestimmt, dass die Austrittspupillenebene des Hauptobjektivs 21 und die Eintrittspupille der Zwischenabbildungsoptik 23 sowie die Austrittspupille der Zwischenabbildungsoptik 23 in derselben Ebene liegen. In oder in möglichst großer Nähe zu dieser Ebene sind vorteilhafterweise außerdem die Aperturblende 22 sowie das Ablenkelement 28 angeordnet. Weiterhin sind die optischen Eigenschaften der Kameraadapteroptik 26 vorteilhafterweise so ausgebildet, dass ihre Eintrittspupille mit der Austrittspupille der Zwischenabbildungsoptik 23 zusammenfällt (unter Zuhilfenahme des Ablenkelements). Durch die genannte Anordnung der Pupillenebenen sowie der Aperturblende 22 und des Ablenkelements 28 in einer gemeinsamen Ebene oder nahe benachbart zu dieser Ebene können die Durchmesser aller Teilsysteme minimiert werden, so dass sich eine besonders kompakte Gesamtanordnung ergibt.
Die Funktionsweise des in der ersten konkreten Ausführungsvariante dargestellten Operationsmikroskops wird nachfolgend näher erläutert. 7 zeigt den Verlauf des Teilstrahlenbündels 29A des ersten Stereokanals von der Objektebene O in den Bildsensor 27 in einer Schnittansicht in der durch die beiden optischen Achsenabschnitte OA1 und OA2 aufgespannten Ebene, 8 den Verlauf des Teilstrahlenbündels 29B des zweiten Stereokanals von der Objektebene O zum Bildsensor 27. In den Schnittansichten sind die von drei Objektpunkten ausgehendes Strahlenbündel jeweils mit Hauptstrahl und Randstrahlen dargestellt. Die beiden äußeren Strahlenbündel stellen die Begrenzung des abbildbaren Objektfeldes dar, das mittlere Strahlenbündel dessen Mittelpunkt. Der Übersichtlichkeit halber ist in beiden Figuren dasjenige Teilstrahlenbündel, welches jeweils in die Lichtfalle abgelenkt wird, nicht dargestellt. Ebenso sind auch alle Teile des das Hauptobjektiv 21 durchsetzenden Strahlenbündels, die nicht durch die Blendenöffnung der Aperturblende 22 hindurchtreten, der Übersichtlichkeit halber weggelassen.
7 zeigt den Verlauf des Teilstrahlenbündels 29A des ersten Stereokanals zum Bildsensor 27. Der erste Stereokanal ist dabei durch die Blendenöffnung 24A der Aperturblende 22 definiert. Nachdem das Teilstrahlenbündel 29A mittels der Aperturblendenöffnung 24A definiert ist, tritt es azentrisch in Bezug auf den ersten optischen Achsenabschnitt OA1 durch die Zwischenabbildungsoptik 23 hindurch und wird von dieser leicht defokussiert auf die Kippspiegelmatrix 25 abgebildet. In 7 befinden sich die Kippspiegelelemente der Kippspiegelmatrix 25 in einem ersten Schaltzustand, in dem alle Kippspiegelelementezeilen das Teilstrahlenbündel 29A in die Zwischenabbildungsoptik 23 zurückreflektieren. Dabei verläuft das zurückreflektierte Teilstrahlenbündel weitgehend zentrisch, vorteilhafterweise vollständig zentrisch, zum ersten optischen Achsenabschnitt OA1. Das in 7 nicht dargestellte, durch die Aperturblendenöffnung 24B definierte Teilstrahlenbündel des zweiten Stereokanals wird in dieser Kippstellung der Kippspiegelelemente von der Kippspiegelmatrix 25 in die Lichtfalle reflektiert.
Das in die Zwischenabbildungsoptik 23 zurückreflektierte Teilstrahlenbündel 29A des ersten Stereokanals durchläuft die Zwischenabbildungsoptik 23 weitgehend zentrisch, vorteilhafterweise vollständig zentrisch, zum ersten optischen Achsenabschnitt OA1. Bei seinem ersten Durchtritt durch die Zwischenabbildungsoptik 23, das heißt bei seinem Durchtritt in Richtung auf die Kippspiegelmatrix 25, war der Verlauf dieses Teilstrahlenbündels dagegen azentrisch. Die Azentrizität bei diesem Durchgang ist dabei durch die Azentrizität der Aperturblendenöffnung 24A vorgegeben. Dadurch, dass bei den beiden Durchtritten durch die Zwischenabbildungsoptik 23 unterschiedliche Bereiche der optischen Flächen passiert werden, besteht die Möglichkeit, die Zwischenabbildungsoptik 23 so auszugestalten, dass sich Abbildungsfehler, die beim ersten Durchtritt des Teilstrahlenbündels 29A entstehen und Abbildungsfehler, die beim zweiten Durchtritt entstehen, gegenseitig ganz oder wenigstens teilweise kompensieren. Zu diesem Zweck weist die Zwischenabbildungsoptik 23 des Ausführungsbeispiels wenigstens eine asphärische Linsenfläche auf, die in einem Bereich des Strahlengangs angeordnet ist, in dem das Teilstrahlenbündel 29A vor der Reflexion an der Kippspiegetmatrix 25 und das Teilstrahlenbündel 29A nach der Reflexion an der Kippspiegelmatrix 25 keinen oder nur wenig Überlapp aufweisen. Diese Bedingung ist insbesondere in der Nähe der Ebene erfüllt, in der sich die Austrittspupille des Hauptobjektivs und die Aperturblende befinden. Entsprechend weist im vorliegenden Ausführungsbeispiel die der Aperturblende 22 zugewandte Linse die asphärische Linsenfläche der Zwischenabbildungsoptik 23 auf. Weil gemäß dem Brechungsgesetz alle Lichtwege umkehrbar sein müssen, würden sich zwar in der Zwischenabbildungsoptik beim doppelten Durchtritt des Strahlenbündels 29A alle Bildfehleranteile, die eine antisymmetrische Abhängigkeit von der Bildfeldkoordinate aufweisen, beispielsweise Komafehler, Verzeichnungsfehler und chromatische Vergrößerungsdifferenzen exakt kompensieren. Diese Selbstkompensation wird jedoch einerseits durch Brechung der Symmetrie aufgrund der Ablenkung des Teilstrahlenbündels 29A an der Kippspiegelmatrix 25 und andererseits durch die Anordnung der Kippspiegelmatrix 25 nicht exakt am Ort des Zwischenbildes gestört. Der Einsatz wenigstens einer asphärischen Linsenfläche ermöglicht in diesem Fall aber dennoch eine weitgehende Selbstkompensation wenigstens für monochromatische Bildfehler.
Nach der Reflexion an der Kippspiegelmatrix 25 und dem Durchtritt durch die Zwischenabbildungsoptik 23 wird das Teilstrahlenbündel 29A vom Ablenkelement 28 weitgehend zentrisch, vorteilhafterweise vollständig zentrisch zum zweiten optischen Achsenabschnitt OA2 in die Kameraadapteroptik 26 hinein abgelenkt. Nach dem Durchtritt durch die Kameraadapteroptik 26 trifft das Teilstrahlenbündel dann auf den Bildsensor 27 auf.
Wenn sich in einem anderen Schaltzustand der Kippspiegelmatrix 25 alle Kippspiegelelemente in der zweiten Kippstellung befinden (8), so wird das Teilstrahlenbündel 29B des von der Aperturblendenöffnung 24B definierten Stereokanals nach einen azentrischen ersten Durchtritt durch die Zwischenabbildungsoptik 25 von der Kippspiegelmatrix 25 in Richtung auf das Ablenkelement 28 reflektiert, wobei es weitgehend zentrisch, vorteilhafterweise vollständig zentrisch zum optischen Achsenabschnitt OA1 erneut durch die Zwischenabbildungsoptik 23 hindurch tritt. Vom Ablenkelement 28 wird es dann weitgehend zentrisch, vorteilhafterweise vollständig zentrisch zum optischen Achsenabschnitt OA2 in Richtung auf den Bildsensor 27 abgelenkt. Das in 8 nicht dargestellte Teilstrahlenbündel 29A des anderen Stereokanals wird mit den Kippspiegelelementen der Kippspiegelmatrix 25 in der zweiten Kippstellung dagegen in die Lichtfalle abgelenkt.
In anderen Schaltzuständen der Kippspiegelmatrix befindet sich eine Gruppe von Kippspiegelelementezeilen in derjenigen Kippstellung, die das erste Teilstrahlenbündel 29A zum Bildsensor hin ablenken, wohingegen sich der eine andere Gruppe von Kippspiegelelentezeilen in einer Kippstellung befindet, in der das zweite Teilstrahlenbündel 29B zum Bildsensor 27 hin abgelenkt wird. Die beiden Gruppen sind dabei von der zuvor beschriebenen Trennlinie voneinander getrennt, wobei die Position der Trennlinie auf der Kippspiegelmatrix vom angesteuerten Schaltzustand abhängt. Je nach Position der Trennlinie können dann unterschiedliche Ausschnitte aufeinander folgender Teilbilder gleichzeitig dem Bildsensor 27 zugeführt werden.
Wie aus den 7 und 8 ersichtlich ist, ermöglicht die Tatsache, dass die Kippspiegelmatrix 25 ein azentrisch durch die Zwischenabbildungsoptik 23 hindurchgetretenes Teilstrahlenbündel 29A, 29B weitgehend zentrisch durch die Zwischenabbildungsoptik 23 zurückreflektiert, die Teilstrahlenbündel 29A, 29B beider Stereokanäle im Wechsel durch dieselbe Kameraadapteroptik 26 auf denselben Bildsensor 27 zu lenken. Auf diese Weise ist es mit dem optischen Beobachtungsgerät möglich, für beide stereoskopische Teilstrahlengänge eine gemeinsame Aufnahmeoptik und einem gemeinsamen Bildempfänger vorzusehen. Besonders vorteilhaft ist es dabei, wenn die von der Kippspiegelmatrix 25 in die Zwischenabbildungsoptik 23 zurückreflektierten Strahlenbündel vollständig zentrisch verlaufen, da dann die Querschnittsfläche der nachfolgend angeordneten optischen Elemente optimal ausgenutzt werden kann.
Im Unterschied zu den im Stand der Technik bekannten Lösungen können mit der in den 7 und 8 dargestellten optischen Anordnung prinzipbedingte Lichtverluste minimiert werden, da keine Schaltung von Flüssigkristallblenden oder dergleichen nötig ist. Im Vergleich zu Lösungen, in denen mechanische Shutter wie etwa rotierende Shutter Verwendung finden, bietet die dargestellte Anordnung den Vorteil, dass die Umschaltfrequenz abrupt geändert werden kann, da keine großen trägen Massen, wie sie beispielsweise ein rotierender Shutter darstellen würde, nötig sind. Zudem führen die geringen Massen der bewegten Teile (Kippspiegelelemente) kaum zu störenden Schwingungen.
Weitere Einzelheiten des mit Bezug auf die 7 und 8 beschriebenen optischen Beobachtungsgerätes sowie Abwandlungen davon sind in der deutschen Patentanmeldung DE 10 2011 010 262 beschrieben. Der Inhalt dieser Anmeldung wird daher durch Bezugnahme in die vorliegende Anmeldung integriert, insbesondere mit Bezug auf die weiteren Einzelheiten des optischen Beobachtungsgerätes sowie mit Bezug auf mögliche Abwandlungen.
Obwohl das Hauptobjektiv 21 in den vorliegendem Ausführungsbeispiel als Varioskop ausgebildet ist, ist es auch möglich, die Vorrichtung mit einem Hauptobjektiv auszustatten, das eine feste Brennweite besitzt. Auch ein festbrennweitiges Objektiv kann dabei zwei Linsengruppen aufweisen, die mit Abstand voneinander entlang der Optischen Achse angeordnet sind. Allerdings ist es auch möglich, statt eines festbrennweitigen Hauptobjektivs mit zwei Linsengruppen ein festbrennweitiges Hauptobjektiv zu verwenden, das weniger Linsen aufweist. Hauptobjektive mit mehreren Linsen sind jedoch vorteilhaft, da sich dadurch Abbildungsfehler hinter den Hauptobjektiv vermindern lassen.
Die in der mit Bezug auf die 7 und 8 beschriebenen Ausführungsvariante Verwendung findende Kippspiegelmatrix ist ein DMD, bei dem es sich um einen Chip mit einer Diagonalen von 7,62 mm (0,3 Zoll) und einem Pixelabstand von 10,8 μm handelt. In einem derartigen DMD wird eine Fläche von 3,52 mm × 1,98 mm genutzt, was etwa 185 Zeilen entspricht. Für das Verhältnis von Pixelzeilen des Sensors (mit 1080 Zeilen) zu Umschaltelementezeilen (Kippspiegelzeilen) ergibt sich so rund 6 Pixelzeilen pro Kippspiegelzeile. Multipliziert man das Verhältnis K zur Sicherheit mit einem Faktor 2, um die Beeinflussung von Pixelzeilen durch Kippspiegelzeilen aufgrund der Tatsache, dass sich die Kippspiegelmatrix nicht genau im Zwischenbild befindet, zu vermeiden, so erhält man ein Verhältnis K von Pixelzeilen zu Kippspiegelzeilen von etwa K' = 12. Die maximale Belichtungsdauer pro Pixelzeile ergibt sich dann als die um (12 – 1) × 3,455 μs + 2 μs = 40 μs verminderte Dauer eines Frames für das Kameramodell A405 der Firma Basler. Bei einer Dauer eines Frames von 8,33 ms entspricht dies einer Nutzung von über 99% des angebotenen Lichtes. Auch für das Beispiel mit der Consumerkamera liegt die Nutzung noch bei fast 99% des angebotenen Lichtes. Gegenüber dem Stand der Technik kann die Lichtnutzung damit mindestens etwa verdoppelt werden. Da zudem der prinzipbedingte Lichtverlust minimiert ist, besitzt die Vorrichtung gemäß der ersten konkreten Ausführungsvariante eine extrem hohen Effizienz in der Lichtausbeute.
Eine zweite konkrete Ausführungsvariante für die in 1 gezeigte Vorrichtung ist in den 9 und 10 dargestellt, wobei 9 den Verlauf des ersten stereoskopischen Teilstrahlengangs und 10 den Verlauf des zweiten stereoskopischen Teilstrahlengangs zeigt. Diese Ausführungsvariante unterscheidet sich von der in den 7 und 8 dargestellten ersten konkreten Ausführungsvariante u. a. dadurch, dass statt einer reflektiven Umschaltvorrichtung eine transmissive Umschaltvorrichtung zur Anwendung kommt. Die einer Verwendung der transmissiven Umschaltvorrichtung bietet gegenüber der Verwendung einer reflektiven Umschaltvorrichtung die Möglichkeit, alle optischen Komponenten in linearer Folge anzuordnen, weist dafür aber etwas höhere Lichtverluste als die Vorrichtung gemäß der ersten konkreten Ausführungsvariante auf. In der zweiten Ausführungsvariante erfolgt die Trennung der Teilstrahlengänge mit Hilfe orthogonaler Polarisationszustände statt wie in der ersten Ausführungsvariante mit Hilfe des Einfallswinkels auf die Umschaltvorrichtung.
Die Vorrichtung gemäß der zweiten konkreten Ausführungsvariante umfasst ein Hauptobjektiv 31, das die erste Optikbaugruppe darstellt und das grundsätzlich gemäß dem Hauptobjektiv der ersten konkreten Ausführungsvariante aufgebaut sein kann.
Beobachterseitig ist dem Hauptobjektiv ein Teilbündelerzeuger nachgeschaltet, der durch zwei Polarisatoren 32A, 32B gebildet ist, die zueinander orthogonale Polarisationszustände erzeugen. Der Polarisator 32A polarisiert dabei das Licht des ersten Teilstrahlenbündels 39A in einem ersten Polarisationszustand P1, der Polarisator 32B das Licht des zweiten Teilstrahlenbündels 39B in einem zweiten Polarisationszustand P2, der orthogonal zum ersten Polarisationszustand P1 ist. Zum Erzeugen der beiden Teilstrahlenbündel 39A, 39B kann beispielsweise eine Aperturblende vorhanden sein, wie sie mit Bezug auf die erste konkrete Ausführungsvariante beschrieben worden ist. Insbesondere können dabei die Polarisatoren in den Blendenöffnungen angeordnet sein. Alternativ kann die Blende jedoch auch als virtuelle Blende ausgebildet sein. Die Lage der Teilpupillen der beiden Teilstrahlenbündel kann dabei über ein noch zu beschreibendes Umlenkprisma und einen noch zu beschreibenden Strahlteiler bzw. Polarisationsstrahlteiler definiert werden, wobei die Größe der Teilpupillen durch die Größe der dem Hauptobjektiv 31 nachgeschalteten optischen Elemente festgelegt wird.
Dem einen Polarisator 32A ist ein Umlenkelement beobachterseitig nachgeordnet, das im vorliegenden Ausführungsbeispiel als Umlenkprisma 34A ausgebildet ist. Das Umlenkprisma ist dabei derart azentrisch zur optischen Achse OA angeordnet, dass lediglich das Teilstrahlenbündel 39A von ihm in eine Richtung senkrecht zur optischen Achse abgelenkt wird.
Dem Umlenkprisma 34A mit Bezug auf die optische Achse OA spiegelsymmetrisch gegenüber liegend ist ein Strahlteiler 34B angeordnet, der im vorliegenden Ausführungsbeispiel als Polarisationsstrahlteilerprisma ausgebildet ist. Er reflektiert Licht im Polarisationszustand P1 und transmittiert Licht im Polarisationszustand P2. Daher reflektiert er das vom Umlenkprisma 34a in Richtung senkrecht zur optischen Achse OA einfallende Teilstrahlenbündel (mit dem Polarisationszustand P1) um 90°, sodass es nunmehr parallel und azentrisch zur optischen Achse OA verläuft. Das zweite Teilstrahlenbündel 39B (mit dem Polarisationszustand P2) wird nicht reflektiert, sondern passiert den Strahlteiler, sodass es weiterhin parallel und azentrisch zur optischen Achse OA verläuft. Alle beobachterseitig vom Umlenkprisma 34A und vom Strahlteilerprisma 34B angeordneten optischen Elemente weisen eine optische Teilachse OA' auf, die parallel zur optischen Hauptachse OA, aber azentrisch zu dieser verläuft. Die lateralen Abmessungen dieser beobachterseitig zum Strahlteilerprisma 34B angeordneten optischen Elemente sind dann nicht mehr an dem Durchmesser des Gesamtstrahlenbündels, sondern nur noch an dem Durchmesser eines Teilstrahlenbündels angepasst, wodurch sie deutlich kleiner gehalten werden können als das Hauptobjektiv 31.
Dem Strahlteilerprisma 34B entlang der optischen Teilachse OA' beobachterseitig nachgeschaltet ist eine Zwischenabbildungsoptik 33 angeordnet. Diese generiert ein Zwischenbild des Beobachtungsobjektes in einer Zwischenbildebene, in der oder in deren Nähe die Umschaltvorrichtung angeordnet ist. Im vorliegenden Fall ist die Umschaltvorrichtung in der Nähe der Zwischenbildebene angeordnet, um Moiré-Effekte zu unterdrücken. Die Umschaltvorrichtung ist in der vorliegenden Ausführungsvariante als strukturierte Flüssigkristallanzeige (LCD) 35 ausgebildet. Diese hat die Eigenschaft, dass sie je nach Ansteuerung entweder den Polarisationszustand eines hindurchtretenden Teilstrahlenbündels unverändert lässt oder den Polarisationszustand eines hindurchtretenden Teilstrahlenbündels in den jeweils anderen Polarisationszustand ändert, also P1 in P2 und P2 in P1. Der Flüssigkristallanzeige 35 ist ein Analysator 38 nachgeschaltet, der lediglich einen von beiden Polarisationszustäden passieren lässt. Wenn nun beispielsweise das Teilstrahlenbündel 39A eine lineare Polarisation mit der Polarisationsrichtung P1 aufweist und das Teilstrahlenbündel 39B eine lineare Polarisation mit der zur ersten Polarisationsrichtung P1 senkrechten die Polarisationsrichtung P2, so weisen diese in dem ersten Schaltzustand der Flüssigkristallanzeige nach dem Hindurchtreten durch die Anzeige noch immer dieselben Polarisationsrichtungen auf. Wenn nun der Analysator 38 die Polarisationsrichtung P1 passieren lässt, kann nur das erste Teilstrahlenbündel 39A, das immer noch die Polarisationsrichtung P1 aufweist, den Analysator passieren. Das zweite Teilstrahlenbündel 39B, das noch immer die Polarisationsrichtung P2 aufweist, wird dagegen vom Analysator 38 geblockt. Wenn sich die Flüssigkristallanzeige 35 im zweiten Schaltzustand befindet, werden die Polarisationsrichtungen der Teilstrahlenbündel um 90° gedreht. Nach dem Durchtritt durch die Flüssigkristallanzeige 35 weist das erste Teilstrahlenbündel 39A daher die Polarisationsrichtung P2 und das zweite Teilstrahlenbündel 39B die Polarisationsrichtung P1 auf. In diesem Fall kann das zweite Teilstrahlenbündel 39B den Analysator 38 passieren, wohingegen das erste Teilstrahlenbündel 39A vom Analysator 38 geblockt wird.
Die in der zweiten konkreten Ausführungsvariante verwendete Flüssigkristallanzeige kann beispielsweise in Form eines transmissiven Flüssigkristallbildgebers realisiert sein, bei dem die beiden Polarisatoren, die den Flüssigkristall einschließen, entfernt werden. Die Schaltzustände entsprechen dabei einem weißen bzw. einem schwarzen Pixel. An dieser Stelle sei angemerkt, dass die Beschreibung auf der Basis von linear polarisiertem Licht mit Polarisationsrichtungen P1 und P2 lediglich zu Erläuterungszwecken gewählt ist. Im Allgemeinen können zwei orthogonale Polarisationszustände verwendet werden, also beispielsweise auch zirkular polarisierte Zustände, von denen einer links zirkular polarisiert und der andere rechts zirkular polarisiert ist.
Bildseitig schließt sich an den Analysator 38 eine Kameraadapteroptik 36 an, die im vorliegenden Ausführungsbeispiel entsprechend der Kameraadapteroptik 26 der ersten konkreten Ausführungsvariante ausgestaltet ist. An die Kameraadapteroptik 36 schließt sich schließlich der Bildsensor 37 an.
Da die in oder in der Nähe der Zwischenbildebene angeordnete Flüssigkristallanzeige 35 eine räumliche Struktur in Form von Pixelzeilen und Pixelspalten aufweist und pixelweise geschaltet werden kann, kann auch in dieser Ausführungsvariante eine Zuordnung von Zeilen der Umschaltvorrichtung, hier der Flüssigkristallanzeige 35, zu Zeilen des Bildsensors 37 vorgenommen werden. Eine Trennlinie zwischen Umschaltelementezeilen entspricht dabei einer Trennlinie zwischen Pixelzeilen der Flüssigkristallanzeige 35. Die Trennlinie unterteilt die Flüssigkristallanzeige in zwei Bereiche, wobei die Pixel in dem einen Bereich denjenigen Zustand einnehmen, in dem der Polarisationszustand des hindurchtretenden Lichtes verändert wird, während die Pixel des anderen Bereiches denjenigen Zustand einnehmen, in dem sie den Polarisationszustand hindurchtretenden Lichtes unverändert lassen. Da der Polarisationszustand bestimmt, welches der beiden Teilbilder den Bildsensor 37 erreicht, können so dem Bildsensor gleichzeitig Ausschnitte unterschiedlicher Teilbilder zugeführt werden. Das zeitsequentielle Zuführen der Teilbilder erfolgt dann gemäß einer der mit Bezug auf die 3 bis 6 beschriebenen Varianten des erfindungsgemäßen Verfahrens.
Obwohl mit Bezug auf die 9 und 10 Polarisatoren 32A, 32B und ein Polarisationsstrahlteilerprisma 34B Verwendung gefunden haben, kann die Vorrichtung grundsätzlich auch ohne Polarisatoren 32A, 32B realisiert werden. Das aus dem Polarisationsstrahlteiler austretende Licht würde dann je nachdem, ob es reflektiert wurde oder ohne Reflektion hindurchgetreten ist, den Polarisationszustand P1 oder den Polarisationszustand P2 einnehmen. Im in den 9 und 10 gezeigten Ausführungsbeispiel würde sich das Licht des ersten Teilstrahlenbündels 39A nach der Refektion durch den Polarisationsstrahlteiler 34B beispielsweise im Polarisationszustand P1 befinden, das Licht des zweiten Teilstrahlenbündels 39B, das den Polarisationsstrahlteiler ohne Reflexion passiert, dagegen im Polarisationszustand P2. Mit Hilfe der Polarisatoren 32A, 32B kann jedoch die Reinheit der Polarisationszustände erhöht werden.
In der zweiten konkreten Ausführungsvariante entspricht das Hauptobjektiv 31 der ersten Optikbaugruppe aus 1, die Abbildungsoptik 33 zusammen mit dem Umlenkprisma 34A und dem Strahlteiler bzw. Polarisationsstrahlteiler 34B der zweiten Optikbaugruppe und die Kameraadapteroptik 36 der dritten Optikbaugruppe. Falls keine Polarisatoren 32A, 32B Verwendung finden, stellen das Umlenkprisma und der Strahlteiler den Teilbündelerzeuger dar.
Eine dritte konkrete Ausführungsvariante für die in 1 gezeigte Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder ist in den 11 bis 14 dargestellt. Der grundsätzliche Aufbau der dritten konkreten Ausführungsvariante entspricht dem grundsätzlichen Aufbau der mit Bezug auf die 9 und 10 beschriebenen zweiten konkreten Ausführungsvariante, jedoch sind die Polarisatoren 32A, 32B der zweiten Ausführungsvariante in der dritten Ausführungsvariante durch Spektralfilter 42A, 42B ersetzt. Die Flüssigkristallanzeige 35 und der Analysator 38 aus der zweiten Ausführungsvariante sind in der dritten Ausführungsvariante durch ein Spektralfilterrad 45 ersetzt. Im Übrigen umfasst die dritte Ausführungsvariante ein Hauptobjektiv 41, ein Umlenkprisma 44A, ein Strahlteilerprisma 44B, eine Zwischenabbildungsoptik 43, eine Kameraadapteroptik 46 sowie einen Bildsensor 47. Der Aufbau und die Anordnung dieser optischen Komponenten entspricht den entsprechenden optischen Komponenten der zweiten konkreten Ausführungsvariante und werden daher an dieser Stelle nicht noch einmal beschrieben. Es sei lediglich angemerkt, dass in der dritten konkreten Ausführungsvariante statt des Polarisationsstrahlteilers ein dichroitischer Strahlleiter 44B zum Einsatz kommt.
In der dritten konkreten Ausführungsvariante erfolgt die Trennung der Teilstrahlengänge 49A, 49B statt mit Hilfe unterschiedlicher Polarisationszustände mit Hilfe unterschiedlicher spektraler Eigenschaften. Die spektralen Eigenschaften werden den Teilstrahlengängen mittels der Spektralfilter 42A, 42B aufgeprägt. Diese Filter besitzen die Eigenschaft, dass sie jeweils nur solche Wellenlängenbereiche transmittieren, die von dem jeweils anderen Filter geblockt werden. Entsprechende Spektralverläufe der beiden Filter sind in 13 dargestellt. Diese Figur zeigt die Transmission der beiden Filter 42A, 42B in Abhängigkeit von der Wellenlänge. Die durchgezogene Linie zeigt dabei die spektrale Transmissionscharakteristik des Spektralfilters 42A, die gestrichelte Linie die Transmissionscharakteristik des Spektralfilters 42B.
Jeder Spektralfilter weist eine Anzahl Wellenlängenbereiche auf, in denen eine sehr hohe Transmission vorliegt und die von Wellenlängenbereichen getrennt sind, in denen im Wesentlichen keine Transmission vorhanden ist. Die Wellenlängenbereiche, in denen eine sehr hohe Transmission vorliegt, bilden eine Anzahl Transmissionsbänder des jeweiligen Filters. In 13 sind für jeden Spektralfilter vier Transmissionsbänder eingezeichnet. In jedem Filter wechseln sich die Transmissionsbänder mit Wellenlängenbereichen ab, in denen im Wesentlichen keine Transmission vorhanden ist. Die Breite der Wellenlängenbereiche ohne Transmission sowie die Breite und Lage der Transmissionsbänder der beiden Spektralfilter sind so aufeinander abgestimmt, dass die Transmissionsbänder des Spektralfilters 42B genau in denjenigen Wellenlängenbereichen des Spektralfilters 42A liegen, in denen dieser im Wesentlichen keine Transmission aufweist. Entsprechend liegen die Transmissionsbänder des Spektralfilters 42A in denjenigen Wellenlängenbereichen des Spektralfilters 42b, in denen dieser im Wesentlichen keine Transmission aufweist. In dieser Weise wechseln sich die Transmissionsbänder der Spektralfilter 42A und 426 ab, ohne dass ein Überlapp zwischen zwei Transmissionsbändern besteht. Außerdem ist die Verteilung der Transmissionsbänder der beiden Spektralfilter 42A, 42B jeweils vorzugsweise so gewählt, dass die transmittierten Wellenlängenbereiche in der Summe weißes Licht ergeben.
Mit Hilfe der Spektralfilter 42A, 42B werden den beiden Teilstrahlengängen 49A, 49B unterschiedliche spektrale Charakteristiken aufgeprägt, bevor sie mit Hilfe des Umlenkelementes 44A und des dichroitischen Strahlteilers 44B der Zwischenabbildungsoptik 43 zugeführt werden. Wie in der zweiten konkreten Ausführungsvariante sind die Teilstrahlengänge 49A, 49B weder räumlich noch zeitlich voneinander getrennt sondern durch inhärente Eigenschaften des Lichtes der beiden Teilstrahlengänge. Dies ermöglicht es, beide Teilstrahlengänge wie in der zweiten konkreten Ausführungsvariante räumlich und zeitlich einander überlappend der Umschaltvorrichtung zuzuführen. Allerdings ist damit ein Helligkeitsverlust verbunden, da nur ein Teil des insgesamt vorhandenen Lichtes der Umschaltvorrichtung zugeführt wird. Im Gegensatz dazu wird in der ersten konkreten Ausführungsvariante, in der eine räumliche Trennung der Teilstrahlengänge bei ihren ersten Durchtritt durch die Zwischenabbildungsoptik vorliegt, von jedem Teilstrahlengang die maximal mögliche Intensität übertragen, wenn die beim Durchtreten durch optische Elemente zwangsläufig auftretenden geringfügigen Verluste vernachlässigt werden. Die höhere Lichtausbeute in der ersten konkreten Ausführungsvariante wird jedoch damit erkauft, dass die Abmessungen der Zwischenabbildungsoptik im Vergleich zu den Abmessungen der Zwischenabbildungsoptik in der zweiten und dritten konkreten Ausführungsvariante größer sind. Die Vorrichtungen gemäß der zweiten und dritten Ausführungsvariante heben sich daher auch dann erfinderisch vom Stand der Technik ab, wenn sie mit einem Sensor mit Global Shutter eingesetzt werden. In diesem Fall lässt sich gegenüber dem Stand der Technik zumindest eine kompaktere lineare Anordnung der optischen Elemente erreichen.
Das Spektralfilterrad 45, welches in der dritten Ausführungsvariante als Umschaltvorrichtung zur Anwendung kommt, ist in 14 dargestellt. Es umfasst wenigstens zwei Spektralfilterbereiche 48A, 48B, deren Transmissionscharakteristik jeweils einem der beiden Spektralfilter 42A, 42B entspricht und die durch spiralförmige Trennlinien 15 voneinander getrennt sind. Im vorliegenden Ausführungsbeispiel sind insgesamt vier Spektralfilterbereiche vorhanden, von denen jeweils zwei einander spiegelsymmetrisch zur optischen Teilachse OA1 gegenüberliegende Spektralfilterbereiche dieselbe Filtercharakteristik aufweisen.
Da die Filtercharakteristiken der Spektralfilterbereiche auf dem Spektralfilterrad 45 den Filtercharakteristiken der Spektralfilter 42A, 42B entsprechen, hängt es von der Rotationsstellung des Spektralfilterrads 45 ab, welche Ausschnitte der Teilstrahlenbündel den Sensor 47 erreichen können. Während des zeitsequentiellen Aufnehmens dreidimensionaler Bilder rotiert das Spektralfilterrad 45. Aufgrund der Rotation wandert das Bild der Trennlinie 15 über die Sensorfläche, sodass mit Hilfe dieses Bildes Pixelbereiche voneinander getrennt werden, denen Ausschnitte unterschiedlicher Teilbilder mit ihren unterschiedlichen spektralen Charakteristiken zugeführt werden. Dabei ist die Trennlinie 15 zwischen zwei Filterbereichen 48A, 48B so gestaltet, dass jeweils nur eine dieser Trennlinien auf den Sensor abgebildet wird. Dies lässt sich durch eine geeignete Dimensionierung des Spektralfilterrads 45 und einem angepassten Verlauf der spiralförmigen Trennlinie 15 erreichen. Bei geeignet gewählten Größenverhältnissen zwischen dem im Spektralfilterrad 45 oder in dessen Nähe gebildeten Zwischenbild und dem auf dem Bildsensor 47 entstehenden Bild kann erreicht werden, dass das Bild 17 der Trennlinie 15 nur über der gerade auszulesenden Pixelzeile bzw. den gerade auszulesenden Pixelzeilen (falls mehrere Pixelzeilen simultan ausgelesen werden) verläuft. Auf diese Weise kann sichergestellt werden, dass mit der Belichtung für das nächste Teilbild nicht begonnen wird, bevor die Pixelzeile bzw. die Pixelzeilen ausgelesen worden ist bzw. sind.
In der dritten konkreten Ausführungsvariante ist der Schaltzustand der Umschaltvorrichtung durch die relative Phasenlage des Spektralfilterrades 45 gegeben. Die Synchronisation von Umschaltvorrichtung 45 und Bildsensor 47 erfolgt über die Rotationsgeschwindigkeit des Spektralfilterrades 45 und ein Triggersignal. Sollen beispielsweise Stereobilder mit 60 Hz aufgenommen werden, so muss der Bildsensor Einzelbilder mit 120 Hz aufnehmen. Wenn, wie in 14 dargestellt, ein Spektralfilterrad 45 Verwendung findet, bei dem jeder Spektralfilterbereich 48A, 48B mit einer bestimmten Transmissionscharakteristik zweimal vorhanden ist, muss das Spektralfilterrad mit 60 Hz rotieren. Wie bereits erläutert, stellt die relative Phase des Spektralftlterrades den Schaltzustand der Umschaltvorrichtung dar.
Die absolute Phase zwischen Spektralfilterrad 45 und Bildsensor 47 wird über das Triggersignal festgelegt. Dieses kann beispielsweise durch einen Spektralfilterradsensor ausgelöst werden. in diesem Fall ist auf dem Spektralfilterrad eine Markierung 51 vorhanden die beispielsweise von einer Fotodiode erkannt wird. Diese sendet bei Erkennen der Markierung 51 das Triggersignal an den Bildsensor, der daraufhin mit dem Auslesen des Bildes beginnt. Dabei kann das Triggersignal derart verzögert werden, dass der mechanische Übergang zwischen den Filterbereichen des Spektralfilterrades 45 erst dann auf den Pixelzeilen wirksam wird, das heißt eine Pixelzeile überstreicht, wenn die entsprechende Pixelzeile ausgelesen wird.
Auch in der in den 11 bis 14 beschriebenen dritten konkreten Ausführungsvariante kann es sich bei den Blenden, welche die Teilpupillen der Teilstrahlenbündel ausschneiden, um virtuelle Blenden handeln, wobei die Lage der Teilpupillen über das Umlenkelement und den Strahlteiler definiert wird und die Größe der Teilpupillen durch die dem Hauptobjektiv nachgeschalteten optischen Elemente, oder um reale Blenden, deren Blendenöffnungen die Spektralfilter 42A, 42B enthalten.
In der dritten Ausführungsvariante entspricht das Hauptobjektiv 41 der ersten Optikbaugruppe aus 1, die Zwischenabbildungsoptik 43 zusammen mit dem Umlenkelement 44A und dem Strahlteiler 44B der zweiten Optikbaugruppe und die Kameraadapteroptik 46 der dritten Optikbaugruppe. Im Falle virtueller Blenden zum Erzeugen der Teilstrahlengänge stellen das Umlenkelement 44A und der Strahlenleiter 44B zudem dem Teilbündelerzeuger dar.
Als Spektralfilter 42A, 42B können in der dritten konkreten Ausführungsvariante beispielsweise Farbfilter zum Einsatz kommen. Aufgrund der mit ihnen verbundenen geringeren Lichtverluste ist der Einsatz von Interferenzfiltern jedoch vorteilhaft. Entsprechendes gilt für die Spektralfilterbereiche auf dem Spektralfilterrad 45.
Mit Bezug auf die 11 bis 14 sind zwei Spektralfilter und 2n Spektralfilterbereiche mit voneinander verschiedenen Transmissionscharakteristiken beschrieben worden. Es besteht jedoch auch die Möglichkeit, mehr als zwei Spektralfilter und/oder mehr als 2n Spektralfilterbereiche auf dem Farbfilterrad vorzusehen. Mit mehr als zwei Spektralfiltern können drei oder mehr Teilstrahlengänge dem Bildsensor zeitsequentiell zugeführt werden. Insgesamt sind dann so viele Spektralfilter vorhanden, wie Teilstrahlenbündel generiert werden sollen, und das Spektralfilterrad ist mit so vielen Spektralfilterbereichen wie Spektralfilter vorhanden sind oder einem ganzzahligen Vielfachen davon ausgestattet Die Verwendung eines ganzzahligen Vielfaches der Anzahl an Spektralfiltern ermöglicht das Verringern der Rotationsgeschwindigkeit des Spektralfilterrades.
In einer weiteren Abwandlung der dritten konkreten Ausführungsvariante kann grundsätzlich auch auf die Spektralfilter 42A und 42B verzichtet werden, wenn ein dichroitischer Strahlteiler Verwendung findet, der bspw. ein Spektrum, wie es in 13 mit den durchgezogenen Linien dargestellt ist, reflektiert und ein Spektrum, wie es in 13 mit den gestachelten Linien dargestellt ist, transmittiert wird. Wenn in dieser Ausführungsvariante zusätzlich die Spektralfilter 42A und 42B vorhanden sind, kann die spektrale Trennung der Teilstrahlenbündel jedoch weiter verbessert werden. Wegen der leicht unterschiedlichen spektralen Charakteristik in den verschiedenen Teilstrahlen, kann es sein, dass die Farbwiedergabe des Bildsensor für die unterschiedlichen Teilstrahlen unterschiedlich ist; dies tritt besonders dann auf, wenn die Anzahl n der Spektralfilterbereiche klein ist. In diesem Fall ist es vorteilhaft, einen Weißpunktabgleich des Sensors für alle Teilstrahlen getrennt durchzuführen. In einer nachgeschalteten Korrektur können die Bilder der Teilstrahlen derart angepasst werden, dass die Farben wieder gleich sind.
Zur Erläuterung der erfindungsgemäßen Vorrichtung wurden drei konkrete Ausführungsvarianten der Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder beschrieben. In der ersten konkreten Ausführungsvariante wurden die Teilstrahlengänge hinsichtlich ihres Einfallwinkels auf die Umschaltvorrichtung voneinander getrennt, in der zweiten konkreten Ausführungsvariante hinsichtlich ihres Polarisationszustandes und in der dritten konkreten Ausführungsvariante hinsichtlich ihrer spektralen Eigenschaften. Mit all diesen Ausführungsvarianten ist bei kompakter Bauform der Vorrichtung ein Effizienzgewinn bei der Verwendung von Sensoren bzw. Kameras mit Rolling Shutter möglich. Dieser wird dann besonders groß, wenn die Auslesezeit eines Bildes nahe an der Dauer eines Frames liegt.
Die vorliegende Erfindung wurde mit Bezug auf beispielhafte Ausführungsformen und konkrete Ausführungsvarianten hierzu beschrieben. Sie soll jedoch nicht auf die exemplarischen Ausführungsformen oder auf die konkreten Ausführungsvarianten beschränkt sein, sondern lediglich eine Beschränkung durch die Ansprüche erfahren. Insbesondere sind im Rahmen der Ansprüche auch Abweichungen von den Ausführungsformen bzw. konkreten Ausführungsvarianten möglich. So kann, wenn die dritte Optikbaugruppe als Zoomsystem ausgeführt ist, die optisch genutzte Größe der Umschaltvorrichtung im Zwischenbild je nach Zoomstellung variieren. In den beschriebenen Ausführungsbeispielen hat dies zur Folge, dass die Anzahl der Pixelzeilen pro Umschaltelementezeile je nach Zoomstellung unterschiedlich ist. Es lässt sich jedoch für jede Zoomstellung eine Zuordnung finden, die in der Synchronisation zwischen dem Auslesen des Sensors und dem Schalten der Schaltzustände der Umschaltvorrichtung berücksichtigt werden kann. Hierzu kann die Steuereinheit beispielsweise einen Signaleingang aufweisen, über den sie ein Signal empfängt, welches die Zoomstellung der Kameraadapteroptik repräsentiert. Anhand dieses Signals kann dann mittels einer gespeicherten Nachschlagetabelle, einer gespeicherten Formel oder einer anderen gespeicherten Relation einer Umschaltelementezeile die richtige Anzahl an Pixelzeilen des Sensors zugeordnet werden. Alternativ besteht auch die Möglichkeit, die Zoomstellung der Kameraadapteroptik von Hand in die Steuereinheit einzugeben. Dies erfordert jedoch eine Möglichkeit, die Zoomstellung in Erfahrung zu bringen, beispielsweise durch eine ablesbare Skala, auf der die Zoomstellung angegeben ist.
Die konkreten Ausführungsvarianten 1 und 3 erlauben es, stereoskopische Darstellungen für mehr als einen Beobachter zu realisieren. In der ersten Ausführungsvariante kann dies erfolgen, indem nahe der Zwischenbildebene oder in der Zwischenbildebene eine Umschaltvorrichtung vorhanden ist, die als Kippspiegelmatrix ausgestaltet ist, bei der die Kippspiegelelemente in beliebige Richtungen kippbar sind. Eine derartige Abwandlung der ersten konkreten Ausführungsvariante ist beispielsweise in DE 10 2011 010 262 beschrieben, auf die hinsichtlich weiterer Einzelheiten hierzu Bezug genommen wird. Auch in einer solchen Anordnung bleibt die Zuordnung zwischen den Zeilen der Umschaltvorrichtung und den Zeilen des Sensors erhalten. Der Effizienzgewinn bei Verwendung einer preisgünstigen, kompakten Kamera mit Rolling Shutter wird dann besonders groß. In der dritten konkreten Ausführungsvariante können mehr als zwei Teilstrahlengänge realisiert werden, wenn eine entsprechende Anzahl an Spektralfiltern vorhanden ist. Diese wären dann bspw. symmetrisch um die optische Hauptachse herum angeordnet. Mittels einer entsprechenden Anordnung aus Umlenkelementen und Strahlteilern können die einzelnen Teilstrahlenbündel dann der Zwischenabbildungsoptik zugeführt werden. Jedoch ergibt sich eine Beschränkung der Anzahl an möglichen Teilstrahlenbündeln dadurch, dass wegen der nicht überlappenden transmittierten Spektralbereiche die Intensität eines einzigen Teilstrahlenbündels mit zunehmender Teilbündelzahl immer weiter sinkt.
Bezugszeichenliste

1: erste Optikbaugruppe
3: Objektebene
5: Teilbündelerzeuger
7: zweite Optikbaugruppe
9: Umschaltvorrichtung
11: dritte Optikbaugruppe
13: Sensor
14: Umschaltelement
15: Trennlinie
16: Pixel
17: Bild der Trennlinie
18: Steuerleitung
19: Steuereinheit
20: Steuerleitung
21: Hauptobjektiv
22: Aperturblende
23: Zwischenabbildungsoptik
24A, B: Blendenöffnungen
25: Kippspiegelmatrix
26: Kameradapteroptik
27: Bildsensor
28: Ablenkelement
29A, B: Teilstrahlenbündel
31: Hauptobjektiv
32A, B: Polarisator
33: Zwischenabbildungsoptik
34A: Umlenkprisma
35: LCD
36: Kameraadapteroptik
37: Bildsensor
38: Analysator
39A, B: Teilstrahlengänge
41: Hauptobjektiv
42A, B: Spektralfilter
43: Zwischenbildabbildungsoptik
44A: Umlenkprisma
44B: Strahlleiter
45: Spektralfilterrad
46: Kameraadapteroptik
47: Bildsensor
48A, B: Filterbereiche
49A, B: Teilstrahlengänge
51: Markierung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 5828487 [0005, 0014]
DE 102011010262 [0027, 0094, 0123]
US 2010/0182681 A1 [0082]

Claims

Verfahren zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, mit einem einzigen, eine Anzahl Pixel aufweisenden Sensor (13, 27, 37, 47), wobei die Pixel (16) zeitsequentiell ausgelesen werden und wenigstens zeitweise in wenigstens zwei voneinander verschiedene Pixelgruppen unterteilt sind, wobei die voneinander verschiedenen Pixelgruppen eine Pixelgruppe mit bereits ausgelesenen Pixeln und eine Pixelgruppe mit überwiegend noch auszulesenden Pixeln umfassen, in dem – die Teilbilder des dreidimensionalen Bildes mit Hilfe nacheinander eingenommener unterschiedlicher Schaltzustände einer schaltbaren Umschaltvorrichtung (9, 25, 35, 45) nacheinander auf den Sensor abgebildet werden, – die Umschaltvorrichtung (9, 25, 35, 45) beim zeitsequentiellen Abbilden der Teilbilder auf den Sensor (13, 27, 37, 47) wenigstens einen Schaltzustand einnimmt, in dem den voneinander verschiedenen Pixelgruppen des Sensors (13, 27, 37, 47) Ausschnitte unterschiedlicher Teilbilder zugeführt werden.
Verfahren nach Anspruch 1, in dem der Pixelgruppe mit überwiegend noch nicht ausgelesenen Pixeln (16) ein Ausschnitt des bisherigen Teilbildes und der Pixelgruppe mit bereits ausgelesenen Pixeln (16) ein Ausschnitt des nachfolgenden Teilbildes zugeführt wird.
Verfahren nach Anspruch 1 oder Anspruch 2, in dem die Umschaltvorrichtung (9, 25, 35, 45) eine Strukturierung mit einer Trennlinie (15) zwischen den Strukturen aufweist, wobei – die Position des Bildes (17) der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) vom Schaltzustand der Umschaltvorrichtung (9, 25, 35, 45) bestimmt wird, – die Unterteilung der Pixel des Sensors (13, 27, 37, 47) in die Pixelgruppen durch die Position des Bildes (17) der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) repräsentiert wird.
Verfahren nach Anspruch 3, in dem das Bild (17) der Trennlinie (15) mittels nacheinander eingenommener Schaltzustände der Umschaltvorrichtung (9, 25, 35, 45) über den Sensor (13, 27, 37, 47) bewegt wird.
Verfahren nach Anspruch 4, in dem das Auslesen der Pixel (16) mit der Bewegung des Bildes (17) der Trennlinie (15) über den Sensor (13, 27, 37, 47) derart synchronisiert ist, dass das Bild (17) der Trennlinie (15) verschoben wird, nachdem ein vorbestimmter Anteil der Pixel (16) in der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln ausgelesen worden ist.
Vorrichtung zum zeitsequentiellen Aufnehmen dreidimensionaler Bilder, die jeweils wenigstens ein erstes und ein zweites Teilbild umfassen, mit – einem Sensor (13, 27, 37, 47) mit einer Anzahl Pixel (16), die wenigstens zeitweise in zwei voneinander verschiedene Pixelgruppen unterteilt sind, wobei die voneinander verschiedenen Pixelgruppen wenigstens eine Pixelgruppe mit bereits ausgelesenen Pixeln und eine Pixelgruppe mit überwiegend noch auszulesenden Pixeln umfassen, – einer Abbildungsoptik mit einer schaltbaren Umschaltvorrichtung (9, 25, 35, 45), welche die Teilbilder des dreidimensionalen Bildes mit Hilfe nacheinander eingenommener unterschiedlicher Schaltzustände der Umschaltvorrichtung (9, 25, 35, 45) zeitsequentiell auf den Sensor (13, 27, 37, 47) abbildet, und – einer mit dem Sensor (13, 27, 37, 47) und der Umschaltvorrichtung (9, 25, 35, 45) verbundenen Steuereinheit (19), die das Auslesen des Sensors (13, 27, 37, 47) und die Schaltzustände der Umschaltvorrichtung (9, 25, 35, 45) derart steuert, dass die Umschaltvorrichtung (9, 25, 35, 45) beim Abbilden der Teilbilder auf den Sensor (13, 27, 37, 47) wenigstens einen Schaltzustand einnimmt, in dem den unterschiedlichen Pixelgruppen des Sensors (13, 27, 37, 47) Ausschnitte unterschiedlicher Teilbilder zugeführt werden.
Vorrichtung nach Anspruch 6, in der die Steuereinheit (19) derart ausgestaltet ist, dass in dem Schaltzustand des Umschaltelementes (9, 25, 35, 45), in dem unterschiedlichen Pixelgruppen des Sensors (13, 27, 37, 47) Ausschnitte unterschiedlicher Teilbilder zugeführt werden, der Pixelgruppe mit den überwiegend noch nicht ausgelesenen Pixeln ein Ausschnitt des bisherigen Teilbildes und der Pixelgruppe mit den bereits ausgelesenen Pixeln ein Ausschnitt des nachfolgenden Teilbildes zugeführt wird.
Vorrichtung nach Anspruch 6 oder Anspruch 7, in der – die Umschaltvorrichtung (9, 25, 35, 45) eine Strukturierung mit einer Trennlinie (15) zwischen den Strukturen aufweist, wobei die Trennlinie (15) Strukturen voneinander trennt, die dem Sensor (13, 27, 37, 47) Ausschnitte unterschiedlicher Teilbilder zuführen, – der Schaltzustand der Umschaltvorrichtung (9, 25, 35, 45) die Position des Bildes der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) bestimmt, und – die Unterteilung der Pixel des Sensors (13, 27, 37, 47) in die Pixelgruppen von der Position des Bildes (17) der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) repräsentiert ist.
Vorrichtung nach Anspruch 8, in der Schaltzustände der Umschaltvorrichtung (9, 25, 35, 45) für eine Mehrzahl von Positionen des Bildes (17) der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) vorhanden sind, und die Schaltzustände von der Steuereinheit (19) derart nacheinander einstellbar sind, dass das Bild (17) der Trennlinie (15) auf dem Sensor (13, 27, 37, 47) mit Hilfe des Einstellens der Schaltzustände über den Sensor (13, 27, 37, 47) bewegt wird.
Vorrichtung nach Anspruch 9, in der die Steuereinheit (19) das Auslesen eines vorbestimmten Anteils der Pixel in der Pixelgruppe mit den überwiegend noch auszulesenden Pixeln veranlasst, bevor der nächste Schaltzustand des Umschaltelements eingenommen wird.
Vorrichtung nach einem der Ansprüche 8 bis 10, in der – die Umschaltvorrichtung (9, 25, 35) Umschaltelemente (14) umfasst, die in Form einer Umschaltelementematrix mit Umschaltelementezeilen und/oder -spalten angeordnet sind und von denen jedes zumindest so viele verschiedene Schalteinstellungen einnehmen kann, wie das dreidimensionale Bild Teilbilder umfasst, – eine Strukturierung der Umschaltvorrichtung (9, 25, 35) in wenigstens zwei voneinander verschiedene Umschaltelementegruppen mit voneinander verschiedenen Schalteinstellungen der Umschaltelemente (14) vorliegt, wobei jede Umschaltelementegruppe aus einer variablen Zahl von Umschaltelementezeilen und/oder -spalten gebildet ist, die Zuordnung der Umschaltlementezeilen und/oder Umschaltelementespalten zu den Umschaltelementegruppen durch die Trennlinie (15) erfolgt und die Position der Trennlinie (15) auf der Umschaltvorrichtung (9, 25, 35) vom Schaltzustand der Umschaltvorrichtung (9, 25, 35) bestimmt ist, – die Pixel (16) des Sensors (13, 27, 37) in Form einer Pixelmatrix mit Pixelzeilen und/oder -spalten angeordnet sind und jede Pixelgruppe aus einer variablen Zahl von Pixelzeilen und/oder -spalten gebildet ist, wobei die Zuordnung der Pixelzeilen und/oder Pixelspalten zu den Pixelgruppen durch das Bild (17) der Trennlinie (15) auf dem Sensor (13, 27, 37) bestimmt ist, und – jede Pixelgruppe des Sensors (13, 27, 37) genau einer Umschaltelementegruppe des Umschaltelements zugeordnet ist.
Vorrichtung nach Anspruch 11, in der die Umschaltelemente (14) Spiegelelemente einer Kippspiegelvorrichtung oder Matrixelemente einer Flüssigkristallanzeige sind.
Vorrichtung nach einem der Ansprüche 8 bis 10, in der die Umschaltvorrichtung ein drehbar gelagertes Spektralfilterrad (45) ist, welches durch wenigstens zwei durch die Trennlinie (15) voneinander getrennte Filterbereiche (48A, 48B) mit unterschiedlichen Filtercharakteristiken strukturiert ist, wobei die Steuereinheit (19) die Drehung des Spektralfilterrades (45) steuert.
Vorrichtung nach Anspruch 13, in der die Trennlinie (15) spiralförmig auf dem Spektralfilterrad (45) verläuft.
Vorrichtung nach einem der Ansprüche 6 bis 14, in der die Abbildungsoptik neben der Umschaltvorrichtung (9) umfasst: – eine erste Optikbaugruppe (1), die ein aus einer Objektebene kommendes divergentes Lichtbündel im Wesentlichen in ein paralleles Lichtbündel umwandelt, – einen der ersten Optikbaugruppe (1) nachgeschalteten Teilbündelerzeuger (5), der aus dem parallelen Lichtbündel wenigstens zwei parallele Teillichtbündel erzeugt, welche die Teilbilder des dreidimensionalen Bildes repräsentieren, – eine zweite Optikbaugruppe (7), die die parallelen Teillichtbündel auf eine mit der Umschaltvorrichtung (9) zusammenfallende oder in deren Nähe befindliche Zwischenbildebene abbildet, so dass dort Zwischenbilder der Teilbilder des dreidimensionalen Bildes entstehen, – eine dritte Optikbaugruppe (11), die der Umschaltvorrichtung (9) nachgeschaltet ist, und die Zwischenteilbilder auf den Sensor (13) abbildet, wobei die Steuereinheit (19) die Schaltzustände der Umschaltvorrichtung (9) derart steuert, dass die Zwischenteilbilder von der dritten Optikbaugruppe (11) zeitsequentiell auf den Sensor (13) abgebildet werden.