DE102013200059A1

DE102013200059A1 - Vorrichtung zur aufnahme eines von einer hauptlinse einer plenoptischen kamera erzeugten zwischenbilds und plenoptische kamera

Info

Publication number: DE102013200059A1
Application number: DE201310200059
Authority: DE
Inventors: Alexander Oberdörster; Andreas Brückner
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2013-01-04
Filing date: 2013-01-04
Publication date: 2014-07-10
Anticipated expiration: 2033-01-05
Also published as: DE102013200059B4

Abstract

Eine Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds umfasst ein Mikrooptikarray mit einer Mehrzahl von Mikrooptiken, die in eine Mehrzahl von Mikrooptikgruppen gruppiert sind. Ferner umfasst die Vorrichtung eine Mehrzahl von beabstandet zueinander angeordneten Pixelarrays. Jede Mikrooptik ist ausgebildet, um jeweils einen zugeordneten Bereich des Zwischenbilds auf einen Teilbereich eines ihrer Mikrooptikgruppe zugeordneten Pixelarrays abzubilden. Die Pixelarrays sind lateral weniger ausgedehnt als die zugeordneten Mikrooptikgruppen.

Description

Gebiet der Erfindung
Ausführungsbeispiele der vorliegenden Erfindung schaffen eine Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds. Weitere Ausführungsbeispiele der vorliegenden Erfindung schaffen eine plenoptische Kamera.
Technischer Hintergrund
Das Lichtfeld ist eine strahlenoptische, vierdimensionale Beschreibung des Lichts, das von einer Szene ausgeht. Es umfasst Ortsinformationen (woher kommt das Licht?) und Winkelinformation (in welche Richtung breitet es sich aus?). Kennt man das Lichtfeld einer Szene, so lassen sich daraus verschiedene Ansichten dieser Szene erzeugen, die in Standpunkt, Schärfenebene und Perspektive voneinander abweichen. Des Weiteren lässt sich aus dem Lichtfeld eine Tiefenkarte generieren. Die Tiefenmessung ist dabei passiv (keine spezielle strukturierte oder modulierte Beleuchtung nötig) und im Vergleich zur Photogrammetrie mit zwei Kameras robust, da eine Vielzahl von Ansichten zur Korrespondenzanalyse herangezogen wird.
Plenoptische Kameras ermöglichen die Erfassung von Lichtfeldern bei relativ kompakter Baugröße. Sie sind hybride Systeme mit einem konventionellen Objektiv und einem Mikrolinsenarray. Das Hauptobjektiv erzeugt zunächst ein verkleinertes Zwischenbild der Szene (Luftbild), das vom Mikrolinsenarray auf den Bildsensor abgebildet wird. Auf dem Sensor entstehen disjunkte Mikrobilder, jeweils eines hinter jeder Mikrolinse, die je einen Teil der Szene zeigen. Die Blickfelder der Mikrolinsen überlappen sich, so dass jeder Punkt der Szene in mehreren Mikrobildern vorkommt. Diese Multiplizität ermöglicht eine Tiefenmessung und ergibt die Winkelabtastung des Lichtfelds.
Für die Winkelabtastung des Lichtfelds muss jedoch Ortsauflösung geopfert werden. Für eine Artefakt-freie Refokussierung sollte die Multiplizität bei 6 × 6 bis 8 × 8 liegen. Eine Multiplizität von 8 × 8 (64 Winkel-Samples pro Orts-Sample) reduziert die Ortsauflösung um Faktor 64. Ein Beispiel: Ein Lichtfeld, das mit einem 80 MPixel-Sensor aufgenommen wird (gegenwärtig Stand der Technik bei Mittelformat-Sensoren) führt unter diesen Umständen zu einem Zielbild mit 1 MPixel.
Die „Focused Plenoptic Camera" von T. Georgiev hat gegenüber dem ursprünglichen Modell der plenoptischen Kamera den Vorteil, dass sich durch wählbare Abtastung des Lichtfelds der Kompromiss zwischen Winkel- und Ortsauflösung verschieben lässt. Eine Zunahme an Ortsauflösung hat aber weiterhin zwangsläufig eine Abnahme der Winkelauflösung zur Folge. Zwar lässt sich auch eine geringe Winkelauflösung wählen, was die Abnahme der Ortsauflösung begrenzt; diese geringe Winkelauflösung führt dann jedoch zu Artefakten bei der Refokussierung.
Genau betrachtet wird die Abtastung im Ortsraum nicht reduziert, da sich die Abtastraster benachbarter Kanäle nicht genau treffen, sondern gegeneinander verschoben sind (Supersampling). Diese Tatsache wird in Arbeiten zur „Light Field Superresolution” ausgenutzt, um auch die Auflösung zurückzugewinnen. Da durch die Verkleinerung der Szene in der plenoptischen Kamera jedoch die Bandbreite des optischen Systems reduziert wird, kann die Auflösung nur durch nachträgliche digitale Schärfung des Signals zurückgewonnen werden (Deconvolution). Dies geht zu Lasten des Signal/Rauschverhältnisses und ist ein instabiler Prozess.
Für Standbilder sind Zielbilder mit einer akzeptablen Pixelzahl (einige MegaPixel) bereits heute durch Verwendung sehr großer hochauflösender Bildsensoren möglich. Diese sind jedoch teuer und erfordern wegen ihrer Baugröße eine Mittelformat-Optik, was zu einem großen Gesamtsystem führt. Weiterhin erreichen diese Sensoren nur sehr langsame Bildraten (1–3 fps), was die Anwendung in der Bewegtbildaufnahme verhindert.
Andererseits können plenoptische Kameras ihre Stärken gerade bei großen Objektiv-Öffnungen und Sensorflächen besser ausspielen, weil dann das aufgenommene Winkelspektrum des abgebildeten Objekts größer ist. Dies ist sowohl für Refokussierung als auch Tiefenmessungen hilfreich: Die größere Blendenöffnung des Hauptobjektivs führt zu einer größeren Parallaxe. Diese verbessert die Tiefenauflösung (analog zu einer größeren Basisbreite bei Photogrammetrie mit zwei Kameras) und verringert die minimal mögliche Schärfentiefe (für kreatives Arbeiten mit der Schärfeebene von Vorteil).
Bereits mit aktueller Pixeltechnologie wäre die Herstellung von Bildsensoren mit ausreichend großer Pixelzahl möglich. Ein 35-mm-Kleinbildformatsensor mit 1,4 μm Pixelgröße hätte beispielsweise 420 MPixel. Mangelnde Nachfrage, hohe Kosten durch geringen Yield (Ausbeute) und technische Probleme beim Auslesen verhindern dies jedoch bislang. Eine plenoptische Kamera mit einem derartigen Bildsensor wäre daher nur aufwendig und sehr teuer zu fertigen.
Zusammenfassung der Erfindung
Es ist eine Aufgabe der vorliegenden Erfindung, ein Konzept zu schaffen, welches eine verbesserte plenoptische Kamera ermöglicht.
Diese Aufgabe wird gelöst durch eine Vorrichtung gemäß dem unabhängigen Patentanspruch 1.
Ausführungsbeispiele der vorliegenden Erfindung schaffen eine Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds. Die Vorrichtung weist ein Mikrooptikarray mit einer Mehrzahl von Mikrooptiken auf. Die Mikrooptiken sind in einer Mehrzahl von Mikrooptikgruppen gruppiert. Ferner weist die Vorrichtung eine Mehrzahl von beabstandet zueinander angeordneten Pixelarrays auf. Jede Mikrooptik ist ausgebildet, um jeweils einen zugeordneten Bereich des Zwischenbilds auf einen Teilbereich eines Ihrer Mikrooptikgruppe zugeordneten Pixelarrays abzubilden. Die Pixelarrays sind lateral weniger ausgedehnt als die zugeordneten Mikrooptikgruppen.
Durch die Wahl der Mikrooptiken so, dass diese jeweils einen zugeordneten Bereich des Zwischenbilds auf einen Teilbereich eines Ihrer Mikrooptik zugeordneten Pixelarrays abbilden, wird ermöglicht, dass die Pixelarrays lateral weniger ausgedehnt sein können als die zugeordneten Mikrogruppen. Diese Anpassung des Mikrooptikarrays ermöglicht es, die Aufnahme des Zwischenbildes mit einem Array von Bildsensoren durchzuführen. Die Gesamtauflösung eines resultierenden Systems ist sehr hoch (bis beispielsweise einige 100 Megapixel) und die Herstellungskosten sind akzeptabel (insbesondere im Vergleich zu der Nutzung eines Bildsensors mit durchgängigem Bildfeld mit einer ähnlich großen Anzahl an Pixeln). Ferner wird ermöglicht, dass die Auslesegeschwindigkeit der eines Einzelsensors entspricht (da beispielsweise jedes Pixelarray getrennt von den anderen Pixelarrays ausgelesen wird). Des Weiteren lässt sich die Parallaxe/Basisbreite durch entsprechende Auslegung des Mikrooptikarrays steuern. Dabei ist die Größe des Mikrooptikarrays ausschlaggebend, nicht mehr die des verwendeten Bildsensors.
Bei konventionellen Kameras scheitert die Aufteilung des Bildfeldes auf mehrere Sensoren daran, dass sich zwischen den Bildfeldern der Sensoren zwangsläufig Lücken befinden, da um das eigentliche Bildfeld jedes Sensors beispielsweise eine Ausleseelektronik und ein Gehäuserand angeordnet sind. Dies würde bei konventionellen Kameras zu einer lückenhaften Abtastung des Objektraums führen.
Es wurde herausgefunden, dass bei einer plenoptischen Kamera jedoch ein Zwischenbild erzeugt wird, das beispielsweise von einem Mikrolinsenarray auf den Sensor übertragen wird. Basierend auf dieser Erkenntnis wurde weiter herausgefunden, dass diese Übertragung sich auch so gestalten lässt, dass das Zwischenbild kanalweise auf getrennte Bereiche auf der Bildebene (beispielsweise auf die verschiedenen Pixelarrays) abgebildet wird. Indem jede Mikrooptik nun ausgebildet ist, um jeweils einen zugeordneten Bereich des Zwischenbildes auf einen Teilbereich eines jeder Mikrooptikgruppe zugehörigen Pixelarrays abzubilden, wird ermöglicht, dass die Pixelarrays lateral weniger ausgedehnt sind als die zugeordneten Mikrooptikgruppen und dadurch wird eben auch ermöglicht, dass zwischen Pixelarrays zusätzliche (nicht photosensitive) Elemente, wie beispielsweise Gehäuserand und Ausleseelektronik angeordnet sind. Die von den Mikrooptiken durchgeführten Abbildungen der zugeordneten Bereiche des Zwischenbilds auf den Teilbereich der der Mikrooptikgruppe zugeordneten Pixelarrays lässt sich quasi als eine Umlenkung dieses zugeordneten Bereichs des Zwischenbilds auf den Teilbereich des zugeordneten Pixelarrays beschreiben. Durch diese Umlenkung wird die Nutzung von beabstandet zueinander angeordneten Pixelarrays ermöglicht, welche sogar lateral weniger ausgedehnt sind als die zugeordneten Mikrooptikgruppen. Dies ermöglicht die Verwendung von kompletten Bildsensoren als Pixelarrays (mit Gehäuserand und Ausleseelektronik) zur Aufnahme des Zwischenbilds. Es kann daher auf die Nutzung eines einzigen großen Bildsensors verzichtet werden und stattdessen können mehrere kleinere Bildsensoren bei der Vorrichtung eingesetzt werden, wobei jeder Bildsensor beispielsweise ein oder mehrere Pixelarray(s) aufweist.
Ein derartiges System hat gegenüber der Wahl eines einzigen großen Bildsensors den Vorteil, dass die Herstellungskosten geringer sind, da derartige kleine Bildsensoren bereits am Markt verfügbar sind, während vergleichbare große Bildsensoren hohe Kosten aufgrund einer geringen Ausbeute (sogenannter Yield) haben. Ferner haben große Bildsensoren den Nachteil, dass eine Auslesegeschwindigkeit deutlich niedriger ist als bei einer Mehrzahl von kleinen Bildsensoren, da die verschiedenen kleinen Bildsensoren zeitgleich ausgelesen werden können. Eine erreichbare Bildrate einer plenoptischen Kamera mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wäre daher um ein Vielfaches höher als die einer plenoptischen Kamera unter Verwendung eines einzigen (großen) Bildsensors.
Gemäß einigen Ausführungsbeispielen können zumindest die nicht in einer lateralen Mitte einer Mikrooptikgruppe angeordneten Mikrooptiken ausgebildet sein, um jeweils ein pixelarrayseitiges Strahlenbündel der Mikrooptik gegenüber einem zwischenbildseitigen Strahlenbündel der Mikrooptik zu dem Teilbereich hin, auf den die Mikrooptik ihren zugeordneten Bereich des Zwischenbildes abbildet, zu verkippen. Mit anderen Worten können die Mikrooptiken, welche nicht in der lateralen Mitte einer Mikrooptikgruppe angeordnet sind, ausgebildet sein, um eine Strahlumlenkung durchzuführen, um ihren erfassten Bereich des Zwischenbildes auf den Teilbereich abzubilden.
Indem jede Mikrooptik (welche nicht in einer lateralen Mitte ihrer zugeordneten Mikrooptikgruppe angeordnet ist) eine solche Bildablenkung vornimmt, können die Lücken zwischen den Bildfeldern der Pixelarrays überbrückt werden. Da das Mikrolinsenarray selbst lückenlos aufgebaut werden kann, ist die Abtastung des Zwischenbildes trotzdem lückenlos.
Gemäß weiteren Ausführungsbeispielen kann die Vorrichtung eine Mehrzahl von Pixelarrayausleseeinheiten aufweisen, wobei jede Pixelarrayausleseeinheit ausgebildet ist, um jeweils Pixelsignale eines zugeordneten Pixelarrays aus der Mehrzahl von Pixelarrays auszulesen. Zumindest ein Teil dieser Pixelarrayausleseeinheiten kann dabei in Lücken zwischen benachbarten Pixelarrays angeordnet sein. Durch die oben beschriebene Abbildung der Bereiche des Zwischenbildes auf beabstandet zueinander angeordnete Pixelarrays können die Lücken zwischen den Pixelarrays für Pixelarrayausleseeinheiten genutzt werden, ohne dass Abtastlücken in dem Zwischenbild entstehen. Die Anordnung der Pixelarrayausleseeinheiten in den Lücken zwischen den benachbarten Pixelarrays ermöglicht eine Vielzahl solcher Pixelarrayausleseeinheiten, beispielsweise so, dass jedes Pixelarray eine eigene zugeordnete Pixelarrayausleseeinheit aufweist. Durch die Vielzahl solcher Pixelarrayausleseeinheiten wird eine hohe Bildwiederholrate der Vorrichtung erreicht.
Weitere Ausführungsbeispiele der vorliegenden Erfindung schaffen eine plenoptische Kamera mit einer oben beschriebenen Vorrichtung, die ferner eine Hauptlinse zur Erzeugung des Zwischenbildes aufweist. Beispielsweise kann die Hauptlinse austauschbar sein.
Solch eine plenoptische Kamera kann beispielsweise vom Typ „fokussierte plenoptische Kamera” sein. Mit anderen Worten kann das Mikrooptikarray ausgebildet sein, um das von der Hauptlinse der plenoptischen Kamera erzeugte Zwischenbild auf die Pixelarrays fokussiert (scharf) abzubilden.
Kurze Beschreibung der Figuren
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand der beiliegenden Figuren beschrieben. Es zeigen:
1 eine Schnittansicht einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine Schnittansicht einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung, bei der jedes Pixelarray ein Pixelarray eines einzelnen Bildsensors ist;
3 eine Draufsicht auf die in 2 gezeigte Vorrichtung mit Beispielwerten unter Nutzung kommerzieller Bildsensoren.
4 eine Schnittansicht einer plenoptischen Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
5a–e mögliche Implementierungen für ein Mikrooptikarray, wie es bei Ausführungsbeispielen der vorliegenden Erfindung Verwendung finden kann;
6a Darstellungen zur Erläuterung von Form und Herstellung von zentrierten Linsensegmenten; und
6b Darstellungen zur Erläuterung von Form und Herstellung von dezentrierten Linsensegmenten.
Detaillierte Beschreibung von Ausführungsbeispielen der vorliegenden Erfindung
Bevor im Folgenden Ausführungsbeispiele der vorliegenden Erfindung detailliert beschrieben werden, wird darauf hingewiesen, dass in den Figuren gleiche Elemente oder Elemente gleicher Funktion mit denselben Bezugszeichen versehen sind und dass auf eine wiederholte Beschreibung für Elemente mit denselben Bezugszeichen verzichtet wird.
1 zeigt eine Schnittansicht einer Vorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 100 zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds 101 weist ein Mikrooptikarray 103 mit einer Mehrzahl von Mikrooptiken auf, die in einer Mehrzahl von Mikrooptikgruppen 105 gruppiert sind. In jeder Mikrooptikgruppe 105 ist daher zumindest eine Teilmehrzahl von Mikrooptiken 107a bis 107n gruppiert. Ferner weist die Vorrichtung 100 eine Mehrzahl von beabstandet zueinander angeordneten Pixelarrays 109 auf. Jede Mikrooptik 107a bis 107n ist ausgebildet, um jeweils einen zugeordneten Bereich 111a bis 111n des Zwischenbilds 101 auf einen Teilbereich 113a bis 113n eines ihrer Mikrooptikgruppe 105 zugeordneten Pixelarrays 109 abzubilden. Die Pixelarrays 109 sind lateral weniger ausgedehnt als die zugeordneten Mikrooptikgruppen 105.
In der vorliegenden Anmeldung soll der Begriff „lateral” eine Ausdehnung in der Ebene angeben, welche senkrecht zu einer Stapelrichtung des aus Mikrooptikarray 103 und Pixelarrays 109 gebildeten Stapels liegt.
Wie bereits einleitend erwähnt, lässt sich durch die beschriebene Nutzung der Mikrooptiken, welche das von der Hauptlinse erzeugte Zwischenbild 101 betrachten, ermöglichen, dass Pixelarrays 109 verwendet werden, welche lateral weniger ausgedehnt sind als die zugeordneten Mikrooptikgruppen 105 und welche ferner zueinander beabstandet sind. Dies ermöglicht die Nutzung von einzelnen Bildsensoren in der Pixelarrayebene anstatt der Nutzung eines einzigen großen Bildsensors, wodurch sich einerseits geringere Herstellungskosten erreichen lassen und andererseits eine höhere Auslesegeschwindigkeit der Pixelarrays 109 ermöglicht wird, als dies bei der Nutzung eines einzigen großen Bildsensors der Fall ist.
Die Vorrichtung 100 umfasst ferner die folgenden weiteren (teilweise optionalen) Merkmale.
Wie aus 1 ersichtlich ist, ist zumindest für jede an einem (lateralen) Rand einer Mikrooptikgruppe 105 angeordnete Mikrooptik (beispielsweise eine Mikrooptik 107a oder eine Mikrooptik 107n) eine Projektion des Flächenschwerpunkts der Mikrooptik 107a, 107n auf eine Ebene der Pixelarrays 109 verschoben zu einem Flächenschwerpunkt des Teilbereichs 113a, 113n des Pixelarrays 109, auf den die Mikrooptik 107a, 107n den ihr zugeordneten Bereich 111a, 111n des Zwischenbildes 101 abbildet. Der Flächenschwerpunkt des Teilbereichs 113a, 113n ist damit weiter nach innen zu einem Flächenschwerpunkt des gesamten Pixelarrays 109 verschoben, als die Projektion des Flächenschwerpunkts der Mikrooptik 107a, 107n. Durch diese Verschiebung der Flächenschwerpunkte der Mikrooptiken 107a, 107n bezüglich der Flächenschwerpunkte der Teilbereiche 113a, 113n, auf den die Mikrooptiken 107a, 107n den ihr zugeordneten Bereich 111a, 111n des Zwischenbilds 101 abbilden, wird ermöglicht, dass Lücken zwischen benachbarten Pixelarrays 109 überbrückt werden, ohne dass Lücken bei der Abtastung des Zwischenbilds 101 entstehen. Mit anderen Worten führen die Mikrooptiken 107a bis 107n (welche nicht in einer lateralen Mitte ihrer Mikrooptikgruppe 105 angeordnet sind) eine Strahlumlenkung durch, um Lücken zwischen den Pixelarrays 109 zu überbrücken. So wird ermöglicht, dass trotz den Lücken zwischen den benachbart angeordneten Pixelarrays 109 das von der Hauptlinse erzeugte Zwischenbild 101 lückenlos abgetastet wird.
Die Mikrooptiken 107a bis 107n des Mikrooptikarrays 103 selber sind dabei lückenlos aneinander angeordnet. Durch diese lückenlose Aneinanderanordnung der Mikrooptiken 107a bis 107n des Mikrooptikarrays 103 wird die genannte lückenlose Abtastung des Zwischenbilds 101 ermöglicht, obwohl sich jeweils zwischen zwei benachbarten Pixelarrays 109 eine Lücke befindet.
In den Lücken zwischen benachbarten Pixelarrays 109 können Pixelarrayausleseeinheiten 115 angeordnet sein. Jede Pixelarrayausleseeinheit 115 kann dabei ausgebildet sein, um jeweils Pixelsignale eines zugeordneten Pixelarrays 109 aus der Mehrzahl von Pixelarrays auszulesen. So kann beispielsweise eine Pixelarrayausleseeinheit 115 angrenzend an einen Rand eines zugeordneten Pixelarrays 109 (außerhalb des Pixelarrays 109) angeordnet sein. Das Bereitstellen einer Pixelarrayausleseeinheit 115 für jedes Pixelarray 109 ermöglicht, dass die Pixelarrays 109 zeitgleich ausgelesen werden können, was insbesondere gegenüber der Nutzung eines großen Bildsensors mit einer großen Anzahl von Bilddetektoren (beispielsweise in Form von Pixeln oder Fotodioden) und lediglich einer Pixelarrayausleseeinheit den Vorteil einer höheren zu erreichenden Bildwiederholrate hat. Eine solche Pixelarrayausleseeinheit 115 kann beispielsweise einen Zeilendecoder und einen Spaltendecoder sowie einen oder mehrere Analog/Digitalwandler zur Analog/Digitalwandlung der Pixelsignale des Pixelarrays 109 aufweisen. Die Pixelarrayausleseeinheiten 115 können ausgebildet sein, um die ausgelesenen Pixelsignale (in digitaler Form) an eine übergeordnete Steuerung der Vorrichtung 100 weiterzugeben.
Ferner wird auch ermöglicht, dass ein erstes Pixelarray 109 zusammen mit einer zugeordneten ersten Pixelausleseeinheit 115 auf einem ersten Substrat angeordnet ist und ein zweites Pixelarray 109 zusammen mit einer zugeordneten zweiten Pixelarrayausleseeinheit 115 auf einem zweiten, zu dem ersten Substrat verschiedenen Substrat angeordnet ist. Die erste Pixelarrayausleseeinheit 115 und die zweite Pixelarrayausleseeinheit 115 kann dabei beispielsweise mit einer gemeinsamen Leiterplatte (der gemeinsamen Steuerung) verbunden sein. Ein Beispiel für solch eine Anordnung von Pixelarrays 109 mit zugeordneten Pixelarrayausleseeinheiten 115 auf verschiedenen Substraten lässt sich beispielsweise dadurch erreichen, dass jeweils ein kompletter (beispielsweise am Markt verfügbarer) Bildsensor, welcher zumindest ein Pixelarray 109 und zumindest eine Pixelarrayausleseeinheit 115 aufweist, hinter jeder Mikrooptikgruppe 105 platziert wird (wie dies auch anhand der 2 gezeigt ist). Ferner ist es aber auch möglich, dass ein Bildsensor ein aufgeteiltes Bildfeld aufweist, so dass beispielsweise mehrere Pixelarrays 109 einem ersten Bildsensor zugeordnet sind, während weitere Pixelarrays 109 einem zweiten Bildsensor zugeordnet sind, welcher benachbart zu dem ersten Bildsensor angeordnet ist. Mit anderen Worten lassen sich bei der Vorrichtung 100 sowohl Bildsensoren mit aufgeteiltem Bildfeld als auch Bildsensoren mit nicht aufgeteiltem Bildfeld verwenden. Es ist lediglich darauf zu achten, dass die Mikrooptikgruppen 105, welche jeweils einem Pixelarray 109 zugeordnet sind, derart ausgebildet sind, dass die einzelnen Mikrooptiken 107a bis 107n dieser Mikrooptikgruppen 105 den ihnen zugeordneten Bereich 111a bis 111n des Zwischenbilds 101 auf den ihnen zugeordneten Teilbereich 113a bis 113n des Pixelarrays 109 abbilden (fokussieren), so dass keine Lücken bei der Abtastung des Zwischenbilds 101 entstehen.
Eine Lücke zwischen zwei (direkt) benachbarten Pixelarrays 109 soll dabei nicht als eine Lücke zwischen benachbarten Pixeln eines einzigen Pixelarrays 109 verstanden werden, da solch eine Lücke zwischen zwei benachbarten Pixelarrays 109 typischerweise um ein Vielfaches größer ist als eine Lücke zwischen benachbarten Pixeln eines Pixelarrays 109. So kann beispielsweise eine Breite einer Lücke zwischen zwei benachbarten Pixelarrays 109 mindestens das 10-fache, das 100-fache, das 250-fache oder sogar das 500-fache des Mittenabstands zweier benachbarter Pixel eines der Pixelarrays 109 betragen. Der Abstand zwischen zwei benachbarten Pixelarrays 109 kann dabei beispielsweise durch eine Breite eines die Pixelarrays 109 umgebenden Rands vorgegeben sein. In einem solchen Rand können sich beispielsweise Pixelarrayausleseeinheiten 115 oder auch Anschlüsse zur Verdrahtung des Pixelarrays 109 befinden.
Aus 1 ist ferner ersichtlich, dass jede Mikrooptik 107a bis 107n zusammen mit dem Teilbereich 113a bis 113n, auf den sie den ihr zugeordneten Bereich 11la bis 111n des Zwischenbilds 101 abbildet, einen (optischen) Kanal bildet. Ferner ist aus 1 ersichtlich, dass sich Gesichtsfelder dieser Kanäle überlappen. Dies wird beispielsweise aus 1 dadurch ersichtlich, dass sich ein erster Bereich 111a, der von einer ersten Mikrooptik 107a auf einen ersten Teilbereich 113a eines Pixelarrays 109 abgebildet wird, sich mit einem zweiten Bereich 111b des Zwischenbilds 101 überlappt, der von einer zweiten (zu der ersten Mikrooptik 107a benachbarten) Mikrooptik 107b auf einen zweiten (zu dem ersten Teilbereich 113a benachbarten) Teilbereich 113b des Pixelarrays 109 abgebildet wird. Durch den Überlapp der Gesichtsfelder der einzelnen Kanäle beziehungsweise der Bereiche 111a bis 111n wird ermöglicht, dass zumindest für Bildpunkte, welche nicht an einem Rand des Zwischenbilds 101 liegen, jeder Bildpunkt auf zumindest zwei unterschiedliche Teilbereiche 113a bis 113n eines oder mehrerer Pixelarrays 109 abgebildet wird. Es überlappen sich daher nicht nur die Blickfelder von optischen Kanälen eines Pixelarrays 109, sondern auch von optischen Kanälen benachbarter Pixelarrays 109. Mit anderen Worten überlappen sich gemäß Ausführungsbeispielen der vorliegenden Erfindung Bereiche 111a bis 111n des Zwischenbilds 101, welche von einer zugehörigen Mikrooptik 107a bis 107n auf einen Teilbereich 113a und 113n eines ersten Pixelarrays 109 abgebildet werden und Bereiche 111a bis 111n, welche von einer weiteren Mikrooptik 107a, 107n auf einen Teilbereich 113a bis 113n eines zweiten Pixelarrays 109 abgebildet werden. An den verschiedenen Schattierungen in 1 ist der Überlapp der Blickfelder (die Multiplizität) an verschiedenen Punkten im Objektraum der Mikrooptiken 107a bis 107n erkennbar (dort liegt das Zwischenbild 101, das von der Hauptlinse oder dem Hauptobjektiv erzeugt wird). Bei dem in 1 gezeigten Ausführungsbeispiel der Vorrichtung 100 besteht eine Multiplizität von maximal 5 × 5 (25) für die nicht am Rand des Zwischenbildes 101 angeordneten Bildpunkte. Das heißt, jeder dieser Bildpunkte im Zwischenbild 101 wird von maximal 5 × 5 Kanälen erfasst und damit auf 5 × 5 Teilbereiche der Pixelarrays 109 abgebildet. Ein solcher Bildpunkt kann dabei auf 5 × 5 Teilbereiche 113a bis 113n verschiedener Pixelarrays 109 abgebildet werden.
Die Multiplizität lässt sich beispielsweise dadurch einschränken, dass der Abstand des von der Hauptlinse erzeugten Zwischenbilds 101 zu dem Mikrooptikarray 103 variiert wird. Mit einer abnehmenden Distanz zwischen Zwischenbild 101 und Mikrooptikarray 103 wird die Multiplizität reduziert und mit einer zunehmenden Distanz zwischen Zwischenbild 101 und Mikrooptikarray 103 wird die Multiplizität erhöht.
Aus 1 wird ferner ersichtlich, dass zumindest die nicht in einer lateralen Mitte einer Mikrooptikgruppe 105 angeordneten Mikrooptiken 107a bis 107n ausgebildet sind, um jeweils ein pixelarrayseitiges (Ausfalls-)Strahlenbündel der Mikrooptik 107a bis 107n gegenüber einem zwischenbildseitigen (Einfalls-)Strahlenbündel der Mikrooptik 107a bis 107n zu dem Teilbereich 113a bis 113n hin, auf den die Mikrooptik 107a bis 107n ihren zugeordneten Bereich 111a bis 111n des Zwischenbildes 101 abbildet, zu verkippen. Mit anderen Worten führen die Mikrooptiken 107a bis 107n, welche nicht in einer lateralen Mitte ihrer Mikrooptikgruppe 105 angeordnet sind, eine Strahlumlenkung ihrer einfallenden Strahlen durch, und zwar sogar derer Strahlen, welche durch einen Flächenschwerpunkt dieser Mikrooptiken 107a bis 107n gehen. Diese Verkippung des zwischenbildseitigen (einfallenden) Strahlenbündels gegenüber dem pixelarrayseitigen (ausfallenden) Strahlenbündel ermöglicht die Überbrückung der Lücken zwischen den benachbarten Pixelarrays 109. Dadurch lassen sich Pixelarrays 109 verwenden, welche lateral weniger ausgedehnt sind als die zugeordneten Mikrooptikgruppen 105. Durch die Anpassung des Mikrooptikarrays 103 (welches beispielsweise ein Mikrolinsenarray 103 sein kann) ist es möglich, die Aufnahme des Zwischenbilds 101 mit einem Array von Bildsensoren durchzuführen (wie dies beispielsweise anhand von 2 noch gezeigt wird). Die Gesamtauflösung eines solchen Systems ist sehr hoch (beispielsweise einige 100 MPixel), die Herstellungskosten sind akzeptabel, die Auslösegeschwindigkeit entspricht der eines Einzelbildsensors (derzeit lassen sich Bildsensoren mit 10 MPixeln beispielsweise mit 30 Bildern pro Sekunde auslesen) und die Parallaxe/Basisbreite lässt sich durch eine entsprechende Auslegung des Clusterauges/des Mikrooptikarrays 103 steuern. Dabei ist die Größe des Mikrooptikarrays 103 ausschlaggebend und nicht die des Sensors. Eine einfache Erweiterung auf höhere Gesamtpixelzahlen lässt sich dabei vergleichsweise einfach durch Hinzufügen neuer Bildsensoren und entsprechendes Vergrößern der Mikrooptik 103 erreichen. Eine Bildwiederholrate kann dabei (fast vollkommen) unabhängig von der Anzahl der zu erfassenden Pixel gestaltet werden, da das „bottle neck” (bottle neck – Flaschenhals) des Auslesens eines großen Bildsensors nicht mehr vorhanden ist.
Jeder Teilbereich 113a bis 113n eines Pixelarrays 109 kann dabei wieder ein Feld von Pixeln aufweisen. Verschiedene Teilbereiche 113a bis 113n eines Pixelarrays 109 können dabei beabstandet voneinander angeordnet sein (beispielsweise unter Nutzung von Bildsensoren mit aufgeteiltem Bildfeld) oder direkt benachbart zueinander sein (so dass ein Abstand zwischen zwei benachbart angeordneten Pixeln zweier benachbarter Teilbereiche nicht größer ist als ein Abstand zweier benachbarter Pixel ein und desselben Teilbereichs), beispielsweise unter Nutzung von Bildsensoren mit einem durchgehenden (nicht aufgeteilten) Bildfeld.
Die Aufteilung des Bildfeldes auf mehrere voneinander beabstandete Pixelarrays 109 oder Bildsensoren, wie in 1 gezeigt, scheitert bei einer herkömmlichen Kamera dadurch, dass sich zwischen den Bildfeldern der Sensoren zwangsläufig Lücken befinden, da um das eigentliche Bildfeld jedes Sensors Ausleseelektronik und Gehäuserand angeordnet sind. Dies würde bei konventionellen Kameras zu einer lückenhaften Abtastung des Objektraums führen.
Es wurde jedoch von den Erfindern gefunden, dass es sich zu Nutze gemacht werden kann, dass bei einer plenoptischen Kamera ein Zwischenbild erzeugt wird, dass von einem Mikrolinsenarray auf den Sensor übertragen wird. Die Erfinder haben herausgefunden, dass sich diese Übertragung auch so gestalten lässt, dass das Zwischenbild 101 kanalweise auf getrennte Bereiche (und zwar auf die einzelnen Teilbereiche 113a bis 113n der voneinander beabstandeten Pixelarrays 109) auf der Bildebene abgebildet wird. Indem jede Mikrooptik 107a bis 107n (welche nicht in einer lateralen Mitte einer Mikrooptikgruppe 105 angeordnet ist) eine Bildablenkung vornimmt (also ihr pixelarrayseitiges Strahlenbündel gegenüber ihrem zwischenbildseitigen Strahlenbündel verkippt) können die Lücken zwischen den Pixelarrays 109 und damit zwischen den Bildfeldern der verschiedenen Bildsensoren überbrückt werden. Da, wie in 1 gezeigt, das Mikrooptikarray 103 selbst lückenlos aufgebaut werden kann, ist die Abtastung des Lichtfeldes (des Zwischenbilds 101) trotzdem lückenlos, so dass keine Abtastlücken bei der Abtastung des Zwischenbilds 101 entstehen.
Bei dem in 1 gezeigten Ausführungsbeispiel der Vorrichtung 100 existiert jeweils keine Mikrooptik 107a bis 107n, welche sich in der lateralen Mitte ihrer Mikrooptikgruppe 105 befindet. Daher ist jede Mikrooptik 107a bis 107n des Mikrooptikarrays 103 ausgebildet, um die erwähnte Verkippung zwischen ihrem zwischenbildseitigen Strahlenbündel und ihrem pixelarrayseitigen Strahlenbündel durchzuführen. Bei dem in 1 gezeigten Beispiel weist jede Mikrooptikgruppe 105 beispielsweise 6 × 6 Mikrooptiken 107a bis 107n auf und damit insgesamt 36 Mikrooptiken 107a bis 107n.
Würde jede Mikrooptikgruppe jedoch lediglich 5 × 5 Mikrooptiken aufweisen, so dass jede Mikrooptik insgesamt 25 Mikrooptiken aufweist, so würde eine der Mikrooptiken in der Mitte einer solchen Mikrooptikgruppe angeordnet sein und eben keine Verkippung ihres pixelarrayseitigen Strahlenbündels zu ihrem zwischenbildseitigen Strahlenbündel durchführen. Mit anderen Worten existiert bei einer ungeraden Anzahl von Mikrooptiken in einer Mikrooptikgruppe eine Mikrooptik in einer lateralen Mitte dieser Mikrooptikgruppe, welche keine Verkippung ihres pixelarrayseitigen Strahlengangs zu ihrem zwischenbildseitigen Strahlengang durchführt.
Die Mikrooptiken 107a bis 107n sind jeweils so ausgebildet, dass ein Mittenstrahl 117a bis 117n des pixelarrayseitigen Strahlenbündels 107a bis 107n jeder Mikrooptik auf den Flächenschwerpunkt des Teilbereichs 113a bis 113n, auf den die Mikrooptik 107a bis 107n ihren zugeordneten Bereich 111a bis 111n des Zwischenbilds 101 abbildet, trifft.
So wird ermöglicht, dass der gesamte von einer Mikrooptik 107a bis 107n erfasste Bereich 111a bis 111n des Zwischenbilds 101 auch auf den zugeordneten Teilbereich 113a bis 113n des der Mikrooptik 107a bis 107n zugeordneten Pixelarrays 109 abgebildet wird.
Ferner nimmt für verschiedene Mikrooptiken 107a bis 107n eine Verkippung des zwischenbildseitigen Strahlenbündels zu dem pixelarrayseitigen Strahlenbündel der Mikrooptik 107a bis 107n mit einem wachsenden Abstand der Mikrooptiken 107a bis 107n zu der lateralen Mitte ihrer ersten Mikrooptikgruppe 105 hin zu. Dadurch wird ermöglicht, dass eine Verkippung zwischen einem zwischenbildseitigen Strahlenbündel der ersten Mikrooptik 107a und einem pixelarrayseitigen Strahlenbündel der ersten Mikrooptik 107a größer ist als eine Verkippung zwischen einem zwischenbildseitigen Strahlenbündel der zweiten Mikrooptik 107b und einem pixelarrayseitigen Strahlenbündel der zweiten Mikrooptik 107b, wobei die erste Mikrooptik 107a und die zweite Mikrooptik 107b in derselben ersten Mikrooptikgruppe 105 gruppiert sind. Aus 1 wird ersichtlich, dass dabei ein Abstand der ersten Mikrooptik 107a von einer lateralen Mitte der ersten Mikrooptikgruppe 105 größer ist als ein Abstand der zweiten Mikrooptik 107b von der lateralen Mitte der ersten Mikrooptikgruppe 105. Mit anderen Worten führt die erste Mikrooptik 107a eine größere Strahlablenkung durch als die zweite Mikrooptikgruppe 107b, deren Abstand zu der lateralen Mitte der ersten Mikrooptikgruppe 105 kleiner ist als der Abstand der ersten Mikrooptikgruppe 107a zu der lateralen Mitte ersten Mikrooptikgruppe 105.
Verschiedene mögliche Implementierungen für das Mikrooptikarray 103 werden im Folgenden noch anhand der 5 beschrieben.
Die in 1 gezeigte Anzahl von Mikrooptiken des Mikrooptikarrays 103 sowie die gezeigte Anzahl von Pixelarrays 109 ist lediglich beispielhaft und hängt insbesondere von der gewünschten Anwendung der Vorrichtung 100 ab. Ferner zeigt die 1 lediglich einen Schnitt durch die Vorrichtung 100, so dass, wie bereits beschrieben, die Vorrichtung 100 typischerweise ein n × m Feld von Pixelarrays 109 und ein n × m Feld von Mikrooptikgruppen 105 aufweist, wobei die Pixelarrays 109 jeweils beabstandet voneinander angeordnet sind und die Mikrooptikgruppen 105 ohne Lücken aneinander angeordnet sein können, um das Mikrooptikarray 103 zu bilden. Bei einigen Ausführungsbeispielen der vorliegenden Erfindung kann dabei n = m gewählt werden.
Ferner entspricht die Anzahl von Mikrooptikgruppen 105 der Anzahl von Pixelarrays 109 und die Anzahl von Teilbereichen 113a bis 113n der Pixelarrays 109 kann der Anzahl von Mikrooptiken 107a bis 107n entsprechen.
2 zeigt eine exemplarische Implementierung der Vorrichtung 100. Die Implementierung der Vorrichtung 100 in 2 basiert auf dem Gedanken, dass durch die in Verbindung mit 1 beschriebene Gestaltung der Mikrooptiken 107a bis 107n ermöglicht wird, Lücken in der Bildebene zwischen benachbarten Pixelarrays 109 zu überbrücken. Bei der in 2 gezeigten Implementierung weist die Vorrichtung 100 daher eine Mehrzahl von Bildsensoren 201 auf. Jeder dieser Bildsensoren 201 weist dabei eines der in 1 gezeigten Pixelarrays 109 auf, welches einer Mikrooptikgruppe 105 zugeordnet ist. Ferner weist jeder der Bildsensoren 201 eine eigene Pixelarrayausleseeinheit zum Auslesen von Pixelsignalen des Pixelarrays des Bildsensors 201 auf (die Pixelarrayausleseeinheiten sind in 2 nicht dargestellt). Die Pixelarrayausleseeinheiten 115 können dabei am Rand der Pixelarrays 109 angeordnet sein. Ferner kann jeder der Bildsensoren 201 noch einen Gehäuserand aufweisen, auf dem sich beispielsweise Anschlusskontakte befinden.
Die Bildsensoren 201 können mit einer gemeinsamen Steuerung 203 der Vorrichtung 100 verbunden sein, beispielsweise mittels Bonddrähten 205, Die Bildsensoren 201 können jeweils ein eigenes Substrat aufweisen. Ferner können diese Substrate der Bildsensoren 201 auf einer gemeinsamen Leiterplatte angeordnet sein, auf der sich beispielsweise auch die Steuerung 203 befindet.
Ein solcher Bildsensor 201 weißt typischerweise eine aktive Fläche (in Form eines oder mehrerer Pixelarrays 109), Leitungen, Elektronik und ein Gehäuse auf.
3 zeigt eine Draufsicht auf die Bildsensoren 201 und deren zugehörige Bildfelder (oder Pixelarrays 109) in der Bildebene für ein System mit 5 × 5 Bildsensoren 201. Die in 3 dargestellten beispielhaften Abmessungen für Bildfläche (Pixelarrayfläche) und Bildsensorgröße beziehungsweise Bildsensorfläche (welche der Die-Größe entspricht) sind dem Datenblatt eines kommerziell erhältlichen Sensors entnommen, dem Omnivision OV8830 (8 MPixel Auflösung, 1,4 μm Pixelgröße, maximale Bildwiederholrate 24 Bilder pro Sekunde). Das in 3 gezeigte System hat insgesamt 200 MPixel, was bei einer Multiplizität von 8 × 8 (64 Winkelsamples pro Bild) zu Zielbildern mit ca. 3 MPixeln führt. Das in 3 beispielhaft gezeigte Bildsensorarray hat eine Größe von 32 × 30 mm, was etwa dem Kleinbildformat entspricht. Hauptobjektive (aufweisend eine Hauptlinse zur Erzeugung des Zwischenbilds 101) für einen solchen Bildkreis sind kostengünstig und in großer Auswahl erhältlich.
Statt dem in 3 gezeigten Array von Bildsensoren kann auch ein großer Bildsensor mit einem aufgeteilten Bildfeld eingesetzt werden, wie bereits eingangs beschrieben. Ein solcher Bildsensor ist zwar teurer als eine entsprechende Zahl von kleineren Sensoren, lässt sich jedoch günstiger am Mikrooptikarray 103 montieren, da statt einer Vielzahl von Sensoren nur einer ausgerichtet und gebondet werden muss. Nichtsdestotrotz kann ein solcher großer Bildsensor trotzdem mit Bildwiederholraten bis in den Videobereich betrieben werden, da neben jedem Pixelarray oder Bildfeld Platz für die Ausleselogik (für die Pixelarrayausleseeinheiten) ist, wie beispielsweise für Decoder und Analog-zu-Digital-Wandler.
Weitere Ausführungsbeispiele der vorliegenden Erfindung schaffen eine plenoptische Kamera mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, wie beispielsweise mit der Vorrichtung 100. Eine solche plenoptische Kamera weist zusätzlich zu der Vorrichtung 100 die beschriebene Hauptlinse auf, welche ausgebildet ist, um das Zwischenbild 101 zu erzeugen, das mit der Vorrichtung 100 aufgenommen wird. 4 zeigt dazu eine solche plenoptische Kamera 400 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die plenoptische Kamera 400 weist eine Hauptlinse 401 sowie eine exemplarische Implementierung der Vorrichtung 100 auf. Die Vorrichtung 100 kann ferner um alle weiteren optionalen Merkmale erweitert werden, wie sie oben beschrieben wurden. Die in 4 gezeigte plenoptische Kamera 400 ist eine plenoptische Kamera vom Typ „fokussierte plenoptische Kamera” oder „plenoptische Kamera 2.0”. Die in 4 gezeigte plenoptische Kamera 400 zeichnet sich dadurch aus, dass das Mikrooptikarray 103 das von der Hauptlinse 401 erzeugte Zwischenbild 101 auf die Pixelarrays 109 abbildet. Im Gegensatz zu einer konventionellen plenoptischen Kamera bildet daher das Mikrooptikarray 103 das Zwischenbild 101 scharf auf die Pixelarrays 109 ab. Das Mikrooptikarray 103 betrachtet daher die Fokusebene der Hauptlinse 401, welches sich zwischen der Hauptlinse 401 und dem Mikrooptikarray 103 befindet.
Wie bereits anhand der 2 beschrieben, können bei der plenoptischen Kamera 400 eine Mehrzahl von Bildsensoren eingesetzt werden, wobei die verschiedenen Pixelarrays 109 jeweils zu einem Bildsensor gehören. Obwohl – ähnlich wie bei einem Kamera-Array – mehrere Bildsensoren eingesetzt werden können, unterscheidet sich eine derartige Anordnung signifikant von diesen. So ist bei einem Kamera-Array vor jedem Bildsensor ein einzelnes Objektiv angebracht, das in Fokus, Farbstabilität, Bildkreis, Verzeichnung und Abberationen an seine Nachbarn angepasst werden muss. Bei einem solchen Kamera-Array ist daher ein umfangreicher Aufbau- und Kalibrierprozess nötig. Ein Austausch der Objektive (etwa zur Anpassung des Gesichtsfeldes) ist nicht oder nur mit großem Aufwand möglich.
Ausführungsbeispiele der vorliegenden Erfindung schaffen damit eine plenoptische Kamera mit einem aufgeteilten oder segmentieren Bildfeld.
Bei der in 4 gezeigten plenoptischen Kamera 400 gibt es, wie bei einer konventionellen Kamera, eine Hauptlinse 401 (beispielsweise als Bestandteil eines Hauptobjektivs), die problemlos ausgetauscht werden kann. Die Bildqualität eines solchen Hauptobjektivs lässt sich besser optimieren als die von vielen kleinen Einzelobjektiven. Eine Abgleichung von Einzelobjektiven aneinander ist nicht nötig. Die Verbindung von Sensorarray und dem Mikrooptikarray 103 ist ein Mikrotechnologieprozess, der mit hoher Präzision durchgeführt werden kann und nur einmal bei der Herstellung erforderlich ist.
Die Umsetzung der Strahlablenkung durch die Mikrooptiken 107a–107n ist auf verschiedene Weise möglich. Dazu zeigt 5 drei verschiedene mögliche Implementierungen für eine Mikrooptikgruppe 105.
Die technisch eleganteste Variante ist ein Mikrolinsenarray mit dezentrierten Linsen. Dazu zeigt 5a ein Beispiel anhand von einer Mikrooptikgruppe 103 mit fünf Mikrooptiken 107a bis 107e. Aus 5a ist ersichtlich, dass die am Rand der Mikrooptikgruppe 105 angeordneten Mikrooptiken 107a, 107e einen Mittenstrahl 117a, 117e ihres einfallenden Strahlenbündels am stärksten verkippen. Ferner ist aus 5a ersichtlich, dass eine Mikrooptik 107c in der lateralen Mitte der Mikrooptikgruppe 105 keine Verkippung ihres Mittenstrahls 117c durchführt. Verkippungen der Mittenstrahlen 117b, 117d der Mikrooptiken 117b, 117d, welche zwischen der in der lateralen Mitte angeordneten Mikrooptik 107c und denen am Rand der Mikrooptikgruppe 105 angeordneten Mikrooptiken 107a, 107e angeordnet sind, sind kleiner als die Verkippung der Mittenstrahlen 117a, 117e, aber größer als die des Mittenstrahls 107c. Mit anderen Worten kann gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung jede Mikrooptik 107a bis 107n eine Mikrolinse 107a, 107n aufweisen. Dabei kann jede Mikrolinse, die nicht in der lateralen Mitte einer Mikrooptikgruppe 105 angeordnet ist, eine dezentrierte Mikrolinse sein.
Anhand der 6a und 6b soll ein Beispiel gegeben werden, wie dezentrierte sphärische Linsen hergestellt werden können. Aus diesem Beispiel wird ferner ersichtlich, wie eine dezentrierte Linse zur Ablenkung führt und warum die dezentrierten Linsen die in 5a gezeigten Formen haben (also beispielsweise dicker als zentrierte Linsen sind).
Die 6a zeigt dazu zuerst, wie zentrierte sphärische Linsen hergestellt werden können. Ausgangspunkt ist ein großer Glaskörper (Bild 1). Danach wird die Apertur festgelegt, wobei nur der in 6a gezeigte Bereich zwischen den zwei horizontalen Linien verwendet wird. Nur der gekrümmte Teil im Bereich dieser Apertur (markierter Bereich in Bild 2) ist zur Fokussierung relevant. Danach wird das überflüssige Glas entfernt (Bild 3). Die übriggebliebenen Linsen werden dann zu einem Array zusammengefügt (Bild 4).
6b zeigt nun, wie die in 5a dargestellten dezentrierten sphärischen Linsen hergestellt werden können. Dies geschieht dadurch, dass gegenüber den zentrierten sphärischen Linsen die beiden horizontalen Linien für die Apertur verschoben werden, so dass der Ausschnitt aus den Linsen nicht mehr zentriert ist. Die ausgeschnittenen Linsenteile sind so genannte dezentrierte oder Off-Axis-Linsensegmente (Bild 3). Das zusammengebaute Linsenarray hat dann eine Sägezahnform (Bild 4).
5b zeigt eine Alternative zu der Nutzung von dezentrierten Linsensegmenten für die Mikrooptiken. So kann beispielsweise jede nicht in einer lateralen Mitte einer Mikrooptikgruppe 105 angeordnete Mikrooptik 107a bis 107n einen Stapel aus einer zentrierten Mikrolinse und einem Prisma aufweisen, wobei das Prisma ausgebildet ist, um ein pixelarrayseitiges Strahlenbündel ihrer Mikrooptik bezüglich eines zwischenbildseitigen Strahlenbündels ihrer Mikrooptik zu verkippen. 5b zeigt dazu ein Beispiel einer Mikrooptikgruppe 105, welche Mikrooptiken 107a bis 107c aufweist. Jede nicht in der lateralen Mitte der Mikrooptikgruppe 105 angeordnete Mikrooptik 107a, 107c weist einen Stapel aus einer (zentrierten, pixelarrayseitigen) Mikrolinse 505a, 505c und einem vom Zwischenbild 101 aus gesehen vor der Mikrolinse 505a, 505c angeordneten (zwischenbildseitigen) Prisma 503a, 503c auf. Die Prismen 503a, 503c der beiden Mikrooptiken 107a, 107c, welche nicht in der lateralen Mitte der Mikrooptikgruppe 105 angeordnet sind, sind ausgebildet, um die pixelarrayseitigen Strahlenbündel ihrer Mikrooptiken 107a, 107c gegenüber den zwischenbildseitigen Strahlenbündeln ihrer Mikrooptiken 107a, 107c zu verkippen und zwar zu dem Teilbereich des Pixelarrays hin, auf den ihre Mikrooptik 107a, 107c den ihr zugeordneten Bereich des Zwischenbilds 101 abbildet. Die Mikrooptik 107b in der lateralen Mitte der Mikrooptikgruppe 105 benötigt kein derartiges Prisma, da hier kein Strahlenversatz durchgeführt wird. Diese Mikrooptik 107b weist daher lediglich eine (zentrierte) Mikrolinse 505b auf.
Das in 5b gezeigte Konzept hat gegenüber dem in 5a gezeigten Konzept den Vorteil, dass die Mikrolinsen 505a, 505b, 505c der Mikrooptiken 107a bis 107c als zentrierte Mikrolinsen ausgestaltet sein können.
Zusammenfassend kann daher das Mikrooptikarray 103 einen Stapel aus einem Mikrolinsenarray (mit zentrierten Mikrolinsen) und einem Prismenarray aufweisen. Das Mikrolinsenarray übernimmt dabei die Abbildung und das Prismenarray den Strahlenversatz.
Eine weitere Möglichkeit der Implementierung der Mikrooptiken 107a bis 107n ist in 5c gezeigt. Das in 5c gezeigte Prinzip basiert darauf, dass jede Mikrooptik 107a bis 107n einen Linsenstapel mit mindestens zwei hintereinander geschalteten (zentrierten) Mikrolinsen aufweist. Für jede Mikrooptik 107a bis 107n, die nicht in der lateralen Mitte einer Mikrooptikgruppe 105 angeordnet ist, ist dabei eine Projektion eines Flächenschwerpunkts einer pixelarrayseitigen Mikrolinse des Linsenstapels der Mikrooptik 107a bis 107n auf eine Ebene der Pixelarrays weiter zu einem Flächenschwerpunkt des Teilbereichs des Pixelarrays hin verschoben, auf den die Mikrooptik 107a bis 107n den ihr zugeordneten Bereich 111a bis 111n des Zwischenbilds 101 abbildet, als eine Projektion eines Flächenschwerpunkts einer zwischenbildseitigen Mikrolinse des Linsenstapels auf die Ebene der Pixelarrays 109. 5c zeigt dies beispielhaft an einer Mikrooptikgruppe 105, welche drei Mikrooptiken 107a bis 107c aufweist. Jede der Mikrooptiken 107a bis 107c weist einen Linsenstapel mit zwei hintereinander geschalteten Mikrolinsen 501a bis 501c, 505a bis 505c auf. Für die Mikrooptiken 107a, 107c, welche nicht in der lateralen Mitte der Mikrooptikgruppe 105 angeordnet sind, ist eine Projektion eines Flächenschwerpunkts der pixelarrayseitigen Mikrolinse 505a, 505c des Linsenstapels der Mikrooptik 107a, 107c auf eine Ebene der Pixelarrays 109 weiter zu einem Flächenschwerpunkt des Teilbereichs des Pixelarrays hin verschoben, auf den die Mikrooptik 107a, 107c den ihr zugeordneten Bereich des Zwischenbilds abbildet, als eine Projektion des Flächenschwerpunkts der zwischenbildseitigen Mikrolinse 501a, 501c des Linsenstapels der Mikrooptiken 107a, 107c auf die Ebene der Pixelarrays 109.
Aus 5c ist weiterhin ersichtlich, dass die Flächenschwerpunkte der Mikrolinsen 501b, 505b der Mikrooptik 107b, welche in der lateralen Mitte der Mikrooptikgruppe 105 angeordnet ist, nicht zueinander verschoben sind, da bei dieser Mikrooptik 107b auch keine Strahlumlenkung erfolgt. Ein Mikrooptikarray 103, welches auf dem in 5c gezeigten Konzept basiert, umfasst daher zwei gestapelte Linsenarrays (ein erstes Linsen- oder Mikrolinsenarray mit einer Mehrzahl von zwischenbildseitigen Mikrolinsen 501a bis 501c und ein zweites Linsen- oder Mikrolinsenarray mit einer Mehrzahl von pixelarrayseitigen Mikrolinsen 505a bis 505c) mit einer Pitchdifferenz, beispielsweise nach dem Prinzip eines Moiré-Magnifiers, wie sie auch bei einer Gabor-Superlinse zum Einsatz kommen. 5d zeigt eine weitere exemplarische Implementierung für die Mikrooptiken 107a bis 107n.
Auch bei der in 5d gezeigten Implementierung weist das Mikrooptikarray 103 zwei gestapelte Linsenarrays auf. Das in 5d gezeigte Konzept unterscheidet sich von dem in 5b gezeigten Konzept dadurch, dass die zwischenbildseitigen Prismen 501a, 501c einer Mikrooptikgruppe 105, die einem Pixelarray 109 zugeordnet sind, in einer einzigen (großen) Zwischenbildlinse 501 zusammengefasst sind. Die erste Mikrooptik 107a umfasst daher die erste pixelarrayseitige Mikrolinse 505a und einen jeweiligen Teil der Zwischenbildlinse 501, der von dem Zwischenbild 101 ausgehende Strahlen auf die erste pixelarrayseitige erste Mikrolinse 505a bündelt. Analog dazu umfasst die zweite Mikrooptik 107b die zweite pixelarrayseitige Mikrolinse 505b und den Teil der Zwischenbildlinse 501, welcher von dem Zwischenbild 101 ausgehende Strahlen auf die zweite pixelarrayseitige Mikrolinse 505b bündelt. Die dritte Mikrooptik 107c umfasst die dritte pixelarrayseitige Mikrolinse 505c und den Teil der Zwischenbildlinse 501, welcher von dem Zwischenbild 101 ausgehende Strahlen auf die dritte pixelarrayseitige Mikrolinse 505c bündelt.
Mit anderen Worten umfasst jede Mikrooptik 107a bis 107c der Mikrooptikgruppe 105 eine (pixelarrayseitige) Mikrolinse 505a bis 505c sowie einen Teil der vor den (pixelarrayseitigen) Mikrolinsen 505a bis 505c angeordneten gemeinsamen Zwischenbildlinse 501 der Mikrooptikgruppe 105.
Wie aus 5d ferner ersichtlich ist, sind die Zwischenbildlinsen 501 benachbarter Mikrooptikgruppen 105 kontinuierlich (lückenlos) in einer zweiten Linsenebene angeordnet, so dass eine lückenlose Abtastung des Zwischenbilds 101 ermöglicht wird. Im Gegensatz dazu können zwischen denen in einer ersten Linsenebene angeordneten pixelarrayseitigen Mikrolinsen 505a bis 505c benachbarter Mikrooptikgruppen 105 Lücken vorhanden sein (welche beispielsweise den Lücken zwischen benachbarten Pixelarrays 109 entsprechen).
Zusammenfassend wird durch die Zwischenbildlinsen 501 in der zweiten Linsenebene eine Strahlablenkung derart vorgenommen, dass die Lücken zwischen den benachbarten Pixelarrays 109 und auch zwischen pixelarrayseitigen Mikrolinsen 505a bis 505c benachbarter Mikrooptikgruppen 105 überbrückt werden.
Obwohl bei der in 5d gezeigten Implementierung die zweite Linsenebene der Zwischenbildlinsen 501 sich, vom Hauptobjektiv aus gesehen, hinter dem Zwischenbild 101 befindet, so kann gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung die zweite Linsenebene (und damit die Zwischenbildlinsen 501) auch direkt im Zwischenbild 101 oder, von dem Hauptobjektiv aus gesehen, vor dem Zwischenbild 101 angeordnet sein.
Ferner wird aus 5d ersichtlich, dass ein Punkt im Zwischenbild 101 mehrfach auf die Pixelarrays 109 abgebildet wird (in dem Beispiel in 5d besteht eine Multiplizität von 4 × 4).
5e zeigt die gleiche Anordnung wie in 5d mit einem Strahlengang für einen anderen Bildpunkt im Zwischenbild 101.
Zusammenfassend weist jede Mikrooptikgruppe 105 sowohl eine Mehrzahl von pixelarrayseitigen Mikrolinsen 505a bis 505c auf als auch eine Zwischenbildlinse 501, welche vom Hauptobjektiv aus gesehen vor den pixelarrayseitigen Mikrolinsen 505a bis 505c der Mikrooptikgruppe 105 angeordnet ist.
Wie aus 5d ersichtlich, sind die Pixelarrays 109 lateral weniger ausgedehnt als die zugehörigen Mikrooptikgruppen 105, wodurch einerseits die Verwendung von einzelnen Bildsensoren bzw. Pixelarrays 109 ermöglicht wird und andererseits nach wie vor eine lückenlose Abtastung des Zwischenbilds 101 ermöglicht wird.
Bei einer Vorrichtung gemäß der Implementierung in 5d weist daher jede Mikrooptikgruppe 105 eine Zwischenbildlinse 501 auf. Ferner weist jede Mikrooptik 107a bis 107n jeder Mikrooptikgruppe 105 eine (pixelarrayseitige) Mikrolinse 505a bis 505c auf, welche zwischen dem der Mikrooptikgruppe 105 zugeordneten Pixelarray 109 und der Zwischenbildlinse 501 der Mikrooptikgruppe 105 angeordnet ist.
Ferner umfasst jede Mikrooptik 107a bis 107n jeder Mikrooptikgruppe 105 ferner einen jeweiligen Teil der Zwischenbildlinse 501 ihrer Mikrooptikgruppe 105, welcher Strahlen des Zwischenbilds 101 auf die Mikrolinse 505a bis 505c der jeweiligen Mikrooptik 107a bis 107n bündelt.
Ausführungsbeispiele der vorliegenden Erfindung können in verschiedenen Kamerasystemen, beispielsweise für die folgenden Anwendungsgebiete Verwendung finden: professionelle Standbildfotographie, Medienproduktion (Fernsehen, Spielfilme), Videokonferenzsysteme, medizinische Anwendung und Robotik/Machine-Vision-Konzepte. Aus Systemsicht lässt sich das beschriebene Konzept in plenoptischen Kameras anwenden und ferner als Ersatz von Kamera-Arrays.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Focused Plenoptic Camera” von T. Georgiev [0005]

Claims

Vorrichtung (100) zur Aufnahme eines von einer Hauptlinse (401) einer plenoptischen Kamera (400) erzeugten Zwischenbilds (101) mit folgenden Merkmalen: einem Mikrooptikarray (103) mit einer Mehrzahl von Mikrooptiken (107a–107n), die in eine Mehrzahl von Mikrooptikgruppen (105) gruppiert sind; und einer Mehrzahl von beabstandet zueinander angeordneten Pixelarrays (109); wobei jede Mikrooptik (107a–107n) ausgebildet ist, um jeweils einen zugeordneten Bereich (111a-111n) des Zwischenbilds (101) auf einen Teilbereich (113a–113n) eines ihrer Mikrooptikgruppe (105) zugeordneten Pixelarrays (109) abzubilden; und wobei die Pixelarrays (109) lateral weniger ausgedehnt sind als die zugeordneten Mikrooptikgruppen (105).
Vorrichtung (100) gemäß Anspruch 1, wobei zumindest für eine an einem lateralen Rand einer Mikrooptikgruppe (105) angeordnete Mikrooptik (107a–107n) eine Projektion des Flächenschwerpunkts der Mikrooptik (107a–107n) auf eine Ebene der Pixelarrays (109) verschoben zu einem Flächenschwerpunkt des Teilbereichs (113a–113n) des Pixelarrays (109) ist, auf den die Mikrooptik (107a–107n) den ihr zugeordneten Bereich (111a–111n) des Zwischenbildes (101) abbildet, so dass der Flächenschwerpunkt des Teilbereichs (113a–113n) weiter nach innen zu einem Flächenschwerpunkt des Pixelarrays (109) verschoben ist, als die Projektion des Flächenschwerpunkts der Mikrooptik (107a–107n).
Vorrichtung (100) gemäß einem der Ansprüche 1 oder 2, wobei die Mikrooptiken (107a–107n) des Mikrooptikarrays (103) lückenlos aneinander angeordnet sind; und wobei sich jeweils zwischen zwei benachbarten Pixelarrays (109) eine Lücke befindet.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 3, ferner aufweisend: eine Mehrzahl von Pixelarrayausleseeinheiten (115), wobei jede Pixelarrayausleseeinheit (115) ausgebildet ist, um jeweils Pixelsignale eines zugeordneten Pixelarrays (109) aus der Mehrzahl von Pixelarrays (109) auszulesen; und wobei zumindest ein Teil der Pixelarrayausleseeinheiten (115) in Lücken zwischen benachbarten Pixelarrays (109) angeordnet ist.
Vorrichtung (100) gemäß Anspruch 4, wobei zumindest ein erstes Pixelarrays (109) zusammen mit einer zugeordneten ersten Pixelarrayausleseeinheit (115) auf einem ersten Substrat angeordnet ist und zumindest ein zweites Pixelarray (109) zusammen mit einer zugeordneten zweiten Pixelarrayausleseeinheit (115) auf einem zweiten, zu dem ersten Substrat verschiedenen Substrat angeordnet ist; und wobei die erste Pixelarrayausleseeinheit (115) und die zweite Pixelarrayausleseeinheit (115) mit einer gemeinsamen Steuerung (203) verbunden sind.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 5, wobei eine Breite einer Lücke zwischen zwei benachbarten Pixelarrays (109) mindestens das 10-fache des Mittenabstandes zweier benachbarter Pixel eines der Pixelarrays (109) beträgt.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 6, wobei zumindest die nicht in einer lateralen Mitte einer Mikrooptikgruppe (105) angeordneten Mikrooptiken (107a–107n) ausgebildet sind, um jeweils ein pixelarrayseitiges Strahlenbündel der Mikrooptik (107a–107n) gegenüber einem zwischenbildseitigen Strahlenbündel der Mikrooptik (107a–107n) zu dem Teilbereich (113a–113n) hin, auf den die Mikrooptik (107a–107n) ihren zugeordneten Bereich (111a–111n) des Zwischenbilds (101) abbildet, zu verkippen.
Vorrichtung (100) gemäß Anspruch 7, wobei die Mikrooptiken (107a–107n) jeweils derart ausgebildet sind, dass ein Mittenstrahl (117a–117n) des pixelarrayseitigen Strahlenbündels jeder Mikrooptik (107a–107n) auf den Flächenschwerpunkt des Teilbereichs (113a–113n), auf den die Mikrooptik (107a–107n) ihren zugeordneten Bereich (111a–111n) des Zwischenbildes (101) abbildet, trifft.
Vorrichtung (100) gemäß einem der Ansprüche 7 bis 8, wobei für verschiedene Mikrooptiken (107a–107n) eine Verkippung des zwischenbildseitigen Strahlenbündels zu dem pixelarrayseitigen Strahlenbündel der Mikrooptik (107a–107n) mit einem wachsenden Abstand der Mikrooptiken (107a–107n) zu der lateralen Mitte ihrer Mikrooptikgruppe (105) hin zunimmt derart, dass eine Verkippung zwischen einem zwischenbildseitigen Strahlenbündel einer ersten Mikrooptik (107a–107n) und einem pixelarrayseitigen Strahlenbündel der ersten Mikrooptik (107a–107n) größer ist als eine Verkippung zwischen einem zwischenbildseitigen Strahlenbündel einer zweiten Mikrooptik (107a–107n) und einem pixelarrayseitigen Strahlenbündel der zweiten Mikrooptik (107a–107n); wobei die erste Mikrooptik (107a–107n) und die zweite Mikrooptik (107a–107n) in derselben ersten Mikrooptikgruppe (105) gruppiert sind und; wobei ein Abstand der ersten Mikrooptik (107a–107n) von einer lateralen Mitte der ersten Mikrooptikgruppe (105) größer ist als ein Abstand der zweiten Mikrooptik (107a–107n) von der lateralen Mitte der ersten Mikrooptikgruppe (105).
Vorrichtung (100) gemäß einem der Ansprüche 7 bis 9, wobei Mikrooptiken (107a–107n), welche sich in einer lateralen Mitte ihrer Mikrooptikgruppe (105) befinden, derart ausgebildet sind, dass ihr zwischenbildseitiges Strahlenbündel nicht verkippt zu ihrem pixelarrayseitigen Strahlenbündel ist.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 10, wobei jede Mikrooptik (107a–107n) eine Mikrolinse (107a–107n) aufweist; und wobei zumindest die Mikrolinsen (107a, 107b, 107d, 107e), die nicht in der lateralen Mitte einer Mikrooptikgruppe (105) angeordnet sind, dezentrierte Mikrolinsen (107a, 107b, 107d, 107e) sind.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 10, wobei jede nicht in der lateralen Mitte einer Mikrooptikgruppe (105) angeordnete Mikrooptik (107a, 107c) ein Paar aus einer Mikrolinse (505a, 505c) und einem, zwischen dem Zwischenbild (101) und der Mikrolinse (505a, 505c) der Mikrooptik (107a, 107c)) angeordnetem Prisma (503a, 503c) aufweist, wobei die Mikrolinsen (505a, 505c) zentrierte Mikrolinsen (505a, 505c) sind und wobei jedes Prisma (503a, 503c) ausgebildet ist, um ein pixelarrayseitiges Strahlenbündel seiner jeweiligen Mikrooptik (107a, 107c) bezüglich einem zwischenbildseitigen Strahlenbündel seiner jeweiligen Mikrooptik (107a, 107c) zu verkippen.
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 10, wobei jede Mikrooptik (107a–107n) einen Linsenstapel mit mindestens zwei hintereinander geschalteten Mikrolinsen (501a–501c; 505a–505c) aufweist; und wobei zumindest für jede Mikrooptik (107a, 107c), die nicht in der lateralen Mitte einer Mikrooptikgruppe (105) angeordnet ist, eine Projektion eines Flächenschwerpunkts einer pixelarrayseitigen Mikrolinse (505a, 505c) des Linsenstapels der Mikrooptik (107a, 107c) auf eine Ebene der Pixelarrays (109) weiter zu einem Flächenschwerpunkt des Teilbereichs des Pixelarrays (109) hin verschoben ist, auf den die Mikrooptik (107a, 107c) den ihr zugeordneten Bereich des Zwischenbilds (101) abbildet, als eine Projektion eines Flächenschwerpunkts einer zwischenbildseitigen Mikrolinse (501a, 501c) des Linsenstapels auf die Ebene der Pixelarrays (109).
Vorrichtung (100) gemäß einem der Ansprüche 1 bis 10, wobei jede Mikrooptikgruppe (105) eine Zwischenbildlinse (501) umfasst; wobei jede Mikrooptik (107a–107n) jeder Mikrooptikgruppe (105) ferner eine Mikrolinse (505a–505c) aufweist, welche zwischen dem der Mikrooptikgruppe (105) zugeordneten Pixelarray (109) und der Zwischenbildlinse (501) der Mikrooptikgruppe (105) angeordnet ist; und wobei jede Mikrooptik (107a–107n) jeder Mikrooptikgruppe (105) ferner einen jeweiligen Teil der Zwischenbildlinse (501) ihrer Mikrooptikgruppe (105) umfasst, welcher Stahlen des Zwischenbilds (101) auf die Mikrolinse (505a–505c) der jeweiligen Mikrooptik (107a–107n) bündelt.
Plenoptische Kamera (400) mit folgenden Merkmalen: einer Vorrichtung (100) gemäß einem der Ansprüche 1–14; und einer Hauptlinse (401) zur Erzeugung des Zwischenbilds (101).
Plenoptische Kamera (400) gemäß Anspruch 15, wobei die plenoptische Kamera (400) vom Typ fokussierte plenoptische Kamera (400) ist.