DE102012005152A1

DE102012005152A1 - Bildaufnahmevorrichtung und bildaufnahmeoptik

Info

Publication number: DE102012005152A1
Application number: DE102012005152A
Authority: DE
Inventors: Norihito Hiasa; Koshi Hatakeyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-03-10
Filing date: 2012-03-06
Publication date: 2012-09-13
Anticipated expiration: 2032-03-07
Also published as: US8514318B2; US20120229691A1; CN102685378B; GB2488905A; JP2012191376A; CN102685378A; GB201204130D0; GB2488905B; DE102012005152B4; JP5623313B2

Abstract

Eine Bildaufnahmevorrichtung (301) enthält ein Bildaufnahmeelement (103), eine Objektiveinheit (101), konfiguriert zum Sammeln eines von einem Objekt (201) kommenden Lichtstrahls in einer bildseitigen konjugierten Ebene (202), und ein Linsenarray (102), welches eine Mehrzahl von Linsenzellen enthält und derart angeordnet ist, dass die bildseitige konjugierte Ebene (202) und das Bildaufnahmeelement (103) zueinander konjugiert sind, und das Linsenarray (102) derart gelegen ist, dass es eine vorbestimmte Bedingung erfüllt.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildaufnahmevorrichtung mit einem Linsenarray, und eine Bildaufnahmeoptik.
Beschreibung des Standes der Technik
In jüngerer Zeit wurde in Verbindung mit einer Bildaufnahmevorrichtung vorgeschlagen, Berechnungen unter Zugrundelegung von Daten vorzunehmen, die von einem Bildaufnahmeelement erhalten werden, und eine digitale Bildverarbeitung nach Maßgabe der Daten zum Ausgeben verschiedener Arten von Bildern auszuführen. In der Literatur, Todor Georgiev, et al., „Full Resolution Light Field Rendering", Adobe Technical Report January 2008, und Todor Georgiev, et al., „Superresolution with Plenoptic 2.0 Camera", 2009 Optical Society of America ist eine „Plenoptic 2.0 Camera" dargestellt, die gleichzeitig eine zweidimensionale Lichtintensitätsverteilung und Parallaxeninformation in einer Objektebene (zusammen: „Lichtfeld”) unter Nutzung der „Lichtfeldphotographie” aufnimmt. Bei derartigen Bildaufnahmevorrichtungen lässt sich eine Fokusposition eines Bilds, eine Tiefenschärfe oder dergleichen dadurch ändern, dass man ein Lichtfeld aufnimmt und anschließend nach Aufnahme des Bilds eine Bildverarbeitung durchführt.
Allerdings benötigt die Bildaufnahmevorrichtung die Verwendung eines Pixels des Bildaufnahmeelements zum Speichern der Parallaxeninformation zusätzlich zu dem Speichern der zweidimensionalen Lichtintensitätsverteilung. Aus diesem Grund verschlechtert sich die räumliche Auflösung im Vergleich zu einer Bildaufnahmevorrichtung, die lediglich die zweidimensionale Lichtintensitätsverteilung speichert. Eine Konfiguration, in der ein gewisser Punkt einer Bildebene, die durch eine Hauptobjektiveinheit gebildet wird, wird von jeder Linse (diese wird auch als „Mikrolinse” bezeichnet) eines Linsenarrays an einer unterschiedlichen Pixelstelle abgebildet, wie dies in der Literatur, Todor Georgiev, et al., „Superresolution with Plenoptic 2.0 Camera", 2009 Optical Society of America, dargestellt ist. Mehrere auf diese Weise gewonnene kleine Bilder werden rekonstruiert, um ein hochauflösendes rekonstruiertes Bild zu gewinnen. Dieses Verfahren zum Gewinnen eines hochauflösenden Bilds wird auch als „Pixelshift-Effekt”, also Effekt der Pixelverschiebung, bezeichnet.
Allerdings ist in der Literatur, Todor Georgiev et al., „Superresolution with Plenoptic 2.0 Camera", 2009 Optical Society of America nicht die spezifische Konfiguration offenbart, die benötigt wird, um hohe Auflösung zu erreichen.
OFFENBARUNG DER ERFINDUNG
Die vorliegende Erfindung schafft eine Bildaufnahmevorrichtung und eine Bildaufnahmeoptik, die in der Lage sind, ein hochauflösendes Lichtfeld mit einem einfachen Aufbau zu erreichen.
Gemäß einem ersten Aspekt der Erfindung wird eine Bildaufnahmevorrichtung geschaffen, umfassend ein Bildaufnahmeelement, eine Objektiveinheit, die konfiguriert ist zum Sammeln eines Lichtstrahls von einem Objekt in einer bildseitigen konjugierten Ebene, und ein Linsenarray, welches eine Mehrzahl von Linsenzellen enthält und derart angeordnet ist, dass die bildseitige konjugierte Ebene und das Bildaufnahmeelement zueinander konjugiert sind, wobei das Linsenarray derart angeordnet ist, dass es einem vorbestimmten Bedingungsausdruck genügt.
Gemäß einem zweiten Aspekt der Erfindung wird eine Bildaufnahmeoptik geschaffen, die einen Lichtstrahl von einem Objekt in einem Bildaufnahmeelement sammelt und umfasst: eine Objektiveinheit, konfiguriert zum Sammeln des von dem Objekt kommenden Lichtstrahls in einer bildseitigen konjugierten Ebene, und ein Linsenarray, welches eine Mehrzahl von Linsenzellen enthält und derart angeordnet ist, dass die bildseitige konjugierte Ebene und das Bildaufnahmeelement zueinander konjugiert sind, und das Linsenarray derart angeordnet ist, dass es einen vorbestimmten Bedingungsausdruck erfüllt.
Weitere Merkmale und Aspekte der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die begleitenden Zeichnungen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein schematisches Konfigurationsdiagramm der Bildaufnahmeoptik von Ausführungsformen 1, 3 und 4.
2 ist ein schematisches Konfigurationsdiagramm der Bildaufnahmeoptik der Ausführungsform 2.
3 ist ein Blockdiagramm einer Bildaufnahmevorrichtung in jeder der vorliegenden Ausführungsformen.
4A bis 4C sind Diagramme, die einen Pixelshift-Effekt in jeder der vorliegenden Ausführungsformen erläutern.
5 ist ein Diagramm zum Beschreiben einer Anordnung der Bildaufnahmeoptik in jeder der vorliegenden Ausführungsformen.
6A und 6B sind Diagramme zum Beschreiben eines Bilds auf einem Bildaufnahmeelement der vorliegenden Ausführungsform.
7 ist ein Diagramm, welches einen Pixelverschiebungsbetrag bezüglich einer Distanz σ₁ angibt.
8 ist ein Diagramm, welches ein Verhältnis der Pixelverschiebung bezüglich der Distanz σ₁ angibt.
9 ist Diagramm, welche die Überlappungszahl kleiner Linsen in jeder der vorliegenden Ausführungsformen beschreibt.
10 ist ein Diagramm zum Erläutern einer räumlichen Auflösung einschließlich des Pixelshift-Effekts bei jeder der vorliegenden Ausführungsformen.
11 ist ein Diagramm, welches eine Beziehung zwischen der Distanz σ₁ und einem räumlichen Auflösungsverhältnis angibt.
12 ist ein Querschnittsdiagramm der Bildaufnahmeoptik der Ausführungsform 1.
13 ist ein Querschnittsdiagramm der Bildaufnahmeoptik der Ausführungsform 2.
14 ist ein Querschnittsdiagramm der Bildaufnahmeoptik der Ausführungsformen 3 und 4.
15 ist ein Konfigurationsdiagramm des Bildverarbeitungssystems der Ausführungsform 4.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Ausführungsformen der vorliegenden Erfindung werden im folgenden anhand der begleitenden Zeichnungen erläutert. In jeder der Zeichnungen sind gleiche Elemente mit gleichen Bezugszeichen versehen, und von wiederholten Beschreibungen wird abgesehen. Jede der Ausführungsformen der vorliegenden Erfindung, die im folgenden beschrieben werden, lässt sich allein implementieren oder in Form einer Kombination aus mehreren Ausführungsformen oder deren Merkmalen, wo nötig oder wo die Kombination von Elementen oder Merkmalen aus individuellen Ausführungsformen zu einer einzelnen Ausführungsform vorteilhaft ist.
Die Bildaufnahmevorrichtung der vorliegenden Ausführungsform ist derart konfiguriert, dass unter Verwendung eines Linsenarrays ein Lichtfeld gewonnen wird, wobei das Linsenarray an einer geeigneten Stelle angeordnet ist, um eine effiziente hohe Auflösung zu erreichen. Zunächst wird anhand der 1 und 2 eine schematische Konfiguration der Bildaufnahmevorrichtung beschrieben (sowie einer Bildaufnahmeoptik, die konfiguriert ist unter Ausschluss eines Bildaufnahmeelements von der Bildaufnahmevorrichtung). 1 ist ein schematisches Konfigurationsdiagramm einer Bildaufnahmeoptik der im folgenden beschriebenen Ausführungsformen 1, 3 und 4, und 2 ist ein schematisches Konfigurationsdiagramm der Bildaufnahmeoptik der im folgenden beschriebenen Ausführungsform 2.
Wie in den 1 und 2 dargestellt ist, besitzt die Bildaufnahmeoptik eine Hauptobjektiveinheit 101 (ein optisches System), das mit einer (nicht dargestellten) Aperturblende ausgestattet ist. In 2 sind ein Linsenarray 102 und ein Bildaufnahmeelement 103 auf einer Rückseite (der Bildseite) einer Bildebene angeordnet, das heißt einer bildseitigen konjugierten Ebene 202 der Linseneinheit 101 bezüglich einer Objektebne 201. Das Linsenarray 102 ist derart angeordnet, dass die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101 und das Bildaufnahmeelement 103 einem Paar konjugierter Ebenen des Linsenarrays 102 entsprechen.
Ein Lichtstrahl von der Objektebene 201 tritt über die Hauptobjektiveinheit 101 und das Linsenarray 102 in das Bildaufnahmeelement 103 ein. In diesem Fall wird von der Hauptobjektiveinheit 101 ein reelles Bild erzeugt, das heißt, das Bild wird erzeugt durch eine Lichtsammelfunktion, wird von dem Linsenarray 102 umgeformt und tritt ein in eine Mehrzahl verschiedener Pixel des Bildaufnahmeelements 103 abhängig von einer Stelle und einem Winkel des Lichtstrahls in der Objektebene 201. Im Ergebnis erhält das Bildaufnahmeelement 103 ein Bild, welches konfiguriert ist durch eine Mehrzahl kleiner Bilder mit unterschiedlichen Abbildungs-Blickwinkeln und Abbildungsbereichen. Andererseits befindet sich gemäß 1 das Linsenarray 102 auf einer Vorderseite der Hauptobjektiveinheit 101 bezüglich der Bildebene, das heißt auf der Objektseite einer bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 bezüglich der Objektebene 201, um das Lichtfeld zu erhalten. In jedem Fall jedoch wird das Bild der Hauptobjektiveinheit 101 bezüglich der Objektebene 201 von dem Linsenarray als ein auf dem Bildaufnahmeelement 103 zu erzeugendes Objekt gesehen, so dass diese Fälle im wesentlichen gleich sind.
Als nächstes wird unter Bezugnahme auf 3 eine Konfiguration der Bildaufnahmevorrichtung dieser Ausführungsform erläutert. 3 ist ein Blockdiagramm der Bildaufnahmevorrichtung dieser Ausführungsform. Das Bildaufnahmeelement 103 ist ein zweidimensionales Bildaufnahmeelement wie zum Beispiel ein CCD-Bauelement (Charge Coupled Device) oder ein CMOS-Bauelement (Complementary Metal-Oxide Semiconductor). Die Energie des Lichtstrahls, der über die Hauptobjektiveinheit 101 und das Linsenarray 102 in das Bildaufnahmeelement 103 gelangt, wird in ein elektrisches (analoges) Signal umgewandelt, um von einem A/D-Wandler 104 in ein digitales Signal umgesetzt zu werden. Es erfolgt eine vorbestimmte Verarbeitung bezüglich dieses digitalen Signals durch einen Bildprozessor 105, und das digitale Signal wird in einem vorbestimmten Format in einem Bildaufzeichnungsträger 110, zum Beispiel einem Halbleiterspeicher, gespeichert. In diesem Fall wird gleichzeitig eine Bildaufnahmebedingungs-Information der Bildaufnahmevorrichtung, die von einem Zustandsdetektor 108 ermittelt wird, gespeichert. Diese Bildaufnahmebedingungs-Information ist zum Beispiel eine Objektentfernung, ein Blendenwert oder eine Brennweite eines Zoomobjektivs. Der Zustandsdetektor 108 kann direkt die Bildaufnahmebedingungs-Information von einer Systemsteuerung 111 erhalten, oder alternativ kann er die Information auch von einer Optiksteuerung 107 bezüglich der Bildaufnahmeoptik erhalten.
Wenn das auf dem Bildaufzeichnungsträger 110 gespeicherte Bild auf einem Display 106 dargestellt wird, erfolgt eine Rekonstruktionsverarbeitung durch den Bildprozessor 105 auf der Grundlage der Bildaufnahmebedingungs-Information. Im Ergebnis wird auf dem Display 106 ein rekonstruiertes Bild mit einem gewünschten Blickpunkt, einer gewünschten Fokusposition oder einer gewünschten Tiefenschärfe dargestellt. Zur Beschleunigung der Verarbeitung können vorab in der Speichereinheit 109 zur direkten Darstellung des rekonstruierten Bilds ohne Involvierung des Bildaufzeichnungsträgers 110 auch gewünschte Bildeinstellungen gespeichert werden, so beispielsweise ein Blickwinkel, ein Fokus oder eine Tiefenschärfe. Außerdem kann das auf dem Bildaufzeichnungsträger 110 aufgezeichnete Bild auch selbst ein rekonstruiertes Bild sein. Die Folge von Steuervorgängen, die oben angegeben wurden, wird ausgeführt seitens der Systemsteuerung 111, wobei ein mechanischer Antrieb der Bildaufnahmeoptik unter Steuerung durch die Optiksteuerung 107 nach Maßgabe eines Befehls seitens der Systemsteuerung 111 ausgeführt wird.
Im folgenden wird eine geeignete Stellung des Linsenarrays 102 erläutert. Zunächst wird die Verschlechterung der Auflösung entsprechend dem Erhalt des Lichtfels beschrieben, und danach wird eine optimale Bedingung zum Gewinnen hoher Auflösung durch den Pixelshift-Effekt ermittelt. Eine Bedingung, die eine Empfindlichkeit der Anordnung des Linsenarrays 102 für den Pixelshift-Effekt unterdrückt, wird ebenfalls beschrieben. Zum einfachen Verständnis erfolgt die nachfolgende Berechnung für eine eindimensionale Anordnung. Die gleiche gilt für eine zweidimensionale Anordnung.
Zunächst wird anhand der 4A bis 4C die Beeinträchtigung der Auflösung der Bildaufnahmeoptik erläutert, die das Lichtfeld gewinnt. 4A bis 4C sind Diagramme, die den Pixelshift-Effekt der vorliegenden Ausführungsform beschreiben, die als Auszug eines Teils der 2 dargestellt wird. Gestrichelte Linien in 4A bis 4C bedeuten Bildfeldwinkel in Bezug auf jede kleine Linse, das heißt in Bezug auf eine Linsenzelle des Linsenarrays 102. In einer herkömmlichen Bildaufnahmeoptik, die lediglich eine zweidimensionale Lichtintensitätsverteilung ermittelt, befindet sich ein Bildaufnahmeelement in einer bildseitigen konjugierten Ebene eines Hauptobjektivs bezüglich einer Objektebene zur Aufnahme eines Bilds. In diesem Fall gleicht die Auflösung des Bilds der Anzahl von Pixeln in dem Bildaufnahmeelement. Andererseits wird in der Bildaufnahmevorrichtung der vorliegenden Ausführungsform, die das Lichtfeld ermittelt, die Auflösung im Vergleich zu der Anzahl von Pixeln des Bildaufnahmeelements verschlechtert.
4B ist ein Diagramm der Projektion einer Bildaufnahmeebene, das heißt der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 mit Bezug auf die Objektebene 201 unter der Bedingung, dass lediglich die zweidimensionale Lichtintensitätsverteilung der Pixel in 4A erhalten wird. In der in 2 dargestellten Bildaufnahmeoptik wird die Auflösung, die bei Aufnahme eines Bilds mit einem durch die Projektion vergrößerten Pixel-Mittenabstand erreicht wird, vorgegeben. Die räumliche Auflösung ist in diesem Fall ein Wert, der erhalten wird durch die Vergrößerung |σ₂/σ₁| des Linsenarrays 102 unter Bezug auf das ursprüngliche Bildaufnahmeelement 103 (der Betrag seines Quadrats in einer zweidimensionalen Verteilung). Bei der Ausführungsform bezeichnet das Symbol σ₁ einen Abstand von einer objektseitigen Hauptebene des Linsenarrays 102 zu der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 in Bezug auf die Objektebene 201, und das Symbol σ₂ bezeichnet einen Abstand von der bildseitigen Hauptebene des Linsenarrays 102 zu dem Bildaufnahmeelement 103. Um einen Abbildungs-Feldwinkel zu garantieren, der äquivalent ist zu der herkömmlichen Bildaufnahmeoptik, die die zweidimensionale Lichtintensitätsverteilung mit demselben Bildaufnahmeelement 103 abbildet, muss das Linsenarray 102 ein Verkleinerungssystem sein. Wenn ein Bildaufnahmeelement, welches dem Bildaufnahmeelement 103 äquivalent ist, als Linsenarray in einem Vergrößerungssystem verwendet wird, nimmt Information sowohl der Stelle als auch des Bildfeldwinkels im Vergleich zu der herkömmlichen Bildaufnahmeoptik zu. Deshalb reicht die Anzahl der Pixel nicht aus, und ein Abbildungsbereich wird im Vergleich zu der herkömmlichen Bildaufnahmeoptik verkleinert. Da bei der vorliegenden Ausführungsform das Linsenarray 102 ein verkleinerndes System ist, ist die Bedingung |σ₁/σ₂| > 1 erfüllt, und die Auflösung des Bilds wird im Vergleich zu der Anzahl von Pixeln des Bildaufnahmeelements verringert.
Als nächstes wird die Verbesserung der räumlichen Auflösung durch den Pixelshift-Effekt beschrieben. Wie in 4A dargestellt ist, ist der Bildfeldwinkel bei Betrachtung von jeder kleinen Linse des Linsenarrays 102 aus in der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 in Bezug auf die Objektebene überlappt. Die Anzahl der kleinen Linsen, in denen der Bildfeldwinkel überlappt ist, wird als Überlappungszahl der kleinen Linse bezeichnet. In 4A projizieren drei kleine Linsen einen Teil einer Fläche der bildseitigen konjugierten Ebene 202, und die Überlappungszahl der kleinen Linsen beträgt drei.
4B ist ein Diagramm, welches erhalten wird durch Projizieren eines Pixelsatzes des Bildaufnahmeelements 103 entsprechend jeder kleinen Linse auf die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101. Wie in 4B dargestellt ist, können, wenn jedes der Projektionspixel verschoben wird, diese zusammengesetzt werden, um die scheinbare Pixelgröße zu verkleinern und ein hochauflösendes rekonstruiertes Bild zu erhalten.
In anderen Worten: es muss lediglich das Linsenarray 102 derart angeordnet werden, dass ein auf die bildseitige konjugierte Ebene 202 projiziertes Pixel verschoben wird um eine Länge, die verschieden ist von einem ganzzahligen Vielfachen des Mittenabstands der von benachbarten Linsenzellen projizierten Pixel. Damit lässt sich ein hochauflösendes Bild erhalten. In anderen Worten: Pixelsätze, die von benachbarten Linsenzellen projiziert werden, werden als erster Projektionspixelsatz und zweiter Projektionspixelsatz bezeichnet. In diesem Fall braucht das Linsenarray 102 lediglich so angeordnet zu werden, dass Projektionsstellen von Pixeln, die den ersten Projektionspixelsatz und den zweiten Projektionspixelsatz bilden, nicht miteinander übereinstimmen. Anders ausgedrückt: das Linsenarray 102 braucht lediglich derart angeordnet zu werden, dass es kein Pixel gibt, das auf die gleiche Stelle von Pixeln projiziert wird, die durch das benachbarte Linsenarray projiziert werden.
Wenn hingegen die Projektionspixel zusammenfallen, wie dies in 4C dargestellt ist, kann der Pixelshift-Effekt nicht erreicht werden, und dementsprechend kann die Auflösung nicht verbessert werden. Die höchste Auflösung kann man dann durch den Pixelshift-Effekt erreichen, wenn ein Verhältnis der Pixelverschiebung der Überlappungszahl der kleinen Linsen entspricht. Insbesondere betrifft in den 4A bis 4C die Überlappungszahl drei, und daher lässt sich die Höchstauflösung dann erreichen, wenn das Verhältnis des Pixelshifts 1/3 oder 2/3 beträgt. Die Einzelheiten der Beziehung zwischen dem Verhältnis der Pixelverschiebung und der Überlappungszahl der kleinen Linsen wird unten noch erläutert.
Im folgenden wird die Beziehung zwischen dem Abstand σ₁ und dem Verhältnis des Pixelshifts erläutert. Ein relativer Pixelshift-Betrag benachbarter kleiner Linsen wird dargestellt durch ein Verhältnis |Δ_LAσ₂/(Δσ₁)|, welches gewonnen wird durch Dividieren eines Mittenabstands Δ_LA des Linsenarrays 102 durch einen Mittenabstand des Pixels, das auf die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101 projiziert wird. Bei dieser Ausführungsform bezeichnet das Symbol Δ einen Pixel-Mittenabstand des Bildaufnahmeelements 103. Um das Verhalten des Pixelshift-Betrags bezüglich der Anordnung des Linsenarrays zu erkennen, soll im folgenden anhand der 5 eine Bedingung erläutert werden, die für σ₁ und σ₂ erfüllt sein müssen.
5 zeigt eine detaillierte Konfiguration der 1, wobei eine ähnliche Beziehung bezüglich der Konfiguration nach 2 erfüllt ist. Das Symbol F in 5 bezeichnet eine F-Zahl der Hauptobjektiveinheit 101, und das Symbol P_ex bezeichnet einen Abstand zwischen einer Austrittspupille (einer achsenparallelen Austrittspupille) der Hauptobjektiveinheit 101 und der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101. Das Symbol N ist eine positive ganze Zahl, welche die Teilungszahl einer Pupillenebene der Hauptobjektiveinheit 101 repräsentiert. Das Symbol P_ex/(NF) bezeichnet eine Abtastschrittweite der Winkelinformation, die von dem Bildaufnahmeelement 103 erhalten wird. Wie in 5 zu erkennen ist, erfüllt die Beziehung zwischen Δ_LA und σ₁ den folgenden Ausdruck (1):
Bei dieser Ausführungsform bezeichnet das Symbol σ₁ einen positiven Wert, wenn die objektseitige Hauptebene des Linsenarrays 102 sich auf einer Vorderseite, das heißt einer Objektseite der bildseitigen konjugierten Ebene 202 befindet, andererseits bedeutet das Symbol einen negativen Wert, wenn die objektseitige Hauptebene sich auf einer hinteren, das heißt einer Bildseite der bildseitigen konjugierten Ebene 202 befindet. Eine strichpunktierte Linie in 5 verbindet als gerade Linie ein Zentrum der kleinen Linse des Linsenarrays 102 und eine Kante des Pixelsatzes entsprechend der kleinen Linse, wobei ein Abstand zwischen einem Schnittpunkt dieser geraden Linie auf der Pupillenebene und einem Pupillenzentrum durch folgenden Ausdruck (2) gegeben ist:
Bei dieser Ausführungsform bezeichnet l_r einen Parameter, der für ein Maß einer Totzone und ein Übersprechen auf dem Bildaufnahmeelement steht. Bezugnehmend auf die 6A und 6B werden die Totzone und das Übersprechen erläutert.
6A veranschaulicht einen Zustand eines Bilds auf dem Bildaufnahmeelement 103 für den Fall, dass ein Wert l_r negativ ist. Weiße Zonen bedeuten Zonen, auf die ein Lichtstrahl trifft, eine graue Zone wird als Totzone bezeichnet und ist eine Zone, auf die der Lichtstrahl nicht trifft. Wenn der Wert von l_r abnimmt, erweitert sich die Totzone. Da dies bedeutet, dass die Anzahl der Pixel, die keine Information empfangen, zunimmt, ist es bevorzugt, die Totzone zu minimieren. Demgegenüber veranschaulicht 6B einen Zustand eines Bilds auf dem Bildaufnahmeelement 103 für den Fall, dass der Wert l_r positiv ist. Bilder, die über verschiedene kleine Linsen erzeugt werden, sind einander überlappt. Innerhalb der Überlappungszone gelangen die Lichtstrahlen, die unterschiedliche Positionen und Winkel auf der Objektebene 201 haben, in dasselbe Pixel, und dieses Phänomen wird als Übersprechen bezeichnet. Wenn der Wert von l_r zunimmt, erweitert sich die Zone des Übersprechens. Da das Pixel, in dem es zu Übersprechen kommt, das Lichtfeld nicht gewinnen kann, lässt sich kein exaktes Bild erzeugen, wenn das Pixel für die Rekonstruktion verwendet wird.
Wenn das Pixel, in welchem es zu Übersprechen kommt, nicht für die Rekonstruktion des Bilds verwendet wird, nimmt die Anzahl von nicht verwendbaren Pixeln zu, wenn die Zone des Übersprechens groß ist. Aus diesem Grund ist es bevorzugt, dass die Zone mit Übersprechen minimiert wird. Wenn der Wert von l_r Null ist, werden das Entstehen der Totzone und das Entstehen von Übersprechen minimiert. Allerdings lässt sich in einem realen System aufgrund des Einflusses einer Verschiebung der besten Fokusstelle aufgrund von Aberrationen, Vignettierung der Hauptobjektiveinheit 101, Lichtabschwächung in Randbereichen oder dergleichen die Entstehung der Totzone oder des Übersprechens auch dann unterdrücken, wenn der Wert von l_r etwas gegenüber Null verschoben ist.
Basierend auf 5 und dem Ausdruck (2) ist der folgende Ausdruck (3) erfüllt:
Anhand der Ausdrücke (1) und (3) ergibt sich der relative Pixelshift-Betrag der benachbarten kleinen Linsen durch folgenden Ausdruck (4):
Bei dem Ausdruck (4) handelt es sich um einen Ausdruck, der ein Verhalten des relativen Pixelshift-Betrags der benachbarten kleinen Linsen bezüglich der Distanz σ₁ repräsentiert.
Als nächstes wird eine Empfindlichkeit der Distanz σ₁ bezüglich des Pixelshift-Effekts beschrieben. Die nachfolgende Beschreibung zeigt ein Beispiel für die in 1 dargestellte Konfiguration, es gilt jedoch das gleiche für die Konfiguration nach 2. Bezugnehmend auf den Ausdruck (4) wird der Pixelshift-Betrag bezüglich der Distanz σ₁ in 7 dargestellt. Rautenförmige Punkte in 7 bedeuten Lösungen, bei denen die Anzahl von Pixeln des Pixelsatzes entsprechend den kleinen Linsen ganzzahlig ist. Bei von diesen Lösungen abweichenden Werten von σ₁ kommt es zu dem oben beschriebenen Übersprechen. Wenn allerdings eine Wandfläche an dem Bildaufnahmeelement 103 vorgesehen ist, so dass der Lichtstrahl von einer anderen kleinen Linse nicht in den einer gewissen kleinen Linse entsprechenden Pixelsatz gelangt, lässt sich das Übersprechen auch dann unterdrücken, wenn die Anzahl der Pixelsätze entsprechend den kleinen Linsen keine ganze Zahl ist. Da die Verschiebung des ganzzahligen Vielfachen der Pixel gemäß 4C bedeutungslos ist, lässt sich ein ganzzahliger Teil im Ausdruck (4) ignorieren. Aus diesem Grund wird ein Verhältnis der Pixelverschiebung gemäß folgendem Ausdruck (5) dargestellt:
Im Ausdruck (5) bedeutet z = mod(x, y), das ein Wert von z gleich ist dem Teilerest, wenn man x durch y dividiert.
8 ist ein Diagramm, welches das Verhältnis δ des Pixelshifts bezüglich der Distanz σ₁ veranschaulicht, welcher durch den Ausdruck (5) erhalten wird, wenn ein vorbestimmter Parameter verwendet wird. Der in 8 zugrunde gelegte Parameter ist ein Parameter der unten beschriebenen Ausführungsform 3. Im Idealfall wird bevorzugt, dass das Linsenarray 102 sich an einer Stelle mit einem Abstand σ₁ befindet, an der das Verhältnis des Plxelshifts erhalten wird, der die höchste Auflösung kennzeichnet. In einem realen System allerdings ist in der Anordnung des Linsenarrays 102 ein Fehler enthalten, und durch diesen Fehler verringert sich der Effekt des Pixelshifts. Aus diesem Grund ist es bevorzugt, dass das Linsenarray 102 sich an einer Stelle für die Distanz σ₁ befindet, bei der der Effekt des Pixelshifts sich auch bei Entstehung des Fehlers nicht so leicht ändert. Bezugnehmend auf den Ausdruck (4) und 7 lässt sich das Verhältnis des Pixelshifts darstellen durch eine quadratische Funktion in Abhängigkeit von der Distanz σ₁. Daher lässt sich eine Verschlechterung des Pixelshift-Effekts aufgrund des Fehlers der Distanz σ₁ unterdrücken, indem man einen Bereich an den beiden Enden des Graphen in 7, wo die Neigung steil ist, vermeidet. Eine Bedingung, unter der die Empfindlichkeit der Distanz σ₁ unterdrückt wird, und bei der eine hohe Auflösung in einfacher Weise erreicht ist, lässt sich daraus ableiten.
Bei der vorliegenden Ausführungsform erfüllt die Stelle, an der das Linsenarray 102 angeordnet ist, den folgenden Bedingungsausdruck (6):
In der Bildaufnahmevorrichtung mit der in 1 und 2 dargestellten Konfiguration lässt sich das hochauflösende Bild erhalten, wenn der Bedingungsausdruck (6) erfüllt ist. Ist der Wert von |σ₁/P_ex| größer als die Obergrenze oder kleiner als die Untergrenze des Bedingungsausdrucks (6), tritt leicht die Verschlechterung der Auflösung aufgrund des Fehlers in der Distanz σ₁ in Erscheinung.
Es ist bevorzugt, wenn der Bereich des folgenden Bedingungsausdrucks (6a) erfüllt ist, um die Empfindlichkeit der Distanz σ₁ zu unterdrücken und dadurch die hohe Auflösung zu erzielen:
Noch mehr bevorzugt ist es, dass der Bereich des folgenden Bedingungsausdrucks (6b) oder (6c) erfüllt ist, um die Empfindlichkeit der Distanz σ₁ noch weiter zu unterdrücken, um in einfacher Weise die hohe Auflösung zu erzielen:
Wenn allerdings die Werte der Bedingungsausdrücke (6) und (6a) bis (6c) nahe an den Wert 1 gelangen, wird die Auflösung des von dem Bildaufnahmeelement 103 gewonnenen Bilds verringert, da eine Vergrößerung |σ₂/σ₁| des Linsenarrays abnimmt. Im Idealfall wird die Auflösung n-mal vergrößert, wenn die n kleinen Linsen mit einem Pixelshift von 1/n überlappt sind. Hier ist n eine positive ganze Zahl. In dem realen System allerdings ist das Ausmaß der Steigerung der Auflösung durch den Pixelshift-Effekt kleiner als bei dem idealen System, bedingt durch die Einflüsse von Störungen und Aberrationen die Hauptobjektiveinheit 101. Deshalb ist es bevorzugt, wenn die Auflösung des von dem Bildaufnahmeelement 103 gewonnenen Bilds in einem gewissen Maß gewährleistet wird. Wenn bei dem in 1 dargestellten Aufbau der Wert des Bedingungsausdrucks (6) dem Wert 1 nahekommt, handelt es sich um einen Fall, in welchem das Linsenarray mit der Hauptobjektiveinheit 101 interferiert. Dementsprechend ist es noch mehr bevorzugt, dass die Obergrenzen der Bedingungsausdrücke (6) und (6a) bis (6c) auf einen Wert kleiner als 0,1 eingestellt werden, um die Empfindlichkeit zu unterdrücken und ein noch stärker hochauflösendes Lichtfeld zu erhalten.
Als nächstes wird eine Bedingung betrachtet, unter der der Pixelshift-Effekt erzielbar ist. Wie oben beschrieben wurde, kann, wenn der relative Pixelshift-Betrag der benachbarten kleinen Linsen gemäß dem Ausdruck (4) eine ganze Zahl ist, der Effekt des Pixelshifts nicht erzielt werden, wie in 4C veranschaulicht ist. Aus diesem Grund kann das Linsenarray 102 derart angeordnet werden, dass eine Verschiebung des Projektionspixels von zwei kleinen einander benachbarten Linsen nicht einem ganzzahligen Vielfachen des Projektionspixels entspricht, wenn das Pixel des Bildaufnahmeelements 103 auf die bildseitige konjugierte Ebene 202 projiziert wird.
Im folgenden wird eine Bedingung erläutert, die zu einem stärkeren Pixelshift-Effekt führt. Zunächst wird die Überlappungszahl der kleinen Linsen abgeschätzt. 9 ist eine graphische Darstellung, bei der auf der Abszisse die Anzahl j kleiner Linsen gemäß 4B angegeben ist, während auf der Koordinate y die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101 bezüglich der Objektebene 201 angegeben ist. Bei der Ausführungsform kann j = 0 eine beliebige kleine Linse des Linsenarrays 102 sein. Jede der Geraden parallel zu der y-Achse in 9 repräsentiert eine Koordinate, die dann erhalten wird, wenn der der j-ten kleinen Linse entsprechende Pixelsatz auf die bildseitige konjugierte Ebene 202 projiziert wird. Eine strichpunktierte Linie A verbindet Punkte, welche die oberen Grenzen der Geraden angeben, und eine strichpunktierte Linie B verbindet Punkte, die die Untergrenzen dieser Geraden angeben. Die strichpunktierte Linie A ist gegeben durch y = Δ_LA{j + |σ₁/(2σ₂)|}, und die strichpunktierte Linie B ist gegeben durch y = Δ_LA{j – |σ₁/(2σ₂)|}. Die Anzahl der überlappten kleinen Linsen entspricht einer Lücke zwischen den strichpunktierten Linien A und B in Richtung j, und die Anzahl lässt sich abschätzen bei etwa |σ₁/σ₂| + 1, wenn die kleine Linse j = 0 mitgezählt wird.
Im folgenden wird die räumliche Auflösung einschließlich des Pixelshift-Effekts erläutert. Wie oben beschrieben, ist in einem realen System die Verbesserung der Auflösung durch den Pixelshift-Effekt kleiner als im idealen System. Zur Vereinfachung der Beschreibung jedoch wird die Verbesserung der Auflösung in dem idealen System für die vorliegende Ausführungsform erläutert. Eine End-Auflösung wird definiert, indem man das größte Pixel derjenigen Pixel bestimmt, das durch den Pixelshift-Effekt scheinbar klein wird. Die Pixelgröße wird als Maximumwert der scheinbaren Pixel bezeichnet.
Wenn beispielsweise die Überlappungszahl der kleinen Linsen acht beträgt und das Verhältnis δ der Pixelverschiebung der benachbarten kleinen Linsen, welches durch die Gleichung (5) dargestellt wird, den Wert 0,45 hat, betragen die Pixelverschiebungen der acht kleinen Linsen 0; 0,45, 0,90, 0,35, 0,80, 0,25, 0,70 und 0,15. In diesem Fall beträgt der Maximumwert der scheinbaren Pixel, der die Auflösung bestimmt, 0,7 – 0,45 = 0,25. Als nächstes soll ein Fall betrachtet werden, bei dem die Überlappungszahl die gleiche ist und das Verhältnis δ 3/8 beträgt. In diesem Fall betragen die Pixelverschiebungen der acht kleinen Linsen 0, 3/8, 6/8, 1/8, 4/8, 7/8, 2/8 und 5/8. In diesem Fall beträgt der Maximumwert der scheinbaren Pixel 1/8, was identisch ist mit dem Kehrwert der Überlappungszahl. Wenn daher das Verhältnis der Verschiebung des Pixels, wohin die benachbarte kleine Linse projiziert, identisch mit dem Kehrwert der Überlappungszahl der kleinen Linsen ist, wird der größte Pixelshift-Effekt erreicht. Das gleiche gilt für den Fall, dass das durch den Ausdruck (5) repräsentierte Verhältnis δ den Wert 1/8, 5/8 oder 7/8 hat. Wenn allerdings das Verhältnis δ 2/8, 4/8 oder 6/8 beträgt, wird der Pixelshift-Effekt verschlechtert. Wenn beispielsweise das Verhältnis δ von 2/8 betrachtet wird, so betragen die Pixelverschiebungen der acht überlappten kleinen Linsen 0, 2/8, 4/8, 6/8, 0, 2/8, 4/8 und 6/8, und der Maximumwert der scheinbaren Pixel beträgt 2/8 = 1/4, da die Pixel einander überlappen. Deshalb ist der Pixelshift-Effekt nur halb so groß im Vergleich zu dem Fall, dass das Verhältnis δ 1/8, 3/8, 5/8 oder 7/8 beträgt.
Wenn also das durch den Ausdruck (5) gegebene Verhältnis δ den Wert m₀/M₀ hat, lässt sich der größtmögliche Pixelshift-Effekt erzielen. Bei dieser Ausführungsform bezeichnet das Symbol M₀ die Überlappungszahl der kleinen Linsen, und das Symbol m₀ bezeichnet eine ganze Zahl, die kleiner ist als M₀, wobei der größte gemeinsame Faktor von m₀ und M₀ 1 ist. Wie oben beschrieben, lässt sich die Überlappungszahl M₀ auf etwa |σ₁/σ₂| + 1 abschätzen, und der Pixelshift-Effekt wird verbessert, wenn das Verhältnis δ dem Wert von m₀/M_o nahekommt.
10 ist ein Diagramm zum Veranschaulichen einer Beziehung zwischen dem Maximumwert der scheinbaren Pixel in Bezug auf die Distanz σ₁ und dem Kehrwert der Überlappungszahl der kleinen Linsen unter Verwendung desselben Parameters wie in 8. Wenn der Maximumwert der scheinbaren Pixel, repräsentiert durch einen rhombusförmigen Punkt, und der Kehrwert der Überlappungszahl der kleinen Linsen, repräsentiert durch eine gestrichelte Linie, in Bezug auf den Abstand σ₁ ähnlich sind, wird der Pixelshift-Effekt gesteigert, und die Auflösung des rekonstruierten Bilds wird verbessert. Bei einem Abstand σ₁ hingegen, bei dem der Maximumwert der scheinbaren Pixel und der Kehrwert der Überlappungszahl der kleinen Linsen einander fernliegen, lässt sich ein starker Pixelshift-Effekt nicht erzielen. 11 zeigt eine Beziehung zwischen der Distanz σ₁ und dem räumlichen Auflösungsverhältnis, wenn derselbe Parameter wie bei 8 verwendet wird. Das räumliche Auflösungsverhältnis der vertikalen Achse ist angegeben, indem die räumliche Auflösung des rekonstruierten Bilds normiert ist mit der Anzahl von Pixeln des Bildaufnahmeelements. Da der rhombusförmige Punkt und der Kehrwert der Überlappungszahl der kleinen Linsen bezüglich der Distanz σ₁ in 10 nahe beieinanderliegen, wird die Auflösung einschließlich des Pixelshift-Effekts verbessert. Bei der Distanz hingegen, bei der der Maximumwert der scheinbaren Pixel näher bei 1 in 10 liegt, lässt sich die Verbesserung der Auflösung durch den Pixelshift-Effekt kaum darstellen. Wie oben erläutert, ist, wenn die Distanz |σ₁| dem Wert P_ex/2 nahekommt, die Schwankung des räumlichen Auflösungsverhältnisses gering, und die Empfindlichkeit des Linsenarrays wird unterdrückt.
Zum effizienten Ermitteln der Verbesserung der Auflösung durch den Pixelshift-Effekt lässt sich der Bedingungsausdruck (7) betrachten:
In dem Bedingungsausdruck (7) bezeichnet das Symbol M eine ganze Zahl, die dem folgenden Bedingungsausdruck (8) genügt:
Das Symbol m bezeichnet eine ganze Zahl kleiner als die ganze Zahl M mit größtem gemeinsamen Faktor von m und M von 1. Die Bedingungsausdrücke (7) und (8) repräsentieren das Maß des Pixelshift-Effekts, und die hohe Auflösung des rekonstruierten Bilds lässt sich erreichen, wenn die Bedingungsausdrücke (7) und (8) erfüllt sind. Wenn die Werte von (M/m)mod(|Δ_LAσ₂/Δσ₁|, 1) und M/(1 + |σ₁/σ₂|) größer sind als die Obergrenze oder kleiner sind als die Untergrenze der Bedingungsausdrücke (7) bzw. (8), lässt sich ein ausreichender Pixelshift-Effekt nicht erreichen, und deshalb ist die Verbesserung der räumlichen Auflösung unzureichend.
Es ist bevorzugt, dass folgender Bedingungsausdruck (7a) erfüllt wird, um eine höhere Bildauflösung zu erzielen:
Es ist noch mehr bevorzugt, dass die folgende Bedingungsgleichung (7b) erfüllt ist, um ein noch besser auflösendes Bild zu erreichen:
Noch weiter bevorzugt werden die folgenden Bedingungsausdrücke (8a) oder (8b) erfüllt, um einen stärkeren Pixelshift-Effekt zu erreichen:
Es ist bevorzugt, wenn die bildseitige Fläche der kleinen Linsen des Linsenarrays 102 eine konvexe Form haben. Damit wird der Astigmatismus des Linsenarrays 102 unterdrückt, und die Empfindlichkeit bezüglich der Auflösung lässt sich verringern. Wenn hingegen die bildseitige Fläche nicht die konvexe Form hat, ist der Astigmatismus groß, und die Peripherie des von jeder kleinen Linse erzeugten Bilds wird unscharf. Wenn der unscharfe Bereich für die Rekonstruktionsverarbeitung benutzt wird, wird das rekonstruierte Bild nicht scharf erzeugt. Es ist mehr bevorzugt, wenn die objektseitige Fläche der kleinen Linsen des Linsenarrays 102 eine plane oder konvexe Form haben. Damit ist die Krümmung der kleinen Linsen abgeschwächt, und die Aberrationen werden unterdrückt, so dass die Empfindlichkeit zusätzlich verringert werden kann.
Es ist bevorzugt, wenn das Linsenarray 102 auf der Objektseite in Bezug auf die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101 bezüglich der Objektebene 101 angeordnet ist. Wie aus dem Vergleich der 1 und 2 entnehmbar ist, ist der Grund dafür der, dass die Konfiguration nach 1 die Gesamtlänge der Bildaufnahmeoptik im Vergleich zu der Konfiguration nach 2 verringern kann. Außerdem ist bei der Konfiguration nach 1 eine Bildhöhe, bei der ein außerhalb der Achse befindlicher Lichtstrahl in das Linsenarray 102 und das Bildaufnahmeelement 103 eintritt, kleiner als bei der Konfiguration nach 2. Wie oben erläutert, lässt sich die Größe der Bildaufnahmeoptik dadurch verringern, dass man die in 1 dargestellte Anordnung verwendet.
Weitere Effekte der vorliegenden Ausführungsform bestehen darin, dass ein Bild mit optisch verbesserter Auflösung dadurch gewonnen werden kann, dass einer Bedingung genügt wird, wonach zwischen dem Linsenarray und dem Bildaufnahmeelement eine angemessene Beziehung herrscht.
In den in den 1 und 2 dargestellten Bildaufnahmeoptiken wird von dem Bildaufnahmeelement ein Bild erhalten, in welchem kleine Bilder mit unterschiedlichen Blickwinkeln und Abbildungszonen angeordnet sind. Ein Bild mit unterschiedlichen Fokuspositionen, F-Zahlen und Blickwinkeln lässt sich erhalten mit Hilfe eines Verfahrens des Wichtens sämtlicher oder eines Teils dieser Bilder, oder mittels eines Verfahrens, bei dem diese Bilder bei gleichzeitiger Verschiebung überlappt werden (ein Rekonstruktionsverfahren). Beispielsweise ist dieses Verfahren offenbart in „Light Field Photography with a Hand-held Plenoptic Camera" (Ren Ng, et al., Stanford Tech Report CTSR 2005-02). Aus diesem Grund wird auf eine Beschreibung des Verfahrens bei dieser Ausführungsform verzichtet. Die Konfiguration der vorliegenden Ausführungsform unterscheidet sich etwas von der oben angegebenen Literaturstelle, allerdings gibt es im wesentlichen keinen Unterschied zwischen ihnen, da der Aufbau des Unterteilens der Pupille der Hauptobjektiveinheit der gleiche ist. Deswegen lässt sich unter Verwendung eines ähnlichen Rekonstruktionsverfahrens ein Bild generieren, bei dem die Fokusposition, die Tiefenschärfe oder der Blickwinkel geändert ist. Auch in diesem Fall lässt sich ein bei hoher Auflösung rekonstruiertes Bild unter Nutzung des Pixelshift-Effekts erhalten. Die Rekonstruktionsverarbeitung kann außerdem von einer Bildverarbeitungsvorrichtung vorgenommen werden, die getrennt von der Bildaufnahmevorrichtung ausgebildet ist.
Eine Person oder ein Objekt muss in der in 1 und 2 dargestellten Objektebene 201 nicht vorhanden sein. Dies deshalb, weil das Fokussieren auf die Person oder das Objekt hinter oder vor der Objektebene 201 vorgenommen werden kann durch die Rekonstruktionsverarbeitung nach der Aufnahme eines Bilds. Die Hauptobjektiveinheit 101 kann außerdem aus einer Einzellinse bestehen.
[AUSFÜHRUNGSFORM 1]
Im folgenden wird anhand der 12 eine Ausführungsform 1 einer Bildaufnahmevorrichtung (einer Bildaufnahmeoptik) beschrieben. 12 ist eine Querschnittansicht der Bildaufnahmeoptik dieser Ausführungsform. In 12 handelt es sich bei der Hauptobjektiveinheit 101 um ein Objektiv mit fester Brennweite, das eine Aperturblende SP enthält, welches die F-Zahl zur Zeit der Bildaufnahme steuert. Um allerdings viel Parallaxeninformation zu gewinnen, ist es bevorzugt, dass der Blendendurchmesser groß ist. Bei der vorliegenden Ausführungsform kann der Blendendurchmesser auch konstant sein, da sich die F-Zahl durch Rekonstruktion nach der Bildaufnahme ändern lässt.
Die Hauptobjektiveinheit 101 ist mit einem Fokusmechanismus nach Maßgabe von Spezifikationen ausgestattet. Wenn die Hauptobjektiveinheit 101 den Fokusmechanismus enthält, wird eine Objektivstellung durch einen Autofokus(AF-)-Mechanismus oder durch einen manuellen Fokusmechanismus (nicht dargestellt) gesteuert. Bei der vorliegenden Ausführungsform kann eine Fokussierung nach der Bildaufnahme (Neufokussierung) mittels Bildverarbeitung vorgenommen werden, allerdings ist die von dem Bildaufnahmeelement 103 gewinnbare Parallaxeninformation beschränkt, da der Blendendurchmesser begrenzt ist. Aus diesem Grund ist auch ein Bereich beschränkt, in welchem eine Nachfokussierung vorgenommen werden kann. Der Nachfokussierbereich lässt sich in Tiefenrichtung verschieben, indem man die Fokusposition zur Zeit der Bildaufnahme ändert.
Das Linsenarray 102 besitzt positive Brechkraft und ist gebildet aus einer sphärischen festen Linse, deren beide Flächen eine konvexe Form haben. Eine der beiden Seiten der kleinen Linsen des Linsenarrays 102 kann auch eine plane Fläche oder eine asphärische gekrümmte Fläche besitzen. Es kann auch konfiguriert werden durch Aneinanderreihung von Flüssigkeitslinsen, Flüssigkristalllinsen, optischen Beugungselementen oder dergleichen. Das Linsenarray 102 erzeugt ein Bild auf dem Bildaufnahmeelement 103 durch Betrachten des durch die Hauptobjektiveinheit 101 als virtuelles Objekt erzeugten Bilds.
Bei der vorliegenden Ausführungsform beträgt der Abstand P_ex von der Austrittspupille der Hauptobjektiveinheit 101 bis zu der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 einen Wert von 66,4357 (mm), der Mittenabstand Δ_LA des Linsenarrays 102 beträgt 4,3559 (mm), und der Pixel-Mittenabstand Δ des Bildaufnahmeelements 103 beträgt 0,0043 (mm). Das Linsenarray 102 ist derart angeordnet, dass die Distanz σ₁ einen Wert von 37,7657 (mm) hat, während der Abstand σ₂ den Wert von 5,4325 (mm) hat. Bei einer derartigen Konfiguration erzielt man einen starken Pixelshift-Effekt, und deshalb lässt sich das hochauflösende Bild erzeugen. Zusätzlich lässt sich auch die Anordnungsempfindlichkeit des Linsenarrays 102 in Bezug auf den Pixelshift-Effekt unterdrücken. Die hohe Auflösung unter Nutzung des Pixelshift-Effekts lässt sich auch für das rekonstruierte Bild erreichen, bei dem die F-Zahl, die Fokusposition oder die Tiefenschärfe geändert ist. Ein weiteres hochauflösendes Bild lässt sich im Verein mit einer Bildabschätzung, beispielsweise in Form einer MAP(Maximum-a-posteriori-)Abschätzung zur Zeit der Rekonstruktion des Bilds erzielen.
[AUSFÜHRUNGSFORM 2]
Als nächstes soll anhand der 13 eine Bildaufnahmevorrichtung (eine Bildaufnahmeoptik) einer Ausführungsform 2 erläutert werden. 13 ist eine Querschnittansicht der Bildaufnahmeoptik dieser Ausführungsform. In 13 handelt es sich bei der Hauptobjektiveinheit 101 um ein Objektiv mit fester Brennweite. Das Linsenarray 102 wird gebildet durch eine Fläche, die eine Ebene auf der Objektseite bildet, und einer Fläche in konvexer Form auf der Bildseite, wodurch ein von der Hauptobjektiveinheit 101 gebildetes Bild auf dem Bildaufnahmeelement 103 umgebildet wird.
Bei der vorliegenden Ausführungsform beträgt der Abstand P_ex von der Austrittspupille der Hauptobjektiveinheit 101 bis zu der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 einen Wert von 66,4357 (mm), der Mittenabstand Δ_LA des Linsenarrays 102 beträgt 0,3784 (mm), und der Pixel-Mittenabstand Δ des Bildaufnahmeelements 103 beträgt 0,0043 (mm). Das Linsenarray 102 ist derart angeordnet, dass die Distanz σ₁ –5,4679 (mm) und die Distanz σ₂ 1,0036 (mm) beträgt. Da die konjugierte Ebene des Linsenarrays 102 bezüglich des Bildaufnahmeelements 103, das heißt die bildseitige konjugierte Ebene 202 der Hauptobjektiveinheit 101 in Bezug auf die Objektebene 201 bezüglich des Linsenarrays 102 auf der Objektseite liegt, ist die Distanz σ₁ ein negativer Wert.
Bei dieser Ausführungsform wird eine Bildaufnahmevorrichtung erhalten, welche die Anordnungsempfindlichkeit des Linsenarrays unterdrückt und eine wirksame hohe Auflösung erreicht, indem der Pixelshift-Effekt genutzt wird.
[AUSFÜHRUNGSFORM 3]
Als nächstes wird anhand der 14 eine Bildaufnahmevorrichtung (eine Bildaufnahmeoptik) der Ausführungsform 3 erläutert. 14 ist eine Querschnittansicht der Bildaufnahmeoptik dieser Ausführungsform. In 14 ist die Hauptobjektiveinheit 101 ein Zoomobjektiv, und das Linsenarray 102 wird gebildet durch eine bikonvexe Positivlinse, die ein Bild auf dem Bildaufnahmeelement 103 erzeugt, indem das Bild von der Hauptobjektiveinheit 101 als virtuelles Objekt betrachtet wird.
Die Hauptobjektiveinheit 101 wird konfiguriert durch eine erste Linseneinheit L1 mit positiver Brechkraft, eine zweite Linseneinheit L2 mit positiver Brechkraft, eine dritte Linseneinheit L3 mit negativer Brechkraft, eine vierte Linseneinheit L4 mit positiver Brechkraft und eine fünfte Linseneinheit L5 mit positiver Brechkraft, angeordnet in dieser Reihenfolge von der Objektseite her. Wenn die Vergrößerung variiert wird, bleiben die erste Linseneinheit L1 und die fünfte Linseneinheit L5 stehen, und die zweite Linseneinheit L2, die dritte Linseneinheit L3 und die vierte Linseneinheit L4 bewegen sich entlang einer optischen Achse.
Bei der vorliegenden Ausführungsform beträgt am Weitwinkelende der Hauptobjektiveinheit 101 der Abstand P_ex von der Austrittspupille der Hauptobjektiveinheit 101 zu der bildseitigen konjugierten Ebene 202 der Hauptobjektiveinheit 101 einen Wert von 133,8129 (mm), der Mittenabstand Δ_LA des Linsenarrays 102 beträgt 1,9776 (mm), und der Pixel-Mittenabstand Δ des Bildaufnahmeelements 103 beträgt 0,0064 (mm). 7 und 9, die oben erläutert wurden, veranschaulichen das Verhältnis δ der Pixelverschiebung und der Auflösung einschließlich des Pixelshift-Effekts unter Verwendung dieser Parameter sowie N = 7 und l_r = 0,5. Da eine (nicht gezeigte) Aperturblende an den kleinen Linsen des Linsenarrays 102 installiert ist, kommt es auch dann nicht zum Übersprechen, wenn l_r einen Wert von 0,5 hat. Das Linsenarray 102 ist derart angeordnet, dass die Distanz σ₁ 40,1453 (mm) und die Distanz σ₂ 4,0145 (mm) beträgt.
Bei dieser Ausführungsform handelt es sich um eine Bildaufnahmevorrichtung, welche die Anordnungsempfindlichkeit des Linsenarrays unterdrückt und eine effiziente hohe Auflösung unter Nutzung des Pixelshift-Effekts erreicht.
[AUSFOHRUNGSFORM 4]
Als nächstes wird anhand der 15 eine Bildaufnahmevorrichtung der Ausführungsform 4 beschrieben. 15 ist eine Konfigurationsdarstellung eines Bildverarbeitungssystems dieser Ausführungsform. Wie in 15 dargestellt ist, enthält das Bildverarbeitungssystem eine Bildaufnahmevorrichtung 301, die ihrerseits die Bildaufnahmeoptik der Ausführungsform 3 gemäß 14 beinhaltet. Eine Bildverarbeitungsvorrichtung 302 ist ein Computer, der die oben beschriebene Bildrekonstruktion ausführt. Eine vorbestimmte Rekonstruktionsverarbeitung erfolgt für ein Bild, welches von der Bildaufnahmevorrichtung 301 erhalten wurde, unter Verwendung der Bildverarbeitungsvorrichtung 302, und anschließend wird das Bild an eines oder an mehrere von einer Ausgabeeinrichtung 305, einer Anzeige (Display) 304 und einem Speichermedium 303 ausgegeben. Das Speichermedium 303 ist zum Beispiel ein Halbleiterspeicher, eine Festplatte, oder ein Server an einem Netzwerk. Die Ausgabeeinrichtung 305 ist beispielsweise ein Drucker. Die Anzeige 304 ist mit der Bildverarbeitungsvorrichtung 302 verbunden, und das rekonstruierte Bild wird an die Anzeige 304 geliefert. Ein Benutzer kann Arbeiten bei gleichzeitiger Bestätigung des rekonstruierten Bilds über die Anzeige 304.
Eine Bildverarbeitungssoftware 306 hat die Funktion einer Entwicklungsverarbeitung und anderer Bildverarbeitungen nach Bedarf, außerdem die Funktion der oben beschriebenen Rekonstruktionsverarbeitung. Die Anzeige 304 ist zum Beispiel eine Flüssigkristallanzeige oder ein Projektor. Insbesondere dann, wenn die Anzeige 304 ein DLP (Digital Light Processor) mit Projektor ist, der von einem DMD (Digital Micro-mirror Device) Gebrauch macht, kann das System in dem Projektor auch in ähnlicher Weise konfiguriert sein, wie es in 14 gezeigt ist. In diesem Fall kann das optische System in dem Projektor die Konfiguration aufweisen, in der der DMD anstelle des in 14 gezeigten Bildaufnahmeelements 103 installiert ist. In diesem Fall kann anstelle der Eingabe des rekonstruierten Bilds in das Display 304 das von dem Bildaufnahmeelement 103 erhaltene Bild so, wie es ist, eingegeben werden. DA die Umwandlung zur Zeit der Bildprojektion umgekehrt zu dem Vorgang der Bildaufnahme erfolgt, wird auf einem Bildschirm ein automatisch rekonstruiertes Bild ausgegeben. Da außerdem der Pixelshift-Effekt auf der konjugierten Ebene des DMD bezüglich des Linsenarrays 102 entsteht, lässt sich in ähnlicher Weise ein hochauflösendes Ausgabebild erhalten. Bei dieser Ausführungsform werden eine Bildaufnahmevorrichtung und ein Bildverarbeitungssystem geschaffen, die die Anordnungsempfindlichkeit des Linsenarrays unterdrücken und zu einer effizienten hohen Auflösung führen.
Während die vorliegende Erfindung unter Bezugnahme auf Ausführungsformen erläutert wurde, versteht sich, dass die Erfindung nicht auf die offenbarten Ausführungsformen beschränkt ist. Der Schutzumfang der beigefügten Ansprüche ist der breitesten Interpretation zugänglich, so dass sämtliche Modifikationen und äquivalenten Strukturen und Funktionen eingeschlossen sind. Zum Beispiel: selbst wenn die vorliegende Erfindung bei einer Bildaufnahmeoptik Anwendung findet, die von einer Bildaufnahmevorrichtung mit einem Bildaufnahmeelement abnehmbar ist, so kann auch die Bildaufnahmeoptik mit der Fähigkeit, das hochauflösende Lichtfeld mit einfachem Aufbau zu gewinnen, vorgesehen sein, indem die Bildaufnahmeoptik und das Bildaufnahmeelement verwendet werden, welche die oben beschriebene Beziehung erfüllen.
Numerische Daten (numerische Beispiele) der Hauptobjektiveinheit in jeder der oben beschriebenen Ausführungsformen (Ausführungsformen 1 bis 4) werden im folgenden erläutert. Das Symbol i bezeichnet eine Reihenfolge auf einer Fläche von der Objektseite her, das Symbol r_i bezeichnet einen Krümmungsradius der i-ten Fläche, d_i bezeichnet eine Linsendicke oder einen Luftspalt zwischen der i-ten Fläche und der (i + 1)-ten Fläche, und die Symbole n_i und ν_i bezeichnen einen Brechungsindex bzw. eine Abbe-Zahl für die d-Linie. In der Tabelle 1 sind Werte für die Bedingungsausdrücke (6), (7) und (8) in jedem der numerischen Beispiele (Ausführungsformen 1 bis 4) angegeben.
[NUMERISCHE BEISPIELE]
[AUSFÜHRUNGSFORMEN 1 UND 2]

Einheit [mm] Flächendaten

Flächennummer	r	d	nd	νd	Effektiver Durchmesser
1	89,763	1,80	1,84666	23,8	40,57
2	35,283	9,50	1,58913	61,2	38,63
3	–104,031	0,15			38,18
4	45,845	3,80	1,77250	49,6	34,85
5	205,586	1,60			34,09
6	190,384	1,50	1,80010	35,0	32,16
7	57,059	3,26			30,16
8	–88,455	1,50	1,56873	63,2	30,22
9	23,683	3,50	1,84666	23,8	28,33
10	37,253	19,26			27,84
11	–380,953	3,00	1,84666	23,8	28,98
12	–70,178	10,00			29,11
13	∞	22,12			26,48
14	–37,638	1,20	1,78472	25,7	21,81
15	57,202	4,30	1,52249	59,8	22,35
16	–38,872	0,30			22,71
17	–249,784	2,50	1,77250	49,6	22,78
18	–59,162	0,20			22,89
19	56,254	3,50	1,80400	46,6	22,42
20	–100,510	1,50			21,91
21	–109,205	2,80	1,84666	23,8	20,71
22	–44,064	0,16			20,09
23	–42,571	1,20	1,60311	60,6	19,94
24	41,456	8,27			18,54
25	–84,040	7,29	1,62230	53,2	15,96
26	–19,904	0,15			15,00
27	–19,678	2,00	1,59270	35,3	14,85
28	–118,544	0,00			14,29
29	∞	(variabel)			14,22

Bildebene ∞ Verschiedene Arten von Daten Zoom-Verhältnis 1,00

Brennweite	99,96
F-Zahl	2,89
Feldwinkel	8,31
Bildhöhe	14,60
Gesamt-Objektivlänge	156,82
BF	40,46

d29	40,46

Eintrittspupillenstelle	117,08
Austrittspupillenstelle	–25,97
Stelle des vorderen Hauptpunkts	66,63
Stelle des hinteren Hauptunkts	–59,50

Zoomobjektiv-Daten

Einheit	Startfläche	Brennweite	Länge des Objektiv-Aufbaus	Vorderer Hauptpunkt	Hinterer Hauptpunkt
1	1	99,96	116,36	66,63	–59,50

Einzellinsengliederdaten

Linsenglied	Startfläche	Brennweite
1	1	–69,72
2	2	45,88
3	4	75,59
4	6	–102,35
5	8	–32,69
6	9	68,67
7	11	101,16
8	14	–28,77
9	15	44,99
10	17	99,78
11	19	45,31
12	21	85,56
13	23	–34,64
14	25	40,16
15	27	–40,11

[AUSFÜHRUNGSFORMEN 3 UND 4]

Einheit [mm] Flächendaten

Flächennummer	r	d	nd	νd	Effektiver Durchmesser
1	124,447	2,80	1,74950	35,0	69,47
2	75,819	0,15			66,70
3	75,787	12,51	1,49700	81,6	66,68
4	–374,867	0,10			65,27
5	78,754	3,65	1,49700	81,6	62,96
6	102,655	(variabel)			62,09
7	54,676	2,20	1,84666	23,8	49,13
8	47,526	1,22			47,37
9	55,346	7,65	1,48749	70,2	47,31
10	1833,147	(variabel)			46,11
11	–401,208	1,40	1,80400	46,6	34,13
12	38,875	6,37			32,30
13	–92,113	1,34	1,48749	70,2	32,44
14	39,755	5,23	1,85026	32,3	33,61
15	292,638	4,06			33,53
16	–70,105	4,46	1,84666	23,8	33,56
17	–36,898	1,00	1,72000	46,0	34,09
18	311,857	(variabel)			35,08
19	141,625	3,59	1,71300	53,9	35,92
20	–238,303	0,15			36,12
21	431,096	5,95	1,49700	81,6	36,23
22	–48,826	1,00	1,85026	32,3	36,30
23	–140,339	(variabel)			36,87
24	81,141	3,98	1,80400	46,6	37,24
25	19006,920	1,15			36,96
26 (Blende)	∞	15,08			36,64
27	45,384	7,49	1,49700	81,6	31,66
28	–839,909	5,33	1,62588	35,7	29,72
29	39,178	23,47			26,68
30	139,400	5,78	1,50378	66,8	25,86
31	–105,607	7,43			26,94
32	–40,699	1,00	1,80100	35,0	28,35
33	–79,231	0,15			29,36
34	115,417	4,09	1,83400	37,2	30,71
35	–493,918	(variabel)

Bildebene ∞ Verschiedene Arten von Daten Zoom-Verhältnis 2,67

	Weitwinkel	Mittel	Telephoto
Brennweite	72,49	99,90	193,91
F-Zahl	2,90	2,90	2,90
Feldwinkel	16,59	12,20	6,36
Bildhöhe	21,60	21,60	21,60
Gesamt-Objektivlänge	243,50	243,51	243,49
BF	52,10	52,11	52,08

d6	8,38	11,42	33,14
d10	1,59	10,49	16,84
d18	30,54	23,46	1,50
d23	11,11	6,25	0,15
d35	52,10	52,11	52,08

Eingangspupillenstelle	96,84	140,42	236,01
Ausgangspupillenstelle	–81,71	–81,71	–81,71
Stelle des vorderen Hauptpunkts	130,06	165,74	148,88
Stelle des hinteren Hauptpunkts	–20,39	–47,79	–141,83

Zoomobjektiv-Daten

Einheit	Startfläche	Brennweite	Länge des Objektiv-Aufbaus	Vorderer Hauptpunkt	Hinterer Hauptpunkt
1	1	179,99	19,21	2,38	–10,26
2	7	155,92	11,07	–0,28	–7,84
3	11	–27,99	23,86	4,82	–11,76
4	19	124,89	10,69	0,62	–6,15
5	24	86,42	74,95	21,42	–59,06

Einzellinsengliederdaten

Linsenglied	Startfläche	Brennweite
1	1	–265,43
2	3	128,02
3	5	647,74
4	7	–499,75
5	9	116,90
6	11	–44,02
7	13	–56,78
8	14	53,60
9	16	85,48
10	17	–45,77
11	19	125,08
12	21	88,61
13	22	–88,51
14	24	101,34
15	27	86,88
16	28	–59,67
17	30	120,22
18	32	–105,70
19	34	112,52

[Tabelle 1]

	Bedingungsausdruck (6)	Bedingungsausdruck (7)	Bedingungsausdruck (8)
Ausführungsform 1	0,57	0,96	0,50
Ausführungsform 2	0,08	1,06	1,55
Ausführungsform 3	0,30	1,00	0,91
Ausführungsform 4	0,30	1,00	0,91

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Todor Georgiev, et al., „Full Resolution Light Field Rendering”, Adobe Technical Report January 2008 [0002]
Todor Georgiev, et al., „Superresolution with Plenoptic 2.0 Camera”, 2009 Optical Society of America ist eine „Plenoptic 2.0 Camera” [0002]
Todor Georgiev, et al., „Superresolution with Plenoptic 2.0 Camera”, 2009 Optical Society of America [0003]
Todor Georgiev et al., „Superresolution with Plenoptic 2.0 Camera”, 2009 Optical Society of America [0004]
„Light Field Photography with a Hand-held Plenoptic Camera” (Ren Ng, et al., Stanford Tech Report CTSR 2005-02) [0069]

Claims

Bildaufnahmevorrichtung (301), umfassend: ein Bildaufnahmeelement (103); eine Objektiveinheit (101); konfiguriert zum Sammeln eines Lichtstrahls von einem Objekt (201) in einer bildseitigen konjugierten Ebene (202); und ein Linsenarray (102), welches eine Mehrzahl von Linsenzellen enthält, wobei das Linsenarray (102) derart angeordnet ist, dass die bildseitige konjugierte Ebene (202) und das Bildaufnahmeelement (103) zueinander konjugiert sind, und wobei die folgende Bedingung erfüllt ist:
wobei σ₁ ein Abstand von einer objektseitigen Hauptebene des Linsenarrays (102) zu der bildseitigen konjugierten Ebene (202) ist, und P_ex ein Abstand von einer Austrittspupille der Linseneinheit (101) zu der bildseitigen konjugierten Ebene (202) ist.
Bildaufnahmevorrichtung nach Anspruch 1, bei der das Linsenarray (102) derart angeordnet ist, dass von benachbarten Linsenzellen auf die bildseitige konjugierte Ebene (202) projizierte Pixel gegeneinander um eine Länge verschoben sind, die verschieden ist von einem ganzzahligen Vielfachen eines Mittenabstands der projizierten Pixel, wenn die Pixel des Bildaufnahmeelements (103) über die Linsenzellen auf die bildseitige konjugierte Ebene (202) projiziert werden.
Bildaufnahmevorrichtung nach Anspruch 1 oder 2, bei der die folgende Bedingung erfüllt ist:
wobei σ₂ ein Abstand von einer bildseitigen Hauptebene des Linsenarrays (102) zu dem Bildaufnahmeelement (103) ist, Δ ein Pixel-Mittenabstand des Bildaufnahmeelements (103) ist, Δ_LA ein Mittenabstand des Linsenarrays (102) ist, M eine ganze Zahl ist, die folgender Bedingung genügt:
und m eine ganze Zahl kleiner als M ist, wobei der größte gemeinsame Faktor von m und M 1 ist.
Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, wobei eine bildseitige Fläche der Linsenzelle eine konvexe Form hat.
Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 4, bei der eine objektseitige Fläche der Linsenzelle eine ebene oder konvexe Form hat.
Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 5, bei der das Linsenarray (102) bezüglich der bildseitigen konjugierten Ebene (202) der Objektiveinheit (101) auf der Objektseite gelegen ist.
Bildaufnahmeoptik, die einen Lichtstrahl von einem Objekt (201) auf einem Bildaufnahmeelement (103) sammelt, umfassend: eine Objektiveinheit (101), konfiguriert zum Sammeln des Lichtstrahls von dem Objekt (201) auf einer bildseitigen konjugierten Ebene (202); und ein Linsenarray (102), welches eine Mehrzahl von Linsenzellen enthält, wobei das Linsenarray (102) derart angeordnet ist, dass die bildseitige konjugierte Ebene (202) und das Bildaufnahmeelement (103) zueinander konjugiert sind, und wobei die folgende Bedingung erfüllt ist:
wobei σ₁ ein Abstand von einer objektseitigen Hauptebene des Linsenarrays (102) zu der bildseitigen konjugierten Ebene (202) ist, und P_ex ein Abstand von einer Austrittspupille der Linseneinheit (101) zu der bildseitigen konjugierten Ebene (202) ist.