DE102020206768B4 - Bilderfassungsvorrichtung und Verfahren zum Bestimmen einer plenoptischen Funktion - Google Patents

Abstract

Bilderfassungsvorrichtung (1, 1', 1''), umfassendeinen Lichtsensor (2), umfassend mindestens ein Sensorelement (3, 3a, 3b), eingerichtet zum Erfassen eines Messwerts, entsprechend mindestens einem Messparameter von aus einem Objektraum (4) abgestrahltem und auf den Lichtsensor (2) auftreffendem Licht (5),einen Lichtmodulator (6), umfassend eine Vielzahl von Blenden (7, 7a, 7b), wobei jede der Blenden (7, 7a, 7b) dazu eingerichtet ist, mindestens einen Modifikationsparameter des aus dem Objektraum (4) abgestrahlten Lichts (5) vor dem Auftreffen auf den Lichtsensor (2) in Abhängigkeit von einem jeweiligen Steuerparameter zu beeinflussen,eine Steuereinheit (9), eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators (6) mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden (7, 7a, 7b) des Lichtmodulators (6) ist, entsprechend derer die Blenden (7, 7a, 7b) den mindestens einen Modifikationsparameter beeinflussen, und ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements (3, 3a, 3b) erfassten Messwert während des Ansteuerns des Lichtmodulators (6) mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird,eine Auswerteeinheit (10), eingerichtet zum Berechnen einer plenoptischen Funktion des aus dem Objektraum (4) abgestrahlten Lichts (5) auf Grundlage der Abfolge von Masken und der Abfolge von Ausgangsbildern,gekennzeichnet dadurch, dassein Strahlengang, entlang dessen das aus dem Objektraum (4) abgestrahlte Licht (5) zu dem Lichtsensor (2) gelangt, kein abbildendes optisches Element oder unmittelbar hinter und/oder vor und/oder an jeder Blende (7, 7a, 7b) jeweils eine Linse (17) und ansonsten kein abbildendes optisches Element enthält unddie Auswerteeinheit (10) dazu eingerichtet ist, die plenoptische Funktion mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern zu berechnen.

Description

• Die Erfindung betrifft eine Bilderfassungsvorrichtung, insbesondere eine Bilderfassungsvorrichtung, die zum Messen mindestens eines Lichtparameters sowie zum Berechnen einer plenoptischen Funktion auf Grundlage des mindestens einen gemessenen Lichtparameters eingerichtet ist. Ferner betrifft die Erfindung ein Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung einer solchen Bilderfassungsvorrichtung.
• Als plenoptische Funktion wird hierbei eine parametrisierte Darstellung eines Lichtfeldes in einem Raumbereich, d. h. ein Maß für eine lokale (d. h. durch ein Flächenelement tretende) Strahldichte oder Intensität einer elektromagnetischen Strahlung in Abhängigkeit von einer Raumrichtung und einer räumlichen Position des jeweiligen Flächenelements bezeichnet. Die plenoptische Funktion kann ferner von einem oder mehreren weiteren Parametern, insbesondere einem Zeitparameter und/oder einer Wellenlänge der elektromagnetischen Strahlung abhängen. Unter dem Bestimmen der plenoptischen Funktion kann im Folgenden stets auch ein Bestimmen einer Näherung und/oder Diskretisierung der plenoptischen Funktion verstanden werden.
• Aus dem Stand der Technik sind verschiedene Verfahren zum Bestimmen plenoptischer Funktionen sowie entsprechende Bilderfassungsvorrichtungen, die zur Verwendung im Rahmen solcher Verfahren geeignet sind, bekannt.
• Beispielsweise offenbart das Dokument US 2011/0128412 A1 eine Kamera, umfassend eine Linse, die angeordnet ist, um ein Bild eines Objekts in einer Bildebene zu erzeugen, eine aktiv ansteuerbare Apertur, die zwischen dem Objekt und der Bildebene angeordnet ist, einen Detektor, der in der Bildebene angeordnet und konfiguriert ist, um zweidimensionale Bilder zu erfassen, die durch die aktiv ansteuerbare Apertur übertragen oder reflektiert werden, und einen Prozessor, der konfiguriert ist, um eine Position, Größe und/oder Form der aktiv ansteuerbaren Apertur zu variieren und basierend auf den mittels des Detektors erfassten zweidimensionalen Bildern eine Darstellung eines vierdimensionalen Lichtfeldes zu erzeugen, das dem Objekt zugeordnet ist.
• Das Dokument Ashok, A. u. Neifeld, M., Compressive light field imaging (in: Proc. SPIE, Vol. 7690, S. 76900Q-1ff, Mai 2010) offenbart zwei Architekturen für kompressives Lichtfeld-Imaging unter Verwendung von 1) Korrelation entlang der Winkeldimensionen eines Lichtfeldes und 2) Korrelation entlang der räumlichen Dimensionen eines Lichtfeldes.
• Das Dokument Liang, C.-K. et al., Programmable Aperture Photography: Multiplexed Light Acquisition (in: ACM Trans. Graph. 27, No. 3, Article 55, August 2008) offenbart ein System mit einer programmierbaren Apertur für die Lichtfeld-Erfassung, wobei die programmierbare Apertur in ihrer Form angepasst und verwendet werden kann, um ein Lichtfeld bei voller Sensorauflösung mittels mehrerer Aufnahmen ohne zusätzliche Optik und ohne Bewegung der Kamera zu erfassen.
• Bei den aus dem Stand der Technik bekannten Vorrichtungen kann konstruktionsbedingt die nutzbare Informationsdichte begrenzt sein. Ferner weisen die bekannten Vorrichtungen häufig einen komplexen optischen Aufbau, etwa einen Aufbau mit einem oder mehreren abbildenden (d. h. zum Erzeugen eines optischen Bildes eines Objektes eingerichteten und angeordneten) Elementen - typischerweise Linsen, wie auch im erstgenannten Beispiel - und einander optisch zugeordneten Objekt- und Bildebenen auf. Solche Aufbauten sind oft aufwändig zu justieren und nehmen relativ viel Platz in Anspruch. Zudem können das erzielbare Signal-Rausch-Verhältnis sowie die erzielbare Schärfentiefe begrenzt sein und optische Abbildungsfehler (Aberrationen) auftreten.
• Eine Aufgabe, die der vorliegenden Anmeldung zugrunde liegt, besteht daher darin, eine Bilderfassungsvorrichtung der eingangs genannten Art vorzuschlagen, welche die genannten Nachteile vermeidet oder verringert. Ferner soll ein Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung einer solchen Bilderfassungsvorrichtung bereitgestellt werden.
• Dementsprechend werden hier eine Bilderfassungsvorrichtung nach Anspruch 1 sowie ein Verfahren nach Anspruch 12 vorgeschlagen. Bevorzugte Ausgestaltungen und Weiterbildungen ergeben sich mit den Merkmalen der Unteransprüche.
• Die vorgeschlagene Bilderfassungsvorrichtung umfasst
  einen Lichtsensor, umfassend mindestens ein Sensorelement, eingerichtet zum Erfassen eines Messwerts, entsprechend mindestens einem Messparameter von aus einem Objektraum abgestrahltem und auf den Lichtsensor auftreffendem Licht,
  einen Lichtmodulator, umfassend eine Vielzahl von Blenden (d. h. mindestens zwei Blenden), wobei jede der Blenden dazu eingerichtet ist, mindestens einen Modifikationsparameter des aus dem Objektraum abgestrahlten Lichts vor dem Auftreffen auf den Lichtsensor in Abhängigkeit von einem jeweiligen Steuerparameter zu beeinflussen,
  eine Steuereinheit, eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden des Lichtmodulators ist, entsprechend derer die Blenden den mindestens einen Modifikationsparameter beeinflussen, und ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements erfassten Messwerts während des Ansteuerns des Lichtmodulators mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird,
  eine Auswerteeinheit, eingerichtet zum Berechnen einer plenoptischen Funktion des aus dem Objektraum abgestrahlten Lichts auf Grundlage der Abfolge von Masken und der Abfolge von Ausgangsbildern.
• Es ist ferner vorgesehen, dass
  ein Strahlengang, entlang dessen das aus dem Objektraum abgestrahlte Licht zu dem Lichtsensor gelangt, - im Folgenden auch als Detektionsstrahlengang bezeichnet - kein abbildendes optisches Element oder unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse und ansonsten kein abbildendes optisches Element enthält und
  die Auswerteeinheit dazu eingerichtet ist, die plenoptische Funktion mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern zu berechnen.
• Wo in dieser Anmeldung von mindestens einem Element einer bestimmten Art die Rede ist, so kann dies stets eines oder mehrere Elemente der besagten Art umfassen.
• Die vorgeschlagene Bilderfassungsvorrichtung zeichnet sich unter anderem durch eine hohe nutzbare Informationsdichte bei zugleich kompaktem optischem Aufbau aus. Jede der Blenden des Lichtmodulators (mit oder ohne jeweilige Linse) wirkt hierbei als Lochblende bzw. Lochkamera, durch welche jeweilige Strahlen (bzw. dünne Lichtkegel) des aus dem Objektraum abgestrahlten Lichts auf ein oder mehrere Sensorelemente des Lichtsensors fallen. Dadurch enthält jedes der Ausgangsbilder Informationen über mehrere räumliche Perspektiven, unter welchen jeweilige Anteile des aus dem Objektraum abgestrahlten Lichts erfasst werden. Zudem ist aufgrund der großen effektiven Blendenfläche (virtuelle Blendenöffnung, die der Summe der Flächen der einzelnen Blenden entspricht) eine hohe Signalstärke und folglich ein gutes Signal-Rausch-Verhältnis erzielbar.
• Ermöglicht werden eine solche Bilderfassungsvorrichtung und ihre Verwendung zum Bestimmen einer plenoptischen Funktion durch die Erkenntnis, dass die plenoptische Funktion in diesem Fall mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern berechnet werden kann. Die sequentielle Korrelation ermöglicht es, die innerhalb der Ausgangsbilder stark überlappenden Anteile, welche jeweiligen Informationen über die mehreren räumlichen Perspektiven entsprechen, voneinander zu trennen, wodurch die hohe Informationsdichte der Ausgangsbilder nutzbar gemacht wird.
• In dem Fall, dass der Detektionsstrahlengang kein optisches Element enthält, wird dadurch ein besonders einfacher optischer Aufbau mit geringen optischen Abbildungsfehlern, niedrigen Lichtverlusten und hoher Schärfentiefe (d. h. gleichzeitiger scharfer Abbildung von Objekten über einen großen Entfernungsbereich) ermöglicht.
• Auch in dem Fall, in dem der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, kommen die hohe nutzbare Informationsdichte, der kompakte (jedoch hier gegenüber dem Fall ohne optisches Element etwas komplexere) Aufbau der Bilderfassungsvorrichtung sowie die hohe Signalstärke zum Tragen. Zudem wird durch die unmittelbar hinter und/oder vor und/oder an jeder Blende angeordneten Linsen eine besonders hohe Auflösung in einer Ebene im Bereich der Sensorelemente (Sensorebene) erzielt. Auch werden in diesem Fall für eine vorgegebene Lichtausbeute und Auflösung auf der Sensorebene weniger Blenden benötigt als in dem Fall ohne Linsen. Damit kann auch, falls eine geringere Lichtausbeute ausreichend ist, die Aufnahmezeit verkürzt werden, weil mit weniger Blenden weniger Masken zur Ansteuerung notwendig sind.
• Unmittelbar hinter und/oder vor und/oder an jeder Blende angeordnet bedeutet hierbei, dass jede der Linsen bezüglich der jeweiligen Blende so angeordnet ist, dass auf jede der Linsen im Wesentlichen nur ein Anteil des aus dem Objektraum abgestrahlten Lichts auftreffen kann, der auch auf die jeweilige Blende auftrifft. Im Wesentlichen kann dabei bedeuten, dass kein Überlapp oder ein geringer Überlapp von Linsen mit Anteilen von Licht benachbarter Blenden möglich sein kann. Mit Linse kann hier eine Einzellinse oder eine aus mehreren Linsenelementen zusammengesetzte Linse gemeint sein. Die Linsen können Mikrolinsen sein, welche in einer Mikrolinsenmaske angeordnet sein können.
• Die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern kann als diskreter Pearson-Korrelationskoeffizient berechenbar sein, d. h. für jedes Paar aus einer gegebenen Blende und einem gegebenen Sensorelement berechenbar als Summe der Abweichungsprodukte des mindestens einen Modifikationsparameters und der entsprechenden Messwerte eines gegebenen Messparameters über die Abfolge von Ausgangsbildern hinweg, geteilt (normiert) durch die Quadratwurzel des Produkts der Summe der entsprechenden Abweichungsquadrate. Alternativ und je nach Anwendung kann die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern auch als Korrelationskoeffizient anderer Art, beispielsweise als Spearman- oder Kendall-Korrelationskoeffizient berechenbar sein.
• Der mindestens eine Messparameter und/oder der mindestens eine Modifikationsparameter kann eine Intensität sein. Alternativ oder zusätzlich können als Messparameter und/oder als Modifikationsparameter eine Polarisation und/oder eine Phase und/oder eine spektrale Eigenschaft und/oder ein sonstiger Lichtparameter des aus dem Objektraum abgestrahlten Lichts vorgesehen sein. Der mindestens eine Modifikationsparameter und/oder der mindestens eine Messparameter kann von einem weiteren Lichtparameter des aus dem Objektraum abgestrahlten Lichts, insbesondere einer Polarisation und/oder einer Phase und/oder einer spektralen Eigenschaft, abhängig sein. Durch geeignete Wahl des mindestens einen Messparameters und/oder des mindestens einen Modifikationsparameters kann die Bilderfassungsvorrichtung für verschiedene Anwendungen vorteilhaft ausgestaltet werden.
• Bei Ausführungsformen, bei denen der mindestens eine Modifikationsparameter eine Intensität ist, d. h. wenn die Blenden des Lichtmodulators dazu eingerichtet sind, als Modifikationsparameter eine Intensität des aus dem Objektraum abgestrahlten Lichts zu beeinflussen, kann die Auswerteeinheit dazu eingerichtet sein, die plenoptische Funktion gemäß der Gleichung $${\mathrm{\Lambda }}_{ik,l}=\frac{{\displaystyle {\sum }_{n=1}^{N_M}\left[\left({\tau }_i^n-{\overline{\tau }}_i\right)\left({\lambda }_{k,l}^n-{\overline{\lambda }}_{k,l}\right)\right]}}{\sqrt{\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\tau }_i^n-{\overline{\tau }}_i\right)}}^2\right]\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\lambda }_{k,l}^n-{\overline{\lambda }}_{k,l}\right)}}^2\right]}}$$

  

  zu berechnen, welche eine normierte sequentielle Korrelation der Abfolge von Masken (beschrieben durch die ${\tau }_i^n)$

  

  ) mit der Abfolge von Ausgangsbildern (beschrieben durch die ${\lambda }_{k,l}^n)$

  

  ) in Form eines diskreten Pearson-Korrelationskoeffizienten beschreibt, wobei
  N_M eine Anzahl der Masken der Abfolge von Masken ist,
  i, k, l und n Indizes sind,
  ${\tau }_i^n$

  

  ein Modifikationskoeffizient ist, gemäß dem die Blende mit Index i eine Transmission des Lichtmodulators linear beeinflusst, während der Lichtmodulator mit einer Maske mit Index n aus der Abfolge von Masken angesteuert wird,
  τ _i ein Mittelwert (arithmetisches Mittel) der Modifikationskoeffizienten ${\tau }_i^n$

  

  über alle Werte von n bei gegebenem i ist,
  ${\lambda }_{k,l}^n$

  

  ein Messwert eines Messparameters mit Index l ist, der mittels des Sensorelements mit Index k des Lichtsensors erfasst wird, während der Lichtmodulator mit der Maske mit Index n angesteuert wird,
  λ _k,l ein Mittelwert (arithmetisches Mittel) der Messwerte ${\lambda }_{k,l}^n$

  

  über alle Werte von n bei gegebenen k und l ist und
  ∧_ik,l ein Anteil der berechneten (hier diskretisierten) plenoptischen Funktion ist, der ein Maß für den Messparameter mit Index l eines Strahls des aus dem Objektraum abgestrahlten Lichts angibt, der durch die Blende mit Index i auf das Sensorelement mit Index k auftrifft. Die ∧_ik,l sind somit implizit von einer Raumrichtung (definiert durch einen Vektor, der die Blende mit Index i und das Sensorelement mit Index k verbindet) und einer räumlichen Position eines Flächenelements, durch welches der besagte Strahl tritt, (definiert durch einen Vektor, der eine Position der Blende mit Index i oder des Sensorelements mit Index k angibt) abhängig.
• Eine Beziehung zwischen dem Messwert ${\lambda }_{k,l}^n,$

  

  dem Modifikationskoeffizienten ${\tau }_i^n$

  

  und dem Anteil ∧_ik,l der plenoptischen Funktion kann darstellbar sein durch die Gleichung $${\lambda }_{k,l}^n={\displaystyle {\sum }_{i=1}^{N_B}{\tau }_i^n{\mathrm{\Lambda }}_{ik,l}}$$

  

  wobei N_B eine Anzahl der Blenden des Lichtmodulators ist.
• Im Objektraum können ein oder mehrere Objekte anordenbar oder angeordnet sein. Auf Grundlage der mittels der Bilderfassungsvorrichtung berechenbaren plenoptischen Funktion können dann weitere Verarbeitungsschritte durchführbar sein, anhand derer zum Beispiel optische, strukturelle oder sonstige Eigenschaften des einen Objekts oder der mehreren Objekte erfassbar sind.
• Beispielsweise kann die Auswerteeinheit dazu eingerichtet sein, auf Grundlage der berechneten plenoptischen Funktion mindestens ein Rekonstruktionsbild, vorzugsweise mehrere Rekonstruktionsbilder, mit synthetischem Fokus zu erzeugen, und/oder dazu, auf Grundlage der plenoptischen Funktion und/oder dem mindestens einen Rekonstruktionsbild ein Oberflächenprofil mindestens eines Objekts im Objektraum zu bestimmen.
• Als Rekonstruktionsbild mit synthetischem Fokus wird hier ein auf Grundlage der berechneten plenoptischen Funktion erzeugtes Bild bezeichnet, in dem eine vorgegebene Ebene im Objektraum scharf abgebildet ist, wobei die vorgegebene Ebene innerhalb eines Bereichs frei wählbar sein kann. Ein Rekonstruktionsbild mit synthetischem Fokus kann auf Grundlage der plenoptischen Funktion mittels verschiedener aus dem Stand der Technik bekannter Methoden erzeugt werden (vgl. etwa Xiao et al., Applied Optics, Jg. 52 (2013), Ausg. 4, S. 546-560, doi: 10.1364/AO.52.000546 - im Folgenden Xiao et al.; dort beispielhaft Gleichung 3).
• Als Oberflächenprofil wird hier eine (diskrete oder kontinuierliche) mathematische Darstellung der Oberfläche eines Objekts bezeichnet, etwa eine Tiefenkarte, welche die Entfernung verschiedener Punkte der Oberfläche des Objekts bezogen auf eine Referenzebene angibt. Die mathematische Darstellung der Oberfläche des Objekts kann neben räumlichen Positionen von Punkten der Oberfläche des Objekts weitere lokale Oberflächenparameter, etwa Reflexions- und/oder Streueigenschaften der Oberfläche umfassen.
• Die Auswerteeinheit kann dazu eingerichtet sein, das Oberflächenprofil durch künstliche Fokusvariation zu bestimmen. Bei der künstlichen Fokusvariation wird jeweils in einer Umgebung mehrerer Raumpunkte eine Varianz der Helligkeit oder einer anderen räumlich aufgelösten Größe eines Rekonstruktionsbildstapels (d. h. einer Vielzahl von Rekonstruktionsbildern mit jeweils unterschiedlichem synthetischem Fokus) berechnet und dann Raumpunkte gesucht, in deren Umgebung die Varianz gegenüber anderen Raumpunkten geringer ist (beispielsweise anhand eines Schwellwerts oder durch Bestimmung lokaler Minima). Diese Raumpunkte geringerer Varianz werden als Punkte der Oberfläche des Objekts identifiziert.
• Die Auswerteeinheit kann ferner dazu eingerichtet sein, ein zuvor aufgrund von ersten Ausgangsbildern bestimmtes Oberflächenprofil durch ein iteratives Verfahren weiter zu verfeinern, wobei in jeder Iteration zunächst auf Grundlage des zuvor bestimmten Oberflächenprofils und eines optischen und/oder photometrischen Modells der Bilderfassungsvorrichtung ein Satz von zweiten Ausgangsbildern numerisch simuliert und anschließend das Oberflächenprofil variiert und eine Abweichung der zweiten Ausgangsbilder von den ersten Ausgangsbildern berechnet wird und wobei über mehrere Iterationen die Abweichung der zweiten Ausgangsbilder von den ersten Ausgangsbildern minimiert wird.
• Sofern der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, kann jede der Linsen so angeordnet sein, dass sie eine vorgegebene Objektebene im Objektraum auf das mindestens eine Sensorelement des Lichtsensors optisch abbildet. Die vorgegebene Objektebene kann für jede der Linsen identisch sein oder es können verschiedenen Linsen verschiedene Objektebenen entsprechen. Die vorgegebene Objektebene kann im Unendlichen liegen.
• Die Auswerteeinheit kann dazu eingerichtet sein, eine nachträgliche Richtungskorrektur aufgrund von optischen Aberrationen abgelenkter Anteile des aus dem Objektraum abgestrahlten Lichts zu berechnen. Eine solche Korrektur ist insbesondere dann vorteilhaft, wenn der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält, da die Linsen zu optischen Aberrationen führen können.
• Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungskorrektur mittels einer Koordinatentransformation zu berechnen, welche ideale (nicht durch die optischen Aberrationen beeinflusste) räumliche Koordinaten in reale (durch die optischen Aberrationen beeinflusste Koordinaten) räumliche Koordinaten überführt. Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungskorrektur beim Berechnen der plenoptischen Funktion und/oder beim Erzeugen des Rekonstruktionsbildes mit synthetischem Fokus und/oder beim Bestimmen des Oberflächenprofils anzuwenden. Die Auswerteeinheit kann dazu eingerichtet sein, die nachträgliche Richtungskorrektur auf Grundlage einer optischen Modellierung und/oder auf Grundlage einer empirischen Kalibrierung des Detektionsstrahlengangs zur Zuordnung der idealen und realen räumlichen Koordinaten zu berechnen.
• Der Lichtsensor kann ein einziges Sensorelement oder eine Vielzahl von Sensorelementen und/oder einen Matrixsensor, insbesondere einen rechteckigen oder polygonalen Matrixsensor, und/oder einen segmentierten Sensor und/oder einen Multispektralsensor und/oder einen Charge-Coupled-Device-Sensor (CCD-Sensor) und/oder einen Complementary-Metal-Oxide-Semiconductor-Sensor (CMOS-Sensor) umfassen.
• Der Lichtmodulator kann räumlich getrennte Blenden und/oder Blenden, die durch eine kontinuierliche, aber segmentierte Blendenfläche gebildet werden, umfassen. Die Blenden können reflektive und/oder transmittierende Elemente sein, deren Reflektivität bzw. Transmission von dem jeweiligen Steuerparameter abhängen kann. Jede der Blenden kann dazu eingerichtet sein, den Modifikationsparameter oder die Modifikationsparameter in Abhängigkeit von jeweils einem oder mehreren Steuerparametern zu beeinflussen. Jede der Blenden kann dazu eingerichtet sein, den oder die Modifikationsparameter in Abhängigkeit von dem jeweiligen Steuerparameter in kontinuierlich oder diskret oder binär (an/aus) einstellbaren Schritten zu beeinflussen.
• Der Lichtmodulator kann einen Satz von sequentiell austauschbaren statischen Blendenmasken und/oder ein rotierbares und/oder verschiebbares Blendenobjekt und/oder eine Blendenmatrix, insbesondere eine rechteckige oder polygonale Blendenmatrix, und/oder einen Spatial Light Modulator (im Folgenden SLM) und/oder ein Digital Mirror Device (im Folgenden DMD) und/oder einen verformbaren Spiegel umfassen.
• Umfasst der Lichtmodulator eine Blendenmatrix, insbesondere einen SLM und/oder ein DMD, so kann als Blende ein einzeln ansteuerbares Blendenelement der Blendenmatrix (etwa ein Pixel eines SLM oder ein Spiegel eines DMD) und/oder eine aus mehreren Blendenelementen (etwa Pixeln eines SLM oder Spiegeln eines DMD) zusammengesetzte effektive Blende bezeichnet werden.
• Der Lichtsensor und/oder der Lichtmodulator kann entsprechend der vorstehenden optionalen Merkmale auf einfache Weise mit gängigen Bauteilen realisiert und an eine Vielzahl möglicher Anwendungen angepasst werden.
• Die Abfolge von Masken kann eine Anzahl von Masken umfassen, die mindestens einer Anzahl der Blenden des Lichtmodulators multipliziert mit einer Anzahl der von jeder Blende beeinflussten Modifikationsparameter entspricht. Damit kann sichergestellt werden, dass die plenoptische Funktion vollständig und mit gutem Signal-Rausch-Verhältnis berechenbar ist (wie etwa am Beispiel der Gleichung 2 ersichtlich ist, welche die Bestimmung der plenoptischen Funktion als lineares Gleichungssystem mit einer Dimension, die der Anzahl der Blenden des Lichtmodulators multipliziert mit der Anzahl der von jeder Blende beeinflussten Modifikationsparameter entspricht, darstellt).
• Die Abfolge von Masken kann eine Basis eines durch die Steuerparameter oder die Modifikationsparameter aufgespannten Vektorraums sein. Beispielsweise kann die Abfolge von Masken aus der kanonischen Basis bestehen d. h. aus Masken, in denen jeweils einer der Steuerparameter bzw. Modifikationsparameter von Null verschieden ist und die übrigen Steuerparameter bzw. Modifikationsparameter gleich Null sind. Als weiteres Beispiel kann die Abfolge von Masken mittels des Gram-Schmidt-Orthogonalisierungsverfahrens aus einem Satz von Masken, die Zufallszahlen als Steuerparameter enthalten, erzeugbar sein.
• Jedes der Ausgangsbilder kann als Einzelbild, d. h. durch eine einzige Messung, erfasst werden. Jedes der Ausgangsbilder kann als Summe oder Mittelwert mehrerer nacheinander oder in vermischter Reihenfolge erfasster Einzelbilder zur selben Maske erfasst werden.
• Der Lichtmodulator kann eine erste Modulationseinheit und eine zweite Modulationseinheit umfassen, wobei die erste und zweite Modulationseinheit in verschiedenen Ebenen des Detektionsstrahlengangs angeordnet sind, so dass das aus dem Objektraum abgestrahlte Licht vor Erreichen des Lichtsensors zuerst die erste und dann die zweite Modulationseinheit passiert. Die Steuereinheit kann dann dazu eingerichtet sein, die erste Modulationseinheit mit einer ersten Abfolge von Masken, die zweite Modulationseinheit mit einer zweiten Abfolge von Masken zeitlich sequentiell so anzusteuern, dass während des Ansteuerns der ersten Modulationseinheit mit jeder einzelnen der Masken der ersten Abfolge die zweite Modulationseinheit jeweils mit der gesamten zweiten Abfolge angesteuert und zu jeder so erzeugten Maskenkombination mindestens ein Ausgangsbild erfasst wird. Die erste und/oder zweite Modulationseinheit kann beispielsweise einen SLM und/oder ein DMD umfassen.
• Ein Lichtmodulator mit zwei Modulationseinheiten kann insbesondere in einer Bilderfassungsvorrichtung mit einem einzigen Sensorelement (beispielsweise einem Spektrometer) oder einer sonstigen geringen Anzahl von Sensorelementen vorteilhaft eingesetzt werden, da auf diese Weise trotz der geringen Anzahl von Sensorelementen eine hohe Informationsdichte erzielt werden kann (im Beispiel mit Spektrometer ist somit auch spektrale Information erfassbar).
• Das aus dem Objektraum abgestrahlte Licht kann sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung umfassen. Dementsprechend kann die Bilderfassungsvorrichtung (insbesondere der Lichtsensor und der Lichtmodulator) für sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung ausgelegt sein. Mit Licht können hier also verschiedene Bereiche des elektromagnetischen Spektrums, nicht bloß sichtbares Licht gemeint sein. Somit ist ein breiter Anwendungsbereich der Bilderfassungsvorrichtung möglich.
• Die Bilderfassungsvorrichtung kann ferner mindestens eine Lichtquelle zum Erzeugen eines Beleuchtungslichts umfassen, mittels dessen eines oder mehrere Objekte im Objektraum zum Erzeugen des aus dem Objektraum abgestrahlten und auf den Lichtsensor auftreffenden Lichts beleuchtbar sind. Die Lichtquelle kann eine fest eingestellte oder manuell und/oder oder mittels der Steuereinheit einstellbare Position und/oder Orientierung aufweisen. Das Beleuchtungslicht kann eine fest eingestellte oder manuell und/oder mittels der Steuereinheit einstellbare Helligkeit und/oder räumliche Intensitätsmodulation und/oder zeitliche Intensitätsmodulation aufweisen. Das Beleuchtungslicht kann kohärent, inkohärent oder teilweise kohärent sein. Das Beleuchtungslicht kann zufällig polarisiert oder polarisiert, beispielsweise linear oder zirkulär polarisiert, sein.
• Es kann vorgesehen sein, dass ein Abstand zwischen dem Lichtsensor und dem Lichtmodulator manuell und/oder mittels der Steuereinheit einstellbar ist. Damit kann eine Art Zoom realisiert werden, durch welchen die Vor- und Nachteile größerer bzw. kleinerer Abstände gegeneinander abgewogen werden können (etwa bei großem Abstand: bessere Winkelauflösung, aber geringerer Öffnungswinkel).
• Die Bilderfassungsvorrichtung kann ein zur Verringerung von einfallendem Streulicht eingerichtetes Gehäuse aufweisen, wobei der Lichtsensor im Inneren des Gehäuses und/oder der Lichtmodulator an einer Öffnung des Gehäuses angeordnet sein können.
• Die Auswerteeinheit und/oder die Steuereinheit kann einen Mehrzweckcomputer und/oder eine oder mehrere dedizierte integrierte Schaltungen umfassen. Die Auswerteeinheit und die Steuereinheit können als eine einzige Verarbeitungseinheit oder als separate Einheiten gebildet sein. Die Bilderfassungsvorrichtung kann weiterhin eine Visualisierungseinheit, eingerichtet zum zweidimensionalen und/oder dreidimensionalen Visualisieren der Ausgangsbilder und/oder der plenoptischen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflächenprofils, umfassen.
• Das vorgeschlagene Verfahren erlaubt ein Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht unter Verwendung der vorgeschlagenen Bilderfassungsvorrichtung. Das Verfahren umfasst die Schritte:
• zeitlich sequentielles Ansteuern des Lichtmodulators mittels der Abfolge von Masken zum Beeinflussen mindestens eines Modifikationsparameter des aus dem Objektraum abgestrahlten Lichts vor dem Auftreffen auf den Lichtsensor in Abhängigkeit von den jeweiligen Steuerparametern,
• Erfassen von Messwerten, entsprechend jeweils mindestens einem Messparameter des aus dem Objektraum abgestrahlten Lichts, mittels des mindestens einen Sensorelements des Lichtsensors,
• zeitlich sequentielles Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements erfassten Messwert während des Ansteuerns des Lichtmodulators mit jeweils einer der Masken entspricht und wobei zu jeder Maske mindestens ein Ausgangsbild erfasst wird, mittels der Steuereinheit,
• Berechnen der plenoptischen Funktion des aus dem Objektraum abgestrahlten Lichts mittels der Auswerteeinheit mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern.
• Im Rahmen des vorgeschlagenen Verfahrens entfaltet die vorgeschlagene Bildverarbeitungsvorrichtung unmittelbar ihre Vorteile. Neben den genannten Schritten kann das Verfahren weitere Schritte umfassen, wie sie sich beispielsweise aus den oben genannten Ausgestaltungen und Weiterbildungen der Bildverarbeitungsvorrichtung ergeben.
• Im Folgenden werden die vorgeschlagene Bilderfassungsvorrichtung und das vorgeschlagene Verfahren anhand beispielhafter Ausführungsformen näher erläutert, wobei die beigefügten Abbildungen zum besseren Verständnis der beispielhaften Ausführungsformen samt ihrer oben genannten und sonstigen Vorteile beitragen sollen. Hierbei zeigen
• 1 eine Prinzipskizze einer Bilderfassungsvorrichtung,
• 2 eine schematische Darstellung einer beispielhaften Bilderfassungsvorrichtung,
• 3 eine schematische Darstellung einer Bilderfassungsvorrichtung gemäß einem weiteren Beispiel.
• Wiederkehrende und ähnliche Merkmale werden in den Abbildungen mit identischen Bezugszeichen versehen, wobei Bezugszeichen bereits in anderen Abbildungen gezeigter Merkmale teilweise ausgelassen sein können. Ebenso kann bei der Beschreibung verschiedener Abbildungen auf die Erwähnung bereits beschriebener Merkmale verzichtet werden.
• Die in 1 gezeigte Bilderfassungsvorrichtung 1 umfasst einen Lichtsensor 2, der mehrere Sensorelemente 3 umfasst. Jedes der Sensorelemente 3 ist eingerichtet zum Erfassen jeweils eines Messwerts, entsprechend einem Messparameter von aus einem Objektraum 4 abgestrahltem und auf den Lichtsensor 2 auftreffendem Licht (im Folgenden auch Detektionslicht) 5. Im Objektraum 4 sind ein oder mehrere Objekte 13 anordenbar oder angeordnet (in 1 ist ein Objekt 13 gezeigt).
• Der abgebildete Lichtsensor 2 ist beispielhaft; der Lichtsensor 2 umfasst allgemein eines oder mehrere Sensorelemente 3, die jeweils zum Erfassen eines oder mehrerer Messwerte, entsprechend jeweils einem Messparameter des Detektionslichts 5, eingerichtet sind.
• Die Bilderfassungsvorrichtung 1 umfasst weiterhin einen Lichtmodulator 6, umfassend eine Vielzahl von Blenden 7, wobei jede der Blenden 7 dazu eingerichtet ist, einen Modifikationsparameter des Detektionslichts 5 vor dem Auftreffen auf den Lichtsensor 2 in Abhängigkeit von einem jeweiligen Steuerparameter zu beeinflussen. Alternativ kann jede der Blenden dazu eingerichtet sein, mehrere verschiedene Modifikationsparameter des Detektionslichts 5 zu beeinflussen.
• Der mindestens eine Messparameter und/oder der mindestens eine Modifikationsparameter kann beispielsweise eine Intensität des Detektionslichts 5 sein. Alternativ oder zusätzlich können als Messparameter und/oder als Modifikationsparameter eine Polarisation und/oder eine Phase und/oder eine spektrale Eigenschaft und/oder ein sonstiger Lichtparameter des Detektionslichts 5 vorgesehen sein. Der mindestens eine Modifikationsparameter und/oder der mindestens eine Messparameter kann von einem weiteren Lichtparameter des Detektionslichts 5, insbesondere einer Polarisation und/oder einer Phase und/oder einer spektralen Eigenschaft, abhängig sein.
• Die Bilderfassungsvorrichtung 1 umfasst eine Verarbeitungseinheit 8, umfassend eine Steuereinheit 9, eine Auswerteeinheit 10 sowie eine Visualisierungseinheit 11. Die Auswerteeinheit 9, die Steuereinheit 10 und die Visualisierungseinheit 11 sind als Teile einer einzigen Verarbeitungseinheit 8 gezeigt, die beispielsweise einen Mehrzweckcomputer mit geeigneter Software umfassen kann; Die Auswerteeinheit 9, die Steuereinheit 10 und die Visualisierungseinheit 11 können auch als separate, mit einander verbundene Einheiten gebildet sein. Die Verarbeitungseinheit 8 kann alternativ oder zusätzlich eine oder mehrere dedizierte integrierte Schaltungen umfassen.
• Die Steuereinheit 9 ist eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators 6 mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden 7 des Lichtmodulators 6 ist, entsprechend derer die Blenden 7 den Modifikationsparameter beeinflussen. Die Steuereinheit 9 ist ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder den mittels der Sensorelement 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird.
• Die Auswerteeinheit 10 ist eingerichtet zum Berechnen einer plenoptischen Funktion des Detektionslichts 5 mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern.
• Ferner ist die Auswerteeinheit 10 dazu eingerichtet, auf Grundlage der berechneten plenoptischen Funktion ein oder mehrere Rekonstruktionsbilder mit synthetischem Fokus zu erzeugen und dazu, auf Grundlage der Rekonstruktionsbilder ein Oberflächenprofil des Objekts 13 oder der Objekte 13 im Objektraum 4 zu bestimmen.
• Die Visualisierungseinheit 11 ist eingerichtet zum zweidimensionalen oder dreidimensionalen Visualisieren der Ausgangsbilder und/oder der plenoptischen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflächenprofils.
• Ein Detektionsstrahlengang 12, entlang dessen das Detektionslicht 5 zu dem Lichtsensor 2 gelangt, enthält kein abbildendes optisches Element, also insbesondere keine Linsen oder sonstigen refraktiven abbildenden Elemente.
• Alternativ kann der Detektionsstrahlengang 12 unmittelbar hinter und/oder vor und/oder an jeder Blende 7 jeweils eine Linse und ansonsten kein abbildendes optisches Element enthalten.
• Die Bilderfassungsvorrichtung 1 umfasst eine Lichtquelle 14 zum Erzeugen eines Beleuchtungslichts 15, mittels dessen das Objekt 13 oder die Objekte 13 im Objektraum 4 zum Erzeugen des Detektionslichts 5 beleuchtbar sind. Die Lichtquelle 14 weist eine mittels der Steuereinheit 9 einstellbare Position und Orientierung auf. Alternativ kann die Lichtquelle 14 eine fest eingestellte oder manuell einstellbare Position und/oder Orientierung aufweisen. Das Beleuchtungslicht 15 kann ferner eine fest eingestellte oder manuell und/oder mittels der Steuereinheit 9 einstellbare Helligkeit und/oder räumliche Intensitätsmodulation und/oder zeitliche Intensitätsmodulation aufweisen. Das Beleuchtungslicht 15 kann kohärent, inkohärent oder teilweise kohärent sein. Das Beleuchtungslicht 15 kann zufällig polarisiert oder polarisiert, beispielsweise linear oder zirkulär polarisiert, sein.
• Das Beleuchtungslicht 15 - und somit das Detektionslicht 5 - kann sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung umfassen. Dementsprechend kann die Bilderfassungsvorrichtung 1 (insbesondere der Lichtsensor 2 und der Lichtmodulator 6) für sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung ausgelegt sein.
• Manche Ausführungen der Bilderfassungsvorrichtung 1 umfassen keine eigene Lichtquelle 14. Das Beleuchtungslicht 15 wird dann mittels einer separaten Lichtquelle, etwa einer Lampe oder eines Lasers, oder als Tageslicht bereitgestellt.
• Auch die in 2 gezeigte Bilderfassungsvorrichtung 1' weist einen Lichtsensor 2 und einen Lichtmodulator 6 auf.
• Der Lichtsensor 2 umfasst eine Vielzahl von Sensorelementen 3, die durch Pixel eines Matrixsensors, insbesondere eines CCD-Sensors oder CMOS-Sensors, gegeben sind. Jedes der Sensorelemente 3 ist somit eingerichtet zum Erfassen jeweils eines Messwerts, entsprechend einer Intensität von aus einem Objektraum 4 abgestrahltem und auf den Lichtsensor 2 auftreffendem Detektionslicht 5 als Messparameter. Im Objektraum 4 sind ein oder mehrere Objekte 13 anordenbar oder angeordnet (in 2 ist ein Objekt 13 gezeigt).
• Der Lichtmodulator kann einen Satz von sequentiell austauschbaren statischen Blendenmasken und/oder ein rotierbares und/oder verschiebbares Blendenobjekt und/oder eine Blendenmatrix, insbesondere eine rechteckige oder polygonale Blendenmatrix, und/oder einen Spatial Light Modulator (im Folgenden SLM) und/oder ein Digital Mirror Device (im Folgenden DMD) und/oder einen verformbaren Spiegel umfassen.
• Der Lichtmodulator 6 umfasst eine Vielzahl von Blenden 7, die durch Pixel eines SLM, also als rechteckige Blendenmatrix gegeben sind. Jede der Blenden 7 ist dazu eingerichtet, als Modifikationsparameter eine Intensität des Detektionslichts 5 vor dem Auftreffen auf den Lichtsensor 2 in Abhängigkeit von einem jeweiligen Steuerparameter zu beeinflussen.
• Die Bilderfassungsvorrichtung 1' umfasst ferner eine Verarbeitungseinheit (nicht abgebildet), umfassend eine Steuereinheit und eine Auswerteeinheit. Die Steuereinheit ist eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators 6 mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden 7 des Lichtmodulators 6 ist, entsprechend derer die Blenden 7 den Modifikationsparameter beeinflussen. Die Steuereinheit 9 ist ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder den mittels der Sensorelement 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird.
• Die Auswerteeinheit 10 ist eingerichtet zum Berechnen einer plenoptischen Funktion des Detektionslichts 5 mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern. Ferner ist die Auswerteeinheit 10 dazu eingerichtet, auf Grundlage der berechneten plenoptischen Funktion ein oder mehrere Rekonstruktionsbilder mit synthetischem Fokus zu erzeugen und dazu, auf Grundlage der Rekonstruktionsbilder ein Oberflächenprofil des Objekts 13 oder der Objekte 13 im Objektraum 4 zu bestimmen.
• Die Bilderfassungsvorrichtung 1' umfasst keine eigene Lichtquelle. Ein Beleuchtungslicht, mittels dessen das Objekt 13 oder die Objekte 13 im Objektraum 4 zum Erzeugen des Detektionslichts 5 beleuchtbar sind, wird mittels einer separaten Lichtquelle (nicht abgebildet), etwa einer Lampe oder eines Lasers, oder als Tageslicht bereitgestellt.
• Die Bilderfassungsvorrichtung 1' weist ein zur Verringerung von einfallendem Streulicht eingerichtetes Gehäuse 16 auf, wobei der Lichtsensor 2 im Inneren des Gehäuses 16 und der Lichtmodulator 6 an einer Öffnung des Gehäuses angeordnet ist.
• Ein Abstand 20 zwischen dem Lichtsensor 2 und dem Lichtmodulator 6 ist mittels eines durch die Steuereinheit 9 ansteuerbaren Aktuators (nicht gezeigt) einstellbar. Der Abstand 20 kann alternativ fest eingestellt oder manuell (etwa mittels einer Mikrometerschraube und/oder einer Schiebevorrichtung) einstellbar sein.
• Die in 3 gezeigte Bilderfassungsvorrichtung 1" gleicht der Bilderfassungsvorrichtung 1' in weiten Teilen, weshalb im Folgenden nur die Unterschiede dargestellt werden.
• Bei der Bilderfassungsvorrichtung 1" umfasst der Detektionsstrahlengang 12 unmittelbar hinter jeder Blende 7 (d. h. zwischen dem Lichtmodulator 6 und dem Lichtsensor 2) jeweils eine Linse 17. Die Linsen 17 sind den Dimensionen der Blenden 7 angepasste Mikrolinsen, welche in einer Mikrolinsenmaske 18 angeordnet sind. Jede der 17 Linsen ist so angeordnet, dass sie eine vorgegebene Objektebene 19 im Objektraum 4 auf die Sensorelemente 3 des Lichtsensors 2 optisch abbildet, wobei die Objektebene im Unendlichen liegen kann. Die Linsen 17 können alternativ andere Arten von Linsen, also keine Mikrolinsen, etwa gewöhnliche Singlett- oder Dublettlinsen sein.
• Die Auswerteeinheit (nicht gezeigt) der Bilderfassungsvorrichtung 1" ist ferner dazu eingerichtet, eine nachträgliche Richtungskorrektur aufgrund von durch die Linsen 17 verursachten optischen Aberrationen abgelenkter Anteile des Detektionslichts zu berechnen.
• Im Folgenden wird ein Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum abgestrahltem Licht beschrieben. Das Verfahren kann unter Verwendung einer Bilderfassungsvorrichtung der vorgeschlagenen Art ausgeführt werden und wird hier am Beispiel der in 2 beispielhaft dargestellten Bildverarbeitungsvorrichtung 1' erläutert.
• Ein erster Schritt des Verfahrens umfasst ein Erzeugen einer Abfolge von Masken mittels der Steuereinheit, wobei eine Anzahl der Masken der Abfolge von Masken mit N_M bezeichnet sei. N_M entspricht dabei einer Anzahl der Blenden 7 des Lichtmodulators 6 multipliziert mit der Anzahl der von jeder Blende beeinflussten Modifikationsparameter (letztere Anzahl ist hier 1, da - wie oben erwähnt - nur die Intensität beeinflusst wird). N_M kann alternativ größer (etwa zum Verbessern des Signal-Rausch-Verhältnisses) oder kleiner (etwa bei Verwendung von Compressive Sensing) sein.
• Die Masken selbst können durch Werte ${\tau }_i^n$

  

  des Modifikationskoeffizienten dargestellt werden, gemäß derer eine Transmission der Blende 7 mit Index i (mit Werten von 1 bis zur Anzahl der Blenden) die Intensität des Detektionslichts 5 linear beeinflusst, wenn der Lichtmodulator 6 mit einer Maske mit Index n (mit Werten von 1 bis N_M) aus der Abfolge von Masken angesteuert wird. In bestimmten Ausführungsformen erfolgt die Intensitätsmodulation nicht linear, sondern wird durch die Vorschrift $I=c\cdot ƒ\left(\tau {\text{'}}_i^n\right)$

  

  mit der Intensität I, einer Konstanten c und einer nichtlinearen Funktion ƒ beschrieben. In diesem Fall muss die folgende Umrechnung der Maskenwerte ${\tau }_i^n$

  

  in die Ansteuerungswerte $\tau {\text{'}}_i^n$

  

  erfolgen: $I=c\cdot ƒ\left(\tau {\text{'}}_i^n\right)\text{mit}\tau {\text{'}}_i^n={ƒ}^{-1}\left({\tau }_i^n\right),$

  

  wobei ƒ^-1 eine Umkehrfunktion von / ist.
• Zur Vorbereitung des Ansteuerns der Blenden 7 des Lichtmodulators 6 mit der Abfolge von Masken erzeugt die Steuereinheit zu jedem Modifikationskoeffizienten ${\tau }_i^n$

  

  jeweils einen Steuerparameter ${\alpha }_i^n$

  

  der proportional zu dem jeweiligen Modifikationskoeffizienten ${\tau }_i^n$

  

  ist.
• Die Abfolge von Masken wird als eine Basis eines durch die Modifikationsparameter der Blenden 7 aufgespannten Vektorraums erzeugt, beispielsweise als kanonische Basis oder mittels des Gram-Schmidt-Orthogonalisierungsverfahrens (s. o.).
• Alternativ kann die Abfolge von Masken fest vorgegeben und in einer mit der Steuereinheit 9 verbundenen Speichereinheit bereitgestellt sein. In diesem Fall kann der vorgenannte Verfahrensschritt ausgelassen werden.
• Ein weiterer Schritt des Verfahrens umfasst ein zeitlich sequentielles Ansteuern des Lichtmodulators 6 mittels der zuvor erzeugten oder in der Speichereinheit bereitgestellten Abfolge von Masken zum Beeinflussen des Modifikationsparameters (Intensität) des Detektionslichts 5 vor dem Auftreffen auf den Lichtsensor 2 in Abhängigkeit von den jeweiligen Steuerparametern. Das beim Ansteuern mit jeder der Masken auf den Lichtsensor 2 auftreffende Detektionslicht 5 enthält somit sowohl Information über das Objekt 13 bzw. die Objekte 13 als auch (bekannte) Information über die jeweilige Maske.
• Ein weiterer Schritt des Verfahrens umfasst ein Erfassen der hier als ${\lambda }_k^n$

  

  bezeichneten Messwerte, entsprechend jeweils der Intensität des Detektionslichts 5 als Messparameter, mittels der Sensorelemente 3 des Lichtsensors 2. Dabei bezeichnet ${\lambda }_k^n$

  

  einen Messwert der Intensität der mittels des Sensorelements 3 mit Index k des Lichtsensors 2 erfasst wird, während der Lichtmodulator 6 mit der Maske mit Index n angesteuert wird (entsprechend ${\lambda }_{k,l}^n$

  

  für den hier vorliegenden Spezialfall l = 1 in den obigen Gleichungen 1 und 2). Die ${\lambda }_k^n$

  

  enthalten wiederum sowohl Information über das Objekt 13 bzw. die Objekte 13 als auch (bekannte) Information über die jeweilige Maske.
• Ein weiterer Schritt des Verfahrens umfasst ein zeitlich sequentielles Erfassen einer Abfolge von Ausgangsbildern mittels der Steuereinheit. Jedes der Ausgangsbilder entspricht den mittels der Sensorelemente 3 erfassten Messwerte während des Ansteuerns des Lichtmodulators 6 mit jeweils einer der Masken der Abfolge von Masken. Zu jeder Maske wird ein Ausgangsbild erfasst. Es ist auch möglich, zu jeder Maske mehr als ein Ausgangsbild zu erfassen; in diesem Fall können die mehreren Ausgangsbilder zu jeder Maske im Folgenden einzeln betrachtet oder miteinander kombiniert werden (etwa durch Aufsummieren oder Mittelwertbildung).
• Ein weiterer Schritt des Verfahrens umfasst ein Berechnen der plenoptischen Funktion als diskrete plenoptische Funktion mittels der Auswerteeinheit mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern. Die plenoptische Funktion wird dargestellt als Anteile Λ_ik der plenoptischen Funktion, welche jeweils ein Maß für die Intensität eines Strahls des Detektionslichts 5 angeben, der durch die vollständig geöffnete bzw. auf maximale Transmission eingestellte Blende 7 mit Index i auf das Sensorelement 3 mit Index k auftreffen würde (da die Blenden 7 und die Sensorelemente 3 eine endliche räumliche Ausdehnung haben, wird hierbei mit Strahl ein entsprechendes Raumwinkelelement bezeichnet).
• Hierzu wird in dem beschriebenen Beispiel die Annahme gemacht, dass eine Beziehung zwischen den Messwerten ${\lambda }_k^n,$

  

  den Modifikationskoeffizienten ${\tau }_i^n$

  

  und den Anteilen Λ_ik der plenoptischen Funktion darstellbar ist durch $${\lambda }_k^n={\displaystyle {\sum }_{i=1}^{N_B}{\tau }_i^n{\mathrm{\Lambda }}_{ik}}$$

  

  (angepasste Form der obigen Gleichung 2).
• Die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern wird dann als diskreter Pearson-Korrelationskoeffizient gemäß folgender Gleichung berechnet: $${\mathrm{\Lambda }}_{ik}=\frac{{\displaystyle {\sum }_{n=1}^{N_M}\left[\left({\tau }_i^n-{\overline{\tau }}_i\right)\left({\lambda }_k^n-{\overline{\lambda }}_k\right)\right]}}{\sqrt{\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\tau }_i^n-{\overline{\tau }}_i\right)}}^2\right]\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\lambda }_k^n-{\overline{\lambda }}_k\right)}}^2\right]}}$$

  

  (angepasste Form der obigen Gleichung 1).
• Dabei ist τ̅_i ein Mittelwert (arithmetisches Mittel) der Modifikationskoeffizienten ${\tau }_i^n$

  

  über alle Werte von n bei gegebenem i, λ _k ein Mittelwert (arithmetisches Mittel) der Messwerte ${\lambda }_k^n$

  

  über alle Werte von n bei gegebenem k.
• Wie in 2 illustriert, enthält jedes der Ausgangbilder räumlich überlappende Informationen über mehrere räumliche Perspektiven, unter welchen jeweilige Anteile des aus dem Objektraum abgestrahlten Lichts erfasst werden. Hier werden zur Illustration zwei Sensorelemente 3a, 3b sowie zwei Blenden 7a, 7b betrachtet. Das Detektionslicht 5 weist entsprechende Lichtanteile 5aa, 5ab, 5ba, 5bb auf, wobei der Lichtanteil 5aa durch die Blende 7a auf das Sensorelement 3a tritt, der Lichtanteil 5ab durch die Blende 7a auf das Sensorelement 3b tritt, der Lichtanteil 5ba durch die Blende 7b auf das Sensorelement 3a tritt, der Lichtanteil 5bb durch die Blende 7b auf das Sensorelement 3b tritt. Am Sensorelement 3a überlappen die Lichtanteile 5ab und 5bb, am Sensorelement 3b überlappen die Lichtanteil 5aa und 5bb.
• In den Anteilen Λ_ik der plenoptischen Funktion sind durch die sequentielle Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern die innerhalb der Ausgangsbilder stark überlappenden Lichtanteile, welche jeweiligen Informationen über die mehreren räumlichen Perspektiven entsprechen, voneinander getrennt.
• Neben den genannten Schritten kann das Verfahren weitere Schritte umfassen, wie sie sich beispielsweise aus den oben genannten Ausgestaltungen und Weiterbildungen der Bildverarbeitungsvorrichtung ergeben. Die Schritte müssen dabei, soweit sie vertauschbar sind, nicht in der angegebenen Reihenfolge ausgeführt werden.
• Ein optionaler Schritt des Verfahrens umfasst ein Erzeugen mehrerer Rekonstruktionsbilder (oder alternativ nur eines Rekonstruktionsbildes) mit synthetischem Fokus, also ein Bild, in dem eine vorgegebene Ebene im Objektraum scharf abgebildet ist, auf Grundlage der berechneten plenoptischen Funktion mittels der Auswerteeinheit.
• Zum Erzeugen jedes Rekonstruktionsbildes wird die Gleichung $$B\left(x_I,y_I,z_I\right)=\frac{1}{{\displaystyle {\sum }_{i}A\left({\rho }_{S,i,x},{\rho }_{S,i,y}\right)}}{\displaystyle \sum _{i}A\left({\rho }_{S,i,x},{\rho }_{S,i,y}\right)\mathrm{\Lambda }\left({\rho }_{S,i,x},{\rho }_{S,i,y}\right)}$$

  

  verwendet. Gleichung 3 ist eine angepasste Form von Gleichung 3 aus Xiao et al. (s. o.). Dabei sind:
• x_I,y_I,z_I Koordinaten im Objektraum 4,
• ρ_S,i,x, ρ_S,i,y Koordinaten eines von dem Punkt x_I,y_I,z_I ausgehenden und durch die Blende mit Index i tretenden Lichtanteils in einer die Sensorelemente 3 umfassenden und parallel zur x_I,y_I-Ebene angeordneten Sensorebene des Lichtsensors 2, die in den Bildkoordinaten x,,y,,z, gemäß dem Strahlensatz durch ${\rho }_{S,i,x}={\rho }_{S,i,x}\left(x_I,y_I,z_I\right)=\frac{z_I+d}{z_I}\left(x_{B,i}-x_I\right)\text{und}{\rho }_{S,i,y}={\rho }_{S,i,y}\left(x_I,y_I,z_I\right)=\frac{z_I+d}{z_I}\left(y_{B,i}-y_I\right)$
  
  gegeben sind,
• d ein Abstand (entlang der z_I-Achse) zwischen der Sensorebene und einer die Blendenelemente 7 des Lichtmodulators 6 umfassenden und parallel zur x_I,y_I-Ebene und an der Stelle z_I = 0 angeordneten Blendenebene,
• x_B,i,y_B,i Koordinaten der Blende mit Index i in der x_I,y_I-Ebene,
• B(x_I,y_I,z_I) ein Helligkeitswert eines dem Punkt x_I,y_I,z_I entsprechenden Pixels des jeweiligen Rekonstruktionsbildes,
• A(ρ_S,i,x,ρ_S,i,y) ein Flächeninhalt einer Gesamtfläche aller von dem von dem Punkt x_I,y_I, z_I ausgehenden und durch die Blende mit Index i tretenden Lichtanteils getroffenen Sensorelemente 3 (im Folgenden beitragende Sensorelemente genannt) in der Sensorebene,
• ∧(p_x,i,p_y,i) eine Summe derjenigen Anteile ∧_ik der plenoptischen Funktion, welche Strahlen, die durch die Blende mit Index i auf die beitragenden Sensorelemente auftreffen, entsprechen, interpoliert am Punkt ρ_x,i, p_y,i (beispielsweise mittels linearer Interpolation oder polynomialer Interpolation oder Spline-Interpolation).
• Die Summen in Gleichung 3 laufen jeweils über alle Blenden 7 (gekennzeichnet durch den Index i).
• Zum Erzeugen des jeweiligen Rekonstruktionsbildes wird Gleichung 3 an einem Satz von Pixeln, die der vorgegebenen Ebene entsprechen, ausgewertet, wobei die vorgegebene Ebene etwa durch eine feste z_I-Koordinate vorgegeben sein kann. Die feste z_I-Koordinate entspricht dann dem synthetischen Fokus.
• Ein weiterer optionaler Schritt des Verfahrens umfasst ein Bestimmen eines Oberflächenprofils des Objekts 13 bzw. der Objekte 13 im Objektraum 4 auf Grundlage der mehreren Rekonstruktionsbilder mittels der Auswerteeinheit.
• Das Oberflächenprofil wird hierbei durch künstliche Fokusvariation bestimmt. Bei der künstlichen Fokusvariation wird jeweils in einer Umgebung mehrerer Raumpunkte eine Varianz der Helligkeitswerte eines im vorherigen Schritt erzeugten Rekonstruktionsbildstapels (d. h. einer Vielzahl von Rekonstruktionsbildern mit jeweils unterschiedlichem synthetischem Fokus) gemäß der Gleichung $$\text{Var}\left(x_I,y_I,z_I\right)={\displaystyle \sum _{i}a\left({\rho }_{x,i},{\rho }_{y,i}\right){\left(\mathrm{\Lambda }\left({\rho }_{x,i},{\rho }_{y,i}\right)-\overline{\Lambda }\left({\rho }_{x,i},{\rho }_{y,i}\right)\right)}^2}$$

  

  berechnet. Dabei bezeichnet Var(x_I,y_I, z_I) die Varianz der Helligkeitswerte des jeweiligen Rekonstruktionsbildes im Raumpunkt x_I, y_I, z_I, a(p_x,j,p_y,i) einen Flächennormierungsfaktor, ∧(p_x,i,p_y,i) einen Mittelwert, und es gelten $$a\left({\rho }_{x,i},{\rho }_{y,i}\right)=\frac{A\left({\rho }_{x,i},{\rho }_{y,i}\right)}{{\displaystyle {\sum }_{j}A\left({\rho }_{x,i},{\rho }_{y,i}\right)}}$$

  

  $$\overline{\Lambda }\left({\rho }_{x,i},{\rho }_{y,i}\right)={\displaystyle \sum _{i}a\left({\rho }_{x,i},{\rho }_{y,i}\right)\mathrm{\Lambda }\left({\rho }_{x,i},{\rho }_{y,i}\right)}$$

  
• Die Summen in Gleichungen 4, 5 und 6 laufen jeweils über alle Blenden 7 (gekennzeichnet durch den Index i bzw. j).
• Nach Bilden der Varianz werden Raumpunkte gesucht, in deren Umgebung die Varianz gegenüber anderen Raumpunkten geringer ist (beispielsweise anhand eines Schwellwerts oder durch Bestimmung lokaler Minima). Diese Raumpunkte geringerer Varianz werden als Punkte der Oberfläche des Objekts identifiziert und daraus das Oberflächenprofil gebildet.
• Ein weiterer optionaler Schritt des Verfahrens umfasst ein zweidimensionales und/oder dreidimensionales Visualisieren der Ausgangsbilder und/oder der plenoptischen Funktion und/oder der Rekonstruktionsbilder und/oder des Oberflächenprofils mittels der Visualisierungseinheit, beispielsweise unter Verwendung eines mit der Visualisierungseinheit verbundenen Bildschirms und/oder einer mit der Visualisierungseinheit verbunden Virtuelle-Realität-Anzeigeeinheit.
• Ein weiter optionaler Schritt des Verfahrens umfasst ein Berechnen einer nachträglichen Richtungskorrektur aufgrund von optischen Aberrationen abgelenkter Anteile des Detektionslichts 5. Dieser Schritt kann insbesondere in dem Fall ausgeführt werden, dass der Detektionsstrahlengang unmittelbar hinter und/oder vor und/oder an jeder Blende jeweils eine Linse enthält (vgl. die in 3 beispielhaft dargestellte Bildverarbeitungsvorrichtung 1").
• Die nachträgliche Richtungskorrektur wird mittels einer Koordinatentransformation berechnet, welche ideale (nicht durch die optischen Aberrationen beeinflusste) räumliche Koordinaten in reale (durch die optischen Aberrationen beeinflusste) räumliche Koordinaten überführt. Die realen räumlichen Koordinaten ρ'_s,i,x' p'_S,i,y werden hierbei aus p_S,i,x,p_S,i,y (ideale räumliche Koordinaten) berechnet als $$\rho {\text{'}}_{S,i,x}\left(x_I,y_I,z_I,\vartheta \right)={\rho }_{S,i,x}\left(x_I,y_I,z_I\right)+\mathrm{\Delta }{\rho }_{S,i}\left(\vartheta \right){\widehat{\rho }}_{S,i,x}$$

  

  und $$\rho {\text{'}}_{S,i,y}\left(x_I,y_I,z_I,\vartheta \right)={\rho }_{S,i,y}\left(x_I,y_I,z_I\right)+\mathrm{\Delta }{\rho }_{S,i}\left(\vartheta \right){\widehat{\rho }}_{S,i,y}$$

  

  wobei ${\widehat{\rho }}_{S,i,x}=\frac{{\rho }_{S,i,x}}{\sqrt{{\rho }_{S,i,x}{}^2+{\rho }_{S,i,y}{}^2}}\text{und}{\widehat{\rho }}_{S,i,y}=\frac{{\rho }_{S,i,y}}{\sqrt{{\rho }_{S,i,x}{}^2+{\rho }_{S,i,y}{}^2}}$

  

  Einheitsvektorkoordinaten sind,
  Δρ_S,i(ϑ) ein auf Grundlage einer optischen Modellierung und/oder auf Grundlage einer empirischen Kalibrierung des Detektionsstrahlengangs Korrekturfaktor ist,
  ϑ ein Einfallwinkel des Detektionslichts 5 ist, für den gilt: $$\text{cos}\left(\vartheta \right)=\frac{z_I}{\sqrt{{\left(x_I-x_{B,i}\right)}^2+{\left(y_I-y_{B,i}\right)}^2+z_I^2}}$$

  
• Ein weiter optionaler Schritt des Verfahrens umfasst ein Anwenden der berechneten Richtungskorrektur beim Berechnen der plenoptischen Funktion und/oder beim Erzeugen des Rekonstruktionsbildes mit synthetischem Fokus und/oder beim Bestimmen des Oberflächenprofils. Dazu werden jeweils in dem zuvor beschriebenen Schritt des Berechnens der plenoptischen Funktion bzw. Erzeugens des Rekonstruktionsbildes mit synthetischem Fokus bzw. Bestimmens des Oberflächenprofils die idealen räumlichen Koordinaten P_S,i,x,P_S,i,y durch die realen räumlichen Koordinaten ρ'_S,i,x' ρ'_S,i,y ersetzt.
• Bezugszeichenliste

1, 1', 1''

Bilderfassungsvorrichtung,

2

Lichtsensor,

3, 3a, 3b

Sensorelement,

4

Objektraum,

5,

Detektionslicht,

5aa, 5ab, 5ba, 5bb

Lichtanteile,

6

Lichtmodulator,

7, 7a, 7b

Blende,

8

Verarbeitungseinheit,

9

Steuereinheit,

10

Auswerteeinheit,

11

Visualisierungseinheit,

12

Detektionsstrahlengang,

13

Objekt,

14

Lichtquelle,

15

Beleuchtungslicht,

16

Gehäuse,

17

Linse,

18

Mikrolinsenmaske,

19

Objektebene,

20

Abstand.

Claims (12)

1. Bilderfassungsvorrichtung (1, 1', 1''), umfassend einen Lichtsensor (2), umfassend mindestens ein Sensorelement (3, 3a, 3b), eingerichtet zum Erfassen eines Messwerts, entsprechend mindestens einem Messparameter von aus einem Objektraum (4) abgestrahltem und auf den Lichtsensor (2) auftreffendem Licht (5), einen Lichtmodulator (6), umfassend eine Vielzahl von Blenden (7, 7a, 7b), wobei jede der Blenden (7, 7a, 7b) dazu eingerichtet ist, mindestens einen Modifikationsparameter des aus dem Objektraum (4) abgestrahlten Lichts (5) vor dem Auftreffen auf den Lichtsensor (2) in Abhängigkeit von einem jeweiligen Steuerparameter zu beeinflussen, eine Steuereinheit (9), eingerichtet zum zeitlich sequentiellen Ansteuern des Lichtmodulators (6) mittels einer Abfolge von Masken, wobei jede der Masken ein Satz der Steuerparameter für jede der Blenden (7, 7a, 7b) des Lichtmodulators (6) ist, entsprechend derer die Blenden (7, 7a, 7b) den mindestens einen Modifikationsparameter beeinflussen, und ferner eingerichtet zum zeitlich sequentiellen Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements (3, 3a, 3b) erfassten Messwert während des Ansteuerns des Lichtmodulators (6) mit jeweils einer der Masken entspricht und wobei zu jeder der Masken mindestens ein Ausgangsbild erfasst wird, eine Auswerteeinheit (10), eingerichtet zum Berechnen einer plenoptischen Funktion des aus dem Objektraum (4) abgestrahlten Lichts (5) auf Grundlage der Abfolge von Masken und der Abfolge von Ausgangsbildern, gekennzeichnet dadurch, dass ein Strahlengang, entlang dessen das aus dem Objektraum (4) abgestrahlte Licht (5) zu dem Lichtsensor (2) gelangt, kein abbildendes optisches Element oder unmittelbar hinter und/oder vor und/oder an jeder Blende (7, 7a, 7b) jeweils eine Linse (17) und ansonsten kein abbildendes optisches Element enthält und die Auswerteeinheit (10) dazu eingerichtet ist, die plenoptische Funktion mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern zu berechnen.
2. Bilderfassungsvorrichtung (1, 1', 1") nach Anspruch 1, wobei die Auswerteeinheit (10) weiterhin dazu eingerichtet ist, auf Grundlage der berechneten plenoptischen Funktion mindestens ein Rekonstruktionsbild, vorzugsweise mehrere Rekonstruktionsbilder, mit synthetischem Fokus zu erzeugen, und/oder dazu, auf Grundlage der plenoptischen Funktion und/oder dem mindestens einen Rekonstruktionsbild ein Oberflächenprofil mindestens eines Objekts (13) im Objektraum (4) zu bestimmen.
3. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei die Blenden (7, 7a, 7b) des Lichtmodulators (6) dazu eingerichtet sind, als Modifikationsparameter eine Intensität des aus dem Objektraum (4) abgestrahlten Lichts (5) zu beeinflussen, wobei die Auswerteeinheit (10) dazu eingerichtet ist, die plenoptische Funktion gemäß der Gleichung $${\mathrm{\Lambda }}_{ik,l}=\frac{{\displaystyle {\sum }_{n=1}^{N_M}\left[\left({\tau }_i^n-{\overline{\tau }}_i\right)\left({\lambda }_{k,l}^n-{\overline{\lambda }}_{k,l}\right)\right]}}{\sqrt{\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\tau }_i^n-{\overline{\tau }}_i\right)}}^2\right]\left[{{\displaystyle {\sum }_{n=1}^{N_M}\left({\lambda }_{k,l}^n-{\overline{\lambda }}_{k,l}\right)}}^2\right]}}$$

   

   zu berechnen, wobei N_M eine Anzahl der Masken der Abfolge von Masken ist, i, k, l, und n Indizes sind, ${\tau }_i^n$

   

   ein Modifikationskoeffizient ist, gemäß dem die Blende (7, 7a, 7b) mit Index i eine Transmission des Lichtmodulators (6) linear beeinflusst, während der Lichtmodulator (6) mit einer Maske mit Index n aus der Abfolge von Masken angesteuert wird, τ _i ein Mittelwert der Modifikationskoeffizienten ${\tau }_i^n$

   

   über alle Werte von n bei gegebenem i ist, ${\lambda }_{k,l}^n$

   

   ein Messwert eines Messparameters mit Index l ist, der mittels des Sensorelements (3, 3a, 3b) mit Index k des Lichtsensors (2) erfasst wird, während der Lichtmodulator (6) mit der Maske mit Index n angesteuert wird, λ _k,l ein Mittelwert der Messwerte ${\lambda }_{k,l}^n$

   

   über alle Werte von n bei gegebenen k und l ist und ∧_ik,l ein Anteil der berechneten plenoptischen Funktion ist, der ein Maß für den Messparameter mit Index l eines Strahls des aus dem Objektraum (4) abgestrahlten Lichts (5) angibt, der durch die Blende (7, 7a, 7b) mit Index i auf das Sensorelement (3, 3a, 3b) mit Index k auftrifft, wobei eine Beziehung zwischen dem Messwert ${\lambda }_{k,l}^n,$

   

   dem Modifikationskoeffizienten ${\tau }_i^n$

   

   und dem Anteil ∧_ik,l der plenoptischen Funktion darstellbar ist durch die Gleichung $${\lambda }_{k,l}^n={\displaystyle {\sum }_{i=1}^{N_B}{\tau }_i^n{\mathrm{\Lambda }}_{ik,l}}$$

   

   wobei N_B eine Anzahl der Blenden (7, 7a, 7b) des Lichtmodulators (6) ist.
4. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche wobei der mindestens eine Messparameter eine Intensität ist und/oder wobei der mindestens eine Modifikationsparameter eine Intensität ist und/oder wobei der mindestens eine Modifikationsparameter und/oder der mindestens eine Messparameter von einem weiteren Lichtparameter des aus dem Objektraum (4) abgestrahlten Lichts, insbesondere einer Polarisation und/oder einer Phase und/oder einer spektralen Eigenschaft, abhängig ist.
5. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei die Abfolge von Masken eine Anzahl von Masken umfasst, die mindestens einer Anzahl der Blenden (7, 7a, 7b) des Lichtmodulators (6) multipliziert mit einer Anzahl der von jeder Blende (7, 7a, 7b) beeinflussten Modifikationsparameter entspricht.
6. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei der Lichtmodulator (6) einen Satz von sequentiell austauschbaren statischen Blendenmasken und/oder ein rotierbares und/oder verschiebbares Blendenobjekt und/oder eine Blendenmatrix, insbesondere eine rechteckige oder polygonale Blendenmatrix, und/oder einen Spatial Light Modulator und/oder ein Digital Mirror Device umfasst.
7. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei der Lichtsensor (2) eine Vielzahl von Sensorelementen (3, 3a, 3b) und/oder einen Matrixsensor, insbesondere einen rechteckigen Matrixsensor, und/oder einen Multispektralsensor und/oder einen CCD-Sensor und/oder einen CMOS-Sensor umfasst.
8. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei der Lichtmodulator (6) eine erste Modulationseinheit und eine zweite Modulationseinheit umfasst, wobei die erste und zweite Modulationseinheit in verschiedenen Ebenen des Strahlengangs, entlang dessen das aus dem Objektraum (4) abgestrahlte Licht zu dem Lichtsensor (2) gelangt, angeordnet sind, so dass das aus dem Objektraum (4) abgestrahlte Licht vor Erreichen des Lichtsensors (2) zuerst die erste und dann die zweite Modulationseinheit passiert.
9. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei das aus dem Objektraum (4) abgestrahlte Licht sichtbares Licht und/oder ultraviolettes Licht und/oder infrarotes Licht und/oder Terahertzstrahlung und/oder Röntgenstrahlung und/oder Gammastrahlung umfasst.
10. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, ferner umfassend mindestens eine Lichtquelle zum Erzeugen eines Beleuchtungslichts, mittels dessen eines oder mehrere Objekte im Objektraum (4) zum Erzeugen des aus dem Objektraum (4) abgestrahlten und auf den Lichtsensor (2) auftreffenden Lichts beleuchtbar sind, wobei die Lichtquelle eine fest eingestellte oder manuell und/oder oder mittels der Steuereinheit (9) einstellbare Position und/oder Orientierung aufweist und/oder das Beleuchtungslicht eine fest eingestellte oder manuell und/oder mittels der Steuereinheit (9) einstellbare Helligkeit und/oder räumliche Intensitätsmodulation und/oder zeitliche Intensitätsmodulation aufweist.
11. Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, wobei ein Abstand (20) zwischen dem Lichtsensor (2) und dem Lichtmodulator (6) manuell und/oder mittels der Steuereinheit (9) einstellbar ist.
12. Verfahren zum Bestimmen einer plenoptischen Funktion von aus einem Objektraum (4) abgestrahltem Licht (5) unter Verwendung einer Bilderfassungsvorrichtung (1, 1', 1") nach einem der vorhergehenden Ansprüche, umfassend die Schritte zeitlich sequentielles Ansteuern des Lichtmodulators (6) mittels der Abfolge von Masken zum Beeinflussen mindestens eines Modifikationsparameters des aus dem Objektraum (4) abgestrahlten Lichts (5) vor dem Auftreffen auf den Lichtsensor (2) in Abhängigkeit von den jeweiligen Steuerparametern, Erfassen von Messwerten, entsprechend jeweils mindestens einem Messparameter des aus dem Objektraum (4) abgestrahlten Lichts (5), mittels des mindestens einen Sensorelements (3, 3a, 3b) des Lichtsensors (2), zeitlich sequentielles Erfassen einer Abfolge von Ausgangsbildern, wobei jedes der Ausgangsbilder dem mittels des mindestens einen Sensorelements (3, 3a, 3b) erfassten Messwert während des Ansteuerns des Lichtmodulators (6) mit jeweils einer der Masken entspricht und wobei zu jeder Maske mindestens ein Ausgangsbild erfasst wird, mittels der Steuereinheit (9), Berechnen der plenoptischen Funktion des aus dem Objektraum (4) abgestrahlten Lichts (5) mittels sequentieller Korrelation der Abfolge von Masken mit der Abfolge von Ausgangsbildern.

Images