-
Die
Erfindung betrifft einen Digitalprojektor mit einem Projektorobjektiv,
das eine Lichtmodulationseinheit mit mehreren unabhängig
voneinander ansteuerbaren Modulierungskomponenten zur räumlichen
und zeitlichen Modulation der Lichtintensität umfasst,
sowie ein Verfahren zur Erhöhung einer Schärfentiefe
eines projizierten Bildes mittels eines derartigen Digitalprojektors.
-
Aus
der
DE 20 2006
020 039 U1 sind eine variable Blende für eine
Beleuchtungseinrichtung innerhalb eines optischen Beobachtungsgeräts
und eine Beleuchtungseinrichtung mit einer derartigen Blende zur
Abbildung eines Objekts und/oder eines von einem Objekt erzeugten
Zwischenbildes bekannt, wobei die variable Blende zur Erzeugung
einer bestimmten Beleuchtungsgeometrie bereichsweise ansteuerbar
und/oder in ihrer Lage veränderbar ist. Ferner ist die
variable Blende an ein Eye-Tracking-System gekoppelt und die Beleuchtungsgeometrie
und/oder die Lage der variablen Blende ist in Abhängigkeit
von den durch das Eye-Tracking-System gewonnenen Daten steuerbar
bzw. veränderbar.
-
Aus
der
DE 196 44 662
A1 ist eine Beleuchtungseinrichtung für ein Mikroskop
mit einer Lichtquelle und einer Beleuchtungsoptik bekannt, wobei
im Beleuchtungsstrahlengang des Mikroskops ein LCD angeordnet ist
und das Beleuchtungslicht von der Lichtquelle über das
LCD auf das Objekt gelenkt wird. Über eine Steuer- und
Rechnereinrichtung wird auf dem LCD ein beliebiges Transparent-/Opakmuster
erzeugt. Das LCD ist in einer zur Leuchtfeld- oder Aperturblendenebene
konjugierten Ebene angeordnet und weist eine flächige Matrix mit
einzeln ansteuerbaren Pixeln auf.
-
Der
Erfindung liegt die Aufgabe zu Grunde, einen Digitalprojektor mit
einer verbesserten Schärfentiefe bei gleichzeitiger Optimierung
der Beleuchtungsintensität anzugeben. Ferner liegt der
Erfindung die Aufgabe zu Grunde, ein Verfahren zur Erhöhung
einer Schärfentiefe eines projizierten Bildes mittels eines
derartigen Projektors bei gleichzeitiger Optimierung der Beleuchtungsintensität
anzugeben.
-
Die
Aufgabe wird erfindungsgemäß hinsichtlich des
Digitalprojektors durch die in Anspruch 1 angegebenen Merkmale und
hinsichtlich des Verfahrens durch die in Anspruch 6 angegebenen
Merkmale gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Erfindungsgemäß weist
ein Digitalprojektor ein Projektorobjektiv auf, das eine Lichtmodulationseinheit mit
mehreren unabhängig voneinander ansteuerbaren Modulierungskomponenten
zur räumlichen und zeitlichen Modulation der Lichtintensität
von dem Digitalprojektor ausgesendeten Lichts aufweist. Ferner weist
der Digitalprojektor eine Steuereinheit auf, mittels derer abbildungsrelevante
Eigenschaften eines zu projizierenden Bildes ermittelbar und die
Modulierungskomponenten in Abhängigkeit von den ermittelten
Eigenschaften ansteuerbar sind.
-
Die
Lichtmodulationseinheit mit mehreren unabhängig voneinander
ansteuerbaren Modulierungskomponenten ermöglicht es, von
dem Digitalprojektor ausgesendetes Licht zu modulieren. Durch die
Ansteuerbarkeit der Modulierungskomponenten in Abhängigkeit
von abbildungsrelevanten Eigenschaften eines zu projizierenden Bildes
kann dabei die Lichtintensität räumlich und zeitlich
spezifischen Eigenschaften der zu projizierenden Bilder angepasst
werden. Durch diese Eigenschaften wirkt die Lichtmodulationseinheit
wie eine Blende des Projektorobjektivs, deren Form, Größe
und/oder Lichtdurchlässigkeit veränderbar und
an die zu projizierenden Bilder anpassbar sind. Durch diese Anpassbarkeit
der Blende an das zu projizierende Bild kann vorteilhaft eine erreichbare
Schärfentiefe bei gleichzeitiger Maximierung des Lichtdurchsatzes
durch das Projektorobjektiv gegenüber üblichen
kreisförmigen Blenden erhöht werden. Bei diesen
kreisförmigen Blenden kann nämlich eine wesentliche
Erhöhung der Schärfentiefe nur durch eine starke
Verkleinerung der Blendenöffnung erreicht werden, was eine
deutliche Verringerung des Lichtdurchsatzes zur Folge hat.
-
Eine
Ausgestaltung eines derartigen Digitalprojektors sieht vor, dass
die Lichtmodulationseinheit eine Flüssigkristallmatrix
ist, deren Modulierungskomponenten Flüssigkristallzellen
sind, deren Lichtdurchlässigkeit einzeln veränderbar
ist, so dass die Flüssigkristallmatrix eine in Form, Größe
und Lichtdurchlässigkeit veränderbare Blende des
Projektorobjektivs bildet.
-
Eine
derartige Realisierung der Lichtmodulationseinheit als eine Flüssigkristallmatrix
verwendet bewährte Technik und ist relativ kostengünstig.
Ferner ermöglicht sie eine einfache, flexible und Platz
sparende Ausführung der Lichtmodulationseinheit, da viele
einzeln ansteuerbare Flüssigkristallzellen auf relativ
kleiner Fläche angeordnet werden können.
-
Eine
alternative Ausgestaltung der Lichtmodulationseinheit sieht vor,
dass die Modulierungskomponenten Licht reflektieren und ihr Reflexionsvermögen
und/oder ihre Reflexionsrichtung mittels der Steuereinheit einzeln
veränderbar ist. Beispielsweise kann die Lichtmodulationseinheit
in dieser Ausgestaltung ein Mikrospiegelaktor ist, dessen Modulierungskomponenten
bewegliche Mikrospiegel sind, oder auch ein so genannter Liquid
Crystal an Silicon Chip (LCoS Chip), dessen Modulierungskomponenten
Flüssigkristalle sind.
-
Eine
derart ausgestaltete Lichtmodulationseinheit hat gegenüber
der oben beschriebenen Ausgestaltung als Flüssigkristallmatrix
den Vorteil, dass Licht reflektierende Modulierungskomponenten in
der Regel deutlich weniger Intensitätsverluste des Lichts
verursachen als eine Flüssigkristallmatrix. Handelsübliche
Flüssigkristallmatrizen haben nämlich nur eine
Lichtdurchlässigkeit von maximal etwa 30% und bewirken
damit einen deutlichen Intensitätsverlust. Ein Mikrospiegelaktor
hat jedoch den Nachteil, dass damit nur binäre Blendenmuster
erzeugt werden können, da durch die Verkippung eines Mikrospiegels
die Lichtintensität nicht kontinuierlich verändert
werden kann, sondern nur komplett ausgeschaltet werden kann.
-
Die
erwähnten Ausgestaltungen der Lichtmodulationseinheit als
Flüssigkristallmatrix, Mikrospiegelaktor oder LCoS Chip
ermöglichen ferner vorteilhaft eine flexible und schnelle Änderung
der Blendeneinstellungen durch die elektronische Ansteuerbarkeit
der einzelnen Modulierungskomponenten und deren kurze Antwortzeiten.
-
Bei
dem erfindungsgemäßen Verfahren zur Erhöhung
einer Schärfentiefe eines projizierten Bildes mittels eines
erfindungsgemäßen Digitalprojektors werden abbildungsrelevante
Eigenschaften eines zu projizierenden Bildes ermittelt und die Modulierungskomponenten
in Abhängigkeit von den ermittelten Eigenschaften angesteuert,
so dass sie ein Blendenmuster erzeugen.
-
Unter
einem Blendenmuster wird dabei eine Verteilung von Lichtmodulationseigenschaften
auf einer Fläche der Lichtmodulationseinheit verstanden,
beispielsweise die Verteilung der Lichtdurchlässigkeit
auf einer Oberfläche einer Flüssigkristallmatrix
durch die unterschiedlichen Lichtdurchlässigkeiten deren
einzelnen Flüssigkristallzellen, die Verteilung von Reflexionsrichtungen
auf der Oberfläche eines Mikrospiegelaktors durch die Stellung
dessen einzelnen Mikrospiegel oder die Verteilung von Reflexionsgraden
auf der Oberfläche eines LCoS Chip durch die Einstellungen
dessen Flüssigkristalle.
-
Das
erfindungsgemäße Verfahren bewirkt durch die von
den Eigenschaften eines zu projizierenden Bildes abhängige
Ansteuerung der Modulierungskomponenten die bereits oben beschriebene
vorteilhafte Erhöhung der Schärfentiefe des projizierten
Bildes.
-
Eine
Ausgestaltung des Verfahrens sieht vor, dass als abbildungsrelevante
Eigenschaft ein ortsfrequenzaufgelöstes Leuchtdichtenspektrum
des zu projizierenden Bildes ermittelt wird.
-
Dadurch
wird ermittelt, wie die einzelnen Ortsfrequenzen zur Verteilung
der Leuchtdichte des zu projizierenden Bildes beitragen. Dies ermöglicht
vorteilhaft, das Blendenmuster an die Verteilung der Leuchtdichte des
zu projizierenden Bildes anzupassen und die Leuchtdichte nötigenfalls
bereichsweise lokal zu verändern.
-
Zur
Ermittelung des ortsfrequenzaufgelösten Leuchtdichtenspektrums
werden vorzugsweise eine ortsabhängige Leuchtdichte des
zu projizierenden Bildes ermittelt und eine Fourierzerlegung der
ermittelten ortsabhängigen Leuchtdichte bezüglich
Ortsfrequenzen durchgeführt.
-
Dadurch
wird die Leuchtdichteverteilung des zu projizierenden Bildes über
die Ortsfrequenzen quantitativ ermittelt, was vorteilhaft eine präzise
Anpassung des Blendenmusters an die Leuchtdichteverteilung des zu
projizierenden Bildes ermöglicht.
-
Aus
dem ortsfrequenzaufgelösten Leuchtdichtenspektrum wird
vorzugsweise ein gefiltertes Leuchtdichtenspektrum ermittelt, indem
Leuchtdichtenwerte entfernt werden, die einen ortsfrequenzabhängigen Schwellenwert
unterschreiten.
-
Durch
geeignete ortsfrequenzabhängige Schwellenwerte können
dadurch die Beiträge von Ortsfrequenzen aus dem Leuchtdichtenspektrum
herausgefiltert werden, die für eine gewünschte
Anwendung des Verfahrens nicht benötigt werden oder nicht
erwünscht sind. Insbesondere können hochfrequente
Anteile aus dem Leuchtdichtenspektrum entfernt werden, was günstige
Blendenmuster ermöglicht, die sich besonders gut zur Kompensation
von Defokussierungen durch inverses Filtern (Dekonvolution) bei
gleichzeitigem hohem Lichtdurchsatz eignen.
-
Die
ortsfrequenzabhängigen Schwellenwerte werden dabei vorzugsweise
dem menschlichen visuellen Wahrnehmungsvermögen angepasst.
-
Dadurch
werden die Projektionseigenschaften des Digitalprojektors dem menschlichen
visuellen Wahrnehmungsvermögen angepasst, was vorteilhaft
für Standardanwendungen des Verfahrens ist, bei denen die
projizierten Bilder von Menschen betrachtet werden.
-
Aus
dem gefilterten Leuchtdichtenspektrum wird vorzugsweise ein gefiltertes
zu projizierendes Bild ermittelt.
-
Dadurch
wird das zu projizierende Bild vorteilhaft der Anwendung des Verfahrens
angepasst, indem die Beiträge für die jeweilige
Anwendung irrelevanter Ortsfrequenzanteile herausgefiltert werden.
-
Anhand
des ermittelten Leuchtdichtenspektrums wird ferner bevorzugt eine
Relevanzmatrix ermittelt, die den Ortsfrequenzen einen Relevanzfaktor
aus dem Intervall [0, 1] zuordnet.
-
Dadurch
werden die Beiträge der Ortsfrequenzen gemäß ihrer
Relevanz für das zu projizierende Bild gewichtet, so dass
sie über die Einträge in der Relevanzmatrix vorteilhaft
zur Bestimmung des für die Projektion jeweils geeigneten
Blendenmusters verwendet werden können.
-
Weiterhin
wird zur Ermittelung des Blendenmusters vorzugsweise eine Transfermatrix
gebildet, deren Spalten zueinander orthogonale Basisfunktionen enthalten,
die eine optische Transferfunktion der Lichtmodulationseinheit bilden.
-
Die
Bildung einer derartigen Transfermatrix ermöglicht dabei
die Bestimmung eines Blendenmusters, das zusammen mit der Relevanzmatrix
in unten näher beschriebener Weise eine Erhöhung
einer Schärfentiefe eines projizierten Bildes bei gleichzeitiger
Maximierung des Lichtdurchsatzes durch das Projektorobjektiv ermöglicht.
-
Aus
der Relevanzmatrix und der Transfermatrix werden vorzugsweise Lichtmodulationsparameter
zur Ansteuerung der einzelnen Modulierungskomponenten mittels einer
bekannten Methode pseudoinverser Matrizen in unten näher
beschriebener Weise gebildet.
-
Das
gefilterte zu projizierende Bild wird vorzugsweise mittels einer
Dekonvolution zur Kompensation von Defokussierungen korrigiert.
-
Dabei
wird bei der Dekonvolution im Ortsfrequenzraum in unten näher
beschriebener Weise ein Kompensationsbild im Ortsfrequenzraum aus
den Fouriertransformierten des ermittelten Blendenmusters und des gefilterten
zu projizierenden Bildes ermittelt.
-
Aus
dem ermittelten Kompensationsbild im Ortsfrequenzraum wird durch
inverse Fouriertransformation ein projiziertes Kompensationsbild
im Ortsraum ermittelt.
-
In
einer Weitergestaltung des erfindungsgemäßen Verfahrens
wird bei einer aufeinander folgenden Projektion verschiedener Einzelbilder
eine mittlere Helligkeit jedes Einzelbildes ermittelt und ein Blendenmuster
gemäß den ermittelten mittleren Helligkeiten skaliert,
um einen temporalen Kontrast zu erhöhen.
-
Dabei
wird vorteilhaft ausgenutzt, dass nach Ermittelung des Blendenmusters
für ein Einzelbild dieses Blendenmuster in einfacher Weise
skaliert und die Modulierungskomponenten dem skalierten Blendenmuster entsprechend
angesteuert werden können. Dies ermöglicht vorteilhaft
eine einfache und schnelle temporale Kontrasterhöhung bei
der aufeinander folgenden Projektion verschiedener Einzelbilder,
beispielsweise bei einer Videoprojektion.
-
In
einer weiteren Weitergestaltung des erfindungsgemäßen
Verfahrens wird bei der Projektion eines Bildes dessen Abbildung
defokussiert und die Defokussierung durch eine inverse Filterung
des Bildes kompensiert, um eine Entpixelung des projizierten Bildes
zu erhöhen.
-
Dabei
werden durch die Defokussierung der Abbildung Übergangsbereiche
zwischen einzelnen Bildelementen (Pixeln) zunächst verwaschen
und dadurch eine Entpixelung erzielt. Durch eine inverse Filterung der
Bilddaten werden durch diese Defokussierung verursachte Beeinträchtigungen
der Bildqualität jedoch wenigstens teilweise kompensiert.
Dadurch ergibt sich insgesamt eine Entpixelung des projizierten
Bildes, welche die wahrgenommene Bildqualität erhöht.
-
Weitere
Vorteile, Merkmale und Einzelheiten der Erfindung werden im Folgenden
anhand von Ausführungsbeispielen unter Bezugnahme auf Zeichnungen
beschrieben.
-
Darin
zeigen:
-
1 einen
Digitalprojektor mit einem Projektorobjektiv, das eine als Flüssigkristallmatrix
ausgebildete Lichtmodulationseinheit umfasst,
-
2A bis 2F Blendenmuster
einer als Flüssigkristallmatrix ausgebildeten Lichtmodulationseinheit,
-
3 ein
Ablaufdiagramm einer Bildanalyse und Bildbearbeitung eines zu projizierenden
Bildes, und
-
4 ein
ortsfrequenzaufgelöstes Leuchtdichtenspektrum eines zu
projizierenden Bildes und den Verlauf eines ortsfrequenzabhängigen
Leuchtdichteunterschiedes.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
1 zeigt
einen Digitalprojektor 1 mit einem Projektorobjektiv 2,
das eine als Flüssigkristallmatrix ausgebildete Lichtmodulationseinheit 3 umfasst.
Die Flüssigkristallmatrix umfasst mehrere als Flüssigkristallzellen
ausgebildete Modulierungskomponenten 4, deren Lichtdurchlässigkeit
einzeln veränderbar ist, wobei die Flüssigkristallmatrix
eine in Form, Größe und Lichtdurchlässigkeit
veränderbare Blende des Projektorobjektivs 2 bildet.
-
Der
Digitalprojektor 1 weist ferner eine nicht dargestellte
Steuereinheit auf, mittels derer abbildungsrelevante Eigenschaften
eines zu projizierenden Bildes ermittelbar und die Flüssigkristallzellen
in Abhängigkeit von den ermittelten Eigenschaften ansteuerbar
sind.
-
Die 2A bis 2F zeigen
verschiedene Blendenmuster der Flüssigkristallmatrix, die
mittels der Steuereinheit einstellbar sind und sich durch verschiedene
Verteilungen der Lichtdurchlässigkeit der Flüssigkristallzellen
unterscheiden. Dabei ist der Grad der Lichtdurchlässigkeit
einer Flüssigkristallzelle jeweils durch eine Schraffierung
angedeutet. In den 2A, 2C und 2E nimmt
die Lichtdurchlässigkeit der Flüssigkristallzellen
von innen nach außen jeweils allmählich ab, während
in den Figuren in den 2B, 2D und 2E die
Lichtdurchlässigkeit der Flüssigkristallzellen
jeweils nur entweder maximal oder minimal ist.
-
Zur
Erhöhung der Schärfentiefe eines projizierten
Bildes werden erfindungsgemäß abbildungsrelevante
Eigenschaften des Bildes ermittelt und die Flüssigkristallzellen
in Abhängigkeit von den ermittelten Eigenschaften angesteuert,
so dass sie ein bestimmtes Blendenmuster erzeugen. Im Folgenden
wird dieses Verfahren näher beschrieben. Es benutzt ein
Modell des menschlichen visuellen Wahrnehmungsvermögens
und filtert den Beitrag von Ortsfrequenzen zu dem zu projizierenden
Bild heraus, die von Menschen nicht wahrgenommen werden. Es wird
ein Blendenmuster zur Erhöhung der Schärfentiefe
ermittelt, das die Beiträge vom Menschen wahrnehmbarer
Ortsfrequenzen erhält und dabei den Lichtdurchsatz durch
das Projektorobjektiv 2 maximiert.
-
Das
menschliche visuelle Wahrnehmungsvermögen ist zwar sehr
leistungsfähig hinsichtlich des Kontrastumfangs, der räumlichen
Auslösung und Empfindlichkeit für verschiedene
Wellenlängenbereiche. Wie alle optischen Systeme mit Linsen,
hat der Augapfel jedoch eine Modulationsübertragungsfunktion,
die als Tiefpass für einfallendes Licht wirkt und hohe
Ortsfrequenzen schwächt oder vollständig eliminiert.
Außerdem haben die Fotorezeptorzellen der Netzhaut eine
endliche Ausdehnung, die die Auflösung der Ortsfrequenzen
einschränkt. Die Beiträge hoher Ortsfrequenzen
können deshalb ohne wahrnehmbaren Verlust der Bildqualität aus
dem Ortsfrequenzspektrum entfernt werden.
-
3 zeigt
ein Ablaufdiagramm zur Bildanalyse und Bildbearbeitung, die erfindungsgemäß verwendet werden,
um Beiträge hoher Ortsfrequenzen zu eliminieren, die vom
Menschen nicht oder kaum wahrgenommen werden, analog zu bekannten
Bildkomprimierungstechniken wie beispielsweise dem JPEG-Standard.
-
Dabei
wird zunächst eine ortsabhängige Leuchtdichte
ILum(x, y) eines zu projizierenden Bildes
Iin ermittelt und daraus durch Fouriertransformation
bezüglich Ortsfrequenzen fx, fy in einer räumlichen x-Richtung
und einer räumlichen y-Richtung ein ortsfrequenzaufgelösten
Leuchtdichtenspektrum L(fx, fy)
ermittelt.
-
Dann
wird aus dem ortsfrequenzaufgelösten Leuchtdichtenspektrum
L(fx, fy) ein gefiltertes
Leuchtdichtenspektrum L'(fx, fy)
ermittelt, indem in unten näher beschriebenen Weise Leuchtdichtenwerte
entfernt werden, die einen ortsfrequenzabhängigen Schwellenwert
sΔL(fx, fy)
unterschreiten.
-
Aus
dem gefilterten Leuchtdichtenspektrum L'(fx,
fy) wird in unten näher beschriebener
Weise ein gefiltertes zu projizierendes Bild Iout ermittelt,
indem zunächst durch inverse Fouriertransformation des
gefilterten Leuchtdichtenspektrums L'(fx,
fy) eine gefilterte ortsabhängige
Leuchtdichte I'Lum(x, y) gebildet wird.
-
Der
ortsfrequenzabhängige Schwellenwert sΔL(f
x, f
y) dient dabei
der Anpassung des gefilterten Leuchtdichtenspektrums L'(f
x, f
y) an das menschliche
visuelle Wahrnehmungsvermögen. Die Empfindlichkeit des
menschlichen visuellen Wahrnehmungsvermögens in Abhängigkeit
von den Ortsfrequenzen f
x, f
y,
ist bereits gut bekannt und wird mathematisch durch eine Kontrastempfindlichkeitsfunktion
(CSF = contrast sensivity function) S
CSF(
fx, f
y,) beschrieben,
die von den Ortsfrequenzen f
x, f
y abhängen. Es gibt verschiedene
Definitionen der CSF. Diesem Ausführungsbeispiel wird die
in
DALY, S. 1993, The Visible Differences Predictor: An Algorithm for
the Assessment of Image Fidelity, in Digital Image and Human Vision,
Cambridge, MA: MIT Press, A. Watson, Ed., 179–206 angegebene
Definition zugrunde gelegt. Die CSF hängt nur von den Sehbedingungen,
nicht jedoch vom Bildinhalt ab. Die Empfindlichkeit wird als das
Inverse zu einer Kontrastschwelle C
thresh(f
x, f
y) definiert,
d. h. S
CSF(f
x, f
y) = 1/C
thresh(f
x, f
y) Dabei wird
C
thresh(f
x, f
y) gemäß der Definition
des Michelson-Kontrastes aus C
thresh(f
x, f
y) = ΔL(f
x, f
y)/L
mean bestimmt,
wobei ΔL(f
x, f
y)
einen erforderlichen Leuchtdichteunterschied (in cd/m
2)
und L
mean eine mittlere Leuchtdichte angeben. ΔL(f
x, f
y) ergibt sich
somit aus
-
Die
Empfindlichkeit des menschlichen visuellen Wahrnehmungsvermögens
ist im Bereich von 2 cpd bis 4 cpd (cpd = cycles per visual degree)
am höchsten; sie nimmt für niedrigere und höhere
Ortsfrequenzen f
x, f
y ab.
Gemäß
RAMASUBRAMANIAN, M., PATTANAIK,
S. N., AND GREENBERG, D. P. 1999, A Perceptually Based Physical
Error Metric for Realistic Image Synthesis, ACM Trans. Graph. 25,
3, 73–82 kann eine Überschätzung
des Leuchtdichteunterschiedes ΔL(f
x,
f
y) für niedrige Ortsfrequenzen
f
x, f
y vermieden
werden, indem die Ortsfrequenzempfindlichkeit unterhalb von 4 cpd
auf ihr Maximum gesetzt wird. Um negative Auswirkungen der Filterung
des Leuchtdichtenspektrums L(f
x, f
y) auf die Bildqualität zu reduzieren,
wird ferner aus dem Leuchtdichteunterschied ΔL(f
x, f
y) ein niedrigerer
ortsfrequenzabhängiger Schwellenwert sΔL(f
x, f
y) gebildet,
wobei s eine vorgebbare Konstante ist. Aus dem Leuchtdichtenspektrum
L(f
x, f
y) werden
diejenigen Leuchtdichtenwerte entfernt, die den ortsfrequenzabhängigen
Schwellenwert sΔL(f
x, f
y) unterschreiten, indem sie mit einem binären
Relevanzfaktor M(f
x, f
y)
multipliziert werden, der nur die Werte 0 oder 1 annimmt und gemäß
gebildet
wird.
-
4 zeigt
exemplarisch ein ortsfrequenzaufgelöstes Leuchtdichtenspektrum
L(fx, fy) eines
zu projizierenden Bildes Iin in Abhängigkeit
von einer Ortsfrequenz fx (in cpd) und den
Verlauf eines zugehörigen Leuchtdichteunterschiedes ΔL(fx, fy), aus dem der
ortsfrequenzabhängiger Schwellenwert sΔL(fx, fy) ermittelt wird.
-
Zur
Bestimmung eines Blendenmusters der Flüssigkristallmatrix
für ein zu projizierendes Bild Iin wird den
einzelnen Flüssigkristallzellen jeweils ein Lichtmodulationsparameter
ai zugeordnet, der eine normierte Lichtdurchlässigkeit
der jeweiligen Flüssigkristallzelle repräsentiert
und Werte im Intervall [0, 1] annimmt, wobei der Wert ai =
1 eine maximale Lichtdurchlässigkeit repräsentiert
und der Wert ai = 0 eine minimale Lichtdurchlässigkeit.
Dabei nummeriert der Index i die verschiedenen Flüssigkristallzellen.
Das Blendenmuster wird derart ermittelt, dass im wesentlichen von
dem Digitalprojektor 1 nur Licht für diejenigen
Ortsfrequenzen fx, fy abgestrahlt
wird, deren Leuchtdichtewerte den ortsfrequenzabhängigen
Schwellenwert sΔL(fx, fy) überschreiten, wobei gleichzeitig
ein Lichtdurchsatz durch das Projektorobjektiv 2 maximiert
wird.
-
Die
Varianz der Modulationsübertragungsfunktion eines Blendenmusters
ist ein Maß für die Lichtschwächung der
verschiedenen Ortsfrequenzen f
x, f
y. Deshalb kann eine Maximierung des Lichtdurchsatzes durch
eine Minimierung der Modulationsübertragungsfunktion des
Blendenmusters für alle relevanten Ortsfrequenzen f
x, f
y, erreicht werden.
Die Minimierung kann mathematisch durch
ausgedrückt werden,
wobei folgende Bezeichnungen eingeführt wurden:
- b:
- Spaltenvektor, dessen
sämtliche Einträge den Wert 1 haben,
- a:
- Modulationsvektor,
dessen Einträge die Lichtmodulationsparameter ai sind,
- M:
- diagonale Relevanzmatrix,
deren Diagonalelemente die binären Relevanzfaktoren M(fx, fy) sind,
- B:
- Transfermatrix, deren
Spalten zueinander orthogonale Basisfunktionen enthalten, die eine
optische Transferfunktion der Flüssigkristallmatrix bilden,
- ∥ ∥2:
- 2-Norm für
Vektoren.
-
Gleichung
[3] definiert somit ein Optimierungsproblem, das auf das lineare
Gleichungssystem MBa = b führt. Die Lösung dieses überbestimmten
Gleichungssystems im Sinne der Methode der kleinsten Quadrate unter
der zusätzlichen Forderung, ∥a∥ 2 / 2
zu
minimieren, löst das durch Gleichung [3] definierte Optimierungsproblem
für die relevanten Ortsfrequenzen fx,
fy und maximiert gleichzeitig den Lichtdurchsatz,
weil eine kleine quadrierte 2-Norm des Modulationsvektors a (mit
ai ≥ 0) auch die Varianz der normierten
Lichtdurchlässigkeiten der Flüssigkristallzellen
in deren räumlichem Definitionsbereich minimiert.
-
Das
Gleichungssystem MBa = b kann sicher mit Standardmethoden gelöst
werden, wie beispielsweise dem Verfahren der konjugierten Gradienten
oder nichtnegativen Lösungen kleinster Quadrate. Diese
Methoden erlauben jedoch keine genügend hohen Bildwiederholfrequenzen
auf herkömmlicher Computer-Hardware für Standardauflösungen
von mindestens 1024 × 768. Deshalb wird das Gleichungssystem
erfindungsgemäß mittels einer Methode mit einer
pseudoinversen Matrix gelöst, das aus WETZSTEIN,
G., AND BIMBER, O. 2007, Radiometric compensation through inverse
light transport, in Proc. Pacific Graphics, 391–399 bekannt ist.
Mit dieser Methode werden der Fehler kleinster Quadrate und die
2-Norm des Modulationsvektors a minimiert und somit das Optimierungsproblem
gelöst.
-
Das
Gleichungssystem MBa = b wird mittels dieser Methode durch a = B+M+b [4] gelöst,
wobei B+ und M+ jeweils
zu B und M pseudoinverse Matrizen sind.
-
Da
M in diesem Ausführungsbeispiel eine binäre Diagonalmatrix
ist, gilt in diesem Fall M+ = M. Die Transfermatrix
B enthält in ihren Spalten einen Satz orthogonaler Fourier-Basisfunktionen.
Daher ist B+ = B*, wobei B* die zu B adjungierte
(komplex-konjugierte und transponierte) Matrix ist. Daher vereinfacht
sich Gleichung [4] in diesem Ausführungsbeispiel zu a = B*Mb. [5]
-
Gleichung
[5] kann negative Werte für einige Lichtmodulationsparameter
ai liefern. Derartige negative Werte werden
weggelassen bzw. Null gesetzt. Schließlich werden die mittels
Gleichung [5] ermittelten Lichtmodulationsparameter ai derart
skaliert, dass der maximale Wert, der von ihnen angenommen wird,
der Wert 1 ist.
-
B*
kann im oben beschriebenen Verfahren in einfacher Weise für
jede Flüssigkristallmatrix einmalig ermittelt werden, braucht
also nicht für jede Anwendung der Flüssigkristallmatrix
neu bestimmt werden. Somit reduziert sich während der Laufzeit
der Anwendung die Lösung des Optimierungsproblems auf eine
einfache Matrix-Vektormultiplikation gemäß Gleichung
[5] mit vorbestimmter Matrix B*. Dadurch lässt sich das
Blendenmuster für zu projizierende Bilder Iin schnell
und mit relativ geringem Rechenaufwand ermitteln.
-
Aus
dem ermittelten Blendenmuster und dem gefilterten zu projizierenden
Bild Iout wird schließlich ein projiziertes
Kompensationsbild Icomp(x, y) ermittelt,
wobei das gefilterte zu projizierendes Bild Iout in
Abhängigkeit von dem ermittelten Blendenmuster mittels
einer Dekonvolution bzw. inversen Filterung zur Kompensation von Defokussierungen
korrigiert wird.
-
Eine
optische Defokussierung eines projizierten Bildes kann generell
als eine Faltung dieses Bildes mit einem Blendenkern, der zu der
Blende der Projektionsvorrichtung korrespondiert (Punktspreizfunktion),
beschrieben werden. Dekonvolution, d. h. die Faltung eines Bildes
mit dem inversen Blendenkern, kann daher ein Bild digital schärfen
und die optische Defokussierung wenigstens teilweise kompensieren.
Faltung und Dekonvolution können viel einfacher im Ortsfrequenzraum
als im Ortsraum ausgeführt werden, da die Faltung eines
Bildes mit dem Blendenkern im Ortsfrequenzraum einer Multiplikation
der Fouriertransformierten des Bildes und des Blendenkerns entspricht.
Dekonvolution entspricht entsprechend einer Division der Fouriertransformierten
des projizierten Bildes und des Blendenkerns. Dekonvolution ist
jedoch generell wegen möglicher Nullstellen der Fouriertransformierten
des Blendenkerns kein wohldefiniertes Problem. Derartige Nullstellen und
Bildrauschen führen häufig zu Ringartefakten.
-
Bei
der Kompensation von Defokussierungen eines Digitalprojektors 1 sind
die Bilder jedoch rauschfreie digitale Bilder. Dies ermöglicht
die Dekonvolution durch direktes inverses Filtern, falls der Blendenkern breitbandig
ist, so dass seine Fouriertransformierte keine Nullstellen aufweist.
-
Erfindungsgemäß wird
anstelle einer Wiener-Dekonvolution eine regularisierte inverse
Filterung angewendet, bei der ein Kompensationsbild Ĩ
comp(f
x, f
y) im Ortsfrequenzraum gemäß
ermittelt
wird. Dabei wurden folgende Bezeichnungen verwendet:
- LLaplace(fx, fy):
- Fouriertransformierte
des diskreten Laplace-Operators,
- α:
- vorgebbarer Glättungsparameter,
- Kd(fx, fy):
- Blendenkern, d. h.
Fouriertransformierte des ermittelten Blendenmusters, für
eine Skala d,
- K*d
(fx,
fy):
- Komplex-Konjugation
von Kd(fx, fy),
- Ĩout(fx, fy):
- Fouriertransformierte
des gefilterten zu projizierenden Bildes.
-
Der
Regularisierungsterm α|LLaplace(fx, fy)|2 verhindert
vorteilhaft Ringartefakte, die durch eine Division durch Null entstehen
können. Er darf jedoch nicht zu groß gewählt
werden, da er sonst eine ausreichende Bildschärfung verhindert.
Eine geeignete Wahl ist beispielsweise α = 0,01.
-
Aus
dem Kompensationsbild Ĩcomp(fx, fy) im Ortsfrequenzraum
wird durch inverse Fouriertransformation das projizierte Kompensationsbild
Icomp(x, y) im Ortsraum ermittelt.
-
Vorzugsweise
werden verschiedene Bildanteile mit Blendenkernen Kd(fx, fy) verschiedener
Skalen d dekonvolutiert, wobei die Skalen d jeweils zu einem Defokussierungsgrad
in einem entsprechenden Bereich einer Projektionsfläche korrespondieren,
auf die das Bild projiziert wird. Dabei wird die räumliche
Schwankung der Defokussierung vorzugsweise mit einem aus BIMBER,
O., AND EMMERLING, A. 2006, Multifocal Projection: A Multiprojector
Technique for Increasing Focal Depth. IEEE TVCG 12, 4, 658–667 bekannten
Verfahren bestimmt. Je mehr verschiedene Schärfentiefebereiche
auftreten, desto mehr Skalen d werden benötigt.
-
Die
dynamische Anpassung des Blendenmusters an das zu projizierende
Bild Iin ermöglicht dabei einen
breitbandigeren Blendenkern Kd(fx, fy) als bei üblichen
Blenden und verbessert dadurch die Qualität der inversen
Filterung gemäß Gleichung [6], da durch die Breitbandigkeit
des Blendenkerns Kd(fx,
fy) mehr Ortsfrequenzen fx,
fy in die inverse Filterung eingehen und
dadurch mehr Bilddetails rekonstruiert werden können als bei
herkömmlichen Blenden.
-
In
einer alternativen Ausgestaltung des oben beschriebenen Ausführungsbeispiels
werden statt binärer Relevanzfaktoren M(fx,
fy) gemäß Gleichung [2]
kontinuierliche Relevanzfaktoren M(fx, fy) verwendet. Dies verbessert die Bestimmung
des Blendenmusters dadurch, dass die Relevanzmatrix M mit detaillierteren
Informationen versehen werden kann.
-
Bei
der Projektion aufeinander folgender Einzelbilder gemäß dem
erfindungsgemäßen Verfahren ändert sich
das Blendenmuster in der Regel von Bild zu Bild. Dadurch kann sich
auch die mittlere projizierte Helligkeit von Bild zu Bild ändern.
Um dadurch verursachte wahrnehmbare Intensitätsschwankungen
in Form von Flimmereffekten zu vermeiden, sieht eine Weitergestaltung
des Verfahrens eine temporale Helligkeitsanpassung vor, die aus DURAND,
F., AND DORSEY, J. 2000, Interactive Tone Mapping, in Proc. Eurographics
Workshop an Rendering, 219–230 bekannt ist. Dabei
wird, statt den maximal möglichen Lichtdurchsatz für
ein Blendenmuster eines Einzelbildes zu verwenden, eine mittlere
Leuchtdichte jedes Einzelbildes ermittelt und das für das
jeweilige Einzelbild ermittelte Blendenmuster skaliert, so dass
die projizierte mittlere Helligkeit der mittleren Helligkeit eines
vorher projizierten Bildes angepasst wird und wahrnehmbare Flimmereffekte
vermieden werden. Eine derartige temporale Helligkeitsanpassung
wird jedoch nicht vorgenommen, wenn die mittleren Leuchtdichten
aufeinander folgender Einzelbild sehr stark voneinander abweichen.
-
Eine
weitere Weitergestaltung des Verfahrens betrifft Anwendungen, in
denen Bilder auf eine gekrümmte Projektionsfläche
projiziert werden. In diesen Fällen ändert sich
die Defokussierung der projizierten Bilder mit dem Abstand zwischen
der Projektionsfläche und der optisch eingestellten Fokalfläche
des Projektorobjektivs 2. Die Weitergestaltung des Verfahrens
sieht in diesen Fällen vor, zunächst vor der Projektion
die räumliche Schwankung der Defokussierung gemäß des
aus BIMBER, O., AND EMMERLING, A. 2006, Multifocal Projection:
A Multiprojector Technique for Increasing Focal Depth. IEEE TVCG
12, 4, 658–667 bekannten Verfahrens zu bestimmen.
Die Bestimmung des Blendenmusters gemäß Gleichung
[5] bezieht sich auf eine ebene Projektionsfläche in einem
festen Abstand von der Fokalfläche des Projektorobjektivs 2,
wobei dieser Abstand proportional zur Größe der
Flüssigkristallmatrix im projizierten Bild ist. Um auf
gekrümmte Projektionsflächen zu projizieren, wird
die größte Defokussierung auf dieser Projektionsfläche
ermittelt. Für diese wird das Blendenmuster gemäß Gleichung
[5] bestimmt und mittels so genannten Integral Samplings an die
Auflösung der Flüssigkristallmatrix angepasst.
Dies ist vorteilhaft, da der größte Defokussierungsgrad
zur größten Skala bei der Ermittelung der Blendenmusters
korrespondiert. Da kleinere Abstände zu größeren
Ortsfrequenzen korrespondieren, liefert die für die größte
Skala durchgeführte Fouriertransformation auch für
die kleineren Abstände die Beiträge der für
das menschliche Wahrnehmungsvermögen relevanten Ortsfrequenzen
fx, fy.
-
Bezugszeichenliste
-
- 1
- Digitalprojektor
- 2
- Projektorobjektiv
- 3
- Lichtmodulationseinheit
- 4
- Modulierungskomponente
- ILum(x, y)
- ortsabhängige
Leuchtdichte
- Iin
- zu
projizierenden Bild
- fx, fy
- Ortsfrequenzen
- L(fx, fy)
- ortsfrequenzaufgelöstes
Leuchtdichtenspektrum
- L'(fx, fy)
- gefiltertes
Leuchtdichtenspektrum
- ΔL(fx, fy)
- Leuchtdichteunterschied
- s
- Konstante
- sΔL(fx, fy)
- ortsfrequenzabhängiger
Schwellenwert
- Iout
- gefiltertes
zu projizierendes Bild
- I'Lum(x, y)
- gefilterte
ortsabhängige Leuchtdichte
- SCSF(fx, fy)
- Kontrastempfindlichkeitsfunktion
- Cthresh(fx, fy)
- Kontrastschwelle
- Lmean
- mittlere
Leuchtdichte
- M(fx, fy)
- Relevanzfaktor
- ai
- Lichtmodulationsparameter
- a
- Modulationsvektor
- b
- Spaltenvektor
- M
- Relevanzmatrix
- B
- Transfermatrix
- ∥ ∥2
- 2-Norm
für Vektoren
- B+
- Pseudoinverses
der Transfermatrix
- M+
- Pseudoinverses
der Relevanzmatrix
- B*
- Adjungierte
Transfermatrix
- LLaplace(fx, fy)
- Fouriertransformierte
des diskreten Laplace-Operators
- α
- vorgebbarer
Glättungsparameter
- Kd(fx, fy)
- Blendenkern
(Fouriertransformierte eines ermittelten Blendenmusters) für
eine Skala d
- K*d(fx, fy)
- Komplex-Konjugation
von Kd(fx, fy)
- Ĩout(fx, fy)
- Fouriertransformierte
des gefilterten zu projizierenden Bildes
- Icomp(x, y)
- projiziertes
Kompensationsbild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 202006020039
U1 [0002]
- - DE 19644662 A1 [0003]
-
Zitierte Nicht-Patentliteratur
-
- - in DALY, S.
1993, The Visible Differences Predictor: An Algorithm for the Assessment
of Image Fidelity, in Digital Image and Human Vision, Cambridge,
MA: MIT Press, A. Watson, Ed., 179–206 [0055]
- - RAMASUBRAMANIAN, M., PATTANAIK, S. N., AND GREENBERG, D. P.
1999, A Perceptually Based Physical Error Metric for Realistic Image
Synthesis, ACM Trans. Graph. 25, 3, 73–82 [0056]
- - WETZSTEIN, G., AND BIMBER, O. 2007, Radiometric compensation
through inverse light transport, in Proc. Pacific Graphics, 391–399 [0061]
- - BIMBER, O., AND EMMERLING, A. 2006, Multifocal Projection:
A Multiprojector Technique for Increasing Focal Depth. IEEE TVCG
12, 4, 658–667 [0072]
- - DURAND, F., AND DORSEY, J. 2000, Interactive Tone Mapping,
in Proc. Eurographics Workshop an Rendering, 219–230 [0075]
- - BIMBER, O., AND EMMERLING, A. 2006, Multifocal Projection:
A Multiprojector Technique for Increasing Focal Depth. IEEE TVCG
12, 4, 658–667 [0076]