-
Gebiet der Erfindung
-
Die
Erfindung betrifft ein Verfahren zum Generieren computer-generierter
Videohologramme CGVH aus dreidimensionalen Bilddaten mit Tiefeninformation
in Echtzeit.
-
Im
Bereich der Generierung holographischer Daten betrifft die Erfindung
die Transformation von Teilbereichen der Szene, wobei durch die
Transformation die Ausbreitung der Lichtwellen beschrieben wird.
Bei der holographischen Darstellung der 3D-Objekte oder 3D-Szenen
wird die Lichtwellenfront durch die Interferenz und Überlagerung
kohärenter Lichtwellen
generiert.
-
Im
Gegensatz zu klassischen Hologrammen, die als Interferenzmuster
photographisch oder auf andere Weise gespeichert sind, existieren
CGVH als Ergebnis der Berechnung von Hologrammdaten aus Sequenzen
einer dreidimensionalen Szene und ihrer Speicherung mit elektronischen
Mitteln. Moduliertes interferenzfähiges Licht breitet sich im
Raum vor den Augen eines Betrachters als eine durch die Amplituden-
und oder Phasenwerte steuerbare Lichtwellenfront zur Rekonstruktion
einer dreidimensionalen Szene aus. Dabei bewirkt das Ansteuern eines
Spatial-Light-Modulators SLM mit den Hologrammwerten der Videohologramme,
dass das vom Displayschirm ausgehende, in Pixeln modulierte Wellenfeld
durch Interferenzen in den Raum die gewünschte dreidimensionale Szene
rekonstruiert.
-
Ein
holografisches Display enthält
typischerweise eine Anordnung steuerbarer Pixel, wobei die Pixel
durch elektronisches Beeinflussen der Amplitude und/oder Phase von
beleuchtendem Licht Objektpunkte rekonstruieren. Eine solche Anordnung
ist eine Form eines Spatial Light Modulators SLM. Das Display kann
auch kontinuierlich statt matrixförmig sein. Es kann beispielsweise
ein kontinuierlicher SLM sein, einschließlich eines kontinuierlichen
SLM mit Matrixsteuerung oder eines akustooptischen Modulators AOM.
Eine geeignete Anzeigeeinrichtung zur Rekonstruktion von Videohologrammen
durch räumliche
Amplitudenmodulation eines Lichtmusters ist beispielsweise ein Flüssigkristalldisplay
LCD. Die Erfindung kann jedoch ebenso auf andere steuerbare Einrichtungen
angewendet werden, welche kohärentes
Licht nutzen, um eine Lichtwellenfront zu modulieren.
-
In
diesem Dokument bezeichnet der Begriff ,Pixel' ein steuerbares Hologrammpixel im SLM;
ein Pixel wird durch einen diskreten Wert eines Hologrammpunkts
einzeln adressiert und angesteuert. Jedes Pixel stellt einen Hologrammpunkt
des Videohologramms dar. Bei einem LCD wird daher der Begriff ,Pixel' für die einzeln
adressierbaren Bildpunkte des Bildschirms verwendet. Bei einem DLP
wird der Begriff ,Pixel' für einen
einzelnen Mikrospiegel oder eine kleine Gruppe von Mikrospiegeln
verwendet. Bei einem kontinuierlichen SLM ist ein Pixel die Übergangsregion
auf dem SLM, die einen komplexen Hologrammpunkt repräsentiert.
Der Begriff ,Pixel' bezeichnet
daher ganz allgemein die kleinste Einheit, die einen komplexen Hologrammpunkt
repräsentieren,
also anzeigen kann.
-
Schließlich bezeichnet
der Begriff holographische Kodierung oder kurz Kodierung die Generierung
komplexer Hologrammpunkte aus Bilddaten mit Tiefeninformation.
-
Technischer Hintergrund und
Stand der Technik
-
Die
computer-generierten Videohologramme können beispielsweise mit einem
Hologrammdisplay rekonstruiert werden, das der Anmelder bereits
in der Druckschrift
WO2004/044659 beschrieben
hat. Dazu blickt der Betrachter durch mindestens ein entsprechendes
virtuelles Betrachterfenster, das größer als eine Augenpupille ist,
zum Displayschirm.
-
Ein
,Betrachterfenster' ist
ein begrenzter virtueller Bereich, durch welchen der Betrachter
die gesamte rekonstruierte 3D-Szene mit ausreichend großer Sichtbarkeit
ansehen kann. Das Betrachterfenster befindet sich auf den oder nahe
der Augen des Betrachters. Das Betrachterfenster kann in die Richtungen
X, Y und Z bewegt werden. Innerhalb des Betrachterfensters überlagern
sich die Wellenfelder so, dass das rekonstruierte Objekt für den Betrachter sichtbar
wird. Die Fenster liegen in Augennähe des Betrachters, können mit
bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen
Betrachterposition nachgeführt
werden. Damit können sie
vorteilhaft auf eine Größe, die
wenig über
der Pupillengröße liegt,
begrenzt werden. Es ist möglich, zwei
Betrachterfenster zu verwenden, nämlich eines für jedes
Auge. Aufwändigere
Anordnungen von Betrachterfenstern sind ebenfalls möglich. Es
ist ferner möglich,
Videohologramme zu kodieren, die Objekte oder ganze Szenen enthalten,
die der Betrachter hinter dem SLM sieht.
-
Der
Begriff ,Transformation' ist
so weit auszulegen, dass er jede mathematische oder rechnerische
Technik einschließt,
die einer Transformation gleichkommt oder diese annähert. Transformationen im
mathematischen Sinne sind lediglich Annäherungen physikalischer Prozesse,
die genauer durch die Maxwellschen Wellenausbreitungsgleichungen
beschrieben werden. Transformationen wie etwa Fresneltransformationen
oder die spezielle Gruppe von Transformationen, die als Fouriertransformationen bekannt
sind, beschreiben Annäherungen
zweiter Ordnung. Transformationen führen in der Regel auf algebraische
und nicht differentielle Beschreibungen und können folglich rechentechnisch
effizient und performant gehandhabt werden. Überdies können sie präzise in optischen Systeme eingesetzt
werden.
-
PCT/EP 2005/013836 des
Anmelders beschreibt ein Verfahren zum Berechnen von computer-generierten
Videohologrammen. Es ordnet Objekte mit komplexen Amplitudenwerten
einer dreidimensionalen Szene in Rasterpunkten von parallelen, virtuellen
Schnittebenen zu, um zu jeder Schnittebene einen separaten Objektdatensatz
mit diskreten Amplitudenwerten in Rasterpunkten zu definieren und
aus den Bilddatensätzen
eine holographische Kodierung für
einen Spatial-Light-Modulator
eines Hologrammdisplays zu berechnen.
-
Die
Lösung
der Aufgabe nutzt gemäß der Erfindung
den Grundgedanken, computergestützt
die folgenden Schritte durchzuführen:
- • aus
jedem Objektdatensatz jeder tomographischen Szeneschnitffläche wird
ein Beugungsbild in Form einer separaten zweidimensionalen Verteilung
von Wellenfeldern für
eine Betrachterebene mit einem endlichen Abstand parallel zu den Schnittebenen
berechnet, wobei die Wellenfelder aller Schnitte für mindestens
ein gemeinsames virtuelles Fenster berechnet werden, das in der Betrachterebene
nahe den Augen eines Betrachters liegt und dessen Fläche gegenüber dem
Videohologramm reduziert ist,
- • die
berechneten Verteilungen aller Schnittebenen werden zur Beschreibung
eines gemeinsamen Wellenfeldes für
das Fenster in einem zur Betrachterebene referenzierten Datensatz
addiert und
- • der
Referenzdatensatz wird zum Erzeugen eines Hologrammdatensatzes für ein gemeinsames Computer
generiertes Hologramm der Szene in eine von der Referenzebene endlich
entfernte, parallele Hologrammebene transformiert, wobei in der
Hologrammebene der Spatial Light Modulator liegt, mit welcher nach
entsprechender Kodierung die Szene in den Raum vor den Augen des Betrachters
rekonstruiert.
-
Den
genannten Verfahren und Displays liegt dabei der Gedanke zugrunde,
vorrangig nicht das Objekt der Szene zu rekonstruieren, sondern
jene Wellenfront, die das Objekt aussenden würde, in ein oder mehrere virtuelle
Betrachterfenster zu rekonstruieren.
-
Durch
die virtuellen Betrachterfenster kann der Betrachter die Szene sehen.
Die virtuellen Betrachterfenster überdecken die Pupillen des
Betrachters und werden mit bekannten Positionserkennungs- und Nachführeinrichtungen
der aktuellen Betrachterposition nachgeführt.
-
Zwischen
dem Spatial Light Modulator des Hologrammdisplays und den Betrachterfenstern
ist ein virtueller pyramidenstumpf-förmiger Betrachterbereich, das so
genannte Frustum, aufgespannt, wobei der SLM die Grundfläche und
das Betrachterfenster die Spitze bildet. Bei sehr kleinen Betrachterfenstern
kann der Pyramidenstumpf als Pyramide angenähert werden. Der Betrachter
sieht durch die virtuellen Betrachterfenster in Richtung des Displays
und nimmt im Betrachterfenster die Wellenfront auf, welche die Szene
repräsentiert.
-
Aufgrund
der Vielzahl der notwendigen Transformationen ist die holographische
Kodierung mit hohem Rechenaufwand verbunden. Eine Kodierung in Echtzeit
würde hoch
performante und kostspielige Recheneinheiten erfordern.
-
Aufgabe der Erfindung
-
Aufgabe
der Erfindung ist es, ein Verfahren zu schaffen, welches erlaubt,
in Echtzeit Videohologramme aus dreidimensionalen Bilddaten mit
Tiefeninformation zu generierten. Die Generierung soll von einfachen
und kostengünstigen
Rechenanlagen durchgeführt
werden können.
-
Zusammenfassung der Erfindung
-
Das
erfindungsgemäße Verfahren
dient zum Generieren computer-generierter Videohologramme in Echtzeit.
Aus Bilddaten mit Tiefeninformation werden Hologrammwerte zur Darstellung
einer dreidimensionalen, durch Objektpunkte strukturierten Szene
auf einem Spatial-Light-Modulator, SLM, kodiert.
-
Analog
zum genannten Stand der Technik liegt dem erfindungsgemäßen Verfahren
das Prinzip zugrunde, vorrangig nicht das Objekt der Szene zu rekonstruieren,
sondern jene Wellenfront, die das Objekt aussenden würde, in
ein oder mehrere virtuelle Betrachterfenster zu rekonstruieren.
-
Aus
hinreichend kohärentem
Licht wird von einem mit Hologrammwerten gesteuerten Spatial Light
Modulator SLM ein moduliertes Wellenfeld erzeugt und durch Interferenzen
im Raum eine gewünschte
reale oder virtuelle dreidimensionale Szene rekonstruiert. Ausgehend
vom SLM werden in pyramidenstumpfförmigen Rekonstruktionsräumen virtuelle
Betrachterfenster generiert. Die Fenster liegen in Augennähe des Betrachters
und können
mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen
Betrachterposition nachgeführt werden.
-
Es
ist ein Ausgangspunkt der Erfindung, dass jener Bereich, in dem
ein Betrachter eine Szene sieht, durch einen pyramidenstumpfförmigen Rekonstruktionsraum,
das so genannte Frustum, gegeben ist, der sich vom SLM zum Betrachterfenster
erstreckt. Der Pyramidenstumpf kann in einer Näherung durch eine Pyramide
ersetzt werden, da das Betrachterfenster viel kleiner als der SLM
ist.
-
Im
Weiteren liegt dem Verfahren das Prinzip zugrunde, dass die Rekonstruktion
eines einzelnen Objektpunktes nur ein Teilhologramm als Teilmenge der
SLM erfordert.
-
Die
Information zu jedem einzelnen Szenepunkt ist somit nicht auf dem
gesamten Hologramm, sondern nur in beschränkten Bereichen, den so genannten
Teilhologrammen, verteilt.
-
Diesem
Gedanken folgend wird ein einzelner Objektpunkt der Szene nur durch
einen beschränkten
Pixelbereich der SLM, den so genannten Teilhologrammen rekonstruiert.
-
Der
Erfindung liegt der Gedanke zugrunde, dass für jeden Objektpunkt die Beiträge der Teilhologramme
an der gesamten Rekonstruktion der Szene aus Look-Up-Tables bestimmbar
sind und diese Teilhologramme zu einem Gesamthologramm zur Rekonstruktion
der gesamten Szene akkumuliert werden In einer besonders bevorzugten
Ausführungsform
des Verfahrens ist durch die Position jedes Betrachters und dessen
Blickrichtung eine Ansicht der Szene festgelegt. Einem Betrachter
ist jeweils mindestens ein in einer Betrachterebene nahe der Augen liegendes
virtuelles Betrachterfenster zugeordnet. In einen vorbereiteten
Verfahrensschritt erfolgt eine dreidimensionale Diskretisierung
der Szene in sichtbare Objektpunkte. Gegebenenfalls werden diese Daten
bereits von einer Schnittstelle übernommen. Die
nachfolgenden erfindungsgemäßen Verfahrensschritte
umfassen
-
– Schritt
(1):
Ermittlung der Lage des Teilhologramms je Objektpunkt.
Aus der Position eines Objektpunktes, also den lateralen x, y-Koordinaten
und dessen Tiefenabstand, werden die Position und die Ausdehnung
des zugehörigen
Teilhologramms abgeleitet.
-
– Schritt
(2):
Ermittlung der Beiträge
des zugehörigen
Teilhologramms aus Look-Up-Tables
-
– Schritt
(3):
Wiederholen der beiden Schritte für allen Objektpunkte, wobei
die Teilhologramme zu einem Gesamthologramm zur Rekonstruktion der
gesamten Szene akkumuliert werden.
-
Die
Größe und Lage
eines einem Objektpunkt zugeordneten Teilhologramms ergibt sich
ersichtlich in einer einfachsten Lösungsmöglichkeit aufgrund des Strahlensatzes.
Dabei wird das Betrachterfenster oder ein die Pupillen überdeckender
Teilbereich durch den Objektpunkt auf die Hologrammebene, also den
SLM abgebildet. Im Weiteren ergeben sich dadurch die Indices der
Pixel des Teilhologramms, die zur Rekonstruktion dieses Szenepunktes
erforderlich sind.
-
In
einem weiteren Aspekt der Erfindung werden auf das Teil- oder Gesamthologramm
noch zusätzliche
Korrekturfunktionen angewendet, um beispielsweise lage- oder formbedingte
Toleranzen der SLM zu kompensieren oder eine Verbesserung der Rekonstruktion
zu erreichen. Beispielsweise werden Korrekturwerte zu den Datenwerten
der Teilhologramme und/oder dem Gesamthologramm addiert. Überdies
können,
da ja jeder Objektpunkt aufgrund der aktuellen Lage des Betrachterfensters
bestimmt ist, auch spezielle Look-Up-Tables für außergewöhnlichere Betrachterfenster
generiert werden. Beispielsweise wenn der Betrachter von einer seitlichen Position
sehr schräg
auf das Display sieht.
-
Das
Prinzip der Look-Up-Tables kann mit Vorteil erweitert werden. Beispielsweise
können
Parameterdaten zur Farb- und Helligkeitsinformation in separaten
Look-Up-Tables abgelegt
werden. Zusätzlich
können
dabei Datenwerte der Teilhologramme und/oder das Gesamthologramm
mit Helligkeits- und/oder Farbwerten aus Look-Up-Tables moduliert werden. Einer Farbdarstellung
liegt dabei der Gedanke zugrunde, dass die Grundfarben aus jeweiligen Look-Up-Tables
bestimmbar sind.
-
Die
dem erfindungsgemäßen Verfahren
zugrunde liegenden Look-Up-Tables werden vorzugsweise gemäß
PCT/EP 2005/013836 oder
PCT/EP 2005/013879 generiert
und in entsprechende Datenträger
und Speichermodule abgelegt.
-
Das
Verfahren erlaubt die Generierung computer-generierter Videohologramme
in Echtzeit, beispielsweise für
ein holographisches Display gemäß
WO 2004/044659 oder
WO 2006/027228 . Der Vorteil dieses
erfindungsgemäßen Verfahrens
liegt darin, dass die aufwändige
Generierung der komplexen Hologrammwerte gemäß
PCT/EP 2005/013836 oder
PCT/EP 2005/013879 entfällt, wo
zahlreiche Transformationen des diskretisierten Objekts in das Betrachterfenster
und eine abschließende
Rücktransformation
in den SLM entsprechend aufwändig
erfolgen. Zusammenfassend werden bei einer handelsüblichen
Auflösung
des SLM, welche bereits eine qualitativ hochwertige Darstellung
des Hologramms ermöglicht,
die bisher sehr hohen und kostenintensiven Anforderungen an die
Recheneinheit zur Generierung der holographischen Daten nachhaltig
verringert. Der Berechnungsaufwand kann anhand der Look-Up-Tables
um mehrere Zehnerpotenzen reduziert werden. Das erfindungsgemäße Verfahren
erlaubt somit die Ausführung
auf gängigen
PC-Systemen. Damit wird gewährleistet,
dass für
holographische Anwendungen die Generierung der Hologramme interaktiv
und in Echtzeit erfolgt. Schließlich
wird durch die zuverlässige
Generierung der Hologramme in Echtzeit gewährleistet, dass die daraus
resultierende unerwünschte
Reaktionszeit beim Nachverfolgen der Betrachterpupillen bzw. Fenster
vermindert werden kann. Da die Generierung der Hologramme für einen
Betrachter auch mit einfachen Recheneinheiten definitiv in Echtzeit
erfolgt, gewährleistet
das erfindungsgemäße Verfahren,
dass auch für
mehrere beziehungsweise viele Betrachter zeit- oder raumsequentiell
separierte Hologramme zur Ansicht dargeboten werden können.
-
Da
die Generierung der Hologramme wenig Rechenaufwand erfordert, ist
beispielsweise denkbar, die Berechnung nicht von der zentralen Recheneinheit
(CPU) eines Rechners auszuführen.
In einer alternativen Lösung
wird die Generierung der Hologramme auf den Komponenten der Graphikkarte
erstellt, wobei vorzugsweise ein Graphics Central Processing Unit
GPU und/oder speziell konfigurierte Recheneinheiten verwendet werden.
-
Die
Erfindung trägt
nachhaltig zur allgemeinen Anwendung und Akzeptanz holographischer
Displays bei und ist von hohem wirtschaftlichem Wert.
-
Bevorzugte Ausführungsformen
der Erfindung
-
1a veranschaulicht
den Grundgedanken der Erfindung anhand eines einzelnen Betrachters. Durch
die Position des Betrachters (O) und dessen Blickrichtung ist eine
Ansicht einer Szene (S) festgelegt. Dem Betrachter ist mindestens
ein in einer Referenzebene nahe der Augen liegendes virtuelles Betrachterfenster
(OW) zugeordnet. Aus hinreichend kohärentem Licht wird von einem
mit Hologrammwerten gesteuerten Spatial Light Modulator (SLM) ein moduliertes
Wellenfeld erzeugt.
-
Dem
Verfahren und den davon abgeleiteten Displays liegt dabei der Gedanke
zugrunde, vorrangig nicht das Objekt der Szene zu rekonstruieren, sondern
jene Wellenfront, die das Objekt aussenden würde, in ein oder mehrere virtuelle
Betrachterfenster (OW) zu rekonstruieren. Das Objekt ist in der
Figur durch einen Objektpunkt (P) vereinzelt dargestellt. Durch
die virtuellen Betrachterfenster (OW) kann der Betrachter (O) die
Szene (S) sehen. Die virtuellen Betrachterfenster (OW) überdecken
die Pupillen des Betrachters (O) und werden mit bekannten Positionserkennungs-
und Nachführeinrichtungen
der aktuellen Betrachterposition nachgeführt.
-
Dabei
bewirkt das Ansteuern des Spatial-Light-Modulators (SLM) mit den
Hologrammwerten der Videohologramme, dass das vom Displayschirm
ausgehende, in Pixeln modulierte Wellenfeld durch Interferenzen
in den Raum die gewünschte dreidimensionale
Szene rekonstruiert.
-
Wie
aus 1a ersichtlich wird gemäß dem zugrunde liegenden Prinzip
ein einzelner Objektpunkt (P) der Szene (S) nur durch einen beschränkten Pixelbereich
des Spatial Light Modulators (SLM), dem so genannten Teilhologramm
(TH), rekonstruiert. Die Größe und Lage
eines Teilhologramms (TH) ergibt sich wie aus 1a ersichtlich
in einer einfachsten Lösungsmöglichkeit
aufgrund des Strahlensatzes, wodurch sich im Weiteren die Indices
der zur Rekonstruktion dieses Objektpunktes (P) erforderlichen Pixel
ergeben. Aus der Position eines Objektpunktes (P), also den lateralen
x, y-Koordinaten und dessen Tiefenbeziehungsweise z- Abstand, werden die
Position und die Ausdehnung des Teilhologramms (TH) abgeleitet.
Im Look-up-Table LUT werden nun die zur Rekonstruktion des Punktes
(P) erforderlichen Hologrammwerte ausgelesen.
-
Das
Teilhologramm (TH) wird mit einem Helligkeits- und/oder Farbwert
moduliert und in die Hologrammebene an der entsprechenden Position
zum so genannten Gesamthologramm akkumuliert. Die Daten der genannten
Look-Up-Tables werden vorab generiert. Vorzugsweise werden die Daten
nach dem im Stand der Technik genannten Verfahren gemäß
PCT/EP 2005/013836 erstellt
und in entsprechende Datenträger
und Speichermodule abgelegt. Anhand der Lage und Eigenschaften der
Objektpunkt werden die zugehörigen
Teilhologramme vorab berechnet und somit die Look-Up-Tables der
Teilhologramme, der Farb- und Helligkeitswerte sowie der Korrekturparameter
generiert.
-
1b veranschaulicht
dieses Prinzip weiter und zeigt die Teilhologramme (TH1, TH2) die
jeweils den Objektpunkten (P1, P2) zugeordnet sind. Aus 1b ist
ersichtlich, dass diese Teilhologramme beschränkt sind und eine kleine und
zusammenhängende
Teilmenge des Gesamthologramms, also des gesamten Spatial-Light-Modulators
(SLM), sind. Neben der, wie in der 1a ersichtlich,
anhand des Strahlensatzes ermittelten Lage und Ausdehnung der Teilhologramme
sind weiterführende
funktionale Zusammenhänge
denkbar.