DE102015003525B4

DE102015003525B4 - Überauflösungs-Anzeige unter Benutzung von kaskadierten Tafeln

Info

Publication number: DE102015003525B4
Application number: DE102015003525.8A
Authority: DE
Inventors: Felix Heide; Douglas Lanman; Nagilla Dikpal Reddy; Jan Kautz; Kari Pulli; David Luebke
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2014-03-18
Filing date: 2015-03-18
Publication date: 2024-02-29
Anticipated expiration: 2035-03-19
Also published as: US20150310789A1; CN105049831A; TW201602985A; CN105049831B; TW201602984A; US9934714B2; DE102015003526A8; TWI592919B; TWI656520B; DE102015003525A1; US20150310798A1; DE102015003526A1; DE102015003526B4; US9892669B2; CN105049830A

Abstract

Verfahren eines Anzeigens von Videos auf einem Anzeigegerät, wobei das Verfahren aufweist:
Zugreifen auf erste Frames, welche einen Videoinhalt repräsentieren;
Zugreifen auf zweite Frames, welche den Videoinhalt repräsentieren;
Anzeigen des Videoinhalts auf dem Anzeigegerät, wobei das Anzeigegerät eine erste Anzeigeschicht und zweite Anzeigeschicht aufweist, welche in einer kaskadierten Weise angeordnet sind, wobei das Anzeigen aufweist:
Rendern der ersten Frames zur Anzeige auf der ersten Anzeigeschicht in einer ersten Frame-Rate; und
Rendern der zweiten Frames zur Anzeige auf der zweiten Anzeigeschicht in einer zweiten Frame-Rate,
wobei die erste Anzeigeschicht und die zweite Anzeigeschicht in einer zeitlich gestaffelten Weise wiederaufgefrischt werden,
wobei ferner eine effektive Frame-Rate des Anzeigens des Videoinhalts größer ist als die erste Frame-Rate und als die zweite Frame-Rate, wobei das Verfahren ferner aufweist:
Zugreifen auf ursprüngliche Daten, welche den Videoinhalt repräsentieren, wobei die ursprünglichen Daten operabel sind, in einer ursprünglichen Frame-Rate angezeigt zu werden, welche größer ist als die erste Frame-Rate und die zweite Frame-Rate;
Ableiten der ersten Frames und der zweiten Frames mittels eines Faktorisierens der ursprünglichen Daten gemäß einem Iterations-Verfahren.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft im Allgemeinen das Gebiet von digitaler Bildverarbeitung und Anzeige und insbesondere das Gebiet von Überauflösungs-Anzeige.
HINTERGRUND
Die Entwicklung von höhere-Auflösung-Anzeigen ist von zentraler Wichtigkeit für die Anzeigeindustrie. Führende Mobilanzeigen gingen kürzlich von Pixeldichten von weniger als 50 Pixeln pro Zentimeter (ppcm) über und erreichen nun 150 ppcm. Ähnlich beginnt die Verbraucherelektronik-Industrie, „4K ultra-high definition (UHD)“-Anzeigen anzubieten, welche eine horizontale Auflösung haben, welche 4000 Pixel erreicht, als der Nachfolger von High-Definition-Television (HDTV). Ferner existieren bereits 8K UHD-Standards für verbessertes Digitalkino. Ein Erreichen solcher Hoch-Auflösungs-Anzeigen hängt momentan an Fortschritten, welche räumliche Lichtmodulatoren mit erhöhten Pixelanzahlen ermöglichen.
Über diese größeren Markttrends hinaus erfordern einige aufkommende Anzeigetechnologien sogar größere Auflösungen als 4K/8K-UHD-Standards bereitstellen werden. Zum Beispiel inkorporieren Weit-Sichtfeld-Kopf-montierte Anzeigen (HMDs), wie etwa das Oculus Rift, Hoch-Pixel-Dichte-Mobil-Anzeigen. Solche Anzeigen erreichen oder überschreiten die Auflösung des menschlichen Auges, wenn bei dem Abstand eines Telefons oder eines Tablet-Computers betrachtet. Sie erscheinen jedoch gepixelt (pixelated), wenn sie durch die vergrößernde HMD-Optik betrachtet werden, was das Sichtfeld dramatisch expandiert. Ähnlich erfordern Glas-freie 3D-Anzeigen einschließlich Parallaxenbarriere und Integral-Bildgebung eine Größenordnung höhere Auflösung als momentane Anzeigen. Momentan bleiben HMDs und Glas-freie 3D-Anzeigen Nischentechnologien und sind weniger wahrscheinlich, die Entwicklung von höhere-Auflösung-Anzeigen voranzutreiben als die existierenden Anwendungen, was ihr Voranschreiten und kommerzielle Annahme hindert.
Das Folgende blick kurz zurück auf den Stand der Technik betreffend Hoch-Auflösungs-Anzeige-Technologien.
Überauflösungs-(superresolution)-Bildgebungs-Algorithmen sind benutzt worden, um ein Hoch-Auflösungs-Bild (oder Video) von Niedrig-Auflösungs-Bildern (oder Videos) mit verschiedenen Perspektiven zurück zu gewinnen. Überauflösungs-Bildgebung erfordert ein Lösen eines falschgestellten inversen Problems: die Hoch-Auflösungs-Quelle ist unbekannt. Die Verfahren unterscheiden sich basierend auf den vorherigen Annahmen, welche bezüglich des Bildgebungsprozesses gemacht werden. In einem Zugang ist z.B. Kamera-Bewegungsungewissheit dadurch eliminiert, dass piezoelektrische Aktuatoren benutzt werden, um eine Sensorverschiebung zu kontrollieren.
In einem der Überauflösungs-Anzeigesystemen, welche entwickelt worden sind, wird eine „Wobulations“-Methode benutzt, um die adressierte Auflösung für Front-Produktions-Anzeigen zu verdoppeln, welche ein einzelnes Hoch-Geschwindigkeits-digitales Mikrospiegelgerät (DMD) inkorporieren. Ein piezoelektrisch aktuierter Spiegel verschiebt das projizierte Bild um die Hälfte eines Pixels, sowohl horizontal als auch vertikal. Da DMDs schneller adressiert werden können als der kritische Flicker-Fusions-Schwellwert, können zwei verschobene Bilder rapide projiziert werden, so dass der Betrachter ihre additive Superposition wahrnimmt. Wie mit einer gezitterten (jittered) Kamera, steigt der Überauflösungs-Faktor an, wenn das Pixel-Apertur-Verhältnis abnimmt. Die Performanz ist ferner durch Bewegungsverwischung begrenzt, welche während des optischen Abtastprozesses eingeführt ist. Kürzlich ist Wobulation auf Flachtafelanzeigen ausgeweitet worden, unter Benutzung eines exzentrischen Rotierende-Masse-(ERM)-Vibrationsmotors, welcher an eine LCD angelegt ist.
Ähnliche Überauflösungs-Anzeigekonzepte sind für Digitalprojektoren entwickelt worden. Anstatt eine Zeit-gemultiplexte Folge von verschobenen Niedrig-Auflösungs-Bildern zu präsentieren, können Projektor-Felder benutzt werden, um den verschobenen Bildsatz simultan anzuzeigen. Solche „übereinandergelegte-Projektion“-Systeme sind von mehreren Forschungsgruppen gezeigt worden. Wie mit allen projizierten Feldern erforderten übereinandergelegte Projektionen präzise radiometrische und geometrische Kalibration, sowie zeitliche Synchronisierung. Diese Probleme können unter Benutzung eines Einzel-Projektor-Überauflösungs-Verfahrens abgeschwächt werden, wobei mehrere verschobene Bilder mittels eines Feldes von Linsen innerhalb der Projektor-Optik erzeugt werden. Unähnlich zu übereinandergelegten Projektoren müssen diese Bilder identisch sein, was zu einer begrenzten Bildqualität führt.
Wobulation und andere zeitlich gemultiplexte Verfahren führen Artefakte ein, wenn sie benutzt werden, um Videos überaufzulösen, aufgrund von einer unbekannten Blickbewegung (gaze motion). Augenbewegung verändert die gewünschte Ausrichtung zwischen aufeinanderfolgenden Bildern (frames), wie sie auf die Retina projiziert sind. Wenn der Blick (gaze) abgeschätzt werden kann, dann kann Überauflösung entlang der Augenbewegungs-Trajektorie erreicht werden, wie berichtet demonstriert ist.
Alle der soweit diskutierten Überauflösungs-Anzeigen implementieren dasselbe Kernkonzept: Zusätzliche (zeitliche) Überlagerung von verschobenen Niedrigauflösungsbildern. Wie mit Bild-Überauflösung profitieren solche Designs von niedrigen Pixel-Apertur-Verhältnissen - abweichend von Industrietrends, Apertur-Verhältnisse zu erhöhen.
Der sogenannte „optisches-Pixel-Teilen-(optical pixel sharing) (OPS)“-Zugang ist der erste berichtete Zugang, um duale Modulations-Projektoren für Überauflösung auszunutzen, indem ein Kante-verstärktes bzw. betontes Bild unter Benutzung einer Zwei-Bild-Dekomposition gezeigt ist: das erste Bild präsentiert ein Hoch-Auflösungs-, spärliche-Kante-Bild, wogegen das zweite Bild ein Niedrig-Auflösungs-nicht-Kante-Bild präsentiert. OPS erfordert, dass ein Element zwischen die Anzeigeschichten platziert ist (z.B. ein Feld von Linsen oder eine randomisierte brechende Oberfläche); dementsprechend erlauben existierende OPS-Implementierungen nicht dünne Formfaktoren. OPS reproduziert Bilder (imagery) mit verminderter Helligkeit und vermindertem Peak-Signal-zu-Rauschverhältnis (PSNR).
Dual-Modulations-Anzeigen werden routinemäßig angewendet, um eine hoher-dynamischer-Bereich-(HDR)-Anzeige zu erreichen. HDR-Projektoren werden implementiert, indem die Ausgabe eines Digitalprojektors unter Benutzung von großen Flachtafel-Flüssigkristall-Anzeigen (LCDs) moduliert wird. Ein hoher-dynamischer-Bereich- und hohe-Auflösung-Projektor-System ist berichtet entwickelt worden, wobei ein drei-Chip-Flüssigkristall auf Silizium (LCoS)-Projektor ein Niedrig-Auflösung-Chrominanz-Bild emittiert, welches nachfolgend auf einen anderen höhere-Auflösung-LCoS-Chip projiziert ist, um eine Luminanz-Modulation zu erreichen.
Anzeigen mit zwei oder mehr räumlichen Lichtmodulatoren (Spatial Light Modulators) (SLMs) sind in Glas-freie 3D-Anzeigen für Mehrsicht-Bildgebung inkorporiert worden. Es wurde berichtet demonstriert, dass Inhalt-adaptive Parallaxen-Barrieren mit Dual-Schicht-LCDs benutzt werden können, um hellere, höhere-Auflösung-3D-Anzeigen zu erzeugen.
Die US 2014/0 063 077 A1 offenbart ein Anzeigevorrichtung mit mehreren Lichtschwächungsschichten und interaktiven Wiederauffrischungsraten. US 2004/0 239 885 A1 offenbart ein System mit mehreren Projektoren, die Bilder übereinander projizieren. Die US 2012/0 270 649 A1 offenbart ein Anzeigesystem mit 2 Platten, die abwechselnd transparent sind und auf die Bilder projiziert werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Daher wäre es vorteilhaft, einen Anzeigemechanismus bereitzustellen, welcher eine hohe räumliche und/oder zeitliche Anzeigeauflösung über die native Auflösung und/oder Bildwiederauffrisch-Rate von momentanen Generation-Anzeigetafeln hinaus anbietet.
Hierin werden Verfahren gemäß Anspruch 1 und 8 und ein System gemäß Anspruch 14 für Bild- und Video-Anzeigen mit erhöhter räumlicher Auflösung unter Benutzung von momentane-Generation-Licht-abschwächenden räumlichen Lichtmodulatoren (SLM) bereitgestellt, einschließlich Flüssigkristall-Anzeigen (LCDs), digitale Mikro-Spiegelgeräte (DMDs), und Flüssigkristall-auf-Silizium-(LCoS)-Anzeigen. Ohne die adressierbare Pixelanzahl anzuheben, werden kaskadierte Anzeigen im Zusammenhang mit sachdienlichen Datenverarbeitungs-Prozessen eingesetzt, um diesem Ziel zu dienen.
Insbesondere sind in einigen Ausführungsformen zwei oder mehr SLMs übereinander (oder in einer kaskadierten Weise) angeordnet, wobei sie einer lateralen Verschiebung einer Hälfte eines Pixels oder weniger entlang jeder Achse unterworfen sind. Die seitlichen Verschiebungen bzw. Versetzungen macht jedes Pixel auf einer Schicht moduliert mehrere Pixel aufeinander. Auf diese Weise kann die Intensität jedes Teil-Pixel-(subpixel)-Fragmentes - definiert durch den geometrischen Schnitt eines Pixels auf einer Anzeigeschicht mit einer anderen Schicht - gesteuert werden, um dadurch die effektive Anzeige-Auflösung zu erhöhen. Hoch-Auflösungs-Ziel-Bilder werden in Mehr-Schicht-Abschwächungsmustern faktorisiert, was demonstriert, dass kaskadierte Anzeigen als „kompressive Anzeigen“ operieren können unter Benutzung von weniger unabhängig-adressierbaren Pixeln als sie in dem angezeigten Bild erscheinen.
Die ähnlichen Verfahren können angenommen werden, um die zeitliche Auflösung von Stapeln von zwei oder mehreren SLMs, wiederaufgefrischt in gestaffelten (staggered) Intervallen, zu erhöhen. In einigen anderen Ausführungsformen braucht jedoch zeitliches Multiplexen von faktorisierten Bildern nicht involviert zu sein. Als ein Ergebnis können Videos ohne das Erscheinen von Artefakten präsentiert werden, welche charakteristisch für vorherige Verfahren sind, oder das Erfordernis für Hoch-Wiederauffrischungs-Rate-Anzeigen.
Im Gegensatz zu den additiven Zugängen, welche im Stand der Technik angenommen sind, erzeugen kaskadierte Anzeigen gemäß der vorliegenden Offenbarung eine multiplikative Überlagerung mittels eines Synthetisierens von höheren räumlichen Frequenzen mittels der (simultanen) Interferenz von verschobenen Licht-abschwächenden Anzeigen mit großen Apertur-Verhältnissen.
Kaskadierte Anzeigen bieten einige distinkte Vorteile im Vergleich zu vorherigen Überauflösungs-Anzeigen: Erreichen von dünnen Formfaktoren, Erfordern von keinen sich bewegenden Teilen und Benutzen von Computereffizienten Faktorisierungs-Prozessen, um interaktiven Inhalt zu ermöglichen.
Gemäß einer Ausführungsform der vorliegenden Erfindung weist ein Verfahren eines Anzeigens gemäß Anspruch 1 von Bildern unter anderem auf: (1) Zugreifen auf ursprüngliche Bilddaten, welche ein Bild repräsentieren; Faktorisieren der ursprünglichen Bilddaten in erste Bilddaten und zweite Bilddaten; und Anzeigen einer Repräsentation des Bildes auf einem Anzeigegerät bei einer effektiven Anzeigeauflösung. Das Anzeigegerät weist eine erste Anzeigeschicht mit einer ersten nativen Auflösung und eine zweite Anzeigeschicht mit einer zweiten nativen Auflösung auf. Die erste Anzeigeschicht liegt über der zweiten Anzeigeschicht (overlays). Die ersten Bilddaten werden zur Anzeige auf der ersten Anzeigeschicht gerendert und die zweiten Bilddaten werden zur Anzeige auf der zweiten Anzeigeschicht gerendert. Die effektive Anzeigeauflösung ist größer als die erste und die zweite native Auflösung.
In einer Ausführungsform umfassen die Anzeigegeräte L Anzeigeschichten, wobei eine entsprechende Anzeigeschicht seitlich relativ zu einer unmittelbar benachbarten Anzeigeschicht um 1/L Pixel in zwei orthogonalen Richtungen verschoben ist. Ein Pixel in der entsprechenden Anzeigeschicht ist unter Benutzung von mehreren Pixeln einer darunterliegenden Anzeigeschicht in den L Anzeigeschichten moduliert. Die ersten und zweiten Bilddaten können jeweils einem entsprechenden einzelnen Frame des Bildes entsprechen.
Die ursprünglichen Bilddaten können einen einzelnen Frame von Pixeln des Bildes repräsentieren, wobei die ersten Bilddaten eine erste Mehrzahl von Frames des Bildes repräsentieren, und wobei die zweiten Bilddaten eine zweite Mehrzahl von Frames des Bildes repräsentieren. Die erste Mehrzahl von Frames ist sequentiell auf der ersten Anzeigeschicht gerendert und die zweite Mehrzahl von Frames ist sequentiell auf der zweiten Anzeigeschicht gerendert. Die erste Mehrzahl von Frames und die zweite Mehrzahl von Frames können in Synchronisierung oder Nicht-Synchronisierung gerendert sein.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung weist ein Verfahren eines Anzeigens von Bildern gemäß Anspruch 8 unter anderem folgende Schritte auf: (1) Zugreifen auf erste Frames, welche einen Frame eines Bildes in einer ersten räumlichen Auflösung repräsentieren; (2) Zugreifen auf zweite Frames, welche den einen Frame des Bildes in einer zweiten räumlichen Auflösung repräsentieren; (3) sequentielles Rendern der ersten Frames zur Anzeige auf einer ersten Anzeigeschicht eines Anzeigegeräts; und (4) sequentielles Rendern der zweiten Frames zur Anzeige auf einer zweiten Anzeigeschicht des Anzeigegeräts. Die erste Anzeigeschicht liegt über der zweiten Anzeigeschicht mit einer seitlichen Versetzung in zwei senkrechten Richtungen um einen Bruchteil eines Pixels der ersten Anzeigeschicht. Eine effektive Anzeigeauflösung, welche aus den sequentiellen Rendern resultiert, ist größer als die erste räumliche Auflösung und die zweite räumliche Auflösung.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung weist ein Anzeigesystem gemäß Anspruch 14 unter anderem auf: einen Prozessor; Speicher; und eine Mehrzahl von Anzeigeschichten, welche mit dem Prozessor und dem Speicher gekoppelt sind und in einer kaskadierten Weise angeordnet sind und eine erste und eine zweite Anzeigeschicht aufweisen. Die erste Anzeigeschicht ist um einen Bruchteil eines Pixels mit Bezug auf die zweite Anzeigeschicht in zwei orthogonalen lateralen Richtungen versetzt. Der Speicher speichert Anweisungen, welche ein Verfahren implementieren, welches aufweist: (1) Zugreifen auf erste Bilddaten, welche das Bild repräsentieren, und auf zweite Bilddaten, welche das Bild repräsentieren; (2) Rendern der ersten Bilddaten zur Anzeige auf der ersten Anzeigeschicht bei einer ersten räumlichen Auflösung; und (3) Rendern der zweiten Bilddaten zur Anzeige auf der zweiten Anzeigeschicht bei einer zweiten räumlichen Auflösung. Eine effektive Anzeigeauflösung der Repräsentation des Bildes ist größer als die erste native räumliche Auflösung und die zweite native räumliche Auflösung.
Das Vorangehende ist eine Zusammenfassung und enthält somit aus Notwendigkeit Vereinfachungen, Verallgemeinerungen und Auslassungen von Details; folglich werden die Fachleute in der Technik schätzen, dass die Zusammenfassung nur illustrativ ist und nicht beabsichtigt ist, in irgendeiner Weise zu begrenzen. Andere Aspekte, erfinderische Merkmale und Vorteile der vorliegenden Erfindung, wie sie einzig mittels der Ansprüche definiert ist, werden in der nicht begrenzenden detaillierten Beschreibung, welche unten ausgeführt ist, ersichtlich werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Ausführungsformen der vorliegenden Erfindung werden besser von einem Lesen der folgenden detaillierten Beschreibung verstanden werden, wenn sie im Zusammenhang mit den begleitenden Zeichnungsfiguren genommen ist, in welchen ähnliche Bezugszeichen ähnliche Elemente bezeichnen und in welchen:

1A-1C die relativen seitlichen Positionen zwischen zwei Anzeigeschichten und in einem beispielhaften kaskadierten Anzeigegerät in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung illustrieren;
2 ein Flussdiagramm ist, welches einen exemplarischen Prozess einer Anzeige eines Bildes auf einem kaskadierten Anzeigegerät mit einer Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigt;
3 einen exemplarischen Faktorisierungs-Prozess mit Zeitmultiplexing für eine kaskadierte Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung illustriert;
4 die Bildframes illustriert, welche in einem exemplarischen heuristischen Faktorisierungs-Prozess abgeleitet sind, welcher für eine räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung konfiguriert ist;
5 die Bildframes zeigt, welche von einer räumlichen optimierten Faktorisierung für räumliche Überauflösung gemäß dem WRRI-Prozess, der in Tabelle 1 illustriert ist, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung resultieren;
6A Zeitdiagramme sind, welche synchronisierte Frame-Wiederauffrischungs-Zyklen illustrieren und für zwei Anzeigeschichten, welche in einem exemplarischem kaskadierten Anzeigegerät umfasst sind, welches konfiguriert ist, räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen;
6B Zeitdiagramme sind, welche unsynchronisierte Frame-Wiederauffrischungs-Zyklen illustrieren und für zwei Anzeigeschichten, welche in einem exemplarischen kaskadierten Anzeigegerät umfasst sind, welches konfiguriert ist, räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen;
7 Zeitdiagramme sind, welche Frame-Wiederauffrischungs-Zyklen illustrieren und für zwei Anzeigeschichten eines exemplarischen kaskadierten Anzeigegeräts, welches konfiguriert ist, zeitliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen;
8 zeitliche Überauflösungs-Ergebnisse unter Benutzung einer kaskadierten Dual-Schicht-Anzeige gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
9 ein exemplarisches Anzeigesystem illustriert, welches kaskadierte Anzeigeschichten benutzt und um räumliche/zeitliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen;
10A ein Beispielbild zeigt, welches durch die vergrößernde Optik eines exemplarischen HMD aufgenommen ist, unter Benutzung der Echtzeit-Rang-1-Faktorisierung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung;
10B Beispielfotografien zeigt, welche von Bildframes aufgenommen sind, welche auf einem exemplarischen kaskadierten LCoS-Projektor in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung angezeigt sind;
11 Daten-Plots sind, welche Performanzen der exemplarischen WNMF-Verfahren mit Doppelpräzisions-Faktorisierung benutzt für Überauflösung in einer kaskadierten Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung vergleichen;
12 Daten-Plots sind, welche Performanzen der exemplarischen WNMF-Verfahren mit Einzelpräzisions-Faktorisierung benutzt für Überauflösung in einer kaskadierten Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung vergleichen;
13 aufgenommene Bilder zeigt, welche auf einem kaskadierten Vier-Schicht-Anzeigegerät unter Benutzung einer Zwei-Frame-Faktorisierung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung angezeigt sind;
14 faktorisierte Frames für individuelle Schichten für die exemplarische kaskadierte Vier-Schicht-Anzeige in 13 zeigt;
15 ein exemplarisches Verfahren eines Erzeugens von Teilpixel-Fragmenten mittels Dual-Schicht-kaskadierten Anzeigen mit Cyan-Gelb-Magenta-Farb-Filter-Arrays (CFAs) illustriert;
16 Daten-Plots von Peak-Signal-zu-Rausch-Verhältnissen (PSNR) zeigt, welche als eine Funktion des Dimm-Faktors β bei verschiedenen Parametern (gemittelt über den Satz von Ziel-Bildern) erhalten sind;
17 einen visuellen Vergleich von Überauflösungs-Anzeigen mittels Flecken bzw. Flicken (patches) zeigt, welche mit Simulationen von drei verschiedenen Überauflösungs-Anzeigen reproduziert sind;
18A einen simulierten Vergleich des MTF für AnzeigeAlternativen gemäß den vorherigen und den kaskadierten Anzeigen gemäß der vorliegenden Offenbarung zeigt;
18B die gemessene Modulations-Transferfunktion für ein exemplarisches kaskadiertes LCD-Anzeigegerät zeigt;
19 ein Diagramm ist, welches Peak-Signal-zu-Rausch-(PSNR) in [dB] für einen Satz von natürlichen Bildern vergleicht, was in verschiedenen Überauflösungs-Techniken gemäß dem Stand der Technik und kaskadierten Anzeigen gemäß der vorliegenden Offenbarung erhalten sind;
20 ein Diagramm ist, welches einen strukturellen Ähnlichkeits-Index (SSIM) als eine Summe über alle Farbkanäle für einen Satz von natürlichen Bildern zeigt, welche in verschiedenen Überauflösungs-Techniken gemäß dem Stand der Technik und kaskadierten Anzeigen gemäß der vorliegenden Offenbarung erhalten sind;
21A geneigte (slanted) Kanten eines Ziel-Bildes, einer herkömmlichen Anzeige, additiven Anzeigen mit zwei und vier Frames, OPS, und kaskadierten Anzeigen (Rang-2) zeigt;
21B geneigte bzw. abgeschrägte Kante MTF-Messungen für die verschiedenen Verfahren zeigt, welche in 21A präsentiert sind;
22 das Erscheinen einer linearen Rampe unter Benutzung eines Paares von exemplarischen 8-Bit-kaskadierten Anzeigen präsentiert, um HDR-Anwendungen von kaskadierten Anzeigen gemäß einer Ausführungsform der vorliegenden Offenbarung zu demonstrieren;
23A Daten-Plots zeigt, um die Qualität von zeitlicher Überauflösung vs. die niedrigere Frame-Rate in Größen von PSNR auf einem natürlichen Movie bzw. Film zu vergleichen;
23B Daten-Plots zeigt, um die Qualität von zeitlicher Überauflösung vs. die niedrigere Frame-Rate in Größen von SSIM zu vergleichen.

DETAILLIERTE BESCHREIBUNG
Bezug wird nun im Detail auf die bevorzugten Ausführungsformen der vorliegenden Erfindung genommen, von welchen Beispiele in den begleitenden Zeichnungen illustriert sind. Während die Erfindung im Zusammenhang mit den bevorzugten Ausführungsformen beschrieben wird, wird es verstanden werden, dass sie nicht beabsichtigt sind, die Erfindung auf diese Ausführungsformen zu begrenzen. Im Gegenteil ist die Erfindung beabsichtigt, Alternativen, Modifikationen und Äquivalente abzudecken, welche innerhalb des Geistes und Geltungsbereichs der Erfindung umfasst sein können, wie mittels der angehängten Ansprüche definiert ist. Ferner werden in der folgenden detaillierten Beschreibung von Ausführungsformen der vorliegenden Erfindung zahlreiche spezifische Details ausgeführt, um ein durchgängiges Verständnis der vorliegenden Erfindung bereitzustellen. Es wird jedoch durch den gewöhnlichen Fachmann in der Technik erkannt werden, dass die vorliegende Erfindung ohne diese spezifischen Details praktiziert werden kann. In anderen Umständen sind wohl bekannte Verfahren, Prozeduren, Komponenten und Schaltungen nicht im Detail beschrieben worden, um so nicht unnötigerweise Aspekte der Ausführungsformen der vorliegenden Erfindung zu verschleiern. Obwohl ein Verfahren als eine Sequenz von nummerierten Schritten zur Klarheit gezeigt sein kann, diktiert die Nummerierung nicht notwendigerweise die Ordnung der Schritte. Es sollte verstanden werden, dass einige der Schritte ausgelassen werden können, parallel durchgeführt werden können, oder ohne das Erfordernis eines Einhaltens einer strengen Ordnung der Sequenz durchgeführt werden können. Die Zeichnungen, welche Ausführungsformen der Erfindung zeigen, sind halb diagrammatisch und nicht im Maßstab gezeichnet und insbesondere sind einige der Dimensionen zur Klarheit der Präsentation und übertrieben in den Zeichnungsfiguren gezeigt. Obwohl die Ansichten der Zeichnungen zur Leichtigkeit der Beschreibung im Allgemeinen ähnliche Orientierungen zeigen, ist in ähnlicher Weise diese Darstellung in den Figuren zum größten Teil willkürlich. Im Allgemeinen kann die Erfindung in irgendeiner Orientierung betrieben werden.
NOTATION UND NOMENKLATUR
Es sollte jedoch im Geiste behalten sein, dass alle diese und ähnliche Ausdrücke mit den geeigneten physikalischen Quantitäten zu assoziieren sind und lediglich bequeme Kennzeichen sind, welche auf diese Quantitäten angewendet sind. Wenn es nicht spezifisch andererseits festgestellt ist, wie es von den folgenden Diskussionen ersichtlich ist, wird es geschätzt, dass sich durch die vorliegende Erfindung hindurch, Diskussionen, welche Ausdrücke benutzen wie etwa „Verarbeiten“ oder „Zugreifen“ oder „Ausführen“ oder „Speichern“ oder Rendern" oder dergleichen auf die Aktion und Prozesse eines Computersystems beziehen oder eines ähnlichen elektronischen Rechengerätes, welches Daten, welche als physikalische (elektronische) Quantitäten innerhalb der Computersystem-Register und - Speicher und anderer Computer-lesbarer Medien repräsentiert sind, manipuliert und in andere Daten transformiert, welche ähnlich als physikalische Quantitäten innerhalb der Computersystem-Speicher oder - Register oder irgendeinem anderen solchen Informationsspeicher, Transmissions- oder Anzeigegeräten repräsentiert sind. Wenn eine Komponente in mehreren Ausführungsformen erscheint, zeigt die Benutzung desselben Bezugszeichens an, dass die Komponente dieselbe Komponente ist, wie sie in der ursprünglichen Ausführungsform illustriert ist.
ÜBERAUFLÖSUNG-ANZEIGE UNTER BENUTZUNG VON KASKADIERTEN TAFELN
Wie es hierin benutzt ist, bezieht sich der Ausdruck „Überauflösung“ (superresolution) (SR) auf Signalverarbeitungs-Techniken, welche ausgelegt sind, um die effektive räumliche Auflösung eines Bildes oder eines Bildgebungs-Systems auf besser als diejenige zu erhöhen, welche der Größe des Pixels in dem ursprünglichen Bild oder Bildsensor entspricht.
Im Ganzen gesehen, erzeugen Ausführungsformen der vorliegenden Offenbarung eine multiplikative Überlagerung mittels eines Synthetisierens von höheren räumlichen und/oder zeitlichen Frequenzen durch die simultane Interferenz von verschobenen Licht-abschwächenden Anzeigen mit großem Apertur-Verhältnissen. Ein Stapel von zwei oder mehr multiplikativen Anzeigeschichten (oder räumlichen Lichtmodulator-(SLM)-Schichten) ist in einem Anzeigegerät integriert, um ein räumlichüberaufgelöstes Bild zu synthetisieren. Basierend auf einem ursprünglichen Bild oder einem Satz von Videoframes mit einer Ziel-räumlichen/zeitlichen Auflösung wird ein Faktorisierungs-Prozess durchgeführt, um entsprechende Bilddaten zur Präsentation auf jeder Anzeigeschicht abzuleiten.
In einem Aspekt sind die Anzeigeschichten in einem Stapel seitlich relativ zueinander verschoben, was zu einer effektiven räumlichen Auflösung führt, welche die nativen Anzeigeauflösungen der Anzeigeschichten übersteigt. Eine hohe Treue zu einem Hoch-Auflösungs-Ursprungsbild kann vorteilhafterweise mit oder ohne Zeit-multiplexenden Abschwächungsmustern erreicht werden, obwohl das letztere bessere Performanz im Sinne eines Verminderns des Erscheinens von Artefakten bietet. Ein Echtzeit-Grafikverarbeitungs-Einheit (GPU)-beschleunigter-kaskadierter-Anzeige-Algorithmus ist präsentiert und eliminiert den Bedarf nach zeitlichem Multiplexen, während Überauflösungs-Bildtreue erhalten ist.
In einem anderen Aspekt werden zwei oder mehr Anzeigeschichten (oder SLMs) in verschachtelten (staggered) Intervallen wieder aufgefrischt, um ein Video mit einer effektive Wiederauffrischungs-Rate zu synthetisieren, welche die jeder einzelnen Anzeigeschicht übersteigt, z.B. um einen Faktor gleich der Anzahl von Schichten. Ein weiteres optisches Mitteln von benachbarten Pixeln kann Artefakte minimieren.
Hierin ist auch ein umfassendes Optimierungs-Rahmenwerk basierend auf einer nicht-negativen Matrix und Tensor-Faktorisierung bereitgestellt. Insbesondere kann der gewichtete Rang-1-Rest-Iterations-Zugang die vorherigen multiplikativen Aktualisierungsregeln schlagen.
MODELLIEREN VON KASKADIERTEN ZWEI-SCHICHT-ANZEIGEN
Im Allgemeinen kann die Konstruktion des kaskadierten Anzeigegerätes räumliches oder zeitliches Multiplexen ausnutzen, um die effektive Anzahl von adressierbaren Pixeln zu erhöhen. Als ein Ergebnis muss ein Dekompositions-Problem gelöst werden, um die optimale Kontrolle der Anzeige-Komponenten zu bestimmen, um die wahrgenommene Auflösung zu maximierenunter Berücksichtigung physikalischer Einschränkungen (z.B. begrenzter dynamischer Bereich, begrenzter Farb-Gamut, und Verhinderung von negativen Aussendungen (emittancesY).
In einer Ausführungsform umfasst eine Zwei-Schicht-Anzeige ein Paar von räumlichen Licht-Modulatoren (SLMs), welche in direktem Kontakt vor einem gleichförmigen Hintergrundlicht platziert sind, und beinhaltet ein gleichförmiges Feld von Pixeln mit individuell adressierbarer Transmissivität bei einer fixierten Auffrischungsrate. Die Schichten sind mit einer seitlichen Verschiebung relativ zueinander angeordnet. Zum Beispiel können die Schichten voneinander um einen Bruchteil eines Pixels in zwei orthogonalen Richtungen verschoben sein. Die vorliegende Offenbarung ist jedoch nicht auf die Größe, Dimension oder Richtungen seitlicher Verschiebung begrenzt.
1A-1C illustrieren die relativen seitlichen Positionen zwischen zwei Anzeigeschichten 110 und 120 in einem exemplarischen kaskadierten Anzeigegerät in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. 1A zeigt Beispiel-Pixel der unteren Schicht 110, a₁-a₆; 1B zeigt Probe-Pixel der oberen Schicht 120, welche über der unteren Schicht 110 liegt, b₁-b₆; und 1C zeigt die Teil-Pixelfragmente (S_2,1-S_6,6) resultiert von der kaskadierten und verschobenen Anordnung der zwei Schichten. Die Pixel der oberen Schicht 110 sind jeweils seitlich um eine Hälfte eines Pixels relativ zu der unteren Schicht 120 verschoben, sowohl horizontal als auch vertikal. Somit koinzidieren die Pixel-Zentren der oberen Schicht 110 mit den Pixel-Ecken der unteren Schicht 120.
Als ein Ergebnis erzeugt diese Konfiguration ein gleichförmiges Feld von Teil-Pixel-Fragmenten, welche mittels der Überlappung von Pixeln auf der unteren Schicht mit denen auf der oberen definiert sind. Zum Beispiel ist das Teil-Pixel-Fragment S_2,1 mittels des Pixels a₂ der unteren Schicht 110 und Pixel b₁ der oberen Schicht definiert. Daher existieren viermal so viele Teil-Pixel-Fragmente wie Pixel auf einer individuellen, was die Kapazität etabliert, die räumliche Auflösung zu vervierfachen.
Es wird angenommen, dass die untere Schicht 110 N Pixel hat und dass die obere Schicht 110 M Pixel im Ganzen hat. Während des Betriebs des Anzeigegerätes werden K Zeit-gemultiplexte Frames dem Betrachter bei einer Rate oberhalb des kritischen Flicker-Fusions-Schwellwertes präsentiert, so dass ihr zeitlicher Mittelwert wahrgenommen wird. Unter Benutzung von zeitlichem Multiplexen kann vorteilhafter Weise die Grade von Freiheit erhöhen, welche verfügbar sind, um Bild-Artefakte zu vermindern.
Nachfolgend ist die Emissivität von Pixel i in der unteren Schicht 110, für Frame k, bezeichnet als a_i ^(k), so dass 0 ≤ a_i ^(k) ≤ 1. Ähnlich bezeichnet b_j ^(k) die Transmissivität des Pixels j der oberen Schicht, für Frame k, so dass 0 ≤ b^(k) ≤ 1. Die Emissivität jedes Teil-Pixel-Fragments wird durch s_i,j repräsentiert, was ausgedrückt werden kann als $s_{i, j} = w_{i, j} (\sum_{k = 1}^{K} a_{i}^{(k)} b_{j}^{(k)}),$
wobei w_i,j ein Faktor ist, um die Überlappung von Pixel i und Pixel j zu bezeichnen.
Dieser Ausdruck (1) impliziert, dass eine Zweischicht-Bildformation in knapper Weise unter Benutzung der Matrix-Multiplikation ausgedrückt werden kann: $S = W \circ ({AB}^{T}),$
wobei ◦ das Hadamard- (elementweise) -Matrixprodukt bezeichnet; A ist eine NxK-Matrik, deren Spalten untere-Schicht-Pixel-Emissivitäten während Frame k enthalten; B ist eine MxK-Matrix, deren Spalten die obere-Schicht-Pixel-Transmissivitäten während Frame k enthalten; W ist eine NxM-dünnbesiedelte Gewichtsmatrix, welche die paarweisen Überlappungen enthält; und S ist eine dünnbesiedelte NxM-Matrix, welche die Teil-Pixel-Fragment-Emissivitäten enthält. S kann nicht-Null sein, nur wenn Pixel i und Pixel j überlappen.
Das Bildformations-Modell, was durch Gleichungen (1) und (2) gegeben ist, kann auf verschiedene Typen von räumlichen Lichtmodulatoren angewendet werden, einschließlich Tafeln mit verschiedenen Pixel-Abständen (pitches). Ferner können laterale Translationen und In-Ebene-Rotationen der zwei Schichten in einer geeigneten Wahl der Gewichtsmatrix W kodiert werden.
Dieses Modell kann praktisch auf existierende Flachtafel-Anzeigen (z.B. LCD-Tafeln, welche Farbfilter-Felder und begrenzte Pixel-Apertur-Verhältnisse beinhalten) und digitale Projektoren (z.B. diejenigen, welche LCD, LCoS oder DMD-räumliche Licht-Modulatoren beinhalten) und so weiter angewendet werden.
RÄUMLICHE ÜBERAUFLÖSUNG
Kaskadierte Anzeigen gemäß der vorliegenden Offenbarung können erhöhte räumliche Auflösung mittels eines Schichtens von räumlich versetzten, zeitlich gemittelten Anzeigetafeln bereitstellen.
2 ist ein Flussdiagramm, welches einen exemplarischen Prozess 200 einer Anzeige eines Bildes auf einem kaskadierten Anzeigegerät mit einer Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigt. Es wird angenommen, dass das Anzeigegerät L Anzeigeschichten umfasst, wobei L eine ganze Zahl ist, welche größer als 2 ist. Bei 201 wird auf einen ursprünglichen Bildframe zugegriffen, welcher eine ursprüngliche räumliche Auflösung (oder die Zielauflösung) hat. Der ursprüngliche Bildframe kann ein statisches Bild oder ein Frame eines Videos sein. Die ursprüngliche räumliche Auflösung kann größer sein als die native räumliche Auflösung irgendeiner der L Anzeigeschichten in dem Anzeigegerät.
In einigen Ausführungsformen, unter der Annahme, dass alle Schichten identische quadratische Pixel haben, ist jede Schicht um 1/L Pixel in Bezug auf die vorherige Schicht versetzt. Die resultierende kaskadierte Anzeige hat dann L² mal so viele Teil-Pixel-Fragmente wie irgendeine individuelle Schicht darin.
Bei 202 wird der ursprüngliche Bildframe in mehrere Framesätze durch einen Faktorisierungs-Prozess aufgeteilt, jeder Framesatz für eine entsprechende Anzeigeschicht. Der Faktorisierungs-Prozess kann in verschiedenen geeigneten Weisen durchgeführt werden, einschließlich der exemplarischen Rechenprozesse, welche im größeren Detail unten beschrieben sind. Jeder entsprechende Frame-Satz kann einen oder mehr Frames (auch hierin als „Muster“ bezeichnet) in einer räumlichen Auflösung enthalten, welche kompatibel mit der entsprechenden Anzeigeschicht ist.
Bei 203 werden die Frame-Sätze, welche von 202 abgeleitet sind, auf entsprechenden Anzeigeschichten zur Anzeige gerendert. Insbesondere ist mit Hinsicht auf jede Anzeigeschicht der entsprechende Frame-Satz sequentiell zur Anzeige gerendert. Als ein kollektives Ergebnis kann ein Benutzer eine effektive räumliche Auflösung des Anzeigegeräts wahrnehmen, welche die native Auflösung jeder individuellen Schicht übersteigt. Eine räumliche Überauflösung ist daher vorteilhafterweise erreicht.
Um ein Ziel-Hoch-Auflösungs-Bild zu faktorisieren, kann in einigen Ausführungsformen das Bild abgetastet werden, und als eine dünnbesiedelte Matrix W·T, welche Teil-Pixel-Fragment-Werte analog zu S enthält, umgeordnet werden. Somit ist das Bild mittels einer Serie von Zeit-gemultiplexten Abschwächungs-Musterpaaren (attenuation pattern pairs) repräsentiert (z.B. Spalten von A und B, welche über die zwei Schichten hinweg anzuzeigen sind) repräsentiert.
Zum Beispiel können, um ein Bild auf einer kaskadierten Dual-Schicht-Anzeige in einer Überauflösung anzuzeigen oder zu rekonstruieren, die ursprünglichen Bilddaten in zwei einzelne Muster faktorisiert werden, eines für jede Schicht. In einigen anderen Ausführungsformen kann zeitliches Multiplexen in den Faktorisierungs-Prozess inkorporiert werden, um mehrere Frames zur Anzeige während der Integrationsperiode der Benutzeraugen abzuleiten. Somit werden mehrere Frames in jedem Frame-Satz konsekutiv zur Anzeige auf einer entsprechenden Schicht gerendert.
3 illustriert einen exemplarischen Faktorisierungs-Prozess mit Zeit-Multiplexing für eine kaskadierte Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung. Sie zeigt, dass alle FrameDaten für eine bestimmte Schicht mittels eines Vektors repräsentiert sind. Insbesondere repräsentieren a_t1, a_t2 und a_t3 die Frames, welche auf der ersten Schicht (Schicht A) bei Frame-Wiederauffrischungs-Zeiten t₁, t₂ bzw. t₃ anzuzeigen sind; und b_t1, b_t2 und b_t3 repräsentieren die Frames, welche auf der ersten Schicht (Schicht B) bei Frame-Wiederauffrischungs-Zeiten t₁, t₂ bzw. t₃ anzuzeigen sind. Ausgedrückt in einer kompakten Form werden die Zeit-gemultiplexten Frames für jede Schicht durch eine Matrix (A oder B) repräsentiert. Die Matrix T repräsentiert den ursprünglichen Bildframe in einer hohen Auflösung. Das Ziel des Faktorisierungs-Prozesses ist es, ein geeignetes A und B zu finden, um ihr Produkt gleich oder ungefähr gleich dem Priori zu machen, was das Ziel-Bild T ist.
In einer Ausführungsform wird eine einfache heuristische Faktorisierung benutzt und befähigt, verlustfrei ein räumlich überaufgelöstes Ziel-Bild unter Benutzung von vier Zeit-gemultiplexten Abschwächungs-Schichtpaaren (K=4) zu rekonstruieren, unter der Annahme, dass beide Schichten dieselbe Pixelstruktur haben und dass die zeitliche Verschiebung eine Hälfte eines Pixels entlang beider Achsen ist. 4 illustriert die Bildframes, welche in einem exemplarischen heuristischen Faktorisierungs-Prozess abgeleitet sind, welcher für räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung konfiguriert ist.
Wie gezeigt ist, wird eine Zeit-gemultiplexte Sequenz von verschobenen Stiftloch-(pinhole)-Gittern auf der unteren Schicht (erste Zeile, welche Frames für Schicht 1 repräsentiert) angezeigt, zusammen mit Alias-Mustern auf der oberen Schicht (zweite Zeile, welche Frames für Schicht 2 repräsentiert). Jedes untere-Schicht-Pixel beleuchtet die Ecken von vier obere-Schicht-Pixeln, wie in Zeile 3 gezeigt ist. Wenn die vier Frames bei einer Rate präsentiert sind, welche den Flicker-Fusions-Schwellwert übersteigt, nimmt der Betrachter ein Bild mit viermal der Anzahl von Pixeln in jeder Schicht wahr. Man bemerke, dass die kaskadierte Anzeige dunkler bzw. abgeschwächter erscheinen kann als eine herkömmliche Anzeige, wenn die Hintergrund-Lichthelligkeit dieselbe bleibt.
Wie in 4 gezeigt ist, zeigt, während des ersten Frames, die untere Schicht (Schicht 1) ein Stiftloch-Gitter, wobei nur das erste Pixel in jedem 2x2-Pixel-Block beleuchtet ist. Jedem obere-Schicht-(Schicht 2)-Pixel ist die Transmittanz des entsprechenden Ziel-Teilpixel-Fragments zugewiesen. Nur ein Viertel der Ziel-Teilpixel-Fragmente werden rekonstruiert, wenn ein gegebenes Stiftloch-Gitter auf der unteren Schicht angezeigt ist. Als ein Ergebnis sind vier Zeit-gemultiplexte Schichtpaare erforderlich, welche vier verschobene Stiftloch-Gitter aufweisen.
Obwohl keine Artefakte in den rekonstruierten Bildern vorhanden sind, erscheinen heuristische Faktorisierungen mit einem Viertel der Helligkeit wie eine konventionelle Einzel-Schicht-Anzeige, da jedes Teilpixel-Fragment nur während eines von vier Frames sichtbar ist.
Mit einer anderen Ausführungsform wird ein optimierter kompressiver Faktorisierungs-Prozess zum Ableiten der Framedaten für entsprechende Schichten eingesetzt. Durch Anwendung von Gleichung (2) werden optimale Zwei-Schicht-Faktorisierungen durch Lösen des folgenden beschränkten kleinste-Quadrate-Problems bereitgestellt: $\underset{{0 ≼ A ≼ 1, 0 ≼ B ≼ 1}}{arg min} \frac{1}{2} {‖ W \circ (β T - {AB}^{T}) ‖}_{2}^{2},$
wobei ≼ ein Element-weiser Matrix-Ungleichheits-Operator ist. Man bemerke, dass für den Helligkeits-Skalierungsfaktor, 0 < β ≤ 1 erforderlich ist, um Lösungen zu erlauben, welche die Luminanz des wahrgenommenen Bildes vermindern, relativ zu dem Ziel-Bild (z.B. wie mit dem heuristischen Vier-Frame-Faktorisierungs-Prozess beobachtet). Wenn die oberen Beschränkungen an A und B ignoriert sind, dann entspricht Gleichung (3) einer gewichteten nicht-negativen Matrix-Faktorisierung (WNMF). Als ein Ergebnis kann irgendein gewichteter NMF-Algorithmus angewendet werden, um eine räumliche Überauflösung zu erreichen, wobei die Pixel-Werte an den durchführbaren Bereich nach jeder Iteration geklemmt werden. Zum Beispiel können die folgenden multiplikativen Aktualisierungsregeln benutzt werden: $\begin{matrix} A \leftarrow A \circ \frac{(W \circ (β T)) B}{\bar{(W \circ ({AB}^{T})) B}} & B \leftarrow B \circ \frac{A^{T} (W \circ (β T))}{\bar{A^{T} (W \circ ({AB}^{T}))}} \end{matrix}$
Der Doppelstrich-Operator bezeichnet Hadamard-(Element-weise)-Matrix-Divison.
Ähnliche multiplikative Aktualisierungs-Regeln können auf Mehrschicht-3D-Anzeigen angewendet werden. Im Sinne von Rechenperformanz können gewichtete Rang-1-Rest-Iterationen (rank-1 residue iterations) (WRRI) als robust und effizient bevorzugt werden. Tabelle 1 präsentiert einen Pseudocode, welcher einen exemplarischen Faktorisierungs-Prozess eines Ableitens der Matrix A und B zeigt, welche die Framedaten-Sätze jeweils für zwei Anzeigeschichten repräsentieren. A und B werden iterativ gemäß einem gewichteten Rang-I-Rest-(WRRI)-Iterations-Prozesses berechnet. WRRI ist in Tabelle 1 spezifiziert, wobei x_j Spalte j einer Matrix X bezeichnet und [x_j]+ die Projektion auf den positiven Orthanten bezeichnet, so dass Element i von [x_j]+ gegeben ist durch max(0, x_i,j).
5 zeigt Bildframes, welche von der räumlich-optimierten Faktorisierung für räumliche Überauflösung gemäß dem WRRI-Prozess, welcher in Tabelle 1 in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung präsentiert ist, resultiert sind. Der Algorithmus 1, welcher in Tabelle 1 präsentiert ist, stellt die optimalen Drei-Frame-Dual-Schicht-Faktorisierung des Ziel-Bildes 510 bereit. Zum Beispiel werden die Schichten mit gleichförmig verteilten Zufallswerten für alle Frames initialisiert. Im Vergleich zu der heuristischen Faktorisierung beinhalten beide Schichten inhaltabhängige Merkmale.
Wie oben beschrieben ist, werfen Gleichungen (2) und (3) Bildformation mittels Dual-Schicht-kaskadierten Anzeigen als ein Matrix-Faktorisierungs-Problem, derart, dass der Faktorisierungs-Rang der Anzahl von Zeit-gemultiplexten Frames gleicht. Somit erlaubt WNMF-basierte Faktorisierung Konfigurationen von einer Rekonstruktionsgenauigkeit, der Zahl von Zeit-gemultiplexten Frames, und der Helligkeit des rekonstruierten Bildes.
Die Teilrekonstruktionen sind in Frames von 531, 532 und 533 präsentiert und das kaskadierte Bild 540 ist als das Endergebnis präsentiert, was mit dem rekonstruierten Bild 550 unter Benutzung eines herkömmlichen Zugangs und dem Ziel-Bild 510 verglichen ist. Wenn die drei Frames für eine individuelle Schicht (z.B. 511-513 von Schicht 1) bei einer Rate präsentiert sind, welche größer ist als der kritische Flicker-Fusions-Schwellwert, nimmt der Betrachter ein überaufgelöstes Bild 540 mit viermal der Anzahl von Pixeln wahr. Wenn die Hintergrund-Lichthelligkeit dieselbe bleibt, kann die kaskadierte Anzeige abgeschwächter erscheinen als eine herkömmliche Anzeige unter Benutzung einer einzelnen Anzeigeschicht. Erhöhen des Helligkeits-Skalierungs-Faktors β kann Absorptionsverluste kompensieren.
Wie mit Bezug auf 6A und 6B diskutiert ist, in Bildpräsentation auf einer kaskadierten Anzeige, können die Zeit-gemultiplexten Frames auf den mehreren Schichten entweder in Synchronisation oder Nicht-Synchronisation, z.B. in einer verschachtelten (staggered) Weise, gerendert werden. Es wird geschätzt werden, dass mit Hinsicht auf ein bestimmtes Ziel-Bild, sich die Frame-Sätze, welche für synchronisierte Frame-Wiederauffrischung abgeleitet sind, von denen unterscheiden, welche für die nicht-synchronisierte Wiederauffrischung abgeleitet sind.
6A sind Zeitdiagramme, welche synchronisierte Frame-Wiederauffrischungs-Zyklen 610 und 620 für zwei Anzeigeschichten illustrieren, welche in einem exemplarischen kaskadierten Anzeigegerät umfasst sind, welches konfiguriert ist, räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen. Zum Beispiel sind die ursprünglichen Bilddaten in zwei Frame-Sätze für Schicht A bzw. Schicht B faktorisiert worden und jeder Frame-Satz umfasst vier Zeit-gemultiplexte Frames. In diesem Beispiel koinzidieren die Frame-Wiederauffrischungs-Zeiten mit den ansteigenden Kanten der Wiederauffrischungs-Zyklen (gezeigt als t₁,t₂, t₃ und t₄) auf den Zeitdiagrammen 610 und 620, 6A zeigt, dass Schicht-A-Frame (a_t1, a_t2, a_t3 und a_t4) wiederaufgefrischt sind in Synchronisation mit Schicht B (b_t1, b_t2, b_t3 und b_t4). Zum Beispiel werden bei Zeit t₁ Frame a_t1 und Frame b_t1 gleichzeitig auf Schicht A bzw. auf Schicht B gerendert.
6B sind Zeitdiagramme, welche unsynchronisierte Frame-Auffrischungs-Zyklen 630 und 640 für zwei Anzeigeschichten illustrieren, welche in einem exemplarischen kaskadierten Anzeigegerät umfasst sind, welches konfiguriert ist, um räumliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen. Zum Beispiel sind die ursprünglichen Bilddaten in zwei Frame-Sätze für Schicht A bzw. Schicht B faktorisiert worden. Jeder Frame-Satz umfasst vier Zeit-gemultiplexte Frames. In diesem Beispiel hat jede Schicht dieselbe Frame-Wiederauffrischungs-Perioden und die Frame-Wiederauffrischungs-Zeiten koinzidieren mit den ansteigenden Kanten der Wiederauffrischungs-Zyklen auf den Zeitdiagrammen 630 und 640. 6B zeigt das Schicht-A-Frames (a_t1, a_t2, a_t3 und a_t4) in einem Zeitversatz von Schicht-B-Frames (b_t1, b_t2, b_t3 und b_t4) aufgefrischt sind. Zum Beispiel ist Frame a_t1 auf Schicht A bei Zeit t_a1 gerendert, während Frame b_t1 auf Schicht B bei Zeit t_b1 gerendert ist. In diesem Beispiel hinkt t_b1 t_a1 um einen halben Zyklus nach.
In einigen Ausführungsformen, gegeben eine kaskadierte Anzeige mit L (L>1)-Schichten, welche in einer verschachtelten Weise wiederaufgefrischt werden, kann eine Frame-Wiederauffrischungs-Zeit einer bestimmten Schicht hinter der Frame-Wiederauffrischungs-Zeit einer vorherigen Schicht um einen Bruchteil (=1/L zum Beispiel) von einem Frame-Wiederauffrischungs-Zyklus hinterher hinken.
Im Allgemeinen können kaskadierte Anzeigen vorteilhafterweise Hochqualität-Ergebnisse im Sinne von räumlichen und zeitlichen Auflösungen erreichen, selbst ohne zeitliches Multiplexing. Wie oben diskutiert ist, ist ein Eliminieren von zeitlichem Multiplexing äquivalent zu Anzeigen einer Rang-1-Faktorisierung. WRRI ist ein bevorzugtes effizientes Verfahren zum Lösen dieser Rang-1-Faktorisierung, Erreichen von Echtzeit-Frame-Raten für Hoch-Definitions-(HD)-Zielframes (eine Variante von alternierenden kleinsten Quadraten zum Lösen von NMF wie im Detail unten diskutiert ist). Diese Beobachtung ist bedeutend, um Echtzeit-Anwendungen zu ermöglichen. Zum Beispiel kann eine GPU-basierte Implementierung von Schnell-Rang-1-Faktorisierung für interaktive Operation der kaskadierten Kopf-montierten Anzeige benutzt werden).
RÄUMLICH-ZEITLICHE ÜBERAUFLÖSUNG
Kaskadierte Anzeigen gemäß der vorliegenden Offenbarung können auch zeitliche Auflösung mittels eines Schichtens von mehreren zeitlich versetzten, räumlich gemittelten Anzeigen erhöhen. Zeitliches Versetzen von mehreren Anzeigetafeln einer kaskadierten Anzeige synthetisiert eine zeitliche Überauflösungs-Anzeige. Insbesondere ist die Frame-Wiederauffrischungs-Zeit für jede Schicht von derjenigen der vorherigen Schicht um einen Bruchteil eines Frame-Wiederauffrischungs-Zyklus versetzt. Als eine Folge nimmt ein Betrachter der kaskadierten Anzeige einen Videoinhalt, welcher in einer hohen Wiederauffrischungs-Rate als die nativen Wiederauffrischungs-Rate(n) von individuellen Schichten wahr.
In einigen Ausführungsformen werden die mehreren Schichten in der kaskadierten Anzeige mechanisch auf die Pixel ausgerichtet und in einer verschachtelten Weise wieder aufgefrischt. 7 sind Zeitdiagramme, welche Frame-Wiederauffrischungs-Zyklen 710 und 720 für zwei Anzeigeschichten eines exemplarischen kaskadierten Anzeigegeräts illustrieren, welches konfiguriert ist, zeitliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen. In diesem Beispiel ist ein Video, welches vier Frames (F1-F4) umfasst, in zwei Frame-Sätze für zwei entsprechende Schichten faktorisiert, mit Frames F_a1- F_a4 für Schicht A und Frame F_b1-F_b4 für Schicht B. Jeder geframte Satz wird auf der Anzeigeschicht in einer nativen Wiederauffrischungs-Rate, z.B. 50 Hz gerendert. Die Frame-Wiederauffrischungs-Zeiten der zwei Schichten sind um eine Hälfte eines Frame-Wiederauffrischungs-Zyklus geschachtelt (staggered). Zum Beispiel ist Frame F_a1 auf Schicht A (bei t_a1) einen halben Zyklus, bevor F_b1 auf Schicht B (bei t_b1) präsentiert ist, gerendert. Als ein Ergebnis ist eine 100 Hz Anzeige synthetisiert.
Gemäß der vorliegenden Offenbarung, für räumliche Überauflösung, erhöht ein optionales zeitliches Multiplexen im Allgemeinen die Rekonstruktionstreue. Ähnlich vermindert, für zeitliche Überauflösung, ein räumliches Mitteln Rekonstruktions-Artefakte mittels eines Erhöhens des Grades von Freiheit, welcher durch Dual-Schicht-Anzeigen mit verschachtelten Wiederauffrischungen hervorgebracht ist. In einigen Ausführungsformen ist ein räumliches Mitteln dadurch erreicht, dass ein streuendes optisches Element auf dem Oberen einer Flachtafel-kaskadierten Anzeige (z.B. ein Dual-Schicht-LCD) eingeführt ist oder indem ein Projektor, welcher kaskadierte Anzeigen einsetzt, defokussiert wird.
Gleichung (5) ist eine exemplarische objektive Funktion, um optimale Faktorisierungen für zeitliche Überauflösung zu bestimmen: $\underset{{0 ≼ A ≼ 1, 0 ≼ B ≼ 1}}{arg min} \frac{1}{2} {‖ W \circ (β T - {CP}_{1} {AB}^{T} P_{2}) ‖}_{2}^{2},$
Hier ist A ein Längen-FN-Spaltenvektor, welcher die untere-Schicht-Pixel-Emissivitäten beinhaltet, zusammengesetzt (concatenated) über F Videoframes; ähnlich ist B ein Länge-FM-Spaltenvektor, welcher die obere-Schicht-Pixel-Transmissivitäten beinhaltet, zusammengesetzt über F Videoframes. Die Permutations-Matrizes {P₁, P₂} ordnen die rekonstruierten Teilpixel-Fragmente S=AB^T derart um, dass die ersten F Spalten des Produkts P₁AB^TP₂ die Länge-NM-Teilpixel-Fragmente beinhalten, entsprechend dem überaufgelösten Bild, welches während des entsprechenden Frames angezeigt ist. Räumliches Mitteln ist als die FNxFN-Konvolutions-Matrix C repräsentiert, welche die Spalten von P₁AB^TP₂ low-pass-filtered.
Wiederum ist W eine dünn besiedelte Gewichtsmatrix, welche die paarweisen Überlappungen über Raum und Zeit beinhaltet. Schließlich bezeichnet W·T die Teilpixel-Fragmente des Ziel-zeitlich-überaufgelösten Videos. In einigen Ausführungsformen, wenn das Ziel ist, die Frame-Rate zu erhöhen, nicht räumliche Treue, muss ein Zeit-Multiplexing nicht auf jedem Zielframe über K Faktorisierungs-Frames durchgeführt werden.
Die verbundene bzw. gleichzeitig räumliche und zeitliche Überauflösung ist direkt durch die objektive Funktion unterstützt, welche in Gleichung (5) präsentiert ist. Die Gewichtsmatrix W subsumiert zeitliche sowie auch räumliche Überlappungen. Somit ist es ausreichend, die Gewichtsmatrix-Elemente dementsprechend zu setzen. Um Gleichung (5) zu lösen, werden in einigen Ausführungsformen die folgenden Aktualisierungsregeln (6) und (7) zum Implementieren von zeitlicher Überauflösung unter Benutzung von kaskadierten Dual-Schicht-Anzeigen benutzt, wie in größerem Detail in einem späteren Abschnitt unten beschrieben wird. $A \leftarrow A \circ \frac{P_{1}^{T} C^{T} (W \circ (β T)) P_{2}^{T} B}{P_{1}^{T} C^{T} (W \circ ({CP}_{1} {AB}^{T} P_{2})) P_{2}^{T} B}$
$B \leftarrow B \circ \frac{A^{T} P_{1}^{T} C^{T} (W \circ (β T)) P_{2}^{T}}{A^{T} P_{1}^{T} C^{T} (W \circ ({CP}_{1} {AB}^{T} P_{2})) P_{2}^{T}}$
Aus Einfachheit werden diese multiplikativen Aktualisierungsregeln für räumlich-zeitliche Überauflösung spezifiziert. Der WRRI-Algorithmus kann jedoch ähnlich adaptiert werden. Insbesondere wird bei gegebener Implementierung für die Aktualisierungsregeln von Gleichung (4) anstatt die Matrizen {C, P1, P2} zu konstruieren, eine räumliche Verwischung bzw. Unschärfe (blur) auf die momentane Schätzung AB^T zwischen den Iterationen angewendet.
8 zeigt zeitliche Überauflösungs-Ergebnisse 820 unter Benutzung einer kaskadierten Dual-Schicht-Anzeige gemäß einer Ausführungsform der vorliegenden Offenbarung. In diesem Beispiel frischen die Anzeigeschichten in einer geschachtelten Weise auf und werden angenommen, mechanisch ausgerichtet zu sein. Diagramm 810 zeigt einen einzelnen Frame von dem Zielvideo (welches zweimal die Wiederauffrischungs-Rate wie die Anzeigeschichten hat). Diagramm 820 ist unter Benutzung von Gleichungen (6), und (7) erreicht, um das Zielvideo zu faktorisieren und um die faktorisierten Frames 821 und 822 auf jeder Schicht zur Anzeige bei der Hälfte der Rate des Zielvideos zu rendern. Die Rekonstruktion des Zielframes zeigt minimale Artefakte nach Verwischen (blurring) mittels eines gleichförmigen 2x2-Pixel-räumlichen Verwischungskerns. Diagramm 830 zeigt eine herkömmliche Anzeige, welche bei der Hälfte der Rate des Zielvideos wiederaufgefrischt ist. Während dieses Frames hinkt die herkömmliche Anzeige hinter dem Zielvideo und der kaskadierten Anzeige für den angezeigten Frame hinterher. Wie in den Diagrammen 821 und 822 gezeigt ist, sind Hoch-Frequenz-Details räumlich gemittelt, bevor sie von dem Betrachter wahrgenommen sind, z.B. mittels eines Diffusors oder mittels defokussierender Projektionsoptik.
In einer Ausführungsform werden alle Schichten und Frames auf gleichförmig verteilte Zufallswerte initialisiert. Das gesamte Video wird simultan faktorisiert. Für längere Videos kann ein sich verschiebendes Fenster von Frames faktorisiert werden, wobei die ersten Frames in jedem Fenster beschränkt sind, den letzten Frames in dem vorherigen Fenster zu gleichen. Wie in 8 demonstriert ist, stellt sich ein gleichförmiger 2x2-Verwischungskern als ausreichend heraus. Wie mit Rang-I-räumlicher Überauflösung unterstützen jedoch Gleichungen (6) und (7) räumlich-zeitliche Überauflösung ohne irgendeine optische Verwischung, wenn auch mit der Einführung von Rekonstruktions-Artefakten.
BEISPIEL-SOFTWARE-IMPLEMENTIERUNG
Die multiplikativen Aktualisierungsregeln (Gleichung (4)) und das WWRI-Verfahren (Algorithmus 1 in Tabelle 1) können in einem Software-Programm, welches für räumliche Überauflösung mit Dual-Schicht-Anzeigen konfiguriert ist, in Matlab oder in irgendeiner anderen geeigneten Programmiersprache implementiert werden. In einer Ausführungsform ist das Programm konfiguriert, eine beliebige Anzahl von Frames (d.h. Faktorisierungs-Rängen) zu unterstützen. Der schnelle Rang-1-Löser kann unter Benutzung von CUDA implementiert werden, um GPU-Beschleunigung auszunutzen (Quellcode ist in Tabelle 6 bereitgestellt). Alle Faktorisierungen wurden auf einer Intel 3.2 GHz-Intel-Core i7-Arbeitsstation mit 8 GB von RAM und einem NVIDIA-Quadro K5000 durchgeführt. Der schnelle Rang-1-Löser erhält die native 60 Hz Wiederauffrischungs-Rate, einschließlich ein Overhead zum Rendern von Szenen und Anwenden von Nachverarbeitungs-Fragment-Schattierern (z.B. in einer HMD-Demonstration).
Datenverarbeitung und -Operationen von kaskadierten Anzeigen benötigen die physikalische Konfiguration der Anzeigeschichten und ihre radiometrischen Charakteristiken, z.B. um die Pixel-Überlappungen zu berechnen, welche in W in Gleichung 2 kodiert sind. Eine Fehlausrichtung unter den Anzeigeschichten kann in einem Kalibrierungs-Prozess korrigiert werden, z.B. indem das Bild, welches auf der zweiten Schicht angezeigt ist, verwunden (warping) wird, um mit dem Bild auszurichten, welches auf der ersten Schicht angezeigt ist.
Zum Beispiel werden zwei Fotografien benutzt, um diese Verwindung (warp) zu schätzen. In jeder Fotografie wird ein Schachbrett auf einer Schicht angezeigt, während die verbleibende Schicht gesetzt ist, vollständig transparent oder vollständig reflektiv zu sein. Streudaten-Interpolation (scattered data interpolation) schätzt die Verwindungsfunktion, welche fotografierte erste-Schicht-Schachbrett-Ecken in das Koordinatensystem des Bildes projiziert, welches auf der zweiten Schicht angezeigt ist. Das zweite-Schicht-Schachbrett (oder irgendein anderes Bild) wird verwunden, um mit dem erste-Schicht-Schachbrett auszurichten. Zusätzlich werden radiometrische Charakteristiken mittels eines Fotografierens von Flach-Feld-Bildern gemessen; diese Kurven werden derart invertiert, dass jede Anzeige in einer linearen radiometrischen Weise betrieben wird. Somit wird die geometrische und radiometrische Kalibrierung benutzt, um die aufgenommenen Bilder zu rektifizieren und Vignettierung zu korrigieren - was einen direkten Vergleich mit vorhergesagten Ergebnissen erlaubt.
BEISPIEL-HARDWARE-IMPLEMENTIERUNG
Ein kaskadierte-Anzeige-Gerät gemäß der vorliegenden Offenbarung kann als ein Dual-Schicht-LCD-Schirm implementiert werden, welcher ein direkte-Ansicht- und Kopf-montierte-Anzeige-(HMD)-Gerät, einen Dual-Schicht-LCoS-Projektor, etc. unterstützt. Ein Betreiben von kaskadierten Anzeigen, um Überauflösung zu erreichen, setzt vorteilhafterweise weniger praktische Einschränkungen: keine physikalische Lücke ist zwischen den Schichten erforderlich, was dünnere Formfaktoren ermöglicht, und signifikant weniger Zeit-gemultiplexte Frames sind notwendig, um Bildartefakte zu eliminieren.
9 illustriert ein exemplarisches Anzeigesystem 900, welches kaskadierte Anzeigeschichten 961 und 962 benutzt, um räumliche/zeitliche Überauflösung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erreichen. Das System 900 umfasst einen Prozessor 910 (z.B. eine Grafik-Verarbeitungs-Einheit (GPU)), einen Bus 920, Speicher 930, einen Frame-Puffer 940, eine Anzeigesteuerung 950 und die Anzeigeanordnung 960 einschließlich von Anzeigetafeln 961 und 962. Es wird geschätzt werden, dass das System 900 auch andere Komponenten umfassen kann, wie etwa ein Gehäuse, Schnittstelle-Elektronik, eine IMU, Vergrößerungsoptik, usw.
Der Speicher 930 speichert ein kaskadierte-Anzeige-Programm 931, welches ein integraler Teil des Treiberprogramms für die Anzeigeanordnung 960 sein kann. Der Speicher 930 speichert auch die ursprünglichen Grafikdaten 934 und die faktorisierten Grafikdaten 935. Das kaskadierte-Anzeige-Programm 931 umfasst ein Modul 932 für zeitliche Faktorisierungs-Berechnung und ein Modul 933 für räumliche Faktorisierungs-Berechnung. Ausgestattet mit Benutzer-Konfigurationen und ursprünglichen Grafikdaten 934 leitet das kaskadierte-Anzeige-Programm 931 faktorisierte Bilddaten 935 zur Anzeige auf jeder Anzeigeschicht 961 und 962 ab, wie in größerem Detail hierin beschrieben wird. Zum Beispiel ist das zeitliche Faktorisierungs-Modul 932 konfiguriert, einen Prozess gemäß der Gleichungen (5)-(7) durchzuführen; und das räumliche Faktorisierungs-Modul 933 ist konfiguriert, einen Prozess gemäß Gleichungen (3) und (4) durchzuführen.
Ein kaskadierte-Anzeige-Gerät gemäß der vorliegenden Offenbarung kann als ein LCD implementiert sein, wie es in einer direkte-Ansicht oder Kopf-montierte-Anzeige-(HMD)-Anwendung benutzt ist. Das Anzeigegerät kann einen Stapel von LCD-Tafeln, Schnittstelle-Platinen, eine Linsenanbringung (für HMD-Benutzung) und dergleichen umfassen. Zum Beispiel wird jede Tafel bei der nativen Auflösung von 1280x800 Pixeln und mit einer Wiederauffrischungs-Rate von 60 Hz betrieben. Die vorliegende Offenbarung ist jedoch nicht durch die Zwecke oder Anwendung unter Benutzung von kaskadierter Anzeige begrenzt. Die vorliegende Offenbarung ist nicht durch den Typ von Anzeigetafeln oder Konfiguration oder Anordnung von den mehreren Schichten in der kaskadierten Anzeige begrenzt.
In einigen Ausführungsformen umfasst ein kaskadierte-Anzeige-Gerät LCD-Tafel(n) und organische Licht-emittierende Diode-(OLED)-Tafel(n), elektro-lumineszente Anzeigetafel(n) oder irgendeinen anderen geeigneten Typ von Anzeigeschicht(en), oder eine Kombination davon.
Eine kaskadierte-LCD-Anzeige gemäß der vorliegenden Offenbarung unterstützt eine direkte Betrachtung aus einer Distanz, wie mit einem Mobiltelefon oder Tablet-Computer und HMD unter Benutzung einer geeigneten Linsenanbringung. 10A zeigt ein Beispielbild, welches durch die vergrößernde Optik eines exemplarischen HMD unter Benutzung der Echtzeit-Rang-1-Faktorisierung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung aufgenommen ist. Die Lesbarkeit von Text unter Benutzung des kaskadierten LCD (gezeigt durch Diagramm 1020) ist offensichtlich besser im Vergleich zu einer herkömmlichen (Niedrig-Auflösungs)-Anzeige (gezeigt durch Diagramm 1010).
Alle räumlichen Überauflösungsergebnisse, welche hierin präsentiert sind, wurden unter Benutzung einer Canon EOS 7D-Kamera mit einer 50 mm f/1.8-Linse aufgenommen. Zeitliche Überauflösungs-Ergebnisse, umfasst in dem ergänzenden Video, benutzen eine Point Grey Flea3-Kamera mit einer Fujinon 2.8-8 mm-Variofokal-Linse. Aufgrund der Lücke zwischen den LCD-Modulations-Schichten scheint sich der seitliche Versatz abhängig von der Betrachter-Stelle zu verschieben. Die oben beschriebene KalibrierungsProzedur wird benutzt, um die Parallaxe zu kompensieren. Die Anzeigeschicht-Muster werden bei einer niedrigeren Auflösung als die native Tafel-Auflösung angezeigt, was einen direkten Vergleich zu „Bodendaten“ überaufgelösten Bildern erlaubt.
In einer Ausführungsform umfasst eine Kopf-montierte Anzeige (HMD) gemäß der vorliegenden Offenbarung zusätzlich eine Linsenanordnung (z.B. ein Paar von asphärischen vergrößernden Linsen), welche entfernt von dem oberen LCD um geringfügig weniger als ihre 5,1 cm Fokuslänge entfernt angeordnet ist, um ein vergrößertes aufrechtes virtuelles Bild zu synthetisieren, welches nahe „optisch unendlich“ erscheint. Ein Kopf-Nachverfolgen (head tracking) ist durch die Benutzung einer Inertial-Messeinheit (IMU) unterstützt. Der GPU-beschleunigte schnelle WRRI-Löser kann benutzt werden, um Daten zur Anzeige in dem HMD zu verarbeiten. Diese Implementierung ist in der Lage, die native 60 Hz Wiederauffrischung zu erhalten, einschließlich der Zeit, welche erforderlich ist, die OpenGL-Szene zu rendern, einen GLSL-Fragment-Schattierer anzuwenden, um die Bilder zu verwinden, um sphärische und chromatische Aberrationen zu kompensieren und das resultierende Ziel-Bild zu faktorisieren. Unähnlich zur direkten Betrachtung erlaubt ein HMD einen begrenzten Bereich von Betrachtungswinkeln - was den Einfluss von Betrachtungs-Parallaxe reduziert und praktische Anwendungen von kaskadierten LCDs erleichtert.
Überauflösung durch kaskadierte Anzeigen kann auch in kaskadierten Flüssig-(LCoS)-Projektoren angewendet werden, z.B. in Übereinstimmung mit 8K UHD-Kinoprojektions-Standards. Ein exemplarischer LCoS-Projektor umfasst mehrere LCoS-Mikroanzeigen, Schnittstellen-Elektronik, eine Relay-Linse, PBS, eine Apertur, Projektionslinse und eine Beleuchtungsmaschine, etc. Diese Anzeigen werden bei ihrer nativen Auflösung von 1024x600 Pixeln, bei einer Wiederauffrischungsrate von 60 Hz, einem Apertur-Verhältnis von 95,8% und einer Reflektivität von 70% betrieben. Die Relay-Linse wird benutzt, um eine duale Modulation zu erreichen, indem das Bild des ersten LCoS auf das zweite mit einer Einheitsvergrößerung projiziert wird. Der PBS-Kubus kann zwischen der Relay-Linse und dem zweiten LCoS platziert werden, was die ursprüngliche PBS-Platte ersetzt. Das Dual-modulierte Bild wurde auf eine Schirmoberfläche unter Benutzung von Projektionsoptik projiziert.
10B zeigt Beispielfotografien 1040, welche von Bildframes aufgenommen sind, welche auf einem beispielhaften kaskadierter-LCoS-Projektor in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung angezeigt sind. Das Bild 1040, welches auf dem kaskadierten LCoS-Projektor gezeigt ist, zeigt eine verbesserte Lesbarkeit von dem Bild 1030, welches unter Benutzung eines herkömmlichen (Niedrigauflösung)-LCoS-Projektors projiziert ist.
Die LCoS-Tafeln gemäß der vorliegenden Offenbarung können Achsen-versetzt positioniert werden, um mehrere Reflexionen zu verhindern. Wenn die zwei LCoS-Tafeln senkrecht zu und zentriert entlang der optischen Achse der Relay-Linse sind, dann kann Licht zurück zu dem ersten LCoS von dem PBS-Kubus reflektiert werden, was zu experimentell beobachteten Aberrationen führt. Ein seitliches Verschieben der LCoS-Tafeln weg von der optischen Achse kann diese Artefakte vermindern oder eliminieren. Die Apertur ist vor das erste LCoS platziert, um zu verhindern, dass irgendwelches reflektiertes Licht - nun versetzt von der optischen Achse - fortführt zu propagieren.
Hierin offenbarte kaskadierte-Anzeige-Techniken können auch in kaskadierten gedruckten Filmen angewendet werden. Gedruckte halbtransparente Farbfilme können unter Benutzung der Muster reproduziert werden, welche mit dem ergänzten Material bereitgestellt sind. Nur Einzel-Frame (d.h. Rang-1)-Faktorisierungen müssen mit statischen Filmen präsentiert werden.
GEWICHTETE NICHT-NEGATIVE MATRIX-FAKTORISIERUNG (WNMF)
Dieser Abschnitt präsentiert beispielhafte Ausführungsformen zum Formulieren der WNMF-Probleme für verschiedene räumliche Überauflösungs-Anwendungen gemäß der vorliegenden Offenbarung.
Gegeben, dass eine nicht-negative Matrix repräsentiert ist als $T \in ℝ_{+}^{m \times n},$
und ein Ziel-Rang r < min (m,n), ist das Folgende zu lösen: $\begin{matrix} A_{opt}, B_{opt} = \underset{A \in ℝ_{+}^{m \times r}, B \in ℝ_{+}^{n \times r}}{argmin} \frac{1}{2} {‖ T - {AB}^{T} ‖}_{W}^{2} \\ = \underset{A \in ℝ_{+}^{m \times r}, B \in ℝ_{+}^{n \times r}}{argmin} \frac{1}{2} {‖ W \circ T - W \circ {AB}^{T} ‖}_{F}^{2} \end{matrix}$
Exemplarische WNMF-Algorithmen, welche zum Lösen von Gleichung (S.1) benutzt werden, werden in dieser Offenbarung verglichen, einschließlich gewichtete multiplikative Aktualisierungs-Regeln (hierin als „Blondel“ bezeichnet), das gewichtete Rang-1-Reste-Iteration-(WRRI)-Verfahren und ein alternierendes kleinste-Quadrate-Newton-(ALS-Newton)-Verfahren.
11 sind Daten-Plots, welche Performanzen der exemplarischen WNMF-Verfahren mit Doppelpräzisions-Faktorisierung benutzt für Überauflösung in einer kaskadierten Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung vergleichen. Die im Diagramm 1110 präsentierten Daten zeigen objektive Funktion gegen Iteration und die im Diagramm 1120 präsentierten Daten zeigen PSNR gegen Iteration.
In dem in 11 präsentierten Beispiel wird jedes der drei WNMF-Verfahren benutzt, um ein Ziel HD-Bild (1576x1050 Pixel) in eine Rang-1-Dual-Schicht-Repräsentation zu faktorisieren. Jedes Verfahren wurde unter Benutzung von Doppelpräzisions-Fließpunkt-Zahlen implementiert. Alle drei Verfahren erreichen ähnliche Ergebnisse nach einigen Iterationen und WRRI erreicht bessere Qualität, wenn eine kleine Zahl von Iterationen angewendet wird.
12 sind Daten-Plots, welche Performanzen der exemplarischen WNMF-Verfahren mit Einzelpräzisions-Faktorisierung benutzt für Überauflösung in einer kaskadierten Anzeige in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung vergleichen. Wie es evident ist, sind die Blondel-Aktualisierungs-Regeln numerisch weniger stabil als WRRI und ALS-Newton. Alle drei Verfahren sind auf einer GPU implementiert, um die tatsächliche Ablaufzeit zu vergleichen. Die Resultate zeigen, dass WRRI bessere Faktorisierungen in geringerer Zeit verglichen mit den anderen beiden Verfahren produziert. Es ist das Schnellste aufgrund der wenigeren erforderlichen Speicherzugriffe (2x weniger als die anderen Verfahren). In diesem Beispiel ist ALS-Newton schnell für Rang-1, wenn es für ein spezifisches Problem für Rang-1-Faktorisierungen adaptiert ist.
Tabelle 2 listet die Performanz, welche wir erreichen, wenn drei Iterationen mit jedem Verfahren für einen 1576x1050-Frame (Zeitangaben gemittelt über 10 Frames) abgelaufen werden: Tabelle 2

Verfahren Newton WRRI Blondel

Zeit in [ms] 15,554 12,256 18,053

FPS 64,3 81,6 55,4
Das Folgende präsentiert die Formulierung eines exemplarischen WNMF-Prozesses verbundene räumliche zeitliche Überauflösungs-Optimierung.
Wenn jeder Pixel-Wert bei jeder gestaffelten Wiederauffrisch-Zeit in einem großen Vektor für jede Schicht gestaffelt ist, wird die räumlich-zeitliche Schicht-Rekonstruktion als ein gewichtetes Rang-1-NMF-Problem moduliert. Es wird angenommen, dass eine nicht-negative Matrix gegeben ist als $T \in ℝ_{+}^{m \times n},$
das Problem wird dann als die folgende Gleichung (S.2) formuliert $\begin{matrix} a_{opt}, b_{opt} = \underset{a \in ℝ_{+}^{m}, b \in ℝ_{+}^{n}}{argmin} \frac{1}{2} {‖ T - {CP}_{1} {ab}^{T} P_{2} ‖}_{W}^{2} \\ = \underset{a \in ℝ_{+}^{m}, b \in ℝ_{+}^{n}}{argmin} \frac{1}{2} {‖ W \circ T - W \circ {CP}_{1} {ab}^{T} P_{2} ‖}_{F}^{2} \end{matrix}$
Die Vektoren a, b beinhalten alle Schicht-Pixel über alle Zeitschritte. Die Matrizen P₁, P₂ sind Permutations-Matrizen, wobei P₁ die Zeilen von dem ab^T permutiert, welche alle möglichen räumlichen und zeitlichen Schicht-Interaktionen beinhalten (vorwärts und rückwärts in der Zeit). Die Matrix P₂ wird die Spalten dieser Matrix permutieren. Zusammen permutieren sie ab^T, so dass die resultierende Matrix das gestapelte Bild entsprechend einem bestimmten Zeitschritt in einer Spalte enthält. Die Wichtungs-Matrix W weist 0 den großen Teilen dieser Matrix zu, welche keiner Schicht-Interaktion entsprechen. Die Matrix C ist eine mögliche Verwischung bzw. Verschmierung, welche auf das überaufgelöste Bild angewendet wird (z.B. ein Diffusor). Eine geringe Verschmierung erlaubt eine zusätzliche räumliche Kopplung von nahen Pixeln.
Nach Beschreiben des räumlich-zeitlichen Optimierungs-Problems (Gleichung (S.2)) ist der nächste Schritt, Matrix-Faktorisierungs-Aktualisierungs-Regeln abzuleiten. Aus Einfachheit können die multiplikativen NMF-Regeln (S.3) benutzt werden, einschließlich Gewichts-Adaption. Es wird geschätzt werden, dass diese Ableitung auf andere NMF-Algorithmen in geradliniger Weise angewendet werden kann. Wie früher präsentiert ist, waren die NMF-Regeln für Gleichung (S.1) $\begin{matrix} B \leftarrow B \circ \frac{{(W \circ T)}^{T} A}{\bar{{(W \circ {AB}^{T})}^{T} A}}, & A \leftarrow A \circ \frac{(W \circ T) B}{\bar{(W \circ {AB}^{T}) B}} . \end{matrix}$
wobei die Doppellinien eine elementweise Division bedeuten. Die Verallgemeinerung des NMF-Problems kann die folgende einfachere Ableitung mittels eines Ersetzens benutzen: $\begin{array}{l} A : = {CP}_{1} a \\ B : = {(b^{T} P_{2})}^{T} = P_{2}^{T} b \end{array}$
Somit wird Gleichung (S.3) $\begin{matrix} B = P_{2}^{T} b \leftarrow P_{2}^{T} b \circ \frac{{(W \circ T)}^{T} ({CP}_{1} a)}{\bar{{(W \circ {CP}_{1} {ab}^{T} P_{2})}^{T} ({CP}_{1} a)}} \\ \Leftrightarrow P_{2} P_{2}^{T} b \leftarrow P_{2} P_{2}^{T} b \circ \frac{P_{2} {(W \circ T)}^{T} (C P_{1} a)}{\bar{P_{2} {(W \circ C P_{1} a b^{T} P_{2})}^{T} (C P_{1} a)}} \\ \Leftrightarrow b \leftarrow b \circ \frac{P_{2} {(W \circ T)}^{T} ({CP}_{1} a)}{\bar{P_{2} {(W \circ C P_{1} a b^{T} P_{2})}^{T} (C P_{1} a)}} \\ \Leftrightarrow b \leftarrow b \circ \frac{{(P_{1}^{T} C^{T} (W \circ T) P_{2}^{T})}^{T} a}{\bar{{(P_{1}^{T} C^{T} (W \circ {CP}_{1} {ab}^{T} P_{2}) P_{2}^{T})}^{T} a}} \end{matrix}$
Zeile drei folgt, weil Permutations-Matrizen die Eigenschaft von $P^{- 1} = P^{T}$
haben.
Die letzte Zeile zeigt, dass die aktualisierte Gleichung effizient in paralleler Weise berechnet werden kann. Die Aktualisierung für a folgt von Symmetrie $a \leftarrow a \circ \frac{(P_{1}^{T} C^{T} (W \circ T) P_{2}^{T}) b}{\bar{(P_{1}^{T} C^{T} (W \circ {CP}_{1} {ab}^{T} P_{2}) P_{2}^{T}) b}}$
Die Ableitung unter Benutzung von Gleichung (S.4) kann analog zu den WRRI-Aktualisierungs-Regeln angewendet werden.
Die folgende Ausführungsform setzt einen exemplarischen Echtzeit-Rang-1-Faktorisierungs-Prozess unter Benutzung eines ALS-Newton-Verfahrens ein. Gemäß der vorliegenden Offenbarung wird das exemplarische ALS-Newton-Verfahren für spezifische Überauflösungs-Probleme, insbesondere für Rang-1-Faktorisierungen, optimiert.
Für Rang r=1, wird ein allgemeines Nicht-Negative-Matrix-Faktorisierungs-Problem von Gleichung (S.1) vereinfacht zu: $a_{opt}, b_{opt} = \underset{a \in ℝ_{+}^{m}, b \in ℝ_{+}^{n}}{argmin} \frac{1}{2} {‖ T - {ab}^{T} ‖}_{W}^{2}$
In einem alternierenden kleinste-Quadrate-Schema löst man das bikonvexe Problem von oben, in dem alternativ nach einer der zwei Variablen a, b aufgelöst wird, während die andere festgehalten wird, und indem iteriert wird, wie in Tabelle 3 repräsentiert ist.
Für r=1, können die Nicht-Negativität-Beschränkungen $b \in ℝ_{+}^{n} and a \in ℝ_{+}^{m}$
in Schritten 3 und 4 entfernt werden. Nach dem nicht-beschränkten (und somit konvexe) Teilproblem in Tabelle 1 kann die Lösung auf eine Nicht-Negative Lösung mit demselben objektive-Funktion-Wert oder mittels Umdrehens der Vorzeichen der negativen Elemente projiziert werden (unter der Annahme, dass die vorherige Lösung die Beschränkung auch nicht verletzt). So kann ein Algorithmus für den unbeschränkten (unconstrained) Rang-1-ALS WNMF-Prozess abgeleitet werden, wie in Tabelle 4 präsentiert ist.
Soweit ist ein nicht-konvexes Problem als eine Sequenz von konvexen Optimierungsproblemen formuliert worden. Der „b“-Schritt in Tabelle 4 kann unter Benutzung von Newtons Verfahren mit einer quadratischen Konvergenz gelöst werden. Als ein Resultat wird der Gradient und Hesse (Hessian) von f(b) abgeleitet mit $\begin{matrix} b_{opt} = \underset{b}{argmin} \frac{1}{2} {‖ T - {ab}^{T} ‖}_{w}^{2} \\ = \underset{b}{argmin} \frac{1}{2} {‖ D_{w} t - D_{w} O_{a} b ‖}_{F}^{2} \\ = \underset{b}{argmin} \frac{1}{2} (t^{T} D_{w}^{T} D_{w} t - 2 t^{T} D_{w}^{T} D_{w} O_{a} b + O_{a}^{T} D_{w} O_{a} b) \\ = \underset{b}{argmin} \underset{ƒ (b)}{\underset{︸}{\frac{1}{2} (t^{T} D_{w}^{2} t - 2 t^{T} D_{w}^{2} O_{a} b + O_{a}^{T} D_{w} O_{a} b)}} \end{matrix}$
wobei die Matrizen D_(.) eingeführt ist, was die Matrix von dem Index auf der Diagonalen setzt. Auch ist die Matrix O_(.) eingeführt, welche der äußeren Vektorprodukt-Operation mit dem Vektor in dem Index und der rechte-Hand-Seite rhs, gefolgt von Vektorisierung entspricht. Die zweite Zeile erlaubt, die Frobenius-Norm zu entfernen und so werden der Gradient und Hesse von f leicht abgeleitet. Der Gradient ist präsentiert als $\begin{matrix} \nabla_{ƒ} = O_{a}^{T} D_{w} O_{a} b - O_{a}^{T} D_{w}^{2} t \\ = O_{a}^{T} D_{W \circ (a b^{T}) - W \circ W \circ T} 1 \end{matrix}$
Der Operator O^T ist derselbe wie die äußere Vektorprodukt-Operation plus nachfolgende Summation über die Zeilen der resultierenden Matrix. So muss einfach die punktweise Operation W ◦ abT - W ◦ W ◦ T getan werden, tue das äußere Produkt mit a, summiere über die Zeilen der entsprechenden Matrix, was den Gradienten mit Bezug auf b ergibt.
Für die Hesse ist eine Diagonal-Matrix erhalten mit $\begin{matrix} \frac{\partial^{2} ƒ}{\partial b^{2}} = O_{a}^{T} D_{W} O_{a} \\ = O_{a}^{T} D_{W} \circ (a \cdot 1^{T}) \end{matrix}$
Da die Hesse eine Diagonal-Matrix $H (ƒ) = D_{\frac{\partial^{2} ƒ}{\partial b^{2}},}$
ist, wird die Inverse in dem Newton-Verfahren einfach eine punktweise Division. Tabelle 5 zeigt einen exemplarischen Prozess für voll-Newton für Rang-1, welcher benutzt werden kann, um den in Tabelle 4 gezeigten Prozess zu implementieren.
Tabelle 6 zeigt einen exemplarischen Echtzeit-CUDA-Code für Rang-1-Faktorisierung, welche drei verschiedene Aktualisierungs-Regeln, Blondel, WRRI und ALS-Newton unterstützt. Der Code umfasst zwei Kerne (kernels). Einer berechnet den Zähler (oder Gradienten) und Nenner (oder Hesse) für eine Aktualisierung für eine betrachtete Schicht. Ein anderer führt die Aktualisierung geben diese Komponenten durch.
Die folgende Ausführungsform setzt einen exemplarischen nicht-negativer-Tensor-Faktorisierungs-Prozess für Mehrschicht-kaskadierte Anzeigen, welche für Überauflösung konfiguriert sind, ein.
Wie oben diskutiert ist, können die Mehrschicht-kaskadierten Anzeigen eine gedichtete nicht-negativer-Tensor-Faktorisierung (WNTF) im Zusammenhang mit multiplikativen Aktualisierungs-Regeln benutzen. Die verallgemeinerten Zwei-Schicht-Aktualisierungs-Regeln sind durch die Gleichung (4) gegeben.
Ein Drei-Schicht-Bild-Formationsmodell kann ausgedrückt werden als $s_{i_{1}, i_{2}, i_{3}} = \sum_{k = 1}^{K} w_{i_{1}, i_{2}, i_{3}} (a_{i_{1}}^{(k)} b_{i_{2}}^{(k)} c_{i_{3}}^{(k)}),$
wobei es angenommen ist, dass eine untere Schicht I₁ Pixel hat, eine mittlere Schicht hat I₂ Pixel und obere Schichten mit I₃ Pixeln. Wie oben diskutiert ist, werden K Zeit-gemultiplexte Frames auf dem Anzeigegerät bei einer Rate gerendert, welche den kritischen Flicker-Fusions-Schwellwert übersteigt, so dass ein Betrachter die präsentierten Bilder in Überauflösung wahrnehmen kann. Die Transmissivität von Pixel i₃ in der oberen Schicht, für Frame k, wird als c_i3 ^(k) und 0≤c_i3 ^(k)≤1. w_i1,i2,i3, bezeichnet die kumulative Überlappung von Pixeln i₁, i₂ und i₃.
Eine Tensor-Repräsentation kann für das Bild-Formationsmodell angenommen werden. Die kanonische Dekomposition eines Ordnung-3, Rang-K-Tensors kann definiert werden als $〚 X, Y, Z 〛 : = \sum_{k = 1}^{K} x_{k} ⋆ y_{k} ⋆ z_{k};$
wobei der Start-Operator das Vektor-äußere-Produkt und {x_k, y_k, z_k} Spalte k ihrer entsprechenden Matrizen repräsentiert. Gleichung (S.11) kann benutzt werden, um Bildformation mittels einer Drei-Schicht-kaskadierte-Anzeige knapp auszudrücken: $S = W \circ 〚 A, B, C 〛 = W \circ (\sum_{k = 1}^{K} a_{k} ⋆ b_{k} ⋆ c_{k}),$
wobei sein spärlich besetzter Tensor ist, welcher die effektiven Emissivitäten der Teilpixel-Fragmente beinhaltet, W ist auch ein dünn besiedelter I₁xI₂xI₃-Tensor, welcher die kumulativen Pixel-Überlappungen tabuliert, und ◦ bezeichnet das Hadamard (elementweise) Produkt. Man beobachte, dass {a_k, b_k, c_k} die Pixel-Werte repräsentieren, welche auf ihren entsprechenden Schichten während Frame k repräsentiert sind (z.B. in lexikographischer Ordnung). Somit gleicht Matrix A der Aneinanderreihung (concatenation) der Frames, welche auf der ersten Schicht angezeigt sind, derart, dass A=[a₁, a₂ ..., a_k] (ähnlich für die anderen Schichten).
Gegeben dieses Bild-Formationsmodell kann die objektive Funktion für optimale Drei-Schicht-Faktorisierungen benutzt werden: $\underset{{0 ≺ A ≺ 1, 0 ≺ B ≺ 1, 0 ≼ C ≼ 1}}{arg min} \frac{1}{2} {‖ W \circ (β T - 〚 A, B, C 〛) ‖}_{2}^{2} .$
wobei β ein Abschwächungsfaktor ist, welcher auf die Ziel-Teilpixel-Fragment-Emissivitäten W o T angewendet ist. Diese Objektive kann mittels einer Anwendung der folgenden multiplikativen Aktualisierungs-Regeln minimiert werden. $A \leftarrow A \circ (\frac{(W_{(1)} \circ (β T_{(1)})) (C ⊙ B)}{(W_{(1)} \circ (A {(C ⊙ B)}^{T})) (C ⊙ B)})$
$B \leftarrow B \circ (\frac{(W_{(2)} \circ (β T_{(2)})) (C ⊙ A)}{(W_{(2)} \circ (B {(C ⊙ A)}^{T})) (C ⊙ A)})$
$C \leftarrow C \circ (\frac{(W_{(3)} \circ (β T_{(3)})) (B ⊙ A)}{(W_{(3)} \circ (C {(B ⊙ A)}^{T})) (B ⊙ A)})$
In den obigen Ausdrücken drückt ⊙ das Khatri-Rao-Produkt aus: $X ⊙ Y = [x_{1} ⋆ y_{1}, x_{2} ⋆ y_{2}, \dots, x_{K} ⋆ y_{K}] .$
X_(n) ist die Entfaltung von Tensor X, welcher die Knoten-n-Fasern von X in sequentielle Matrixspalten anordnet. Verallgemeinerung auf höhere Faktorisierungs-Ordnungen können ähnlich abgeleitet werden.
13 zeigt aufgenommene Bilder, welche auf einem kaskadierte-vier-Schicht-Anzeige-Gerät unter Benutzung einer Zwei-Frame-Faktorisierung in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung angezeigt sind. 14 zeigt faktorisierte Frames für individuelle Schichten für die exemplarische kaskadierte-Vier-Schicht-Anzeige in 13.
In diesem simulierten Beispiel wurde das „Drift“-Bild räumlich um einen Faktor von 16 unter Benutzung eines Stapels von vier Licht-abschwächenden Schichten überaufgelöst, jede verschoben um ein Viertel eines Pixels, entlang jeder Achse. Das Ziel-Bild, die Darstellung mit einer einzelnen, (Niedrig-Auflösungs)-Anzeige-Schicht und die Rekonstruktion unter Benutzung einer kaskadierten Vier-Schicht-Anzeige sind von links nach rechts gezeigt. Es zeigt, dass ein bedeutendes Hochabtasten (upsampling) durch die kaskadierte Vier-Schicht-Anzeige erreicht ist.
In diesem Beispiel ist der laterale Versatz verallgemeinert, um die Überauflösungs-Kapazität zu maximieren: durch progressives Verschieben jeder Schicht um ¼ eines Pixels und folgendes Erzeugen von 16 Mal so vielen Teilpixel-Fragmenten wie Pixel auf einer einzelnen Schicht. Benutzen von Zwei-Frame (z.B. Ordnung-4, Rang-2)-Faktorisierungen erreicht hohe Überauflösungs-Faktoren, wie durch die Treue der Einfügungsgebiete in 13 gezeigt.
Zusammenfassend ist ein verallgemeinertes Rahmenwerk für kaskadierte Anzeigen bereitgestellt, welches beliebige Anzahlen von versetzten Pixel-Schichten und Anzahlen von Zeit-gemultiplexten Frames umfasst. Zum Beispiel stellen kaskadierte Zwei-Schicht-Anzeigen ein Mittel bereit, um räumliche Auflösung mit praktischen Anzeige-Architekturen zu vervierfachen, welche durch Echtzeit-Faktorisierungs-Verfahren unterstützt sind (z.B. der kaskadierte LCD-Schirm und LCoS-Projektor-Prototypen).
FARBFILTER-FELDER FÜR KASKADIERTE ANZEIGEN
LCD-Tafeln erreichen primär Farbanzeige durch den Zusatz eines Farbfilter-Feldes (CFA), welches aus einem periodischen Feld von spektralen Bandpass-Filtern zusammengesetzt ist. Typischerweise werden drei benachbarte Spalten von individuell adressierbaren Teilpixeln, welche von einem weißen Hintergrundlicht beleuchtet werden, separat in rot, grün und blau Wellenlängen-Bereiche gefiltert, was zusammen eine einzelne Vollfarb-Pixel-Spalte repräsentiert. Bei genügenden Betrachtungsabständen wird ein räumliches Multiplexing von Farbkanälen nicht wahrnehmbar. In einigen Ausführungsformen ist es beobachtet worden, dass kaskadierte Zwei-Schicht-LCDs noch die vertikale Auflösung verdoppeln können, wenn vertikal ausgerichtete CFAs auf jeder Schicht vorhanden sind. Wogegen ein Erhöhen der horizontalen Auflösung ohne Modifizieren der CFA-Struktur problematisch sein kann.
Zwei Modifikationen werden hierin präsentiert, um diese Probleme zu adressieren: die Benutzung von mehreren Farbfiltern pro Pixel (auf der obersten Schicht) und die Benutzung von Cyan-Gelb-Magenta-CFAs. Benutzung von beidem kann zu kaskadierten Zwei-Schicht-LCDs führen, welche als ein einzelnes LCD mit doppelter Anzahl von Farb-Teilpixeln entlang jeder Achse erscheinen.
Da jedes Teilpixel-Fragment eine verschiedene Farbe darstellen kann, wenn es ein unabhängiges Farbfilter hat, können kaskadierte Zwei-Schicht-LCDs unter Benutzung von monochromatischen Tafeln konstruiert werden (z.B. diese, welche frei von irgendwelchen Farbfilter-Feldern sind). Versetzen solcher Anzeigen um ein halbes Pixel, sowohl horizontal als auch vertikal, erzeugt viermal so viele Teilpixel-Fragmente wie Pixel auf einer einzelnen Schicht. Um eine räumlich gemultiplexte Farbanzeige zu erzeugen, kann ein CFA, welches ein Farbfilter pro Teilpixel-Fragment hat, benutzt werden. Dies kann erreicht werden, indem eine Tafel mit einem CFA mit dem halben Abstand (pitch) als eine herkömmliche Tafel hergestellt wird, so dass zwei vertikal ausgerichtete Farbfilter bei jedem Pixel in der äußersten Anzeigetafel vorhanden sind. Auf diese Weise wird, statt der größeren Schichtpixel, jedes Teilpixel individuell mittels des einzelnen individuellen (custom) CFA gefiltert.
Als eine Alternative können zwei LCD-Tafeln mit identischen Farbfilter-Feldern benutzt werden. 15 illustriert ein exemplarisches Verfahren eines Erzeugens von Teilpixel-Fragmenten mittels Zwei-Schicht-kaskadierten Anzeigen mit Cyan-Gelb-Magenta-Farbfilter-Feldern (CFAs). In diesem Beispiel sind traditionelle Rot-Grün-Blau-Filter durch Cyan-Gelb-Magenta-Triplets für jede Schicht (gezeigt in 1510 und 1520) ersetzt. Somit werden, unähnlich herkömmlichen LCDs mit Rot-, Grün- und Blau-Filtern, die Materialien befähigt, Cyan-, Gelb- und Magenta-Wellenlängen-Bereiche zu transmittieren. Wie dargestellt, synthetisiert die Überlagerung von zwei unähnlichen Filtern rot (d.h. Kombinationen von magenta und gelb), grün (d.h. Kombinationen von cyan und gelb) und blau (d.h. Kombinationen von cyan und magenta), wie im Diagramm 1530 gezeigt ist.
Gegeben ein fixiertes CFA, kann ein einzelnes Filter auf jeder Spalte von Pixeln agieren. Man betrachte ein Paar von LCDs mit periodischen Spalten von Cyan-, Gelb- und Magenta-Filtern, beginnend mit einer Cyan-Spalte auf der linken Seite. Die zweite Tafel kann mit einem Versatz von 1 ½ eines Pixels nach rechts und die Hälfte eines Pixels nach oben oder unten (siehe 15) positioniert sein. Solch eine Konfiguration erscheint mit doppelt so vielen Teilpixel-Fragmenten entlang jeder Dimension, abgedeckt dadurch, was als ein herkömmliches Rot-, Grün-, Blau-CFA mit dem doppelten Abstand (pitch) des CFA in jeder Schicht erscheint.
Zum Beispiel sind in dem Diagramm 1510, welches die erste Schicht mit einem CFA zeigt, die Pixel (a₁-a₃) in der ersten Spalte cyan; die Pixel (a₄-a₆) in der zweiten Spalte sind gelb, die Pixel (a₇-a₉) in der dritten Spalte sind Magenta und die Pixel a₁₀-a₁₂) in der vierten Spalte sind cyan. In dem Diagramm 1520, welches eine zweite Licht-absorbierende Anzeige platziert in direktem Kontakt mit der hinteren Anzeigeschicht mit einem identischen CFA zeigt, sind die Pixel (b₁-b₃) in der ersten Spalte magenta; die Pixel (b₄-b₆) in der zweiten Spalte sind Cyan, die Pixel a₇-a₉) in der dritten Spalte sind Gelb und die Pixel a₁₀-a₁₂) in der vierten Spalte sind magenta.
Das Diagramm 1530 zeigt, dass die geometrische Überlappung von versetzten Pixel-Schichten ein Feld von Teilpixel-Fragmenten erzeugt. Die spektrale Überlappung der Farbfilter erzeugt ein effektives CFA, welches als ein traditionelles Rot-Grün-Blau-Filter-Muster mit zweimal der Häufigkeit (pitch) wie die darunterliegenden CFAs erscheint. Insbesondere sind die Teilpixel in Spalten 1531, 1534 und 1537 blau, die Teilpixel in Spalten 1532 und 1535 sind rot und die Teilpixel in Spalten 1533 und 1536 sind grün.
Diese Idee kann auf andere Teilpixel-Layouts und Farbfilter ausgeweitet werden, wie etwa ein 2x2-Gitter von cyan, gelb, magenta und weiß. Wenn um ein Viertel Pixel in jeder Dimension versetzt, erhöht sich die Auflösung um viermal, aber nun hat sie ersichtliche cyan, gelb, magenta, rot, grün, blau und weiße Teilpixel. Es wird geschätzt werden, dass die Mehr-Schicht-Cyan-Gelb-Magenta-CFAs, welche hierin beschrieben sind, noch nicht voll umfassend sind, und als ein illustratives Beispiel geboten ist.
Wie mit dem 2x2-Gitter können allgemeinere CFA-Muster und Filter-Bandpass-Spektren mit dem grundsätzlichen Prinzip benutzt werden: überlappte CFAs können willkürliche oder beliebige Ziel-CFAs synthetisieren, welche individuelle Teilpixel-Fragmente modulieren, während bestehende Anzeige-Herstellungsprozesse benutzt werden, welche ein einzelnes Farbfilter pro Pixel, pro Anzeigeschicht erzeugen.
In einigen anderen Ausführungsformen kann die Benutzung von Hochgeschwindigkeits-LCDs den Bedarf nach CFAs eliminieren. Stattdessen ist Feld-sequentielle-Farbe (FSC) benutzt, in welcher monochromatische Tafeln sequentiell jeden Farbkanal anzeigen, während die Hintergrund-Lichtfarbe geändert wird.
In noch anderen Ausführungsformen könnte das effektive CFA einfach dadurch erreicht werden, indem eine der Schichten unter Benutzung von rot-, grün-, blau-CFA mit zweimal dem normalen Abstand hergestellt wird, mit keinem CFA in der anderen Schicht platziert.
EXEMPLARISCHE KASKADIERTE ANZEIGE-PERFORMANZEN
Mit Hinsicht auf räumliche Überauflösung bieten Lösungen von Gleichung (3) einem Anzeige-Designer ein flexibles Aushandeln zwischen erscheinender Bildhelligkeit, räumlicher Auflösung und Wiederauffrischungs-Rate, wie mittels des Abschwächungsfaktors β erfasst ist, der Auflösung des Zielbildes W·T bzw. dem Faktorisierungs-Rang K. 16 zeigt Daten-Plots von Peak Signal-zu-Rausch-Verhältnissen (PSNR), welche als eine Funktion des Abschwächungsfaktors β bei verschiedenen Parametern (gemittelt über den Satz Zielbildern) erhalten sind. Die Plots 1061, 1062, 1063 und 1064 entsprechen Rang-1, Rang-2, Rang-3 bzw. Rang-4. Wie demonstriert ist, sind die Hoch-PSNR-Rekonstruktionen mit einem Abschwächungsfaktor von 0,25 und vier Frames (wie durch 1064 gezeigt ist) erhalten. In diesem Fall rekonstruiert die heuristische Faktorisierung (wie oben mit Bezug auf 4 präsentiert ist) exakt das Ziel-Bild. Drei-Frame-Faktorisierungen (wie durch 1063 gezeigt ist) erreichen fast die Performanz, welche mit vier Frames erreicht ist. Bedeutender offenbart 16 eine Schlüsseleinsicht: Räumliche Überauflösung (mit einem PSNR was 30 dB übersteigt) kann bei der nativen Anzeige-Wiederauffrischungs-Rate erreicht werden, ohne die erscheinende Helligkeit zu vermindern.
Mit Hinsicht auf zeitliche Überauflösung bieten Lösungen von Gleichung (5) flexible Kontrolle zwischen Helligkeit, Auflösung und Wiederauffrischungs-Rate. Architekturen, welche für räumlich-zeitliche Überauflösung beabsichtigt sind, können ein optisches Verschmierungs-Element (charakterisiert durch eine Punktverbreitungsfunktion, welche in der Konvolutions-Matrix C eingebettet ist) umfassen. In einigen Ausführungsformen sind Faktorisierungen mit 2x2-Pixel-uniformen-Verschmierungs-Kernen ausreichend, um Hoch-PSNR-Rekonstruktionen für eine Verschiedenheit von Zielvideos zu rendern, wie in größerem Detail unten beschrieben wird. In anderen Ausführungsformen kann jedoch eine fiktive Überauflösung ohne hinzugeführte Verschmierung erreicht werden und daher müssen andere Diffus-Elemente nicht inkorporiert werden.
Verschiedene Überauflösungs-Techniken gemäß dem Stand der Technik werden genutzt, um Anzeige-Resultate zu erzeugen und werden mit denjenigen verglichen, die von kaskadierten Anzeige-System gemäß der vorliegenden Offenbarung erzeugt sind.
Gemäß einem additiven Überauflösungs-Anzeige-Modell in dem Stand der Technik, wird ein Satz von überlagerten versetzten Niedrig-Auflösungs-Bildern präsentiert, durch vibrierende Anzeigen und übereinandergelegte Projektionen. Es ist angenommen worden, dass keine Bewegungs-Verschmierung bzw. Verwischung eingeführt wird, was ferner Bildqualität für vibrierende Anzeigen herabstufen würde.
Ein optischer Pixel-Teilungs-(OPS)-Zugang gemäß dem Stand der Technik wird auch benutzt, um Bilder für Vergleichszwecke zu erzeugen. Die OPS-Implementierung erfordert ein Spezifizieren von zwei Einstellparametern: der Kante-Schwellwert und der Glättungskoeffizient. Zwei dimensionale Gitter-Suche wurde benutzt, um diese Parameter zu optimieren - unabhängig für jedes Ziel-Bild - um den PSNR- oder den SSIM-Index zu maximieren. In Praxis werden Ensemble-gemittelte Einstellparameter benutzt, was Rekonstruktions-Artefakte erhöht. Im Gegensatz dazu erfordern kaskadierte Anzeigen gemäß der vorliegenden Offenbarung kein Optimieren irgendeines solchen Einstellparameters, was weiterhin vorteilhafterweise Echtzeit-Anwendungen erleichtert.
Die räumlichen Licht-Modulatoren, welche in jeder dieser Anzeigealternativen benutzt werden, können variable Pixel-Apertur-Verhältnisse haben. Wie es beobachtet ist, translatieren begrenzte Apertur-Verhältnisse auf eine erhöhte Bildqualität für additive Überauflösungs-Anzeigen. Räumliche Überauflösung von additiven Überlagerungen ist aufgrund der Ingenieurs-Herausforderungen praktisch gehindert, welche mit begrenzenden Apertur-Verhältnissen assoziiert sind - insbesondere für überlagerte Projektionen. Ferner drängen Industrietrends zu immer höheren Apertur-Verhältnissen (z.B. LCoS-Mikroanzeigen und energieeffiziente LCDs). Als ein Ergebnis ist ein 100% Apertur-Verhältnis in allen hierin präsentierten Vergleichen angenommen.
Verschiedene Beobachtungen können von den visuellen Vergleichen und PSNR-Tabelle gemacht werden. Zuforderst erreichen für diese Beispiele Einzel-Frame-kaskadierte Anzeige-Faktorisierungen fast oder übertreffen alle anderen Verfahren, welche zwei Zeit-gemultiplexte Frames benutzen. Diese PSNR-Vorteile translatieren in sichtbaren Verminderungen in Artefakten.
17 zeigt einen visuellen Vergleich von Überauflösungs-Anzeigen mittels Bildflecken (patches), welche mit Simulationen von drei verschiedenen Überauflösungs-Anzeigen reproduziert sind. Die drei Überauflösungs-Anzeigen umfassen additive Überauflösung unter Benutzung von zwei Frames gemäß dem Stand der Technik, OPS unter Benutzung von zwei Frames mit Pro-Bild PSNR- und SSIM-optimierten Kante-Schwellwerten und Glättungs-Koeffizienten gemäß dem Stand der Technik, und kaskadierte Anzeigen unter Benutzung von einem oder zwei Frames gemäß der vorliegenden Offenbarung.
Man bemerke die Erhöhung relativ zu einer herkömmlichen (Niedrig-Auflösung)-Anzeige (Spalte 1702). Kaskadierte Anzeigen (Spalten 1706 und 1707) schlagen bedeutend optisches Pixelteilen (OPS) (Spalten 1704 und 1705), was sich auf eine ähnliche Dual-Modulations-Architektur, welche Relay-Optik beinhaltet, abstützt. Simulationen von additiver Überauflösung (Spalten 1703 und 1704) scheinen auch OPS zu schlagen (outperform), unter der Annahme, dass keine Bewegungs-Verschmierung in den additiven Simulationen benutzt ist.
Zwei-Frame-kaskadierte Anzeige-Faktorisierungen (Spalte 1707) schlagen alle anderen Zwei-Frame-Faktorisierungen (z.B. Spalte 1703) um eine signifikante Toleranz und sogar Vier-Frame-additive Überauflösung. Dies betont die Vorteile der kompressiven Fähigkeiten, welche durch unseren Matrix-Faktorisierungs-basierten Zugang ermöglicht sind.
Das Folgende dehnt die PSNR-Analyse dadurch aus, dass die Modulations-Transferfunktionen (MTFs), welche jede Überauflösungs-Anzeige alternativ charakterisieren, verglichen werden: Spezifizieren des Kontrastes von räumlich überaufgelösten Bildern, als eine Funktion von räumlicher Frequenz. Die MTF einer Anzeige kann unter Benutzung einer Verschiedenheit von Testmustern gemessen werden, einschließlich von natürlichen Bildsätzen, räumliches Frequenz-Zirpen (chirps) und geneigten Kanten. Hier ist ein Chirped-Zonenplatte-Muster angenommen und hat die Form von (1+cos(cr²))/2, wobei r =sqrt(x² + y²), {x, y} ∈ [-π, π], und c steuert die maximale räumliche Frequenz.
18A zeigt einen simulierten Vergleich der MTF für AnzeigeAlternativen gemäß den vorherigen und den kaskadierten Anzeigen gemäß der vorliegenden Offenbarung. Einzel-Frame-kaskadierte Anzeigen vervierfachen effektiv die räumliche Auflösung und haben eine Performanz, welche gleich ist zu Zwei-Frame-additiven Anzeigen.
MTF-Analyse bestätigt die früheren Beobachtungen, welche mit Betrachtung auf die relative Performanz von jedem Zugang gemacht worden sind. Ferner zeigt sie, dass Einzel-Frame-kaskadierte Anzeigen effektiv die räumliche Auflösung vervierfachen (verdoppeln sie entlang jeder Bilddimension) - wenn auch mit Artefakten, welche mittels der Kompression eingeführt sind - wobei größer als 70 % Kontrast für die höchsten überaufgelösten Frequenzen aufrechterhalten sind. 18A zeigt auch, dass die MTFs für Zwei-Frame- und Drei-Frame-Faktorisierungen nahezu identisch sind, was anzeigt, dass praktische Anwendungen einer kaskadierten Anzeige nicht mehr als ein Paar von Zeit-gemultiplexten Frames erfordern kann.
18B zeigt die gemessene Modulations-Transferfunktion für ein exemplarisches kaskadiertes LCD-Anzeigegerät. Das kaskadierte Anzeigegerät erreicht klar eine Überauflösung, wenn es mit einer herkömmlichen Anzeige verglichen wird. 18B zeigt die gemessene MTF von dem kaskadierten LCD-Anzeigegerät für ein- und zwei-Frame-Faktorisierungen. Während die MTF niedriger ist als in der Simulation vorhergesagt, bietet sie eine klare Verbesserung über eine herkömmliche Anzeige.
19 ist ein Diagramm, welches Peak Signal-zu-Rauschen (PSNR) in [dB] für einen Satz von natürlichen Bildern, welche in verschiedenen Überauflösungs-Techniken gemäß dem Stand der Technik erhalten sind, und von kaskadierten Anzeigen gemäß der vorliegenden Offenbarung vergleicht. 20 ist ein Diagramm, welches einen strukturellen Ähnlichkeitsindex (SSIM) als eine Summe über alle Farbkanäle für einen Satz von natürlichen Bildern, welche in verschiedenen Überauflösungs-Techniken gemäß dem Stand der Technik und von kaskadierten Anzeigen gemäß der vorliegenden Offenbarung erhalten sind, zeigt.
Drei Alternativen werden verglichen. Additive ÜberauflösungsAnzeigen unter Benutzung von entweder zwei oder vier Frames, optisches Pixelteilen (OPS) unter Benutzung von zwei Frames und kaskadierte Anzeigen unter Benutzung von einem, zwei, drei oder vier Frames. Additive Überauflösung benutzt eine einzelne Anzeigeschicht, während OPS und kaskadierte Anzeigen zwei Anzeigeschichten einsetzen. Zwei Versionen sind für OPS umfasst. In einer OPS-Version wird ein Kante-Schwellwert optimiert und benutzt 1/ε = 8 für Glättung. In der zweiten OPS-Version werden sowohl der Kante-Schwellwert als auch der Glättungs-Parameter 1/ε optimiert. Für die Optimierung der optimalen Parameter für diesen Bildsatz wird das gemittelte PSNR in der letzten Zeile dieser Tabelle als die objektive Funktion benutzt. Für die Tabelle auf der rechten Seite (in grau) werden OPS-Parameter pro Image für die beste erreichbare Qualität optimiert.
Die Daten demonstrieren, dass Einzel-Frame-kaskadierte Anzeigen eine bessere Qualität als Zwei-Frame-additive Überauflösungsanzeigen erreichen, sowohl in Größen von PSNR als auch von SSIM. Kaskadierte Anzeigen erreichen ungefähr die Qualität von Zwei-Frame-OPS anzeigen: Das mittlere PSNR von Einzel-Frame-kaskadierten Anzeigen ist geringfügig geringer als für das verbunden optimierte OPS (unsere Verbesserung zu dem ursprünglichen OPS-Papier), aber unser mittleres Einzel-Frame-SSIM ist etwas besser als verbunden optimiertes OPS. Die kaskadierten Anzeigen mit zwei oder mehr Frames schlagen alle anderen Verfahren um bedeutende Toleranzen.
21A zeigt geneigte Kanten eines Zielbildes, einer herkömmlichen Anzeige, von additiven Anzeigen mit zwei und vier Frames, OPS und kaskadierte Anzeigen (Rang-2). 21B zeigt geneigte Kante-MTF-Messungen für die verschiedenen Verfahren, welche in 21A präsentiert sind.
MTFs werden unter Benutzung des geneigte-Kante-Verfahrens berechnet. In diesem Fall wird die MTF von dem Profil der geneigten Kante geschätzt. Man bemerke, dass die geneigte-Kante-MTF der kaskadierten Anzeige mit der MTF des Zielbildes übereinstimmt. OPS reproduziert die geneigte Kante sehr gut, da es genug Pixel-Intensität in den hellen Bereichen gibt, welche sich zu der Kante umverteilen kann.
22 präsentiert die Erscheinung einer linearen Rampe unter Benutzung eines Paares von exemplarischen 8-Bit-kaskadierten Anzeigen, um HDR-Anwendungen von kaskadierten Anzeigen gemäß einer Ausführungsform der vorliegenden Offenbarung zu demonstrieren. Eine Zielrampe (2210) ist mit einer einzelnen 8-Bit-Anzeige (2220) und einer kaskadierten Anzeige unter Benutzung von zwei 8-Bit-Schichten (2230) präsentiert. Die Ergebnisse demonstrieren, dass kaskadierte Anzeigen auch den dynamischen Bereich erhöhen können. Wie durch oben präsentierte Ergebnisse beobachtet ist, sind Rekonstruktions-Artefakte aufgrund von Kompression nahezu dadurch eliminiert, dass Zwei-Frame-Faktorisierungen angenommen werden.
23A zeigt Daten-Plots, um die Qualität von zeitlicher Überauflösung (Plot 2311) gegen die niedrigere Frame-Rate (Plot 2312) in Größen von Peak Signal-Rausch-Verhältnis (PSNR) auf einem natürlichen Film zu vergleichen. 23B zeigt Daten-Plots, um die Qualität von zeitlicher Überauflösung (Plot 2322) gegen die niedrigere Frame-Rate (Plot 2322) in Größen von struktureller Ähnlichkeit (SSIM) zu vergleichen. PSNR und SSIM sind zwischen dem Zielvideo bei überaufgelösten Frame-Raten und der normalen Frame-Rate-(d.h. Niedrig-Frame-Rate)-Video verglichen.
Obwohl gewisse bevorzugte Ausführungsformen und Verfahren hierin offenbart worden sind, wird es von der vorangehenden Offenbarung für die Fachleute in der Technik ersichtlich sein, dass Variationen und Modifikationen solche Ausführungsformen und Verfahren gemacht werden können, ohne von dem Geist und Geltungsbereich der Erfindung abzuweichen. Es ist beabsichtigt, dass die Erfindung nur durch das Ausmaß begrenzt ist, welches durch die angehängten Ansprüche erforderlich ist, und Regeln und Prinzipien von anwendbarem Gesetz.

Claims

Verfahren eines Anzeigens von Videos auf einem Anzeigegerät, wobei das Verfahren aufweist: Zugreifen auf erste Frames, welche einen Videoinhalt repräsentieren; Zugreifen auf zweite Frames, welche den Videoinhalt repräsentieren; Anzeigen des Videoinhalts auf dem Anzeigegerät, wobei das Anzeigegerät eine erste Anzeigeschicht und zweite Anzeigeschicht aufweist, welche in einer kaskadierten Weise angeordnet sind, wobei das Anzeigen aufweist: Rendern der ersten Frames zur Anzeige auf der ersten Anzeigeschicht in einer ersten Frame-Rate; und Rendern der zweiten Frames zur Anzeige auf der zweiten Anzeigeschicht in einer zweiten Frame-Rate, wobei die erste Anzeigeschicht und die zweite Anzeigeschicht in einer zeitlich gestaffelten Weise wiederaufgefrischt werden, wobei ferner eine effektive Frame-Rate des Anzeigens des Videoinhalts größer ist als die erste Frame-Rate und als die zweite Frame-Rate, wobei das Verfahren ferner aufweist: Zugreifen auf ursprüngliche Daten, welche den Videoinhalt repräsentieren, wobei die ursprünglichen Daten operabel sind, in einer ursprünglichen Frame-Rate angezeigt zu werden, welche größer ist als die erste Frame-Rate und die zweite Frame-Rate; Ableiten der ersten Frames und der zweiten Frames mittels eines Faktorisierens der ursprünglichen Daten gemäß einem Iterations-Verfahren.
Verfahren gemäß Anspruch 1, wobei die zeitlich gestaffelte Weise ein Versetzen des Renderns der ersten Frames von dem Rendern der ersten Frames um eine halbe Frame-Wiederauffrischungs-Periode aufweist.
Verfahren gemäß Anspruch 1, wobei das Ableiten ferner ein Inkorporieren einer optischen Unschärfe in die ersten Frames und die zweiten Frames aufweist.
Verfahren gemäß Anspruch 1, wobei die erste Anzeigeschicht und die zweite Anzeigeschicht räumlich ausgerichtet sind.
Verfahren gemäß Anspruch 1, wobei die erste Anzeigeschicht über der zweiten Anzeigeschicht liegt und von der zweiten Anzeigeschicht mit einer seitlichen Versetzung in zwei orthogonalen Richtungen um einen Bruchteil eines Pixels der ersten Anzeigeschicht versetzt ist.
Verfahren gemäß Anspruch 1, wobei die ursprünglichen Daten eine Anzahl von Frames repräsentieren und wobei die ersten Frames bzw. die zweiten Frames die Anzahl von Frames aufweisen.
Verfahren gemäß Anspruch 1, wobei das Anzeigegerät L Anzeigeschichten aufweist, wobei L eine ganze Zahl ist, welche größer ist als 1, und wobei ferner eine Frame-Wiederauffrischungs-Zeit einer jeweiligen Anzeigeschicht von den L Anzeigeschichten zeitlich von einer Frame-Wiederauffrischungs-Zeit einer angrenzenden Anzeigeschicht um 1/L eines Frame-Wiederauffrischungs-Zyklus gestaffelt ist.
Verfahren eines Renderns einer Echtzeitanzeige, wobei das Verfahren aufweist: Zugreifen auf ursprüngliche Daten, welche einen Videoinhalt in einer ursprünglichen Frame-Rate repräsentieren; Faktorisieren der ursprünglichen Daten um abzuleiten: erste Frames, welche den Videoinhalt in einer ersten Frame-Rate repräsentieren; und zweite Frames, welche den Videoinhalt in einer zweiten Frame-Rate repräsentieren; Rendern der ersten Frames zur Anzeige auf einer ersten Anzeigeschicht eines Anzeigegerätes; Rendern der zweiten Frames zur Anzeige auf einer zweiten Anzeigeschicht des Anzeigegeräts, wobei die erste Anzeigeschicht über der zweiten Anzeigeschicht liegt, und wobei ferner eine effektive Frame-Rate des Anzeigegeräts zum Anzeigen des Videoinhalts, welche von dem Rendern resultierte, größer ist als die erste Frame-Rate und als die zweite Frame-Rate.
Verfahren gemäß Anspruch 8, wobei die erste Anzeigeschicht und die zweite Anzeigeschicht in einer zeitlich gestaffelten Weise wiederaufgefrischt werden.
Verfahren gemäß Anspruch 9, wobei das Anzeigegerät L Anzeigeschichten aufweist, wobei L eine ganze Zahl ist, welche größer ist als 1, und wobei ferner eine Frame-Wiederauffrischungs-Zeit einer jeweiligen Anzeigeschicht der L Anzeigeschichten zeitlich von einer Frame-Wiederauffrischungs-Zeit einer angrenzenden Anzeigeschicht um 1/L eines Frame-Wiederauffrischungs-Zyklus gestaffelt ist.
Verfahren gemäß Anspruch 8, wobei Pixel der ersten Anzeigeschicht räumlich mit Pixeln der zweiten Anzeigeschicht ausgerichtet sind.
Verfahren gemäß Anspruch 8, wobei Pixel der ersten Anzeigeschicht räumlich mit Pixeln der zweiten Schicht um einen Bruchteil eines Pixels versetzt sind.
Verfahren gemäß Anspruch 8, wobei das Faktorisieren ein Durchführen eines multiplikativen Aktualisierungs-Prozesses aufweist.
Anzeigesystem, aufweisend: eine Mehrzahl von Anzeigeschichten, welche in einer gestaffelten Weise angeordnet sind und eine erste Anzeigeschicht und eine zweite Anzeigeschicht aufweisen; Frame-Puffer, welche mit der Mehrzahl von Anzeigeschichten gekoppelt sind; einen Prozessor, welcher mit der Mehrzahl von Anzeigeschichten gekoppelt ist; Speicher, welcher mit dem Prozessor gekoppelt ist und Anweisungen aufweist, welche, wenn mittels des Prozessors ausgeführt, ein Verfahren eines Präsentierens von Videoinhalt bei einer effektiven Frame-Rate implementieren, wobei das Verfahren aufweist: Zugreifen auf erste Frames, welche den Videoinhalt repräsentieren; Zugreifen auf zweite Frames, welche den Videoinhalt repräsentieren; Rendern der ersten Frames zur Anzeige auf der ersten Anzeigeschicht in einer ersten Frame-Rate; und Rendern der zweiten Frames zur Anzeige auf der zweiten Anzeigeschicht in einer zweiten Frame-Rate, wobei die erste Anzeigeschicht und die zweite Anzeigeschicht in einer zeitlich gestaffelten Weise wiederaufgefrischt werden, und wobei ferner die effektive Frame-Rate des Anzeigens des Videoinhalts größer ist als die erste Frame-Rate und als die zweite Frame-Rate, wobei das Verfahren ferner aufweist: Zugreifen auf ursprüngliche Daten, welche den Videoinhalt repräsentieren, wobei die ursprünglichen Daten operabel sind, in einer ursprünglichen Frame-Rate angezeigt zu werden, welche größer ist als die erste Frame-Rate und die zweite Frame-Rate; Ableiten der ersten Frames und der zweiten Frames mittels eines Faktorisierens der ursprünglichen Daten gemäß einem Iterations-Verfahren.
Anzeigesystem gemäß Anspruch 14, wobei die ersten Frames und die zweiten Frames mittels eines Faktorisierens von ursprünglichen Daten abgeleitet sind, welche den Videoinhalt in einer ursprünglichen Frame-Rate repräsentieren, wobei die effektive Frame-Rate im Wesentlichen gleich ist zu der ursprünglichen Frame-Rate.
Anzeigesystem gemäß Anspruch 14, wobei eine Frame-Wiederauffrischungs-Zeit der ersten Anzeigeschicht um eine halbe Frame-Wiederauffrischungs-Periode von einer Frame-Wiederauffrischungs-Zeit der zweiten Anzeigeschicht abweicht.
Anzeigesystem gemäß Anspruch 14, ferner aufweisend ein diffus wirkendes optisches Element, welches vor der Mehrzahl von Anzeigeschichten positioniert ist.
Anzeigesystem gemäß Anspruch 14, wobei entsprechende Pixel der Mehrzahl von Anzeigeschichten räumlich in Bezug zueinander ausgerichtet sind.
Anzeigesystem gemäß Anspruch 14, ferner aufweisend Farbfilter-Felder, welche mit der Mehrzahl von Anzeigeschichten gekoppelt sind, wobei die Mehrzahl von Anzeigeschichten Flüssigkristall-Tafeln (LCDs) einer Flachtafel-Anzeige, mehrere Typen von Anzeigetafeln, Flüssigkristall-auf-Silizium-(LCoS)-Tafeln eines Digitalprojektors aufweisen.