DE102020128896A1

DE102020128896A1 - Echtzeit-holographie durch verwenden von gelerntem fehler-feedback

Info

Publication number: DE102020128896A1
Application number: DE102020128896.4A
Authority: DE
Inventors: Alexey Supikov; Qiong Huang; Ronald Azuma
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2019-12-12
Filing date: 2020-11-03
Publication date: 2021-06-17
Also published as: US20230341815A1; US20220197214A1; US11650542B2; US20220269218A1; US11378915B2; US20200117139A1; US11573528B2

Abstract

Techniken bezogen auf das Erzeugen holographischer Bilder werden diskutiert. Solche Techniken beinhalten das Anwenden eines vortrainierten tiefen neuronalen Netzwerks auf ein holographisches Zielbild, um einen Feedback-Stärkewert für das Fehler-Feedback in einem iterativen Verbreitungs-Feedback-Modell zu erzeugen, und das Erzeugen eines Beugungsmusterbildes, das dem holographischen Zielbild entspricht, durch Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf dem holographischen Zielbild und durch Verwenden des Feedback-Stärkewerts.

Description

HINTERGRUND
Holographische Anzeigegeräte können holographische Bilder in einer Vielzahl von Anwendungen darstellen, einschließlich Heads-up-Displays (HUD) für Kraftfahrzeuge, intelligenter Projektoren, Augmented Reality (AR) -Headsets, Virtual Reality (VR) -Displays und anderer. Solche holographischen Anzeigegeräte haben Vorteile gegenüber anderen Anzeigen, einschließlich einer inhärenten Fähigkeit, Licht in unterschiedlichen Entfernungen zu fokussieren, einer sehr hohen Lichteffizienz, und einer geringen Größe, um einige zu nennen. In dem Zusammenhang des Darstellens holographischer Bilder ist ein räumlicher Lichtmodulator (Spatial-Light-Modulator - SLM) eine Schlüsselkomponente. Ein SLM hat viele kleine Pixel, die in der Lage sind, entweder die Phase von Licht oder dessen Amplitude zu modulieren, jedoch nicht beide. Obwohl Geräte möglich sind, die sowohl Phasen- als auch Amplitudenmodulation kombinieren, machen technische Einschränkungen solche Geräte groß, kostspielig und extrem komplex. Daher werden typischerweise SLM verwendet, die entweder nur die Phase oder nur die Amplitude modulieren, wobei die Phasenmodulation häufiger eingesetzt wird. Solche SLM mit hochauflösender Phasenmodulation ermöglichen die Entwicklung und Produktion kompakter und energieeffizienter holographischer Geräte, die in der Lage sind, Bilder für HUD für Kraftfahrzeuge, intelligente Projektoren, AR-, VR- und andere Zusammenhänge zu produzieren.
Vor Allem, selbst in dem Zusammenhang des Projizierens eines einzelnen planaren Bildes, erfordert das Erzeugen eines qualitativ hochwertigen Hologramms das Modulieren sowohl der Lichtintensität als auch der Phase. Es ist ein schwieriges Problem, das komplexe und teure Hardware erfordert, um es zu lösen. Daher setzen aktuelle praktische Anwendungen einfache kostengünstige Hardware ein, die nur die Lichtphase moduliert (Phasen-SLM), wobei sie sich auf Interferenzphänomene (konstruktiv oder destruktiv) verlässt, um die Lichtintensität in dem Bildbereich zu steuern. Ein anderer Vorteil des Phasen-SLM ist eine hohe Lichteffizienz, da das gesamte Licht den SLM durchläuft, ohne gedämpft (das heißt amplitudenmoduliert) zu werden.
Das Vereinfachen der Hardware geht mit sehr hohen Berechnungskosten einher, da Algorithmen mit hoher Qualität und hoher Lichteffizienz typischerweise iterative eingeschränkte Optimierungsansätze verwenden, und da das Erzeugen eines Beugungsmusters mit hoher Qualität auf Nur-Phasen-SLM viele iterative Schritte erfordert, um den Fehler zu senken. Daher sind aktuelle Techniken zum Erzeugen von holographischen Beugungsbildern rechnerisch aufwendig und haben andere Einschränkungen. In Bezug auf diese und andere Überlegungen sind die vorliegenden Verbesserungen benötigt worden. Solche Verbesserungen können kritisch werden, da der Wunsch, holographische Bilder darzustellen, weiter verbreitet wird.
Figurenliste
Das hierin beschriebene Material ist in den begleitenden Figuren beispielhaft und nicht einschränkend veranschaulicht. Zur Vereinfachung und Klarheit der Veranschaulichung sind die in den Figuren veranschaulichten Elemente nicht notwendigerweise maßstabsgetreu gezeichnet. Zum Beispiel können die Dimensionen einiger Elemente der Klarheit wegen relativ zu anderen Elementen übertrieben sein. Ferner wurden, wo als geeignet betrachtet, Referenzbeschriftungen zwischen den Figuren wiederholt, um entsprechende oder analoge Elemente anzugeben. In den Figuren gilt:

1 veranschaulicht ein beispielhaftes System zum Erzeugen von Beugungsmusterbilddaten basierend auf einer gegebenen holographischen Abbildungsanordnung und einem holographischen Zielbild;
2 veranschaulicht eine beispielhafte holographische Abbildungsanordnung;
3 veranschaulicht eine beispielhafte Implementierung eines tiefen neuronalen Netzwerks, um eine Feedback-Stärke basierend auf einem holographischen Zielbild zu erzeugen;
4 veranschaulicht einen beispielhaften Prozess zum Vortrainieren eines tiefen neuronalen Netzwerks, um eine Feedback-Stärke basierend auf einem holographischen Zielbild zu erzeugen;
5 veranschaulicht eine beispielhafte Implementierung eines einzelnen tiefen neuronalen Netzwerks, um mehrere Feedback-Stärkewerte basierend auf einem Mehrfarbenkanal-Eingangsvolumen zu erzeugen, das einem holographischen Zielbild entspricht;
6 veranschaulicht eine beispielhafte Implementierung mehrerer tiefer neuronaler Netzwerke, um mehrere Feedback-Stärkewerte basierend auf einem mehrfarbigen holographischen Zielbild zu erzeugen;
7 veranschaulicht eine beispielhafte iterative Verarbeitung für holographische Zielbilder mit mehreren Farbkanälen durch Verwenden von Feedback-Stärken pro Farbkanal;
8 veranschaulicht eine beispielhafte Implementierung eines tiefen neuronalen Netzwerks, um eine Feedback-Stärke zu erzeugen, die sowohl von einem holographischen Zielbild als auch von einer Anzahl von zu implementierenden Iterationen abhängig ist;
9 veranschaulicht eine beispielhafte Implementierung eines tiefen neuronalen Netzwerks, um mehrere Feedback-Stärken für Verwendungen bei sich unterscheidenden Iterationen eines iterativen Verbreitungsmodells zu erzeugen;
10 veranschaulicht eine beispielhafte iterative Verarbeitung durch Verwenden mehrerer Feedback-Stärken jeweils für einen Satz oder eine Sequenz von Iterationen;
11 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Erzeugen von holographischen Bildern veranschaulicht;
12 ist ein veranschaulichendes Diagramm von beispielhaftem System 1200 zum Erzeugen von holographischen Bildern;
13 ist ein veranschaulichendes Diagramm eines beispielhaften Systems; und
14 veranschaulicht ein beispielhaftes Gerät, wobei alles gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung angeordnet ist.

DETAILLIERTE BESCHREIBUNG
Eine oder mehrere Ausführungsformen oder Implementierungen werden nun unter Bezugnahme auf die beigefügten Figuren beschrieben. Während spezifische Konfigurationen und Anordnungen diskutiert werden, sollte klargestellt werden, dass dies nur aus veranschaulichenden Zwecken gemacht wird. Entsprechende Fachleute werden erkennen, dass andere Konfigurationen und Anordnungen eingesetzt werden können, ohne von dem Geist und Umfang der Beschreibung abzuweichen. Für entsprechende Fachleute wird ersichtlich, dass hierin beschriebene Techniken und/oder Anordnungen auch in einer Vielzahl anderer Systeme und Anwendungen als den hierin beschriebenen eingesetzt werden können.
Während die folgende Beschreibung verschiedene Implementierungen darlegt, die in Architekturen, wie zum Beispiel System-on-a-Chip (SoC) -Architekturen, manifestiert werden können, ist die Implementierung der hierin beschriebenen Techniken und/oder Anordnungen nicht auf bestimmte Architekturen und/oder Datenverarbeitungssysteme beschränkt, und kann durch jegliche Architektur und/oder jegliches Datenverarbeitungssystem für ähnliche Zwecke implementiert werden. Beispielsweise können verschiedene Architekturen, die zum Beispiel mehrere Integrated-Circuit (IC) -Chips und/oder -Pakete und/oder verschiedene Datenverarbeitungsgeräte und/oder Consumer-Electronic (CE) -Geräte, wie zum Beispiel Set-Top-Boxen, Smartphones, usw., einsetzen, die hierin beschriebenen Techniken und/oder Anordnungen implementieren. Ferner kann, während die folgende Beschreibung zahlreiche spezifische Details, wie zum Beispiel logische Implementierungen, Typen und Wechselbeziehungen von Systemkomponenten, logische Partitionierungs-/Integrationsauswahlen, usw., darlegen kann, der beanspruchte Gegenstand ohne solche spezifischen Details praktiziert werden. In anderen Fällen können einige Materialien, wie zum Beispiel Steuerungsstrukturen und vollständige Software-Anweisungssequenzen, nicht detailliert gezeigt werden, um das hierin offenbarte Material nicht unklar zu machen.
Das hierin offenbarte Material kann in Hardware, Firmware, Software oder jeglicher Kombination davon implementiert werden. Das hierin offenbarte Material kann auch als auf einem maschinenlesbaren Medium gespeicherte Anweisungen implementiert werden, die durch einen oder mehrere Prozessoren gelesen und ausgeführt werden können. Ein maschinenlesbares Medium kann jegliches Medium und/oder jeglichen Mechanismus zum Speichern oder Übertragen von Informationen in einer Form, die durch eine Maschine (zum Beispiel ein Datenverarbeitungsgerät) gelesen werden kann, beinhalten. Zum Beispiel kann ein maschinenlesbares Medium einen Read-Only-Memory (ROM); Random-Access-Memory (RAM); Speicherungsmedien für Magnetplatten; optische Speicherungsmedien; Flash-Speichergeräte; elektrische, optische, akustische oder andere Formen von verbreiteten Signalen (zum Beispiel Trägerwellen, Infrarotsignale, digitale Signale, usw.) und andere beinhalten.
Bezugnahmen in der Spezifikation auf „(genau) eine Implementierung“, „eine Implementierung“, „eine beispielhafte Implementierung“ usw., geben an, dass die beschriebene Implementierung ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik beinhalten kann, aber nicht jede Ausführungsform kann notwendigerweise das bestimmte Merkmal, die bestimmte Struktur oder Charakteristik beinhalten. Außerdem beziehen sich solche Ausdrücke nicht notwendigerweise auf dieselbe Implementierung. Ferner wird, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik in Verbindung mit einer Ausführungsform beschrieben wird, vorgeschlagen, dass es in dem Kenntnisbereich eines Fachmanns liegt, ein solches Merkmal, eine solche Struktur oder Charakteristik in Verbindung mit anderen Implementierungen zu beeinflussen, ob hierin explizit beschrieben oder nicht. Die Begriffe „im Wesentlichen“, „nahe“, „annähernd“, „beinahe“ und „ungefähr“ beziehen sich allgemein darauf, innerhalb von +/- 10% eines Zielwerts zu liegen. Der Begriff „erfüllt“, wenn in Bezug auf einen Schwellenwert verwendet, gibt an, dass der fragliche Wert der durch den Schwellenwert eingerichteten Bedingung genügt. Der Begriff „vergleichsweise vorteilhaft“, wenn in Bezug auf einen Schwellenwert verwendet, gibt an, dass der fragliche Wert größer als der oder gleich dem Schwellenwert ist. In ähnlicher Weise gibt der Begriff „vergleichsweise unvorteilhaft“, wenn in Bezug auf einen Schwellenwert verwendet, an, dass der fragliche Wert kleiner als der oder gleich dem Schwellenwert ist.
Hierin werden Verfahren, Geräte, Vorrichtungen, Datenverarbeitungsplattformen und Artikel beschrieben, die sich auf die holographische Abbildung und insbesondere auf das Erzeugen von Beugungsmusterbilddaten beziehen, die einer gegebenen holographischen Abbildungsanordnung und einem holographischen Zielbild durch Verwenden eines iterativen Verbreitungs-Feedback-Modells entsprechen, sodass die die Feedback-Stärke durch Anwenden eines vortrainierten tiefen neuronalen Netzwerks auf das holographische Zielbild bestimmt wird.
In verschiedenen Zusammenhängen kann eine holographische Abbildungsanordnung eingesetzt werden, um einem Benutzer holographische Bilder anzuzeigen. Die holographische Abbildungsanordnung kann eine Lichtquelle, einen räumlichen Lichtmodulator (SLM), verschiedene optische Elemente und die räumliche Anordnung solcher Komponenten beinhalten. Wie hierin verwendet, gibt der Begriff holographische Abbildungsanordnung eine Anordnung jeglicher Komponenten für die Anzeige eines holographischen Bildes für einen Benutzer an. Der Begriff holographisches Bild gibt jegliches Hologramm an, das einem Benutzer angezeigt wird, einschließlich 2D- oder planarer Hologramme, 3D-Hologramme oder auf einen Bildschirm projizierte Hologramme. Vor allem können solche holographischen Bilder mit dem bloßem Auge gesehen werden, und werden durch Verwenden von durch Beugung von Licht erzeugten Interferenzmustern erzeugt. Darüber hinaus wird ein holographisches Zielbild für eine eventuelle Anzeige für den Benutzer durch Verwenden der holographischen Abbildungsanordnung bereitgestellt. Das holographische Zielbild ist, wie der Name andeutet, das Bild, das dem Benutzer über die holographische Abbildungsanordnung gezeigt werden soll.
Wie diskutiert, zeigt ein SLM ein Beugungsmusterbild an, um ein holographisches Bild zu erzeugen, das nahe mit dem holographischen Zielbild übereinstimmt. Kohärentes Licht wird auf den das Beugungsmusterbild anzeigenden SLM emittiert, der das Licht basierend auf den dem SLM bereitgestellten Beugungsmusterbilddaten modifiziert und reflektiert oder in Richtung eines Betrachtungsraums überträgt. Wie hierin verwendet, werden die Begriffe Bild (zum Beispiel Beugungsmusterbild, holographisches Bild, usw.) verwendet, um sowohl das anzuzeigende Bild (zum Beispiel über eine Anzeige und/oder an einen Benutzer) als auch die Bilddaten in jeglichem Format anzuzeigen, das einer Anzeige zum Erzeugen des Bildes, einem tiefen neuronalen Netzwerk oder einem anderen Verarbeitungsmodul, usw., zum Verarbeiten und so weiter bereitgestellt wird. In einigen Zusammenhängen kann das erstere als ein Bild (zum Beispiel Beugungsmusterbild) beschrieben werden, während das letztere als Bilddaten (zum Beispiel Beugungsmusterbilddaten, die zum Erzeugen eines Beugungsmusterbildes verwendet werden) beschrieben werden kann. Jedoch wird der Begriff Bild hierin für beide verwendet, während Zusammenhänge klar machen, welche Struktur beschrieben wird.
In einer bestimmten Entfernung von dem SLM (der Optik zwischen dem SLM und dem Betrachtungsraum beinhalten kann) erzeugt die resultierende Wellenfront ein holographisches Bild in einer Bildebene. Wie hierin verwendet, gibt der Begriff Bildebene eine Ebene an, auf der das holographische Bild durch einen Benutzer betrachtet werden soll, während der Begriff holographische Ebene (oder Hologrammebene) die Ebene angibt, auf der das Beugungsmusterbild angezeigt werden soll. Wie diskutiert, kann das holographische Bild in einigen Zusammenhängen auf einen Bildschirm (der auf der Bildebene bereitgestellt werden kann) projiziert werden. Das holographische Bild kann planar sein, oder es kann eine Tiefe haben, um ein 3D-Hologramm bereitzustellen. Wie hierin verwendet, gibt der Begriff holographisches Bild ein planares oder 3D-holographisches Bild oder Hologramm an. Zum Beispiel kann das resultierende Lichtfeld von dem SLM auf eine einzelne Ebene oder auf mehrere benachbarte Ebenen fokussieren, um 3D-Bilder zu erzeugen. Darüber hinaus können Zeitmultiplexing-Techniken verwendet werden, um den Effekt von 3D-Bildern zu erzeugen, indem planare oder 3D-holographische Bilder mit einer Geschwindigkeit aktualisiert werden, die schneller ist als für das menschliche Auge wahrnehmbar.
Die hierin diskutierten Techniken beschleunigen die Erzeugung der Beugungsmusterbilder oder Bilddaten durch adaptives Erzeugen einer Feedback-Stärke zur Verwendung in einem iterativen Verbreitungs-Feedback-Modell, das wiederum verwendet wird, um das Beugungsmusterbild von dem holographischen Zielbild zu bestimmen, sodass die Feedback-Stärke durch Anwenden eines vortrainierten tiefen neuronalen Netzwerks (Deep-Neural-Network - DNN) auf das holographische Zielbild erzeugt wird. Vor allem können iterative Verbreitungsmodelle ohne Feedback Iterationen bereitstellen, die eine Amplitudenebene einer aktuellen Phase und eine Amplitudenbildebenenschätzung durch die Amplitudenebene des holographischen Zielbildes ersetzen. Iterative Verbreitungs-Feedback-Modelle (oder iterative Verbreitungsmodelle mit Feedback) ersetzen stattdessen eine Amplitudenebene einer aktuellen Phasen- und Amplitudenbildebenenschätzung durch die Amplitudenebene des holographischen Zielbildes, das durch ein Produkt von einer Feedback-Stärke und einem Korrekturterm modifiziert wurde. Der Korrekturterm (oder Korrekturfaktor) ist eine Differenz zwischen dem holographischen Zielbild und einer aktuellen Phasen- und Amplitudenbildebene, die durch Verwenden eines Vorwärtsverbreitungsmodells wie hierin diskutiert erzeugt wird.
Wie diskutiert, wird die Feedback-Stärke zur Verwendung in dem iterativen Verbreitungs-Feedback-Modell basierend auf dem Anwenden eines vortrainierten DNN auf das holographische Zielbild erzeugt. Die basierend auf dem Anwenden des vortrainierten DNN erzeugte Feedback-Stärke stellt eine optimale oder beinahe optimale Feedback-Stärke bereit, die die Anzahl von Iterationen des iterativen Verbreitungs-Feedback-Modells reduziert, die benötigt werden, um einer bestimmten Leistungsmetrik, wie zum Beispiel dem Spitzensignal-RauschVerhältnis (Peak-Signal-to-Noise-Ratio - PSNR), zu genügen, und/oder eine verbesserte Leistung nach Abschluss einer festen Anzahl iterativer Verbreitungs-Feedback-Modelliterationen bereitzustellen.
Die Erfinder haben festgestellt, dass die Verwendung einer einzelnen statischen Feedback-Stärke Verbesserungen (hinsichtlich weniger Iterationen, um dasselbe PSNR oder ein besseres PSNR mit derselben Anzahl von Iterationen zu erreichen) gegenüber keinem Feedback (das heißt k=0) für einige holographische Zielbilder bereitstellen kann, aber dass andere holographische Zielbilder eine verringerte Leistung in Bezug auf kein Feedback haben. Darüber hinaus haben die Erfinder festgestellt, dass für unterschiedliche holographische Zielbilder unterschiedliche Feedback-Stärken eine optimale Leistung bereitstellen (wieder hinsichtlich weniger Iterationen, um dasselbe PSNR oder ein besseres PSNR mit derselben Anzahl von Iterationen zu erreichen). Vor allem hat, wenn gegen die Feedback-Stärke (zum Beispiel in dem Bereich von 0 bis 1) grafisch dargestellt, das PSNR für bestimmte holographische Zielbilder nach einer konstanten Anzahl von Iterationen (zum Beispiel 20) typischerweise einen Spitzenwert bei einer bestimmten Feedback-Stärke, der von Bild zu Bild variieren kann. Es wird darauf hingewiesen, dass der Spitzenwert bei k=0 konsistent über dem PSNR liegt (das heißt es wird kein Feedback verwendet), obwohl nicht alle k-Werte über dem PSNR bei k=0 liegen. Darüber hinaus variiert die bestimmte optimale Feedback-Stärke für jedes holographische Zielbild von Bild zu Bild. Wie hierin ferner diskutiert, wird durch adaptives Auswählen der Feedback-Stärke eine verbesserte Leistung (verbessertes PSNR bei einer konstanten Anzahl von Iterationen oder weniger Iterationen, um dasselbe PSNR zu erreichen) erlangt. Eine solche Verbesserung über k=0 (das heißt kein Feedback) stellt typischerweise dasselbe PSNR mit 50% weniger Iterationen bereit, was erhebliche Rechenressourcen und Energie spart. Vor allem ist der erhöhte rechnerische Mehraufwand zur Bestimmung der adaptiven Feedback-Stärke vergleichsweise unwesentlich, da das DNN relativ einfach ist und implementiert werden kann, um eine einzelne Fließkomma-Feedback-Stärke zu bestimmen. Vor allem ist die optimale Feedback-Stärke für unterschiedliche holographische Zielbilder und unterschiedliche Klassen von holographischen Zielbildern unterschiedlich. Darüber hinaus tendieren die optimalen Feedback-Stärkewerte dazu, sich für Bilder, die eine ähnliche Struktur haben, eng zu gruppieren, korrelieren jedoch nicht mit integralen Bildeigenschaften, wie zum Beispiel Bildenergie.
1 veranschaulicht beispielhaftes System 100 zum Erzeugen von Beugungsmusterbilddaten basierend auf einer gegebenen holographischen Abbildungsanordnung und einem holographischen Zielbild, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 1 gezeigt, beinhaltet das System 100 Initialisierungsmodul 101, Tiefes neuronales Netzwerk (DNN) -Modul 106 und iteratives Verbreitungsmodellmodul 107, das inverses Verbreitungsmodellmodul 102, SLM-Einschränkungsmodul 103, Vorwärtsverbreitungsmodellmodul 108, und Amplitudenfehleranpassungsmodul 105 beinhaltet. Das System 100 kann auch räumlichen Lichtmodulator (SLM) 104, wie zum Beispiel einen Nur-Phasen-SLM 104, beinhalten. In anderen Ausführungsformen kann der SLM 104 getrennt von dem System 100 implementiert werden und resultierendes endgültiges Nur-Phasen-Beugungsmuster 114 kann gespeichert und/oder an einen entfernten SLM 104 zur Anzeige übertragen werden.
Wie gezeigt, empfängt das System 100 holographisches Zielbild 111, das einem Benutzer dargestellt werden soll, und stellt das endgültige Nur-Phasen-Beugungsmuster 114, das basierend auf dem holographischen Zielbild 111 erzeugt wurde, dem SLM 104 oder einem anderen holographischen Anzeigegerät bereit, sodass der SLM 104 Teil einer holographischen Abbildungsanordnung ist, die verwendet wird, um einem Benutzer ein holographisches Bild oder Hologramm darzustellen.
2 veranschaulicht beispielhafte holographische Abbildungsanordnung 200, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 2 gezeigt, beinhaltet die holographische Abbildungsanordnung 200 das System 100 (das heißt als ein integriertes System, wie zum Beispiel ein Datenverarbeitungsgerät oder einen Abschnitt davon), den SLM 104, Lichtquelle 202 und optional Bildschirm 206. Das System 100 kann in jeglichem geeigneten Formfaktorgerät implementiert sein, wie zum Beispiel einer Kraftfahrzeugplattform, einer Virtual-Reality-Headset-Plattform, einer Augmented-Reality-Headset-Plattform, einem Personal-Computer, einem Laptop, einem Tablet, einem Phablet, einem Smartphone, einer Digitalkamera, einer Spielekonsole, einem tragbaren Gerät, einem Anzeigegerät, einem All-in-One-Gerät, einem Two-in-One-Gerät, usw. Zum Beispiel kann das System 100 ein Beugungsmusterbild (Beugungsmusterbilddaten) wie hierin diskutiert erzeugen, und das System 100 kann Komponenten zum Anzeigen des entsprechenden Hologramms beinhalten, oder das System 100 kann die Beugungsmusterbilddaten an ein anders Gerät zur Anzeige des Hologramms übertragen. Wie gezeigt, kann in einigen Ausführungsformen das System 100 in dasselbe Gehäuse, auf dasselbe Motherboard, in dieselbe System-on-a-Chip-Plattform, usw. integriert werden. Wie hierin verwendet, gibt der Begriff integriertes System ein System an, das in mindestens dasselbe Gerätepaket oder Gehäuse integriert wird.
Wie gezeigt, beinhaltet die holographische Abbildungsanordnung 200 eine Lichtquelle 202, wie zum Beispiel eine Laserlichtquelle, die kohärentes Licht 211 auf den oder in Richtung des SLM 104 emittiert. Eine optionale Optik kann zwischen der Lichtquelle 202 und dem SLM 104 bereitgestellt werden. Darüber hinaus kann, obwohl in Bezug auf den SLM 104 veranschaulicht, jegliches geeignete holographische Abbildungsgerät eingesetzt werden. Der SLM 104 erzeugt basierend auf dem endgültigen Nur-Phasen-Beugungsmuster 114 ein entsprechendes Beugungsbild innerhalb von Oberflächenschicht 204 des SLM, die sich auf Substrat 203 befindet. Vor allem wird das Beugungsbild in einer holographischen Ebene bereitgestellt, die durch die Oberflächenschicht 204 definiert ist. Es wird darauf hingewiesen, dass das in der holographischen Ebene des SLM 104 angezeigte Beugungsbild wenig oder keine Ähnlichkeit mit dem holographischen Zielbild 111 und einem entsprechenden und resultierenden holographischen Bild haben kann, das einem Benutzer in einer Bildebene angezeigt wird, wie unten weiter diskutiert. Zum Beispiel kann der SLM 104 einen reflektierenden Flüssigkristallfilm beinhalten, der verpixelt (auf einer Pixelebene veränderbar) ist, um eine modulierte Bildoberfläche bereitzustellen, die für das endgültige Nur-Phasen-Beugungsmuster 114 repräsentativ ist. Der SLM 104 kann jegliche Anzahl von Pixeln beinhalten und jegliche Größe haben. Zum Beispiel kann der SLM 3, 4 oder 6 Mikron Pixel in der Oberflächenschicht 204 haben, und die Oberflächenschicht 204 kann eine Oberfläche von ungefähr 12x12 mm bis 15x15 mm haben, obwohl jegliche Pixelgröße und Oberflächengröße der Oberflächenschicht 204 eingesetzt werden kann.
Darüber hinaus moduliert die Oberflächenschicht 204 auf einer Pixel-für-Pixel-Basis eine Phase des kohärenten Lichts 211, um moduliertes Licht 212 bereitzustellen. Zum Beispiel kann der SLM 104 eine Phase modulieren (ist zum Beispiel zum Modulieren einer Phase geeignet) und kann ungeeignet für das Modulieren einer Amplitude sein. Solche Nur-Phasen-SLM können einen kompakten Formfaktor und eine hohe Energieeffizienz bereitstellen. Das modulierte Licht 212 kann als phasenmoduliertes Licht, kohärentes verpixeltes Licht, usw. charakterisiert werden. Vor allem stellt der SLM 104 das modulierte Licht 212 bereit, das auf einer Pixel-für-Pixel-Basis moduliert wird. Wie gezeigt, verbreitet sich das modulierte Licht 212 durch einen Raum in Richtung eines optionalen Bildschirms 206, und das modulierte Licht 212 erzeugt holographisches Bild 205 in einer Bildebene, die dem optionalen Bildschirm 206 entspricht, oder in einer Bildebene, die sich im Raum befindet, der durch das endgültige Nur-Phasen-Beugungsmuster 114 (und letztendlich das holographische Zielbild 111) bestimmt wird.
Das holographische Bild 205 wird basierend auf einem Interferenzmuster erzeugt, das durch das modulierte Licht 212 bereitgestellt wird, das in einer bestimmten Entfernung von dem SLM 104 fokussiert ist. In dem Zusammenhang der Phasenmodulation bedeutet die Begrenzung der Amplitudennichtmodulation, dass eine Amplitudenvariation innerhalb des holographischen Bildes 205 basierend auf einer konstruktiven und destruktiven Interferenz wie durch das endgültige Nur-Phasen-Beugungsmuster 114 bereitgestellt erzeugt wird. Obwohl in Bezug auf ein planares holographisches Bild 205 veranschaulicht, können die holographische Abbildungsanordnung 200 und die hierin diskutierten Techniken eingesetzt werden, um holographische 3D-Bilder zu erzeugen. Vor allem können solche holographischen 3D-Bilder auch in einer Bildebene dargestellt werden, die sich von einer holographischen Ebene unterscheidet. Ohne Verlust von Allgemeinheit werden die offenbarten Techniken typischerweise in Bezug auf das Erzeugen eines planaren holographischen Bildes (zum Beispiel einer gegebenen Verteilung von Lichtintensität auf einer Ebene in einer bestimmten Entfernung von dem SLM 104) diskutiert, aber solche Techniken sind auf planare oder holographische 3D-Abbildungstechniken anwendbar. In einigen Implementierungen können Intensitätsverteilungen in einem Volumen durch Zeitmultiplexing mehrerer planarer Bilder in unterschiedlichen Entfernungen erreicht werden, um ein volumetrisches 3D-Hologramm zu erzeugen.
Das holographische Bild 205 strebt an, das holographische Zielbild 111 so nah wie möglich nachzubilden. Das holographische Bild 205 kann jegliche Größe, wie zum Beispiel 5x5 Zoll, ohne Verwendung einer dazwischenliegenden Optik haben, abhängig von der Größe der Pixel des SLM 104 und der Entfernung des holographischen Bildes 205 von dem SLM 104. Der Bildschirm 206 kann eine Standardbildschirmoberfläche sein, die alle oder die meisten Wellenlängen des Lichts reflektiert, oder der Bildschirm 206 kann nur ein Lichtband reflektieren, das dem Band des kohärenten Lichts 211 und des modulierten Lichts 212 entspricht, während er in Bezug auf andere Lichtbänder und insbesondere auf andere Bänder sichtbaren Lichts lichtdurchlässig ist. Zum Beispiel kann der Bildschirm 206 Glas (zum Beispiel eine Windschutzscheibe eines Kraftfahrzeugs) sein, das Elemente hat, die für das bloße Auge (weitgehend) unsichtbar sind, jedoch ein schmales Wellenlängenband rund um jene des kohärenten Lichts 211 und des modulierten Lichts 212 reflektieren. In einigen Ausführungsformen beinhaltet der Bildschirm 206 optische Elemente, die ferner moduliertes Licht 212 projizieren und/oder reflektieren, sodass zum Beispiel das holographische Bild 205 über der Motorhaube eines Kraftfahrzeugs zu sein scheint.
Die holographische Abbildungsanordnung 200 kann in jeglichem Zusammenhang eingesetzt werden, wie zum Beispiel in Heads-up-Displays (HUD) für Kraftfahrzeuge, Augmented Reality (AR) -Displays , Virtual Reality (VR) -Displays, multifokalen Head-Mounted-Displays (HMD) usw. Solche holographischen Anzeigegeräte haben Vorteile gegenüber anderen Anzeigen, einschließlich einer inhärenten Fähigkeit, Licht in unterschiedlichen Entfernungen zu fokussieren, einer sehr hohen Lichteffizienz, einer geringen Größe usw. Darüber hinaus kann das endgültige Nur-Phasen-Beugungsmuster 114 von dem System 100 zu dem SLM 104 oder einer anderen Komponente einer holographischen Anzeige durch Verwenden jeglicher geeigneter Technik oder Techniken übertragen werden. In einigen Ausführungsformen ist das System 100 lokal zu dem SLM 104, sodass sie in demselben Gerät implementiert werden. In anderen Ausführungsformen ist das System 100 von dem SLM 104 entfernt, und das endgültige Nur-Phasen-Beugungsmuster 114 wird über drahtgebundene oder drahtlose Kommunikation an den SLM 104 übertragen. In einigen Ausführungsformen wird das endgültige Nur-Phasen-Beugungsmuster 114 in einem Speicher gespeichert, der für den SLM 104 zugreifbar ist.
Zurückkehrend zu 1, empfängt das System 100 das holographische Zielbild 111. Wie hierin verwendet, kann sich der Begriff Bild allgemein auf Bilder beziehen, die über eine Anzeige dargestellt und/oder durch einen Benutzer oder die entsprechenden Bilddaten betrachtet werden können, wobei letztere basierend auf dem Zusammenhang durch Hinzufügen der Begriffsdaten je nach Bedarf unterschieden werden können. Das holographische Zielbild 111 kann jegliches geeignete Bild, jeglichen geeigneten Video-Frame oder dergleichen oder jegliche Datenstruktur beinhalten, der/die ein Bild oder einen Video-Frame mit jeglicher geeigneten Auflösung darstellt. In einer Ausführungsform hat das holographische Zielbild 111 Einzelkanalbilddaten mit einem einzelnen Wert (zum Beispiel Luma) für Pixel davon, sodass jeder Wert eine gewünschte Amplitude oder Helligkeit für das Pixel in einem angezeigten Hologramm angibt. In anderen Ausführungsformen hat das holographische Zielbild 111 mehrere Farbkanäle, wie zum Beispiel einen R (roten) -Kanal, einen G (grünen) -Kanal und einen B (blauen) -Kanal mit entsprechenden Pixelwerten. Das holographische Zielbild 111 kann jeglichem gewünschten holographischen Bild oder Hologramm entsprechen, das einem Benutzer angezeigt werden soll.
Wie gezeigt, wird das holographische Zielbild 111 durch das Initialisierungsmodul 101 und das DNN-Modul 106 empfangen. Das Initialisierungsmodul 101 erzeugt durch Verwenden jeglicher Initialisierungstechniken Bildebenenausgabe 112 (g). Hierin bezeichnet g ein Bild in der Bildebene, und h gibt ein Bild in der holographischen Ebene an. Darüber hinaus können die Begriffe Bildebene und holographische Ebene als Abkürzung für das Bild in der Ebene (oder geschätzt in der Ebene) durch Verwenden des iterativen Verbreitungsmodellmoduls 107 verwendet werden. In einigen Ausführungsformen wandelt das Initialisierungsmodul 101 das holographische Zielbild 111 in Mehrkanalbilddaten mit mindestens einem Amplitudenkomponentenkanal und einem Phasenkomponentenkanal für jedes Pixel oder mindestens einige Pixel (optional kann erneutes Sampling ausgeführt werden) des holographischen Zielbildes 111 um. Vor allem kann das holographische Zielbild 111 nur Amplitudenwerte (zum Beispiel Luma-Werte) beinhalten, während holographische Verbreitungsmodelle und Anzeigegeräte mit Zweikanaldaten arbeiten, sodass jedes Pixel einen Amplitudenwert und einen Phasenwert hat. Die Amplituden- und Phasenwerte können durch Verwenden jeglicher geeigneter Technik oder Techniken bereitgestellt werden. In einer Ausführungsform werden der Amplitudenwert und ein Phasenwert explizit als Pixel-für Pixel-Werte bereitgestellt, die jegliche geeigneten Bereiche haben können. In einer Ausführungsform werden jeder Pixel-für Pixel-Amplitudenwert und Phasenwert als eine komplexe Zahl dargestellt, wobei die Größe der Zahl die Amplitude darstellt und der Winkel zwischen der realen Achse und dem durch die komplexe Zahl bestimmten Vektor die Phase darstellt, wie in dem Fachgebiet bekannt ist.
Wie diskutiert, kann der SLM 104 ein endgültiges Nur-Phasen-Beugungsmuster 114 bereitstellen, sodass die Amplitude jedes Pixels des endgültigen Nur-Phasen-Beugungsmusters 114 ein normalisierter Wert, wie zum Beispiel eins, ist, während die Phase jedes Pixels jeglicher Wert innerhalb eines bestimmten Bereichs sein kann. In einer Ausführungsform ist der Phasenbereich 0 bis 2π, es kann jedoch jeglicher Bereich verwendet werden. Die diskutierten Mehrkanalbilddaten der Bildebenenausgabe 112 (zum Beispiel eine initialisierte Bildebenenausgabe) können von dem holographischen Zielbild 111 durch Verwenden jeglicher geeigneter Technik oder Techniken, wie zum Beispiel dem Kopieren der Amplitudenkomponente von dem einzelnen Kanal des holographischen Zielbildes 111, erzeugt werden, während Werte des Phasenkomponentenkanals durch Verwenden jeglicher geeigneter Technik oder Techniken, wie zum Beispiel Vorauswählen eines Phasenmusters, Erzeugen eines zufälligen Phasenmusters, oder dergleichen, erzeugt werden. In einer Ausführungsform beinhaltet das Umwandeln des holographischen Zielbildes 111 in die Mehrkanalbilddaten der Bildebenenausgabe 112 das Einstellen jedes Amplitudenwerts der Amplitudenkomponente auf einen entsprechenden Wert des holographischen Zielbildes 111, und das Anwenden eines Phasenmusters, um Phasenwerte der Phasenkomponente zu erzeugen.
Darüber hinaus wird dem DNN-Modul 106 das holographische Zielbild 111 bereitgestellt. Das DNN-Modul 106 empfängt das holographische Zielbild 111 (zum Beispiel ein Einkanalbild), und erzeugt Feedback-Stärke (k) 118 basierend auf der Anwendung eines vortrainierten tiefen neuronalen Netzwerks auf das holographische Zielbild 111. In einigen Ausführungsformen wird das durch das DNN-Modul 106 implementierte DNN direkt auf das holographische Zielbild 111 angewendet. In anderen Ausführungsformen wird das holographische Zielbild 111 vor der Anwendung des durch das DNN-Modul 106 implementierten DNN herabgesampled. Zum Beispiel kann das DNN mit herabgesampleten holographischen Zielbilddaten arbeiten (und auf eine ähnliche Weise vortrainiert werden). Das Herabsampling kann jeglicher Herabsampling-Faktor sein, wie zum Beispiel ein Faktor von vier (zum Beispiel ein Herabsampling um einen Faktor von zwei sowohl in der horizontalen als auch in der vertikalen Dimension).
Das vortrainierte tiefe neuronale Netzwerk kann jegliches geeignete tiefe neuronale Netzwerk sein, wie zum Beispiel ein Netzwerk mit jeglicher Anzahl von Faltungsschichten und einer vollständig verbundenen Schicht nach den Faltungsschichten. Zum Beispiel kann jede Faltungsschicht jegliche Anzahl von Merkmalsabbildungen erzeugen, indem eine entsprechende Anzahl von Kernein (oder Filtern) auf Bereiche von Merkmalsabbildungen von der vorhergehenden Faltungsschicht (oder von dem holographischen Eingabezielbild 111 in dem Fall für die erste Faltungsschicht) angewendet wird. Jede Faltungsschicht oder einige Faltungsschichten können auch eine Reduzierung der Merkmalsabbildungsgröße bereitstellen. Wie hierin verwendet, gibt der Begriff Faltungsschicht eine Schicht eines DNN an, das Faltungsfilterung sowie andere optionale verwandte Operationen, wie zum Beispiel Rectified-Linear-Unit (ReLU) -Operationen, Pooling-Operationen und/oder Batch-Normalization (BN) - Operationen bereitstellt. Wie diskutiert, folgen auf die Faltungsschichten eine oder mehrere vollständig verbundene Schichten, die Merkmalsabbildungen von der endgültigen Faltungsschicht nehmen und die Feedback-Stärke 118 erzeugen.
3 veranschaulicht eine beispielhafte Implementierung von tiefem neuronalen Netzwerk 300 zum Erzeugen der Feedback-Stärke 118 basierend auf einem holographischen Zielbild, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 3 gezeigt, kann das holographische Zielbild 111 einen einzelnen Kanal beinhalten, der die gewünschten Luma-Werte in einer Bildebene darstellt. Das DNN-Modul 106 wendet das vortrainierte DNN 300 auf das holographische Zielbild 111 an, um die Feedback-Stärke 118 zu erzeugen. Wie gezeigt, kann die Feedback-Stärke 118 ein einzelner Wert, wie zum Beispiel ein einzelner durch 32 Bit oder 16 Bit dargestellter Fließkommawert, sein, der von 0 bis einschließlich 1 reichen kann.
Das DNN 300 kann jegliche Anzahl von Faltungsschichten 301, 302 implementieren. Wie in Bezug auf die Faltungsschicht 301 gezeigt, kann eine, können einige oder alle Faltungsschichten 301, 302 Faltungsschichtoperation 321 (veranschaulicht in Bezug auf eine einzelne Faltungsoperation) beinhalten, die jegliche Anzahl von Faltungskerneln oder Filtern auf Bereiche des holographischen Zielbildes 111 anwendet, um eine entsprechende Anzahl von Merkmalsabbildungen 312 zu erzeugen. Wie hierin verwendet, bezeichnet der Begriff Merkmalsabbildung jegliche geeignete Datenstruktur, die Merkmale wie durch Merkmal- oder Antwortwerte innerhalb der Abbildung dargestellt angibt. Zum Beispiel kann eine Merkmalsabbildung ein 2D-Array von Werten beinhalten, die solche Merkmale angeben. Solche Merkmalsabbildungen können als Merkmale, Merkmal, Abbildungen, Antwortabbildungen, usw. charakterisiert werden. Darüber hinaus kann eine, können einige oder alle Faltungsschichten 301, 302 Pooling-Schicht-Operation 322 beinhalten (veranschaulicht in Bezug auf eine einzelne Pooling- oder Downsampling-Operation), die einen Maximalwert auswählen oder auf andere Weise Werte von Bereichen der Merkmalsabbildung 312 bündeln können, um Merkmalsabbildung 313 zu erzeugen. Eine, einige oder alle Faltungsschichten 301, 302 kann/können ferner ReLU-Operationen und/oder BN-Operationen beinhalten, wie in dem Fachgebiet bekannt ist.
Das DNN 300 kann ferner jegliche Anzahl von Faltungsschichten 302 beinhalten, die jeweils Eingabemerkmalsabbildungen, wie zum Beispiel die Merkmalsabbildungen 313 verarbeiten, um Ausgabemerkmalsabbildungen wie in Bezug auf die Faltungsschicht 301 diskutiert zu erzeugen. Solche Faltungsschichten 301, 302 können ferner andere Faltungsschichtoperationen, wie zum Beispiel Rectified-Linear-Units (ReLU), Batch-Normalization (BN) -Operationen, usw., implementieren. Die endgültige Faltungsschicht der Faltungsschichten 302 stellt Merkmalsabbildungen 314 für eine oder mehrere vollständig verbundene Schichten 303 bereit, die einen einzelnen Wert, die Feedback-Stärke 118, zum Fehler-Feedback bei der Bestimmung eines Nur-Phasen-Beugungsmusterbildes durch Verwenden eines iterativen Verbreitungs-Feedback-Modells wie hierin unten weiter diskutiert ausgibt.
Wie diskutiert, implementiert das DNN-Modul 106 eine DNN mit einer Anzahl von Faltungsschichten, wobei jede Faltungsschicht ein holographisches Zielbild 111 oder einen vorhergehenden Satz von Merkmalsabbildungen von einer vorherigen Schicht empfängt, und jede Faltungsschicht eine vorbestimmte Anzahl von Faltungskerneln mit einer vorbestimmten Größe auf die eingehenden Daten anwendet, um Merkmalsabbildungen zu erzeugen. Nach allen Faltungsschichten beinhaltet das DNN eine oder mehrere vollständig verbundene Schichten, um die Merkmalsabbildungen von der endgültigen Faltungsschicht zu empfangen und die Feedback-Stärke 118 zu erzeugen.
Basierend auf dem Vortrainieren des DNN wird die Feedback-Stärke 118 wie diskutiert erzeugt, sodass die Feedback-Stärke 118 als eine Feedback-Stärke oder ein Feedback-Koeffizient für das Fehler-Feedback bei der Bestimmung eines Nur-Phasen-Beugungsmusterbildes durch Verwenden eines iterativen Verbreitungs-Feedback-Modells verwendet wird. Vor dem Zuwenden zu der Erzeugung eines endgültigen Nur-Phasen-Beugungsmusterbildes durch Anwendung eines iterativen Verbreitungs-Feedback-Modells, das auf dem holographischen Zielbild 111 durch Verwenden der Feedback-Stärke 118 basiert, wendet sich die Diskussion dem Vortrainieren eines DNN zu. Die folgenden DNN-Vortrainingstechniken können auf jegliches hierin diskutierte DNN angewendet werden.
4 veranschaulicht beispielhaften Prozess 400 zum Vortrainieren eines tiefen neuronalen Netzwerks zum Erzeugen einer Feedback-Stärke basierend auf einem holographischen Zielbild, angeordnet, gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung Der Prozess 400 kann eine oder mehrere Operationen 401-406 beinhalten, wie in 4 veranschaulicht. Der Prozess 400 oder Abschnitte davon können durch ein Gerät oder ein System zum Erzeugen eines DNN wie jegliches hierin diskutierte DNN zur Implementierung ausgeführt werden
Der Prozess 400 beginnt bei Operation 401, wobei ein Korpus von holographischen Zielbildern erzeugt oder empfangen wird. Der Korpus von holographischen Zielbildern kann jegliche geeigneten holographischen Zielbilder in jeglicher Anzahl beinhalten. Zum Beispiel kann der Korpus von holographischen Zielbildern einen großen Korpus (Tausende von Bildern) beinhalten, der einer Vielzahl von Bildern entspricht, die einem Benutzer angezeigt werden sollen. Darüber hinaus kann der Korpus von holographischen Zielbildern eine Vielzahl von Objekten, Formen, usw., beinhalten, um Flexibilität und Robustheit in dem resultierenden DNN bereitzustellen. In einigen Ausführungsformen beinhaltet der Trainingskorpus holographische Zielbilder, die für eine bestimmte Anwendung relevant sind, wie zum Beispiel Symbole und Bilder für ein Heads-up-Display für Kraftfahrzeuge.
Das Verarbeiten wird bei Operation 402 fortgesetzt, wobei eine optimale Feedback-Stärke für jedes holographische Zielbild in dem Korpus bestimmt wird. Die optimale Feedback-Stärke (das heißt in einem Bereich von 0 bis 1) kann durch Verwenden jeglicher geeigneter Technik oder Techniken mit jeglichem geeigneten Granularitäts- oder Präzisionslevel, wie zum Beispiel einer Präzision von einem Hundertstel (das heißt einer optimalen Feedback-Stärke für jedes holographische Zielbild auf 0,01 genau) bestimmt werden. In einigen Ausführungsformen werden Brute-Force-Techniken verwendet, sodass das relevante iterative Verbreitungs-Feedback-Modell für jede verfügbare optimale Feedback-Stärke implementiert wird, und die Feedback-Stärke, die die wenigsten Iterationen zu einer Zielleistungsmetrik (zum Beispiel PSNR) oder das beste PSNR basierend auf einer gegebenen Anzahl von Iterationen bereitstellt, ausgewählt wird. Jedoch beinhaltet, wie diskutiert, die Leistung gegenüber der Feedback-Stärke einen Spitzenwert, und daher können Optimierungstechniken, wie zum Beispiel eine Grob-nach-Fein-Suche eingesetzt werden, um den Prozess zu beschleunigen. Zum Beispiel können mehrere Werte in bestimmten Entfernungen voneinander getestet werden (zum Beispiel 0,0, 0,2, 0,4, 0,6, 0,8, 1,0) und die Ergebnisse können verwendet werden, um den Spitzenwert zwischen den mehreren Werten zu lokalisieren, und der entsprechende Bereich kann demselben Prozess ausgesetzt werden, bis eine optimale Feedback-Stärke bestimmt ist.
Das Verarbeiten wird bei Operation 403 fortgesetzt, wobei das DNN durch Verwenden der Paare von holographischen Zielbildern und von optimalen Feedback-Stärken trainiert wird. Die Trainingsoperation 403 kann durch Verwenden jeglicher geeigneter DNN-Trainingsoperationen ausgeführt werden. Zum Beispiel kann eine DNN-Architektur definiert werden, und zufällig oder auf andere Weise zugewiesene Gewichte können auf die Faltungsschichten und die vollständig verbundene(n) Schicht(en) angewendet werden, um das DNN zu initialisieren. In einigen Ausführungsformen ist das DNN ein relativ einfaches neuronales Faltungsnetzwerk (Convolutional-Neural-Network - CNN), das eine vollständig verbundene Schicht beinhaltet oder durch eine solche gefolgt wird. In einigen Ausführungsformen hat das DNN eine ResNet-Struktur mit Voraktivierungs-ResNet-Blöcken, die ein Bild als eine Eingabe verwenden und einen Korrelationskoeffizienten ausgeben.
Ein Untersatz oder eine Gesamtheit des Trainingskorpus der holographischen Zielbilder kann dann dem DNN bereitgestellt werden, und ein resultierender Fehler kann durch Verwenden der optimalen Grundwahrheits-Feedback-Stärken durch das DNN zurückverbreitet werden, um ein aktualisiertes DNN zu bestimmen. Solche Trainingsoperationen können wiederholt werden, bis ein Konvergenzkriterium, wie zum Beispiel ein resultierender Fehler, der kleiner als ein Schwellenwert ist, erfüllt ist, oder bis eine Anzahl von Trainingsepochen ausgeführt wurde. In einigen Ausführungsformen gibt das trainierte DNN einen Festigkeitswert mit einer hohen Präzision, wie zum Beispiel auf 0,01 genau, zurück.
Die Operationen 401-403 stellen ein vortrainiertes DNN bereit, das in jeglichem hierin diskutierten Zusammenhang implementiert werden kann. In einigen Ausführungsformen kann das resultierende vortrainierte DNN komprimiert werden, um ein komprimiertes vortrainiertes DNN bereitzustellen. Eine solche Komprimierung kann eine vorteilhafterweise geringere Berechnungs- und Speicherkapazität für das DNN bei der Implementierung mit minimalem Präzisionsverlust bereitstellen. Zum Beispiel können komprimierte DNN, die beschnittene Gewichte und/oder eine reduzierte Präzision für das DNN-Modell verwenden, eine reduzierte Inferenzzeit während der Implementierung bereitstellen. Es wird darauf hingewiesen, dass die Erfinder einen optimalen Feedback-Koeffizienten in dem Bereich von [0 ... 1] gefunden haben, der Bereich mit einer Präzision von 0,01 stellt genügend Präzision oder Granularität bereit, um eine optimale Leistung zu erreichen. In einigen Ausführungsformen beinhaltet der Prozess 400 eine oder beide von optionalen DNN-Beschneidungsoperationen 411. In einigen Ausführungsformen können jedoch die DNN-Beschneidungsoperationen 411 umgangen werden.
Die Verarbeitung kann bei Operation 404 fortgesetzt werden, wobei ein oder mehrere Kernel des vortrainierten DNN mit null oder kleinen Parametern eliminiert werden können. Zum Beispiel kann jeder Faltungskernel des vortrainierten DNN beurteilt werden, und diejenigen Faltungskernel mit allen Filtergewichten von Null werden eliminiert oder verworfen, und diejenigen Faltungskernel mit kleinen Filtergewichten werden eliminiert oder verworfen. Eine solche Bestimmung kleiner Filtergewichte kann gemacht werden, indem jedes Gewicht mit einem Schwellenwert verglichen wird, indem eine Summe von Absolutwerten der Gewichte mit einem Schwellenwert verglichen wird, indem eine Summe von Quadraten der Gewichte mit einem Schwellenwert verglichen wird, oder indem die Erfüllung mehrerer solcher Schwellenwerte erforderlich ist. Zum Beispiel kann die Verwendung sowohl der Summe von Absolutwerten als auch der Summe von Quadraten eine robustere Kernelbeurteilung bereitstellen. In einigen Ausführungsformen können, anstatt dem Eliminieren oder Verwerfen der Faltungskernel, Faltungskernelgewichte, die unterhalb einem Schwellenwert liegen, auf Null gesetzt werden.
Die Verarbeitung kann bei Operation 405 fortgesetzt werden, wobei die Genauigkeit der Gewichte des vortrainierten DNN reduziert werden kann. Die Genauigkeit kann durch Verwenden jeglicher geeigneter Technik oder Techniken reduziert werden. In einigen Ausführungsformen werden die Gewichte des vortrainierten DNN mit einer ersten Genauigkeit oder Bittiefe (das heißt 32 Bit) vortrainiert, und die Genauigkeit oder Bittiefe wird auf eine zweite Genauigkeit oder Bittiefe (das heißt 16 Bit) reduziert, die niedriger als die erste ist. In einigen Ausführungsformen können die Gewichte des vortrainierten DNN quantisiert werden, um die Genauigkeit der Gewichte des DNN zu reduzieren.
Die Verarbeitung wird bei Operation 406 fortgesetzt, wobei das beschnittene DNN (zum Beispiel mit weniger Kerneln, Gewichten und/oder Gewichten mit reduzierter Genauigkeit) oder das bei der Operation 403 erzeugte vortrainierte DNN wie hierin diskutiert in Speicher zur Implementierung gespeichert wird.
Zurückkehrend zu 1 werden, wie gezeigt, die initialisierte Bildebenenausgabe 112 und die Feedback-Stärke 118 dem iterativen Verbreitungsmodellmodul 107 bereitgestellt, das ein iteratives Verbreitungs-Feedback-Modell basierend auf dem holographischen Zielbild 111 (wie es die initialisierte Bildebenenausgabe 112 definiert) und durch Verwenden der Feedback-Stärke 118 anwendet, um das endgültige Nur-Phasen-Beugungsmusterbild 114 zu erzeugen. Wie diskutiert, wird dann das endgültige Nur-Phasen-Beugungsmusterbild 114 in einer holographischen Ebene durch den SLM 104 dargestellt, und schließlich wird ein entsprechendes endgültiges holographisches Bild in einer Bildebene zum Betrachten durch einen Benutzer erzeugt.
Das iterative Verbreitungsmodellmodul 107 kann jegliches iterative Verbreitungsmodell implementieren, das ein Feedback beinhaltet. Vor allem implementiert der Gerchberg-Saxton-Algorithmus, wie er für computererzeugte Hologramme verwendet wird, kein Feedback. Der Fienup-Algorithmus führte einen Fehlermechanismus durch Verwenden eines Feedbacks mit einer konstanten Feedback-Stärke ein. Wie diskutiert, verbesserte der Fienup-Algorithmus die Konvergenz (zum Beispiel Bereitstellen desselben Fehlers mit weniger Iterationen oder des verbesserten Fehlers mit derselben Anzahl von Iterationen) für einige, aber nicht alle holographischen Zielbilder. Das iterative Verbreitungs-Feedback-Modell oder das iterative Verbreitungsmodell mit hierin diskutierten Feedback-Techniken kann mit jeglichem iterativen Verbreitungsmodell implementiert werden, das Feedback beinhaltet. Wie hierin verwendet, gibt der Begriff Feedback an, dass in dem iterativen Modell eine Amplitudenebene einer Phasen- und Amplitudenbildebenenschätzung durch ein Amplitudenbild ersetzt wird, das nicht nur das Amplitudenbild (oder die Ebene) des holographischen Zielbildes ist, sondern das stattdessen eine Summe des Amplitudenbildes (oder der Ebene) des holographischen Zielbildes und eines Fehlerterms ist. Wobei der Fehlerterm eine Summe von dem holographischen Zielbild und einem Produkt von dem Feedback-Stärkewert 118 und einem Korrekturterm einschließlich einer Differenz zwischen dem holographischen Zielbild und der aktuellen Phasen- und Amplitudenbildebene ist. Solche Techniken werden in Bezug auf die Gleichungen (4) unten weiter diskutiert. Vor allem wird in iterativen Modellen ohne Feedback das Amplitudenbild (oder die Ebene) der Phasen- und Amplitudenbildebenenschätzung (das heißt die Ausgabe von einem Vorwärtsverbreitungsmodell) durch das Amplitudenbild des holographischen Zielbildes ersetzt. In iterativen Modellen mit Feedback wird das Amplitudenbild (oder die Ebene) der Phasen- und Amplitudenbildebenenschätzung (das heißt die Ausgabe von einem Vorwärtsverbreitungsmodell) stattdessen durch das Amplitudenbild des holographischen Zielbildes, das durch einen Fehlerterm mit den gerade diskutierten Eigenschaften modifiziert wurde, ersetzt.
Wie gezeigt, empfängt das inverse Verbreitungsmodellmodul 102 eine initialisierte Bildebenenausgabe 112 oder Bildebenenausgabe 117 (g) von einer vorherigen Iteration. Die initialisierte Bildebenenausgabe 112 oder die Bildebenenausgabe 117 (g) kann jegliche Datenstruktur mit einer Amplitudenebene und einer Phasenebene wie hierin diskutiert beinhalten. Zum Beispiel kann die initialisierte Bildebenenausgabe 112 oder die Bildebenenausgabe 117 eine komplexe Zahl sein, die Amplitude und Phase über Größe und Winkel zwischen der realen Achse und dem Richtungsvektor der Zahl auf der komplexen Ebene entsprechend codiert. Vor allem stellt die Bildebenenausgabe 117 eine Bildebenenschätzung wie durch Amplitudenfehleradaption durch Verwenden eines Fehlerterms angepasst bereit, wie unten weiter diskutiert.
Bei einer ersten Iteration wendet das inverse Verbreitungsmodellmodul 102 ein inverses Verbreitungsmodell auf die initialisierte Bildebenenausgabe 112 an, und bei nachfolgenden Iterationen wendet das inverse Verbreitungsmodellmodul 102 ein inverses Verbreitungsmodell auf die Bildebenenausgabe 117 an, um holographische Bildebenenschätzung 113 (h') zu erzeugen. Die holographische Bildebenenschätzung 113 kann auch jegliche Datenstruktur mit einer Amplitudenebene und einer Phasenebene wie hierin diskutiert beinhalten. Es wird darauf hingewiesen, dass die holographische Bildebenenschätzung 113 Amplituden- und Phasenebenen haben kann, sodass keine der beiden normalisiert wird. Vor allem kann die holographische Bildebenenschätzung 113 durch den SLM 104 nicht auf eine sinnvolle Weise dargestellt werden, da der SLM 104 dazu in der Lage ist, die Phase zu modulieren, jedoch nicht die Amplitude.
Das inverse Verbreitungsmodell stellt eine Umwandlung von der Bildebene einer holographischen Abbildungsanordnung in die holographische Ebene bereit. Dadurch schätzt das inverse Verbreitungsmodell das holographische Bild (das heißt das holographische Bild in der holographischen Ebene des SLM 104), das benötigt würde, um die initialisierte Bildebenenausgabe 112 oder die Bildebenenausgabe 117 zu erzeugen. Das inverse Verbreitungsmodell kann jegliches geeignete inverse Verbreitungsmodell sein, sodass das durch das inverse Verbreitungsmodellmodul 102 implementierte inverse Verbreitungsmodell eine Inverse des durch das Vorwärtsverbreitungsmodellmodul 108 implementierten Vorwärtsverbreitungsmodells ist. Zum Beispiel muss das Vorwärtsverbreitungsmodell invertierbar sein. In den folgenden Gleichungen ist das Fraunhofer-Verbreitungsmodell (zum Beispiel FFT für Vorwärtsverbreitung und IFFT für inverse Verbreitung) veranschaulicht. Es kann jedoch jegliches Verbreitungsmodell implementiert werden.
In einigen Ausführungsformen wendet das inverse Verbreitungsmodellmodul 102 ein inverses Verbreitungsmodell wie in Gleichung (1) gezeigt an: $h'_{n} = F T^{- 1} (g_{n - 1})$
wobei g_n-1 die initialisierte Bildebenenausgabe 112 oder die Bildebenenausgabe 117 ist, FT^-1 das inverse Verbreitungsmodell ist, und h'_n die holographische Bildebenenschätzung 113 ist.
Die holographische Bildebenenschätzung 113 wird durch das SLM-Einschränkungsmodul 103 empfangen, das Einschränkungen auf die holographische Bildebenenschätzung 113 anwendet, um Nur-Phasen-Beugungsmusterbild 115 (h) bei Zwischeniterationen und das endgültige Nur-Phasen-Beugungsmuster 114 bei einer endgültigen Iteration zu erzeugen. Das Nur-Phasen-Beugungsmusterbild 115 und das endgültige Nur-Phasen-Beugungsmuster 114 können durch Verwenden jeglicher geeigneter Technik oder Techniken erzeugt werden. Zum Beispiel kann die Amplitudenebene oder Information der holographischen Bildebenenschätzung 113 verworfen werden, und die Phasenebene oder Information der holographischen Bildebenenschätzung 113 kann normalisiert werden (auf einen Bereich und eine Präzision, die durch den SLM 104 implementiert werden können). Vor allem können das Nur-Phasen-Beugungsmusterbild 115 und das endgültige Nur-Phasen-Beugungsmuster 114 durch den SLM 104 angezeigt werden, um eine Annäherung des holographischen Zielbildes 111 zu erzeugen, sodass das Nur-Phasen-Beugungsmusterbild 115 und das endgültige Nur-Phasen-Beugungsmuster 114 nur eine Phasenmodulation (und keine Amplitudenmodulation) haben. In einigen Ausführungsformen hat das endgültige Nur-Phasen-Beugungsmuster 114 nur Phaseninformationen (das heißt eine Phasenebene), während das Nur-Phasen-Beugungsmuster 115 sowohl Phasen- als auch Amplitudeninformationen zur Verwendung bei der iterativen Verarbeitung beinhalten kann.
In einigen Ausführungsformen, in denen die holographische Bildebene 113 ein 2D-Array komplexer Zahlen ist, wendet das SLM-Einschränkungsmodul 103 SLM-Einschränkungen wie in Gleichung (2) gezeigt an: $h_{n} = \frac{h'_{n}}{| h'_{n} |}$
wobei h'_n die holographische Bildebenenschätzung 113 ist, und h_n das Nur-Phasen-Beugungsmusterbild 115 ist. Wie gezeigt, können komplexen die Pro-Pixel-Werte der holographischen Bildebenenschätzung 113 normalisiert werden, um das Nur-Phasen-Beugungsmusterbild 115 zu erzeugen.
Das Nur-Phasen-Beugungsmusterbild 115 wird durch das Vorwärtsverbreitungsmodellmodul 108 empfangen. Das Vorwärtsverbreitungsmodellmodul 108 wendet ein Vorwärtsverbreitungsmodell auf das Nur-Phasen-Beugungsmusterbild 115 an, um Bildebenenschätzung 116 (g') zu erzeugen. Die Bildebenenschätzung 116 beinhaltet jegliche Datenstruktur mit einer wie hierin diskutierten codierten Amplitudenebene und einer Phasenebene. Vor allem beinhaltet die Bildebenenschätzung 116 Amplituden- und Phasenebenen, sodass keine von beiden normalisiert wird, und die Bildebenenschätzung 116 gibt ein erwartetes Bild an, das in einer Bildebene basierend auf dem Nur-Phasen-Beugungsmusterbild 115 und der implementierten holographischen Abbildungsanordnung erzeugt werden soll.
In einigen Ausführungsformen wendet das Vorwärtsverbreitungsmodellmodul 108 ein Vorwärtsverbreitungsmodell wie in Gleichung (3) gezeigt an: $g'_{n} = F T (h_{n})$
wobei h_n das Nur-Phasen-Beugungsmusterbild 115 ist, FT das Vorwärtsverbreitungsmodell ist, und g'_n die Bildebenenschätzung 116 ist.
Die Bildebenenschätzung 116 wird durch das Amplitudenfehleranpassungsmodul 105 empfangen, das eine Amplitudenfehleranpassungseinschränkung auf die Bildebenenschätzung 116 anwendet, um die Bildebenenausgabe 117 zu erzeugen. Zum Beispiel kann die Bildebenenausgabe 117 als eine amplitudenangepasste Bildebenenausgabe, ein amplitudenangepasstes Bildebenenbild, usw., charakterisiert werden. Die Bildebenenausgabe 117 wird durch Ersetzen einer Amplitudenebene der Bildebenenschätzung 116 (das heißt der aktuellen Phasen- und Amplitudenbildebenenschätzung) mit einem nächsten Zielamplitudenbild bestimmt. Das nächste Zielamplitudenbild ist eine Summe von dem holographischen Zielbild 111 und einem Produkt der Feedback-Stärke 118 und einem Korrekturterm, der eine Differenz zwischen dem holographischen Zielbild 111 und der Amplitude der Bildebenenschätzung 116 (das heißt der aktuellen Phase und Amplitudenbildebene) ist.
In einigen Ausführungsformen ersetzt das Amplitudenfehleranpassungsmodul 105 die Amplitudenebene der Bildebenenschätzung 116 wie in den Gleichungen (4) gezeigt: $g_{n} = G_{n} \frac{g'_{n}}{| g'_{n} |}$
$G_{n} = G_{0} + (G_{0} - | g'_{n} |) k$
wobei g'_n die Bildebenenschätzung 116 ist, G_n das nächste Zielamplitudenbild ist, g_n die Bildebenenausgabe 117 ist, k die Feedback-Stärke 118 ist, und G₀ das holographische Zielbild 111 ist. Wie gezeigt, wird eine Amplitudenebene der aktuellen Phasen- und Amplitudenbildebenenschätzung (Bildebenenschätzung 116) durch ein nächstes Zielamplitudenbild ersetzt, das eine Summe von dem holographischen Zielbild 111 und einem Produkt der Feedback-Stärke 118 und einem Korrekturterm ist, der eine Differenz zwischen dem holographischen Zielbild 111 und der aktuellen Amplitudenbildebene (Bildebenenschätzung 116) ist, um ein aktuelles amplitudenangepasstes Bild oder eine aktuelle amplitudenangepasste Bildebenenausgabe 117 zu erzeugen. Hierin wird G₀ - |g'_n| als ein Korrekturterm (oder Fehlerterm) charakterisiert, und (G₀ - |g'_n)k wird als eine Anpassung (oder Einstellung) an das holographische Zielbild 111 charakterisiert, um eine nächste Zielamplitudenebene oder ein nächstes Zielamplitudenbild zu erzeugen.
In einer nächsten Iteration wird dann die amplitudenangepasste Bildebenenausgabe 117 dem inversen Verbreitungsmodellmodul 102, dem SLM-Einschränkungsmodul 103, dem Vorwärtsverbreitungsmodellmodul 108 und dem Amplitudenfehleranpassungsmodul 105, usw., bereitgestellt, um besser verfeinerte holographische Bildebenenschätzungen 113, Nur-Phasen-Beugungsmusterbilder 115, Bildebenenschätzungen 116 und aktuelle amplitudenangepasste Bildebenenausgaben 117 zu erzeugen. Eine solche iterative Verarbeitung kann abgeschlossen werden, nachdem eine voreingestellte Anzahl von Iterationen oder ein bestimmter Fehler in Bezug auf das holographische Zielbild 111 erlangt wurde. Es wird darauf hingewiesen, dass eine voreingestellte Anzahl von Iterationen oft bevorzugt wird, um Konsistenz mit einem gegebenen Rechenbudget bereitzustellen.
Das resultierende endgültige Nur-Phasen-Beugungsmuster 114, das der endgültigen Iteration entspricht, wird dann dem SLM 104 (entweder an einem lokalen Gerät oder aus der Feme) zur Präsentation wie hierin diskutiert bereitgestellt, um ein entsprechendes holographisches Bild zu erzeugen.
Die diskutierten Techniken stellen eine automatisch ausgewählte und adaptive Feedback-Stärke 118 bereit, basierend auf der Anwendung eines DNN auf das holographische Zielbild 111 für eine verbesserte iterative Hologrammberechnung. Im Vergleich zu Techniken, bei denen kein Feedback angewendet wird, wird eine Verbesserung von 50% weniger Iterationen beobachtet, um den gleichen Fehler zu erlangen. Darüber hinaus stellen im Vergleich zu Techniken mit konstanter Feedback-Stärke (zum Beispiel einer Konstanten k=0,5) die diskutierten Auswahltechniken eine optimale Feedback-Stärke basierend auf den Eigenschaften (zum Beispiel der Bildklasse) des holographischen Zielbildes 111 bereit. Vor allem können in einigen Zusammenhängen Techniken mit konstanter Feedback-Stärke eine verringerte Konvergenzleistung für einige Bildklassen bereitstellen.
Die Diskussion wendet sich nun einer automatischen und adaptiven Erzeugung der Feedback-Stärke in dem Zusammenhang von holographischer Mehrfarbenkanalabbildung zu. Vor allem können die diskutierten iterativen Verarbeitungs- und DNN-Vortrainingstechniken an eine solche holographische Mehrfarbenkanalbildverarbeitung angepasst werden. Zum Beispiel kann das holographische Zielbild 111 mehrere Farbebenen beinhalten, und das Anwenden eines oder mehrerer DNN kann einen Feedback-Stärkewert für jede Farbebene erzeugen, sodass ein iteratives Verbreitungs-Feedback-Modell basierend auf jeder zweiten Farbebene und einem entsprechenden Feedback-Stärkewert angewendet wird.
5 veranschaulicht eine beispielhafte Implementierung von einzelnem DNN 502 zum Erzeugen mehrerer Feedback-Stärkewerte 511, 512, 513 basierend auf Mehrfarbenkanaleingangsvolumen 501, das einem holographischen Zielbild entspricht, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 5 gezeigt, kann in einigen Ausführungsformen das holographische Zielbild 111 mehrere Farbkanäle beinhalten, wie durch das Mehrfarbenkanaleingangsvolumen 501 dargestellt, und einschließlich einer roten Farbebene (Red-Color-Plane - RCP), einer grünen Farbebene (Green-Color-Plane - GCP) und einer blauen Farbebene (Blue-Color-Plane - BCP). Darüber hinaus wird einzelnes DNN 502 vortrainiert, um ein Array oder einen Vektor mit drei Werten zu erzeugen, einschließlich einer Feedback-Stärke für die rote Farbebene 511 (kR), einer Feedback-Stärke für die grüne Farbebene 512 (kG) und einer Feedback-Stärke für die blaue Farbebene 513 (kB), die jegliche Eigenschaften wie in Bezug auf die Feedback-Stärke 118 diskutiert haben können.
Zum Beispiel wird das einzelne DNN 502 durch Verwenden der in Bezug auf den Prozess 400 diskutierten Techniken vortrainiert, dahingehend modifiziert, dass der Trainingskorpus ein holographisches Zielbild mit mehreren Farbbildebenen beinhaltet, und dass für jede Farbebene eine optimale Feedback-Stärke erzeugt wird. Darüber hinaus kann die Architektur des DNN definiert werden, um eine Ausgabe von der(den) vollständig verbundenen Schicht(en) bereitzustellen, die drei Feedback-Stärkewerte beinhaltet. Das einzelne DNN 502 kann optional komprimiert werden, wie durch das DNN-Modul 106 diskutiert und implementiert.
6 veranschaulicht eine beispielhafte Implementierung mehrerer DNN 602, 603, 604, um mehrere Feedback-Stärkewerte 511, 512, 513 basierend auf mehrfarbigem holographischen Zielbild 601 zu erzeugen, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 6 gezeigt, kann in einigen Ausführungsformen das holographische Zielbild 111 erneut mehrere Farbkanäle mit einer roten Farbebene (RCP), einer grünen Farbebene (GCP) und einer blauen Farbebene (BCP) beinhalten, wie in Bezug auf das mehrfarbige holographische Zielbild 601 gezeigt. In dem Zusammenhang mit 6 können jedoch die mehreren Farbkanäle getrennt und den jeweiligen DNN 602, 603, 604 bereitgestellt werden. Die jeweiligen DNN 602, 603, 604 erzeugen für jede der Farbebenen eine entsprechende Feedback-Stärke für die rote Farbebene 511 (kR), eine Feedback-Stärke für die grüne Farbebene 512 (kG) und eine Feedback-Stärke für die blaue Farbebene 513 (kB).
Zum Beispiel wird jedes der DNN 602, 603, 604 durch Verwenden der in Bezug auf den Prozess 400 diskutierten Techniken vortrainiert, dahingehend modifiziert, dass jedes einen Trainingskorpus einschließlich eines holographischen Zielbildes für die jeweilige Farbebene beinhaltet, und dass für jede Farbebene eine optimale Feedback-Stärke erzeugt wird. Jedes der DNN 602, 603, 604 wird dann separat trainiert, um eine optimale Feedback-Stärke für die entsprechende Farbebene zu erzeugen (das heißt DNN 602 erzeugt eine Feedback-Stärke für die rote Farbebene 511, DNN 603 erzeugt eine Feedback-Stärke für die grüne Farbebene 512, und DNN 604 erzeugt eine Feedback-Stärke für die blaue Farbebene 513). Darüber hinaus können eines oder mehrere der DNN 602, 603, 604 optional komprimiert werden, wie hierin diskutiert und durch das DNN-Modul 106 implementiert.
In jedem Fall werden eine Feedback-Stärke für die rote Farbebene 511 (kR), eine Feedback-Stärke für die grüne Farbebene 512 (kG) und eine Feedback-Stärke für die blaue Farbebene 513 (kB) erzeugt, jeweils eine für die RCP, die GCP und die BCP des holographische Zielbildes mit mehreren Farbkanälen 111. Obwohl in Bezug auf eine RCP, eine GCP und eine BCP (zum Beispiel einen RGB-Bildraum) diskutiert, kann jeglicher geeignete Farbraum implementiert werden.
7 veranschaulicht eine beispielhafte iterative Verarbeitung für holographische Zielbilder mit mehreren Farbkanälen durch Verwenden von Feedback-Stärken pro Farbkanal, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 7 gezeigt, wird für jeden Farbkanal des holographischen Zielbildes, das durch das Mehrfarbenkanaleingangsvolumen 501 oder das mehrfarbige holographische Zielbild 601 dargestellt wird, jede Farbebene mit der entsprechenden Feedback-Stärke gepaart, sodass die RCP mit der Feedback-Stärke für die rote Farbebene 511 gepaart wird, die GCP mit der Feedback-Stärke für die grüne Farbebene 512 gepaart wird, und die BCP mit der Feedback-Stärke für die blaue Farbebene 513 gepaart wird.
Jedes Paar wird dann einem jeweiligen iterativen Verbreitungsmodellmodul 107 bereitgestellt, das ein iteratives Verbreitungs-Feedback-Modell oder ein iteratives Verbreitungsmodell mit Feedback wie hierin diskutiert anwendet, um entsprechende endgültige Nur-Phasen-Beugungsmusterbilder 711, 712, 713 zu erzeugen, sodass das Nur-Phasen-Beugungsmusterbild 711 für den roten Kanal (hR) ist, das Nur-Phasen-Beugungsmusterbild 712 für den grünen Kanal (hG) ist, und das Nur-Phasen-Beugungsmusterbild 713 für den blauen Kanal (hB) ist. Solche Nur-Phasen-Beugungsmusterbilder 711, 712, 713 können dann in einer holographischen Ebene des SLM 104 auf eine zeitmultiplexierte Weise dargestellt werden, um ein Farbhologramm in einer Bildebene zum Betrachten durch einen Benutzer zu erzeugen, das in unterschiedlichen SLM dargestellt wird, um das Farbhologramm oder dergleichen zu erzeugen.
Die Diskussion wendet sich nun einer automatischen und adaptiven Erzeugung der Feedback-Stärke basierend sowohl auf dem holographischen Zielbild 111 als auch auf der Anzahl von Iterationen, die bei der Erzeugung des endgültigen Nur-Phasen-Beugungsmusters 114 durch Verwenden der Feedback-Stärke implementiert werden, zu. Vor allem kann abhängig von der Anzahl der zu implementierenden Iterationen die optimale Feedback-Stärke variieren, sodass unterschiedliche Feedback-Stärken für weniger Iterationen in Bezug auf mehr Iterationen oder eine mittlere Anzahl von Iterationen verwendet werden. Zum Beispiel kann eine optimale Feedback-Stärke von der Zielanzahl von Iterationen abhängen. Solche Anzahlen von Iterationen können von dem verfügbaren Rechenbudget abhängen, aber eine beispielhafte Anzahl von Iterationsbereichen beinhaltet 5 bis 10 Iterationen für niedrige Iterationsimplementierungen, 11 bis 20 Iterationen für mittleren Iterationsimplementierungen, und 21 bis 50 Iterationsimplementierungen. Es kann jedoch jegliche Anzahl von Bereichen und Anzahlen von Iterationen in solchen Bereichen verwendet werden. In einer Ausführungsform werden drei Bereiche der folgenden Anzahl von Iterationen verwendet: 5 bis 15, 16 bis 30 und 31 bis 60. Zum Beispiel kann ein DNN auf eine Eingabe angewendet werden, die ein holographisches Zielbild 111 und eine Anzahl von Iterationen beinhaltet, sodass die Anwendung des DNN auf das holographische Zielbild 111 und eine erste Anzahl von Iterationen eine Feedback-Stärke erzeugt, und die Anwendung des DNN auf das holographische Zielbild 111 und eine zweite Anzahl von Iterationen eine unterschiedliche Feedback-Stärke erzeugt.
8 veranschaulicht eine beispielhafte Implementierung von DNN 801 zum Erzeugen einer Feedback-Stärke, die sowohl von dem holographischen Zielbild 111 als auch von einer Anzahl von zu implementierenden Iterationen 802 abhängt, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 8 gezeigt, wird in einigen Ausführungsformen das holographische Zielbild 111 in das DNN 801 eingegeben, was eine Zwischenmerkmalsdarstellung des holographischen Zielbildes 111 erzeugt. Die Anzahl von Iterationen 802 kann mit dieser Merkmalsdarstellung vor der letzten vollständig verbundenen Schicht des DNN 801 kombiniert werden, um gemeinsam Feedback-Stärke 821 vorherzusagen. Das holographische Zielbild 111 und die Anzahl von Iterationen 802 können jedoch auf jegliche Weise kombiniert werden, um Eingabevolumen 810 zu erzeugen.
Darüber hinaus kann die Anzahl von Iterationen 802 jegliche geeignete Datenstruktur sein, die eine Anzahl von Iterationen angibt, die in der iterativen Verarbeitung mit Feedback ausgeführt werden sollen. In einigen Ausführungsformen ist die Anzahl von Iterationen 802 eine Anzahl, die gleich der Anzahl von Iterationen ist. In anderen Ausführungsformen kann die tatsächliche Anzahl von Iterationen auf einen niedrigen, mittleren, hohen Wert oder dergleichen abgebildet werden, sodass ein Bereich von Anzahlen von Iterationen auf einen für den Bereich repräsentativen Wert reduziert werden kann. Zum Beispiel kann für jegliche Anzahl von Iterationen in dem Bereich von 5 bis 15 ein Wert von 1 bereitgestellt werden, für jegliche Anzahl von Iterationen in dem Bereich von 16 bis 30 kann ein Wert von 2 bereitgestellt werden, für jegliche Anzahl von Iterationen in dem Bereich von 31 bis 50 kann ein Wert von 3 bereitgestellt werden, und so weiter. Zum Beispiel kann die Anzahl von Iterationen 802 zur Vereinfachung der Implementierung für einen Bereich von Iterationswerten repräsentativ sein.
Wie gezeigt, empfängt das DNN 801 das Eingabevolumen 810 und erzeugt eine Feedback-Stärke 821, die der Anzahl von Iterationen 802 (das heißt der Feedback-Stärke 821 für x Iterationen (kx) 821) entspricht. Das DNN 801 kann jegliche in Bezug auf 3 und anderswo hierin diskutierte Eigenschaften haben. Zum Beispiel wird das DNN 801 durch Verwenden der in Bezug auf den Prozess 400 diskutierten Techniken vortrainiert, dahingehend modifiziert, dass für jegliche Anzahl von holographischen Bildern des Trainingskorpus eine optimale Feedback-Stärke für jede von einer Anzahl von Iterationen erzeugt wird. Zum Beispiel ist die optimale Feedback-Stärke die Feedback-Stärke, die den niedrigsten Fehler nach der entsprechenden Anzahl von Iterationen bereitstellt. Vor allem wird für jedes holographische Bild des Trainingskorpus eine Anzahl von Trainingssätzen einschließlich des holographischen Bildes, eine bestimmte von jeglicher Anzahl (zum Beispiel N) von Iterationen und eine entsprechende Feedback-Stärke erzeugt, sodass für jedes holographische Bild N Trainingssätze erzeugt werden können. Wie diskutiert, kann die Architektur des DNN 801 definiert werden, um eine Ausgabe von der(den) vollständig verbundenen Schicht(en) bereitzustellen, die einen einzelnen Feedback-Stärkewert beinhaltet, der dem Eingabevolumen 810 entspricht, das wiederum das holographische Zielbild 111 und die Anzahl von Iterationen 802 beinhaltet. Das DNN 801 kann optional komprimiert werden.
Das DNN 801 wird dann in das DNN-Modul 106 implementiert, das als Eingabe das holographische Zielbild 111 und die Anzahl von Iterationen 802 nimmt. Die Anzahl von Iterationen 802 kann von einem Benutzer, einer Anwendungsebene bereitgestellt werden, oder sie kann basierend auf der Berechnungsverfügbarkeit über eine Nachschlagetabelle oder dergleichen bestimmt werden. Das DNN 801 stellt dann die Feedback-Stärke 821 bereit, die durch das iterative Verbreitungsmodellmodul 107 implementiert werden kann, wie in Bezug auf die Feedback-Stärke 118 diskutiert.
Die Diskussion wendet sich nun einer automatischen und adaptiven Erzeugung der Feedback-Stärke durch Verwenden des holographischen Zielbildes 111 zu, um mehrere Feedback-Stärken zur Verwendung bei unterschiedlichen Iterationssätzen oder Intervallen der Implementierung des iterativen Verbreitungs-Feedback-Modells oder des iterativen Verbreitungsmodells mit Feedback zu erzeugen. Vor allem kann eine schnellere Konvergenz erfüllt werden, wenn unterschiedliche Feedback-Stärken bei unterschiedlichen Iterationen des iterativen Verbreitungsmodells verwendet werden. Zum Beispiel kann zeitlich eine erste Feedback-Stärke für einen ersten Satz von Iterationen verwendet werden, eine zweite Feedback-Stärke kann für einen zweiten Satz von Iterationen verwendet werden, eine dritte Feedback-Stärke kann für einen dritten Satz von Iterationen verwendet werden, und so weiter. Obwohl in Bezug auf unterschiedliche Feedback-Stärken für unterschiedliche Sätze von Iterationen (das heißt ein Satz von Iterationen ist eine aufeinanderfolgende Anzahl von Iterationen) diskutiert, können unterschiedliche Feedback-Stärken für jede Iteration verwendet werden. Vor allem kann eine verbesserte Konvergenz durch Verwenden solcher sich unterscheidender Feedback-Stärken bereitgestellt werden, wobei die Feedback-Stärken auf dem holographischen Zielbild 111 basieren. Zum Beispiel kann die Anwendung eines DNN basierend auf dem holographischen Zielbild 111 erste und zweite Feedback-Stärkewerte erzeugen, die für unterschiedliche Sätze oder Sequenzen von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden sollen.
9 veranschaulicht eine beispielhafte Implementierung von DNN 901 zum Erzeugen mehrerer Feedback-Stärken für Verwendungen bei unterschiedlichen Iterationen eines iterativen Verbreitungsmodells, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 9 gezeigt, wird in einigen Ausführungsformen das holographische Zielbild 111 durch das DNN 901 empfangen, das mehrere Feedback-Stärken erzeugt: eine Feedback-Stärke für ersten Iterationssatz 921 (k1), eine Feedback-Stärke für zweiten Iterationssatz 922 (k2), eine Feedback-Stärke für dritten Iterationssatz 923 (k3), und so weiter. Wie diskutiert, kann in der Implementierung die Feedback-Stärke für einen ersten Iterationssatz 921 für einen ersten Satz von Iterationen (zum Beispiel Iterationen 1 bis 5) oder nur für eine erste Iteration verwendet werden, die Feedback-Stärke für einen zweiten Iterationssatz 922 kann für einen zweiten Satz von Iterationen (zum Beispiel Iterationen 6 bis 10) oder nur eine zweite Iteration verwendet werden, die Feedback-Stärke für einen dritten Iterationssatz 923 kann für einen dritten Satz von Iterationen (zum Beispiel Iterationen 11 bis 20) oder nur für eine dritte Iteration verwendet werden, und so weiter.
Jede Feedback-Stärke kann für jegliche Anzahl von Iterationen verwendet werden, und solche Anzahlen von Iterationen können dieselben sein (zum Beispiel. 1, 5 oder 10), oder sie können unterschiedlich sein. Zum Beispiel wird das DNN 901 durch Verwenden der in Bezug auf den Prozess 400 diskutierten Techniken vortrainiert, dahingehend modifiziert, dass für jedes holographische Bild des Trainingskorpus mehrere optimale Feedback-Stärken erzeugt werden, jeweils eine für Sätze von Iterationen, die nacheinander durch das iterative Verbreitungsmodellmodul 107 implementiert werden sollen. Zum Beispiel kann eine Architektur zur Implementierung durch das iterative Verbreitungsmodellmodul 107 definiert werden, sodass das iterative Verbreitungs-Feedback-Modell oder das iterative Verbreitungsmodell mit Feedback eine erste Feedback-Stärke für einen ersten Satz von Iterationen oder eine erste Iteration, eine zweite Feedback-Stärke für einen zweiten Satz von Iterationen oder eine zweite Iteration, und so weiter, implementieren soll. Basierend auf der Architektur und dem holographischen Zielbild wird dann eine optimale Feedback-Stärke für jeden der Sätze von Iterationen bestimmt. Das DNN 901 mit einer Architektur zur Ausgabe einer entsprechenden Anzahl von Feedback-Stärken wird dann wie hierin diskutiert trainiert. Wie diskutiert, erzeugt das DNN 901 in der Implementierung dann mehrere Feedback-Stärken 921, 922, 923 zur Implementierung wie unten in Bezug auf 10 diskutiert. Zum Beispiel kann eine Sequenz von 20 Gesamtiterationen in vier Sequenzen von jeweils 5 Iterationen aufgeteilt werden, wobei für jede Sequenz eine unterschiedliche Feedback-Stärke implementiert wird (das heißt kl wird für die Iterationen 1 bis 5 verwendet, k2 wird für die Iterationen 6 bis 10 verwendet, k3 wird für die Iterationen 11 bis 15 verwendet, und k4 wird für die Iterationen 16 bis 20 verwendet). Jegliche Anzahl von Gesamtiterationen kann in jegliche Anzahl von Sequenzen mit denselben oder unterschiedlichen Anzahlen von Iterationen aufgeteilt werden. Das DNN 901 wird dann in das DNN-Modul 106 implementiert, das als Eingabe das holographische Zielbild 111 nimmt, und die Feedback-Stärken 921, 922, 923 ausgibt.
10 veranschaulicht eine beispielhafte iterative Verarbeitung durch Verwenden mehrerer Feedback-Stärken 921, 922, 923 jeweils für einen Satz oder eine Sequenz von Iterationen, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 10 gezeigt, empfängt das iterative Verbreitungsmodellmodul 107 die initialisierte Bildebenenausgabe 112 (oder die Bildebenenausgabe 117 bei nachfolgenden Iterationen) und die Feedback-Stärken 921, 922, 923. Für einen ersten Satz oder eine erste Sequenz von Iterationen implementiert das iterative Verbreitungsmodellmodul 107 die Feedback-Stärke 921, für einen zweiten Satz oder eine zweite Sequenz von Iterationen implementiert das iterative Verbreitungsmodellmodul 107 die Feedback-Stärke 922, für einen dritten Satz oder eine dritte Sequenz von Iterationen implementiert das iterative Verbreitungsmodellmodul 107 die Feedback-Stärke 923, und so weiter, um das endgültige Nur-Phasen-Beugungsmuster 114 zu erzeugen. Zum Beispiel kann eine bestimmte Anzahl von Iterationen eingestellt und in jegliche Anzahl von Sätzen oder Sequenzen geteilt werden. Während der Implementierung jedes Satzes oder jeder Sequenz von Iterationen werden die Feedback-Stärken 921, 922, 923, und so weiter, wiederum implementiert, um ein Feedback wie hierin diskutiert bereitzustellen.
Wie gezeigt, wird nach jedem Satz oder jeder Sequenz von Iterationen die Verarbeitung in einem nächsten Satz oder einer nächsten Sequenz von Iterationen durch die Erzeugung des endgültigen Nur-Phasen-Beugungsmusters 114 fortgesetzt. In einigen Ausführungsformen implementiert jeder Satz oder jede Sequenz von Iterationen dasselbe iterative Verbreitungsmodell. In anderen Ausführungsformen können eines oder mehrere der iterativen Verbreitungsmodelle unterschiedlich sein, zum Beispiel durch Verwenden unterschiedlicher Verbreitungsmodelle in unterschiedlichen Stufen.
11 ist ein Flussdiagramm, das beispielhaften Prozess 1100 zum Erzeugen von holographischen Bildern veranschaulicht, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Der Prozess 1100 kann eine oder mehrere Operationen 1101-1104 beinhalten, wie in 11 veranschaulicht. Der Prozess 1100 kann mindestens einen Teil eines holographischen Abbildungsprozesses bilden. Als nicht einschränkendes Beispiel kann der Prozess 1100 mindestens einen Teil eines holographischen Abbildungsprozesses bilden, der durch das System 100 wie hierin diskutiert ausgeführt wird. Darüber hinaus wird der Prozess 1100 hierin unter Bezugnahme auf System 1200 von 12 beschrieben.
12 ist ein veranschaulichendes Diagramm, des beispielhaftem Systems 1200 zum Erzeugen von holographischen Bildern, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. Wie in 12 gezeigt, beinhaltet das System 1200 eine oder mehrere Zentralverarbeitungseinheiten 1201 (das heißt Zentralprozessor(en)), Grafikverarbeitungseinheit 1202 (das heißt Grafikprozessor), Speicher 1203 und den SLM 104 oder ein anderes holographisches Abbildungsgerät. Auch kann, wie gezeigt, die Grafikverarbeitungseinheit 1202 das Initialisierungsmodul 101, das tiefe neuronale Netzwerkmodul 106 und das iterative Verbreitungsmodellmodul 107 beinhalten oder implementieren. Solche Module können implementiert werden, um Operationen wie hierin diskutiert auszuführen. In dem Beispiel des Systems 1200 können die Speicher 1203 holographische Zielbilder oder Bilddaten, Mehrkanalbilddaten, Feedback-Stärken, Beugungsmusterbilddaten, Bildebenenausgabedaten, amplitudenangepasste Bilder oder Bilddaten, Bildebenenschätzungsdaten, Schätzungsdaten für holographische Ebenen, DNN-Parameter, Verbreitungsmodellparameter oder jegliche anderen hierin diskutierten Daten oder Datenstrukturen speichern.
Wie gezeigt, werden in einigen Beispielen das Initialisierungsmodul 101, das tiefe neuronale Netzwerkmodul 106 und das iterative Verbreitungsmodellmodul 107 über die Grafikverarbeitungseinheit 1202 implementiert. In anderen Beispielen werden ein oder mehrere oder Abschnitte des Initialisierungsmoduls 101, des tiefen neuronalen Netzwerkmoduls 106 und des iterativen Verbreitungsmodellmoduls 107 über die Zentralverarbeitungseinheiten 1201 oder eine Bildverarbeitungseinheit (nicht gezeigt) des Systems 1200 implementiert. In noch anderen Beispielen werden ein oder mehrere oder Abschnitte des Initialisierungsmoduls 101, des tiefen neuronalen Netzwerkmoduls 106 und des iterativen Verbreitungsmodellmoduls 107 über eine Bildverarbeitungspipeline, eine Grafikpipeline oder dergleichen implementiert.
Die Grafikverarbeitungseinheit 1202 kann jegliche Anzahl und jeglichen Typ von Grafikverarbeitungseinheiten beinhalten, die die Operationen wie hierin diskutiert bereitstellen können. Solche Operationen können über Software, Hardware, oder eine Kombination davon implementiert werden. Zum Beispiel kann die Grafikverarbeitungseinheit 1202 eine Schaltung beinhalten, die der Manipulation von holographischen Bilddaten, DNN-Daten usw., die von den Speichern 1203 erhalten werden, gewidmet ist. Die Zentralverarbeitungseinheiten 1201 können jegliche Anzahl und jeglichen Typ von Verarbeitungseinheiten oder Modulen beinhalten, die Steuerungs- und andere Funktionen auf hoher Ebene für das System 1200 bereitstellen, und/oder jegliche Operationen wie hierin diskutiert bereitstellen. Die Speicher 1203 können jeglicher Typ von Speicher sein, wie zum Beispiel flüchtiger Speicher (zum Beispiel Static-Random-Access-Memory (SRAM), Dynamic-Random-Access-Memory (DRAM), usw.) oder nichtflüchtiger Speicher (zum Beispiel Flash-Speicher, usw.), und so weiter. In einem nicht einschränkenden Beispiel können die Speicher 1203 durch Cache-Speicher implementiert werden. In einer Ausführungsform werden ein oder mehrere oder Abschnitte des Initialisierungsmoduls 101, des tiefen neuronalen Netzwerkmoduls 106 und des iterativen Verbreitungsmodellmoduls 107 über eine Ausführungseinheit (Execution-Unit - EU) der Grafikverarbeitungseinheit 1202 implementiert. Die EU kann zum Beispiel programmierbare Logik oder Schaltungen, wie zum Beispiel einen Logikkern oder Kerne, beinhalten, die eine breite Palette programmierbarer Logikfunktionen bereitstellen können. In einer Ausführungsform werden ein oder mehrere oder Abschnitte des Initialisierungsmoduls 101, des tiefen neuronalen Netzwerkmoduls 106 und des iterativen Verbreitungsmodellmoduls 107 über fest zugeordnete Hardware, wie zum Beispiel eine Schaltung mit fester Funktion, oder dergleichen implementiert. Eine Schaltung mit fester Funktion kann eine fest zugeordnete Logik oder Schaltung beinhalten, und kann einen Satz von Eintrittspunkten mit fester Funktion bereitstellen, die auf die fest zugeordnete Logik für einen festen Zweck oder eine feste Funktion abbilden können. In einigen Ausführungsformen werden ein oder mehrere oder Abschnitte des Initialisierungsmoduls 101, des tiefen neuronalen Netzwerkmoduls 106 und des iterativen Verbreitungsmodellmoduls 107 über einen Application-Specific-Integrated-Circuit (ASIC) implementiert. Der ASIC kann eine integrierte Schaltung beinhalten, die zugeschnitten ist, um die hierin diskutierten Operationen auszuführen.
Zurückkehrend zur Diskussion von 11, beginnt der Prozess 1100 bei der Operation 1101, wobei ein holographisches Zielbild empfangen wird, das einem Benutzer auf einer Bildebene präsentiert werden soll. Das holographische Zielbild kann jegliche Datenstruktur beinhalten, die für ein holographisches Zielbild repräsentativ ist. In einigen Ausführungsformen kann das holographische Zielbild als holographische Zielbilddaten charakterisiert werden. Zum Beispiel stellt das holographische Zielbild ein holographisches Bild dar, das einem Benutzer in einer Bildebene innerhalb einer holographischen Abbildungsanordnung präsentiert werden soll.
Die Verarbeitung wird bei Operation 1102 fortgesetzt, wobei ein tiefes neuronales Netzwerk auf das holographische Zielbild angewendet wird, um einen Feedback-Stärkewert für das Fehler-Feedback bei der Bestimmung eines Nur-Phasen-Beugungsmusterbildes durch Verwenden eines iterativen Verbreitungs-Feedback-Modells zu erzeugen, sodass das Nur-Phasen-Beugungsmusterbild zur Darstellung in einer holographischen Ebene ist, um ein entsprechendes holographisches Bild in der Bildebene zu erzeugen. Wie hierin diskutiert, wird der Feedback-Stärkewert durch Verwenden eines tiefen neuronalen Netzwerks erzeugt, sodass die Feedback-Stärke oder der Feedback-Stärkewert auf die Eigenschaften des holographischen Zielbildes reagiert. Der Feedback-Stärkewert kann für jegliches iterative Verbreitungs-Feedback-Modell geeignet sein. Darüber hinaus kann das tiefe neuronale Netzwerk jegliche geeignete Architektur haben. In einigen Ausführungsformen beinhaltet das tiefe neuronale Netzwerk jeweils eine oder mehrere Faltungsschichten, um mehrere Merkmalsabbildungen basierend auf dem holographischen Zielbild oder vorhergehenden Merkmalsabbildungen zu erzeugen, und eine vollständig verbundene Schicht, die auf die Faltungsschichten folgt, um den Feedback-Stärkewert zu erzeugen. In einigen Ausführungsformen entspricht das tiefe neuronale Netzwerk einem vortrainierten tiefen neuronalen Netzwerk, und das tiefe neuronale Netzwerk hat einen von weniger Faltungskerneln in Bezug auf das vortrainierte tiefe neuronale Netzwerk oder eine verringerte Bittiefe von Gewichten des tiefen neuronalen Netzwerks in Bezug auf das vortrainierte tiefe neuronale Netzwerk. In einigen Ausführungsformen wird das holographische Zielbild vor der Anwendung des tiefen neuronalen Netzwerks herabgesampled. Solche Techniken können weniger Berechnungsforderungen, geringere Speicherkapazität und reduzierte Implementierungszeiten beim Erzeugen des Feedback-Stärkewerts bereitstellen.
Die Verarbeitung wird bei Operation 1103 fortgesetzt, wobei das iterative Verbreitungs-Feedback-Modell basierend auf dem holographischen Zielbild und durch Verwenden des Feedback-Stärkewerts angewendet wird, um ein endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung auf der holographischen Ebene zu erzeugen. Das iterative Verbreitungs-Feedback-Modell kann jegliches geeignete Modell mit Feedback beinhalten. In einigen Ausführungsformen beinhaltet das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts das Empfangen einer aktuellen Phasen- und Amplitudenbildebenenschätzung und das Ersetzen einer Amplitudenebene der aktuellen Phasen- und Amplitudenbildebenenschätzung durch ein nächstes Zielamplitudenbild, das eine Summe von dem holographischen Zielbildes und einem Produkt von dem Feedback-Stärkewert und einem Korrekturterm umfasst, der eine Differenz zwischen dem holographischen Zielbild und der aktuellen Phasen- und Amplitudenbildebene umfasst, um ein aktuelles amplitudenangepasstes Bild zu erzeugen. In einigen Ausführungsformen beinhaltet das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts ferner das Anwenden eines inversen Verbreitungsmodells auf ein vorheriges amplitudenangepasstes Bild, um eine holographische Phasen- und Amplitudenebenenschätzung zu erzeugen, wobei eine Amplitudenebene der holographischen Phasen- und Amplitudenebenenschätzung normalisiert wird, um ein Nur-Phasen-Beugungsmusterbild zu erzeugen, und wobei ein Vorwärtsverbreitungsmodell auf das Nur-Phasen-Beugungsmusterbild angewendet wird, um die aktuelle Phasen- und Amplitudenbildebenenschätzung zu erzeugen.
In einigen Ausführungsformen beinhaltet das holographische Zielbild eine erste und eine zweite Farbebene, und das Anwenden des tiefen neuronalen Netzwerks auf das holographische Zielbild erzeugt den Feedback-Stärkewert für die erste Farbebene und einen zweiten Feedback-Stärkewert für die zweite Farbebene, und der Prozess 1100 beinhaltet ferner das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf der zweiten Farbebene des holographischen Zielbildes und durch Verwenden des zweiten Feedback-Stärkewerts, um ein zweites endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung auf der holographischen Ebene oder einer zweiten holographischen Ebene zu erzeugen. In einigen Ausführungsformen beinhaltet das holographische Zielbild eine erste und eine zweite Farbebene, und ein zweites tiefes neuronales Netzwerk wird auf die zweite Farbebene angewendet, um einen zweiten Feedback-Stärkewert zu erzeugen, und der Prozess 1100 beinhaltet ferner das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf der zweiten Farbebene des holographischen Zielbildes und durch Verwenden des zweiten Feedback-Stärkewerts, um ein zweites endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung auf der holographischen Ebene oder einer zweiten holographischen Ebene zu erzeugen.
In einigen Ausführungsformen beinhaltet das Anwenden des tiefen neuronalen Netzwerks das Anwenden des tiefen neuronalen Netzwerks auf eine Eingabe, die das holographische Zielbild und eine Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst, sodass der Feedback-Stärkewert von der Anzahl der Iterationen abhängt, die durch das iterative Verbreitungs-Feedback-Modell ausgeführt werden sollen. In einigen Ausführungsformen beinhaltet der Prozess 1100 ferner das Anwenden des tiefen neuronalen Netzwerks auf eine zweite Eingabe, die das holographische Zielbild und eine zweite Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst, wobei die zweite Anzahl von Iterationen geringer ist als die Anzahl von Iterationen, um einen zweiten Feedback-Stärkewert zu erzeugen.
In einigen Ausführungsformen erzeugt das Anwenden des tiefen neuronalen Netzwerks ferner einen zweiten Feedback-Stärkewert, sodass der Feedback-Stärkewert für einen Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll, und der zweite Feedback-Stärkewert für einen zweiten Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll. In einigen Ausführungsformen beinhaltet das Anwenden des iterativen Modells das Anwenden der iterativen Verbreitung durch Verwenden des Feedback-Stärkewerts für einen ersten Satz von Iterationen des iterativen Modells, und das Anwenden der iterativen Verbreitung durch Verwenden des zweiten Feedback-Stärkewerts für einen zweiten Satz von Iterationen des dem ersten Satz von Iterationen nachfolgenden iterativen Modells.
Die Verarbeitung wird bei Operation 1104 fortgesetzt, wobei das endgültige Beugungsmusterbild in der holographischen Ebene dargestellt wird, um ein entsprechendes endgültiges holographisches Bild in der Bildebene zu erzeugen. In einigen Ausführungsformen entspricht das iterative Verbreitungs-Feedback-Modell einer holographischen Abbildungsanordnung, um ein holographisches Bild an dem Bild durch Verwenden eines Beugungsmusterbildes zu erzeugen. In einigen Ausführungsformen beinhaltet das Darstellen des endgültigen Beugungsmusterbildes in der holographischen Ebene das Darstellen des endgültigen Beugungsmusterbildes über einen räumlichen Lichtmodulator, und der Prozess 1100 beinhaltet ferner das Projizieren von räumlich kohärentem Licht über eine Lichtquelle auf den räumlichen Lichtmodulator, um das endgültige holographische Bild in der Bildebene zu erzeugen.
Der Prozess 1100 kann das Erzeugen von Beugungsmusterbilddaten für jegliche Anzahl von holographischen Zielbildern oder holographischen Zielbilddaten bereitstellen. Der Prozess 1100 kann beliebig oft entweder in Reihe oder parallel für jegliche Anzahl von holographischen Eingabebildern, holographischen Eingabebildern einer Videosequenz von holographischen Bildern, usw., wiederholt werden.
Verschiedene Komponenten der hierin beschriebenen Systeme können in Software, Firmware und/oder Hardware und/oder jeglicher Kombination davon implementiert werden. Zum Beispiel können verschiedene Komponenten von hierin diskutierten Geräten oder Systemen mindestens teilweise durch Hardware eines Datenverarbeitungs-System-on-a-Chip (SoC) bereitgestellt werden, so wie sie zum Beispiel in einem Datenverarbeitungssystem, wie zum Beispiel einem Computer, einem Laptop, einem Tablet oder einem Smartphone, gefunden werden. Zum Beispiel können solche Komponenten oder Module über einen Mehrkern-SoC-Prozessor implementiert werden. Fachleute können erkennen, dass hierin beschriebene Systeme zusätzliche Komponenten beinhalten können, die in den entsprechenden Figuren nicht dargestellt wurden.
Während die Implementierung der hierin diskutierten Beispielprozesse das Durchführen aller in der veranschaulichten Reihenfolge gezeigten Operationen beinhalten kann, ist die vorliegende Offenbarung in dieser Hinsicht nicht beschränkt, und in verschiedenen Beispielen kann die Implementierung der beschriebenen Beispielprozesse hierin nur einen Untersatz der gezeigten Operationen, in einer unterschiedlichen Reihenfolge als veranschaulicht ausgeführte Operationen, oder zusätzliche Operationen beinhalten.
Zusätzlich können jegliche eine oder mehrere der hierin diskutierten Operationen als Reaktion auf durch ein oder mehrere Computerprogrammprodukte bereitgestellte Anweisungen durchgeführt werden. Solche Programmprodukte können signaltragende Medien beinhalten, die Anweisungen bereitstellen, die, wenn zum Beispiel durch einen Prozessor ausgeführt, die hierin beschriebene Funktionalität bereitstellen können. Die Computerprogrammprodukte können in jeglicher Form eines oder mehrerer maschinenlesbarer Medien bereitgestellt werden. Somit kann zum Beispiel ein Prozessor, der eine oder mehrere Grafikverarbeitungseinheiten oder Prozessorkerne beinhaltet, einen oder mehrere der Blöcke der hierin beschriebenen Beispielprozesse als Reaktion auf Programmcode und/oder Anweisungen oder Anweisungssätze ausführen, die an den Prozessor durch ein oder mehrere maschinenlesbare Medien verteilt werden. Im Allgemeinen kann ein maschinenlesbares Medium Software in der Form von Programmcode und/oder Anweisungen oder Anweisungssätzen verteilen, die jegliches der hierin beschriebenen Geräte und/oder Systeme dazu veranlassen können, mindestens Abschnitte der hierin diskutierten Operationen, Module oder Komponenten zu implementieren.
Wie in jeglicher hierin beschriebenen Implementierung verwendet, bezieht sich der Begriff „Modul“ auf jegliche Kombination von Softwarelogik, Firmwarelogik, Hardwarelogik und/oder Schaltung, die dazu ausgelegt ist, die hierin beschriebene Funktionalität bereitzustellen. Die Software kann als ein Softwarepaket, Code und/oder Anweisungssatz oder Anweisungen verkörpert sein, und „Hardware“, wie in jeglicher hierin beschriebenen Implementierung verwendet, kann zum Beispiel einzeln oder in jeglicher Kombination festverdrahtete Schaltung, programmierbare Schaltung, Statusautomatikschaltung, Festfunktionsschaltung, Ausführungseinheitsschaltung und/oder Firmware beinhalten, die durch programmierbare Schaltung ausgeführte Anweisungen speichert. Die Module können zusammen oder einzeln als Schaltung verkörpert sein, die einen Teil eines größeren Systems bildet, zum Beispiel eine integrierte Schaltung (Integrated Circuit - IC), ein System-on-Chip (SoC), und so weiter.
13 ist ein veranschaulichendes Diagramm, von beispielhaftem System 1300, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. In verschiedenen Implementierungen kann das System 1300 ein Datenverarbeitungssystem sein, obwohl das System 1300 nicht auf diesen Zusammenhang beschränkt ist. Zum Beispiel kann das System 1300 in einen Personal-Computer (PC), Laptop-Computer, Ultra-Laptop-Computer, Tablet, Phablet, ein Touchpad, einen tragbaren Computer, Handheld-Computer, Palmtop-Computer, Personal-Digital-Assistant (PDA), ein Mobiltelefon, eine Kombination Mobiltelefon/PDA, ein Fernsehgerät, intelligentes Gerät (zum Beispiel Smartphone, Smart-Tablet oder Smart-TV), Mobile-Internet-Device (MID), Nachrichtengerät, Datenkommunikationsgerät, Peripheriegerät, eine Spielekonsole, ein tragbares Gerät, Anzeigegerät, All-in-One-Gerät, Two-in-One-Gerät, und so weiter, integriert sein.
In verschiedenen Implementierungen beinhaltet das System 1300 Plattform 1302, die mit Anzeige 1320 gekoppelt ist. Die Plattform 1302 kann Inhalt von einem Inhaltsgerät, wie zum Beispiel Inhaltsdienstgerät(e) 1330 oder Inhaltsliefergerät(e) 1340, oder anderen ähnlichen Inhaltsquellen, wie zum Beispiel einer Kamera oder einem Kameramodul, oder dergleichen, empfangen. Navigationssteuerung 1350, die ein oder mehrere Navigationsmerkmale beinhaltet, kann verwendet werden, um zum Beispiel mit der Plattform 1302 und/oder der Anzeige 1320 zu interagieren. Jede dieser Komponenten wird unten ausführlicher beschrieben.
In verschiedenen Implementierungen kann die Plattform 1302 jegliche Kombination von Chipsatz 1305, Prozessor 1310, Speicher 1312, Antenne 1313, Speicherung 1314, Grafiksubsystem 1315, Anwendungen 1316 und/oder Funkgerät 1318 beinhalten. Chipsatz 1305 kann Interkommunikation zwischen dem Prozessor 1310, dem Speicher 1312, der Speicherung 1314, dem Grafiksubsystem 1315, den Anwendungen 1316 und/oder dem Funkgerät 1318 bereitstellen. Zum Beispiel kann der Chipsatz 1305 einen Speicherungsadapter (nicht dargestellt) beinhalten, der zum Bereitstellen von Interkommunikation mit der Speicherung 1314 geeignet ist.
Der Prozessor 1310 kann zum Beispiel als Complex-Instruction-Set-Computer (CISC) oder Reduced-Instruction-Set-Computer (RISC) -Prozessoren, x86-Anweisungssatz-kompatible Prozessoren, Mehrkern- oder jeglicher andere Mikroprozessor oder zentrale Verarbeitungseinheit (Central-Processing-Unit - CPU) implementiert sein. In verschiedenen Implementierungen kann der Prozessor 1310 Dual-Core-Prozessor(en), Dual-Core-Mobile-Prozessor(en) und so weiter sein.
Der Speicher 1312 kann als ein flüchtiges Speichergerät implementiert sein, wie zum Beispiel, aber nicht beschränkt auf einen Random-Access-Memory (RAM), Dynamic-Random-Access-Memory (DRAM) oder Static-RAM (SRAM).
Die Speicherung 1314 kann als ein nichtflüchtiges Speicherungsgerät implementiert sein, wie zum Beispiel, aber nicht beschränkt auf ein Magnetplattenlaufwerk, optisches Plattenlaufwerk, Bandlaufwerk, ein internes Speicherungsgerät, ein verbundenes Speicherungsgerät, Flash-Speicher, batteriegesicherter SDRAM (synchroner DRAM) und/oder ein netzwerkzugängliches Speicherungsgerät. In verschiedenen Implementierungen kann die Speicherung 1314 Technologie beinhalten, um den speicherungsleistungsverbesserten Schutz für wertvolle digitale Medien zu erhöhen, wenn zum Beispiel mehrere Festplatten enthalten sind.
Das Grafiksubsystem 1315 kann das Verarbeiten von Bildern, wie zum Beispiel Standbilder, Grafiken oder Video, für Anzeige ausführen. Das Grafiksubsystem 1315 kann zum Beispiel eine Grafikverarbeitungseinheit (Graphics-Processing-Unit - GPU), eine visuelle Verarbeitungseinheit (Visual-Processing-Unit - VPU), oder eine Bildverarbeitungseinheit sein. In einigen Beispielen kann das Grafiksubsystem 1315 das Rendern von gescannten Bildern wie hierin diskutiert ausführen. Eine analoge oder digitale Schnittstelle kann verwendet werden, um das Grafiksubsystem 1315 und die Anzeige 1320 kommunizierend zu koppeln. Zum Beispiel kann die Schnittstelle jegliche einer High-Definition-Multimedia-Interface-, DisplayPort-, drahtlosen HDMI- und/oder drahtlosen HD-konformen Techniken sein. Das Grafiksubsystem 1315 kann in den Prozessor 1310 oder den Chipsatz 1305 integriert sein. In einigen Implementierungen kann das Grafiksubsystem 1315 ein eigenständiges Gerät sein, das kommunizierend mit dem Chipsatz 1305 gekoppelt ist.
Die hierin beschriebenen Bildverarbeitungstechniken können in verschiedenen Hardware-Architekturen implementiert sein. Zum Beispiel kann Bildverarbeitungsfunktionalität in einen Chipsatz integriert sein. Alternativ kann ein spezieller Grafik- und/oder Bildprozessor und/oder eine anwendungsspezifische integrierte Schaltung verwendet werden. Als noch eine andere Implementierung kann die Bildverarbeitung durch einen Mehrzweck-Prozessor einschließlich einem Multicore-Prozessor bereitgestellt werden. In weiteren Ausführungsformen können die Funktionen in einem Unterhaltungselektronikgerät implementiert sein.
Das Funkgerät 1318 kann eines oder mehrere Funkgeräte beinhalten, die zum Übertragen und Empfangen von Signalen durch Verwenden verschiedener geeigneter drahtloser Kommunikationstechniken geeignet sind. Solche Techniken können Kommunikationen über ein oder mehrere drahtlose Netzwerke hinweg einbeziehen. Beispielhafte drahtlose Netzwerke beinhalten (sind jedoch nicht beschränkt auf) Wireless-Local-Area-Networks (WLAN), Wireless-Personal-Area-Networks (WPAN), Wireless-Metropolitan-Area-Networks (WMAN), Mobilfunknetzwerke und Satellitennetzwerke. Beim Kommunizieren über solche Netzwerke kann das Funkgerät 1318 gemäß einem oder mehreren anwendbaren Standards in jeglicher Version arbeiten.
In verschiedenen Implementierungen kann die Anzeige 1320 jeglichen Flachbildschirm oder jegliche Anzeige beinhalten. Die Anzeige 1320 kann zum Beispiel einen Computerbildschirm, eine Berührungsbildschirmanzeige, einen Videomonitor, ein einem Fernsehgerät ähnliches Gerät und/oder ein Fernsehgerät beinhalten. Die Anzeige 1320 kann digital und/oder analog sein. In verschiedenen Ausführungsformen kann die Anzeige 1320 eine holographische Anzeige sein. Die Anzeige 1320 kann auch eine transparente Oberfläche sein, die eine visuelle Projektion empfangen kann. Solche Projektionen können verschiedene Formen von Informationen, Bildern und/oder Objekten verteilen. Zum Beispiel können solche Projektionen eine visuelle Überlagerung für eine Mobile-Augmented-Reality (MAR) -Anwendung sein Unter der Steuerung einer oder mehrerer Softwareanwendungen 1316 kann die Plattform 1302 Benutzerschnittstelle 1322 auf der Anzeige 1320 anzeigen.
In verschiedenen Implementierungen kann (können) das (die) Inhaltsdienstgerät(e) 1330 durch jeglichen nationalen, internationalen und/oder unabhängigen Dienst gehostet werden, und somit für die Plattform 1302 zum Beispiel über das Internet zugänglich sein. Das (die) Inhaltsdienstgerät(e) 1330 kann (können) mit der Plattform 1302 und/oder mit der Anzeige 1320 gekoppelt sein. Die Plattform 1302 und/oder das (die) Inhaltsdienstgerät(e) 1330 können mit Netzwerk 1360 gekoppelt sein, um Medieninformationen zu und von dem Netzwerk 1360 zu kommunizieren (zum Beispiel zu senden und/oder zu empfangen). Das (die) Inhaltsliefergerät(e) 1340 kann (können) auch mit der Plattform 1302 und/oder mit der Anzeige 1320 gekoppelt sein.
In verschiedenen Implementierungen kann (können) das (die) Inhaltsdienstgerät(e) 1330 eine Kabelfernsehgerätebox, ein Personalcomputer, Netzwerk, Telefon, internetfähige Geräte oder Haushaltsgeräte, die zum Liefern digitaler Informationen und/oder Inhalt geeignet sind, und jegliches andere ähnliche Gerät beinhalten, das geeignet ist, unidirektional oder bidirektional Inhalt zwischen Inhaltsanbietern und der Plattform 1302 und/oder der Anzeige 1320 über das Netzwerk 1360 oder direkt zu kommunizieren. Es wird darauf hingewiesen, dass der Inhalt unidirektional und/oder bidirektional zu und von jeglicher der Komponenten in dem System 1300 und einem Inhaltsanbieter über das Netzwerk 1360 kommuniziert werden kann. Beispiele von Inhalt können jegliche Medieninformationen beinhalten, einschließlich zum Beispiel Video, Musik, medizinische und Spiele-Informationen, und so weiter.
Das (die) Inhaltsdienstgerät(e) 1330 empfängt (empfangen) Inhalt, wie zum Beispiel Kabelfernsehprogramme einschließlich Medieninformationen, digitale Informationen und/oder anderer Inhalt. Beispiele von Inhaltsanbietern können jegliche Fernseh-, Radio- oder Internetinhaltsanbietern über Kabel oder Satellit sein. Die bereitgestellten Beispiele sollen Implementierungen gemäß der vorliegenden Offenbarung in keinster Weise beschränken.
In verschiedenen Implementierungen kann die Plattform 1302 Steuersignale von der Navigationssteuerung 1350 mit einem oder mehreren Navigationsmerkmalen empfangen. Die Navigationsmerkmale der Navigationssteuerung 1350 können verwendet werden, um zum Beispiel mit der Benutzerschnittstelle 1322 zu interagieren. In verschiedenen Ausführungsformen kann die Navigationssteuerung 1350 ein Zeigegerät sein, das eine Computerhardwarekomponente (insbesondere ein menschliches Schnittstellengerät) sein kann, die es einem Benutzer erlaubt, räumliche (zum Beispiel kontinuierliche und mehrdimensionale) Daten in einen Computer einzugeben. Viele Systeme, wie zum Beispiel grafische Benutzerschnittstellen (Graphical-User-Interfaces - GUI), und Fernsehgeräte und Monitore, ermöglichen es dem Benutzer, Daten für den Computer oder das Fernsehen durch Verwenden von physischen Gesten zu steuern und bereitzustellen.
Bewegungen der Navigationsmerkmale der Navigationssteuerung 1350 können auf einer Anzeige (zum Beispiel der Anzeige 1320) durch Bewegungen eines Zeigers, Cursors, Fokusrings oder anderer auf der Anzeige angezeigter visueller Indikatoren reproduziert werden. Zum Beispiel können unter der Steuerung der Softwareanwendungen 1316 die auf der Navigationssteuerung 1350 platzierten Navigationsmerkmale zu virtuellen Navigationsmerkmalen abgebildet werden, die zum Beispiel auf der Benutzerschnittstelle 1322 angezeigt werden. In einigen Ausführungsformen kann die Navigationssteuerung 1350 keine separate Komponente sein, sondern kann in die Plattform 1302 und/oder die Anzeige 1320 integriert sein. Die vorliegende Offenbarung ist jedoch nicht auf die Elemente oder auf den Zusammenhang wie hierin gezeigt oder beschrieben beschränkt.
In verschiedenen Implementierungen können Treiber (nicht gezeigt) eine Technologie beinhalten, die es Benutzern ermöglicht, die Plattform 1302 wie einen Fernseher mit der Berührung einer Taste nach dem anfänglichen Hochfahren, wenn ermöglicht, zum Beispiel sofort ein- und auszuschalten. Programmlogik kann es der Plattform 1302 ermöglichen, Inhalte an Medienadapter oder andere Inhaltsdienstgerät(e) 1330 oder Inhaltsliefergerät(e) 1340 zu streamen, sogar wenn die Plattform „aus“ geschaltet ist. Zusätzlich kann der Chipsatz 1305 Hardware- und/oder Software-Unterstützung zum Beispiel für 5.1-Surround-Sound-Audio und/oder High-Definition 13.1-Surround-Sound-Audio beinhalten. Treiber können einen Grafiktreiber für integrierte Grafikplattformen beinhalten. In verschiedenen Ausführungsformen kann der Grafiktreiber eine Peripheral-Component-Interconnect (PCI) -Express-Grafikkarte beinhalten.
In verschiedenen Implementierungen kann einer oder mehrere der in dem System 1300 gezeigten Komponenten integriert sein. Zum Beispiel können die Plattform 1302 und das (die) Inhaltsdienstgerät(e) 1330 integriert sein, oder die Plattform 1302 und das (die) Inhaltsliefergerät(e) 1340 können integriert sein, oder die Plattform 1302, das (die) Inhaltsdienstgerät(e) 1330 und das (die) Inhaltsliefergerät(e) 1340 können zum Beispiel integriert sein. In verschiedenen Ausführungsformen können die Plattform 1302 und die Anzeige 1320 eine integrierte Einheit sein. Die Anzeige 1320 und das (die) Inhaltsdienstgerät(e) 1330 können integriert sein, oder die Anzeige 1320 und das (die) Inhaltsliefergerät(e) 1340 können zum Beispiel integriert sein. Diese Beispiele sollen die vorliegende Offenbarung nicht beschränken.
In verschiedenen Ausführungsformen kann das System 1300 als ein drahtloses System, ein drahtgebundenes System, oder eine Kombination von beiden implementiert sein. Wenn als ein drahtloses System implementiert, kann das System 1300 Komponenten und Schnittstellen beinhalten, die geeignet sind, über ein drahtloses gemeinsam genutztes Medium zu kommunizieren, wie zum Beispiel eine oder mehrere Antennen, Transmitter, Empfänger, Transceiver, Verstärker, Filter, Steuerlogik, und so weiter. Ein Beispiel für drahtlose gemeinsam genutzte Medien kann Bereiche eines drahtlosen Spektrums, wie zum Beispiel das RF-Spektrum, und so weiter, beinhalten. Wenn als ein drahtgebundenes System implementiert, kann das System 1300 Komponenten und Schnittstellen beinhalten, die geeignet sind, über drahtgebundene Kommunikationsmedien zu kommunizieren, wie zum Beispiel Eingabe/Ausgabe (I/O) -Adapter, physikalische Verbindungselemente, um den I/O-Adapter mit einem entsprechenden drahtgebundenen Kommunikationsmedium zu verbinden, eine Network-Interface-Card (NIC), Disk-Controller, Video-Controller, Audio-Controller, und so weiter. Beispiele für drahtgebundene Kommunikationsmedien können einen Draht, ein Kabel, Metallleiter, ein Printed-Circuit-Board (PCB), eine Rückwandplatine, ein Schaltergewebe, Halbleitermaterial, verdrillten Doppelleiter, ein Koaxialkabel, eine Faseroptik, und so weiter, beinhalten.
Die Plattform 1302 kann einen oder mehrere logische oder physische Kanäle einrichten, um Informationen zu kommunizieren. Die Informationen können Medieninformationen und Steuerungsinformationen beinhalten. Medieninformationen können sich auf jegliche Daten beziehen, die für einen Benutzer bestimmten Inhalt repräsentieren. Beispiele für Inhalt können zum Beispiel Daten von einer Sprachkonversation, Videokonferenz, Video-Streaming, Electronic-Mail („E-Mail“) -Nachricht, Voicemail-Nachricht, alphanumerischen Symbolen, Grafiken, Bildern, Video, Text, und so weiter, beinhalten. Daten von einer Sprachkonversation können zum Beispiel Sprachinformationen, Pausenzeiträume, Hintergrundgeräusche, Komfortgeräusche, Töne und so weiter sein. Steuerungsinformationen können sich auf jegliche Daten beziehen, die Befehle, Anweisungen oder Steuerungswörter, die für ein automatisiertes System bestimmt sind, repräsentieren. Zum Beispiel können Steuerungsinformationen dazu verwendet werden, Medieninformationen durch ein System zu leiten oder einen Knoten anzuweisen, die Medieninformationen auf eine vorgegebene Weise zu verarbeiten. Die Ausführungsformen sind jedoch nicht auf die Elemente oder in dem Zusammenhang wie in 13 dargestellt oder beschrieben beschränkt.
Wie oben beschrieben, kann das System 1300 in verschiedenen physischen Stilen oder Formfaktoren verkörpert sein. 14 veranschaulicht beispielhaftes kleines Formfaktorgerät 1400, angeordnet gemäß mindestens einigen Implementierungen der vorliegenden Offenbarung. In einigen Beispielen kann das System 1300 über das Gerät 1400 implementiert werden. In anderen Beispielen können andere hierin diskutierte Systeme, Komponenten oder Module oder Abschnitte davon über das Gerät 1400 implementiert werden. In verschiedenen Ausführungsformen kann das Gerät 1400 zum Beispiel als ein mobiles Datenverarbeitungsgerät mit drahtlosen Fähigkeiten implementiert werden. Ein mobiles Datenverarbeitungsgerät kann sich auf jegliches Gerät mit einem Verarbeitungssystem und einer mobilen Energiequelle oder - Versorgung, wie zum Beispiel einer oder mehreren Batterien, beziehen.
Beispiele eines mobilen Datenverarbeitungsgeräts können einen Personal-Computer (PC), Laptop-Computer, Ultra-Laptop-Computer, Tablet, Touchpad, tragbaren Computer, Handheld-Computer, Palmtop-Computer, Personal-Digital-Assistant (PDA), Mobiltelefon, Kombination Mobiltelefon/PDA, intelligentes Gerät (zum Beispiel Smartphone, Smart-Tablet oder Smart-TV), Mobile-Internet-Device (MID), Nachrichtengerät, Datenkommunikationsgerät, Kameras (zum Beispiel Point-and-Shoot-Kameras, Super-Zoom-Kameras, Digital-Single-Lens-Reflex (DSLR) - Kameras), und so weiter, beinhalten.
Beispiele eines mobilen Datenverarbeitungsgeräts können auch Computer beinhalten, die angeordnet sind, um durch ein Kraftfahrzeug oder einen Roboter implementiert oder durch eine Person getragen zu werden, wie zum Beispiel Handgelenkcomputer, Fingercomputer, Ringcomputer, Brillencomputer, Gürtelclipcomputer, Armbandcomputer, Schuhcomputer, Bekleidungscomputer und andere tragbare Computer. In verschiedenen Ausführungsformen kann zum Beispiel ein mobiles Datenverarbeitungsgerät als ein Smartphone implementiert sein, das geeignet ist, Computeranwendungen sowie Sprachkommunikationen und/oder Datenkommunikationen auszuführen. Obwohl einige Ausführungsformen beispielhaft mit einem mobilen Datenverarbeitungsgerät, das als ein Smartphone implementiert ist, beschrieben sein können, wird darauf hingewiesen, dass auch andere Ausführungsformen durch Verwenden anderer drahtloser mobiler Datenverarbeitungsgeräte implementiert werden können. Die Ausführungsformen sind in diesem Zusammenhang nicht beschränkt.
Wie in 14 gezeigt, kann das Gerät 1400 ein Gehäuse mit Vorderseite 1401 und Rückseite 1402 beinhalten. Das Gerät 1400 beinhaltet Anzeige 1404, Eingabe/Ausgabe (I/O) - Gerät 1406, Farbkamera 1421, Farbkamera 1422 und integrierte Antenne 1408. Zum Beispiel können die Farbkamera 1421 und die Farbkamera 1422 Bilddaten (zum Beispiel linke und rechte Bilder) wie hierin diskutiert eingeben. Das Gerät 1400 kann auch Navigationsmerkmale 1412 beinhalten. Das I/O-Gerät 1406 kann jegliches geeignete I/O-Gerät zum Eingeben von Informationen in ein mobiles Datenverarbeitungsgerät beinhalten. Beispiele für das I/O-Gerät 1406 können eine alphanumerische Tastatur, ein numerisches Tastenfeld, ein Touchpad, Eingabetasten, Knöpfe, Schalter, Mikrofone, Lautsprecher, Spracherkennungsgerät und Software, und so weiter, beinhalten. Informationen können auch über ein Mikrofon (nicht gezeigt) in das Gerät 1400 eingegeben werden, oder können durch ein Spracherkennungsgerät digitalisiert werden. Wie gezeigt, kann das Gerät 1400 die Farbkameras 1421, 1422 und Blitz 1410 beinhalten, die in die Rückseite 1402 (oder eine andere Stelle) des Geräts 1400 integriert sind. In anderen Beispielen können die Farbkameras 1421, 1422 und der Blitz 1410 in die Vorderseite 1401 des Geräts 1400 integriert sein, oder es können sowohl vordere als auch hintere Sätze von Kameras bereitgestellt werden. Die Farbkameras 1421, 1422 und der Blitz 1410 können Komponenten eines Kameramoduls sein, um Farbbilddaten zu erzeugen, die zu einem Bild oder Streaming-Video verarbeitet werden können, das an die Anzeige 1404 ausgegeben wird, und/oder von dem Gerät 1400 über die Antenne 1408 fernkommuniziert wird.
Verschiedene Ausführungsformen können durch Verwenden von Hardwareelementen, Softwareelementen oder einer Kombination von beiden implementiert werden. Beispiele von Hardwareelementen können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (zum Beispiel Transistoren, Widerstände, Kondensatoren, Induktoren, und so weiter), integrierte Schaltungen, Application-Specific-Integrated-Circuits (ASIC), Programmable-Logic-Devices (PLD), Digital-Signal-Processors (DSP), Field-Programmable-Gate-Arrays (FPGA), Logikgatter, Register, Halbleitergeräte, Chips, Mikrochips, Chipsätze, und so weiter, beinhalten. Beispiele von Software können Softwarekomponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystemsoftware, Middleware, Firmware, Softwaremodule, Routinen, Subroutinen, Funktionen, Verfahren, Prozeduren, Softwareschnittstellen, Application-Program-Interfaces (API), Anweisungssätze, Datenverarbeitungscode, Computercode, Codesegmente, Computercodesegmente, Wörter, Werte, Symbole, oder jegliche Kombination davon, beinhalten. Das Bestimmen, ob eine Ausführungsform durch Verwenden von Hardware-Elementen und/oder Software-Elementen implementiert wird, kann gemäß jeglicher Anzahl von Faktoren, wie zum Beispiel angestrebter Berechnungsrate, Leistungsniveaus, Wärmetoleranzen, Verarbeitungszyklus-Budget, Eingangsdatenraten, Ausgangsdatenraten, Speicherressourcen, Datenbusgeschwindigkeiten und anderer Design- oder Leistungseinschränkungen, variieren.
Ein oder mehrere Aspekte mindestens einer Ausführungsform können durch repräsentative Anweisungen implementiert werden, die auf einem maschinenlesbaren Medium gespeichert sind, das verschiedene Logik innerhalb des Prozessors darstellt, die, wenn durch eine Maschine gelesen, die Maschine dazu veranlasst, Logik zum Ausführen der hierin beschriebenen Techniken herzustellen. Solche Darstellungen, bekannt als IP-Kerne, können auf einem materiellen, maschinenlesbaren Medium gespeichert und an verschiedene Kunden oder Herstellungseinrichtungen geliefert werden, um sie in die Herstellungsmaschinen zu laden, die die Logik oder den Prozessor tatsächlich herstellen.
Während bestimmte hierin dargelegte Merkmale unter Bezugnahme auf verschiedene Implementierungen beschrieben wurden, ist diese Beschreibung nicht dazu beabsichtigt, in einem einschränkenden Sinne ausgelegt zu werden. Daher werden verschiedene Modifikationen der hierin beschriebenen Implementierungen sowie andere Implementierungen, die für Fachleute offensichtlich sind, auf die sich die vorliegende Offenbarung bezieht, als innerhalb dem Geist und Umfang der vorliegenden Offenbarung liegend erachtet.
In einer oder mehreren ersten Ausführungsformen umfasst ein Verfahren zum Erzeugen von holographischen Bildern das Empfangen eines holographischen Zielbildes, das einem Benutzer in einer Bildebene dargestellt werden soll, das Anwenden eines tiefen neuronalen Netzwerks auf das holographische Zielbild, um einen Feedback-Stärkewert für das Fehler-Feedback bei der Bestimmung eines Nur-Phasen-Beugungsmusterbildes durch Verwenden eines iterativen Verbreitungs-Feedback-Modells zu erzeugen, wobei das Nur-Phasen-Beugungsmusterbild zur Darstellung in einer holographischen Ebene ein entsprechendes holographisches Bild in der Bildebene erzeugen soll, das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf dem holographischen Zielbild und durch Verwenden des Feedback-Stärkewerts, um ein endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung in der holographischen Ebene zu erzeugen, und das Darstellen des endgültigen Beugungsmusterbildes in der holographischen Ebene, um ein entsprechendes endgültiges holographisches Bild in der Bildebene zu erzeugen.
In einer oder mehreren zweiten Ausführungsformen, zusätzlich zu den ersten Ausführungsformen, umfasst das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts das Empfangen einer aktuellen Phasen- und Amplitudenbildebenenschätzung und das Ersetzen einer Amplitudenebene der aktuellen Phasen- und Amplitudenbildebenenschätzung durch ein nächstes Zielamplitudenbild, das eine Summe von dem holographischen Zielbild und einem Produkt von dem Feedback-Stärkewert und einem Korrekturterm umfasst, der eine Differenz zwischen dem holographischen Zielbild und der aktuellen Phasen- und Amplitudenbildebene umfasst, um ein aktuelles amplitudenangepasstes Bild zu erzeugen.
In einer oder mehreren dritten Ausführungsformen, zusätzlich zu den ersten oder zweiten Ausführungsformen, beinhaltet das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts ferner das Anwenden eines inversen Verbreitungsmodells auf ein vorheriges amplitudenangepasstes Bild, um eine holographische Phasen- und Amplitudenebenenschätzung zu erzeugen, das Normalisieren einer Amplitudenebene der holographischen Phasen- und Amplitudenebenenschätzung, um ein Nur-Phasen-Beugungsmusterbild zu erzeugen, und das Anwenden eines Vorwärtsverbreitungsmodells auf das Nur-Phasen-Beugungsmusterbild, um die aktuelle Phasen- und Amplitudenbildebenenschätzung zu erzeugen.
In einer oder mehreren vierten Ausführungsformen, zusätzlich zu jeglichen der ersten bis dritten Ausführungsformen, entspricht das tiefe neuronale Netzwerk einem vortrainierten tiefen neuronalen Netzwerk, wobei das tiefe neuronale Netzwerk mindestens einen von weniger Faltungskerneln in Bezug auf das vortrainierte tiefe neuronale Netzwerk oder eine reduzierte Bittiefe von Gewichten des tiefen neuronalen Netzwerks in Bezug auf das vortrainierte tiefe neuronale Netzwerk umfasst, und wobei das holographische Zielbild vor dem Anwenden des tiefen neuronalen Netzwerks herabgesampled wird.
In einer oder mehreren fünften Ausführungsformen, zusätzlich zu jeglichen der ersten bis vierten Ausführungsformen, umfasst das holographische Zielbild eine erste und eine zweite Farbebene, und das Anwenden des tiefen neuronalen Netzwerks auf das holographische Zielbild erzeugt den Feedback-Stärkewert für die erste Farbebene und einen zweiten Feedback-Stärkewert für die zweite Farbebene, und das Verfahren umfasst ferner das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf der zweiten Farbebene des holographischen Zielbildes und durch Verwenden des zweiten Feedback-Stärkewerts, um ein zweites endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung in der holographischen Ebene oder einer zweiten holographischen Ebene zu erzeugen.
In einer oder mehreren sechsten Ausführungsformen, zusätzlich zu jeglichen der ersten bis fünften Ausführungsformen, umfasst das Anwenden des tiefen neuronalen Netzwerks das Anwenden des tiefen neuronalen Netzwerks auf eine Eingabe, die das holographische Zielbild und eine Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst.
In einer oder mehreren siebten Ausführungsformen, zusätzlich zu jeglichen der ersten bis sechsten Ausführungsformen, umfasst das Verfahren ferner das Anwenden des tiefen neuronalen Netzwerks auf eine zweite Eingabe, die das holographische Zielbild und eine zweite Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst, wobei die zweite Anzahl von Iterationen geringer ist als die Anzahl von Iterationen, um einen zweiten Feedback-Stärkewert zu erzeugen.
In einer oder mehreren achten Ausführungsformen, zusätzlich zu jeglichen der ersten bis siebten Ausführungsformen, erzeugt das Anwenden des tiefen neuronalen Netzwerks ferner einen zweiten Feedback-Stärkewert, wobei der Feedback-Stärkewert für einen Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll, und der zweite Feedback-Stärkewert für einen zweiten Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll.
In einer oder mehreren neunten Ausführungsformen, zusätzlich zu jeglichen der ersten bis achten Ausführungsformen, umfasst das Anwenden des iterativen Modells das Anwenden der iterativen Verbreitung durch Verwenden des Feedback-Stärkewerts für einen ersten Satz von Iterationen des iterativen Modells, und das Anwenden der iterativen Verbreitung durch Verwenden des zweiten Feedback-Stärkewerts für einen zweiten Satz von Iterationen des dem ersten Satz von Iterationen nachfolgenden iterativen Modells.
In einer oder mehreren zehnten Ausführungsformen, zusätzlich zu jeglichen der ersten bis neunten Ausführungsformen, umfasst das tiefe neuronale Netzwerk jeweils eine oder mehrere Faltungsschichten, um mehrere Merkmalsabbildungen basierend auf dem holographischen Zielbild oder vorhergehenden Merkmalsabbildungen zu erzeugen, und eine vollständig verbundene Schicht, die auf die Faltungsschichten folgt, um den Feedback-Stärkewert zu erzeugen.
In einer oder mehreren elften Ausführungsformen, zusätzlich zu jeglichen der ersten bis zehnten Ausführungsformen, entspricht das iterative Verbreitungs-Feedback-Modell einer holographischen Abbildungsanordnung, um ein holographisches Bild in der Bildebene durch Verwenden eines Beugungsmusterbildes zu erzeugen, wobei das Darstellen des endgültigen Beugungsmusterbilds in der holographischen Ebene das Darstellen des endgültigen Beugungsmusterbildes über einen räumlichen Lichtmodulator umfasst, und das Verfahren ferner das Projizieren von räumlich kohärentem Licht über eine Lichtquelle auf den räumlichen Lichtmodulator umfasst, um ein endgültiges holographisches Bild in der Bildebene zu erzeugen.
In einer oder mehreren zwölften Ausführungsformen beinhaltet ein Gerät oder ein System einen Speicher und einen oder mehrere Prozessoren, um ein Verfahren gemäß jeglicher der obigen Ausführungsformen auszuführen.
In einer oder mehreren dreizehnten Ausführungsformen beinhaltet mindestens ein nichtflüchtiges maschinenlesbares Medium mehrere Anweisungen, die als Reaktion darauf, auf einem Datenverarbeitungsgerät ausgeführt zu werden, das Datenverarbeitungsgerät dazu veranlassen, ein Verfahren gemäß jeglicher der obigen Ausführungsformen auszuführen.
In einer oder mehreren vierzehnten Ausführungsformen kann ein Gerät Mittel zum Ausführen eines Verfahrens gemäß jeglicher der obigen Ausführungsformen beinhalten.
Es wird erkannt, dass die Ausführungsformen nicht auf die so beschriebenen Ausführungsformen beschränkt sind, sondern mit Modifikation und Abwandlung praktiziert werden können, ohne von dem Umfang der beigefügten Ansprüche abzuweichen. Zum Beispiel können die obigen Ausführungsformen eine spezifische Kombination von Merkmalen beinhalten. Die obigen Ausführungsformen sind jedoch in dieser Hinsicht nicht beschränkt, und in verschiedenen Implementierungen können die obigen Ausführungsformen das Durchführen nur eines Untersatzes solcher Merkmale, das Durchführen einer unterschiedlichen Reihenfolge solcher Merkmale, das Durchführen einer unterschiedlichen Kombination solcher Merkmale und/oder das Durchführen zusätzlicher Merkmale als der explizit aufgeführten Merkmale beinhalten. Der Umfang der Ausführungsformen sollte deshalb mit Bezug auf die beigefügten Ansprüche zusammen mit dem vollständigen Umfang von sich aus diesen Ansprüchen ergebenden Äquivalenten bestimmt werden.

Claims

Verfahren zum Erzeugen holographischer Bilder, das Folgendes umfasst: das Empfangen eines holographischen Zielbildes, das einem Benutzer in einer Bildebene dargestellt werden soll; das Anwenden eines tiefen neuronalen Netzwerks auf das holographische Zielbild, um einen Feedback-Stärkewert für das Fehler-Feedback bei der Bestimmung eines Nur-Phasen-Beugungsmusterbildes durch Verwenden eines iterativen Verbreitungs-Feedback-Modells zu erzeugen, wobei das Nur-Phasen-Beugungsmusterbild zur Darstellung in einer holographischen Ebene ein entsprechendes holographisches Bild in der Bildebene erzeugen soll; das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf dem holographischen Zielbild und durch Verwenden des Feedback-Stärkewerts, um ein endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung in der holographischen Ebene zu erzeugen; und das Darstellen des endgültigen Beugungsmusterbildes in der holographischen Ebene, um ein entsprechendes endgültiges holographisches Bild in der Bildebene zu erzeugen.
Verfahren nach Anspruch 1, wobei das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts Folgendes umfasst: das Empfangen einer aktuellen Phasen- und Amplitudenbildebenenschätzung; und das Ersetzen einer Amplitudenebene der aktuellen Phasen- und Amplitudenbildebenenschätzung durch ein nächstes Zielamplitudenbild, das eine Summe von dem holographischen Zielbild und einem Produkt von dem Feedback-Stärkewert und einem Korrekturterm umfasst, der eine Differenz zwischen dem holographischen Zielbild und der aktuellen Phasen- und Amplitudenbildebene umfasst, um ein aktuelles amplitudenangepasstes Bild zu erzeugen.
Verfahren nach Anspruch 2, wobei das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf den holographischen Zielbilddaten und durch Verwenden des Feedback-Stärkewerts ferner Folgendes umfasst: das Anwenden eines inversen Verbreitungsmodells auf ein vorheriges amplitudenangepasstes Bild, um eine holographische Phasen- und Amplitudenebenenschätzung zu erzeugen; das Normalisieren einer Amplitudenebene der holographischen Phasen- und Amplitudenebenenschätzung, um ein Nur-Phasen-Beugungsmusterbild zu erzeugen; und das Anwenden eines Vorwärtsverbreitungsmodells auf das Nur-Phasen-Beugungsmusterbild, um die aktuelle Phasen- und Amplitudenbildebenenschätzung zu erzeugen.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das tiefe neuronale Netzwerk einem vortrainierten tiefen neuronalen Netzwerk entspricht, wobei das tiefe neuronale Netzwerk mindestens einen von weniger Faltungskerneln in Bezug auf das vortrainierte tiefe neuronale Netzwerk oder eine verringerte Bittiefe von Gewichten des tiefen neuronalen Netzwerks in Bezug auf das vortrainierte tiefe neuronale Netzwerk umfasst, und wobei das holographische Zielbild vor dem Anwenden des tiefen neuronalen Netzwerks herabgesampled wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das holographische Zielbild erste und zweite Farbebenen umfasst, und das Anwenden des tiefen neuronalen Netzwerks auf das holographische Zielbild den Feedback-Stärkewert für die erste Farbebene und einen zweiten Feedback-Stärkewert für die zweite Farbebene erzeugt, wobei das Verfahren ferner Folgendes umfasst: das Anwenden des iterativen Verbreitungs-Feedback-Modells basierend auf der zweiten Farbebene des holographischen Zielbildes und durch Verwenden des Feedback-Stärkewerts, um ein zweites endgültiges Nur-Phasen-Beugungsmusterbild zur Darstellung in der holographischen Ebene oder einer zweiten holographischen Ebene zu erzeugen.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das Anwenden des tiefen neuronalen Netzwerks das Anwenden des tiefen neuronalen Netzwerks auf eine Eingabe umfasst, die das holographische Zielbild und eine Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst.
Verfahren nach Anspruch 6, das ferner Folgendes umfasst: das Anwenden des tiefen neuronalen Netzwerks auf eine zweite Eingabe, die das holographische Zielbild und eine zweite Anzahl von Iterationen zur Anwendung des iterativen Verbreitungs-Feedback-Modells umfasst, wobei die zweite Anzahl von Iterationen geringer ist als die Anzahl von Iterationen, um einen zweiten Feedback-Stärkewert zu erzeugen.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Anwenden des tiefen neuronalen Netzwerks ferner einen zweiten Feedback-Stärkewert erzeugt, wobei der Feedback-Stärkewert für einen Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll, und der zweite Feedback-Stärkewert für einen zweiten Satz von Iterationen des iterativen Verbreitungs-Feedback-Modells verwendet werden soll.
Verfahren nach Anspruch 8, wobei das Anwenden des iterativen Modells das Anwenden der iterativen Verbreitung durch Verwenden des Feedback-Stärkewerts für einen ersten Satz von Iterationen des iterativen Modells umfasst, und das Anwenden der iterativen Verbreitung durch Verwenden des zweiten Feedback-Stärkewerts für einen zweiten Satz von Iterationen des dem ersten Satz von Iterationen nachfolgenden iterativen Modells.
Verfahren nach einem der Ansprüche 1 bis 9, wobei das tiefe neuronale Netzwerk jeweils eine oder mehrere Faltungsschichten umfasst, um mehrere Merkmalsabbildungen basierend auf dem holographischen Zielbild oder vorhergehenden Merkmalsabbildungen zu erzeugen, und eine vollständig verbundene Schicht, die auf die Faltungsschichten folgt, um den Feedback-Stärkewert zu erzeugen.
Verfahren nach einem der Ansprüche 1 bis 10, wobei das iterative Verbreitungs-Feedback-Modell einer holographischen Abbildungsanordnung entspricht, wobei das Verfahren ferner Folgendes umfasst: das Darstellen des endgültigen Beugungsmusterbildes über einen räumlichen Lichtmodulator; und das Projizieren von räumlich kohärentem Licht auf den räumlichen Lichtmodulator, um das entsprechende endgültige holographische Bild in der Bildebene zu erzeugen.
System, das Folgendes umfasst: einen Speicher; und einen mit dem Speicher gekoppelten Prozessor, wobei der Prozessor ein Verfahren wie in einem der Ansprüche 1 bis 11 beansprucht ausführen soll.
Vorrichtung, die Mittel umfasst, um ein Verfahren wie in einem der Ansprüche 1 bis 11 beansprucht auszuführen.
Maschinenlesbare Speicherung, die maschinenlesbare Anweisungen beinhaltet, die, wenn ausgeführt, ein Verfahren wie in einem der Ansprüche 1 bis 11 beansprucht implementieren.