DE69433404T2 - Mehrschichtiges optoelektrisches neuronales netzwerk - Google Patents

Mehrschichtiges optoelektrisches neuronales netzwerk Download PDF

Info

Publication number
DE69433404T2
DE69433404T2 DE69433404T DE69433404T DE69433404T2 DE 69433404 T2 DE69433404 T2 DE 69433404T2 DE 69433404 T DE69433404 T DE 69433404T DE 69433404 T DE69433404 T DE 69433404T DE 69433404 T2 DE69433404 T2 DE 69433404T2
Authority
DE
Germany
Prior art keywords
mloenn
medium
pattern
neural network
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69433404T
Other languages
English (en)
Other versions
DE69433404D1 (de
Inventor
M. Harold STOLL
J. James REIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northrop Grumman Corp
Original Assignee
Northrop Grumman Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northrop Grumman Corp filed Critical Northrop Grumman Corp
Publication of DE69433404D1 publication Critical patent/DE69433404D1/de
Application granted granted Critical
Publication of DE69433404T2 publication Critical patent/DE69433404T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024Hologram nature or properties
    • G03H1/0248Volume holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/16Processes or apparatus for producing holograms using Fourier transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • G06V10/893Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter
    • G06V10/895Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators characterised by the kind of filter the filter being related to phase processing, e.g. phase-only filters
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H1/265Angle multiplexing; Multichannel holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0066Adaptation of holography to specific applications for wavefront matching wherein the hologram is arranged to convert a predetermined wavefront into a comprehensive wave, e.g. associative memory
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2260/00Recording materials or recording processes
    • G03H2260/50Reactivity or recording processes
    • G03H2260/54Photorefractive reactivity wherein light induces photo-generation, redistribution and trapping of charges then a modification of refractive index, e.g. photorefractive polymer

Description

  • TECHNISCHES GEBIET
  • Diese Erfindung betrifft ein dreidimensionales holographisches Volumenmedium, bei dem ein hrschichtiges opto-elektronisches neurales Netzwerk verwendet wird, um Muster zu klassifizieren, und ein Verfahren, um dasselbe zu betreiben.
  • STAND DER TECHNIK
  • Mehrschichtige neurale Netzwerke können verwendet werden, um Muster zu klassifizieren. Diese Netzwerke bestehen typischerweise aus Schichten nicht-linear verarbeitender Elemente oder "Neuronen", die in einer im hohen Maße miteinander verbundenen Hierarchie angeordnet sind. Jedes Neuron in der obersten Schicht der Netzwerkhierarchie akzeptiert als Eingang eine gewichtete Summe über alle Elemente der Auflösung des Musters, das zu klassifizieren ist. Jede dieser Summen wird dann nicht-linear durch jedes Neuron der obersten Schicht verarbeitet, und an die zweite Schicht des Netzwerks ausgegeben, bei dem jedes Neuron als Eingang eine gewichtete Summe über alle neuralen Ausgänge der ersten Schicht akzeptiert. Dieses Verfahren fährt fort, bis die Ausgabe- oder Klassifikationsschicht des Netzwerkes erreicht ist. Die Ausgänge dieser Schicht werden dann als die gewünschten Klassifikationsergebnisse interpretiert.
  • Üblicherweise sind nicht mehr als zwei oder drei Schichten erforderlich, um eine Musterklassifikation zu erreichen, und üblicherweise nimmt die Anzahl von Neuronen in jeder Schicht ab, wenn man sich an die Klassifikationsschicht annähert. Das Netzwerk wird trainiert, Muster zu klassifizieren, indem die Wichtungen vorausgewählt werden, die die verschiedenen Schichten miteinander verbinden. Eine gute theoretische Beschreibung von mehrschichtigen neuralen Netzwerken kann in Parallel Distributed Processing Explorations in the Microstructure of Cognition, Vol. 1: Foundations von D. E. Rumelhart und J. L. McClelland (HIT Press, 1986) gefunden werden.
  • Mathematisch kann das Funktionieren einer einzigen Schicht eines mehrschichtigen neuralen Netzwerkes wie folgt beschrieben werden:
    Figure 00020001
    wobei der Mustervektor σ(i) der Eingang zu der Schicht "i"; die Matrix R(i) die Wichtungen der Neuroneingänge darstellt; N die Anzahl von Netzwerkschichten; und g[•] eine nicht-lineare Vektorfunktion ist, die jedes Element von f(i) identisch bearbeitet. Typischerweise bearbeitet g[•] jedes Element "k" von f(i), wie in 1 angegeben. Die besondere nicht-lineare Transferfunktion, die in 1 dargestellt ist, hat, was man üblicherweise als eine Sigmodialform bezeichnet, mit einstellbarem Schwell- ("a") und Sättigungs- ("b") -werten.
  • 2 zeigt ein Ausführungsbeispiel eines neuralen Dreischichtnetzwerks, das aus einem Drei-Auflösungs-Element-Eingangsmuster mit zwei Ausgangsklassen besteht. Jede Schicht besteht aus einem vollständig miteinander verbundenen Satz von Wichtungen, die den Eingang für die Summenbildner verbinden. Der Ausgang von den Summenbildnern wird über eine Nicht-linearität geführt, die die Verarbeitung für diese Schicht abschließt. Der Ausgang von einer Schicht dient als Eingang für die nächste Schicht.
  • Musterklassifikationsprobleme, bei denen Eingangsmuster zweidimensionale Bilder sind, erfordern typischerweise neurale. Zweischichtnetzwerke, die bis zu 102 Klassifikationsschichtneuronen und 103 Eingangsschichtneuronen erhalten können. Für ein 104-Pixelbild und vollständig miteinander verbundene Schichten wird R(1) eine 104 × 103-Elementenmatrix, und R(2) eine 103 × 102-Elementenmatrix. Echtzeit (bis 10–3 s)-Klassi fikation unbekannter Bilder erfordert daher in der Größenordnung von zwanzig Milliarden Operationen pro Sekunde [= 2 × (107 + 105) × 103]. Bestehende vollständig digitale elektronische Computer, die für einen derartigen Durchsatz fähig sind, nehmen viele Quadratfuß Volumen ein und verbrauchen tausende Watt Leistung.
  • Optische Vorrichtungen, in denen die Matrizes R(1) in der Form von zweidimensionalen Fourierraumhologrammen gespeichert werden können, umfassen solche, die beschrieben sind von: D. Gabor in "Character Recognition by Hologrophy" in Nature, 208, S. 422 (1965); J. T. LaMacchia und D. L. White in "Coded Multiple Exposure Holograms", Applied Optics, 7 S. 91 (1968); J. R. Leger und S. H. Lee in "Hybrid Optical Processor for Pattern Recognition and Classification Using a Generalized Set of Pattern Functions", Applied Optics, 21, S. 274 (1982); und D. A. Gregory und H. K. Liu in "Large-Memory Real-Time Multichannel Multiplexed Pattern Recognition", Applied Optics, 23, S. 4560 (1984). Außerdem wird in einer Veröffentlichung von T. Jannson, H. M. Stoll, und C. Karaguleff (" The Interconnectability of neuro-optic processors", Proceedings of the International Society for Optical Engineering, Vol. 698, S. 157 (1986) auf Seite 162 eine optische holographische Volumenarchitektur zum Berechnen von Matrix-Vektor-Produkten beschrieben. Diese Offenbarung ist jedoch in dem Zusammenhang des Schaffens von Verbindungen für ein rein optisches neurales Netzwerk der Rückstrom- (Rückkopplungs-)-Art.
  • Die US-5 121 228 offenbart eine holographische Lernmaschine mit einem holographischen Aufzeichnungsmedium, Photodetektoren, die von dem Medium gebrochenes Licht empfangen und N elektrischen Schaltungen, die entsprechende Paare von Ausgängen der Photodetektoren abziehen, Schwellwertoperationen für die Differenzen durchführen und sie mit Zielventilen vergleichen. Ein Amplitudenmodulator für positive und negative Fehler in einem 2N-Feld wird angeschaltet, um mit dem Bildstrahl kohärentes Licht auf das Aufzeichnungsmedium zu übertragen. Die Merk male des Oberbegriffs der Ansprüche sind aus diesem Dokument bekannt.
  • Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung anzugeben, das bzw. die ein dreidimensionales holographisches Volumenmedium einsetzt, in dem Verbindungen eines mehrschichtigen opto-elektronischen neuralen Netzwerkes gespeichert sind, und das verwendet wird, um Mustervektoren zu multiplizieren.
  • Es ist eine weitere Aufgabe dieser Erfindung, eine nichtlineare Verarbeitungsvorrichtung anzugeben, mit der auf die Zwischen- und Ausgabemustervektoren, die in einem mehrschichtigen opto-elektronischen neuralen Netzwerk berechnet werden, eingewirkt werden kann.
  • Es ist eine weitere Aufgabe dieser Erfindung, ein kompaktes (möglicherweise weniger als 200 Kubikinch), mehrschichtiges opto-elektronisches neurales Netzwerk kleiner Leistung (möglicherweise weniger als 10 Watt elektrischer Primärleistung) anzugeben, das 2 × 1010 (zwanzig Milliarden) arithmetische Operationen pro Sekunde ausführen kann.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Gemäß der vorliegenden Erfindung wird ein mehrschichtiges optoelektronisches neurales Netzwerk (MLOENN) angegeben, das umfaßt
    ein holographisches Volumenmedium mit einer Vielzahl von Fourierraumvolumenhologrammen, die darin gespeicherte Wichtvektoren des neuralen Netzwerkes darstellen;
    Mittel, die einen Ausgang aufweisen, der optisch an das Medium über erste Fouriertransformationslinsenmittel gekoppelt sind, zur räumlichen Modulation eines räumlich gleichförmigen Laserstrahls gemäß einem unbekannten Eingangsmuster;
    Mittel, die einen Eingang aufweisen, der optisch über zweite Fouriertransformationslinsenmittel an ein Winkelspektrum ebener Wellen gekoppelt ist, die durch das Medium als Reaktion auf den Ausgang der Mittel zur räumlichen Modulation erzeugt werden, zum Detektieren von ebenen Wellen, die den inneren Vektorprodukten entsprechen, die in dem Medium als Antwort auf das unbekannte Muster erzeugt werden;
    Mittel, durch die der Ausgang der Detektionsmittel auf eine serielle Weise nichtlinear verarbeitet wird;
    Mittel, durch die der nichtlinear verarbeitete Ausgang temporär derart gespeichert wird, daß das Netzwerk virtuell ist, und wobei nur eine Schicht zu einer Zeit existiert, wobei die Zwischenergebnisse in dem temporären Speichermitteln gespeichert werden;
    Mittel, durch die der Ausgang der temporären Speichermittel selektiv ausgelesen werden kann oder in die Mittel zur räumlichen Modulation zur Weiterverarbeitung durch den MLOENN als Eingangssignale für eine nächste Schicht von dem MLOENN zurückgeführt werden kann, dadurch gekennzeichnet, daß die Mittel zur räumlichen Modulation geometrisch partitioniert sind, um die unabhängige Speicherung einzelner MLOENN-Schichtwichtvektoren ν(k,i) (k = 1, 2, ..., K; i = 1, 2, ..., N – 1),
    und die unabhängige Anregung einzelner MLOENN-Schichten durch Muster
    Figure 00050001
    zu ermöglichen, derart, daß alle ν(k,i) und σ(i) einen gleichen physikalischen Anteil der Mittel zur räumlichen Modulation belegen, wobei N die Anzahl von Vektorschichten ist, und K eine Anzahl innerer Vektorprodukte ist.
  • Gemäß der vorliegenden Erfindung wird auch ein Verfahren zum Erzeugen innerer Vektorprodukte (fk (i)) mit den folgenden Schritten angegeben:
  • Laden eines unbekannten Mustervektors σ(i) (i = 1, 2, ..., N – 1) in Mittel zur räumlichen Lichtmodulation unter Verwendung eines gleichen vorbestimmten und festen lexikographischen Ordnungsschemas, das anfänglich eingesetzt wurde, um die Wichtvektoren ν(k,i) (i = 1, 2, ..., N – 1) in ein holographisches Volumenmedium (4) zu speichern,
    räumliches Modulieren eines ersten Laserstrahls ebener Wellen gemäß dem unbekannten Mustervektor;
    Verwenden von Phasenencodermitteln, um den räumlich modulierten ersten Laserstrahl ebener Wellen mit einer zweidimensionalen phasenencodierenden Zufallsfunktion zu multiplizieren;
    Übertragen eines phasenencodierten Lichtmusters, das für den multiplizierten räumlich modulierten ersten Laserstrahl ebener Wellen repräsentativ ist, von den Phasenencodermitteln zu ersten Fouriertransformationslinsenmitteln;
    Erzeugen einer Fouriertransformation des phasenencodierten Lichtmusters in dem holographischen Volumenmedium mit den ersten Fouriertransformationslinsenmitteln; Erzeugen eines Winkelspektrums ebener Wellen mit Amplituden, die proportional zu inneren Vektorprodukten σ(i)•ν(k,i) (k = 1, 2, ... K; i = 1, 2, ..., N – 1) und Fortpflanzungswinkeln Ψk(k = 1, 2, ..., K)sind, die identisch zu den Referenzebenenwellenwinkeln Ψk sind, in dem holographischen Volumenmedium,
    Fokussieren von ebenen Wellen des Winkelspektrums ebener Wellen, das in dem holographischen Volumenmedium erzeugt wurde, auf Detektionsmittel mit zweiten Fouriertransformationslinsenmitteln;
    Auslesen von Signalen aus den Detektionsmitteln, die innere Vektorprodukte repräsentieren, die den ebenen Wellen entsprechen, die auf die Detektionsmittel fokussiert wurden;
    serielles und nichtlineares Verarbeiten des Ausgangs der Detektionsmittel;
    temporäres Speichern des nichtlinear verarbeiteten Ausgangs der Detektionsmittel; und
    selektives Auslesen des temporär gespeicherten Ausgangs der Detektionsmittel als Mustererkennungsergebnisse oder Zurückführen des temporär gespeicherten Ausgangs der Detektionsmittel zurück in die Mittel zur räumlichen Modulation zur weiteren neuralen Netzwerkverarbeitung als Eingangssignale eines nächsten Mustervekors σ(i+1) dadurch gekennzeichnet, daß die Mittel zur räumlichen Modulation geometrisch partitioniert sind, um die unabhängige Speicherung der einzelnen MLOENN-Schichtwichtvektoren ν(k,i) (k = 1, 2, ..., K; i = 1, 2, ..., N – 1), und die unabhängige Anregung individueller MLOENN-Schichten durch Muster
    Figure 00070001
    zu ermöglichen, derart, daß alle ν(k,i) und σ(i) einen gleichen physikalischen Anteil der Mittel zur räumlichen Modulation einnehmen, wobei N die Anzahl von Vektorschichten und K eine Anzahl von inneren Vektorprodukten ist.
  • Gemäß der Erfindung akzeptiert ein mehrschichtiges neurales Netzwerk als Eingang einen Mustervektor σ(1) und gibt als Ausgang ein Klassifikationsvektor σ(N) aus. Alle σ(i) (i = 1, 2, ..., N – 1) werden vorbestimmten Anteilen des Netzwerkeingangsumformers zugewiesen, der aus einem zweidimensionalen räumlichen Lichtmodulator (SLM) besteht, der auf oder in dichter Nähe zu einem zweidimensionalen Phasenencoder (Diffuser) montiert ist. Wichtmatrizes R(i) des neuralen Netzwerkes sind in der Form von dreidimensionalen Fourierraumhologrammen gespeichert, wobei jedes Hologramm einer einzelnen Zeile einer individuellen R(i) entspricht. Diese Zeilen werden im folgenden als Wichtvektoren bezeichnet. Auf alle Wichtvektoren einer gegebenen R(i) wird gleichzeitig (parallel) zugegriffen, indem die Volumenhologramme mit der Fouriertransformation des Musters oder des Eingangsvektors σ(i) belichtet werden, das oder der mit der betreffenden R(i) zu wichten (oder zu multiplizieren) ist. Elemente der Vektorprodukte f(i) (innere Produkte zwischen den Wichtvektoren und σ(i)) werden bestimmt, indem die Eigenschaften des Lichts gemessen werden, das von den Volumenhologrammen abgestrahlt wird: der Winkel von jedem der abgestrahlten Lichtstrahlen indiziert das Element (d. h. indiziert, welcher Wichtvektor mit dem Eingangsvektor σ(i) multipliziert wird oder darauf zeigt), während die Amplitude von jedem der abgestrahlten Lichtstrahlen proportional zu dem Quadrat der Größe des indizierten inneren Produkts ist. Nicht-lineares Verarbeiten der individuellen Elemente des Vektorprodukts f(i) wird erreicht, indem jeder abgestrahlte Lichtstrahl auf ein Detektorfeldelement fokussiert wird, und der Detektorfeldausgang unter Verwendung von z. B. einer elektronischen Nachschlagtabelle oder eines elektrisch sättigbaren Verstärkers mit einstellbaren Schwell- und Sättigungswerten weiterverarbeitet wird. Der nicht-linear verarbeitete f(i) (gleich zu σ(i+1) wird dann temporär in einem elektronischen Pufferspeicher gehalten, bevor er in den Bereich des SLM geladen wird, der der Schicht "i + 1" zugewiesen ist. Dieses Verfahren wird fortgesetzt, bis σ(N) erzeugt ist.
  • Zusätzlich zum Schaffen des Rechendurchsatzes, der weit über den verfügbaren oder projizierten vollständig digitalen elektronischen neuralen Netzwerke ist, ermöglicht die vorliegende Erfindung auf mehr Wichtvektorinformation (das Produkt von der Wichtvektorzahl und der Wichtvektorgröße) zuzugreifen, als es die vorher erwähnten Vorrichtungen machen, in denen Wichtvektoren in der Form von zweidimensionalen Fourierraumhologrammen gespeichert sind. Das Verhältnis von Speicherfähigkeiten (Speicherkapazität für eine dreidimensionale Hologrammvorrichtung geteilt durch die Speicherkapazität einer zweidimensionalen Hologrammvorrichtung) ist gleich dem maximalen (linearen) Bandbreitenprodukt oder der Anzahl linear geordneter Auflösungselemente, das in einem optischen System erreicht werden kann. Die letztere Zahl ist typischerweise in der Größenordnung von 3000.
  • Genauer schafft die Erfindung eine Musterklassifikationsvorrichtung und ein Verfahren zum Betreiben dergleichen. Die Vorrichtung umfaßt ein volumenhologrammisches Medium mit einer Vielzahl von Fourierraumvolumenhologrammen, die gespeicherte Wichtvektoren repräsentieren. Die Vorrichtung umfaßt ferner einen Raumlichtmodulator und einen Phasenencoder. Der Phasenencoder hat einen Ausgang, der optisch an das holographische Volumenmedium über eine erste Fouriertransformationslinse gekoppelt ist. Der räumliche Lichtmodulator moduliert räumlich einen räumlich gleichförmigen Laserstrahl gemäß einem unbekannten Muster, das in den räumlichen Lichtmodulator geladen wurde. Der zweidimensionale Phasenencoder bewirkt, daß der räumlich modulierte Laserstrahl vor der Anwendung auf das photographische Volumenmedium räumlich verteilt wird. Die Vorrichtung umfaßt auch einen Detektor mit einem Eingang, der über zwei Fouriertransformationslinsenmittel optisch an ein Winkelspektrum ebener Wellen gekoppelt ist, die von dem holographischen Volumenmedium als Reaktion auf den Ausgang des räumlichen Modulators, des Phasenencoders und der ersten Fourierlinse erzeugt werden. Der Detektor detektiert fokussierte ebene Wellen, die den inneren Vektorprodukten entsprechen, die in dem holographischen Volumenmedium als Reaktion auf den unbekannten Mustervektor erzeugt werden. Die Vorrichtung umfaßt ferner eine nicht-lineare elektronische Vorrichtung zum seriellen Ver arbeiten der detektierten inneren Produkte, Mittel zum temporären Speichern der nicht-linear verarbeiteten inneren Produkte und Mittel zum Zuführen der nicht-linear verarbeiteten inneren Produkte zurück in den räumlichen Lichtmodulator.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die oben dargelegten und weiteren Merkmale der Erfindung werden bei der folgenden detaillierten Beschreibung der Erfindung klarer, wenn sie im Zusammenhang mit den beigefügten Zeichnungen gelesen wird, wobei:
  • 1 das nicht-lineare Verarbeiten von dem Element "k" des neuralen Eingangsvektors [f(i)]k darstellt, um ein entsprechendes Element des neuralen Ausgangsvektors von [σ(i+1)]k zu erzeugen, wobei "a" und "b" der Schwell- bzw. Sättigungswert der sich ergebenden neuralen sigmodialen Übertragungsfunktion sind;
  • 2 schematisch ein Beispiel eines neuralen Dreischichtnetzwerks darstellt;
  • 3 eine perspektivische Zeichnung eines opto-elektronischen neuralen Mehrschichtnetzwerks (MLOENN) der Erfindung zeigt,
  • 4 eine perspektivische Zeichnung des MLOENN zeigt, das das Speichern von Wichtvektoren ν(k,i) (i = 1, 2 ..., N – 1) als eine Folge von K Wichtvektoren (k = 1, 2, .., K) darstellt;
  • 5 die räumliche Lichtmodulatorgeometrie darstellt, die verwendet wird, um die Wichtvektoren ν(k,i), (i = 1, 2, ..., N – 1) zu speichern;
  • 6(a), 6(b) und 6(c) die räumliche Modulatorgeometrie darstellen, die verwendet wird, um Muster σ(1) (das Eingangsmuster für das neurale Netzwerk) bis σ( N–1 ) (den Eingang zu der N-ten Schicht eines neuralen N-Schichtnetzwerkes) sequentiell zu verarbeiten, wobei 6(a) das erste Laden von σ( i ) in den gleichen Bereich von dem SLM anzeigt, der verwendet wird, um den ν(k, i) (k = 1, 2, ..., K) zu laden, wobei 6(b) das anschließende Laden von σ(2) in den gleichen Bereich des SLM zeigt, der verwendet wird, um den ν(k,2) (k = 1, 2, ..., K) zu laden, und 6(c) das Ladeverfahren zeigt, wenn es fortgesetzt wird, bis σ(N–1) in den gleichen Bereich des SLM geladen wird, der verwendet wird, um den ν(k,N–1) (k = 1, 2, ..., K zu laden;
  • 7 eine Aufsicht des MLOENN zeigt, der die Erzeugung, Detektion und nicht-lineare Verarbeitung eines einzelnen inneren Vektorprodukts fk (i) dargestellt; und
  • 8 eine perspektivische Zeichnung einer weiteren Ausführung eines MLOENN zeigt, die das Speichern eines einzelnen Wichtvektors ν(k,i) (i = 1, 2, ..., N – 1) einer Folge von Wichtvektoren (k = 1, 2, ... K) darstellt, wobei diese Ausführung einen Referenzlaserstrahl ebener Wellen, der in zwei Dimensionen abtastet, in Verbindung mit einem zwei-dimensionalen Detektorfeld einsetzt.
  • WEGE ZUM AUSFÜHREN DER ERFINDUNG
  • Das opto-elektronische neurale Mehrschichtnetzwerk (MLOENN) klassifiziert Muster, indem es wiederholt den durch Gleichung (1) beschriebenen Algorithmus ausführt. Dieser Algorithmus besteht aus: (1) Berechnen des Matrixvektorprodukts R(i)σ(i) um f(i) zu erhalten, und (2) nicht-lineares Verarbeiten von f(i), um σ(i+1) zu erhalten, was dann der Eingang für die nächste Netzwerkschicht wird. Das Netzwerk ist in dem Sinne virtuell, daß nur eine Schicht tatsächlich zu einer Zeit "existiert": Zwischenergebnisse (d. h. σ(i) für i > 1) werden temporär in einem Pufferspeicher gespeichert, bevor sie in den MLOENN zur weiteren Verarbeitung zurückgeführt werden.
  • Das MLOENN berechnet R(i)σ(i), indem es die inneren Produkte zwischen den Zeilen von R(i) (im folgenden als Wichtvektoren bezeichnet) und σ(i) parallel berechnet. Mathematisch berechnet das MLOENN:
    Figure 00120001
    wobei ν(k,i) das Transponierte der kten Zeile von R(i) ist, fk (i) das kte Element von f(i) ist, und K die Anzahl an Zeilen von R(i) ist. σ(i) ist eine lexikographische Darstellung des Eingangsmusters σ(i) (oder ein Zwischenergebnis des neuralen Netzwerkes, das verarbeitet wird), wobei jedes Auflösungselement oder jedes Pixel von σ(i) einem bestimmten Element von σ(i) entspricht.
  • Das MLOENN verarbeitet den fk (i) nicht-linear, indem der Letztere seriell durch irgendeine elektronische Vorrichtung mit einer geeigneten nicht-linearen Übertragungsfunktion (wie von dem in 1 gezeigten Ausführungsbeispiel dargestellt) der Reihe nach geschickt wird.
  • Eine perspektivische Darstellung des MLOENN wird in 3 dargestellt. Das MLOENN umfaßt einen zweidimensionalen räumlichen Lichtmodulator (SLM) 1, eine zweidimensionalen Phasenencoder 2, eine erste Fouriertransformationslinse 3, ein Medium 4, in dem Volumenhologramme gespeichert sind, eine zweite Fouriertransformationslinse 5, ein lineares Detektorfeld 6, eine nicht-lineare Verarbeitungsvorrichtung 12, und einen Pufferspeicher 13. Strahlen 9 stellen ebene Wellen dar, die in dem Medium 4 erzeugt werden (mit Amplituden fk (i), k = 1, 2, ..., K) und Strahlen 10 stellen Wellen (auch mit Amplituden fk (i), k = 1, 2, ..., K) dar, die zu dem Detektor 6 konvergieren (d.h. darauf fokussiert sind). Mit Bezug auf die Gleichung (1) stellt σ(1)) das zu klassifizierende Eingangsmuster dar, wobei g[f(N)] das letztendliche Klassifikationsergebnis darstellt, und σ(i+1) einen Mustervektor einer Zwischenschicht (i = 1, 2, ..., N – 1) darstellt.
  • Gemäß 3 umfaßt der SLM 1 Mittel zum elektronischen Eingeben eines Wichtvektors oder Musters. Nur beispielsweise kann der SLM 1 eine Flüssigkristall-(LC)-Projektionsanzeigevorrichtung mit einer Vielzahl von Pixeln umfassen, die als Reaktion auf einen Eingang von z. B. einem digitalen Computer modifiziert werden. Die Verwendung einer LC-Projektionsanzeigevorrichtung ermöglicht es, daß ein neues Eingangsmuster oder ein neuer Wichtvektor in einem Medium 4 z. B. alle 1/30 Sekunden gespeichert wird. Eine beliebige einer Anzahl von Raumlichtmodulatorarten kann eingesetzt werden. Diese umfassen ferroelektrischen Flüssigkristall, gedrehten nematischen Flüssigkristall, eine Siliconmembran (verformbarer Spiegel) und magneto-optische Arten. Gemäß weiteren Ausführungen der Erfindung kann der SLM 1 einfach ein transparentes Substrat mit einem darauf ausgebildeten Muster sein.
  • Der zweidimensionale Phasendecoder 2 bewirkt, daß das optische Signal, das durch den SLM 1 tritt, räumlich verteilt wird, bevor es auf das Medium 4 angewendet wird. Diese Funktion kann erreicht werden, indem der Phasenencoder 2 aus einem transparenten Substrat konstruiert wird, wie z. B. Glas, und ein geätztes Zufallmuster auf einer Oberfläche des Substrats geschaffen wird. Die lineare Abmessung des kleinsten Merkmals des Zufallsmusters definiert die Kohärenzlänge des Phasenencoders 2. Die Signifikanz der Kohärenzlänge des Phasenencoders wird unten diskutiert.
  • Die Fouriertransformationslinsen 3 und 5 sind typischerweise sphärische Linsen.
  • Ein zur Zeit bevorzugtes Volumenhologrammmedium 4 umfaßt ein Eisen-dotiertes Lithiumniobat (LiNbO3 : Fe). Repräsentative Abmessungen des aktiven Volumens vom Medium 4 sind ein Zentimeter auf einer Seite. Hologramme können "permanent" fixiert werden, indem das LiNbO3 : Fe für ungefähr fünfundzwanzig Minuten auf ungefähr 160°C erwärmt wird (siehe z. B. D. L. Staebler, W. J: Burk, W. Phillips und J. J. Amodel in "Multiple storage and exposure of fixed holograms in Fe-doped LiNbO3", Applied Physics Letters, Vol. 26, Seite 182 (1975)). Von auf eine solche Weise fixierten Hologramme erwartet man, daß sie bei Raumtemperatur eine Halbwertszeit von ungefähr 100.000 Jahren haben. Andere geeignete Volumenhologrammmedien umfassen z. B. Strontiumbariumniobat(SrBaNbO3), photorefraktive Photopolymere und photochemische Photopolymere.
  • Das lineare Detektorfeld 6 kann z. B. eine ladungsgekoppelte Vorrichtung (CCD), ein selbstabtastendes Diodenfeld, ein Schottkydiodenfeld, ein pyroelektrisches Vorrichtungsfeld oder eine andere Vorrichtung sein, die optische Photone in eine elektrische Spannung oder einen elektrischen Strom konvertieren kann. Das lineare Detektorfeld 6 hat eine Auflösung oder eine Anzahl von photoansprechenden Elementen gleich der Anzahl von im Medium 4 gespeicherten Formen.
  • Der nicht-lineare Prozessor 12 kann irgendeine elektronische Vorrichtung mit einer geeignet geformten Übergangsfunktion sein. Beispiele umfassen digitale elektronische Nachschlagetabellen oder sättigbare elektronische Verstärker. Der Pufferspeicher 13 kann irgendein digitaler elektronischer Speicher sein. Der Ausgang des Pufferspeichers 13 kann zu dem SLM 1 als Eingang für die nächste Schicht des neuralen Netzwerkes zurückgeführt werden.
  • 4 zeigt die Speicherung von Wichtvektoren mit dem Medium 4. Wichtvektoren werden in dem Medium 4 auf die folgende Weise gespeichert:
    • 1. Die Wichtvektoren ν(k,i) (i = 1, 2, ..., N – 1) werden in den SLM 1 unter Verwendung eines vorbestimmten und festen lexikographischen Ordnungsschemas geladen;
    • 2. der SLM 1 moduliert räumlich einen räumlich gleichförmigen Laserstrahl 7 ebener Wellen;
    • 3. der Phasenencoder 2 multipliziert das von dem SLM 1 übertragene Lichtmuster durch eine zufällige zweidimensionale Phasenencodierfunktion;
    • 4. die erste Fouriertransformationslinse 3 (die an einem Brennpunkt (f1) von dem Phasenencoder 2 und einem Brennpunkt (f1) von dem Mittelpunkt des Mediums 4 angeordnet ist) erzeugt (bei ungefähr dem Mittelpunkt von Medium 4) die Fouriertransformation des Lichtmusters, das von dem Phasenencoder 2 übertragen wird;
    • 5. Gleichzeitig mit Schritt (4) beleuchtet der Referenzlaserstrahl 8 ebener Wellen (der temporär mit dem Laserstrahl 7 ebener Wellen kohärent ist) das Medium 4 im Winkel Ψk zu der Z2-Achse des Mediums 4 und in der X2-Z2-Ebene; und
    • 6. das Wichtvektorhologramm ν(k) wird in dem Medium 4 gespeichert.
    • 7. Dieses Verfahren wird für k = 1, 2, ..., K wiederholt, bis alle Fourierraumhologramme V(k) (k = 1, 2, .., K) in dem Medium 4 gespeichert wurden.
  • Wie hier verwendet, soll ein vorbestimmtes und festes lexikographisches Ordnungsschema bedeuten, daß Wichtvektoren in dem System auf eine konsistente Weise präsentiert werden. Wenn z. B. der Wichtvektor von einer Fernsehkamera mit einer Vielzahl von Abtastlinien abgeleitet wird, werden die Abtastlinien auf die gleiche Weise für jeden Wichtvektor eingegeben. Die Abtastlinien müssen nicht sequentiell eingegeben werden, solange sie konsistent eingegeben werden.
  • 5 zeigt die SLM-Partioniergeometrie, die verwendet wird, um die Wichtvektoren eines neuralen N-Schichtnetzwerkes zu speichern. Da die Wichtvektoren, wie oben angegeben, vorausgewählt sind, können die kten Zeilen von allen N – 1 Verbindungsmatrizes R(i) (i = 1, 2, ..., N – 1) simultan gespeichert werden. Die in 5 gezeigte SLM-Geometrie kann N – 1 Verbindungsmatrizes speichern, die jeweils ein Maximum von K Zeilen aufweisen. Matrizes mit weniger als K Zeilen können gespeichert werden, indem sie einfach die entsprechenden Abschnitte des SLM blockieren (d.h. elektronisch auf Null setzen).
  • Die 6(a), 6(b) und 6(c) zeigen die SLM-Geometrie, die verwendet wird, um die Muster σ(i)) bis σ(N–1) sequentiell zu verarbeiten. σ(i) (das zu klassifizierende Eingangsmuster) wird zuerst in den SLM geladen (alle anderen Bereiche des SLM werden elektronisch auf Null gesetzt, d.h. um den Laserstrahl 7 ebener Wellen zu blockieren), wie in 6(a) gezeigt. σ(2)) wird dann aus dem temporären Speicher 13 geholt und in den SLM geladen, wie in 6(b) gezeigt. Das gleiche Verfahren folgt, bis σ( N–1 ) geladen wurde, wie in 6(c) gezeigt, zu welcher Zeit der Speicher 13 das gewünschte Musterklassifikationsergebnis enthält. Die in den 6(a) bis 6(c) gezeigte Geometrie entspricht genau der in 5 gezeigten Geometrie, d. h. ν(k,1) belegt den genau gleichen physikalischen Bereich des SLM wie σ(i).
  • Der Laserstrahl 7 ebener Wellen kann von z. B. einem Argonionenlaser mit einer Wellenlänge von 4875 Å stammen. Der Referenzlaserstrahl 8 ebener Wellen stammt von der gleichen Quelle. Es ist auch innerhalb des Bereichs der Erfindung, das Medium 4, wenn es Eisen-dotiertes Lithiumniobat umfaßt, auf einer Temperatur von 130°C zu halten, während die Wichtvektoren eingegeben werden. Dieses führt zu einem gleichzeitigen Speichern und Fixieren der Wichtvektoren. Für diesen Fall findet ein gewisser Schrumpf des Mediums 4 statt, wenn es gekühlt wird, und ein Laserstrahl 7 ebener Wellen muß eine etwas kürzere Wellenlänge haben, um den Schrumpf des Materials zu kompensieren, wenn er auf ein für den MLOENN unbekanntes Muster angewendet wird.
  • Während des Speicherns von Wichtvektoren in dem Medium 4 zerstreut oder verteilt der Phasenencoder 2 vorteilhafterweise die Lichtenergie derart, daß die Energie gleichmäßig über das Volumen von dem Medium 4 verteilt wird. Wenn der Phasenencoder 2 nicht verwendet werden würde, würde die Lichtenergie von nachfolgenden Wichtvektoren in einem kleinen Bereich innerhalb des Volumens von dem Medium 4 fokussiert werden. Das würde zu einer Reduktion der Speicherkapazität und einer Zunahme der optischen Kreuzkopplungslöschung führen.
  • Auch wird während des Speicherns von Wichtvektoren der Referenzlaserstrahl über eine Ebene von dem Medium 4 abgetastet. Als ein Beispiel kann der Referenzlaserstrahl 8 ebener Wellen über plus oder minus fünf Grad abgetastet werden, bezogen auf die Mitte von dem Medium 4, in 0,01 Grad Schritten. Das heißt, daß, nachdem ein Wichtvektor gespeichert ist, der Referenzlaserstrahl 8 ebener Wellen vor dem Speichern eines nächsten Wichtvektors um 0,01 Grad verschoben wird.
  • 3 zeigt die Erzeugung innerer Vektorprodukte fk (i) (Strahlen 9 und 10), was auf die folgende Weise geschieht:
    • 1. Der Mustervektor σ(1) wird in den SLM 1 unter Verwendung des gleichen vorbestimmten und festen lexikographischen Ordnungsschemas geladen, das verwendet wurde, um ν(k,i) zu laden;
    • 2. der SLM 1 moduliert räumlich den Laserstrahl 7 ebener Wellen;
    • 3. der Phasenencoder 2 multipliziert das von dem SLM 1 übertragene Lichtmuster mit einer zufälligen zweidimensionalen Phasenencodierfunktion;
    • 4. die erste Fouriertransformationslinse 3 erzeugt (bei ungefähr dem Mittelpunkt des Mediums 4) die Fouriertransformation von dem durch den Phasenencoder 2 übertragenen Lichtmuster;
    • 5. das Volumenhologrammmedium 4 erzeugt ein Winkelspektrum ebener Wellen 9 mit Amplituden proportional zu ν(k,i)·σ(i) (k = 1, 2, ..., K) und Fortpflanzungswinkeln Ψk (k = 1, 2, ..., K) , die identisch zu den Referenzwinkeln Ψk ebener Wellen sind;
    • 6. eine zweite Fouriertransformationslinse 5, die auf einer Brennweite (f2) von dem Mittelpunkt von dem Medium 4 angeordnet ist, fokussiert jede ebene Welle (von dem Winkelspektrum ebener Wellen), die in dem Volumenhologrammmedium 4 erzeugt ist, auf das lineare Detektorfeld 6, das auf einer Brennweite (f2) von der zweiten Fouriertransformationslinse 5 angeordnet ist;
    • 7. die inneren Produkte fk (i) (entsprechend der fokussierten ebenen Wellen 10, die von der zweiten Fouriertransformationslinse 5 austreten) werden von dem Detektorfeld 6 ausgelesen;
    • 8. der Ausgang von dem Detektorfeld wird von dem nichtlinearen Prozessor 12 seriell verarbeitet;
    • 9. der Ausgang von dem nicht-linearen Prozessor 12 wird temporär in dem Pufferspeicher 13 gespeichert; und
    • 10. die Inhalte des Pufferspeichers 13 werden entweder ausgelesen und als Klassifikationsergebnis inter pretiert oder in den SLM 1 zu weiteren Vielschichtnetzwerkverarbeitung zurückgeführt.
  • Die oben beschriebene Bestimmung von fk (wegen der Klarheit lassen wir im folgenden den oberen Index "i" weg, der die Netzwerkschicht bezeichnet) kann in größerem Detail verstanden werden, indem die elektrischen Feldverteilungen betrachtet werden, die unter Näherungsbedingungen bei verschiedenen Punkten in dem MLOENN existieren.
  • Dementsprechend ist mit Bezug auf 7 für eine elektrische Feldverteilung, die auf das Volumenhologrammmedium 4 fällt, gegeben durch E(1) = F{σ·e}, (3)wobei σ die zweidimensionale elektrische Feldverteilung ist, die σ entspricht; β die zweidimensionale Phasenencodierfunktionscharakteristik des Phasenencoders 2 ist (siehe z. B. C. N. Kurtz in "The transmittance characteristics of surface diffusers and the design of nearly band-limited binary diffusers", Journal of the Optical Society of America, Vol. 62, S. 982 (1972); und F{•} die Fouriertransformation bezeichnet; und für eine Brechungsindexverteilung in dem Volumenhologrammmedium 4 proportional ist zu
    Figure 00190001
    wobei Ak die Amplitude des Referenzlaserstrahls 8 ebener Wellen ist, die Wichtvektoren ν(k) zugeordnet ist, (·) das Komplex Konjugierte bezeichnet und νk die zweidimensionale Feldverteilung ist; die gegeben ist durch: νk = F{νk·e}; (5) wobei die elektrische Feldverteilung in der Ebene des linearen Detektorfelds 6 gegeben ist durch
    Figure 00200001
    wobei αk die inverse Fouriertransform von Ak, "*" die Konvolution und "*" die Korrelation bezeichnet.
  • Das räumliche Filtern von E(2) in der Ebene des Detektorfelds 6 (der Korrelationsebene) wird sowohl in als auch senkrecht zu der Ebene von 7 durchgeführt. Das innere Produkt wird in der Form von Lichtenergie detektiert, die auf dem Detektorfeld 6 in einem Abstand xk von der Mitte von dem Feld 6 auftritt (die gemeinsame optische Achse der Linse 5 und des Hologrammspeichermediums 4).
  • Das räumliche Filtern in der Ebene findet als ein natürliches Ergebnis von Bragg selektiv in dem Volumenhologrammmedium 4 statt (siehe z. B. T. Jannson, H. M. Stoll und C. Karaguleff in "The Interconnectability of neuro-optic processors", proceedings of the International Society for Optical Engineering, Vol. 698, S. 157 (1986)). Das räumliche Filtern senkrecht zu der Ebene der Prozessoren findet als ein Ergebnis der Autokorrelationsfunktion des Phasenencoders 2 statt, die viel enger (ungefähr zehnmal) als entweder die Autokorrelationsfunktion von σ oder irgendeiner Autokorrelationsfunktion von den ν(k) ist. Diese räumlichen Filtereffekte führen zu der Feldverteilung in der Korrelationsebene:
    Figure 00200002
    wobei man annimmt, daß die Kohärenzlänge des Phasenencoders 2 erheblich kleiner als (z. B. weniger als 10% so groß wie) die kleinste lineare Abmessung eines Auflösungselements von ent weder σ oder irgendeinem der ν(k) ist. Das Doppelintegral in Gleichung (7) wird über die Korrelationsebene gemacht.
  • E(3) kann der lexikographischen Ordnung folgend neu geschrieben werden als:
    Figure 00210001
    wobei die Referenzlaserstrahlen AK ebener Wellen αk = δ(x – xk), (9)δ(•) die Dirac-Deltafunktion ist; wobei die x-Dimension sowohl in der Korrelationsebene als auch in der Ebene des holographischen Prozessors des inneren Produkts) liegt; und [•,•] das innere Vektorprodukt bezeichnet. Das Feld E(3) repräsentiert das innere Produkt von σ mit jedem der Wichtvektoren ν(k), was das gewünschte Ergebnis ist.
  • Obwohl es im Zusammenhang eines sperrigen rechtwinkligen Geometriesystems beschrieben wurde, sollte man realisieren, daß die Hologrammgeometrie stattdessen in einer Übertragungs- oder Reflektions-(Lippmann-)Geometrie geschaffen werden kann.
  • Obwohl die Erfindung auch unter Verwendung eines linearen Felds von Dektoren 6 beschrieben wurde, die entlang der Korrosionsebene angeordnet sind, sollte man realisieren, daß, wie in 8 dargestellt, ein zweidimensionales Detektorfeld 11 für ein System eingesetzt werden kann, das den Referenzlaserstrahl 8 in zwei Dimensionen während der Vektorspeicherung abtastet. Das zweidimensionale Detektorfeld 8 kann dann ein Feld der starrenden Art sein. In diesem Fall werden Fraktalspeichergeometrie-Überlegungen eingesetzt, um Winkel des Referenzlaserstrahls 8 auszuwählen, um eine Kreuzkupplungslöschung in dem Medium 4 zu vermeiden.
  • Diese Erfindung wurde im Zusammenhang mit den oben aufgezählten Ausführungsbeispielen beschrieben. Diese Erfindung ist nicht so auszulegen, daß sie durch die nur beispielhaften Ausführungen beschränkt ist, sondern sie sollte nur durch Bezug auf die beigefügten Ansprüche ausgelegt werden.

Claims (11)

  1. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN), das umfaßt ein holographisches Volumenmedium (4) mit einer Vielzahl von Fourierraumvolumenhologrammen, die darin gespeicherte Wichtvektoren des neuralen Netzwerkes darstellen; Mittel (1), die einen Ausgang aufweisen, der optisch an das Medium über erste Fouriertransformationslinsenmittel (3) gekoppelt sind, zur räumlichen Modulation eines räumlich gleichförmigen Laserstrahls (7) gemäß einem unbekannten Eingangsmuster; Mittel (6, 11), die einen Eingang aufweisen, der optisch über zweite Fouriertransformationslinsenmittel (5) an ein Winkelspektrum ebener Wellen gekoppelt ist, die durch das Medium (4) als Reaktion auf den Ausgang der Mittel (1) zur räumlichen Modulation erzeugt werden, zum Detektieren von ebenen Wellen, die den inneren Vektorprodukten entsprechen, die in dem Medium (4) zwischen den Wichtvektoren und dem unbekannten Muster erzeugt werden; Mittel (12), durch die der Ausgang der Detektionsmittel (6, 11) auf eine serielle Weise nichtlinear verarbeitet wird; Mittel (13), durch die der nichtlinear verarbeitete Ausgang temporär derart gespeichert wird, daß das Netzwerk virtuell ist, und wobei nur eine Schicht zu einer Zeit existiert, wobei die Zwischenergebnisse in dem temporären Speichermitteln gespeichert werden; Mittel, durch die der Ausgang der temporären Speichermittel selektiv ausgelesen werden kann oder in die Mittel (1) zur räumlichen Modulation zur Weiterverarbeitung durch den MLOENN als ein Mustervektor der Eingangssignale für eine nächste Schicht von dem MLOENN zurückgeführt werden kann, dadurch gekennzeichnet, daß die Mittel (1) zur räumlichen Modulation geometrisch partitioniert sind, um die unabhängige Speicherung einzelner MLOENN-Schichtwichtvektoren ν(k,i) (k = 1, 2, ..., K; i = 1, 2, ..., N – 1), und die unabhängige Anregung einzelner MLOENN-Schichten durch Muster σ(i) (i = 1, 2, ..., N – 1) zu ermöglichen, derart, daß alle ν(k,i) und σ(i) einen gleichen physikalischen Anteil der Mittel (1) zur räumlichen Modulation belegen, wobei N die Anzahl von Schichten des neuralen Netzwerkes ist, und K eine Anzahl innerer Vektorprodukte ist.
  2. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem die Mittel (1) zur räumlichen Modulation des weiteren einen Phasenencoder (2) umfassen, der den räumlich modulierten, räumlich gleichförmigen Laserstrahl gemäß einer zweidimensionalen Phasenencodierzufallsfunktion zerstreut.
  3. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem die Detektionsmittel (6, 11) ein lineares Feld (6) photoempfindlicher Elemente umfassen, die in und entlang einer Korrelationsebene der zweiten Fouriertransformationslinse (5) angeordnet sind, wobei die Korrelationsebene die Ebene ist, auf der die ebenen Wellen durch die zweite Fouriertransformationslinse fokussiert werden.
  4. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem die nicht-linearen Verarbeitungsmittel (12) eine Sigmodial-Übertragungsfunktion mit einstellbarem Schwellwert und Sättigungspunkten umfassen.
  5. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 4, bei dem die nicht-linearen Verarbeitungsmittel (12) entweder eine elektronische Nachschlagtabelle oder ein elektronisch sättigbarer Verstärker sind.
  6. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem die temporären Speichermittel (13) ein digitaler elektronischer Speicher sind.
  7. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem das holographische Volumenmedium (4) räumliche Filterung in der Korrelationsebene einer elektrischen Feldverteilung schafft, wobei die räumliche Filterung in Übereinstimmung mit dem Bragg-Gesetz selektiv für das holographische Volumenmedium (4) geschaffen wird, wobei die Korrelationsebene die Ebene ist, auf die die ebenen Wellen durch die zweite Fouriertransformationslinse (5) fokussiert werden.
  8. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem das holographische Volumenmedium (4) ein Material umfaßt, das aus der Gruppe ausgewählt ist, die aus eisendotiertem Lithiumniobat (LINbO3 : Fe), Strontium, Bariumniobat (SrBaNbO3), lichtbrechenden Photopolymeren und photochemischen Photopolymeren besteht.
  9. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem die Mittel (1), zur räumlichen Lichtmodulation Mittel umfassen, die aus der Gruppe ausgewählt sind, die aus ferroelektrischen Flüssigkristallvorrichtungen, gedrehten nematischen Flüssigkristallvorrichtungen, verformbaren Spiegelvorrichtungen und magnetooptischen Vorrichtungen besteht.
  10. Musterklassifikationsvorrichtung mit einem mehrschichtigen opto-elektronischen neuralen Netzwerk (MLOENN) nach Anspruch 1, bei dem der Detektor (6, 11) ein zweidimensionales Feld photoempfindlicher Elemente umfaßt.
  11. Verfahren zum Erzeugen innerer Vektorprodukte (fk (i)) zur Musterklassifikation mit mehrschichtigen optoelektronischen neuralen Netzwerken (MLOENN) mit den folgenden Schritten: Laden eines unbekannten Mustervektors σ(i) (i = 1, 2, ..., N – 1) in Mittel zur räumlichen Lichtmodulation (1) unter Verwendung eines gleichen vorbestimmten und festen lexiographischen Ordnungsschemas, das anfänglich eingesetzt wurde, um die Wichtvektoren ν(k,i) (k = 1, 2, ... K; i = 1, 2, ..., N – 1) in ein holographisches Volumenmedium (4) zu speichern, indem die Interferenzen zwischen Referenzstrahlen ebener Wellen mit Fortpflanzungswinkeln Ψk und Strahlen aufgezeichnet werden, die die Wichtvektoren ν(k,i) reflektieren: räumliches Modulieren eines ersten Laserstrahls ebener Wellen gemäß dem unbekannten Mustervektor; Verwenden von Phasenenkodermitteln (2), um den räumlich modulierten ersten Laserstrahl ebener Wellen mit einer zweidimensionalen phasenenkodierenden Zufallsfunktion zu multiplizieren; Übertragen eines phasenenkodierten Lichtmusters, das für den multiplizierten räumlich modulierten ersten Laserstrahl ebener Wellen repräsentativ ist, von den Phasenenkodermitteln (2) zu ersten Fouriertransformationslinsenmitteln (3); Erzeugen einer Fouriertransformation des phasenenkodierten Lichtmusters in dem holographischen Volumenmedium (4) mit den ersten Fouriertransformationslinsenmitteln (3); Erzeugen eines Winkelspektrums ebener Wellen mit Amplituden, die proportional zu inneren Vektorprodukten σ(i)• ν(k,i) (k = 1, 2, ... K; i = 1, 2, ..., N – 1) und Fortpflanzungswinkeln Ψk (k = 1, 2, ..., K) sind, die identisch zu den Referenzebenenwellenwinkeln Ψk sind, in dem holographischen Volumenmedium (4), Fokussieren von ebenen Wellen des Winkelspektrums ebener Wellen, das in dem holographischen Volumenmedium (4) erzeugt wurde, auf Detektionsmittel (6, 11) mit zweiten Fouriertransformationslinsenmitteln (5); Auslesen von Signalen aus den Detektionsmitteln (6, 11), die innere Vektorprodukte repräsentieren, die den ebenen Wellen entsprechen, die auf die Detektionsmittel (6, 11) fokussiert wurden; serielles und nichtlineares Verarbeiten des Ausgangs der Detektionsmittel (6, 11); temporäres Speichern des nichtlinear verarbeiteten Ausgangs der Detektionsmittel (6, 11); und selektives Auslesen des temporär gespeicherten Ausgangs der Detektionsmittel (6, 11) als Mustererkennungsergebnisse oder Zurückführen des temporär gespeicherten Ausgangs der Detektionsmittel (6, 11) zurück in die Mittel (1) zur räumlichen Modulation zur weiteren neuralen Netzwerkverarbeitung als Eingangssignale eines nächsten Mustervekors σ(i+1), dadurch gekennzeichnet, daß die Mittel (1) zur räumlichen Modulation geometrisch partitioniert sind, um die unabhängige Speicherung der einzelnen MLOENN-Schichtwichtvektoren ν(k,i) (k = 1, 2, ..., K; i = 1, 2, ..., N – 1), und die unabhängige Anregung individueller MLOENN-Schichten durch Muster σ(i) (i = 1, 2, ..., N – 1) zu ermöglichen, derart, daß alle ν(k,i) und σ(i)) einen gleichen physikalischen Anteil der Mittel (1) zur räumlichen Modulation einnehmen, wobei N die Anzahl von Mustervektorschichten und K eine Anzahl von inneren Vektorprodukten ist.
DE69433404T 1993-07-30 1994-06-07 Mehrschichtiges optoelektrisches neuronales netzwerk Expired - Lifetime DE69433404T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/099,882 US5497253A (en) 1988-07-18 1993-07-30 Multi-layer opto-electronic neural network
PCT/US1994/006508 WO1995004309A1 (en) 1993-07-30 1994-06-07 Multi-layer opto-electronic neural network
US99882 2002-03-13

Publications (2)

Publication Number Publication Date
DE69433404D1 DE69433404D1 (de) 2004-01-22
DE69433404T2 true DE69433404T2 (de) 2004-09-16

Family

ID=22277074

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69433404T Expired - Lifetime DE69433404T2 (de) 1993-07-30 1994-06-07 Mehrschichtiges optoelektrisches neuronales netzwerk

Country Status (5)

Country Link
US (1) US5497253A (de)
EP (1) EP0722577B9 (de)
JP (1) JP3638951B2 (de)
DE (1) DE69433404T2 (de)
WO (1) WO1995004309A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2734676B1 (fr) * 1995-05-23 1997-08-08 Labeyrie Antoine Procede et dispositifs d'emission ou reception laser pour la transmission d'informations par voie optique
US6601049B1 (en) * 1996-05-02 2003-07-29 David L. Cooper Self-adjusting multi-layer neural network architectures and methods therefor
US6490571B1 (en) * 1996-05-02 2002-12-03 David L. Cooper Method and apparatus for neural networking using semantic attractor architecture
US6558979B2 (en) 1996-05-21 2003-05-06 Micron Technology, Inc. Use of palladium in IC manufacturing with conductive polymer bump
US5664065A (en) * 1996-06-17 1997-09-02 The United States Of America As Represented By The Secretary Of The Army Pulse-coupled automatic object recognition system dedicatory clause
DE19739909A1 (de) * 1997-09-11 1999-03-18 Philips Patentverwaltung Verfahren und Anordnung zum Ermitteln von Abstandswerten
FR2770912A1 (fr) * 1997-11-07 1999-05-14 Bertin & Cie Dispositif et procede de stockage holographique d'informations
US6529614B1 (en) * 1998-08-05 2003-03-04 California Institute Of Technology Advanced miniature processing handware for ATR applications
US7194139B1 (en) * 1999-05-19 2007-03-20 Lenslet Ltd. Image compression
US7515753B2 (en) 1999-05-19 2009-04-07 Lenslet Labs Ltd. Phase extraction in optical processing
WO2001004687A1 (en) * 1999-07-09 2001-01-18 Opts, Inc. Adaptive compressive network
US6744909B1 (en) 1999-08-19 2004-06-01 Physical Optics Corporation Authentication system and method
US6854004B2 (en) 2001-12-26 2005-02-08 The United States Of America As Represented By The Secretary Of The Navy Irregular optical interconnections to compensate for non-uniformities in analog optical processors
US7164429B1 (en) * 2004-07-07 2007-01-16 Hewlett-Packard Development Company, L.P. Signal conversion system
JP7008448B2 (ja) * 2017-09-01 2022-01-25 日本放送協会 ホログラム記録再生装置
GB2573171B (en) * 2018-04-27 2021-12-29 Optalysys Ltd Optical processing systems
JP7194596B2 (ja) * 2019-01-08 2022-12-22 日本放送協会 ホログラム記録再生装置
KR20200092525A (ko) 2019-01-24 2020-08-04 삼성전자주식회사 고정 위상 변조기를 구비한 광신경망 장치
JP7212543B2 (ja) * 2019-02-18 2023-01-25 日本放送協会 復号装置、ホログラム再生装置、及び復号方法
CN111832721A (zh) * 2019-04-15 2020-10-27 香港科技大学 全光学神经网络
CN110647023B (zh) * 2019-09-16 2020-04-28 四川大学 一种基于部分角谱法的快速全息图生成和高质量再现方法
WO2021205547A1 (ja) * 2020-04-07 2021-10-14 日本電信電話株式会社 光信号処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS573041B2 (de) * 1974-05-01 1982-01-20
US4949389A (en) * 1987-10-09 1990-08-14 The United States Of America As Represented By The United States Department Of Energy Optical ranked-order filtering using threshold decomposition
FR2633415B1 (fr) * 1988-06-24 1993-07-09 Thomson Csf Dispositif de traitement de signal adaptatif et non lineaire
US5317651A (en) * 1988-06-24 1994-05-31 Thomson-Csf Non-linear and adaptive signal-processing device
US5235439A (en) * 1988-07-18 1993-08-10 Northrop Corporation Volume-holographic inner product processor
US5132813A (en) * 1988-08-18 1992-07-21 Teledyne Industries, Inc. Neural processor with holographic optical paths and nonlinear operating means
JPH02143391A (ja) * 1988-11-25 1990-06-01 Ricoh Co Ltd 並列光情報処理装置
US5235440A (en) * 1989-11-06 1993-08-10 Teledyne Industries, Inc. Optical interconnector and highly interconnected, learning neural network incorporating optical interconnector therein
FR2658336A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches.
US5323472A (en) * 1990-03-27 1994-06-21 The Boeing Company Optical image analyzer using optical correlation and opto-electronic feedback
US5129041A (en) * 1990-06-08 1992-07-07 Grumman Aerospace Corporation Optical neural network processing element with multiple holographic element interconnects
US5121228A (en) * 1990-09-27 1992-06-09 Bell Communications Research Holographic learning machine
US5293456A (en) * 1991-06-28 1994-03-08 E. I. Du Pont De Nemours And Company Object recognition system employing a sparse comparison neural network

Also Published As

Publication number Publication date
DE69433404D1 (de) 2004-01-22
EP0722577B1 (de) 2003-12-10
JP3638951B2 (ja) 2005-04-13
EP0722577A4 (de) 2001-01-31
JPH09500995A (ja) 1997-01-28
EP0722577B9 (de) 2004-06-09
EP0722577A1 (de) 1996-07-24
US5497253A (en) 1996-03-05
WO1995004309A1 (en) 1995-02-09

Similar Documents

Publication Publication Date Title
DE69433404T2 (de) Mehrschichtiges optoelektrisches neuronales netzwerk
US4187000A (en) Addressable optical computer and filter
DE69821980T2 (de) Optischer korrelator
US5080464A (en) Optical neural network apparatus using primary processing
Kang et al. Phase extraction neural network (PhENN) with coherent modulation imaging (CMI) for phase retrieval at low photon counts
GB2267165A (en) Optical information processor
US20230024787A1 (en) Diffractive optical network for reconstruction of holograms
Owechko Cascaded-grating holography for artificial neural networks
EP0866943B1 (de) Verfahren und vorrichtung zur hochauflösenden bestimmung von abständen im fokussierten bild eines linsen-pupillen-systems
US5121228A (en) Holographic learning machine
DE2436034A1 (de) Datensyntheseverfahren
EP0767924B1 (de) Holografischer neurochip
Fisher et al. Optical associative processing elements with versatile adaptive learning capabilities
Owechko et al. Programmable multilayer optical neural networks with asymmetric interconnection weights
Liu et al. Optical implementation of terminal-attractor-based associative memory
DE19549074C2 (de) Verfahren und Vorrichtung zur genauen Bestimmung von objektbezogenen Parametern wie räumliche Abstände und/oder Abstandsänderungen bei Bewegung und/oder Orientierung und/oder Farbe, Form, Textur, insbesondere zum Zweck der genauen und intelligenten Steuerung von Automaten
Tsujiuchi et al. Optical image deblurring methods
Kompanets Optical image processing in Russia
Janowska-Dmoch et al. Phase encoded binary phase-only filter recorded in the Epson liquid crystal screen
Hong Photorefractive devices for optical pattern recognition
Owechko et al. Holographic neural networks based on multi-grating processes
Robinson et al. Custom electro-optic devices for optically implemented neuromorphic computing systems
Owechko et al. Multilayer optical neural networks
Cheng Variable-frequency cross-grating interferometer
Liu Optical implementation of inner-product neural associative memory

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R082 Change of representative

Ref document number: 722577

Country of ref document: EP

Representative=s name: ANDRAE FLACH HAUG, DE