EP4214641A1 - Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes - Google Patents

Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes

Info

Publication number
EP4214641A1
EP4214641A1 EP21777702.8A EP21777702A EP4214641A1 EP 4214641 A1 EP4214641 A1 EP 4214641A1 EP 21777702 A EP21777702 A EP 21777702A EP 4214641 A1 EP4214641 A1 EP 4214641A1
Authority
EP
European Patent Office
Prior art keywords
matrix multiplication
multiplication unit
optical
waveguides
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21777702.8A
Other languages
English (en)
French (fr)
Inventor
Wolfram Pernice
Johannes Feldmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westfaelische Wilhelms Universitaet Muenster
Original Assignee
Westfaelische Wilhelms Universitaet Muenster
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westfaelische Wilhelms Universitaet Muenster filed Critical Westfaelische Wilhelms Universitaet Muenster
Publication of EP4214641A1 publication Critical patent/EP4214641A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001—Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements

Definitions

  • Optical matrix multiplication unit for an optoelectronic system for forming an artificial neural network
  • the invention relates to an optical matrix multiplication unit for an optoelectronic system for forming an artificial neural network, with N input waveguides, M output waveguides and a plurality of matrix multiplication unit cells for signal processing of optical signals from one of the N input waveguides and for transmission of the processed signal in each case into one of the M output waveguides, each of the matrix multiplication unit cells being associated with one of the input waveguides and one of the output waveguides and making a one-to-one association between these two associated waveguides.
  • the invention further relates to a corresponding matrix multiplication unit cell for such an optical matrix multiplication unit and a corresponding optoelectronic system for forming an artificial neural network.
  • US 2020/0110992 A1 describes an optoelectronic system for forming an artificial neural network with an optical matrix multiplication unit, the N input waveguides, M output waveguides and a plurality of matrix multiplication unit cells for signal processing of optical signals from one of the N input waveguides and for transmission of the respectively processed Signal in one of the M output waveguides.
  • Each of these matrix multiplication unit cells is associated with one of the input waveguides and one of the output waveguides and makes a one-to-one association between these two associated waveguides.
  • the unit cells of this optical matrix multiplication unit each include a Mach-Zehnder interferometer and two phase shifters.
  • the optoelectronic system has a light source unit connected upstream of the optical matrix multiplication unit, a modulator unit connected between the light source unit and the matrix multiplication unit, and a sensor unit connected downstream of the matrix multiplication unit.
  • phase information of the light used is used for the multiplication.
  • the basis for such a procedure is the use of coherent (laser) light.
  • the optical matrix multiplication unit according to the invention for an optoelectronic system for forming an artificial neural network, which has N input waveguides, M output waveguides and a plurality of matrix multiplication unit cells for signal processing of optical signals from one of the N input waveguides and for transmission of the processed signal in each case into one of the M output waveguide, in which each of the matrix multiplication unit cells is assigned to one of the input waveguides and one of the output waveguides and makes a one-to-one assignment between these two assigned waveguides, it is provided that each of the matrix multiplication unit cells for signal processing and signal transmission has a connection between the assigned input waveguide and the associated output waveguide interposed directional coupler with electro-optical modulator for transmission control of the directional coupler up ice.
  • the multiplication takes place via the amplitude of a corresponding optical signal and not via its phase or a phase relationship.
  • the multiplier of the individual multiplication performed by one of the unit cells corresponds to the amplitude ratio of the optical signal between the corresponding input and output waveguides determined by the modulator settings of the electro-optic modulator of this unit cell.
  • Such a multiplication based on an amplitude change results in a higher bandwidth, which makes an optoelectronic system with such an optical matrix multiplication unit more powerful.
  • the electro-optical modulator of the respective unit cell is a phase modulator.
  • the electro-optic modulator (EOM) is based on changing the refractive index. With this method, the refractive index changes by applying an electric field to the doped material. As a result, the phase position of the light changes, which means that the move light waves. Examples of such a phase modulator are Kerr cell and Pockels cell.
  • the respective directional coupler has a Mach-Zehnder interferometer, in which the phase modulator is integrated.
  • the Mach-Zehnder interferometer has two signal path arms, in one arm of which the phase modulator is arranged.
  • the respective directional coupler also has multimode interference couplers for wave splitting at the input and output of the Mach-Zehnder interferometer.
  • the electro-optical modulator of the respective unit cell is an absorption modulator.
  • This is also referred to as an electro-absorption modulator (EAM).
  • EAM electro-absorption modulator
  • the opacity of the optical material used is usually changed as a function of an applied voltage.
  • the matrix multiplication unit is designed as a semiconductor-based matrix multiplication unit.
  • the most common material for this is silicon.
  • the matrix multiplication unit is designed as a matrix multiplication unit based on at least one optically active material.
  • Possible materials are, for example, lithium niobate, aluminum nitride or gallium nitride.
  • the matrix multiplication unit cell according to the invention for an optical matrix multiplication unit mentioned above is intended for signal processing optical signals of an input waveguide of the optical matrix multiplication unit and for the transmission of the respective processed signal in an output waveguide of the optical matrix multiplication unit has a directional coupler with an integrated electro-optical modulator.
  • the matrix multiplication unit is designed as the aforementioned matrix multiplication unit.
  • FIG. 1 shows a matrix multiplication unit cell for an optical matrix multiplication unit according to a first preferred embodiment of the invention
  • FIG. 2 shows the matrix multiplication unit cell for an optical matrix multiplication unit according to a second preferred embodiment of the invention
  • FIG. 3 shows an optoelectronic system for forming an artificial neural network with an optical matrix multiplication unit according to a preferred embodiment of the invention.
  • FIG. 1 shows a matrix multiplication unit cell 10 for an optical matrix multiplication unit 12 shown in FIG. 3 in a schematic representation.
  • the matrix multiplication unit cell 10 is only called unit cell 10 for short below.
  • a section of an input waveguide 14 assigned to the unit cell 10 and a section of an output waveguide 16 assigned to the unit cell 10 are also shown.
  • These two input and output waveguides 14, 16 are used for the transmission of optical signals and cross one another in the area of the associated unit cell 10, and thus have a crossing point 18.
  • input waveguides 14 are drawn in horizontally and output waveguides 16 are drawn in vertically.
  • the unit cell 10 For signal processing of the optical signals of the input waveguide 14 (arrow 20) and for transmission of the respectively processed signal (arrow 22) into the output waveguide 16, the unit cell 10 now has a directional coupler 24 which is connected between the input waveguide 14 and the assigned output waveguide 16 and which is equipped with a electro-optical modulator 26 for transmission control of the directional coupler 24 is provided.
  • the directional coupler 24 itself is primarily responsible for signal transmission/signal rerouting from the input waveguide 14 into the output waveguide 16 via a signal path 28 .
  • Its electro-optical modulator 26 is responsible for the signal processing that makes up the multiplication.
  • the electro-optical modulator 26 has electrical connections 30 . In the example shown in FIG.
  • the electro-optical modulator 26 is designed specifically as an absorption modulator 32 in which the opacity of the optical material used changes as a function of a voltage applied to the electrical connections 30 .
  • the multiplication in this unit cell 10 results from the optical signal from the input waveguide 14 (arrows 20) and its attenuation by the electro-optic modulator 26 to the processed signal (arrows 22).
  • 2 shows a variant of the matrix multiplication unit cell 10 in a schematic representation.
  • a section of an input waveguide 14 assigned to the unit cell 10 and a section of an output waveguide 16 assigned to the unit cell 10 are shown. These two input and output waveguides 14, 16 are used to transmit optical signals and cross one another in the area of the associated unit cell 10.
  • the unit cell 10 has a directional coupler 24 interposed between the input waveguide 14 and the associated output waveguide 16 for signal processing of the optical signals of the input waveguide 14 (arrow 20) and for transmission of the respectively processed signal (arrow 22) into the output waveguide 16.
  • an electro-optical modulator 26 for transmission control of the directional coupler 24.
  • the electro-optical modulator 26 is in the form of a phase modulator 34 .
  • the directional coupler 24 has a Mach-Zehnder interferometer 36 in which the signal path 28 splits into two signal path arms 38, 40 in an intermediate section.
  • the phase modulator 34 is located in one of these signal path arms 38.
  • the directional coupler 24 at the input and output of the Mach-Zehnder interferometer 36 has multimode interference couplers 42 (MMI couplers) for wave splitting with respect to the signal path arms 38, 40.
  • MMI couplers multimode interference couplers
  • FIG. 3 shows an optoelectronic system 44 for forming an artificial neural network in a schematic representation.
  • the assemblies of this optoelectronic system 44 are shown in a type of block diagram.
  • the individual blocks of this block diagram reflect the functional relationships rather than the spatial structure within the optoelectronic system 44 .
  • the control electronics required for the controllable components of the individual assemblies are also not shown.
  • the assemblies are (i) the matrix multiplication unit 12, (ii) one of Matrix multiplication unit 12 via N input waveguides 14 upstream light source unit 46 and a matrix multiplication unit 12 via M output waveguides 16 downstream sensor unit 48.
  • the corresponding N light sources of the light source unit 46 and M sensors of the sensor unit 48 are not shown explicitly.
  • the base of the matrix multiplication unit 12 can be made of semiconductor materials such as silicon.
  • the matrix itself consists of passive photonic modules for wave guidance, ie the waveguides 14, 16. These waveguides 14, 16 carry a wide range of wavelengths, particularly in the telecommunications sector.
  • the waveguides 14, 16 are arranged in rows and columns. A deterministic transfer of optical power from the row to the column waveguides is achieved via the directional couplers 24 .
  • the transmission values of the directional couplers 24 encode the matrix elements for the multiplication, i.e. the matrix multiplication unit cells 10. With full transmission, maximum optical power is transmitted into the column and the largest value for the matrix element is displayed; with minimum transmission, the smallest matrix element is realized. Any values in between can be set by controlling the transmission.
  • the transmission is controlled by the electro-optical modulators 26. With these, either the real part or the imaginary part of the refractive index is varied. In the case of the real part, it is a phase modulator 34. This is integrated for modulation into the Mach-Zehnder interferometer 36, which consists of two waveguide arms of equal length (Signal path arms 38, 40) is realized.
  • the electro-optical phase modulator 34 is integrated into an arm 38 .
  • the optical power is divided equally into the two arms 38, 40 with the aid of MMI couplers 42.
  • the phase modulator 34 can be implemented, for example, via charge carrier injection in PIN diodes, or also via thermo-optical components.
  • Absorption modulators 32 are used to control the imaginary part. On a silicon platform, for example, germanium-based electro-absorption modulators are suitable. These can be modulated at very high speeds in the GHz range and offer a compact design.
  • electro-optically active materials such as lithium niobate, aluminum nitride or gallium nitride.
  • Efficient waveguides 14, 16 can be produced from these materials, but also efficient electro-optical modulators 26. These work via the electro-optical effect and only consume optical power in the switching state. However, they offer a less compact design than silicon-based modulators 26. However, the switching speed can be in the high GHz range. In addition, these materials offer very broad optical transparency, so that work can also be carried out in the visible wavelength range.
  • the invention allows matrix vector multiplication to be performed optically and controlled electrically.
  • electro-optical modulators 26 very high switching speeds can be achieved without material fatigue occurring.
  • the matrix multiplication unit 12 can thus be configured as often as desired. On the one hand, this allows larger matrices to be created by reprogramming. On the other hand, however, the unit cells 10, ie the corresponding matrix elements, can also be adjusted over time. This is particularly necessary for the optimization of the calculation, as well as for machine learning.
  • the modulators 26 provide a high dynamic range that is beyond the electrical Tension can be precisely controlled. This makes it possible to adjust the matrix elements with high accuracy. This also increases the overall result of the
  • Matrix multiplication very precise because the input optical power can be precisely controlled.
  • High-precision multiplications are essential for machine learning and have so far only been inadequately realized electronically.
  • the multiplication approach using the combined optical-electronic variant allows extremely high calculation rates that cannot be achieved with conventional methods. Due to the reprogrammability, the size of the matrix is not limited, so that the invention can be used for effective scaling. At the same time, optical processes offer very high energy efficiency, so that the central challenges of artificial intelligence can be addressed via the process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Optical Integrated Circuits (AREA)

Abstract

Die Erfindung betrifft eine optische Matrixmultiplikationseinheit (12) für ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes, mit N Eingangswellenleitern (14), M Ausgangswellenleitern (16) und einer Mehrzahl von Matrixmultiplikations-Einheitszellen (10) zur Signalverarbeitung optischer Signale von je einem der N Eingangswellenleiter (14) und zur Übertragung des jeweils verarbeiteten Signals in einen der M Ausgangswellenleiter (16), wobei jede der Matrixmultiplikations-Einheitszellen (10) einem der Eingangswellenleiter (14) und einem der Ausgangswellenleiter (16) zugeordnet ist und eine eineindeutige Zuordnung zwischen diesen beiden zugeordneten Wellenleitern (14, 16) vornimmt. Es ist vorgesehen, dass jede der Matrixmultiplikations-Einheitszellen (10) zur Signalverarbeitung und Signalübertragung einen zwischen den zugeordneten Eingangswellenleiter (14) und den zugeordneten Ausgangswellenleiter (16) zwischengeschalteten Direktionalkoppler (24) mit elektrooptischem Modulator (26) zur Transmissionsregelung des Direktionalkopplers (24) aufweist. Die Erfindung betrifft weiterhin eine entsprechende Matrixmultiplikations-Einheitszelle (10) für eine derartige optische Matrixmultiplikationseinheit (12) und ein entsprechendes optoelektronisches System (44) zur Bildung eines künstlichen neuronalen Netzes.

Description

Optische Matrixmultiplikationseinheit für ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes
B e s c h r e i b u n g
Die Erfindung betrifft eine optische Matrixmultiplikationseinheit für ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes, mit N Eingangswellenleitem, M Ausgangswellenleitern und einer Mehrzahl von Matrixmultiplikations-Einheitszellen zur Signalverarbeitung optischer Signale von je einem der N Eingangswellenleiter und zur Übertragung des jeweils verarbeiteten Signals in einen der M Ausgangswellenleiter, wobei jede der Matrixmultiplikations-Einheitszellen einem der Eingangswellenleiter und einem der Ausgangswellenleiter zugeordnet ist und eine eineindeutige Zuordnung zwischen diesen beiden zugeordneten Wellenleitern vornimmt.
Die Erfindung betrifft weiterhin eine entsprechende Matrixmultiplikations-Einheitszelle für eine derartige optische Matrixmultiplikationseinheit und ein entsprechendes optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes.
Bei der Realisierung künstlicher neuronaler Netze ist man mittlerweile dazu übergegangen, rechenintensive Schritte dieser neuronalen Netze von einer elektronischen Realisierung zu einer photonischen Realisierung zu übertragen. Dies umfasst die Implementierung von Matrixmultiplikationen mit Matrizen, die nicht in der Größe limitiert sind. Durch die photonische Realisierung wird gleichzeitig die Leistungsaufnahme reduziert und die Schallgeschwindigkeit erhöht. Auf diese Weise werden extrem mächtige Matrixmultiplikationen möglich, die weit über die Leistung aktueller Rechensysteme hinaus gehen.
Die US 2020/0110992 Al beschreibt ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes mit einer optischen Matrixmultiplikationseinheit, die N Eingangswellenleiter, M Ausgangswellenleiter und eine Mehrzahl von Matrixmultiplikations- Einheitszellen zur Signalverarbeitung optischer Signale von je einem der N Eingangswellenleiter und zur Übertragung des jeweils verarbeiteten Signals in einen der M Ausgangswellenleiter aufweist. Jede dieser Matrixmultiplikations-Einheitszellen ist einem der Eingangswellenleiter und einem der Ausgangswellenleiter zugeordnet und nimmt eine eineindeutige Zuordnung zwischen diesen beiden zugeordneten Wellenleitern vor. Die Einheitszellen dieser optischen Matrixmultiplikationseinheit umfassen je ein Mach-Zehnder- Interferometer und zwei Phasenschieber. Das optoelektronische System weist neben der optischen Matrixmultiplikationseinheit eine der optischen Matrixmultiplikationseinheit vorgeschaltete Lichtquelleneinheit, eine zwischen Lichtquellen- und Matrixmultiplikationseinheit zwischengeschaltete Modulatoreinheit sowie eine der Matrixmultiplikationseinheit nachgeschaltete Sensoreinheit auf. Bei diesem System wird eine Phaseninformation des verwendeten Lichts für die Multiplikation verwendet. Basis für ein solches Vorgehen ist die Verwendung kohärenten (Laser-)Lichts.
Es ist Aufgabe der Erfindung Maßnahmen anzugeben, die das optoelektronische System leistungsfähiger machen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. Bei der erfindungsgemäßen optische Matrixmultiplikationseinheit für ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes, welche N Eingangswellenleiter, M Ausgangswellenleiter und eine Mehrzahl von Matrixmultiplikations-Einheitszellen zur Signalverarbeitung optischer Signale von je einem der N Eingangswellenleiter und zur Übertragung des jeweils verarbeiteten Signals in einen der M Ausgangswellenleiter umfasst, bei der jede der Matrixmultiplikations-Einheitszellen einem der Eingangswellenleiter und einem der Ausgangswellenleiter zugeordnet ist und eine eineindeutige Zuordnung zwischen diesen beiden zugeordneten Wellenleitern vornimmt, ist vorgesehen, dass jede der Matrixmultiplikations-Einheitszellen zur Signalverarbeitung und Signalübertragung einen zwischen den zugeordneten Eingangswellenleiter und den zugeordneten Ausgangswellenleiter zwischengeschalteten Direktionalkoppler mit elektrooptischem Modulator zur Transmissionsregelung des Direktionalkopplers aufweist.
Anders als bei bekannten optischen Matrixmultiplikationseinheiten erfolgt hier die Multiplikation über die Amplitude eines entsprechenden optischen Signals und nicht über dessen Phase bzw. eine Phasenbeziehung. Dem Multiplikator der einzelnen von einer der Einheitszellen durchgeführten Multiplikation entspricht das von den Modulatoreinstellungen des elektrooptischen Modulators dieser Einheitszelle bestimmte Amplitudenverhältnis des optischen Signals zwischen dem entsprechenden Eingangs- und Ausgangswellenleiter.
Bei einer solchen auf einer Amplitudenänderung basierenden Multiplikation ergibt sich eine höhere Bandbreite, was ein optoelektronisches System mit einer derartigen optischen Matrixmultiplikationseinheit leistungsfähiger macht.
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist der elektrooptische Modulator der jeweiligen Einheitszelle ein Phasen-Modulator. Der elektrooptische Modulator (EOM) basiert auf der Veränderung des Brechungsindexes. Bei diesem Verfahren ändert sich der Brechungsindex durch Anlegen eines elektrischen Feldes an das dotierte Material. Dies hat zur Folge, dass sich die Phasenlage des Lichts verändert, was bedeutet, dass sich die Lichtwellen verschieben. Beispiele für einen solchen Phasen-Modulator sind Kerr-Zelle und Pockels-Zelle.
Dabei ist insbesondere vorgesehen, dass der jeweilige Direktionalkoppler ein Mach-Zehnder- Interferometer aufweist, in das der Phasen-Modulator integriert ist. Das Mach-Zehnder- Interferometer weist zwei Signalpfad-Arme auf, in dessen einem Arm der Phasen-Modulator angeordnet ist.
Besonders bevorzugt ist dabei vorgesehen, dass der jeweilige Direktionalkoppler weiterhin Multimodeninterferenz-Koppler zur Wellenaufteilung am Eingang und Ausgang des Mach- Zehnder-Interferometers aufwei st.
Alternativ zu der Nutzung eines Phasenmodulators ist mit Vorteil vorgesehen, dass der elektrooptische Modulator der jeweiligen Einheitszellen ein Absorptionsmodulator ist. Dieser wird auch als Elektroabsorptionsmodulator (EAM) bezeichnet. Bei einem solchen Absorptionsmodulator wird in der Regel die Opakheit des verwendeten optischen Materials in Abhängigkeit einer angelegten Spannung verändert.
Gemäß einer weiteren bevorzugten Ausgestaltung der Erfindung ist die Matrixmultiplikationseinheit als halbleiterbasierte Matrixmultiplikationseinheit ausgestaltet. Gängigstes Material dafür ist Silizium.
Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist die Matrixmultiplikationseinheit als eine auf mindestens einem optisch aktiven Material basierende Matrixmultiplikationseinheit ausgestaltet. Mögliche Materialien sind beispielsweise Lithium-Niobat, Aluminium-Nitrid oder Gallium-Nitrid.
Bei der erfindungsgemäßen Matrixmultiplikations-Einheitszelle für eine vorstehend genannte optische Matrixmultiplikationseinheit ist vorgesehen, dass diese zur Signalverarbeitung optischer Signale eines Eingangswellenleiters der optischen Matrixmultiplikationseinheit und zur Übertragung des jeweils verarbeiteten Signals in einen Ausgangswellenleiter der optischen Matrixmultiplikationseinheit einen Direktionalkoppler mit integriertem elektrooptischen Modulator aufweist.
Alle im Zusammenhang mit der Matrixmultiplikationseinheit genannten vorteilhaften Ausführungsformen, die die Ausgestaltung der Matrixmultiplikations-Einheitszellen betreffen sind vorteilhafte Ausgestaltungen der Matrixmultiplikations-Einheitszelle selbst.
Bei dem erfindungsgemäßen optoelektronischen System zur Bildung eines künstlichen neuronalen Netzes, mit einer Lichtquelleneinheit, einer optischen Matrixmultiplikationseinheit und einer Sensoreinheit ist vorgesehen, dass die Matrixmultiplikationseinheit als vorstehend genannte Matrixmultiplikationseinheit ausgebildet ist.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Zeichnungen anhand eines bevorzugten Ausführungsbeispiels exemplarisch erläutert, wobei die nachfolgend dargestellten Merkmale sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen können. Es zeigen:
Fig. 1 eine Matrixmultiplikations-Einheitszelle für eine optische Matrixmultiplikationseinheit gemäß einer ersten bevorzugten Ausführungsform der Erfindung,
Fig. 2 die Matrixmultiplikations-Einheitszelle für eine optische Matrixmultiplikationseinheit gemäß einer zweiten bevorzugten Ausführungsform der Erfindung und
Fig. 3 ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes mit einer optische Matrixmultiplikationseinheit gemäß einer bevorzugten Ausführungsform der Erfindung. Die Fig. 1 zeigt eine Matrixmultiplikations-Einheitszelle 10 für eine in Fig. 3 gezeigte optische Matrixmultiplikationseinheit 12 in einer schematischen Darstellung. Im Folgenden wird die Matrixmultiplikations-Einheitszelle 10 nur noch kurz Einheitszelle 10 genannt. Neben den eigentlichen Komponenten der Einheitszelle 10 ist auch je ein Abschnitt eines der Einheitszelle 10 zugeordneten Eingangswellenleiters 14 und ein Abschnitt eines der Einheitszelle 10 zugeordneten Ausgangswellenleiters 16 eingezeichnet. Diese beiden Ein- und Ausgangswellenleiter 14, 16 dienen der Übertragung optischer Signale und kreuzen einander im Bereich der zugeordneten Einheitszelle 10, weisen somit also einen Kreuzungspunkt 18 auf. In den Darstellungen der Figuren sind Eingangswellenleiter 14 waagerecht und Ausgangswellenleiter 16 senkrecht eingezeichnet.
Die Einheitszelle 10 weist nun zur Signalverarbeitung der optischen Signale des Eingangswellenleiters 14 (Pfeile 20) und zur Übertragung des jeweils verarbeiteten Signals (Pfeile 22) in den Ausgangswellenleiter 16 einen zwischen den Eingangswellenleiter 14 und den zugeordneten Ausgangswellenleiter 16 zwischengeschalteten Direktionalkoppler 24 auf, der mit einem elektrooptischen Modulator 26 zur Transmissionsregelung des Direktionalkopplers 24 versehen ist. Der Direktionalkoppler 24 selbst ist primär für eine Signalübertragung/Signalumleitung vom Eingangswellenleiter 14 in den Ausgangswellenleiter 16 über einen Signalpfad 28 zuständig. Sein elektrooptischer Modulator 26 ist für die die Multiplikation ausmachende Signalverarbeitung zuständig. Der elektrooptische Modulator 26 weist elektrische Anschlüsse 30 auf. Im gezeigten Beispiel der Fig. 1 ist der elektrooptische Modulator 26 konkret als ein Absorptionsmodulator 32 ausgebildet, bei dem sich die Opakheit des verwendeten optischen Materials in Abhängigkeit einer an die elektrischen Anschlüsse 30 angelegten Spannung verändert. Die Multiplikation bei dieser Einheitszelle 10 ergibt sich aus dem optischen Signal des Eingangswellenleiters 14 (Pfeile 20) und dessen Abschwächung durch den elektrooptischen Modulator 26 zu dem verarbeiteten Signal (Pfeile 22). Die Fig. 2 zeigt eine Variante der Matrixmultiplikations-Einheitszelle 10 in einer schematischen Darstellung. Auch hier ist neben den eigentlichen Komponenten der Einheitszelle 10 je ein Abschnitt eines der Einheitszelle 10 zugeordneten Eingangswellenleiters 14 und ein Abschnitt eines der Einheitszelle 10 zugeordneten Ausgangswellenleiters 16 eingezeichnet. Diese beiden Ein- und Ausgangswellenleiter 14, 16 dienen der Übertragung optischer Signale und kreuzen einander im Bereich der zugeordneten Einheitszelle 10.
Auch bei dieser Variante weist die Einheitszelle 10 zur Signalverarbeitung der optischen Signale des Eingangswellenleiters 14 (Pfeile 20) und zur Übertragung des jeweils verarbeiteten Signals (Pfeile 22) in den Ausgangswellenleiter 16 einen zwischen den Eingangswellenleiter 14 und den zugeordneten Ausgangswellenleiter 16 zwischengeschalteten Direktionalkoppler 24 auf, der mit einem elektrooptischen Modulator 26 zur Transmissionsregelung des Direktionalkopplers 24 versehen ist. Im gezeigten Beispiel der Fig. 2 ist der elektrooptische Modulator 26 als Phasenmodulator 34 ausgebildet. Der Direktionalkoppler 24 weist ein Mach-Zehnder-Interferometer 36 auf, bei dem sich der Signalpfad 28 in einem Zwischenabschnitt in zwei Signalpfad- Arme 38, 40 aufteilt. In einem dieser Signalpfad- Arme 38 befindet sich der Phasenmodulator 34. Weiterhin weist der Direktionalkoppler 24 am Eingang und Ausgang des Mach-Zehnder-Interferometers 36 Multimodeninterferenz-Koppler 42 (MMI-Koppler) zur Wellenaufteilung bezüglich der Signalpfad- Arme 38, 40 auf.
Die Fig. 3 zeigt schließlich ein optoelektronisches System 44 zur Bildung eines künstlichen neuronalen Netzes in einer schematischen Darstellung. Dabei sind die Baugruppen dieses optoelektronischen Systems 44 in einer Art Blockschaltbild gezeigt. Die einzelnen Blöcke dieses Blockschaltbildes geben eher die funktionalen Zusammenhänge als die räumliche Struktur innerhalb des optoelektronischen Systems 44 wieder. Die nötige Ansteuerelektronik für die ansteuerbaren Komponenten der einzelnen Baugruppen sind ebenfalls nicht eingezeichnet. Die Baugruppen sind (i) die Matrixmultiplikationseinheit 12, (ii) eine der Matrixmultiplikationseinheit 12 über N Eingangswellenleiter 14 vorgeschaltete Lichtquelleneinheit 46 und eine der Matrixmultiplikationseinheit 12 über M Ausgangswellenleiter 16 nachgeschaltete Sensoreinheit 48. Im gezeigten Beispiel gilt N = M = 4. Es sind selbstverständlich auch Varianten mit N M möglich, beispielsweise N = 4 und M = 3. Die entsprechenden N Lichtquellen der Lichtquelleneinheit 46 und M Sensoren der Sensoreinheit 48 sind nicht explizit eingezeichnet.
Im Folgenden sollen wichtige Aspekte der Erfindung noch einmal mit anderen Worten wiedergegeben werden:
Die Basis der Matrixmultiplikationseinheit 12 kann aus Halbleitermaterialien hergestellt werden, wie z.B. Silizium. Die Matrix selber besteht aus passiven photonischen Bausteinen zur Wellenführung, also den Wellenleitern 14, 16. Diese Wellenleiter 14, 16 führen einen breiten Wellenlängenbereich, insbesondere im Telekommunikationsbereich. Die Wellenleiter 14, 16 sind in Zeilen und Spalten angeordnet. Über die Direktionalkoppler 24 wird ein deterministischer Transfer optischer Leistung von den Zeilen- in die Spaltenwellenleiter erreicht.
Die Transmissionswerte der Direktionalkoppler 24 kodieren die Matrixelemente für die Multiplikation, also die Matrixmultiplikations-Einheitszellen 10. Bei voller Transmission wird maximale optische Leistung in die Spalte übertragen und der größte Wert für das Matrixelement abgebildet, bei minimaler Transmission wird das kleinste Matrixelement realisiert. Beliebige Werte dazwischen werden über die Regelung der Transmission eingestellt.
Die Regelung der Transmission erfolgt durch die elektrooptische Modulatoren 26. Mit diesen wird entweder der Realteil oder der Imaginärteil des Brechungsindex variiert. Im Falle des Realteils handelt es sich um einen Phasenmodulator 34. Dieser wird zur Modulation in das Mach-Zehnder Interferometer 36 integriert, das aus zwei gleich langen Wellenleiter- Arm en (Signalpfad- Arm en 38, 40) realisiert wird. In einen Arm 38 wird der elektrooptische Phasenmodulator 34 integriert. Gleich Aufteilung der optischen Leistung in die beiden Arme 38, 40 erfolgt mit Hilfe von MMI Kopplern 42. Der Phasenmodulator 34 kann z.B. über Ladungsträger-Injektion in PIN-Dioden implementiert werden, oder auch über thermooptische Bauelemente. Für die Regelung des Imaginärteils werden Absorptionsmodulatoren 32 eingesetzt. Auf einer Silizium-Plattform eignen sich dazu z.B. Germanium-basierte Elektro- Absorptionsmodulatoren. Diese können mit sehr hohen Geschwindigkeiten im GHz- Bereich moduliert werden und bieten eine kompakte Bauform.
Weiter Implementierungsmöglichkeiten sind elektrooptisch aktive Materialien, wie z.B. Lithium Niobat, Aluminium Nitrid oder Gallium-Nitrid. Aus diesen Materialien können effiziente Wellenleiter 14, 16 hergestellt werden, aber auch effiziente elektrooptische Modulatoren 26. Diese arbeiten über den elektrooptischen Effekt und verbrauchen nur im Schaltzustand optische Leistung. Allerdings bieten sie eine weniger kompakte Bauform als Silizium-basierte Modulatoren 26. Die Schaltgeschwindigkeit kann jedoch im hohen GHz- Bereich liegen. Zudem bieten diese Materialien sehr breite optische Transparenz, so dass auch im sichtbaren Wellenlängenbereich gearbeitet werden kann.
Die Erfindung erlaubt es Matrix-Vektormultiplikationen optisch durchzuführen und elektrisch zu kontrollieren. Durch die Verwendung von elektrooptischen Modulatoren 26 können sehr hohe Schaltgeschwindigkeiten erreicht werden, ohne dass es zu Materialermüdung kommt. Damit kann die Matrixmultiplikationseinheit 12 beliebig oft konfiguriert werden. Dies erlaubt es zum einen größere Matrizen durch reprogrammieren zu erzeugen. Zum anderen können aber auch die Einheitszellen 10, also die entsprechenden Matrixelemente, über die Zeit angepasst werden. Dies ist besonders für die Optimierung der Rechnung erforderlich, als auch für maschinelles Lernen.
Durch die Verwendung von elektrooptischen Modulatoren 26 wird hohe Präzision erreicht. Die Modulatoren 26 bieten einen hohen dynamischen Bereich, der über die elektrische Spannung exakt kontrolliert werden kann. Dies ermöglicht es, die Matrixelemente mit hoher Genauigkeit einzustellen. Dadurch wird ebenfalls das Gesamtergebnis der
Matrixmultiplikation sehr präzise, da die optische Eingangsleistung genau kontrolliert werden kann. Hochpräzise Multiplikationen sind für das maschinelle Lernen essentiell und können bisher nur unzureichend auf elektronischem Wege realisiert werden.
Der Multiplikationsansatz über die kombinierte optisch-elektronische Variante erlaubt enorm hohe Rechenraten, die mit herkömmlichen Verfahren nicht erreicht werden können. Durch die Umprogrammierbarkeit ist die Größe der Matrix nicht limitiert, so dass über die Erfindung effektiv skaliert werden kann. Gleichzeitig bieten optische Verfahren sehr hohe Energieeffizienz, so dass die zentralen Herausforderungen der künstlichen Intelligenz über das Verfahren adressiert werden können.
Bezugszeichen
10 Matrixmultiplikations-Einheitszelle
12 Matrixmultiplikationseinheit
14 Eingangswellenleiter
16 Ausgangswellenleiter
18 Kreuzungspunkt
20 Pfeil (Signal)
22 Pfeil (verarbeitetes Signal)
24 Direktionalkoppler
26 elektrooptischer Modulator
28 Signalpfad (Direktionalkoppler)
30 elektrischer Anschluss
32 Absorptionsmodulator
34 Phasenmodulator
36 Mach-Zehnder-Interferometer
38 Signalpfad- Arm
40 Signalpfad-Arm
42 Multimodeninterferenz-Koppler
44 System, optoelektronisch
46 Lichtquelleneinheit
48 Sensoreinheit

Claims

P a t e n t a n s p r ü c h e
1. Optische Matrixmultiplikationseinheit (12) für ein optoelektronisches System zur Bildung eines künstlichen neuronalen Netzes, mit
N Eingangswellenl eitern (14),
M Ausgangswellenleitern (16) und einer Mehrzahl von Matrixmultiplikations-Einheitszellen (10) zur Signalverarbeitung optischer Signale von je einem der N Eingangswellenleiter (14) und zur Übertragung des jeweils verarbeiteten Signals in einen der M Ausgangswellenleiter (16), wobei jede der Matrixmultiplikations-Einheitszellen (10) einem der Eingangswellenleiter (14) und einem der Ausgangswellenleiter (16) zugeordnet ist und eine eineindeutige Zuordnung zwischen diesen beiden zugeordneten Wellenleitern (14, 16) vornimmt, wobei jede der Matrixmultiplikations-Einheitszellen (10) zur Signalverarbeitung und Signalübertragung einen zwischen den zugeordneten Eingangswellenleiter (14) und den zugeordneten Ausgangswellenleiter (16) zwischengeschalteten Direktionalkoppler (24) mit elektrooptischem Modulator (26) zur Transmissionsregelung des Direktionalkopplers (24) aufweist.
2. Matrixmultiplikationseinheit nach Anspruch 1, dadurch gekennzeichnet, dass der elektrooptische Modulator (26) der jeweiligen Matrixmultiplikations-Einheitszelle (10) ein Phasen-Modulator (34) ist.
3. Matrixmultiplikationseinheit nach Anspruch 2, dadurch gekennzeichnet, dass der jeweilige Direktionalkoppler (24) ein Mach-Zehnder- Interferometer (36) aufweist, in das der Phasen-Modulator (34) integriert ist. Matrixmultiplikationseinheit nach Anspruch 3, dadurch gekennzeichnet, dass der jeweilige Direktionalkoppler (24) weiterhin Multimodeninterferenz -Koppler (42) zur Wellenaufteilung am Eingang und Ausgang des Mach-Zehnder-Interferometers (36) aufweist. Matrixmultiplikationseinheit nach Anspruch 1, dadurch gekennzeichnet, dass der elektrooptische Modulator (26) der jeweiligen Matrixmultiplikations-Einheitszelle (10) ein Absorptionsmodulator (32) ist. Matrixmultiplikationseinheit nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass diese Matrixmultiplikationseinheit (12) als halbleiterbasierte Matrixmultiplikationseinheit (12) ausgestaltet ist. Matrixmultiplikationseinheit nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass diese Matrixmultiplikationseinheit (12) als eine auf mindestens einem optisch aktiven Material basierende Matrixmultiplikationseinheit ausgestaltet ist. Matrixmultiplikations-Einheitszelle (10) für eine optische Matrixmultiplikationseinheit (12) nach einem der Ansprüche 1 bis 7, wobei diese Einheitszelle (10) zur Signalverarbeitung optischer Signale eines Eingangswellenleiters (14) der optischen Matrixmultiplikationseinheit (12) und zur Übertragung des jeweils verarbeiteten Signals in einen Ausgangswellenleiter (16) der optischen Matrixmultiplikationseinheit (12) einen Direktionalkoppler (24) mit integriertem elektrooptischen Modulator (26) aufweist. Optoelektronisches System (44) zur Bildung eines künstlichen neuronalen Netzes, mit einer Lichtquelleneinheit (46), - 14 - einer optischen Matrixmultiplikationseinheit (12) nach einem der Ansprüche 1 bis 8 und einer Sensoreinheit (48).
EP21777702.8A 2020-09-15 2021-09-14 Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes Pending EP4214641A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020124034.1A DE102020124034A1 (de) 2020-09-15 2020-09-15 Optische Matrixmultiplikationseinheit für ein optoelektronisches System zur Bildung eines künstlichen neuralen Netzes
PCT/EP2021/075232 WO2022058307A1 (de) 2020-09-15 2021-09-14 Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes

Publications (1)

Publication Number Publication Date
EP4214641A1 true EP4214641A1 (de) 2023-07-26

Family

ID=77914329

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21777702.8A Pending EP4214641A1 (de) 2020-09-15 2021-09-14 Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes

Country Status (5)

Country Link
US (1) US20230342596A1 (de)
EP (1) EP4214641A1 (de)
CN (1) CN116324813A (de)
DE (1) DE102020124034A1 (de)
WO (1) WO2022058307A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233239A1 (en) 2022-05-31 2023-12-07 W Endoluminal Robotics Ltd Systems and techniques for minimally-invasive procedures

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507818B2 (en) 2018-06-05 2022-11-22 Lightelligence PTE. Ltd. Optoelectronic computing systems

Also Published As

Publication number Publication date
CN116324813A (zh) 2023-06-23
US20230342596A1 (en) 2023-10-26
DE102020124034A1 (de) 2022-03-17
WO2022058307A1 (de) 2022-03-24

Similar Documents

Publication Publication Date Title
DE2443038C2 (de) Elektrooptischer Schalter und Modulator für sich kreuzende oder verzweigende optische Wellenleiter
DE3874199T2 (de) Einrichtung zur polarisationssteuerung.
DE2843763C2 (de) Optischer Schalter und/oder -Modulator
DE2443128A1 (de) Laserstrahl-koppelanordnung
EP0344739B1 (de) Opto-elektronischer A/D-Wandler mit einer Mehrzahl parallel geschalteter Lichtwellenleiter-Interferometer
DE102014203925B4 (de) Elektro-optischer Modulator und Verfahren zum Herstellen eines elektro-optischen Modulators
DE3300226A1 (de) Varioobjektiv
DE69119019T2 (de) Polarisationsunabhängige optische Schalter/Modulatoren
DE3406207A1 (de) Integriert-optische wellenlaengenmultiplex- und -demultiplexeinrichtung fuer monomode-uebertragungssysteme und ihre verwendung
DE1295235B (de) Verfahren und Vorrichtung zur Steuerung der Richtungsablenkung von Lichtstrahlengaengen um grosse Winkeldifferenzen
DE3883492T2 (de) Verfahren zur Anordnung eines polarisationsrichtenden optoelektronischen Schalters und ein Schalter dafür.
DE69102450T2 (de) Integriert optischer Polarisationsteiler.
DE60203340T2 (de) Auf Totalreflexion beruhender optischer Schalter mit bewegtem Tropfen
EP4214641A1 (de) Optische matrixmultiplikationseinheit für ein optoelektronisches system zur bildung eines künstlichen neuronalen netzes
DE69734377T2 (de) Nichtlineares optisches Verzweigungselement
CH628154A5 (de) Anordnung zur modulierung des lichtes in einem optischen wellenleiter fuer uebertragungszwecke in optischen fernmeldeanlagen.
DE2619327C2 (de) Elektrooptischer Schalter
DE19638099A1 (de) Optischer Schalter
EP0043449B1 (de) Planarer elektrooptischer Lichtablenker für mehrere Strahlpositionen
DE2359797C3 (de) Schaltbare optische Wellenleitereinrichtung
DE19809887A1 (de) Optisches Signalübertragungssystem
DE69838977T2 (de) Wellenlängenselektive optische vorrichtung mit mindestens einer bragg-gitterstruktur
DE102021121918A1 (de) Optoelektronische Recheneinheit und Matrixprozessor
DE102016221388A1 (de) Optischer Phasenschieber, optische phasengesteuerte Anordnung, Verfahren zur Einstellung einer Phase elektromagnetischer Strahlung, Verfahren zur Einstellung eines Strahlenverlaufs, LiDAR-System
DE69628422T2 (de) Polaristionsunabhängiger elektrooptisch geschalteter richtkoppler

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230330

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)