<Desc/Clms Page number 1>
Diese Erfindung betrifft ein Gerät, das nach dem Pnnzip neuronaler Netzwerke arbeitet, wobei die Gewichte der Synapsenverbindungen zwischen den Neuronenelementen direkt digital adressierbar sind, die Neuronenelemente über die Synapsenverbindungen durch optische Signale angesteuert werden, jedes Neuronenelement als elektronische Schaltung aufgebaut ist und zumindest einen lichtempfindlichen Emgang und einen lichtaussendenden Ausgang aufweist und die Synapsengewichte durch direkt digital ansteuerbare Abschattungsvorrichtungen innerhalb der Synapsenverbindungen zwischen den Neuronen gegeben sind, die Abschattungsvornchtung aus einer Anordnung von n direkt ansteuerbaren Elementen von in elektrischen Feldern polarisierenden Flüssigkristallen in Verbindung mit einem permanent wirkenden Polarisationsfilter besteht.
Die Ursprünge neuronaler Netzwerkmodelle reichen bis in die vierziger Jahre dieses Jahrhunderts zurück. Die anfängliche Motivation für die Entwicklung von Modellen solcher Netzwerke bestand dann, die Vorgänge Im menschlichen bzw. tierischen Gehirn zu erforschen. In letzter Zeit gewinnen jedoch auch die technischen Anwendungsmöglichkeiten bestimmter Modelle zunehmend an Bedeutung, wobei aber die Analogien zum biologischen Aufbau von Nervenzellen nicht Immer gegeben sind.
Für Problemstellungen wie Mustererkennung, Schnfterkennung, Spracherkennung und Robotersteuerung, um nur einige Beispiele zu nennen, existieren aber bereits theoretisch sehr brauchbare Modelle für die Eigenschaften und Verschaltungen von Neuronen und, noch wichtiger, Algorithmen um das neuronale Netz auf eine bestimmte Aufgabe zu trainieren (Für eine Beschreibung der Funktionsweise von neuronalen Netzwerken und der Lernalgonthmen siehe z. B. H. Fetter, T. Martinez und K. Schutten."Neuronale Netze", Addison-Wesley 1991).
Allen Modellen ist gemeinsam, dass ein Neuron über Synapsen an andere Neuronen gekoppelt ist, wobei jedes einzelne Synapsengewicht, also das Mass dafür, wie stark ein Reiz von einem Neuron an ein anderes weitergegeben wird, verändert wird, um das Netz an die gestellte Aufgabe anzupassen. Das Netz lernt
EMI1.1
bestimmten Regeln geändert werden bis das Lernziel erreicht 1St.
Um solche neuronalen Netzwerke realisieren zu können, gibt es zwei bisher beschnttene Wege :
1. Die Simulation auf einem Computer. Dabei wird der Reihe nach der Zustand jedes Neurons In Abhängigkeit von den Synapsenstärken errechnet ; es ist allerdings auch möglich, auf Prozessoren mit paralleler Architektur die Zustände mehrerer Neuronen gleichzeitig zu berechnen. Eine Von Neumann-
Maschine wie der Computer ist wegen seiner sequentiellen Arbeitsweise allerdings denbar schlecht geeignet, um ein neuronales Netz zu simulieren und man benötigt dementsprechend sehr grosse Rechenanlagen, um die Rechenzeit erträglich zu gestalten.
Eel massiv parallel arbeitenden Prozessoren liegt die Schwierigkeit In erster Linie in der Programmierung, aber auch der technische und wirtschaftli- che Aufwand, der getrieben werden muss, um ein solches System zu installieren ist sehr gross.
2. Die Konstruktion von Neuronen als Hardware (siehe z. B. EP 91 305 016. 7, DE 3 833 143. 8, DE 3 924
778. 3, DE 4 015 791. 1, DE 4 016 197. 8, DD 134 278, DD 285 220) Die Entwicklungen In diese Richtung scheinen zwar richtungsweisend, die bisher realisierten oder entworfenen Lösungen haben aber die
Nachteile, dass entweder die Synapsengewichte nicht verändert werden können, oder aber durch den
Aufbau bedingt nur einer der zahlreichen Lernalgonthmen verwendet werden kann, und schliesslich, dass mit einem auf ein Problem eintrainierten Gerät kein grundsätzlich anderes Problem gelöst werden kann, ohne das vorhergehend Erlernte zu verlieren. in der US-5 063 531 A (Kawei) bzw. US-5 095 459 A (Ohta) ist von LCD-Matnzen als mögliche Uchtmodulatoren die Rede, In der US-5 063 531 A wird explizit die Analogie zu Fernsehbildschirmen erwähnt.
In den genannten Patentschnften wird einer Abschattungsvornchtung des Lichtmodulators (entspncht einem Element der Matnx bzw. einem Pixel des Bildschirmes) eine Zahl zugeordnet, welche die
EMI1.2
Abstufungen verändert werden. Bel den oben genannten US-Patentschriften stellt eme - z. B. bmäre - Zahl (z. B. 1 Byte) den Grauwert eines Elementes dar.
Die In der US-5 095 459 A und der US-5 063 531 A genannten Erfindungen machen von der Anordnung der lichtaussenden Elemente In Spalten und der lichtempfindlichen Elemente In Zeilen Gebrauch, wobei sich der matnxförmlge Uchtmodulator logisch dazwischen befindet, diese Anordnung entspricht einer Matrixmultiplikation Im herkömmlichen Sinn. Die In der US-5 095 459 A angesprochene Notwendigkeit der Bildung von positiven und negativen Zahlenwerten (hemmenden und erregenden Signalen) ist Inhalt der meisten bekannten neuronalen Algorithmen.
In der US-5 008 833 A (Agranat) erfolgt die Matnxmultlpllkatlon auf elektronischem Weg, und zwar in der mit MUL bezeichneten Einheit. Aus der mit T'J bezeichneten Synapsenmatnx wird hintereinander jeweils nur eine Srilte herausgegriffen aufsummiert und anschliessend mit der entsprechenden Komponente des Vektors V, multipliziert
<Desc/Clms Page number 2>
In der US-5 008 833 A wird In keiner Weise die besondere Gestaltung der Abschattungsvorrichtung berührt.
Um nun auch verschiedenen Anwendungen gerecht zu werden, lautet die Problemstellung, ein funktionsfähiges, vielseitiges und schnelles Gerät zu schaffen, welches es ermöglicht, verschiedene Lernaigo- rithmen - inklusive solche, die erst entwickelt werden-zu verwenden, und gleichzeitig den technischen Aufwand bel seiner Herstellung möglichst gering zu halten.
Diese Aufgabe wird durch die vorliegende Erfindung dadurch gelöst, dass die Abschattungselemente entsprechend der Ansteuerung entweder lichtundurchlässig oder lichtdurchlässig sind und dass jedem dieser Elemente die Bedeutung eines Bits eines n-Bit-Wortes zukommt und der Grad der Abschattung mit dem numerischen ganzzahligen Wert des n-Bit-Wortes korreliert ist.
Die Erfindung wird nun anhand von Zeichnungen, in weichen zwei Ausführungsbeispiele herausgegriffen werden, beschrieben.
Die Neuronenelemente und Synapsenverbindungen der vorliegenden Erfindung sind als Hardware ausgeführt, wobei die Synapsengewichte jedoch von einem Mikroprozessor aus angesteuert werden können. Die Kopplung zwischen den Neuronen erfolgt durch Lichtsignale, die Synapsengewichte entsprechen einer unterschiedlichen Schwächung der Lichtintensität durch Abschattung. Die zur Abschattung verantwortlichen Vornchtungen befinden sich also jeweils zwischen einem Quellneuron und einem Zteineu- ron. Die Abschattung kann nun bevorzugterweise durch den Einsatz von polarisierenden Flüssigkristallen nach dem Prinzip von LCD-Anzeigen erfolgen.
Der erfindungsgemässe Aufbau einer solchen Vorrichtung beinhaltet nun, dass mehrere verschieden grosse oder verschieden lichtdurchlässige Flüsslgknstallelement eine Abschattungsvorrichtung bilden, wobei jedes dieser Elemente entweder eingeschaltet (lichtundurchläs-
EMI2.1
kann der Grad der Abschattung stufenweise eingestellt werden, bel 8 Flüssigkristalielementen stehen dann zum Beispiel 256 Abstufungen zur Verfügung, dies wiederum entspricht einer binären 8-Blt-Zahi, respektive einer Byte.
Die Ansteuerung der binär codierten Abschattungsvorrichtungen erfolgt analog der Ansteuerung eines LCD-Computerbildschirms, die Information, ob ein Flüsslgknstallelement (ein Bildpunkt) ein-oder ausgeschaltet ist befindet sich in Form einer Bit-Map in einer Binärspeicher und kann von einer Mikroprozessor verarbeitet werden.
Dieser Mikroprozessor übernimmt nun die Verwaltung der Synapsengewichte, einerseits können die für eine beste Anwendung bereits bestimmten Synapsengewichte als binäre Zahlen auf einen permanenten Datenträger üblichen Formats (Festplatte, Diskette, Magnetband etc. ) übertragen bzw. von diese eingelesen werden, andererseits übernimmt der Mikroprozessor die Kontrolle über den Trainingsvorgang, wobei die Synapsengewichte nach einer der neuronalen Algorithmen solange verändert werden, bis das Ergebnis zufriedenstellend ist. Der Lernalgonthmus befindet sich dabei in einer Computerprogramm, weiches der Prozessor arbeitet.
Soll das Netzwerk beispielsweise einen Schichtenaufbau (Bachpropagation-Modell) aufweisen, dann ist es notwendig, jedes Neuron einer Schicht mit jedem Neuron aus der folgenden Schicht über Synapsen zu verbinden. Das hat zur Folge, dass - dies gilt aber für alle theoretischen Neuronenmodelle - eine sehr grosse Anzahl von Synapsenverbindungen vorhanden sein muss, und jede Synapsenverbindung weist eine für die
EMI2.2
genden Erfindung wird die grosse Anzahl an Synapsengewichten insofern relativiert, dass ein Mikroprozessor einen Speicher mit einigen Megabyte direkt verwalten kann, und einem Speicherelement (z. B. 1 Byte) entspncht ja ein Synapsengewicht.
Die Neuronen können als elektronische Schaltkreiselemente aufgebaut werden, die an der Eingangsset- te ein lichtempfindliches Element aufweisen, welches die an das Neuron gelangenden Lichtsignale regl- stnert, an der Ausgangseite befindet sich eine Lichtquelle, die das Neuron über die Synapsen mit anderen Neuronen verbindet. Dieser Schaltkreis sendet nur dann ein Lichtsignal an andere Neuronen, wenn die Lichtintensität am Eingang über einer bestimmten Schaltschwelle liegt.
Für die meisten Netzwerkemodelle sind hemmende und erregende Lichtsignale erforderlich. Dies kann beispielsweise dadurch erreicht werden, dass ein Signal als hemmend definiert wird, wenn die Lichtintensität des Signals durch die Abschattungsvorrichtung um mehr als die Hälfte vermindert wird. Ist die Abschattung gennger, dann wird das Signal als erregend gewertet. Dies hat aber den Nachteil, dass die Schaltschwelle der Neuronen von der Anzahl der dieses Neuron ansteuernden Neuronen abhängt und ausserdem eher hoch anzusetzen ist.
Eine vorteilhafte Möglichkeit besteht darin, eine weitere abschattende Vorrichtung In den Synapsenverbindungen anzubnngen, die als Weiche für das Lichtsignal arbeitet, und die als Neuronen arbeitenden Schaltkreise so zu gestalten, dass ein Neuronenschaltkreis zwei lichtempfindliche Eingänge aufweist. Die als Welche arbeitende zusätzliche Abschattungsvornchtung lenkt die Hälfte des Lichtsignals entweder auf den einen (erregenden) oder auf den anderen (hemmenden) lichtempfindlichen Eingang des
<Desc/Clms Page number 3>
Neurons, die andere Hälfte des Lichtsignals wird abgedunkelt.
Als erregendes Signal für ein Neuron wird nunmehr die Differenz der erregenden un der hemmenden Signale angenommen, d. h. übersteigt die Summe der hemmenden Signale die Summe der erregenden, dann bleibt das Neuron inaktiv, ISt die Intensität der erregenden Signale grösser, dann gilt das für den Schaltkreis mit einem Eingang gesagte.
Die technische Ausführung beziehungsweise die Arbeitsweise solcher als Neuronenelemente arbeiten- den Schaltkreise gehört zum Stand der Technik und ISt nicht Gegenstand der vorliegenden Erfindung. Es sei aber an dieser Stelle darauf hingewiesen, dass die Schaltgeschwindigkeit der lichtempfindlichen Elemente und der Lichtquellen stark von der Wahl der entsprechenden handelsüblichen Bautelle abhängt.
Die Verbindungen zwischen den lichtaussendenden Ausgängen der Neuronenelemente und den Abschattungsvornchtungen können auch über Lichtleiter (Glasfaserkabel) geschlossen werden, was einen kompakten Aufbau des Gerätes ermöglicht, überhaupt dann, wenn die Abschattungsvornchtungen 10 Matrixform angeordnet sind.
Es ist natürlich möglich, den physikalischen Aufbau so vorzunehmen, dass jedes Neuron mit jedem Neuron verbunden ist ; soll eine bestimmte Neuronenstruktur für die Lösung einer Aufgabe verwendet werden, dann werden alle nicht benötigten Synapsenverbindungen gesperrt. In der Praxis ist es jedoch für viele Algorithmen ausreichend, von vornherein Schichtenstrukturen zu bilden, eine Schicht bildet die Emgangsschicht, d. h. diese Neuronen werden über den Prozessor (vorzugsweise wieder über unterschiedlich abgeschattete Lichtsignale) angesteuert, damit in direkter Verbindung stehen"verborgene"Schichten, und eine Schicht bildet die Ausgangsschicht ;
die Aktivitäten der Neuronen 10 der Ausgangsschicht können über Analog-Digital-Wandler 10 einen bestimmten Speicherbereich, auf den der Prozessor zugnff hat, geschrieben werden. Dieser Speicherbereich repräsentiert das mit den aktuellen Synapsengewichten erhaltene Ergebnis für ein bestimmtes Eingangsmuster
In den Figuren 1 und 2 sind zwei Ausführungsbeispiele für die Abschattungsvornchtungen dargestellt.
Die Abschattungsvorrichtung mit der Zu- und Ableitung des Lichtsignals in Fig. 1 besteht aus dem Ende einer Glasfaser 1, welches 10 ein Rechteck ausläuft Aus der daran ansetzenden Glasfaser kommt das Lichtsignal vom lichtaussendenden Ausgang eines Neurons an die Abschattungsvornchtung Um die Ausleuchtung der Stirnseite des Glasfaserkabelendes 1 zu gewährleisten, kann das Glasfaserende 1 aus leicht diffusem lichtdurchlässigem Matenal aufgebaut werden. Die eigentliche Abschattungsvorrichtung 2 besteht aus mehreren unterschiedlich grossen Abschattungselementen 3 aus Flüssigkristallen, die m diesem Fall als parallele Streifen ausgebildet sind.
Auf die Darstellung einer permanent polarisierenden Schicht, die notwendig ist, damit der abschattende Effekt zustande kommt, wurde aus Gründen der Übersichtlichkeit in Fig. 1 verzichtet. Durch geeignetes binäres Ansteuern der polanslerenden Abschattungselemente aus
EMI3.1
rung der Lichtintensität eingestellt werden. Stnd nun n unterschiedlich breite Streifen vorhanden, wobei die Breite des Streifens j (j = 1, 2, 3.., n) den 2'-ten Teil der Fläche der Abschattungsvornchtung 2 abdeckt, und das Ansteuern/Abdunkeln des j-ten Streifens mit der j-ten Stelle (dem j-ten Bit) einer binären Zahl identifiziert wird, dann ist die durch die Abschattungsvorrichtung 2 gelangende Lichtintensität direkt proportional zum Komplement dieser binären Zahl.
Hinter der Abschattungsvornchtung 2 befinden sich zwei weitere Abschattungsvorrichtungen 4 und 5 zur Trennung des Lichtsignals in zwei Teilsignale, welche dann durch die Glasfaserenden 6 und 7 einmal an den erregenden und einmal an den hemmenden Eingang des Zielneurons gelegt werden. Dabei gilt, dass entweder die Abschattungsvornchtung 4 oder die Abschattungsvornchtung 5 lichtdurchlässig ist, die Hälfte der Lichtintesität des Signals also ausschliesslich einen der beiden Eingänge des Z ! e ! neurons erreichen kann. Im Zielneuron wird dann schliesslich die Differenz der Summe aller dieses Neuron erregenden und der Summe aller dieses Neuron hemmenden Signale gebildet und weiterverarbeitet.
Diese Differenzenbildung bringt den zusätzlichen Effekt mit sich, dass Ungenauigkeiten, die aus der nicht vollständigen Abschattung des Lichts durch die Abschattungselemente (LCD-Eiemente) 3 oder dem Vorhandensein von Zwischenräu- men zwischen den Abschattungselementen resultieren, nicht zum tragen kommen, da etwaiges durch die Abschattungselemente dringendes Restlicht durch die Differenzenbildung herausfällt.
In Fig. 2 weist das Glasfaserende 8 eine andere rechteckige Form auf. Die Abschattungsvorr chtung 10 besteht nun aus n gleich grossen Abschattungselementen 11, die bevorzugterweise wieder aus Flussigkn- stallelementen bestehen. Zwischen der Abschattungsvorrichtung 10 und dem Glasfaserende 8 befindet sich eine unterschiedlich (zum Beispiel fotographisch) geschwärzte Folie 9. Dadurch wird eine unterschiedliche Gewichtung der Abschattung der Abschattungselemente 11, die wiederum binär angesteuert werden, erreicht. Die Lichttransmission der Folie 9 nimmt stufenweise von ganz durchlässig so ab, dass durch das Abschattungselement j (j = 1, 2, 3.., n) nur der 21-1-te Teil des Lichts durchdnngen kann.
Hinter der Abschattungsvornchtung 10 und den Glasfaserenden 14 und 15 befinden sich analog zu dem m Figur 1 dargestellten Ausführungsbeispiel die Abschattungsvornchtung 12 und 13 zur Trennung des
<Desc/Clms Page number 4>
Lichtsignals, welches über die Glasfaserenden 14 und 15 an die belden Eingänge des Z ! etneurons gelangt.
Der Nachteil des in Figur 2 dargestellten Ausführungsbeispiels liegt in der genngeren Lichtdurchlässig- kelt der gesamten Vornchtung, da das Lichtsignal In jedem Fall geschwächt wird ; der nicht zu unterschät- zende Vorteil ist aber dann begründet, dass für den Aufbau gemäss Figur 2 handelsübliche LCD-Matnx-
Bildschirme samt dem zugehörigen Mikroprozessor verwendet werden können.
In Fig. 3 Ist schematisch ein Teil des Aufbaus eines Ausführungsbeispiels des erfindungsgemässen
Netzwerkes dargestellt (Backpropagation-Modell). Es werden dabei nur zwei Schichten von Neuronen dargestellt (Quellschicht und Zielschicht). Die Abschattungsvorrichtungen sind In Form einer flächenhaften
Matrix 18 angeordnet. Ein - in der Darstellung willkürlich herausgegnffenes - lichtsignal gelangt vom lichtaussendenden Ausgang 21 eines Quellneurons 16 über eine Glasfaser 22 und das Glasfaserende 23 an eine der flächenhaft angeordneten Abschattungsvorrichtungen 18.
Hinter den flächenhaft angeordneten
Abschattungsvorrichtungen 18 setzen die Glasfaserenden 24 und 25 an, die das Lichtsignal über die
Glasfasern 26 und 27 an die beiden lichtempfindlichen Eingänge 19 und 20 des Zielneurons 17 weiterleiten.
Wie In Figur 3 angedeutet, laufen die Verbindungen von jedem Neuron der Que ! ! schicht über die flächenhaft angeordneten Abschattungsvorrichtungen 18 zu jedem Neuron der Zielschicht, was, wenn man den Aufbau um zusätzliche Schichten erweitert denkt, dem Backpropagation-Modell entspricht. Sämtliche In
Figur 3 dargestellten Neuronen sind im elektronischen Aufbau identisch.
In Fig. 4 ist ein weiteres Ausführungsbeispiel eines Teils des erfindungsgemässen Geräts dargestellt, wobei keine Glasfasern erforderlich sind. Die lichtaussendenden Ausgänge 28 der - In diesem Fall drei -
Quellneuronen sind dabei als rechteckige Streifen ausgebildet und befinden sich unmittelbar vor der
Abschattungsvomchtung 29, die in diesem Fall analog gestaltet ist wie in Fig. 1. Dahinter befindet sich wieder, ebenfalls analog zu Fig. 1, die Abschattungsvornchtung zur Trennung der Lichtsignale In zwei
Teilsignale (hemmendes und erregendes Signal) 30.
Die jeweils zwei lichtempfindlichen Elemente 31 und
32 der - In diesem Fall wieder drei - Zielneuronen sind als rechteckige Streifen ausgebildet und befinden sich unmitteter hinter der Abschattungsvomchtung zur Trennung der Lichtsignale In zwei Teilsignale 30. Das anhand Fig. 4 beschnebene Ausführungsbeispiel hat gegenüber den Ausführungsbeispielen, die In Flg. 1, 2 und 3 dargestellt sind, den Vorteil, dass auf Glasfasern verzichtet werden kann, der Nachteil liegt aber In der speziellen Ausgestaltung der lichtempfindlichen Elemente 31 und 32.
Durch Eindringen einer optischen Vorrichtung (Zylinderlinse) sind zwar pnnzlpiell auch konventionelle, also nicht streifenförmige lichtempfindlichen Elemente verwendbar, die Herstellung einer solchen aberrationsarmen optischen Vorrichtung erfordert jedoch einiges an technischem Aufwand.
<Desc / Clms Page number 1>
This invention relates to a device which works according to the principle of neural networks, the weights of the synapse connections between the neuron elements being directly digitally addressable, the neuron elements being controlled by optical signals via the synapse connections, each neuron element being constructed as an electronic circuit and at least one light-sensitive input and has a light-emitting output and the synapse weights are given by directly digitally controllable shading devices within the synapse connections between the neurons, the shading device consists of an arrangement of n directly controllable elements of liquid crystals polarizing in electric fields in connection with a permanently acting polarization filter.
The origins of neural network models go back to the 1940s. The initial motivation for developing models of such networks was then to research the processes in the human or animal brain. In recent times, however, the technical application possibilities of certain models have become increasingly important, although the analogies to the biological structure of nerve cells are not always given.
For problems such as pattern recognition, face recognition, voice recognition and robot control, to name just a few examples, there are already theoretically very useful models for the properties and interconnections of neurons and, more importantly, algorithms to train the neural network for a specific task (For a description of the functioning of neural networks and the learning algorithms see, for example, BH Fetter, T. Martinez and K. Schutten ("Neuronal Networks", Addison-Wesley 1991).
All models have in common that a neuron is coupled to other neurons via synapses, whereby each individual synapse weight, i.e. the measure of how strongly a stimulus is passed on from one neuron to another, is changed in order to adapt the network to the task at hand . The network is learning
EMI1.1
certain rules are changed until the learning goal is reached 1h.
There are two ways to implement such neural networks:
1. The simulation on a computer. The state of each neuron is calculated in turn depending on the strength of the synapse; however, it is also possible to calculate the states of several neurons simultaneously on processors with a parallel architecture. A Von Neumann
However, because of its sequential mode of operation, machines such as computers are extremely unsuitable for simulating a neural network, and accordingly very large computing systems are required to make the computing time bearable.
The problem with Eel massively parallel processors lies primarily in the programming, but also the technical and economic effort that has to be made to install such a system is very great.
2. The construction of neurons as hardware (see, for example, EP 91 305 016.7, DE 3 833 143.8, DE 3 924
778. 3, DE 4 015 791. 1, DE 4 016 197. 8, DD 134 278, DD 285 220) The developments in this direction seem to point the way, but the solutions that have been realized or designed so far have the
Disadvantages that either the synapse weights can not be changed, or by the
Construction means that only one of the numerous learning algorithms can be used, and finally that a device that has been trained on a problem cannot solve a fundamentally different problem without losing what has been learned previously. US Pat. No. 5,063,531 A (Kawei) and US Pat. No. 5,095,459 A (Ohta) speak of LCD mattresses as possible Ucht modulators. US Pat. No. 5,063,531 A explicitly mentions the analogy to television screens.
In the cited patent sections, a shading device of the light modulator (corresponding to an element of the Matnx or a pixel of the screen) is assigned a number which corresponds to the
EMI1.2
Gradations are changed. Bel the above-mentioned US patents, eme -. B. bmare - number (e.g. 1 byte) represents the gray value of an element.
The inventions mentioned in US Pat. Nos. 5,095,459 and 5,063,531 make use of the arrangement of the light-emitting elements in columns and the light-sensitive elements in rows, with the matrix-shaped light modulator being logically in between, this arrangement corresponds to a matrix multiplication In the traditional sense. The need for the formation of positive and negative numerical values (inhibitory and exciting signals) mentioned in US Pat. No. 5,095,459 A is the content of most known neural algorithms.
In US-5 008 833 A (Agranat), the multiplication of materials is carried out electronically, in the unit denoted by MUL. Only one syllable is picked out from the synapse matrix labeled T'J in each case and then multiplied by the corresponding component of the vector V.
<Desc / Clms Page number 2>
No. 5,008,833 A does not affect the special design of the shading device in any way.
In order to do justice to various applications, the problem is to create a functional, versatile and fast device that makes it possible to use different learning algorithms - including those that are only being developed - and at the same time the technical effort To keep production as low as possible.
This object is achieved by the present invention in that the shading elements are either opaque or translucent according to the control, and that each of these elements has the meaning of a bit of an n-bit word and the degree of shading with the numerical integer value of the n- Bit word is correlated.
The invention will now be described with reference to drawings, in which two exemplary embodiments are selected.
The neuron elements and synapse connections of the present invention are implemented as hardware, but the synapse weights can be controlled by a microprocessor. The coupling between the neurons is done by light signals, the synapse weights correspond to a different weakening of the light intensity by shadowing. The devices responsible for shadowing are therefore located between a source neuron and a Ztein neuron. The shading can now preferably be carried out by using polarizing liquid crystals on the principle of LCD displays.
The construction of such a device according to the invention now includes that a plurality of differently sized or differently translucent liquid lamp elements form a shading device, each of these elements either being switched on (opaque).
EMI2.1
If the degree of shading can be set in stages, there are 256 gradations available for 8 liquid crystal elements, which in turn corresponds to a binary 8-Blt number or one byte.
The binary-coded shading devices are activated analogously to the activation of an LCD computer screen, the information as to whether a liquid element (a pixel) is switched on or off is in the form of a bit map in a binary memory and can be processed by a microprocessor.
This microprocessor now takes over the management of the synapse weights.On the one hand, the synapse weights already determined for the best application can be transferred as binary numbers on a permanent data medium (hard disk, floppy disk, magnetic tape etc.) or read in from them, on the other hand the microprocessor takes over Control over the training process, whereby the synapse weights are changed according to one of the neural algorithms until the result is satisfactory. The learning algorithm is located in a computer program that the processor works with.
For example, if the network is to have a layer structure (Bach propagation model), it is necessary to connect every neuron in one layer to every neuron in the following layer via synapses. The result of this is that - but this applies to all theoretical neuron models - there must be a very large number of synapse connections, and each synapse connection has one for them
EMI2.2
According to the invention, the large number of synapse weights is relativized in that a microprocessor can directly manage a memory with a few megabytes, and a memory element (e.g. 1 byte) corresponds to a synapse weight.
The neurons can be constructed as electronic circuit elements that have a light-sensitive element on the input set that regulates the light signals reaching the neuron. On the output side there is a light source that connects the neuron to other neurons via the synapses. This circuit only sends a light signal to other neurons if the light intensity at the input is above a certain switching threshold.
Most network models require inhibitory and exciting light signals. This can be achieved, for example, by defining a signal as inhibitory if the light intensity of the signal is reduced by more than half by the shading device. If the shading is less, the signal is considered to be exciting. However, this has the disadvantage that the switching threshold of the neurons depends on the number of neurons driving this neuron and is also to be set rather high.
An advantageous possibility is to add another shading device in the synapse connections, which works as a switch for the light signal, and to design the circuits that function as neurons in such a way that a neuron circuit has two light-sensitive inputs. The additional shading device working as what directs half of the light signal either to one (exciting) or to the other (inhibiting) light-sensitive input of the
<Desc / Clms Page number 3>
Neurons, the other half of the light signal is darkened.
The difference between the exciting and the inhibitory signals is now assumed to be the exciting signal for a neuron, i. H. If the sum of the inhibitory signals exceeds the sum of the excitatory signals, the neuron remains inactive, if the intensity of the excitatory signals is greater, then what has been said for the circuit with one input applies.
The technical design and the mode of operation of such circuits functioning as neuron elements are part of the prior art and ISt is not the subject of the present invention. At this point, however, it should be pointed out that the switching speed of the light-sensitive elements and the light sources strongly depends on the choice of the corresponding commercially available construction sites.
The connections between the light-emitting outputs of the neuron elements and the shading devices can also be closed via optical fibers (glass fiber cables), which enables a compact structure of the device, especially when the shading devices 10 are arranged in a matrix.
It is of course possible to make the physical structure so that every neuron is connected to every neuron; if a certain neuron structure is to be used for the solution of a task, then all unnecessary synapse connections are blocked. In practice, however, it is sufficient for many algorithms to form layer structures from the outset; one layer forms the input layer, i. H. these neurons are controlled by the processor (preferably again by differently shaded light signals) so that there are "hidden" layers in direct connection, and one layer forms the starting layer;
the activities of the neurons 10 of the output layer can be written via analog-digital converter 10 to a specific memory area to which the processor has access. This memory area represents the result obtained with the current synapse weights for a specific input pattern
FIGS. 1 and 2 show two exemplary embodiments for the shading devices.
1 consists of the end of a glass fiber 1, which 10 runs out a rectangle. From the attached glass fiber, the light signal comes from the light-emitting output of a neuron to the shading device To ensure 1, the glass fiber end 1 can be constructed from slightly diffuse translucent material. The actual shading device 2 consists of several different sized shading elements 3 made of liquid crystals, which in this case are formed as parallel strips.
The illustration of a permanently polarizing layer, which is necessary for the shadowing effect to take place, has been omitted in FIG. 1 for reasons of clarity. By suitable binary control of the polarizing shading elements
EMI3.1
light intensity can be adjusted. Now there are n strips of different widths, the width of the strip j (j = 1, 2, 3 .., n) covering the 2'th part of the area of the shading device 2, and the actuation / darkening of the jth strip is identified with the j-th position (the j-th bit) of a binary number, then the light intensity passing through the shading device 2 is directly proportional to the complement of this binary number.
Behind the shading device 2 there are two further shading devices 4 and 5 for separating the light signal into two partial signals, which are then placed through the glass fiber ends 6 and 7 once at the exciting and once at the inhibiting input of the target neuron. It applies that either the shading device 4 or the shading device 5 is translucent, ie half the light intensity of the signal is exclusively one of the two inputs of the Z! e! can reach neurons. The difference between the sum of all signals that excite this neuron and the sum of all signals that inhibit this neuron is then finally formed and processed in the target neuron.
This difference formation has the additional effect that inaccuracies which result from the incomplete shading of the light by the shading elements (LCD elements) 3 or the presence of spaces between the shading elements do not come into play, since any caused by the Shading elements urgent residual light falls out due to the formation of differences.
2, the glass fiber end 8 has a different rectangular shape. The shading device 10 now consists of n shading elements 11 of the same size, which preferably again consist of liquid knock elements. A differently (for example, photographically) blackened film 9 is located between the shading device 10 and the glass fiber end 8. This results in a different weighting of the shading of the shading elements 11, which in turn are controlled in binary fashion. The light transmission of the film 9 gradually decreases from completely transparent so that only the 21-1th part of the light can penetrate through the shading element j (j = 1, 2, 3 .., n).
Behind the shading device 10 and the glass fiber ends 14 and 15 are analogous to the exemplary embodiment shown in FIG. 1, the shading device 12 and 13 for separating the
<Desc / Clms Page number 4>
Light signal, which is sent to the belden inputs of the Z! etneurons arrives.
The disadvantage of the exemplary embodiment shown in FIG. 2 lies in the reduced light transmission of the entire device, since the light signal is in any case weakened; The advantage that should not be underestimated is justified, however, that for the structure according to FIG.
Screens with the associated microprocessor can be used.
In Fig. 3 is part of the structure of an embodiment of the inventive
Network (back propagation model). Only two layers of neurons are shown (source layer and target layer). The shading devices are in the form of an areal
Matrix 18 arranged. A light signal - arbitrarily found in the illustration - passes from the light-emitting output 21 of a source neuron 16 via a glass fiber 22 and the glass fiber end 23 to one of the flatly arranged shading devices 18.
Behind the areal
Shading devices 18 attach the fiber ends 24 and 25, which the light signal over the
Forward glass fibers 26 and 27 to the two light-sensitive inputs 19 and 20 of the target neuron 17.
As indicated in Figure 3, the connections run from every neuron of the Que! ! layer over the flatly arranged shading devices 18 to each neuron of the target layer, which corresponds to the back propagation model if one thinks of the structure being expanded by additional layers. All In
Figure 3 neurons are identical in electronic structure.
4 shows a further exemplary embodiment of part of the device according to the invention, no glass fibers being required. The light-emitting outputs 28 of the - in this case three -
Source neurons are designed as rectangular strips and are located directly in front of the
Shading device 29, which in this case is designed analogously to FIG. 1. Behind it, again analogously to FIG. 1, is the shading device for separating the light signals In two
Partial signals (inhibiting and exciting signal) 30.
The two photosensitive elements 31 and
32 of the - in this case again three - target neurons are formed as rectangular strips and are located immediately behind the shading device for separating the light signals into two partial signals 30. 1, 2 and 3 are shown, the advantage that glass fibers can be dispensed with, but the disadvantage lies in the special design of the photosensitive elements 31 and 32.
By penetrating an optical device (cylindrical lens), conventional, that is to say non-strip-shaped, light-sensitive elements can be used in general, but the production of such an aberration-free optical device requires a certain amount of technical effort.