DE4225885A1

DE4225885A1 - Korrelationsermittlungsverfahren und verknuepfungsstruktur-schaetzverfahren fuer neuronen

Info

Publication number: DE4225885A1
Application number: DE4225885A
Authority: DE
Inventors: Satoshi Yamada; Kenji Matsumoto; Satoru Shiono
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1991-08-06
Filing date: 1992-08-05
Publication date: 1993-02-18
Anticipated expiration: 2012-08-06
Also published as: JPH05233587A; DE4225885C2; JP3179196B2; US5398187A

Description

Die Erfindung bezieht sich auf ein Korrelationsermittlungs verfahren und ein Verknüpfungsstruktur-Schätzverfahren für das Erkennen eines Zusammenhangs und das Veranschlagen einer Struktur von Verknüpfungen zwischen Neuronen und deren Verknüpfungsstärken zur Funktion eines neuralen Netzmodel les, das in den letzten Jahren bei der Forschung viel Auf merksamkeit gefunden hat. Die Verfahren basieren auf der Zeitablauf-Korrelation zwischen Daten, die einer Vielzahl von Neuronen zugehören.

In den letzten Jahren wurde umfangreich an Neuralnetzmodel len geforscht, was eine große Anzahl vorgeschlagener Neural netzmodelle ergeben hat. Das Ziel dieser Forschungen ist die Entwicklung eines Neuronen-Computers für das Ausführen von Funktionen, die mit dem von-Neumann-Computer schwierig zu realisieren sind.

Zum gegenwärtigen Zeitpunkt ist jedoch die Leistungsfähig keit eines solchen Neuralnetzmodells im Vergleich mit der Informationsverarbeitungsfähigkeit eines Lebewesens noch nicht ausreichend. Daher wird die von den Nervensystemen von Lebewesen ausgeführte Informationsverarbeitung untersucht und es wird zuversichtlich angenommen, daß durch Modellbil dung der Informationsverarbeitung ein Verfahren zum Kon struieren eines Modells mit besserer Leistungsfähigkeit hergeleitet werden kann.

Zum Konstruieren eines Modells eines Nervenschaltungsnetzes eines Lebewesens ist es am wichtigsten, die Struktur des Nervenschaltungsnetzes durch Abschätzen der Stärken von Verknüpfungen zwischen einer großen Anzahl von Neuronen aus Meßergebnissen für die von den Neuronen ausgeführten Aktivi täten aufzuklären. Daher wurde bisher eine Vielfalt von Verfahren zum Erkennen von Verknüpfungen zwischen Neuronen aus Zeitablaufdaten bezüglich der von den Neuronen ausge führten Aktivitäten versucht.

Fig. 1 ist ein Ablaufdiagramm eines typischen herkömmlichen Verfahrens zum Erkennen von Verknüpfungen zwischen Neuronen, das in einer Dissertation beschrieben ist, die in dem "Biological Cybernetics Magazine", Nr. 57, 1987, auf den Seiten 403 bis 414 erschienen ist.

Gemäß der Fig. 1 umfaßt das Ablaufdiagramm drei Schritte ST1, ST2 und ST3. Bei dem Schritt ST1 werden Daten eingege ben. Bei dem Schritt ST2 wird ein Kreuzkoinzidenzhistogramm berechnet. Bei dem Schritt ST3 wird ein normiertes bzw. skaliertes Kreuzkoinzidenzhistogramm berechnet.

Als nächstes werden die entsprechend dem Ablaufdiagramm ausgeführten Vorgänge erläutert. Zuerst werden bei dem Schritt ST1 Entstehungszeitdaten von Aktivitätspotentialen für zwei Neuronen i und j eingegeben. Dann wird aus den bei dem Schritt ST1 eingegebenen Daten bei dem Schritt ST2 ein Histogramm CCH_ÿ(t) von relativen Differenzen hinsichtlich der Aktivitätspotential-Entstehungszeit zwischen den beiden Neuronen i und j berechnet. Dieses Histogramm wird nachfol gend als Kreuzkoinzidenzhistogramm bezeichnet.

Darauffolgend wird bei dem Schritt ST3 das bei dem Schritt ST2 berechnete Kreuzkoinzidenzhistogramm CCH_ÿ(t) zu einem skalierten Kreuzkoinzidenzhistogramm SCCH_ÿ(t) normiert , um Einwirkungen der Meßzeit und der Anzahl von Aktivitätspotentialen auszuschalten. Das skalierte Kreuzkoinzidenzhistogramm ergibt sich aus folgender Gleichung:

SCCH_ÿ(t)=T · CCH_ÿ(t)/(N_i · N_j · Δ)-1 (1)

wobei T die Meßzeit ist, N_i die Anzahl der dem Neuron zugehörigen Aktivitätspotentiale ist, N_j die Anzahl der dem Neuron j zugehörigen Aktivitätspotentiale ist und Δ die bei dem Histogramm angesetzte Breite der Zeiteinheit ist.

Bei dem Erkennen der Korrelation aus Daten für eine Folge von Aktivitätspotentialen tatsächlicher Neuronen nach dem vorstehend beschriebenen herkömmlichen Verfahren für das Erkennen von Verknüpfungen zwischen Neuronen entstehen die folgenden drei Probleme: Das erste Problem besteht darin, daß infolge eines schlechten Nutzsignal/Störsignal-Verhält nisses bzw. Störabstandes bei der Korrelation die Erfas sungsempfindlichkeit schlecht ist. Das zweite Problem be steht darin, daß es schwierig ist, die synaptische Verknüp fungsstärke (von Nervenübergangsstellen) aus dem skalierten Kreuzkoinzidenzhistogramm abzuschätzen oder zu berechnen, da dieses nicht auf einfache Weise von der synaptischen Ver knüpfungsstärke abhängig ist. Das dritte Problem besteht darin, daß es wegen der Änderungen des skalierten Kreuzkoin zidenzhistogramms in Abhängigkeit von der Häufigkeit des Erzeugens von Aktivitätspotentialen durch das sendeseitige Neuron unmöglich ist, Änderungen des skalierten Kreuzkoinzi denzhistogramms, die durch Änderungen der synaptischen Verknüpfungsstärke verursacht sind, und Änderungen zu unter scheiden, die durch Änderungen der Entstehungshäufigkeit verursacht sind.

Insbesondere ist es wichtig, bei dem Analysieren einer von einem Neuralnetzmodell erwarteten Lernfunktion das dritte Problem in Betracht zu ziehen. Hierbei tritt ein Lernprozeß eines Lebewesens durch Änderungen der synaptischen Verknüp fungen zwischen Neuronen in Erscheinung. Infolgedessen muß zum Analysieren einer Lernfunktion abgeschätzt werden, wie sich als Ergebnis eines Lernprozesses die Stärke der synap tischen Verknüpfung zwischen Neuronen ändert.

Bei einem Verfahren zum Erkennen einer Korrelation, die sich wie bei dem skalierten Kreuzkoinzidenzhistogramm außer in Abhängigkeit von der synaptischen Verknüpfungsstärke auch in Abhängigkeit von der Entstehungshäufigkeit sendeseitiger Aktivitätspotentiale ändert, ist Analysieren der Lernfunk tion außerordentlich schwierig, da Änderungen der synapti schen Verknüpfungsstärke nicht abgeschätzt werden können.

Ein konkretes Beispiel wird durch das Erläutern von Ergeb nissen einer Untersuchung durch Simulation eines Neuronenmo dells angegeben. Die Simulationsergebnisse zeigen, wie ein skaliertes Kreuzkoinzidenzhistogramm von der synapitschen Verknüpfungsstärke und der Häufigkeit der Erzeugung von sendeseitigen Aktivitätspotentialen abhängt.

Bei diesem Beispiel werden in Fig. 7 gezeigte Aktivitäten zweier Neuronen i und j durch eine nachstehende Gleichung (2) simuliert. Diese Gleichung, die von Hodgkin und Huxley in den fünfziger Jahren vorgeschlagen wurde, kann für eine äußerst genaue Modellbildung von Neuronenaktivitäten und für ein ausführliches Beschreiben einer Aktivitätspotentialer scheinung herangezogen werden.

I = C · dV/dt + g_Na · m³ · h · (V - E_Na) + g_k · n⁴ · (V - E_K) + g_L · (V - E_L) + g_syn
· f (t) · (V - E_syn) (2)

wobei I ein Membranstrom ist, C eine Membrankapazität ist, V ein Membranpotential ist, g_Na, g_K, g_L und g_syn maximale Leitfähigkeiten für einen Natriumstrom, einen Kaliumstrom, einen anderen Ionenstrom und einen synaptischen Strom sind, E_Na, E_K, E_L und E_syn mittlere Potentiale des Natriumstroms, des Kaliumstroms, des anderen Ionenstroms und des synapti schen Stroms sind, m, h und n Parameter der Natriumaktivie rung, der Natriumdesaktivierung und der Kaliumaktivierung sind und f(t) eine Funktion ist, die Änderungen des synapti schen Stroms mit dem Ablauf der Zeit ausdrückt.

Das erste, das zweite und das fünfte Glied an der rechten Seite der Gleichung (2) stellen jeweils einen kapazitiven Strom, einen Ionenstrom und den synaptischen Strom dar.

Ferner können die die Aktivitäten von Ionenströmen darstel lenden Parameter m, h und n auch jeweils durch eine Diffe rentialgleichung in bezug auf ein Membranpotential ausge drückt werden. Beispielsweise ist eine Differentialgleichung für den Parameter m, der die Natriumaktivierung darstellt, die folgende Gleichung:

dm/dt = (1-m) · α - m · β (3)

α = 0.1 · ß-35 - V)/(exp ((-35 - V)/10) - 1)
β = 4 · exp ((-60 - V)/18)

Gleichermaßen können Differentialgleichungen für die Parame ter h und n aufgestellt werden. Durch Lösen von vier Diffe rentialgleichungen, nämlich der Gleichung (2) und der Glei chungen für die Parameter m, h und n können Änderungen des Membranpotentials der Neuronen und das Erzeugen von Aktivi tätspotentialen berechnet werden. Die Fig. 2 zeigt ein skaliertes Kreuzkoinzidenzhistogramm, das aus einer Folge von durch Simulation ermittelten Aktivitätspotentialen der Neuronen i und j berechnet ist. Gemäß Fig. 2 wird bei einer Verzögerungszeit von 11 ms ein Korrelationsspitzenwert ermittelt. Die Simulation und die Berechnung des Kreuzkoin zidenzhistogramms wurden unter Ändern der synaptischen Verknüpfungsstärke und der Anzahl von Erzeugungen des mitt leren Aktivitätspotentials ausgeführt.

Jede Simulation ergibt eine Folge von Aktivitätspotentialen, für die ein skaliertes Kreuzkoinzidenzhistogramm berechnet wird und ein Spitzenwert ermittelt wird. Fig. 3 zeigt Zusam menhänge zwischen den synaptischen Verknüpfungsstärken und den aus den skalierten Kreuzkoinzidenzhistogrammen ermittel ten Spitzenwerten. Auf der Horizontalachse in Fig. 3 sind relative synaptische Verknüpfungsstärken bei einem Neuronen modell dargestellt. Die Kurven stellen die Zusammenhänge zwischen der synaptischen Verknüpfungsstärke und dem Spit zenwert für verschiedene Häufigkeiten der Erzeugung von mittlerem Aktivitätspotential dar.

Aus den in Fig. 3 gezeigten Ergebnissen der Simulation eines Neuronenmodells ist ersichtlich, daß für eine vorgegebene synaptische Verknüpfungsstärke der Spitzenwert in Abhängig keit von der Anzahl mittlerer Aktivitätspotentiale des Neurons i von Histogramm zu Histogramm verschieden ist.

Ein Verfahren zum geschickten Erkennen von Verknüpfungen zwischen Neuronen aus Zeitablaufdaten für die Neuronen hat bei Leuten Aufmerksamkeit gefunden, die auf die Informati onstheorie spezialisiert sind, welche bisher für die auf dem Gebiet der Neurologie arbeitenden Forscher ohne Interesse ist. Bei der Informationstheorie wird ein Konzept besonders ins Auge gefaßt, das Wechselinformationsgröße bzw. Synentro pie genannt wird. Dieses Konzept erlaubt es, eine zwischen zwei Ereignissen fließende Informationsmenge statistisch zu behandeln. Es ist festzustellen, daß die Informationsmenge im Zusammenhang mit der Stärke der Verbindung bzw. Verknüp fung zwischen Neuronen steht.

Im allgemeinen wird angenommen, daß die Verknüpfung zwischen zwei Neuronen i und j auf sinnvolle Weise durch Anwenden der Synentropie erkannt werden kann. Zum Ermitteln einer Synent ropie aus Zeitablaufdaten von durch die beiden Neuronen i und j erzeugten Aktivitätspotentialen wurde die nachstehende Gleichung (4) abgeleitet:

I (i, j, t) = ΣΣp (n_j,t | m_i) · p (m_i) · log (p(n_j,t | m_i)/p (n_j)) (4)

wobei I () Synentropie ist, p (n_j,t : m_i) eine bedingte Wahrscheinlichkeit dafür ist, daß bei einer Zeitdifferenz t der Zustand des Neurons j n_j,t ist, wenn der Zustand des Neurons i m_i ist, und p (m_i) und p (n_j) jeweils die Wahrscheinlichkeiten des Auftretend des Zustands m_i des Neurons i bzw. des Zustands n_j des Neurons j sind. Die Aufsummierung an der rechten Seite der Gleichung (4) erfolgt für die Zustände der Neuronen i und j.

Fig. 4 zeigt ein Rechenergebnis der Synentropie für die gleiche Folge von Aktivitätspotentialen wie in Fig. 2. Im Vergleich zu Fig. 2 ist der Spitzenwert in bezug auf den Untergrund höher, was ein deutliches Erkennen einer Verknüp fung aus dem skalierten Kreuzkoinzidenzhistogramm ermög licht.

Das herkömmliche Verfahren zum Erkennen einer Verknüpfung zwischen Neuronen wird gemäß der vorstehend beschriebenen Prozedur ausgeführt. Die Synentropie ist eine Funktion der Frequenz bzw. Häufigkeit von durch das sendeseitige Neuron erzeugten Aktivitätspotentialen p(m_i) gemäß Gleichung (4). Daher besteht bei dem herkömmlichen Verfahren ein Problem darin, daß es schwierig ist, durch Änderungen der synapti schen Verknüpfungsstärke verursachte Änderungen des skalier ten Kreuzkoinzidenzhistogramms von Änderungen zu unterschei den, die durch Änderungen der Häufigkeit der Aktivitätspo tentialerzeugung verursacht sind. Außerdem besteht bei dem herkömmlichen Verfahren ein weiteres Problem darin, daß eine anregende synaptische Verknüpfung nicht von einer hemmenden synaptischen Verknüpfung unterschieden werden kann, weil die Synentropie immer einen positiven Wert hat.

Als nächstes wird ein herkömmliches Verfahren bezüglich des Veranschlagens einer Struktur von Verknüpfungen zwischen Neuronen beschrieben.

Zum Analysieren des dynamischen Verhaltens eines Nervensy stems aus Mehrpunkte-Aufzeichnungsdaten ist es zunächst erforderlich, Verknüpfungen zwischen Neuronen zu berechnen und die Struktur von Verknüpfungen zwischen den Neuronen zu veranschlagen. Deshalb müssen die Verknüpfungen zwischen Neuronen berechnet werden und es muß die Struktur von Ver knüpfungen zwischen den Neuronen abgeschätzt werden. Durch einfaches Berechnen der Verknüpfung zwischen zwei beliebigen Neuronen ist es jedoch unmöglich, eine direkte synaptische Verknüpfung zwischen den beiden Neuronen von einer indirek ten Verknüpfung zu unterscheiden, die von Aktivitäten abhän gig ist, welche von einem anderen Neuron ausgeführt werden. Zum Lösen dieses Problems wurden vielerlei Verfahren zum Unterscheiden einer direkten synaptischen Verknüpfung zwi schen den beiden Neuronen von einer indirekten Verknüpfung ausprobiert.

Fig. 5 zeigt ein Ablaufdiagramm des herkömmlichen Verfahrens zum Schätzen einer Struktur von Verknüpfungen zwischen Neuronen, wie es im "Biophysical Journal", Nr. 57, 1990, auf Seiten 987 bis 999 beschrieben ist. Das Ablaufdiagramm in Fig. 5 umfaßt einen Dateneingabeschritt ST4, einen Kreuzko inzidenzhistogramm-Berechnungsschritt ST5, einen Wahrschein lichkeitsberechnungsschritt ST6 und einen Schritt ST7, bei dem eine Verknüpfung zwischen zwei Neuronen unabhängig von einem dritten Neuron berechnet wird.

Im folgenden werden die Vorgänge bei dem herkömmlichen Verfahren beschrieben. Zuerst werden bei dem Schritt ST4 Zeitablaufdaten über Aktivitätspotentiale eingegeben, die von drei Neuronen X, Y und Z erzeugt werden. Darauffolgend werden bei dem Schritt ST5 Kreuzkoinzidenzhistogramme CCH_xy(t), CCH_xz(t) und CCH_yz(t) für die Kreuzkoinzidenzen zwischen den drei Neuronen X, Y und Z berechnet. Hierbei stellt t eine Zeitdifferenz des Neurons Y mit den Neuronen X und Z als Bezugspunkt dar. Als nächstes werden bei dem Schritt ST6 diese Kreuzkoinzidenzhistogramme normiert und Verknüpfungswahrscheinlichkeiten p(X, Y_t, Z), p(X, Z) und p(Y_t, Z) berechnet.

Dann wird eine Verknüpfung h(t) zwischen den Neuronen X und Y nach folgender Gleichung berechnet:

h (t) = log ((p(X, Y_t, Z) p (Z))/(p(X, Z) p (Y_t, Z))) - log r* (5)

wobei r* folgendermaßen definiert ist:

r* = E [f_Y(t, R_t ^Y) p (X) | Z]/(E[f_Y(t, R_t ^Y) | Z] E [p (X) | Z]) (6)

wobei E [D] ein Erwartungswert ist und f_Y(t, R_t ^Y) eine Wahrscheinlichkeit des Aktivierens für einen gegebenen internen Zustand und die Vorgeschichte des Neurons Y ist.

Wenn eine Verknüpfungsbeziehung zwischen Neuronen unter Anwendung des herkömmlichen Schätzverfahrens berechnet wird, kann die Teilnahme des dritten Neurons Z bei der Verknüpfung zwischen den beiden Neuronen X und Y ausgeschaltet werden. Trotzdem besteht bei dem herkömmlichen Verfahren ein Problem darin, daß das Verfahren nicht dafür angewandt werden kann, abzuschätzen, wie das dritte Neuron Z an der Verknüpfung zwischen den beiden Neuronen X und Y teilnimmt.

Es ist Aufgabe der Erfindung, für das Ermitteln von Verknüp fungen zwischen Neuronen ein Verfahren zu schaffen, das dafür angewandt werden kann, auf deutliche Weise eine Ver knüpfung zwischen Neuronen festzustellen und quantitativ die Stärke und Änderung der Verknüpfung zu berechnen, ohne auf die Häufigkeit von durch das sendeseitige Neuron erzeugten Aktivitätspotentialen zurückzugreifen. Ferner ist es auch Aufgabe der Erfindung, für das Veranschlagen der Struktur von Verknüpfungen zwischen Neuronen ein Verfahren zu schaf fen, das dafür angewandt werden kann, durch Berechnen von Verknüpfungen aus Zeitablaufdaten für drei oder mehr Neuro nen eine Struktur der Verknüpfungen zwischen den drei oder mehr Neuronen abzuschätzen.

Zum Lösen der Aufgabe werden bei dem erfindungsgemäßen Verfahren zum Ermitteln von Verknüpfungen zwischen Neuronen zuerst bedingte Wahrscheinlichkeiten berechnet. Dann werden die bedingten Wahrscheinlichkeiten dazu verwendet, für eine bei der Informationstheorie angewandt Synentropie eine Übertragungskapazität zu ermitteln, die als Maximalwert der sendeseitigen Aktivitätspotentialerzeugungswahrscheinlich keit definiert ist. Darauffolgend werden die bedingten Wahrscheinlichkeiten miteinander verglichen, um eine positi ve Verknüpfung von einer negativen zu unterscheiden, wonach schließlich aus Zeitablaufdaten quantitativ die Korrela tionsgröße berechnet wird.

D.h., das erfindungsgemäße Verfahren zum Ermitteln der Neuronenzwischenverknüpfung ist auf ein Konzept gerichtet, das als Übertragungskapazität bezogen auf die Synentropie bezeichnet wird. Gemäß der vorstehenden Beschreibung ist die Übertragungskapazität der Maximalwert der Wahrscheinlichkeit des Erzeugens des sendeseitigen Aktivitätspotentials. Durch Einsetzen der Übertragungskapazität, die anzeigt, wie leicht Verknüpfungsinformationen übertragen werden können, kann eine Verknüpfung wie im Falle der Synentropie deutlich identifiziert werden und es kann eine Verknüpfung unabhängig von der Wahrscheinlichkeit des Erzeugens des sendeseitigen Aktivitätspotentials berechnet werden. Falls ferner infolge des sendeseitigen Erzeugens von sendeseitigen Aktivitätspo tentialen die Wahrscheinlichkeit des Erzeugens von empfangs seitigem Aktivitätspotential größer wird, kann die Verknüp fung als anregende Verknüpfung betrachtet werden. Infolge dessen kann aus dem Vergleich der bedingten Wahrscheinlich keiten beurteilt werden, ob das Erzeugen der Aktivitätspo tentiale zunimmt oder nicht. Daher kann ein Verfahren zum Ermitteln der Verknüpfungen zwischen Neuronen dazu angewandt werden, eine anregende Verknüpfung von einer hemmenden Verknüpfung zu unterscheiden.

Die Aufgabe wird ferner durch ein Verfahren zum Abschätzen der Struktur von Verknüpfungen zwischen Neuronen gelöst, bei dem zuerst aus Zeitablaufdaten von Neuronenaktivitäten bedingte Wahrscheinlichkeiten berechnet werden. Dann werden die berechneten bedingten Wahrscheinlichkeiten für das Ermitteln einer Mehrpunkte-Synentropie und einer bedingten Synentropie herangezogen, die aus der Informationstheorie bekannt sind. Darauffolgend werden die Werte für die Mehr punkte-Synentropie und die bedingte Synentropie für das Abschätzen einer Wirkung eines dritten Neurons auf die Verknüpfung zwischen zwei Neuronen herangezogen, um einen Ansatzwert für die Struktur der Verknüpfungen zwischen drei oder mehr Neuronen zu erhalten.

Im einzelnen kann mit dem erfindungsgemäßen Schätzverfahren für die Verknüpfungsstruktur zwischen Neuronen ein Zusammen hang zwischen drei Neuronen aus dem Vorzeichen einer Drei punkte-Synentropie ermittelt werden. D.h., eine positive Dreipunkte-Synentropie zeigt an, daß die Verknüpfung zwi schen zwei Neuronen eine indirekte Verknüpfung enthält, die von Aktivitäten eines dritten Neurons abhängig ist. Anderer seits zeigt eine negative Dreipunkte-Synentropie eine Ver knüpfung höherer Ordnung an, bei der sich das Aktivieren eines dritten Neurons infolge eines gleichzeitigen Aktivie rens der beiden anderen Neurone ändert. Außerdem kann hin sichtlich einer positiven Dreipunkte-Synentropie durch Berechnen einer bedingten Synentropie eine Verknüpfung zwischen zwei Neuronen berechnet werden, die nicht von dem dritten Neuron abhängig ist. Im Falle einer negativen Drei punkte-Synentropie kann andererseits durch Berechnen der bedingten Synentropie die Eigenschaft der Verknüpfung höhe rer Ordnung abgeschätzt werden.

Die Erfindung wird nachstehend anhand von Ausführungsbei spielen unter Bezugnahme auf die Zeichnung näher erläutert.

Fig. 1 zeigt ein Ablaufdiagramm eines her kömmlichen Verfahrens zum Ermitteln der Korrelation zwischen Neuronen.

Fig. 2 ist eine erläuternde Darstellung, die ein skaliertes Kreuzkoinzidenzhistogramm zeigt, das aus einer Folge von durch zwei Neuronen erzeugten Aktivitätspo tentialen berechnet ist.

Fig. 3 ist eine erläuternde Darstellung, die Zusammenhänge zwischen Korrelationsgrößen zwischen Neuronen und Synentropien zeigt.

Fig. 4 ist eine erläuternde Darstellung, die Synentropien zeigt, die aus einer Folge von Aktivitätspoten tialen berechnet sind, welche von zwei Neuronen erzeugt sind.

Fig. 5 veranschaulicht das herkömmliche Verfahren zum Abschätzen der Struktur von Verknüpfungen zwischen Neuronen.

Fig. 6 ist ein Ablaufdiagramm des erfindungs gemäßen Korrelationsermittlungsverfahrens gemäß einem Aus führungsbeispiel.

Fig. 7 ist eine erläuternde Darstellung, die einen Prozeß für das Berechnen einer Übertragungskapazität bei diesem Ausführungsbeispiel veranschaulicht.

Fig. 8 ist eine erläuternde Darstellung, die Werte der Übertragungskapazität zeigt, welche aus einer Folge von Aktivitätspotentialen berechnet ist, die von zwei Neuronen erzeugt sind.

Fig. 9 ist eine erläuternde Darstellung, die einen Zusammenhang zwischen Verknüpfungsstärken zwischen Neuronen und Übertragungskapazitäten eines Modells für anregende Verknüpfung zeigt.

Fig. 10 ist eine erläuternde Darstellung, die einen Zusammenhang zwischen Verknüpfungsstärken zwischen Neuronen und Übertragungskapazitäten eines Modells einer hemmenden Verknüpfung zeigt.

Fig. 11 ist eine erläuternde Darstellung eines Neuronenmodells, an dem das erfindungsgemäße Korrela tionsermittlungsverfahren und das herkömmliche Korrelations ermittlungsverfahren angewandt werden.

Fig. 12 ist ein Ablaufdiagramm des erfin dungsgemäßen Verfahrens zum Abschätzen der Struktur von Verknüpfungen zwischen Neuronen gemäß einem Ausführungsbei spiel.

Fig. 13 zeigt ein Beispiel für eine Analyse, die auf Dreipunkte-Synentropien für ein Netzmodell mit anregenden Verknüpfungen von einem Neuron Z zu Neuronen X und Y basiert.

Fig. 14 zeigt ein Beispiel für eine Analyse eines Netzmodells mit einer Verknüpfung zwischen Neuronen X und Y über ein Neuron Z.

Fig. 15 zeigt ein Beispiel für eine Analyse eines Netzmodells mit anregenden Verknüpfungen von einem Neuron Z zu Neuronen X und Y und einer anregenden Verknüp fung von dem Neuron X zu dem Neuron Y.

Fig. 16 zeigt ein Beispiel für eine Analyse eines Netzmodells mit anregenden Verknüpfungen von Neuronen Z und X zu einem Neuron Y.

Fig. 17 ist eine erläuternde Darstellung eines Neuronenmodells und eines Rechenergebnisses.

Nachstehend wird das erfindungsgemäße Korrelationsermitt lungsverfahren ausführlich anhand von Ausführungsbeispielen beschrieben, die in den Figuren veranschaulicht sind.

1. Ausführungsbeispiel

Fig. 6 ist ein Ablaufdiagramm, das den Ablauf von Prozessen für das Feststellen von Korrelation durch das Ermitteln des Wertes einer Übertragungskapazität aus einer Folge von Aktivitätspotentialen veranschaulicht, die von zwei Neuronen erzeugt werden. Gemäß Fig. 6 umfaßt der Prozeßablauf einen Dateneingabeschritt ST11, einen Kreuzkoinzidenzhistogramm- Berechnungsschritt ST12, einen Schritt ST13 zum Berechnen einer bedingten Wahrscheinlichkeit, einen Übertragungskapa zitäts-Berechnungsschritt ST14 und einen Schritt ST15 zum Vergleichen von bedingten Wahrscheinlichkeiten.

Es sei in diesem Fall eine synaptische Verknüpfung zwischen zwei Neuronen i und j gemäß Fig. 11 betrachtet.

Zuerst werden bei dem Schritt ST11 Daten eingegeben. Die Daten sind Informationen über die Zeitpunkte, an denen gemäß Fig. 7(a) Aktivitätspotentiale durch das sendeseitige Neuron i und das empfangsseitige Neuron j erzeugt werden. Dann wird bei dem Schritt ST12 ein Kreuzkoinzidenzhistogramm von relativen Differenzen hinsichtlich der Aktivitätspotential- Erzeugungszeit zwischen den Neuronen i und j berechnet. Das Rechenergebnis ist in Fig. 7(b) dargestellt.

Als nächstes wird das in Fig. 7(b) gezeigte Kreuzkoinzidenz histogramm derart normiert, daß die Summe der Wahrschein lichkeiten gleich einem mittleren Aktivitätspotential- Erzeugungszählstand für das Neuron j zu Zeitpunkten von Aktivitätspotentialen wird, die von dem Neuron i erzeugt werden. Eine bedingte Wahrscheinlichkeit p (1_j,t : 1_i) für die Wahrscheinlichkeit dafür wird berechnet, daß das Neuron j ein Aktivitätspotential in einem Zeitabstand t von einem Zeitpunkt an erzeugt, an dem das Neuron i ein Aktivitätspo tential erzeugt. Die Berechnungsergebnisse sind in Fig. 7(c) dargestellt.

Im weiteren wird aus der Aktivitätspotential-Erzeugungswahrscheinlichkeit für das Neuron j p (1_j,t : 0_i) berechnet, wonach bei dem Schritt ST13 andere bedingte Wahrscheinlichkeiten p (0_j,t : 1_i) und p (0_j,t : 0_i) nach folgenden Gleichungen berechnet werden:

p (0_j,t | 1_i) = 1 - p (1_j,t | 1_i)
p (0_j,t | 0_i) = 1 - p (1_j,t | 0_i) (7)

Der Maximalwert der Wechselinformationsgröße bzw. Synentropie ist durch folgende Gleichungen gegeben:

C = log₂ (2^x1 + 2^x2) (8)

dabei gilt

x1 = (p · H (q) + q · H (p) - H (p)/(1 - p - q)
x2 = (p · H (q) + q · H (p) - H (q)/(1 - p - q) (9)

sowie

H (p) = -p · log₂p - (1 -p) · log₂ (1 - p)

H (q) = -q · log₂q - (1 - q) · log₂ (1 - q)

wobei p = p (0_j,t : 1_i) und q = p (1_j,t : 0_i) gilt.

Bei dem Schritt ST14 werden die Gleichungen (8) und (9) zum Berechnen der Übertragungskapazität C herangezogen, die dem Maximalwert der Synentropie entspricht. Die bei dem Schritt ST14 erhaltenen Rechenergebnisse sind in Fig. 7(d) darge stellt.

Als nächstes werden bei dem Schritt ST15 die bedingten Wahrscheinlichkeiten p (1_j,t : 1_i) und p (1_j,t : 0_i) verglichen, um eine anregende Verknüpfung von einer hemmenden Verknüpfung zu unterscheiden. Wenn die erstere Wahrscheinlichkeit einen kleineren Wert als die letztere hat, hat die Übertragungskapazität C negative Vorzeichen. Falls die erstere einen größeren Wert als die letztere hat, hat die Übertragungskapazität C ein positives Vorzeichen.

Eine bedingte Wahrscheinlichkeit p (1_j,t : 1_i) mit einem kleineren Wert als p (1_j,t : 0_i) zeigt an, daß die Erzeugung von Aktivitätspotentialen durch das Neuron j wegen der Erzeugung von Aktivitätspotentialen durch das Neuron i abnimmt, was wiederum anzeigt, daß die Verknüpfng eine hemmende Verknüpfung ist. In diesem Fall erhält die Übertragungskapazität ein negatives Vorzeichen für das Bezeichnen einer hemmenden Verknüpfung. Wenn dagegen die bedingte Wahrscheinlichkeit p (1_j,t : 1_i) einen Wert hat, der größer als p (1_j,t : 0_i) ist, zeigt ein positives Vorzeichen der Übertragungskapazität eine anregende Verknüpfung an.

Fig. 8 zeigt ein durch Simulation der von zwei Neuronen i und j gemäß Fig. 11 ausgeführten Aktivitäten erhaltenes Ergebnis der Berechnung der Übertragungskapazität bzw. Übertragungsfähigkeit für eine Folge von Aktivitätspotentia len. Die Simulation basiert auf der Gleichung (2), die von Hodgkin und Huxley vorgeschlagen ist. Es sollte festgestellt werden, daß die Folge von Aktivitätspotentialen die gleiche wie die bei der Berechnung des in Fig. 2 gezeigten Ergebnis ses angesetzte ist.

Wie aus Fig. 8 ersichtlich ist, ist das Verhältnis des Korrelationsspitzenwertes zu dem Untergrund höher als dasje nige bei dem in Fig. 2 gezeigten skalierten Kreuzkoinzidenz histogramm. Aus der Fig. 8 ist ersichtlich, daß wie in dem Fall der in Fig. 4 dargestellten Synentropie eine Verknüp fung deutlich bzw. genau erkennbar ist.

Fig. 9 zeigt das Ergebnis einer Untersuchung des Zusammen hangs zwischen der Übertragungskapazität und der synapti schen Verknüpfungsstärke mit der Aktivitätspotential- Erzeugungshäufigkeit als Parameter oder im einzelnen die Ergebnisse einer Untersuchung der Abhängigkeit der Übertra gungskapazität von der synaptischen Verknüpfungsstärke und der Häufigkeit der Aktivitätspotentialerzeugung. Die Ergeb nisse wurden durch Berechnen der Übertragungskapazität durch die Simulation gemäß Fig. 8 für eine Vielzahl von synapti schen Verknüpfungsstärken und Häufigkeiten des sendeseitigen Erzeugens von Aktivitätspotential erhalten. In diesem Fall wurde jedoch die Folge von Aktivitätspotentialen wie gemäß Fig. 8 herangezogen.

Das in Fig. 8 gezeigte skalierte Kreuzkoinzidenzhistogramm ist auf deutliche Weise von der Häufigkeit des Erzeugens von Aktivitätspotentialen durch das Neuron i abhängig. Aus der Fig. 9 ist jedoch ersichtlich, daß die Übertragungskapazität nicht von der Häufigkeit des Erzeugens von Aktivitätspoten tialen durch das Neuron i abhängig ist und sich linear mit der synaptischen Verknüpfungsstärke ändert.

Infolgedessen kann aus der Übertragungskapazität die Stärke einer synaptischen Verknüpfung quantitativ ohne Berücksich tigung der Häufigkeit des Erzeugens von Aktivitätspotentia len durch das Neuron gefolgert werden, die sich unter ande rem durch einen Lernprozeß ändert. Außerdem erlaubt das Anwenden der Übertragungskapazität, daß durch einen Lernpro zeß oder dergleichen verursachte Änderungen der synaptischen Verknüpfung aufgeklärt werden.

Darüberhinaus ist im Gegensatz zum skalierten Kreuzkoinzi denzhistogramm, das nicht zu der synaptischen Verknüpfungs stärke proportional ist, die Übertragungskapazität zu der synaptischen Verknüpfungsstärke proportional. Daher kann die synaptische Verknüpfungsstärke quantitativ durch Berechnen der Übertragungskapazität gefolgert werden.

2. Ausführungsbeispiel

Bei dem ersten Ausführungsbeispiel wurde die Berechnung der Verknüpfungsstärke für eine anregende synaptische Verknüp fung beschrieben. Bei dem zweiten Ausführungsbeispiel ist das Berechnen der Verknüpfungsstärke aus der Übertragungska pazität auch für den Fall ermöglicht, daß die synaptische Verknüpfung hemmend ist.

Fig. 10 zeigt die Ergebnisse der Berechnung für das gleiche Modell wie dasjenige für Fig. 9. Im Falle einer hemmenden synaptischen Verknüpfung erhält bei dem Schritt ST15 gemäß der vorangehenden Beschreibung die Übertragungskapazität ein negatives Vorzeichen, was die Unterscheidung der hemmenden synaptischen Verknüpfung von einer anregenden synaptischen Verknüpfung ermöglicht.

Ferner ist im Falle einer hemmenden Verknüpfung die Übertra gungskapazität gemäß der Darstellung in Fig. 10 unabhängig von der Häufigkeit des Erzeugens von Aktivitätspotentialen durch das Neuron i zu der synaptischen Verknüpfungsstärke linear proportional.

3. Ausführungsbeispiel

Bei den vorstehend beschriebenen Ausführungsbeispielen wurde die auf den Kreuzkoinzidenzhistogrammen basierende Berech nung von bedingten Wahrscheinlichkeiten erläutert. Bei dem dritten Ausführungsbeispiel wird der Zustand einer Folge von Zeitablaufereignissen durch eine Folge von Symbolen darge stellt. Das Verfahren zum Ermitteln einer bedingten Wahr scheinlichkeit basiert auf dem Vergleich von derartigen Folgen von Symbolen.

4. Ausführungsbeispiel

Bei den vorangehend beschriebenen Ausführungsbeispielen werden zum Darstellen von zwei Zuständen der Erzeugung von Aktivitätspotentialen die Binärwerte 0 und 1 herangezogen. Bei dem vierten Ausführungsbeispiel können für das Berechnen von Wahrscheinlichkeiten aus Zeitablaufdaten über Membranpo tentiale von Neuronen drei oder mehr Zustände angesetzt werden.

5. Ausführungsbeispiel

Bei den vorangehend beschriebenen Ausführungsbeispielen wurden Verfahren für das Erkennen einer Verknüpfung zwischen zwei Neuronen erläutert. Bei dem fünften Ausführungsbeispiel wird ein Verfahren zum Erkennen von Verknüpfungen zwischen drei oder mehr Neuronen angewandt.

Im folgenden werden in der Zeichnung dargestellte Ausfüh rungsbeispiele beschrieben, bei denen Verfahren für den Rückschluß auf eine Struktur von Verknüpfungen zwischen Neuronen angewandt werden.

6. Ausführungsbeispiel

Fig. 12 ist ein Ablaufdiagramm der Prozesse für den Rück schluß auf eine Struktur von Verknüpfungen zwischen drei Neuronen durch das Ermitteln von Dreipunkte-Wechselinforma tionen und bedingten Synentropien aus Zeitablaufdaten für die drei Neuronen. Gemäß Fig. 12 umfaßt das Ablaufdiagramm einen Dateneingabeschritt ST16, einen Schritt ST17 zum Berechnen eines Kreuzkoinzidenzhistogramms, einen Schritt ST18 zum Berechnen bedingter Wahrscheinlichkeiten, einen Schritt ST19 zum Berechnen von Dreipunkte-Wechselinformatio nen gemäß bedingten Wahrscheinlichkeiten und einen Schritt ST20 zum Berechnen einer bedingten Synentropie.

Zuerst werden bei dem Schritt ST16 Daten eingegeben, die die Zeitpunkte anzeigen, an denen durch drei Neuronen X, Y und Z Aktivitätspotentiale erzeugt werden. Dann werden bei dem Schritt ST17 Kreuzkoinzidenzhistogramme CCH(X_t, Y_s : Z), CCH(X_t : Z), CCH(Y_s : Z) und CCH(Y_u : X) berechnet. Hierbei ist mit CCH() ein Kreuzkoinzidenzhistogramm bezeichnet. Bei spielsweise ist CCH(X_t, Y_s : Z) ein Histogramm, das die Häufig keit des Aktivierens der Neuronen X und Y unter Zeitunter schieden t bzw. s nach dem Aktivieren des Neurons Z dar stellt. Mit u ist ein Zeitunterschied des Neurons Y mit dem Neuron X als Bezugspunkt bezeichnet. Die Kreuzkoinzidenzhi stogramme werden jeweils derart normiert, daß sie ein Ver hältnis einer bedingten Erzeugung von Aktivitätspotential durch ein Neuron nach einer Aktivierung darstellen. Unter Verwendung der skalierten Kreuzkoinzidenzhistogramme werden bedingte Wahrscheinlichkeiten p (X_1,t, Y_1,s : Z₁), p (X_1,t : Z₁, p (Y_1,s : Z₁) und p (Y_1,u : X₁) berechnet.

Darauffolgend werden die übrigen bedingten Wahrscheinlichkeiten nach folgenden Gleichungen berechnet:

Eine Dreipunkt-Synentropie wird durch eine Zweipunkte- Synentropie und eine bedingte Synentropie nach folgender Gleichung ausgedrückt:

TMI (X_t : Y_s : Z) = MI (X_t : Y_s) - Mi_Z (X_t : Y_s) (11)

wobei TMI die Dreipunkte-Synentropie ist, MI die Zweipunkte- Synentropie ist und MI_z die bedingte Synentropie ist.

Die Zweipunkte-Synentropie und die bedingte Synentropie werden aus den bedingten Wahrscheinlichkeiten nach folgenden Gleichungen berechnet:

MI (X_t : Y_s) = ΣΣp (Y_j,s | X_i,t)p (X_i,t) log (p(Y_j,s | X_i,t)/p(Y_j,s)) (12)

MI_z (X_t : Y_s) = ΣΣΣp (Z_k) p (X_i,t, Y_j,s | Z_k) log (p(X_i,t, Y_j,s | Z_k)/(p(X_i,t | Z_k) p (Y_j,s | Z_k))) (13)

Aus dem Wert TMI (X_t : Y_s : Z) können folgende Verknüpfungen zwischen den drei Neutronen gefolgert werden:

[1] Für TMI < 0: Der Zusammenhang zwischen den Neuronen X und Y enthält eine von dem Neuron Z abhängige Verknüpfung.
[2] Für TMI < 0: Es besteht eine Verknüpfung hoher Ordnung, bei der sich das Aktivieren des Neurons Y durch das gleichzeitige Aktivieren durch die Neuronen X und Z ändert.
[3] Für TMI = 0: Zwischen den drei Neuronen X, Y und Z besteht weder der Zusammenhang [1] noch die Verknüpfung [2].

Eine von dem Neuron Z unabhängige Verknüpfung zwischen den Neuronen H und Y für TMI < 0 und die Eigenschaft der Ver knüpfung hoher Ordnung für TMI < 0 können durch das Ermit teln von MI_z′(X_t0, Y_s) nach folgender Gleichung festgestellt werden:

MI_z′ (X_t0, Y_s) = ΣΣp (Z₁) p (X_i,t0, Y_j,s | Z₁) log (p(X_i,t0, Y_j,s | Z₁)/(p(X_i,t0 | Z₁) p (Y_j,s | Z₁))) (14)

Die Gleichung (14) wird durch Einsetzen von 1 für k und von t0 für t in die Gleichung (13) erhalten. Es ist anzumerken, daß k = 1 eine Aktivierung durch das Neuron Z bedeutet, wogegen t = t0 einen Zeitunterschied anzeigt, bei dem TMI einen erfaßbaren Spitzenwert hat. Es ist ferner anzumerken, daß MI_z′(X_t0, Y_s) immer positiv ist, so daß eine anregende Verknüpfung nicht von einer hemmenden Verknüpfung unter schieden werden kann. Daher wird für die Unterscheidung ein negatives Vorzeichen zur Anzeige einer hemmenden Verknüpfung angesetzt, wenn folgende Ungleichung gilt:

p (X_1,t0, Y_1,s : Z₁) < p (X_1,t0 : Z₁) p (Y_j,s : Z₁) (15)

Fig. 13 zeigt anregende synaptische Verknüpfungen von dem Neuron Z zu den Neuronen X und Y und deren Synentropien. Fig. 13(a) zeigt die Verknüpfungsbeziehungen zwischen dem Neuron Z und den Neuronen X und Y.

Es wurde ein Neuralnetzmodell mit einer derartigen Verknüp fungsstruktur gebildet und die von Hodgkin und Huxley vorge schlagene Modellsimulation ausgeführt. Die Zweipunkte- Synentropien für die beiden Neuronen X und Y wurden aus einer Folge von Aktivitätspotentialen berechnet, die gemäß Fig. 13(b) durch die Simulation zum Ermitteln eines Spitzen wertes bei einem Zeitunterschied von ungefähr 0 erhalten wurden. Als nächstes wurden Dreipunkte-Synentropien für die drei Neuronen X, Y und Z berechnet, was gemäß Fig. 13(c) einen positiven Spitzenwert bei t = 10 ms und s = 10 ms ergeben hat. Dies zeigt an, daß der Zusammenhang zwischen den Neuronen X und Y eine Verknüpfung enthält, die von den vom Neuron Z ausgeführten Aktivitäten abhängig ist. In Anbetracht des Umstandes, daß die Zeitdifferenz zwischen den Neuronen X und Y an dem Ort des Spitzenwertes nahezu Null ist, ist es aus dem Spitzenwert der Zweipunkte-Synentropien bei der Zeitdifferenz 0 ersichtlich, daß eine indirekte Verknüpfung vorliegt, die von den vom Neuron Z ausgeführten Aktivitäten abhängig ist. Für eine Schlußfolgerung auf eine von dem Neuron Z unabhängige Verknüpfung zwischen den beiden Neuronen X und Y wurde MI_z′(X_t0, Y_s) berechnet, wobei ledig lich festgestellt wurde, daß kein merklicher Spitzenwert vorliegt, was anzeigt, daß zwischen den Neuronen X und Y keine direkte Verknüpfung besteht. Die Zeitdifferenzen zwischen den Neuronen Z und X sowie zwischen den Neuronen Z und Y sind beide 10 ms, was anzeigt, daß anregende synapti sche Verknüpfungen von dem Neuron Z zu den Neuronen X und Y bestehen.

7. Ausführungsbeispiel

Fig. 14(a) zeigt ein Neuralnetzmodell mit anregenden Ver knüpfungen von einem Neuron X zu einem Neuron Z und von dem Neuron Z zu einem Neuron Y. Zweipunkte-Synentropien zwischen den Neuronen X und Y wurden berechnet und ergaben gemäß Fig. 14(b) einen Spitzenwert bei einer Zeitdifferenz von 20 ms. Dann wurden Dreipunkte-Synentropien berechnet, die gemäß Fig. 14(c) einen positiven Spitzenwert bei t = -10 ms und s =10 ms ergaben. Dies zeigt an, daß der Zusammenhang zwi schen den Neuronen X und Y eine Verknüpfung umfaßt, die von den Aktivitäten des Neurons Z abhängig ist. In Anbetracht des Umstands, daß die Zeitdifferenz zwischen den Neuronen X und Y an dem Ort des Spitzenwerts 20 ms beträgt, ist es ersichtlich, daß wegen des Spitzenwertes der Zweipunkte- Synentropien bei der Zeitdifferenz 20 ms eine indirekte Verknüpfung vorliegt, die von den vom Neuron Z ausgeführten Aktivitäten abhängig ist. Ähnlich wie bei dem sechsten Ausführungsbeispiel wurde MI_z′(X_t0, Y_s) berechnet, wobei nur festgestellt wurde, daß kein merklicher Spitzenwert vor liegt, was anzeigt, daß zwischen den Neuronen X und Y keine direkte Verknüpfung besteht. Die Zeitdifferenz zwischen den Neuronen Z und X und die Zeitdifferenz zwischen den Neuronen Z und Y ergeben t < 0, was anzeigt, daß eine Verknüpfung von dem Neuron X zu dem Neuron Z statt von dem Neuron Z zu dem Neuron X besteht.

8. Ausführungsbeispiel

Fig. 15(a) zeigt ein Neuralnetzmodell mit anregenden synap tischen Verknüpfungen von einem Neuron Z zu Neuronen X und Y sowie mit einer anregenden synaptischen Verknüpfung von dem Neuron X zu dem Neuron Y. Die Zweipunkte-Synentropien zwi schen den Neuronen X und Y wurden berechnet und ergaben gemäß Fig. 15(b) zwei Spitzenwerte bei Zeitdifferenzen 0 und 20 ms. Dann wurden Dreipunkte-Synentropien berechnet und ergaben gemäß Fig. 15(c) einen positiven Spitzenwert bei t = 10 ms und s = 10 ms. Dies zeigt an, daß der Zusammenhang zwischen den Neuronen X und Y eine Verknüpfung umfaßt, die von den Aktivitäten des Neurons Z abhängig ist. In Anbe tracht des Umstands, daß die Zeitdifferenz zwischen den Neuronen X und Y an dem Ort des Spitzenwerts 20 ms beträgt, ist ersichtlich, daß wegen des Spitzenwertes der Zweipunkte- Synentropien bei der Zeitdifferenz 0 ms eine indirekte Verknüpfung vorliegt. Zum Ermitteln einer von dem Neuron Z unabhängigen Verknüpfung zwischen den beiden Neuronen X und Y wurde MI_z′(X_t0, Y_s) berechnet, wobei ein Spitzenwert bei einer Zeitdifferenz von 10 ms festgestellt wurde. Der Spit zenwert der Zweipunkte-Synentropien bei der Zeitdifferenz 10 ms zeigt an, daß zwischen den Neuronen X und Y ein auf einer direkten Verknüpfung basierender Zusammenhang besteht. Andererseits zeigt der Spitzenwert der Zweipunkte-Synentro pien bei der Zeitdifferenz 0 ms eine von dem Neuron Z abhän gige indirekte Verknüpfung an. In Anbetracht der Zeitdiffe renz zwischen den Neuronen Z und X und der Zeitdifferenz zwischen den Neuronen Z und Y kann ferner gefolgert werden, daß anregende Verknüpfungen von dem Neuron Z zu den Neuronen X und y bestehen.

9. Ausführungsbeispiel

Fig. 16(a) zeigt ein Neuralnetzmodell mit einer anregenden Verknüpfung von einem Neuron Z zu einem Neuron Y und einer anregenden Verknüpfung von einem Neuron X zu dem Neuron Y. Die Stärken der Verknüpfungen sind derart, daß dann, wenn entweder das Neuron Z oder das Neuron X allein aktiviert wird, das Neuron Y nicht aktiviert wird, während dann, wenn beide Neuronen Z und X gleichzeitig aktiviert werden, das Neuron Y aktiviert wird. Es wurden Zweipunkte-Synentropien berechnet, wobei ein Spitzenwert gemäß Fig. 16(b) ermittelt wurde. Dann wurden Dreipunkte-Synentropien berechnet mit dem Ergebnis eines negativen Spitzenwertes bei t = 0 und s = 10 ms. Dies zeigt an, daß zwischen den drei Neuronen X, Y und Z derartige Verknüpfungen bestehen, daß sich das Aktivieren des Neurons Y entsprechend einer Kombination der Zustände der Neuronen Z und X ändert, nämlich in diesem Fall entspre chend dem gleichzeitigen Aktivieren der Neuronen Z und X. Durch Berechnen von MI_z′(X_t0, Y_s) können die Eigenschaften einer Verknüpfung dritter Ordnung gefolgert werden, welche von dem durch das gleichzeitige Aktivieren der Neuronen Z und X verursachten Aktivieren des Neurons Y beeinflußt ist. In diesem Fall besteht offensichtlich eine anregende Ver knüpfung, bei der das Aktivieren des Neurons Y durch das gleichzeitige Aktivieren der Neuronen X und Z zunimmt.

Das Simulationsobjekt waren die Neuronen X, Y und Z in dem in Fig. 16(a) dargestellten Verknüpfungszustand. Durch Schlußfolgerung eines Verknüpfungszustands aus den Rechener gebnissen der Zweipunkte- und Dreipunkte-Synentropien gemäß der vorstehenden Beschreibung kann auch in diesem Fall ebensogut der in Fig. 16(a) gezeigte Verknüpfungszustand richtig gefolgert werden.

10. Ausführungsbeispiel

Fig. 17(a) zeigt ein Modell, bei dem anregende synaptische Verknüpfungen von einem Neuron Z zu einem Neuron X, von dem Neuron X zu einem Neuron Y und von dem Neuron Y zu dem Neuron Z bestehen. Ergebnisse der Simulation eines neuralen Netzes mit einer solchen Verknüpfungsstruktur, die der Simulation bei dem sechsten Ausführungsbeispiel gleichartig ist, werden nachstehend beschrieben.

Wenn Zweipunkte-Synentropien der Neuronen X und Y aus einer durch die Simulation erhaltenen Folge von Aktivitätspoten tialen der Neuronen X und Y berechnet werden, werden gemäß Fig. 17(b) zwei Spitzenwerte der Synentropien ermittelt, die bei Zeitdifferenzen von -20 ms und 10 ms auftreten.

Ferner werden dann, wenn Dreipunkte-Synentropien der drei Neuronen X, Y und Z berechnet werden, gemäß Fig. 17(c) positive Spitzenwerte der Synentropien bei (t, s) = (10, 20), (10, -10) und (-20, -10) (ms) ermittelt. Die positiven Spit zenwerte zeigen an, daß bei dem Zusammenhang zwischen den Heuronen X und Y eine Verknüpfung besteht, die von den vom Neuron Z ausgeführten Aktivitäten abhängig ist. Daher beste hen zwischen den drei Neuronen drei derartige Verknüpfungen.

Es sei angenommen, daß eine synaptische Verknüpfung bei einer Zeitdifferenz t0 zwischen den Neuronen Z und X be steht. In diesem Fall sollten Spitzenwerte von Dreipunkte- Synentropien, die einen Zusammenhang mit einer Auswirkung der synaptischen Verknüpfung darstellen, auf einer durch t = t0 verlaufenden geraden Linie liegen. Gleichermaßen sollten Spitzenwerte von Dreipunkte-Synentropien, die einen Zusam menhang mit einer Einwirkung einer synaptischen Verknüpfung zwischen den Neuronen Z und Y darstellen, auf einer geraden Linie liegen, die durch s = s0 verläuft. Weiterhin sollte ein Spitzenwert der Dreipunkte-Synentropien, die einen Zusammenhang mit einer Einwirkung einer synaptischen Ver knüpfung zwischen den Neuronen X und Y darstellen, auf einer geraden Linie liegen, die durch s - t = U0 verläuft.

Aus der Fig. 17(c) ist ersichtlich, daß die Spitzenwerte (10, 20) und (10, -10) auf der geraden Linie liegen, die durch t = 10 verläuft. Gleichermaßen liegen die spitzenwerte (10, -10) und (-20, -10) auf der geraden Linie, die durch s = -10 verläuft. Ferner liegen die Spitzenwerte (10, 20) und (-20, -10) auf der geraden Linie, die durch s - t = 10 verläuft. Infolgedessen ist es ersichtlich, daß synaptischen Verknüp fungen zwischen den Neuronen Z und X bei der Zeitdifferenz 10 ms, zwischen den Neuronen Z und Y bei der Zeitdifferenz -10 ms und zwischen den Neuronen X und Y bei der Zeitdiffe renz 10 ms bestehen.

Wenn in diesem Fall durch Ansetzen der Werte der bedingten Wahrscheinlichkeit und der durch die Gleichung 15 ausge drückten Beziehung geprüft wird, ob die jeweiligen synapti schen Verknüpfungen anregend oder hemmend sind, wird ermit telt, daß alle synaptischen Verknüpfungen anregend sind.

Das Simulationsobjekt waren die Neuronen X, Y und Z in dem in Fig. 17(a) gezeigten Verknüpfungszustand. Durch Schluß folgerung eines Verknüpfungszustand aus den Ergebnissen der Berechnung der Zweipunkte- und Dreipunkte-Synentropien gemäß der vorstehenden Beschreibung kann auch in diesem Fall der in Fig. 17(a) gezeigte Verknüpfungszustand richtig ermittelt werden.

11. Ausführungsbeispiel

Bei den bisher beschriebenen Ausführungsbeispielen werden bedingte Wahrscheinlichkeiten aus den Kreuzkoinzidenzhisto grammen berechnet. Bei dem elften Ausführungsbeispiel wird für das Berechnen der Wahrscheinlichkeiten ein Verfahren angewandt, bei dem Zeitablaufzustände durch Folgen von Symbolen ausgedrückt werden und dann die Symbol folgen mit einander verglichen werden.

12. Ausführungsbeispiel

Bei den bisher beschriebenen Ausführungsbeispielen wurde das Erzeugen von Aktivitätspotentialen durch Daten mit den binären Werten 0 und 1 ausgedrückt. Bei dem zwölften Ausfüh rungsbeispiel werden die Wahrscheinlichkeiten unter Eintei lung von Zeitablaufdaten für Neuronenmembranpotentiale in drei oder mehr Werte berechnet.

13. Ausführungsbeispiel

Bei den bisher beschriebenen Ausführungsbeispielen werden aus Dreipunkte-Synentropien und bedingten Synentropien Rückschlüsse auf die Struktur von Verknüpfungen zwischen drei Neuronen gezogen. Bei dem dreizehnten Ausführungsbei spiel wird eine Struktur von Verknüpfungen zwischen vier oder mehr Neuronen aus Synentropien für vier oder mehr Punkte ermittelt.

Gemäß der vorangehenden Beschreibung werden erfindungsgemäß bedingte Wahrscheinlichkeiten berechnet, um eine Übertragungskapazität zu ermitteln. Ferner werden die bedingten Wahrscheinlichkeiten miteinander verglichen, um eine positi ve Verknüpfung von einer negativen zu unterscheiden. Auf diese Weise wird das Ausmaß von Korrelation zwischen Zeitab laufdaten quantitativ bestimmt, was ein Verfahren ergibt, das das Berechnen einer Verknüpfung zwischen Neuronen ohne Berücksichtigung einer Entstehungswahrscheinlichkeit und das leichte Unterscheiden einer anregenden Verknüpfung von einer hemmenden Verknüpfung ermöglicht. Infolgedessen bietet die Erfindung für das Ermitteln der Korrelation zwischen Neuro nen ein Verfahren, das eine deutliche Erkennung einer quan titativen Verknüpfung allein aus den Zeitablaufdaten für die Neuronen erlaubt. Falls sich aus irgendwelchen Gründen der Zustand einer Verknüpfung zwischen Neuronen ändert, kann das Korrelationsermittlungserfahren auch einer solchen Änderung dadurch Rechnung tragen, daß die Änderung quantitativ erfaßt wird.

Ferner ist es erfindungsgemäß möglich, Schlußfolgerungen auf eine Verknüpfungsstruktur zu ziehen. Infolgedessen ergibt die Erfindung auch ein Schätzverfahren für das Ermitteln der Struktur eines Nervenschaltungsnetzes aus Daten über eine Folge von Aktivitätspotentialen, die von einer großen Anzahl von Neuronen erzeugt werden und die durch eine Vielzahl von Mehrpunkte-Meßverfahren erhalten werden.

Es werden ein Korrelationsermittlungsverfahren und ein Ver knüpfungsstruktur-Schätzverfahren für das Ermitteln einer Struktur von Verknüpfungen zwischen einer Vielzahl von Neuronen, die für die Konstruktion eines Neuralnetzmodelles erforderlich sind, sowie der Stärken der Verknüpfungen aus Korrelationen zwischen Zeitablaufdaten für die Neuronen beschrieben. Das Korrelationsermittlungsverfahren besteht darin, daß bedingte Wahrscheinlichkeiten unter anderem dadurch berechnet werden, daß Kreuzkoinzidenzhistogramme normiert werden, die aus einer Folge von Aktivitätspotentia len der Neuronen darstellenden Zeitablaufdaten für die Aktivitäten der Neuronen ermittelt werden, und Zeitablaufzu stände der Aktivitäten der Neuronen darstellende Symbolfol gen verglichen werden, daß für eine bei der Informations theorie angewandte Synentropie eine Übertragungskapazität ermittelt wird, die als Maximalwert der Wahrscheinlichkeit der Erzeugung eines sendeseitigen Aktivitätspotentials definiert ist, daß durch Vergleichen der bedingten Wahr scheinlichkeiten eine positive Verknüpfung von einer negati ven Verknüpfung unterschieden wird und daß das Ausmaß der Korrelation zwischen den Zeitablaufdaten quantitativ be stimmt wird. Das Verknüpfungsstruktur-Schätzverfahren be steht darin, daß die bedingten Wahrscheinlichkeiten berech net werden, daß aus den berechneten bedingten Wahrschein lichkeiten bedingte Synentropien und Dreipunkte-Synentropien berechnet werden und daß daraus eine Struktur von Verknüp fungen zwischen den Neuronen gefolgert wird.

Claims

1. Korrelationsermittlungsverfahren, bei dem eine Korrela tion zwischen Zeitablaufdaten für Neuronenaktivitäten fest gestellt wird, um die für die Konstruktion eines Neuralnetz modelles benötigte Stärke einer Verknüpfung zwischen Neuro nen oder dergleichen abzuschätzen, dadurch gekennzeichnet, daß
aus den Zeitablaufdaten für die Neuronenaktivitäten bedingte Wahrscheinlichkeiten berechnet werden,
für eine bei der Informationstheorie verwendete Synent ropie aus den berechneten bedingten Wahrscheinlichkeiten eine übertragungskapazität ermittelt wird, die als Maximal wert der Wahrscheinlichkeit des Erzeugens eines sendeseiti gen Aktivitätspotentials definiert ist,
durch Vergleichen der bedingten Wahrscheinlichkeiten miteinander eine positive Verknüpfung von einer negativen Verknüpfung unterschieden wird und
das Ausmaß der Korrelation zwischen den Zeitablaufdaten quantitativ bestimmt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei dem Berechnen der bedingten Wahrscheinlichkeiten die Wahrscheinlichkeiten aus Kreuzkoinzidenzhistogrammen ermit telt werden.

3, Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei dem Berechnen der bedingten Wahrscheinlichkeiten die Wahrscheinlichkeiten durch Vergleichen von Folgen von Symbo len ermittelt werden, welche Zeitablaufzustände der Neurone naktivitäten darstellen.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß als Zeitablaufdaten die beiden binären logischen Werte 0 und 1 verwendet werden, welche jeweils einen Zustand des Erzeugens von Aktivitätspotential bzw. einen Zustand ohne Erzeugen von Aktivitätspotential darstel len.

5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Zeitablaufdaten die Zeitablaufwerte von Membranpotentiaien von Neuronen beinhalten und in Kate gorien unterteilt werden, welche mindestens drei Arten von Neuronenmembranpotentialzuständen entsprechen, wodurch das Ermitteln von mindestens drei Arten von bedingten Wahr scheinlichkeiten ermöglicht ist.

6. Verknüpfungsstruktur-Schätzverfahren zum Abschätzen der Struktur von Verknüpfungen zwischen drei oder mehr Neuronen durch Berechnen von Korrelationen zwischen Zeitablaufdaten für Aktivitäten der drei oder mehr Neuronen, dadurch gekenn zeichnet, daß
aus den Neuronenaktivitäts-Zeitablaufdaten bedingte Wahrscheinlichkeiten berechnet werden,
aus den bedingten Wahrscheinlichkeiten bei der Informa tionstheorie angewandte bedingte Synentropien und Mehrpunk te-Synentropien berechnet werden,
Auswirkungen eines dritten und nachfolgenden Neurons auf eine Verknüpfung zwischen einem ersten und einem zweiten Neuron abgeschätzt werden und
Rückschlüsse auf die Struktur der Verknüpfungen zwi schen drei oder mehr Neuronen gezogen werden.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß bei dem Berechnen der bedingten Wahrscheinlichkeiten die Wahrscheinlichkeiten aus Kreuzkoinzidenzhistogrammen ermit telt werden.

8. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß bei dem Berechnen der bedingten Wahrscheinlichkeiten die Wahrscheinlichkeiten durch Vergleichen von Folgen von Symbo len ermittelt werden, welche Zeitablaufzustände der Neurone naktivitäten darstellen.

9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß als Zeitablaufdaten die beiden binären logischen Werte 0 und 1 verwendet werden, welche jeweils einen Zustand des Erzeugens von Aktivitätspotential bzw. einen Zustand ohne Erzeugen von Aktivitätspotential darstel len.

10. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß die Zeitablaufdaten die Zeitablaufwerte von Membranpotentialen von Neuronen beinhalten und in Kate gorien unterteilt werden, welche mindestens drei Arten von Neuronenmembranpotentialzuständen entsprechen, wodurch das Ermitteln von mindestens drei Arten von bedingten Wahr scheinlichkeiten ermöglicht ist.

11. Verfahren zum Abschätzen der Struktur von Verknüpfungen zwischen Neuronen durch Berechnen einer Korrelation zwischen Zeitablaufdaten für Aktivitäten der Neuronen, dadurch ge kennzeichnet, daß
aus den Neuronenaktivitäts-Zeitablaufdaten Werte einer bedingten Wahrscheinlichkeit für ein Neuron mit Aktivitäten eines anderen Neurons als Bedingung berechnet werden,
aus den berechneten Werten für die bedingte Wahrschein lichkeit eine Übertragungskapazität ermittelt wird, die als Maximalwert einer Synentropie in bezug auf eine Wahrschein lichkeit des Erzeugens von sendeseitigem Aktivitätspotential definiert ist,
durch Vergleichen der Werte für die bedingte Wahr scheinlichkeit miteinander eine positive Verknüpfung von einer negativen unterschieden wird und
durch Anwenden der Übertragungskapazität und der Unter scheidung zwischen positiver und negativer Verknüpfung das Ausmaß der Korrelation zwischen den Zeitablaufdaten quanti tativ berechnet wird.

12. Verknüpfungsstruktur-Schätzverfahren zum Folgern einer Struktur von Verknüpfungen zwischen drei oder mehr Neuronen durch Berechnen einer Korrelation zwischen Zeitablaufdaten für Aktivitäten der Neuronen, dadurch gekennzeichnet, daß
aus den Neuronenaktivitäts-Zeitablaufdaten Werte einer bedingten Wahrscheinlichkeit für ein Heuron mit Aktivitäten eines anderen Neurons als Bedingung berechnet werden,
aus den berechneten Werten für die bedingte Wahrschein lichkeit Mehrpunkte-synentropien und bedingte Synentropien berechnet werden,
unter Anwendung der Mehrpunkte-Synentropien und der bedingten Synentropien eine Einwirkung eines Neurons auf eine Verknüpfung zwischen zwei anderen Neuronen abgeschätzt wird und aus der Einwirkung und den Mehrpunkte-Synentropien auf eine Struktur der Verknüpfungen zwischen den Neuronen geschlossen wird.