EP1472652A2

EP1472652A2 - Verfahren zum klassifizieren der verkehrsdynamik einer netzkommunikation unter verwendung eines gepulste neuronen enthaltenden netzes, neuronales netz und anordnung zum durchführen des verfahrens

Info

Publication number: EP1472652A2
Application number: EP03708011A
Authority: EP
Inventors: Gustavo Deco; Jan Storck; Bernd SCHÜRMANN
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2002-02-05
Filing date: 2003-01-31
Publication date: 2004-11-03
Also published as: CN1628322A; US20050105463A1; AU2003212191A8; JP2005517330A; AU2003212191A1; WO2003067514A2; WO2003067514A3

Abstract

Die Erfindung betrifft ein Verfahren zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation unter Verwendung eines gepulste Neuronen enthaltenden Netzes, wobei Verkehrsdaten der Netzkommunikation die Eingangsgrössen des neuronalen Netzes bilden, und wobei durch Pulsverarbeitung gewonnene temporale Cluster die Ausgangsgrössen des neuronalen Netzes bilden, bei dem die Klassifikation der Verkehrsdynamik mittels eines synaptischen Modells erfolgt, dessen Dynamik direkt von der exakten Taktung vor- und nachsynaptischer Pulse abhängt.

Description

Beschreibung

Verfahren zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation unter Verwendung eines gepulste Neuronen ent- haltenden Netzes, neuronales Netz und Anordnung zum Durchführen des Verfahrens

Die Erfindung betrifft ein Verfahren zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation unter Verwendung ei- nes gepulste Neuronen enthaltenden Netzes, wobei Verkehrsdaten der Netzkommunikation die Eingangsgrößen des neuronalen Netzes bilden, und wobei durch Pulsverarbeitung gewonnene temporale Cluster die Ausgangsgrößen des neuronalen Netzes bilden, bei dem die Klassifikation der Verkehrsdynamik mit- tels eines synaptischen Modells erfolgt, dessen Dynamik direkt von der exakten Taktung vor- und nachsynaptischer Pulse abhängt .

Die Erfindung betrifft allgemein das Gebiet der Netzkommuni- kation und insbesondere der Computernetzkommunikation. Als

Kommunikationsnetz kommt insbesondere ein Paketvermittlungsnetz in Betracht. Paketvermittlungsnetze basieren beispielsweise auf der Verwendung des Internet-Protokolls IP oder des Internet-Protokolls ATM bei zellenbasierten Netzen. Für die Entscheidung, ob und zu welchen Konditionen, d.h., zu welchem Preis und welcher gesicherten Übertragungsqualität eine Verbindung in Paketvermittlungsnetzen zugelassen wird, werden Modelle und Annahmen über die Verkehrscharakteristik sowohl dieser Verbindung als auch bereits aufgenommener und noch zu erwartender Verbindungen benötigt. Man spricht in diesem Zusammenhang von der sogenannten Call-Admission-Control (abgekürzt im folgenden auch als CAC bezeichnet) und von Quality of Service (im folgenden auch als QoS bezeichnet) . Ziel ist die bezüglich bestimmter Größen, wie beispielsweise Profit, Kundenzufriedenheit, Verlustfreiheit und dergleichen opti- mierte Auslastung der zur Verfügung stehenden Kommunikationsbandbreite.

In Zukunft ist mit einer deutlichen Zunahme des Anteils mul- timedialer Daten im Internet zu rechnen. Dies ist gleichbedeutend mit einem drastischen Anwachsen von bursthaften Daten, die mit einer variablen Bit-Rate verbunden sind und das Risiko eines hohen Überlastungspotentials in sich tragen. Bei der Kommunikation von Bild und Ton werden dabei hohe Ansprü- ehe an die Jitter-Freiheit gestellt, um isochrone Daten empfangen zu können. Ein Lösungsansatz wird hier voraussichtlich in der Priorisierung der Pakete sowie in sehr sorgfältigen CAC-Algorithmen liegen, um eine letztendliche Übertragungsgüte bis hin zu Haftungseinschluss garantieren zu können. Haf- tungseinschluss ist beispielsweise von Belang bei kritischen Datenübertragungen, wie etwa bei einem chirurgischen Eingriff über eine Video-Konferenzschaltung.

Der Einsatz von CAC-Algorithmen mit adaptiver Charakteristik wird unvermeidlich sein. Bei adaptivem CAC-Algorithmus handelt es sich um anwendungstechnisches Neuland, weil bislang die gesamte Kommunikation über fest verschaltetes Routing unter Annahme "unbegrenzter" Bandbreite nach dem Prinzip "best effort" unter Akzeptanz relativ selten auftretender Paketver- luste und Zeitverzögerungen abläuft. Für CAC-Algorithmen werden zwei Ansätze diskutiert, nämlich ein stochastischer und ein deterministischer Ansatz. Stochastisch bedeutet im Zusammenhang mit diesem Algorithmus, dass man sich durch Multiple- xing eine Ausmittelung der Bursts mit dem Ergebnis einer hö- heren mittleren Auslastung des Kommunikationsnetzes bei höherem Überlastungsrisiko erhofft. Deterministisch bedeutet im Zusammenhang mit diesem Algorithmus, dass die Bandbreite des Kommunikationsnetzes anhand zugesicherter Verkehrscharakteristiken, wie beispielsweise der sogenannten Peak-Bit-Rate (PBR) konservativ zugeteilt wird. Wie aus nachfolgendem hervorgeht, schlägt die Erfindung eine Kombination beider Ansätze vor und kommt damit zu einem adaptiven CAC-Algorithmus. Grundlage hierfür sind stochastische Offline-Verkehrsmodelle, wobei in Echtzeit die Strategie adaptiert wird, falls eine spezielle, kritische Dynamik bzw. Charakteristik auftritt. Für diese Modelle wird auf Netze gepulster Neuronen zuruckge- griffen.

Ein neuronales Netz weist Neuronen auf, die zumindest teilweise miteinander verknüpft sind. Eingangsneuronen des neuronalen Netzes werden Eingangssignale als Eingangsgroßen zuge- fuhrt. Das neuronale Netz weist üblicherweise mehrere Schichten auf. Abhangig von einem Neuron des neuronalen Netzes zu- gefuhrten Eingangsgroßen und einer für das Neuron vorgesehenen Aktivierungsfunktion generiert ein Neuron jeweils ein Signal, welches wiederum Neuronen einer weiteren Schicht als Eingangsgroße gemäß einer vorgebbaren Gewichtung zugeführt wird. In einer Ausgangsschicht wird in einem Ausgangsneuron eine Ausgangsgroße abhangig von Großen generiert, die dem Ausgangsneuron von Neuronen der vorangegangenen Schicht zugeführt werden.

Das neuronale Netz kodiert Information durch Aktionspotentiale oder "Pulse" ("Spikes"), die neurale Feuerungsereignisse (Firing Events) charakterisieren. Im Rahmen der Zeitkodierung kodieren deshalb sogenannte raumzeitliche Feuerungsmuster In- formation bezuglich sensorischer Stimuli. Mit anderen Worten können unterschiedliche Klassen von Stimuli durch unterschiedliche Arten von spatio-temporalen Feuerungsmustern unterschieden werden. In diesem Zusammenhang wurde kurzlich die Maximierung der Transinformation als Mittel zum Beschreiben der Unterscheidbarkeit zur Erreichung dieses Ziels vorgeschlagen. Durch Maximieren der Transinformation zwischen dem Namen der eingegebenen Klasse und dem resultierenden Pulsmuster, das durch die Neuronen bereitgestellt wird, welche die Kodierung des präsentierten Stimulus vornehmen, werden opti- male Unterscheidungseigenschaften sichergestellt. Eine Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation zu schaffen, das mit relativ übersichtlichen Rechenaufwand eine zuverlässige Klassifizierung der Verkehrsdynamik gewährleistet.

Gelöst wird diese Aufgabe durch die Merkmale des Anspruchs 1, Vorteilhafte Weiterbildungen der Erfindung sind in den vom Anspruch 1 abhängigen Ansprüchen angegeben.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein neuronales Netz zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation zu schaffen, das mit relativ übersichtlichen Rechenaufwand eine zuverlässige Klassifizierung der Verkehrsdynamik gewährleistet.

Gelöst wird diese Aufgabe durch die Merkmale des Anspruchs 5. Vorteilhafte Weiterbildungen der Erfindung sind in den vom Anspruch 5 abhängigen Ansprüchen angegeben.

Noch eine Aufgabe der vorliegenden Erfindung besteht darin, eine Anordnung zum Durchführen des erfindungsgemäßen Verfahrens zum Klassifizieren der Verkehrsdynamik einer Netzko mu- nikation zu schaffen, das in einem Prozessor mit relativ geringer Kapazität eine zuverlässige Klassifizierung der Verkehrsdynamik erlaubt.

Gelöst wird diese Aufgabe durch die Merkmale des Anspruchs 9. Vorteilhafte Weiterbildungen der Erfindung sind in den vom Anspruch 9 abhängigen Ansprüchen angegeben.

Relevante Fragestellungen für Netze gepulster Neuronen sind im Zusammenhang mit der Klassifizierung der Verkehrsdynamik einer Netzkommunikation, wie vorstehend angesprochen, die Klassifikation von Verkehrsströmen in Kommunikationsnetzen, vor allem Computernetzen, und die Detektierung von Verkehrs- Charakteristiken, was gegebenenfalls auch online erfolgen kann, die von zugrundeliegenden Annahmen bzw. ausgehandelten Werten abweichen und damit die Gewährleistung des QoS gefährden. Hier soll ein Beispiel genannt werden. Wenn ein Daten- ström mit einer Eigenschaft x um Übertragung bittet, so weiß die CAC, dass aufgrund von Modellannahmen theoretisch eine Zulassung von x möglich ist, ohne die gegebenen Netzressourcen zu überlasten. Pro Messung der bereits aufgenommenen Strome wird jedoch eine Abweichung von Modellannahmen festge- stellt. Hierbei handelt es sich um eine unerwartete kritische Charakteristik des bereits laufenden Datenflusses. Die Folge hiervon ist eine Adaption hin zu einer konservativen Strategie unter Ablehnung von x. Dieser Vorgehensweise basiert also auf der Erkenntnis, dass anstelle einer Fokussierung auf Bit- Raten ("Ratenkodierung") bei Überwachung der Einhaltung von ausgehandelten Verkehrscharakteristiken bei Bestimmung und Abschätzung der Ressourcenauslastung eine Fokussierung auf kritische Burstmuster ("temporale Kodierung") zum Ziel fuhren kann. Hintergrund ist, dass in erster Linie spezielle gleich- zeitig auftretende Belastungsspitzen vorliegen und nicht mittlere Bit-Raten, die an sich auch problemloser in den Griff zu bekommen sind.

Als eine weitere Anwendung sieht die Erfindung die Erstellung einer Matrix "wer-kommuniziert-mit-wem" im Online-Betrieb, gegebenenfalls erweitert um die Dimension "Art der Kommunikation" vor. Ziel ist demnach die Klassifizierung der ausgehenden Datenstrome von mehreren, beispielsweise von zwei Computern, und damit der Anzahl der je Zeitintervall versandten Datenpakete, aufgezeichnet als Funktion der Zeit, in eine

Klasse "gemeinsame Kommunikation" und eine Klasse "voneinander unabhängige Kommunikation". Ergebnis dieser Klassifikation ist, dass für jedes Paar von Computern im Netz ein Eintrag in dieser Matrix existiert, wobei 1 für eine gemeinsame Kom- munikation und 0 für voneinander unabhängige Kommunikation zwischen den Computern steht. Damit stellt diese Matrix ein Schachbrettmuster mit der Möglichkeit einer Detektierung von Abweichungen vom Normalfall dar. Ausschließlich aus Nullen bestehende Zeilen/Spalten deuten beispielsweise auf einen Ausfall der Kommunikation hin (Fehler), während Zeilen/Spalten mit ausschließlich Einsen auf einen externen An- griff (Fraud) hindeuten können. Jedoch können auch komplexere Matrixmuster Aufschlüsse über den Systemzustand geben, z.B. durch Klassifizierung in Attribute wie "normal/anormal", "überlastet", "überlastungsgefährdet", etc.

Kern der Erfindung ist mit anderen Worten die Einbeziehung temporaler Kodierung in adaptive neuronale Netztechniken durch die mathematisch relativ einfache Formulierung von Pulsen. Hierdurch wird eine neuartige Möglichkeit der Signalverarbeitung ermöglicht. Insbesondere bei Aufgaben, die den ty- pisch menschlichen Stärken entgegenkommen, wie die Erkennung raumzeitlicher Muster, die beispielsweise für die Spracherkennung und für Rechnernetzverkehrsprobleme benötigt werden, sind Vorteile durch eine die Arbeitsweise des menschlichen Gehirns sehr genau nachgebildeten Technik zu erwarten.

Die genannte Klassifikation temporaler Muster (temporal clustering) erfolgt erfindungsgemäß durch ein synaptisches Modell, dessen Dynamik direkt von der exakten Taktung bzw. Zeitsteuerung vor- und nachsynaptischer Pulse abhängt. Zu diesem Zweck implementiert das erfindungsgemäße Modell grob gesagt die hauptsächlichen kurzzeitigen Funktionalitäten einer biologischen Synapse, d.h., das Erleichtern (Facilita- tion) und Unterdrücken (Depression) der Übertragung. Außerdem ist die kurzzeitige Dynamik des Modells adaptierbar. Dies be- deutet, dass die Synapse die Beziehung zwischen dem Erleichtern und Unterdrücken ändert, wodurch der zeitliche Verlauf ihres maximalen Ansprechverhaltens - und damit ihrer Verzögerungswirkung - auf einen Pulszug verändert wird.

Die genannten synaptischen Eigenschaften ergeben sich aus dem Zustand der durch das Wechselspiel der nachfolgend angegebe- nen Gleichungen beherrschten Pulszeit-abhängigen synaptischen Ressourcen.

Für eine synaptische Übertragung eingehender Pulse ist die durch Ca²⁺ gegebene Konzentration von C in dem präsynapti- schen Bouton bzw. Endknopf in erster Linie bestimmt, der zwischen 0 und 1 in Echtzeit modelliert wird. Es ist mit einem geringen Diffusionsprozess in den extrazellularen Raum und einem raschen Öffnen von Calcium-abhängigen Ionenkanälen bei Ankunft eines präsynaptischen Pulses zur Zeit t^sp _pre wie folgt zu rechnen:

^ atc = -^ Tf- + δ(t - _re) . c₀ . (ι - c) (1) f_aac

wobei C einer exponentiellen Abnahme mit einer Zeitkonstanten ϊ_fac gehorcht und bei präsynaptischen Pulsankunftszeiten rückgesetzt wird, die durch die ^-Verteilung wiedergegeben sind. Bei diesem Sprung der Ca²⁺-Konzentration wird C durch den a- daptierbaren Parameter Co skaliert, der den zeitlichen Verlauf der maximalen EPSP (EPSP steht für ein alphaförmiges Erregungspotential) ermittelt, die durch die Synapse erzeugbar ist. Co stellt die Calciummenge dar, die in die Zelle eintritt oder mit anderen Worten gibt sie nur wieder, wie prob- lemlos Calciumionenkanäle sich öffnen können. Bei Co handelt es sich um genau denjenigen Lernparameter, dessen entsprechende Gleichung nachfolgend angegeben ist.

In präsynaptischen Freigabestellen für Neurotransmitter wer- den synaptische Vesikel entweder angedockt oder nicht angedockt. Der Anteil der Freigabestellen, die tatsächlich ein angedocktes Vesikel aufweisen, ist gegeben durch die Variable P_v. Bei P_reχ handelt es sich um denjenigen Anteil der angedockten Vesikel, die im Fall präsynaptischen Feuerns freige- geben werden. Vorliegend wird angenommen, dass jedes angedockte Vesikel zur Freigabe vier Calciumionen benötigt. Aus diesem Grund geht C mit Exponent 4 in die Gleichung ein. Mit einer Erhöhung von C steigt der Anteil von freigebbaren Vesi- keln. Hierbei handelt es sich um den erleichternden (facili- tating) Teil der Synapse:

P_re_l = Pv - C (2)

wobei P_v selbst durch folgende Gleichung beherrscht ist:

1 - P_V dt Pv = - δ(t - _e) • p_rel • p_υ (3)

P_v ist die Fraktion der aktuell verfügbaren Vesikelressour- cen, die bereitsteht für eine Neurotransmitter-Freigabe. P_v hat in vollständig erholtem Zustand einen Wert von 1, wobei die Erholung durch die Erholungszeitkonstante r_rec reguliert wird, die einen exponentiellen Erholungs- bzw. Rückgewin- nungsprozess bei Abwesenheit präsynaptischer Pulse ergibt. Dieser Erholungsprozess stellt die nachfolgende Abgabe bzw. Lieferung von Vesikeln aus den Zellkernen dar. Wenn r_rec ziem- lieh groß ist, führen eintreffende Pulse zu einer Abreiche- rung von Vesikelressourcen. Hierbei handelt es sich um den Depressionsteil der Synapse.

Auf der postsynaptischen Seite ist damit eine EPSP einge- führt, die zum Zeitpunkt eines präsynaptischen Pulses von P_rel abhängt :

Die vorstehend angeführten Gleichungen (1) bis (4) beherrschen die prinzipielle Dynamik der Synapse, ansprechend auf präsynaptische Pulse. Die resultierenden kurzzeitigen Effekte umfassen die Erleichterung (Facilitation) und die Depression. Die Beziehung zwischen diesen zwei Effekten, die durch Variieren von Co geändert werden kann, beherrscht den Zeitpunkt maximalen Ansprechens in der EPSP und damit den Verzogerungs- effekt bei der Übertragung.

Fig. 1 zeigt unterschiedliche synaptische Ansprechtypen für unterschiedliche Werte des synaptischen Parameters Co . Die synaptische Verzögerung - d.h., ihr maximales Ansprechverhalten - variiert von raschem Ansprechverhalten bis zu langsame- rem Ansprechverhalten. Das postsynaptische, mit Potentialverlust durch Diffusion behaftete Integrations- und Feuer-Neuron empfangt von einer Synapse einen Zug gleichmaßig beabstande- ter Pulse. Dargestellt ist in Fig. 1 das Membranpotential dieses synaptischen Neurons.

Das Lernen, bei dem es sich über eine längere Zeit erstreckende Effekte handelt, die zu einer Adaption der eingeführten kurzzeitigen Dynamik fuhren, wird so durchgeführt, wie im folgenden ausgeführt.

Der Mechanismus zum Erlernen synaptischer Verzogerungsvorgan- ge, abhangig vom präsynaptischen und postsynaptischen Pulsverlauf, wird nunmehr erläutert. Der Kern des Lernalgorithmus ist folgender: Wenn ein postsynaptischer Puls auftritt, bevor eine Synapse ihr maximales Ansprechverhalten erreicht, fuhrt der Algorithmus eine Adaption so durch, dass er nächstes Mal sein Maximum früher erreicht. Dies bedeutet, dass Co erhöht bzw. vergrößert wird. In dem Fall, dass der postsynaptische Puls auftritt, nachdem eine Synapse ihr maximales Ansprech- verhalten bereits erreicht hatte, wird analog hierzu die Synapse das nächste Mal versuchen, ihr Ansprechverhalten zusatzlich zu verzogern, was bedeutet, dass C₀ verkleinert bzw. verringert wird. Wie dies im einzelnen erreicht wird, wird nunmehr ausgeführt.

Zunächst wird eine Neurotransmitter-Konzentration N in den synaptischen Spalt eingeführt: ^N = -- + δ(t - t;^P _e) - P_rel - (l - N) - _aN dt τ_y (5)

wobei τ_N die Zeitkonstante eines Neurotransmitterabbaus ist, und wobei _N ein Freigabekoeffizient ist. Dabei wird τ_N so groß gewählt wie die Membrankonstante des Ausgangsneurons, so dass N den Beitrag dieser Synapse zu dem postsynaptischen Membranenpotential wiedergibt. Das Maximum von N sollte mit der maximalen Auswirkung dieser Synapse auf ein postsynapti- sches Neuron zusammenfallen. Um dieses Maximum zu ermitteln, ist erforderlich, die erste Ableitung der Hüllkurve des zeitlichen Verlaufs von N zu ermitteln. Hierfür wird eine zusätzliche Variable N benötigt:

Von N wird angenommen, dass es den Wert von N ausgehend vom letzten Feuerungsereignis speichert. Der Zweck von N besteht darin, zu ermitteln, ob die Synapse im Vergleich zum vorausgehenden Feuerungsereignis aktuell mehr oder weniger Transmitter freigibt. Durch Subtrahieren von N von N kann festgestellt werden, ob N dazu neigt, anzusteigen oder zu fallen. Die Aktualisierung, d.h., das Einstellen von N auf N beim präsynaptischen Feuern, geschieht einige Zeit nachdem der präsynaptische Puls aufgetreten ist, wie mit Δt in dem δ- Term angezeigt. Es wird angenommen, dass N die Neurotrans- mitter-Konzentration an einer Stelle ein wenig entfernt von der Freigabestelle ist, so dass die Konzentration eine bestimmte Zeit Δt benötigt, um sich dorthin zu bewegen. In der Simulation wird Δt mit einem Zeitschritt gewählt, d.h. mit 1 ms. Es ist wichtig, dass τ^ ausreichend groß ist, damit N den Wert von N ausgehend vom letzten Feuerungsereignis tatsächlich speichern kann. Bei jedem Zeitschritt wird nunmehr N - N genutzt, um den Wert C^* zu ermitteln, mit welchem beim Auftreten eines postsynaptischen Pulses C₀ geändert werden muss.

- N) ≥ 0 -iV)<0

wobei _c*o die Lernrate ist. Die Aufteilung in zwei Fälle bei der Ermittlung von C^* ₀ in Gleichung 7 erfolgt, um sicherzustellen, dass Co zwischen 0 und 1 beschränkt ist.

Wenn der postsynaptische Puls tatsächlich auftritt, wird schließlich C₀ durch C^* ₀ geändert.

£ — Co — δ(t — t_p03t) • CQ (8) dt

Fig. 2 zeigt die entsprechenden Kurven von N zusammen mit C^* ₀- Nach dem Lernen fallen die Null-Durchgänge der zuletzt genannten Kurven mit dem maximalen Ansprechen der Maxima von N zusammen.

Im einzelnen zeigen die Figuren der Zeichnung:

Fig. 1 verschiedene Formen synaptischen Ansprechverhaltens ansprechend auf den adaptierbaren synaptischen Parameter C₀; mit kleineren Werten von C₀ bewegt sich das Spitzenwertansprechen nach rechts und führt damit zu einer Verzögerung der Übertragung;

Fig. 2A unterschiedliche zeitliche Verläufe von Neurotrans- mitter-Konzentrationen N für unterschiedliche Werte des Parameters C₀; Fig. 2B Aktualisierungskurven C^* ₀; diese Kurven bestimmen die Richtung und das Ausmaß der Änderung bei der Aktualisierung von Co; es wird bemerkt, dass die Null-Durchgänge mit den entsprechenden Maxima in einer Neuro- transmitter-Konzentration zusammenfallen, was bedeutet, dass C₀ nicht geändert wird; wenn ein postsynap- tischer Puls exakt zum Zeitpunkt des maximalen synaptischen Ansprechens erzeugt wird; wenn ein postsynap- tischer Puls auftritt, bevor das Maximum erreicht ist, fällt Co; wenn ein postsynaptischer Puls auftritt, nachdem das Maximum erreicht ist, steigt C₀ bzw. wird größer.

Fig. 3 beispielhaft das temporale Clustern mit gepulsten Neuronen bei einer Computer-Netzverwaltung, und

Fig. 4 ein typisches Anwendungsspektrum des temporalen Clusters gemäß Fig. 3.

Erläutert wurde vorstehend eine im besonderen Maße vorteilhafte Analysentechnik für zeitlich-dynamische Strukturen im Hinblick auf die Detektierung von Mustern, der Charakterisierung der Dynamik und Klassifizierung der Zeitreihen, basierend auf der Verwendung eines Netzes gepulster Neuronen. Es handelt sich dabei um ein rekurrentes, also dynamisches Netz, dessen Netzelemente, die Neuronen, in enger Anlehnung an natürliche Nervensysteme mittels dynamischer Schwellwertelemente moduliert werden. Diese verarbeiten ihre gewichteten Eingaben in Form von Veränderungen ihres Ladungszustands und ge- nerieren ihre Ausgabe bei Überschreiten der Schwelle durch Aussenden von Aktionspotentialen, was auch als Entladung bezeichnet wird.

Rückkopplungen und Zeitverzögerungen in den Netzverbindungen erlauben es dem Netz, relevante Information über zeitlich vorangegangene Eingaben und Verarbeitungsschritte auf natürliche Weise und ohne Beschränkung durch die Architektur dyna- misch im Netz zu speichern und somit bedarfsgerecht direkt auf die zeitliche Dynamik des Eingabestroms einzugehen, und dessen Charakteristik zu erlernen. Beispiele hierfür in Gestalt der Verkehrsdynamik einer Computer-Netzkommunikation un- ter Verwendung gepulster Neuronen geht aus den schematischen Darstellungen von Fig. 3 und Fig. 4 hervor, die selbsterläuternd sind.

Analog zum Vorbild menschliches Gehirn wird damit der zeitli- ehe Abstand zwischen aufeinanderfolgenden Aktionspotentialen bzw. den resultierenden raumzeitlichen Aktivitätsmuster des Netzes zur unterscheidenden Komponente der internen Kodierung des Systems (temporale Kodierung bzw. temporales Clustern (temporal clustering) ) . Außerdem bietet die Kodierung in Form von Punktprozessen bzw. diskreten Prozessen anstelle kontinuierlicher stochastischer Prozesse als zentrale Eigenschaft dieser Art der Informationsverarbeitung erhebliche Vorteile bei der Verwendung mathematischer Lernfunktionen.

Aufgrund der vorstehend genannten Eigenschaften ist ein derartiges Netz sehr gut zur Klassifikation temporaler Muster (temporal clustering) geeignet, wie sie bei der Analyse der Verkehrscharakteristik in Computernetzen auftritt, wie in Fig. 4 dargestellt.

Claims

Patentansprüche

1. Verfahren zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation unter Verwendung eines gepulste Neuronen enthaltenden Netzes, wobei Verkehrsdaten der Netzkommunikation die Eingangsgrößen des neuronalen Netzes bilden, und wobei durch Pulsverarbeitung gewonnene temporale Cluster die Ausgangsgrößen des neuronalen Netzes bilden, bei dem die Klassifikation der Verkehrsdynamik mittels eines synaptischen Mo- dells erfolgt, dessen Dynamik direkt von der exakten Taktung vor- und nachsynaptischer Pulse abhängt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Dynamik des synaptischen Modells durch die folgenden Gleichungen bestimmt ist:

!<?- - + *<t-*.) -<i- <ι -σ) (i) wobei C einer exponentiellen Abnahme mit einer Zeitkonstanten τ_fac gehorcht und bei präsynaptischen Pulsankunftszeiten rückgesetzt wird, die durch die δ-Verteilung wiedergegeben sind. Bei diesem Sprung der Ca²⁺-Konzentration wird C durch den adaptierbaren Parameter C₀ skaliert, der den zeitlichen Verlauf der maximalen EPSP (EPSP steht für ein alphaförmiges Erregungspotential) ermittelt, die durch die Synapse erzeugbar ist. Co stellt die Calciummenge dar, die in die Zelle ein- tritt oder mit anderen Worten gibt sie nur wieder, wie problemlos Calciumionenkanäle sich öffnen können. Bei C₀ handelt es sich um genau denjenigen Lernparameter, dessen entsprechende Gleichung nachfolgend angegeben ist;

wobei P_∑ei derjenige Anteil angedockter Vesikel, die im Fall präsynaptischen Feuerns freigegeben werden und wobei Pv selbst durch folgende Gleichung beherrscht ist: d_ l - Pv

_Υ dtPv = —r^ ^{~ ~} e) ^• Prel " Pv (3)

wobei P_v die Fraktion der aktuell verfügbaren Vesikelressour- cen ist, die bereitsteht für eine Neurotransmitter-Freigabe;

was bedeutet, dass auf der postsynaptischen Seite eine EPSP (EPSP steht für ein alphaförmiges Erregungspotential) eingeführt wird, die zum Zeitpunkt eines präsynaptischen Pulses von P_rei abhängt .

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zur Adaption einer kurzzeitigen Verkehrsdynamik ein Lernpro- zess für synaptische Verzögerungsvorgänge abhängig vom präsynaptischen und postsynaptischen Pulsverlauf durchgeführt wird, der durch folgende Formeln festgelegt ist:

* _{N =} -!L ₊ δ(t - t . _Pre[ . (l - N) - _N (5) dt r_/v

wobei τ_N die Zeitkonstante eines Neurotransmitterabbaus ist, und wobei α_N ein Freigabekoeffizient ist; dabei wird τ_N so groß gewählt wie die Membrankonstante des Ausgangsneurons, so dass N den Beitrag dieser Synapse zu dem postsynaptischen Membranenpotential wiedergibt; das Maximum von N wird aus der ersten Ableitung der Hülle des zeitlichen Verlaufs von N zu ermittelt, wofür eine zusätzliche Variable ^ benötigt wird:

d _Λ-_r N - N

N = -i-—- + δ(t - _re - Δt) . (N - N) (6) dt Tft wobei von N angenommen wird, dass es den Wert von N ausgehend vom letzten Feuerungsereignis speichert; wobei bei jedem Zeitschritt N - N genutzt wird, um den Wert C*₀ zu ermit- teln, mit welchem beim Auftreten eines postsynaptischen Pulses C₀ geändert werden muss:

^{dt 0 ~} {-$ + ^δ(^t - ^_c) - l - C₀' + ((N - ff) -ac_i - P_rd - C₀)) «™.(JV-ff)<0

(7)

wobei α_c*o die Lernrate ist; und wobei dann, wenn der postsynaptische Puls tatsächlich auftritt, schließlich C₀ durch C*₀ geändert wird:

d

— Co — δ(t — t_poat) • CQ (8) dt

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Verkehrsdynamik die Dynamik zwischen zumindest zwei Computern ist, die über ein LAN, MAN oder WAN verbunden sind.

5. Neuronales Netz, welches gepulste Neuronen enthält, das zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation die Anwendung eines synaptischen Modells vorsieht, dessen Dynamik direkt von der exakten Taktung vor- und nachsynapti- scher Pulse abhängt, wobei Verkehrsdaten der Netzkommunikati- on die Eingangsgrößen des neuronalen Netzes bilden, und wobei durch Pulsverarbeitung gewonnene temporale Cluster die Ausgangsgrößen des neuronalen Netzes bilden.

6. Neuronales Netz nach Anspruch 5, dadurch gekennzeichnet, dass die Dynamik des synaptischen Modells durch die folgenden Gleichungen bestimmt ist:

wobei C einer exponentiellen Abnahme mit einer Zeitkonstanten T_fac gehorcht und bei präsynaptischen Pulsankunftszeiten rückgesetzt wird, die durch die δ-Verteilung wiedergegeben sind; Bei diesem Sprung der Ca²⁺-Konzentration wird C durch den a- daptierbaren Parameter C₀ skaliert, der den zeitlichen Ver- lauf der maximalen EPSP (EPSP steht für ein alphaförmiges Erregungspotential) ermittelt, die durch die Synapse erzeugbar ist; Co stellt die Calciummenge dar, die in die Zelle eintritt oder mit anderen Worten gibt sie nur wieder, wie problemlos Calciumionenkanäle sich öffnen können; bei C₀ handelt es sich um genau denjenigen Lernparameter, dessen entsprechende Gleichung nachfolgend angegeben ist;

P_re_l = Pv - C* (2)

wobei P_reι derjenige Anteil angedockter Vesikel, die im Fall präsynaptischen Feuerns freigegeben werden und wobei P_v selbst durch folgende Gleichung beherrscht ist:

±P_υ = 1 L - δ(t - _re) ■ P_rel • P_υ (3)

CXt 7^" _rec wobei P_v die Fraktion der aktuell verfügbaren Vesikelressour- cen ist, die bereitsteht für eine Neurotransmitter-Freigabe;

_fj τp p o p

Tt^{BPSP =} -^ ⁺ - W - ^p"^> < > was bedeutet, dass auf der postsynaptischen Seite eine EPSP (EPSP steht für ein alphaförmiges Erregungspotential) eingeführt wird, die zum Zeitpunkt eines präsynaptischen Pulses von P_rel abhängt .

7. Neuronales Netz nach Anspruch 6, dadurch gekennzeichnet, dass zur Adaption einer kurzzeitigen Verkehrsdynamik ein

Lernprozess für synaptische Verzögerungsvorgänge abhängig vom präsynaptischen und postsynaptischen Pulsverlauf implementiert ist, der durch folgende Formeln festgelegt ist: + _δ(_t - t»_t) ■ P_rel - (l - N) - _N (5)

wobei τ_N die Zeitkonstante eines Neurotransmitterabbaus ist, und wobei α_N ein Freigabekoeffizient ist; dabei wird τ_N so groß gewählt wie die Membrankonstante des Ausgangsneurons, so dass N den Beitrag dieser Synapse zu dem postsynaptischen Membranenpotential wiedergibt; das Maximum von N wird aus der ersten Ableitung der Hüllkurve des zeitlichen Verlaufs von N ermittelt, wofür eine zusätzliche Variable N benötigt wird:

wobei von N angenommen wird, dass es den Wert von N ausge- hend vom letzten Feuerungsereignis speichert; wobei bei jedem Zeitschritt N - N genutzt wird, um den Wert C*₀ zu ermitteln, mit welchem beim Auftreten eines postsynaptischen Pulses Co geändert werden muss:

d_

-Co = δ(t - t/^s _ost) ^■ C (8) dt

8. Neuronales Netz nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Verkehrsdynamik die Dynamik zwischen zumindest zwei Computern ist, die über ein LAN, MAN oder WAN verbunden sind.

9. Anordnung zum Durchfuhren des Verfahrens nach einem der Ansprüche 1 bis 4 zum Klassifizieren der Verkehrsdynamik einer Netzkommunikation unter Verwendung eines gepulste Neuronen enthaltenden Netzes, wobei Verkehrsdaten der Netzkommunikation die Eingangsgroßen des neuronalen Netzes bilden, und wobei durch Pulsverarbeitung gewonnene temporale Cluster die Ausgangsgroßen des neuronalen Netzes bilden, mit einem Prozessor, der dazu ausgelegt ist, dass die Klassifikation der Verkehrsdynamik mittels eines synaptischen Modells erfolgt, dessen Dynamik direkt von der exakten Taktung vor- und nach- synaptischer Pulse abhangt.

10. Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass die Dynamik des synaptischen Modells durch die folgenden Gleichungen bestimmt ist:

wobei C einer exponentiellen Abnahme mit einer Zeitkonstanten τ_fac gehorcht und bei präsynaptischen Pulsankunftszeiten ruckgesetzt wird, die durch die δ-Verteilung wiedergegeben sind; Bei diesem Sprung der Ca²⁺-Konzentration wird C durch den a- daptierbaren Parameter Co skaliert, der den zeitlichen Verlauf der maximalen EPSP (EPSP steht für ein alphaförmiges Erregungspotential) ermittelt, die durch die Synapse erzeugbar ist; Co stellt die Calciummenge dar, die in die Zelle ein- tritt oder mit anderen Worten gibt sie nur wieder, wie problemlos Calciumionenkanale sich offnen können; bei C₀ handelt es sich um genau denjenigen Lernparameter, dessen entsprechende Gleichung nachfolgend angegeben ist;

Prel = P_v - C (2) wobei P_reι derjenige Anteil angedockter Vesikel, die im Fall präsynaptischen Feuerns freigegeben werden und wobei P_v selbst durch folgende Gleichung beherrscht ist:

- ^pP_vv == — -r ^P^^v - δ(t - t%_e) . p_rel . p_v uZ T_re_C (3)

* _E E_PP_SS_PP _=. --*™P + δ(t - • P_rel (4) dt T~EPSP was bedeutet, dass auf der postsynaptischen Seite eine EPSP (EPSP steht für ein alphaförmiges Erregungspotential) eingeführt wird, die zum Zeitpunkt eines präsynaptischen Pulses von P_reι abhängt .

11. Anordnung nach Anspruch 10, dadurch gekennzeichnet, dass zur Adaption einer kurzzeitigen Verkehrsdynamik ein Lernpro- zess für synaptische Verzögerungsvorgänge abhängig vom präsynaptischen und Postsynaptischen Pulsverlauf implementiert ist, der durch folgende Formeln festgelegt ist: _N = _^ + _δ(_t - _e) ■ P_rel - (l - N) - _N (5) ^dt wobei τ_N die Zeitkonstante eines Neurotransmitterabbaus ist, und wobei α_N ein Freigabekoeffizient ist; dabei wird τ_N so groß gewählt wie die Membrankonstante des Ausgangsneurons, so dass N den Beitrag dieser Synapse zu dem postsynaptischen Membranenpotential wiedergibt; das Maximum von N wird aus der ersten Ableitung der Hüllkurve des zeitlichen Verlaufs von N ermittelt, wofür eine zusätzliche Variable -W benötigt wird:

^d N_N =- N - N + δ(t - _e - At) - (N - N) dt T ι (6)

wobei von N angenommen wird, dass es den Wert von Ν ausgehend vom letzten Feuerungsereignis speichert; wobei bei jedem Zeitschritt N - N genutzt wird, um den Wert C*₀ zu ermitteln, mit welchem beim Auftreten eines postsynaptischen Pulses CO geändert werden uss:

- N) > 0 - N) < 0 wobei α_c*o die Lernrate ist; und wobei dann, wenn der postsynaptische Puls tatsächlich auftritt, schließlich C₀ durch C*o geändert wird:

Co = δ(t - t _ost) ■ C (8)

12. Anordnung nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die Verkehrsdynamik die Dynamik zwischen zumindest zwei Computern ist, die über ein LAΝ, MAN oder WAN verbunden sind.