DE4316533C2

DE4316533C2 - Neuronales Netz für dynamische Prozesse

Info

Publication number: DE4316533C2
Application number: DE4316533A
Authority: DE
Inventors: Uwe Krogmann
Original assignee: Bodenseewerk Geratetechnik GmbH
Current assignee: Diehl BGT Defence GmbH and Co KG
Priority date: 1993-05-18
Filing date: 1993-05-18
Publication date: 1997-09-18
Anticipated expiration: 2013-05-19
Also published as: DE4316533A1

Description

Die Erfindung betrifft ein neuronales Netz nach dem Oberbegriff des Patentanspruchs 1.

Neuronale Netze sind Signalverarbeitungs-Einheiten, bei denen eine Mehrzahl von Prozessorelementen zusammengeschaltet sind. Jedes der Prozessorelemente hat eine relativ einfache Funktion. Die Prozessorelemente bilden "Schichten". Die Prozessorelemente verschiedener Schichten sind über Verbindungen mit "Gewichten" miteinander verbunden. Ebenso sind Eingänge und Ausgänge über gewichtete Verbindungen mit Prozessorelementen einer Eingangs- oder Ausgangsschicht verbunden. Die an den Eingängen der Prozessorelemente anliegenden, gewichteten Größen werden zu einer "Aktivität" überlagert. Das Ausgangssignal des Prozessorelements ist eine Funktion dieser Aktivität. Diese Funktion kann eine Sigmoid- Funktion, eine Tangens-hyperbolicus-Funktion oder auch eine Gauß-Funktion sein.

Im Gegensatz zu konventionellen Digitalrechnern erfolgt die Datenverarbeitung nicht nach einem vorgegebenen Programm. Vielmehr besitzen neuronale Netze Selbstorganisations- und Lernfähigkeit. Der Lösungsweg wird bei der Anwendung neuronaler Netze durch eine kognitive Abbildung mathematischer Zusammenhänge von dem Netz erlernt. Das von dem Netz erworbene Wissen ist dabei in der Stärke der Verbindungsgewichte am Ende der Lernphase gespeichert.

Während der Lernphase werden die ursprünglich zufällig gewählten Verbindungsgewichte durch Lernvorgänge variiert. Zu diesem Zweck werden dem neuronalen Netz zusammengehörige Paare von Eingangsvektoren, d. h. Vektoren von Eingangsgrößen, und Soll-Ausgangsvektoren, d. h. Vektoren der zu den Eingangsgrößen gehörenden richtigen Ausgangsgrößen, angeboten. Die Soll- Ausgangsvektoren werden mit den von dem neuronalen Netz bei Eingabe der Eingangsvektoren erhaltenen tatsächlichen Ausgangsvektoren verglichen. Nach Maßgabe dieses Vergleichs werden die Verbindungsgewichte nach einem bestimmten Algorithmus schrittweise verändert.

Ein neuronales Netz wird definiert durch drei Charakteristika: Die Funktion der Prozessorelemente, die Struktur des Netzes und die Art und der Ablauf des Lernvorganges.

Es sind "Feedforward"-Netze bekannt. Solche neuronalen Netze enthalten nur Vorwärtsverknüpfungen, aber keine Rückführungen. Solche "Feedforward"-Netze haben große Bedeutung als Assoziativspeicher und Klassifikatoren erlangt. Dabei wird die Fähigkeit mehrschichtiger neuronaler Netze ausgenutzt, einen nichtlinearen Zusammenhang zwischen Eingangsgrößen und Ausgangsgrößen eines Systems (Prozesses, Problems) zu erlernen. Mit dieser Fähigkeit werden derartige Netzwerke auch als Regler für kinematische Regelstrecken (z. B. Roboter) eingesetzt. Dabei erlernt das neuronale Netz in einer Trainingsphase z. B. die inverse Kinematik eines mehrachsigen Roboters.

Wegen der fehlenden Rückkopplung innerhalb des neuronalen Netzes sind "Feedforward"-Netze nicht in der Lage, den Zusammenhang zwischen Eingangsgrößen und Ausgangsgrößen eines dynamischen Systems zu erlernen. In dynamischen Systemen ist der funktionale Zusammenhang nicht konstant, sondern in bestimmter Weise von der Zeit abhängig. Damit sind "Feedforward"-Netze für Anwendungen in der Regelungstechnik (Modellierung, Identifikation oder Prädiktion) nicht geeignet, da die Regelstrecken im allgemeinen dynamische Systeme (Prozesse) darstellen.

Es ist jedoch bekannt, "Feedforward"-Netze dadurch als Regler verwendbar zu machen, daß die fehlenden internen Rückführungen durch äußere Rückführungen der Ausgangsgrößen des neuronalen Netzes auf den Eingang teilweise ersetzt werden (DE 42 18 599 A1).

Die US 5 165 009 A beschreibt ein neuronales Netz, bei welchem jedes Prozessorelement einer Schicht nicht nur von gewichteten Eingangsgrößen, sondern auch von den gewichteten Ausgangsgrößen aller Prozessorelemente der Schicht beaufschlagt ist.

Die DE 41 30 164 A1 beschreibt einen Flugregler mit einem neuronalen Netz. Auf das Netz sind in jedem Zeittakt Vektoren von Zustandsgrößen aufgeschaltet, die dem aktuellen Zeittakt und vorhergehenden Zeittakten zugeordnet sind. Das Netz liefert Schätzwerte für Zustandsgrößen, die für zukünftige Zeittakte zu erwarten sind.

Der Erfindung liegt die Aufgabe zugrunde, ein neuronales Netz der eingangs genannten Art so auszubilden, daß es durch überwachtes Lernen räumlich-zeitliche Zusammenhänge zwischen Eingangsgrößen und Ausgangsgrößen eines Systems erlernen kann. Dabei kann das Übertragungsverhalten des Systems nichtlinear dynamisch sein.

Erfindungsgemäß wird diese Aufgabe durch die im Patentanspruch 1 aufgeführten Maßnahmen gelöst.

Ein Verfahren zum Trainieren eines so aufgebauten neuronalen Netzes ist Gegenstand der Patentansprüche 2 und 3.

Erfindungsgemäß enthält somit das neuronale Netz eine interne Rückkopplung. Das Netz ist vorwärts und rückwärts verkoppelt. Durch die Bestimmung der Aktivität eines Prozessorelements aus den Eingangsgrößen und Ausgangsgrößen des vorhergehenden Taktes wird die Zeitabhängigkeit der Größen mit berücksichtigt. Das macht es möglich, daß das neuronale Netz räumlich-zeitliche Zusammenhänge zwischen Eingangsgrößen und Ausgangsgrößen eines nichtlinear dynamischen Systems erlernen kann.

Ein Ausführungsbeispiel der Erfindung ist nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.

Fig. 1 zeigt schematisch den Aufbau eines neuronalen Netzes mit interner Rückkopplung.

Fig. 2 veranschaulicht den Lernprozeß des neuronalen Netzes von Fig. 1.

Fig. 3 zeigt schematisch den Lernvorgang des neuronalen Netzes von Fig. 1 für die Anwendung als Modell der Regelstrecke.

Fig. 4 zeigt schematisch den Lernvorgang des neuronalen Netzes von Fig. 1 für die Anwendung als inverses Modell der Regelstrecke.

Fig. 5 zeigt schematisch den Lernvorgang des neuronalen Netzes von Fig. 1 für die Anwendung als prädiktives Modell der Regelstrecke.

Fig. 6 zeigt schematisch den Lernvorgang des neuronalen Netzes von Fig. 1 für die Anwendung als Modell des Reglers.

Fig. 1 zeigt die Struktur des rückgekoppelten neuronalen Netzes. Das neuronale Netz enthält nur eine einzige Schicht 10 von Prozessorelementen PE1 . . . PEn. An einem Eingang 12 des neuronalen Netzes liegen Eingangsgrößen u₁, u₂, . . ., u_m, die zu einem Eingangsvektor u zusmmengefaßt werden können. Die Eingangsgrößen u₁, u₂, . . ., u_m sind in Speicherelementen 14 gespeichert. Die Eingangsgrößen sind gewichtet auf die Eingänge 16 aller Prozessorelemente PE1, . . ., PEn aufgeschaltet. Die Gewichte sind durch m-dimensionale Vektoren g₁, g₂, . . ., g_n dargestellt, die in Fig. 1 durch Kreise 18 symbolisiert sind. Die Vektoren g bilden eine Eingangsmatrix G.

Jedes Prozessorelement PE1, . . ., PEn ist außerdem von gewichteten Ausgangsgrößen x_j aller Prozessorelemente beaufschlagt, einschließlich der Ausgangsgröße des betrachteten Prozessorelements selbst. Das ist in Fig. 1 durch die Verbindungen 20 symbolisiert. Die Gewichte sind mit w_ÿ bezeichnet, wobei der Index i das "empfangende" und der Index j das "sendende" Prozessorelement bezeichnet. Die Gewichte w_ÿ bilden eine Verbindungsmatrix W.

Die Ausgangsgrößen der Prozessorelemente PE1, . . ., PEn an den Ausgängen 22 sind gewichtet auf p Ausgänge 24 des neuronalen Netzes geschaltet. Dabei ist jeder Ausgang 24 des neuronalen Netzes von den Ausgangsgrößen aller Prozessorelemente PE1, . . ., PEn mit entsprechenden Gewichten beaufschlagt. Die Gewichte, mit denen die Ausgangsgrößen der Prozessorelemente an einem bestimmten Ausgang 24 wirksam sind, sind jeweils durch einen n-dimensionalen Vektor h₁, h₂, . . ., h _p dargestellt. Die Vektoren sind in Fig. 1 durch Kreise 26 symbolisiert.

Jedes Prozessorelement PE1, . . ., PEn berechnet seine "Aktivität" aus den aufgeschalteten, gewichteten Eingangsgrößen und den ebenfalls gewichteten Ausgangsgrößen aller Prozessorelemente zu

Darin ist k die laufende Nummer des Rechentaktes. Ist die Taktperiode des Rechentaktes T, dann entspricht die Zahl k einer Zeit kT. z_i(k+1) ist die Aktivität des i-ten Prozessorelements PEi im (k+1)-ten Rechentakt, also zur Zeit (k+1)T. Diese Aktivität z_i(k+1) hängt ab von den Aktivitäten x_j(k) aller Prozessorelemente PE1, . . ., PEn im k-ten, also im vorhergehenden Rechentakt. Diese sind mit den nach Ablauf des Lernprozesses festen Gewichten w_ÿ gewichtet. Summiert wird über j. Ferner hängt die Aktiviität z_i(k+1) ab von den Eingangsgrößen u_j(k), ebenfalls im vorangehenden Rechentakt k.

Man kann das wie folgt schreiben:

oder in Vektor-Matrix-Form:

z(k+1) = W _* x(k) + G _* u(k)

wobei z ein n-dimensionaler Vektor der Aktivitäten der n Prozessorelemente PE1, . . ., PEn, W die Verbindungsmatrix, G die Eingangsmatrix und u der Eingangsvektor ist. Die Matrizen W und G sind zeitunabhängig.

Aus der so bestimmten "Aktivität" des Prozessorelements bildet das Prozessorelement PEi eine Ausgangsgröße

x_i(k+i) = f(z_i(k+1)) .

Darin ist f eine nichtlineare Funktion. Das kann eine Sigmoid-Funktion oder eine Tangens-hyperbolicus-Funktion oder auch eine Gaußfunktion sein.

Die Ausgangsgrößen der einzelnen Prozessorelemente PE1, . . ., PEn kann man dann in einem Vektor x zusammenfassen. Es gilt:

x(k+1) = f (W _* x(k) + G _* u(k)) .

Die Ausgangsgrößen des neuronalen Netzes an den Ausgängen 24 kann man zu einem Vektor y(k) zusammenfassen. Der Vektor y(k) ist ebenfalls zeitabhängig. Man kann den Zusammenhang zwischen den n Ausgangsgrößen x(k) der Prozessorelemente und den p Ausgangsgrößen des neuronalen Netzes wie folgt darstellen:

In Vektor-Matrix-Form ergibt das

y(k) = H _* x(k)

wobei die Ausgangsmatrix H wieder zeitunabhängig ist.

Fig. 2 veranschaulicht die Konfiguration für das Trainieren des neuronalen Netzes.

Bei dynamischen Systemen ist eine zeitliche Folge von Ausgangsgrößen y(k) eine Funktion der zeitlichen Folge von Eingangsgrößen u(k). Für den Lernvorgang werden somit bestimmte zeitliche Folgen von Eingangsvektoren u(k-1) mit k = 1, 2, . . ., L auf die Eingänge 12 gegeben. Die zugehörigen, vorgegebenen Soll-Ausgangsvektoren sind die Vektoren y*(k). Diese Soll-Ausgangsvektoren können von einem nichtlinearen Prozeß oder System selbst, von einem Modell eines solchen Prozesses oder Systems oder einer Datenbasis geliefert werden. Diese Soll-Ausgangsvektoren y*(k) werden nacheinander mit der von dem neuronalen Netz tatsächlich gelieferten Ausgangsvektoren y(k) verglichen. Nach Maßgabe dieses Vergleichs erfolgt eine Korrektur der Gewichte.

In Fig. 2 ist mit 28 das neuronale Netz von Fig. 1 bezeichnet. Auf die Eingänge 12 des neuronalen Netzes 28, die in Fig. 2 durch einen "Vektoreingang" dargestellt sind, werden nacheinander in einem vorgegebenen Takt Vektoren von Eingangsgrößen u(1), u(2), . . ., u(L) aufgeschaltet. Das ist in Fig. 2 durch einen Block 30 mit einem Wählschalter symbolisiert.

Die Vektoren der Eingangsgrößen u sind gleichzeitig auf Mittel zur Erzeugung zugehöriger Vektoren von Ausgangsgrößen y(k+1) aufgeschaltet. Diese Mittel sind durch einen Block 32 symbolisiert. Dabei kann es sich um einen nichtlinearen Prozeß oder ein nichtlineares System handeln, dessen dynamisches Verhalten von dem neuronalen Netz gelernt werden soll. Beispielsweise können die Eingangsgrößen Meßdaten an einem Flugzeug und die Ausgangsgrößen die Reaktionen eines menschlichen Piloten auf diese Meßdaten sein. Das neuronale Netz 28 kann dann lernen, sich wie ein menschlicher Pilot zu verhalten. Die Mittel zur Erzeugung von Vektoren der Ausgangsgrößen können aber auch von einem Modell eines Prozesses oder Systems oder von einer Datenbasis gebildet sein. Die Soll- Ausgangsgrößen y*(k) werden im gleichen Takt nacheinander zur Verfügung gestellt. Das ist in Fig. 2 durch einen Block 34 mit einem Wählschalter symbolisiert.

An dem Vektorausgang 24 des neuronalen Netzes 28 erscheint der Vektor der Ausgangsgrößen y(k+1), der sich aus dem Vektor der Eingangsgrößen u(k) bei den im Augenblick vorliegenden Gewichten w_ÿ ergibt. Außerdem erscheint an einem Ausgang 36, der den Ausgängen 22 von Fig. 1 entspricht, ein Vektor der Ausgangsgrößen der Prozessorelemente PE1, . . ., PEn im (k+1)-ten Takt.

Es wird die Differenz der Vektoren der Ausgangsgrößen y(k+1) und der Soll-Ausgangsgrößen y*(k+1) gebildet. Das ist in Fig. 2 durch einen Summierpunkt 38 dargestellt. Die im Summierpunkt 38 gebildete Differenz y*(k+1) - y(k+1) und die Ausgangsgrößen der Prozessorelemente x(k+1) dienen zur Berechnung einer Korrekturmatrix ΔW für die Verbindungsmatrix W des neuronalen Netzes 28. Diese Berechnung der Korrekturmatrix ist in Fig. 2 durch einen Block 40 dargestellt. Mit der Korrekturmatrix ΔW wird die Verbindungsmatrix W des neuronalen Netzes 28 korrigiert, wie in Fig. 2 symbolisch angedeutet ist.

Die Korrekturmatrix ΔW wird

Dabei ist

v(k) = f′(z(k)) * [W^T v(k+1) + H^T(y*(k) - y(k))]

wobei f′ die Ableitung der nichtlinearen Ausgangsfunktion f(z(k)) der Prozessorelemente des Netzes, z(k) die Aktivitäten der Prozessorelemente, y(k) und y*(k) die Vektoren der Ausgangsgrößen bzw. Soll-Ausgangsgrößen und H die Ausgangsmatrix ist. Der Exponent T bezeichnet die Transponierte der jeweiligen Matrix.

Mit der Korrekturmatrix ΔW wird die Verbindungsmatrix W korrigiert. Es ist

W_neu = W_alt + ΔW .

Es ist zu beachten, daß eine Korrektur der Verbindungsmatrix nicht nach der Verarbeitung jedes einzelnen Trainingsvektor-Paares u(k); y*(k+1) erfolgt, sondern daß die Summe über die gesamte Länge L des Signalfensters gebildet werden muß, um ΔW zu erhalten. Die Länge L des Signalfensters für die zeitliche Korrelation von Eingangsgrößen und Ausgangsgrößen hängt von der Dauer der Impulsantwort des Systems oder Prozesses ab.

Mit der Fähigkeit des unter Bezugnahme auf Fig. 1 beschriebenen neuronalen Netzes in Verbindung mit dem unter Bezugnahme auf Fig. 2 beschriebenen Lernverfahren, nichtlineare, dydnamische Systeme oder Prozesse nachzubilden, ergibt sich ein weites Anwendungsfeld in der Regelung- und Automatisierungstechnik.

Einige wichtige Anwendungen sind in den Fig. 3 bis 6 zusammengestellt.

In Fig. 3 ist gezeigt, wie durch das neuronale Netz 28 eine Regelstrecke 42 modelliert wird. Eingangsgrößen werden sowohl der Regelstrecke 42 als auch dem Eingang 12 des neuronalen Netzes 28 zugeführt. Die Ausgangsgrößen der Regelstrecke 42, die den Soll-Ausgangsgrößen y*(k+1) von Fig. 2 entsprechen, werden in einem Summierpunkt 44, der dem Summierpunkt 38 von Fig. 2 entspricht, mit den Ausgangsgrößen y(k+1) des neuronalen Netzes 28 verglichen. Die Verbindungsmatrix W wird nach Maßgabe der über die Länge L des Signalfensters summierten Differenzen in der unter Bezugnahme auf Fig. 2 beschriebenen Weise korrigiert.

Fig. 4 zeigt das Trainieren des neuronalen Netzes 28 so, daß es ein inverses Modell einer Regelstrecke 42 bildet. Dabei werden die Ausgangsgrößen der Regelstrecke 42 als Eingangsgrößen u(k) auf die Eingänge 12 des neuronalen Netzes 28 geschaltet. Die zugehörigen Eingangsgrößen der Regelstrecke 42 bilden die Soll-Ausgangsgrößen y*(k+1), die in einem Summierpunkt 46, der dem Summierpunkt 38 von Fig. 2 entspricht, mit den Ausgangsgrößen y(k+1) am Ausgang 24 des neuronalen Netzes 28 verglichen wird. Die Verbindungsmatrix W des neuronalen Netzes 28 wird nach jedem Signalfenster in der unter Bezugnahme auf Fig. 2 beschriebenen Weise mit der Korrekturmatrix ΔW korrigiert.

Fig. 5 zeigt das Trainieren des neuronalen Netzes 28 zur Erzeugung eines prädiktiven Modells der Regelstrecke 42. Das geschieht in ähnlicher Weise, wie es für die Modellierung der Regelstrecke 42 unter Bezugnahme auf Fig. 4 beschrieben ist. Die Eingangsgrößen der Regelstrecke 42 werden jedoch auf den Eingang 12 des neuronalen Netzes 28 über ein Zeitglied 48 mit einer Verzögerung aufgeschaltet. Das Netz 28 lernt dann vorherzusagen, wie die zukünftige Reaktion der Regelstrecke 42 auf Eingangsgrößen ist, es prädiziert das zukünftige Verhalten der Regelstrecke.

Bei der Anwendung des neuronalen Netzes 28 gemäß Fig. 6 wird das neuronale Netz 28 so trainiert, daß es das Verhalten eines Reglers 50 nachbildet, der eine Regelstrecke 52 in einem geschlossenen Regelkreis regelt. Ausgangsgrößen der Regelstrecke 52 sind als Eingangsgrößen auf den Regler 50 aufgeschaltet. Ausgangsgrößen des Reglers 50 bilden wieder Eingangsgrößen der Regelstrecke 52. Das neuronale Netz 28 erhält an seinem Eingang 12 die Ausgangsgrößen der Regelstrecke 52 (= Eingangsgrößen des Reglers 50). Die am Ausgang 24 des neuronalen Netzes 28 erscheinenden Ausgangsgrößen y(k+1) werden in einem Summierpunkt 54, der dem Summierpunkt 38 von Fig. 2 entspricht, mit Soll-Ausgangsgrößen y*(k+1) in Form der Ausgangsgrößen des Reglers 50 (= Eingangsgrößen der Regelstrecke) verglichen. Nach Maßgabe dieses Vergleichs wird wieder die Verbindungsmatrix W in der unter Bezugnahme auf Fig. 2 beschriebenen Weise korrigiert. Der "Regler" 50 könnte von einem menschlichen Piloten oder Bedienungsmann gebildet sein. Es kann dann der Mensch mit seinen Fähigkeiten durch einen "künstlich intelligenten" technischen Apparat ersetzt werden. Das neuronale Netzwerk 28 erlernt das Verhalten des menschlichen "Reglers" und kann diesen nach Ablauf der Lernphase prinzipiell ersetzen.

Für die beschriebenen Anwendungen ist es nicht notwendig, das dynamische Verhalten der Regelstrecken (Systeme, Prozesse) mathematisch zu beschreiben. Das neuronale Netz erlernt vielmehr in einer Trainingsphase die mathematische Abbildung zwischen Eingangsgrößen und Ausgangsgrößen, wie dies unter Bezugnahme auf Fig. 2 beschrieben ist.

Claims

1. Neuronales Netz mit einer Schicht (10) von Prozessorelementen, die jedes einen Eingang und einen Ausgang aufweisen, bei welchem auf den Eingang jedes Prozessorelements (PE1, . . ., PEn) einmal auf einen Eingang (12) des Netzes aufgeschaltete Eingangsgrößen des Netzwerkes mit Gewichten nach Maßgabe einer Eingangsmatrix (G) und zum anderen die Ausgänge aller Prozessorelemente mit Gewichten nach Maßgabe einer Verbindungsmatrix (W) aufgeschaltet sind, wobei jedes Prozessorelement eine Aktivität zeigt, die von einer Summe der auf seinem Eingang aufgeschalteten Größen abhängt und an seinem Ausgang eine Ausgangsgröße liefert, die eine Funktion der Aktivität ist, und bei welchem die Ausgangsgrößen der Prozessorelemente nach Maßgabe einer Ausgangsmatrix (H) gewichtet zur Bildung von Ausgangsgrößen des Netzes an einem Ausgang (24) überlagert sind, dadurch gekennzeichnet, daß

(a) die Eingangsgrößen des Netzes getaktet mit einer vorgegebenen Taktrate auf den Eingang (12) aufgeschaltet sind und
(b) die Aktivität der Prozessorelemente in einem Takt (k+1) durch die gewichteten Eingangsgrößen und gewichteten Ausgangsgrößen in dem jeweils vorhergehenden Takt (k) bestimmt sind.

2. Verfahren zum Trainieren eines neuronalen Netzes nach Anspruch 1, dadurch gekennzeichnet, daß

- auf den Eingang (12) des neuronalen Netzes nacheinander eine einem Zeitfenster entsprechende Folge von Vektoren von Eingangsgrößen aufgeschaltet werden, und die am Ausgang (24) des neuronalen Netzes auftretenden Vektoren von Ausgangsgrößen mit zugeordneten Vektoren von Soll-Ausgangsgrößen verglichen werden,
- die Verbindungsmatrix (W), mit deren Gewichten die Ausgangsgrößen der Prozessorelemente eines Taktes in die Aktivitäten der Prozessorelemente des nächstfolgenden Taktes eingehen, nach jeder der besagten Folgen von Vektoren um eine Korrekturmatrix ΔW korrigiert wird, die von einer über das Zeitfenster gebildeten, gewichteten Summe der Differenzen der Vektoren von Ausgangsgrößen und Soll-Ausgangsgrößen abhängt.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Korrekturmatrix ΔW nach der Beziehung gebildet wird, wobei v(k) eine interne Netzwerk- Variable ist, die sich wie folgt berechnet:v(k) = f′(z(k)) _* [W^T v(k+1) + H^T(y*(k) - y(k))] ,wobei f′ die Ableitung der nichtlinearen Ausgangsfunktion f(z(k)) der Prozessorelemente des Netzes, z(k) die Aktivitäten der Prozessorelemente, y(k) und y*(k) die Vektoren der Ausgangsgrößen bzw. Soll-Ausgangsgrößen und H die Ausgangsmatrix ist; der Exponent T bezeichnet die Transponierte der jeweiligen Matrix.