DE4105669C2 - - Google Patents

Description

Die vorliegende Erfindung betrifft ein Gewichtungsnetzwerk, gemäß dem Oberbegriff von Anspruch 1, vorzugsweise zur Verwendung in einem neuronalen Netz.

Sogenannte künstliche neuronale Netzwerke werden vorzugsweise eingesetzt bei der komplexen Verarbeitung von mehreren Eingangsgrößen zur Bestimmung einer Lösung. Besondere Anwendungsgebiete sind die Bildverarbeitung, Sprachverarbeitung und Signalverarbeitung allgemein, wie die Bearbeitung von Daten für die Werkstoffprüfung und die Bearbeitung medizinischer Daten.

Herkömmliche Gewichtungsnetzwerke bestehen aus mehreren parallel geschalteten Verarbeitungseinrichtungen, die jeweils mehrere parallel geschaltete Gewichtungseinrichtungen aufweisen. Eine Anzahl von Eingangssignalen werden jeder der Verarbeitungseinrichtungen zugeführt, in denen jeweils ein Eingangssignal einer Gewichtungseinrichtung zugeführt wird. In der Gewichtungseinrichtung wird das einzelne Eingangssignal gewichtet, d. h. mit einem bestimmten Faktor multipliziert bzw. mit einer beliebigen Funktion verändert. Die Ausgangssignale der Gewichtungseinrichtungen werden gemeinsam einer in der zugehörigen Verarbeitungseinrichtung vorhandenen Summiereinrichtung zugeleitet und aufsummiert. Die Ausgangssignale der Summiereinrichtungen werden entweder einem nachfolgenden Gewichtungsnetzwerk gleicher Art oder durch Rückkopplung an den Eingang desselben Gewichtungsnetzwerks angelegt. Am Ende der Verarbeitung der von den Summiereinrichtungen gelieferten Ausgangssignale findet ein Mustervergleich statt, bei dem die verschiedenen Ausgangssignale der Summiereinheiten mit Vergleichsmustern verglichen werden und das Vergleichsmuster größter Ähnlichkeit ausgewählt und ausgegeben wird. Ein derartiges Gewichtungsnetzwerk wird in dem Artikel "Neurocomputer im praktischen Einsatz" von V. David Sánchez A., CH-Z: Technische Rundschau, 25/90, Seiten 60-65, beschrieben.

Bei den bekannten neuronalen Netzen tritt das Problem auf, daß sehr häufig nicht die gewünschte oder gar keine Lösung gefunden wird oder bei einer Wiederholung des Bearbeitungs­ vorgangs werden unterschiedliche Lösungen gefunden.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Gewichtungsnetzwerk insbesondere für ein neuronales Netz be­ reitzustellen, das eine verbesserte und sichere Lösungs­ findung ermöglicht.

Gelöst wird diese Aufgabe mit den Merkmalen des Patentanspruchs 1.

Die vorliegende Erfindung geht von dem Grundgedanken aus, innerhalb des Gewichtungsnetzwerks eine Konkurrenzsituation zu schaffen. Erfindungsgemäß werden die Ausgangssignale der Summiereinrichtungen in einer Vergleichereinrichtung bewer­ tet und abhängig von dem Ergebnis mit unterschiedlicher Zeitverzögerung für die nächste Bearbeitung weitergeleitet. Die Bewertung der Ausgangssignale erfolgt an Vergleichskri­ terien, bei der vorzugsweise die größte Ähnlichkeit mit einer bekannten Größe festgestellt wird oder ein Vergleich der Ausgangssignale untereinander herangezogen wird.

Durch die Einschaltung des Zeitmoments wird in vorteilhafter Weise erreicht, daß das Ausgangssignal mit dem höchsten Ähn­ lichkeitswert rascher an die nächste Bearbeitungsstufe wei­ tergeleitet wird als die Ausgangssignale mit geringerem Ähnlichkeitswert. Die sich durch den zeitlichen Wettlauf ergebende Konkurrenzsituation führt zu einer Selektion der Ausgangssignale mit dem größten Ähnlichkeitswert.

Erfindungsgemäß können mehrere Gewichtungsnetzwerke der vor­ liegenden Erfindung hintereinandergeschaltet werden, z. B. in einer Eingangsschicht, mehreren Zwischenschichten und einer Ausgangsschicht eines neuronalen Netzes. Dabei kann bei den einzelnen Schichten bzw. den einzelnen Gewichtungsnetzwerken nach Durchlaufen der Eingangsschicht ein bestimmtes Aus­ gangssignal mit der geringsten Zeitverzögerung an die erste Zwischenschicht geleitet werden und bei Durchlaufen der ersten Zwischenschicht, wenn die dabei entstehenden Aus­ gangssignale der Summiereinrichtungen nur einen geringen Ähnlichkeitswert aufweisen, mit einer großen Verzögerung be­ legt werden. Dadurch ist es möglich, Ausgangssignale der Eingangsschicht, die zeitverzögert in der ersten Zwischen­ schicht bearbeitet werden, die aber zu Ausgangssignalen an den Summiereinrichtungen der ersten Zwischenschicht führen, die einen sehr großen Ähnlichkeitswert haben, rascher an die nächste Zwischenschicht zu leiten, als die zunächst ermittelten Ausgangssignale an den Summiereinrichtungen der ersten Zwischenschicht. Dieses "Überholen" kann während des gesamten Durchlaufes durch die Gewichtungsnetzwerke eines neuronalen Netzes zu einem mehrfachen Wechsel der Führungs­ position von Ausgangssignalen führen.

Gemäß einer bevorzugten Ausführungsform der Erfindung werden die von den Ausgangssignalen der Summiereinrichtung eines Gewichtungsnetzwerk gelieferten Signale, deren Ähnlichkeitswert unter einem bestimmten Schwellwert liegt, blockiert, d. h. für eine Weiterbearbeitung in einer nachfolgenden Zwischenschicht nicht zugelassen.

Die Erfindung wird nachstehend anhand von Beispielen und der Zeichnung näher erläutert. Es zeigt

Fig. 1 eine erste Ausführungsform eines erfindungsgemäßen Gewichtungsnetzwerks,

Fig. 2 eine zweite Ausführungsform eines erfindungsgemäßen Gewichtungsnetzwerks, und

Fig. 3 ein Zeitdiagramm von Signalen, wie sie am Ausgang der Ausführungsform von Fig. 2 entstehen können.

Die in Fig. 1 gezeigte Ausführungsform eines erfindungsge­ mäßen Gewichtungsnetzwerks empfängt eine Anzahl (i) von Ein­ gangssignalen e1, e2, . ., el, . . ei. Jedes der Eingangs­ signale wird in einer zugehörigen Gewichtungseinrichtung G11, G12, . ., G1l, . . G1i mit einem vorzugsweise einstell­ baren Gewichtungsfaktor oder einer Gewichtungsfunktion ver­ arbeitet. Sämtliche Ausgangssignale der Gewichtungseinrich­ tungen werden einer Summiereinrichtung S1 zugeführt. Zusätz­ lich kann, wie im Beispiel dargestellt, ein fest vorgegebe­ nes Eingangssignal (+1) über eine Gewichtungseinrichtung G1z geleitet werden und dessen Ausgangssignal ebenfalls der Sum­ miereinrichtung S1 zugeführt werden. Das Ausgangssignal der Summiereinrichtung S1 wird erfindungsgemäß einer nachge­ schalteten Verzögerungseinrichtung D1 mit variabler ein­ stellbarer Verzögerung zugeführt. Die eingestellte Verzöge­ rung ist abhängig von dem Wert des Ausgangssignals der Sum­ miereinrichtung, das der Verzögerungseinrichtung zugeführt wird. Hierzu ist eine Vergleichereinrichtung C1 vorgesehen, die einerseits das Ausgangssignal der Summiereinrichtung S1 und andererseits ein Referenzsignal R erhält und durch einen Vergleich ein Signal erzeugt, mit dem die wirksame Zeitver­ zögerung der Verzögerungseinrichtung D1 einstellbar ist.

Fig. 1 zeigt ein Gewichtungsnetzwerk mit einer Verarbei­ tungseinrichtung V1. Erfindungsgemäß können eine Mehrzahl von solchen Verarbeitungseinrichtungen parallel zueinander angeordnet werden, wobei die Eingangssignale e1, e2, . . el, . . ei, an die weiteren Verarbeitungseinrichtungen ebenfalls angelegt werden.

Gemäß einer besonders bevorzugten Ausführungsform werden mehrere Gewichtungsnetzwerke bzw. -gruppen hintereinander geschaltet und bilden die Eingangsschicht, mehrere Zwischen­ schichten und die Ausgangsschicht eines neuronalen Netzes.

In Fig. 2 ist eine weitere Ausführungsform der vorliegenden Erfindung dargestellt mit einer Schicht A und einer Schicht B (nicht vollständig gezeichnet). Das gezeigte Gewichtungs­ netzwerk weist mehrere Verarbeitungseinrichtungen V1, V2, . ., Vk, . . Vm auf, die parallel zueinander geschaltet sind und Eingangssignale e1, e2, . . el, . . ei empfangen. Jede Verarbeitungseinrichtung weist mehrere parallel geschaltete Gewichtungseinrichtungen G11, G12, . . G1l, . . G1i; . .; Gm1, Gm2, . . Gml, . ., Gmi auf. Die Ausgangssignale werden jeweils in Summiereinrichtungen S1, S2, . ., Sk, . ., Sm aufsummiert. Die Ausgangssignale der Summiereinrichtungen werden einer Vergleichereinrichtung C zugeleitet. Diese Ver­ gleichereinrichtung vergleicht die zugeführten Ausgangs­ signale der Summiereinrichtungen miteinander, und sortiert sie anhand ihrer Werte. Die Vergleichereinrichtung C weist ferner eine Zeitsteuerungsschaltung auf, mit der die Ausgabe der zugeführten Ausgangssignale derart gesteuert wird, daß das nach der Sortierung erstrangige Signal als erstes ausge­ geben wird und zeitlich nacheinander gemäß ihrer Sortierung die weiteren Ausgangssignale ausgegeben werden.

In Fig. 3 ist beispielhaft ein Zeitdiagramm dargestellt, das die zeitliche Reihenfolge zeigt, mit der Signale S1, S2-S6 ausgegeben werden. Wie dargestellt, wird das Signal S6 ohne Zeitverzögerung als erstes von der Vergleichereinrichtung C für eine nachfolgende Bearbeitung ausgegeben. Als nächstes folgen die Signale S4, S1, S5, S2 und S3. Die von der Ver­ gleichereinrichtung C ausgegebenen Signale können wie in Fig. 2 dargestellt, einem weiteren Gewichtungsnetzwerk zuge­ leitet werden, alternativ ist eine Rückführung zu demselben Gewichtungsnetzwerk möglich.

Das erfindungsgemäße Gewichtungsnetzwerk stellt eine neuar­ tige Verarbeitung von Eingangssignalen dar, mit dem Ein­ gangssignale und die sich daraus ergebenden Ausgangssignale gewissermaßen in einer Wettbewerbssituation stehen. Dabei erfolgt die Bereitstellung der Ausgangssignale einer ersten Schicht für die Weiterverarbeitung in einer weiteren Schicht nach Maßgabe des Wertes der einzelnen Signale mit einer ent­ sprechenden zeitlichen Abfolge. Gemäß einer besonders bevor­ zugten Ausführungsform der Erfindung können einzelne oder mehrere der am besten bewerteten Ausgangsignale nur allein ausgegeben werden, d. h. die übrigen Signale werden durch eine Blockiereinrichtung (nicht dargestellt) für eine wei­ tere Bearbeitung nicht zugelassen.

Gegenüber herkömmlichen Gewichtungsnetzwerken hat die vor­ liegende Erfindung den wesentlichen Vorteil, daß während einer Bearbeitung insbesondere in einem mehrschichtigen neu­ ronalen Netz in kontrollierter Weise bestimmte Signale zur weiteren Bearbeitung gelangen, die vorgegebenen Kriterien z. B. Ähnlichkeitskriterien genügen. Dabei werden weniger rele­ vante Signale vorzugsweise blockiert.

Claims (8)

1. Gewichtsnetzwerk, insbesondere für ein neuronales Netz, zur Verarbeitung von einer ersten Anzahl von Eingangssignalen (e1-ei) mit mehreren parallel angeordneten Verarbeitungseinrichtungen (V1-Vm), die jeweils mehrere parallel geschaltete Gewichtungseinrichtungen (G11-G1i; G21-G2i; . . .; Gm1 -Gmi) aufweisen, wobei die Anzahl der Gewichtungseinrichtungen jeder Verarbeitungseinrichtung der Anzahl der Eingangssignale entspricht und jeweils eine Gewichtungseinrichtung ein zugehöriges Eingangssignal empfängt und wobei die Ausgangssignale sämtlicher Gewichtungseinrichtungen einer Verarbeitungseinrichtung jeweils einer Summiereinrichtung (S1-Sm) zugeführt werden, wobei die Ausgangssignale der Summiereinrichtungen (S1-Sm) entweder einem nachfolgenden Gewichtungsnetzwerk als Eingangssignale oder durch Rückkopplung demselben Gewichtungsnetzwerk als Eingangssignale zugeführt werden, dadurch gekennzeichnet, daß die Ausgangssignale der Summiereinrichtungen (S1-Sm) einer Vergleichereinrichtung (C) zugeführt werden, die in Abhängigkeit von dem Wert der einzelnen Ausgangssignale diese jeweils zu bestimmten Zeitpunkten an das sich anschließende Gewichtungsnetzwerk weitergibt bzw. an dasselbe Gewichtungsnetzwerk zurückgibt.

2. Gewichtungsnetzwerk nach Anspruch 1, dadurch gekennzeichnet, daß die Vergleichereinrichtung (C) für jede der Verarbeitungseinrichtungen (V1-Vm) eine Verzögerungseinrichtung (D1-Dm) mit variabler Verzögerung aufweist, wobei die Verzögerung, mit der das Ausgangssignal der zugehörigen Summiereinrichtung (S1-Sm) durch die Verzögerungseinrichtung hindurchgeleitet wird, in Abhängigkeit von dem Wert des entsprechenden Ausgangssignals einstellbar ist.

3. Gewichtungsnetzwerk nach Anspruch 2, gekennzeichnet durch eine Komparatoreinrichtung, (C1-Cm) für jede Verarbeitungseinrichtung (V1-Vm), der das Ausgangssignal der zugehörigen Summiereinrichtung (S1-Sm) und ein Vergleichssignal (R) zugeführt wird, und die ein Steuersignal liefert, mit der die Verzögerung in der Verzögerungseinrichtung (D1-Dm) einstellbar ist.

4. Gewichtungsnetzwerk nach Anspruch 1, dadurch gekennzeichnet, daß die Vergleichereinrichtung eine Sortiereinrichtung aufweist, der sämtliche Ausgangssignale der Summiereinrichtungen (S1-Sm) zugeführt werden, die die zugeführten Ausgangssignale ihrem Wert nach sortiert, und die die einzelnen Ausgangssignale der Summiereinrichtungen mit einer jeweils zugehörigen Zeitverzögerung ausgibt, wobei die Zeitverzögerung abhängig ist von der wertemäßigen Sortierung der Ausgangssignale.

5. Gewichtungsnetzwerk nach Anspruch 4, dadurch gekennzeichnet, daß die Sortiereinrichtung ein Taktsignal (T) empfängt und bei jedem Takt abhängig von der wertemäßigen Sortierung der Ausgangssignale diese in seitlicher Staffelung ausgibt.

6. Gewichtungsnetzwerk nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Zeitverzögerung für das Ausgangssignal einer Summiereinrichtung, das im Vergleich zu den anderen Ausgangssignalen bzw. zu einem Vergleichssignal den höchsten Wert aufweist, am geringsten ist.

7. Gewichtungsnetzwerk nach Anspruch 6, dadurch gekennzeichnet, daß die Zeitverzögerung eines Ausgangssignals vorzugsweise proportional mit der Abnahme des entsprechenden Wertes zunimmt.

8. Gewichtungsnetzwerk nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Ausgangssignale der Summiereinrichtungen (S1-Sm) in Abhängigkeit von einem bestimmten Schwellwert weitergegeben bzw. blockiert werden.