DE69414636T2 - Neuronales Netzwerk für Signalverarbeitung - Google Patents

Description

• Die Erfindung betrifft ein Signalverarbeitungssystem, das auf einem Netz neuronaler Operatoren beruht.
• Derartige Systeme finden mehr und mehr Anwendung bei der Verarbeitung von Informationen. Sie sind insbesondere geeignet, um Probleme zu lösen, bei denen die klassische Informatik versagt. Als Anwendungsgebiet kann man z. B. die Robotertechnik, Autopiloten, die molekulare Forschung, die automatische Digitalisierung von Objekten, die Sprachanalyse und -synthese nennen.
• Eine besonders vielversprechende Anwendung für dieses System ist die Bildverarbeitung: die Analyse von Bildern zur Wiedererkennung von Formen oder Objekten, Codierung und Decodierung von Bildern, um eine Bildkompression z. B. für ein Fernsehsystem bereitzustellen.
• Nach zahlreichen mathematischen Modellen entstanden einige verdrahtete Realisierungen von neuronalen Netzen für mehrere Anwendungen. Man kann das "Perceptron" nennen, das aus einer Gruppe von Verarbeitungseinheiten besteht, die neuronale Operatoren genannt werden und in mehrere miteinander verbundene Schichten unterteilt sind. Die verarbeitenden Daten werden an den Eingang der ersten Schicht angelegt, und die Verarbeitung erfolgt sukzessive über die Schichten, wobei das Resultat am Ausgang der Operatoren der letzten Schicht ausgegeben wird.
• Die Funktion, die durch ein solches Netz realisiert wird, wird durch die Gewichte der Verbindungen bestimmt, durch die die Ausgänge von neuronalen Operatoren einer Schicht mit den Eingängen derer der folgenden Schicht verbunden sind. Diese Gewichte, die "synoptische Gewichte" genannt werden in Analogie zu der Biologie, sind modifizierbar über einen Trainingsmechanismus, der durch einen Algorithmus definiert wird. Dieser Algorithmus folgt z. B. der HEBB genannten Regel, wobei das Trainieren überwacht werden kann oder nicht. Als weitere Trainingsregel sei die "back propagation" oder "back propagation des Gradienten" genannt.
• Die neuronalen Operatoren können vom analogen oder digitalen Typ sein und relativ einfache Operationen durchführen. So sind analoge oder digitale Operatoren vorgesehen, um multilineare Funktionen zu berechnen, d. h. Summen von Produkten und eventuell Schwellenoperationen. Bei binären Operatoren gehen die Funktionen auf einfache logische Operationen zurück. Bei Betrachtung der Gruppe von Eingangssignalen eines Operators und der Gruppe dessen synoptischer Gewichte als eines Eingangsaktivitätenvektors und eines Koeffizientenvektors geht die Basisoperation z. B. auf ein Skalarprodukt von diesen zwei Vektoren zurück. Das Ausgangssignal von dem Operator definiert seine Aktivität, die interpretiert werden kann als ein Maß für die Konformität von empfangenen Signalen mit einem Referenzzustand, der vor dem Training durch den Koeffizientenvektor definiert wird.
• Im Rahmen einer materiellen Realisierung mit elektronischen Komponenten ist es selbstverständlich, daß die Zahl der Eingangsverbindungen eines Operators notwendigerweise beschränkt ist. Daraus resultiert eine Begrenzung der Zahl von Operatoren, die einen gegebenen anderen Operator beeinflussen können. Mit anderen Worten, in den bisher bekannten Netzen sind die möglichen Verbindungen zwischen den Operatoren in Abhängigkeit von der betrachteten Anwendung vordefiniert. Daraus ergibt sich ein Verlust an Flexibilität in der Konfiguration des Netzes sowie bei der Initialisierung und im Verlauf seiner Funktion.
• Die Erfindung hat zum Ziel, diesen obengenannten Nachteil zu überwinden und schlägt dazu ein System vor, das eine dynamische Rekonfigurierung von Verbindungen zwischen Operatoren des Netzes zuläßt.
• Genauer gesagt hat die Erfindung ein System zur Verarbeitung von Signalen zum Ziel, wie es in Anspruch 1 beschrieben ist.
• Dank des erwähnten Adressierungsmechanismus ist es ebenso einfach möglich, (über Software) die Verbindungen zwischen Operatoren bei der Initialisierung des Systems, um dieses an die unterschiedlichen Anwendungen anzupassen, als auch im Verlauf der Verarbeitung zu modifizieren, um die Konfiguration des Systems dynamisch zu modifizieren. Diese Modifikation kann z. B. in einer einfachen Änderung von Werten von Aktivitätsadressen bestehen.
• Um die Adressierungsoperationen zu vereinfachen und Paralleloperationen zuzulassen, wird erfindungsgemäß als weitere Eigenschaft vorgesehen, daß das Netz in mehrere Ebenen unterteilt ist, wobei jede Ebene eine Gruppe von Operatoren, wenigstens ein Speichermodul, das Speicherräumen der Operatoren der Gruppe zugewiesen ist, und wenigstens einen ersten Kommunikationsbus umfaßt, der die Operatoren mit dem Speichermodul verbindet, wobei das Netz Verbindungen umfaßt, die die Kommunikation zwischen der Steuereinheit und jedem der ersten Kommunikationsbusse zuläßt.
• Um ferner die Parallelität zu verbessern, umfaßt als weiterer Aspekt der Erfindung jede Ebene Adressierungsmittel, die sich zum Adressieren der Aktivitäten der Operatoren der anderen Ebenen nach Lesen von Aktivitätsadressen in dem Speichermodul der Ebene eignen.
• Gemäß einer besonderen Ausführungsform ist die multilineare Funktion das Skalarprodukt des Eingangsvektors entweder mit einem Koeffizientenvektor, der zu dem Operator gehört, oder mit einem anderen Eingangsvektor.
• Eine wichtige Eigenschaft von neuronalen Netzen ist es, daß sie unterschiedliche Verarbeitungen mit den gleichen Eingangssignalen durchführen können und Korrelationen zwischen diesen unterschiedlichen Verarbeitungen einrichten können. Um von dieser Möglichkeit zu profitieren, sieht die Erfindung außerdem vor, daß die Operatoren der Teilgruppe, die zur selben Ebene gehören, miteinander verbunden sind. Andererseits umfaßt jeder der Operatoren, die zum Bilden des Skalarproduktes eines Eingangsvektors mit einem Koeffizientenvektor dienen, Trainingsmittel zum Korrigieren des Koeffizientenvektors in Abhängigkeit von seinem Eingangsvektor und von Aktivitäten von anderen Operatoren der gleichen Ebene.
• Weitere Merkmale und Einzelheiten bei der Ausführung des Systems gemäß der Erfindung ergeben sich aus der folgenden Beschreibung.
• Das System, das oben definiert wurde, kann vielerlei Anwendungen finden, insbesondere, um Bildverarbeitung durchzuführen. Außerdem betrifft die Erfindung daneben ein System zur Analyse von Bildern, was auf dieses System zurückgeht.
• Gemäß dieser Anwendung sind die Eingangssignale des Systems repräsentative Signale eines Bildes, die am Eingang der Operatoren der ersten Ebene anliegen, wobei die Operatoren der zweiten Ebene verbunden sind mit Speicherräumen, die die Aktivitätsadressen von Operatoren der ersten Ebene enthalten. Andererseits aktiviert die Steuereinheit die unter schiedlichen Ebenen nacheinander in steigender Reihenfolge der Ebenen, wobei die Trainingsmittel aktiviert werden im Verlauf eines Trainingsverfahrens, das einer Analyse vorangeht, deren Ergebnis darstellbar ist durch die Koeffizientenwerte von Operatoren einer der Ebenen oberhalb der ersten.
• Wie im Detail später deutlich werden wird, erlaubt die relative Adressierung von Aktivitäten des Eingangs eines Operators im Zusammenhang mit der Unterteilung in mehrere Ebenen des Netzes die Analyse von bewegten Bildern, um homogene Formen und dann Objekte unabhängig von ihren Positionen und ihren relativen Bewegungen zu erkennen.
• Dieses Bildanalysesystem wird vorzugsweise während einer Trainingsphase verwendet, um ein System der Bildsynthese zu realisieren. Das gleiche System kann ebenso ein Analysesystem und Synthesesystem für mit den Bildern verbundene Klänge beinhalten.
• Die interessanten Aspekte der Anwendung des Systems in bezug auf die Bildverarbeitung werden genauer in der folgenden Beschreibung erläutert, wobei auf die beigefügten Figuren Bezug genommen wird.
• Fig. 1 ist eine Darstellung einer Gruppe einer speziellen Realisierung des erfindungsgemäßen Systems.
• Fig. 2 ist eine schematische Darstellung der Organisation der Operatoren im Netz gemäß der Erfindung.
• Fig. 3 stellt eine Ausführungsform einer Ebene des Netzes gemäß der Erfindung dar.
• Fig. 4 ist ein Schema, das den Mechanismus der Adressierung gemäß der Erfindung erläutert.
• Fig. 5 ist eine funktionelle Darstellung eines Operators im Netz.
• Fig. 6 und 7 zeigen Ausführungsformen von Eingangs- und Ausgangsprozessoren, die einen Netzoperator bilden.
• Das als Beispiel dargestellte System in Fig. 1 ist aufgebaut aus einem Netz von neuronalen Operatoren H1 bis H4, die mit einer Steuereinheit 1 zusammenwirken, die die Rolle eines Überwachers spielt. Diese Einheit 1 wie auch die erste Ebene H1 des Netzes kommunizieren mit einem Speicher MMU, in welchem die zu verarbeitenden Signale abgelegt sind, z. B. Pixel eines Bildes. Jede Ebene H1 bis H4 ist um einen Bus B1 bis B4 herum angeordnet und umfaßt eine Gruppe von Operatoren HOP1 bis HOP4, ein Speichermodul MU1 bis MU4 und einen Steuerschaltkreis CU1 bis CU4, jeweils verbunden mit dem Bus B1 bis B4 der entsprechenden Ebene.
• Die Busse B1 bis B4 können miteinander und mit der Steuereinheit 1 über die Verbindungen BL1 bis BL4 und Bussteuerungen BC1 bis BC4 kommunizieren.
• Diese Organisation realisiert daher eine Verteilung des Speichers für die Verarbeitung je nach Ebene, wodurch eine Delokalisierung gewisser Operationen möglich ist, was den Speicherzugriff für jede betroffene Ebene ermöglicht.
• Wenn man die Struktur berücksichtigt, die gewählt wurde, so wird das Netz derart gesteuert, daß sukzessive die Operatoren unterschiedlicher Ebenen mit steigender Reihenfolge der Ebenen aktiviert werden und bei einer aktiven Ebene sukzes sive in einer gegebenen Reihenfolge unterschiedliche Operatoren dieser Ebene aktiviert werden.
• Selbstverständlich kann die Erfindung mit anderen Strukturen ausgeführt werden, die andere physikalische Verbindungssysteme zwischen den Operatoren verwenden, insbesondere solche, die eine asynchrone und parallele Funktion wenigstens eines Teils der Netzoperatoren ermöglichen.
• Genauere Erläuterungen bezüglich der Funktion des Systems werden speziell mit Bezug auf die Fig. 3 und 4 gegeben. Es reicht im Moment, die Notationskonvention anzugeben, die im folgenden verwendet wird. Dazu beziehen wir uns auf Fig. 2, die schematisch die Organisation von Netzoperatoren darstellt.
• Gemäß dieser Konvention wird jede Ebene mit einem Index v bezeichnet, eine speziell betrachtete Ebene wird mit dem Index vc bezeichnet. Analog werden die unterschiedlichen Operatoren ein und derselben Ebene mit einer Schichtbezugsziffer r bezeichnet, wobei die Schicht eines speziellen Operators bezeichnet wird mit der Bezugsziffer rc. So wird ein Operator, der zu der Ebene v und der Schicht r gehört, mit OPvr bezeichnet, ein speziell betrachteter Operator mit OPvcrc bezeichnet und irgendein Operator einer speziellen Ebene vc mit OPvcr bezeichnet.
• Fig. 3 zeigt ein Ausführungsbeispiel von elementaren Bauteilen einer der Ebenen Hv des Netzes. Man erkennt den Bus Bv mit Datenleitungen DT, Adreßleitungen AD und Steuerleitungen CD für die Kommunikation zwischen den Einheiten dieser Ebene mit denen von anderen Ebenen und mit der Steuereinheit 1. Die Operatoren OPvrc, ..., OPVr sind jeweils mit den Datenleitungen DT verbunden. Sie sind andererseits untereinander verbunden über eine zweite Verbindung b, die ebenso ein Kommunikationsbus sein kann. Der Steuerschaltkreis CUv setzt sich im wesentlichen aus einem Speichercontroller MCU und einem Sequenzierer MS zusammen, vorzugsweise mikroprogrammierbar. Der Sequenzierer MS empfängt Initialisierungs- und Steuersignale wie Taktsignale über Steuerleitungen CD und gibt seinerseits Signale aus, die den Speichercontroller MCU und die Operatoren OPvr ansteuern. Der Speichercontroller MCU ist über seinen Eingang mit den Datenleitungen DT und über seinen Ausgang mit den Adreßleitungen AD verbunden. Er ist ebenso verbunden mit den Steuerleitungen CD, um Steuersignale zum Lesen oder Schreiben und zum Austauschen von Anfrage- und Bestätigungssignalen mit dem Buscontroller BCv bei Adressierungsoperationen auszutauschen.
• Dank dieser Anordnung ist der Speichercontroller in der Lage, ein Speichermodul derselben Ebene oder einer anderen Ebene zu adressieren. Er kann andererseits eine Adresse in dem Speichermodul, das mit MUv zusammenhängt, lesen und sie auf den Adreßleitungen AD ausgeben, um auf Daten zuzugreifen, die in Speichermodulen anderer Ebenen enthalten sind.
• Diese Realisierung erlaubt das Umsetzen eines vorzugsrichtungsfreien Mechanismus, was essentiell für die Erfindung ist. Dieser Mechanismus wird schematisch in Fig. 4 erläutert. In dieser Figur betrachten wir den Operator OPvcr der Ebene vc und der Schicht r. Dieser Operator ist mit einem Speicherraum des Moduls MUvc verbunden, der insbesondere einen Koeffizientenvektor [Gvr], wenigstens eine Adresse Ivr sowie den letzten berechneten Wert der Aktivität Fvcr des Operators enthält. Eine Adresse Ivr definiert einen Speicherort eines Speichermoduls einer anderen Ebene, z. B. v, worin sich eine Komponente eines Aktivitätsvektors [F(Ivr)] befindet, die ein Aktivitätswert des Operators der Ebene v und der Schicht r ist.
• So läuft erfindungsgemäß die Berechnung der Aktivität am Ausgang des Operators OPvcr zunächst über eine Adressierung des Moduls MUvc ab, um die Adressen Ivr zu suchen. Diese Adressen erlauben es, auf den Aktivitätsvektor [F(Ivr)] zuzugreifen, was in der Durchführung der Berechnungen durch Operatoren der Ebene v resultiert. Dieser Aktivitätsvektor wie auch der Koeffizientenvektor [Gvr] werden danach an die Eingänge des Operators OPvcr angelegt. Der Operator berechnet dann das Skalarprodukt von diesen zwei Vektoren, und das so erhaltene Ergebnis Fvcr wird schließlich in dem Modul MUvc abgelegt.
• Man kann verifizieren, daß diese Operationen dank der Mittel ausgeführt werden können, die in Fig. 3 beschrieben wurden, indem man selbstverständlich eine geeignete Reihenfolge der Befehle einhält.
• Fig. 5 ist eine funktionelle Darstellung eines Operators, der mit Trainingsmitteln versehen ist und geeignet ist, über den Bus b mit anderen Operatoren derselben Ebene zu kommunizieren. Um die Erklärungen zu vereinfachen sei angenommen, daß es sich um den Operator OPvcrc der Ebene vc und der Schicht rc handelt. Der Operator besteht aus einem Eingangsprozessor PE und einem Ausgangsprozessor PS. Der Eingangsprozessor PE ist zusammengesetzt aus zwei funktionellen Modulen, genannt Eingangsoperator OE und Eingangstrainingsoperator AE, jeweils den Berechnungen der Aktivität und der Trainingsfunktion über Modifizierung von Koeffizienten zugeordnet. Gleichermaßen besteht der Ausgansprozessor PS aus entsprechenden Funktionsmodulen: einem Ausgangsoperator OS und einem Ausgangstrainungsmodul AS.
• Der Eingangsoperator OE ist über den Eingang mit Datenlinien DT derart verbunden, daß er den Koeffizientenvektor [Gvrc] in dem Modul MUvc wie auch dem Aktivitätsvektor [F(Ivrc)] gemäß den Adressen Ivrc in dem Modul MUvc ablegen kann. Der Eingangsoperator OE berechnet danach die Aktivität fvcrc, und diese Aktivität wird übertragen an die Datenleitungen DT für ein Ablegen in dem Modul MUvc. Sie wird andererseits an den Bus b für das Trainingsmodul AE und andere Operatoren derselben Ebene vc übertragen.
• Der Ausgangsoperator OS des Ausgangsprozessors PS ist über den Eingang mit den Datenlinien DT derart verbunden, daß sein Koeffizientenvektor [gvcr] abgelegt werden kann. Ein weiterer seiner Eingänge ist mit dem Bus b derart verbunden, daß ein zweiter Aktivitätsvektor [fvcr] empfangen werden kann, der gebildet ist aus der Gruppe von Aktivitäten von Eingangsoperatoren OE derselben Ebene vc. Die Aktivität Fvcrc, wie sie berechnet wurde durch den Ausgangsoperator OS, wird an die Datenleitungen DT für das Ablegen in dem Modul MUvc wie auch das dazugehörige Trainingsmodul AS übertragen.
• Das Trainingsmodul AE des Eingangsprozessors PE ist über den Eingang mit dem Bus b verbunden, um den zweiten Aktivitätsvektor [fvcr] zu empfangen. Es empfängt andererseits den Aktivitätsvektor [F(Ivrc)]. In Abhängigkeit von diesen zwei Eingangsvektoren berechnet das Modul AE die Korrektur [dGvrc] des Koeffizientenvektors [Gvrc].
• Das Ausgangstrainingsmodul AS empfängt den Koeffizientenvektor [gvcr] des Ausgangsoperators OS wie auch den zweiten Aktivitätsvektor [fvcr] und gibt die Korrektur [dgvcr] des Koeffizientenvektors [gvcr] aus.
• Es sollte beachtet werden, daß diese Darstellung lediglich funktionell ist und der Schnitt von Eingangs- und Ausgangsprozessoren in Trainingsoperatoren und -module nicht unbe dingt dem physikalischen Schnitt im Schaltkreis einer praktischen Realisierung entsprechen muß. Nichtsdestotrotz erlaubt es diese Darstellung, die detaillierte Funktion des Operators einfacher zu erläutern.
• Erinnern wir uns zunächst, daß die Aktivierung einer gegebenen Ebene vc darin besteht, sukzessive in vorgegebener Reihenfolge jeden von den Operatoren OPvcr der Ebene zu aktivieren. Wenn der Operator OPvcrc aktiviert ist, plaziert der Speichercontroller MCU am Eingang des aktiven Eingangsoperators OE den ersten Aktivitätsvektor [F(Ivrc)]. Der Koeffizientenvektor [Gvrc] sei vorher abgelegt. Der Operator OE berechnet die Aktivität fvcrc, die die entsprechende Zusammensetzung des zweiten Aktivitätsvektors [fvc] ist, und überträgt sie an den Bus b. Die Ausgangsoperatoren und die Trainingsmodule jedes der Operatoren der Ebene legen diesen Wert ab. Wenn alle diese Eingangsoperatoren der Ebene so sukzessive aktiviert worden sind, ist der zweite Aktivitätsvektor [fvcr] vollständig definiert, und die Ausgangsoperatoren der Operatoren der Ebene vc berechnen die Aktivitäten Fvcr, dann berechnen die Trainingsmodule AS die Korrekturwerte [dgvcr] der Koeffizientenvektoren der dazugehörigen Ausgangsoperatoren.
• Zur Illustration können zwei Beispiele für jeweils auf Eingangs- und Ausgangsprozessoren anwendbare Trainingsregeln angegeben werden. Für den Eingangsprozessor PE besteht das Training darin, eine Korrektur des Koeffizientenvektors [Gvrc] bei der Aktivität Fvcr wenigstens eines Ausgangsprozessors PS der gleichen Ebene beim Überschreiten einer vorgegebenen Schwelle auszulösen. Die Korrektur ist danach proportional zum Aktivitätsvektor [F(Ivrc)]. Das Training des Ausgangsprozessors besteht darin, bei jeder Aktivitätskomponente fvcr des zweiten Aktivitätsvektors [rvcr] eine Komponente des Koeffizientenvektors wie die bedingte Wahr scheinlichkeit zu definieren, bei der die Aktivitätskomponente fvcr und die Aktivität Fvcrc des Ausgangsprozessors gleichzeitig jeweils eine vorgegebene Schwelle überschreiten. Selbstverständlich können andere Trainingsregeln je nach Anwendung gewählt werden, insbesondere, um den gewünschten Korrelationstyp zwischen den Operatoren ein und derselben Ebene anzupassen.
• Fig. 6 und 7 stellen jeweils die Eingangs- und Ausgangsprozessoren dar, die mittels mikroprogrammierbarer Schaltkreise realisiert sind, die die Funktionen zur Berechnung der Aktivität und zum Training beinhalten. Diese Schaltkreise werden jeweils durch spezielle Mikroprogrammodule gesteuert, die durch den Mikrosequenzierer MS ausführbar sind.
• Der Schaltkreis nach Fig. 6 zeigt speziell den Datenpfad eines Eingangsprozessors PE. Ein erster bidirektionaler Filter SEL1 ist mit den Datenleitungen DT verbunden. Die Ausgänge des Filters SEL1 sind jeweils mit zwei Registerbänken RA und RB verbunden, deren Ausgänge mit einem zweiten Filter SEL2 verbunden sind. Die zwei Ausgänge des zweiten Filters SEL2 liegen am Eingang einer Arithmetik- und Logikeinheit ALU, deren Ausgang über ein Register mit einem dritten Filter SEL3 verbunden ist. Das Filter SEL3 hat einen ersten Ausgang, der mit dem Bus b verbunden ist, und einen zweiten Ausgang, der mit einem zweiten Eingang des ersten Filters SEL1 verbunden ist. Ein dritter Eingang des zweiten Filters SEL2 ist mit dem Bus b verbunden.
• Die Arithmetik- und Logikeinheit ALU ist versehen mit den klassischen Operatoren für Addition, Multiplikation, Verschieben und Vergleichen, um die Berechnungen für die Aktivitäten und Änderungen von Koeffizienten durchzuführen. Man kann leicht verifizieren, daß die dargestellte Struktur es dem Schaltkreis erlaubt, die Rechenoperationen für die Ak tivitäten und die Aktualisierung von Koeffizienten durch eine einfache geeignete Sequenzierung von Befehlen, die an den Filtern, den Registerbänken und an der Arithmetik- und Logikeinheit anliegen, durchzuführen. Um die Verifizierung zu vereinfachen, sind die unterschiedlichen Signale, die durch den Eingangsprozessor betroffen sind, dargestellt in Relation mit den Verbindungen, auf denen diese Signale auftreten.
• Der Ausgangsprozessor nach Fig. 7 besteht aus den gleichen Elementen. Die einzigen Unterschiede in bezug auf den Eingangsprozessor sind das Fehlen einer Verbindung zwischen dem dritten Filter SEL3 und dem Bus b und die damit zusammenhängenden Signale. Wie vorher erlaubt eine geeignete Aufeinanderfolge von Bestandteilen des Prozessors die Realisierung von Funktionen zur Berechnung der Aktivitäten und Koeffizienten.
• Im folgenden wird im Detail erläutert, wie das System, das oben beschrieben wurde, verwendet werden kann und eventuell angepaßt werden kann an die Bildverarbeitung. Die erste zu betrachtende Bearbeitung ist offensichtlich die der Bildanalyse, bestimmt zur Ausgabe von synthetischen Informationen, sogar abstrakten Informationen in Abhängigkeit von Pixeln, die das zu analysierende Bild darstellen. Eine andere Verarbeitung ist das Komplementäre zu dem obigen, d. h. die Synthese eines Bildes aus synthetischen Informationen der gleichen Natur, wie sie bei der Analyse erarbeitet wurden. Schließlich ist es ausgehend von einem Analysesystem und einem Synthesesystem möglich, ein System zur Kodierung und Dekodierung von Bildern zu realisieren, das vorteilhaft auf ein Übertragungssystem mit hohem Kompressionsgrad angewendet werden kann.
• Wiederum in Fig. 1 wird der Hauptspeicher MMU verwendet, um die Gruppe von Pixeln des Bildes gemäß einem geeigneten Schnitt abzulegen. Die Operatoren HOP1 der ersten Ebene H1 sind also dazu vorgesehen, um die ersten Verarbeitungen von Bildsignalen durchzuführen. In dem Fall, wo das System eine Kodierung im Hinblick auf eine Wiederherstellung des Bildes in den Ausgangszustand für das menschliche Auge durchführen muß, ist es rechtens, als Operatoren der ersten Ebene vordefinierte und für die menschliche Sicht geeignete Filter zu wählen. Vorteilhaft werden die Filter gewählt, um biologische Filter des menschlichen visuellen Systems zu simulieren, die Objekte zahlreicher Studien und Veröffentlichungen sind.
• So wird in dem Artikel "The Laplacian Pyramid as a Compact Image Code", Peter J. Burt et al. (IEEE Transactions on Communications, Bd. Com-31, Nr. 4, April 1983, S. 532-540) die Verwendung von Gauß- und Laplace-Funktionen bei einer mehrstufigen Organisation beschrieben, womit die Kodierung eines Bildes durch Verstärkung von lichtstarken Zonen und Konturen ermöglicht wird. Der Artikel "Representation issues and local filter models of two-dimensional spatial visual encoding" von J. G. Daugman (Models of the Visual Cortex, D. Rose and V. G. Dobson, 1985 John Wiley & Sons Ltd, S. 96-107) beschreibt die Verwendung von Gabor-Filtern, die auf zwei Dimensionen verallgemeinert wurden und die das Verstärken von Bildzonen in privilegierten Richtungen erlauben. Schließlich werden in dem Artikel "Spatiotemporal Mechanisms in Receptive Fields of Visual Cortical Simple Cells: A Model" von Florentin Wörgötter und Gary Holt (Journal of Neurophysiology, Bd. 65, Nr. 3, März 1991, S. 1 bis 16) räumlich-zeitliche Filter beschrieben, die das Verstärken von Teilen des Bildes erlauben, die starke Schwankungen in der Zeit zeigen und auf die das menschliche Auge besonders sensibel reagiert.
• Die Analyse der ersten Ebene kann selbstverständlich vervollständigt werden durch andere Familien von Filtern, wie denen, die farbempfindlich sind, strukturempfindlich sind, krümmungsempfindlich sind, etc.
• Ohne auf die Einzelheiten einzugehen, die in den obengenannten Schriften dargestellt sind, kann man zusammenfassen, daß die mehrstufigen Filter zunächst räumliche und eventuell zeitliche Faltungen einer Generatorfunktion des Filters (Gauß-, Laplace-) durch die Pixel bilden, die zu einer Untergruppe im Bild gehören. Diese Faltung wird parallel auf die Gesamtheit von Teilgruppen angewendet, die das Bild bilden. Die erzielten Ergebnisse bilden das, was man "Hyperpixel" nennen kann, die eine kondensierte Darstellung des ursprünglichen Bildes bilden. Diese Darstellung kann interpretiert werden als ein Bild mit reduzierter Abstufung. Diese Hyperpixel, die so erhalten wurden, werden erneut in Untergruppen gruppiert, wobei jede Untergruppe eine neue Faltung durch die Generatorfunktion derart durchläuft, daß eine neue Gruppe von Hyperpixeln definiert wird, die einer neuen Darstellung des Bildes entsprechen, reduziert um eine zweite Stufe. Diese Operationen können so oft wiederholt werden, wie es notwendig ist, damit die Zahl von Hyperpixeln bei der letzten Stufe geeignet reduziert ist, um eine Bearbeitung durch die zweite Ebene zuzulassen. Indem dieses Verfahren für jede der Generatorfunktionen unterschiedlicher Filtertypen durchgeführt wird, erhält man mehrere kondensierte und komplementäre Darstellungen des Ausgangsbildes, und es sind diese unterschiedlichen Darstellungen, die die unterschiedlichen Schichten von Operatoren der ersten Ebene definieren werden.
• Somit realisiert jede Schicht eine Zerlegung des ursprünglichen Bildes gemäß einer funktionellen Basis, wodurch eine Wiederherstellung durch eine Aufeinanderfolge von Häufungen derart möglich wird, wie sie in dem ersten zitierten Artikel beschrieben ist.
• Wenn das System eine Analyse eines Bildes durchführt, gibt jede Schicht am Ausgang eine Gruppe von Aktivitäten aus, deren Dimension von der Anzahl von Pixeln des Bildes und dem Verhältnis und der verwendeten Zahl von Stufen in den Filtern der ersten Ebene abhängt. Im Hinblick auf die Ausführung der Regruppierung des Bildes durch eine homogene Zone führt die Steuereinheit periodisch Regruppierungen nach Klassen durch, die benachbarten Bereichen für Aktivitätswerte entsprechen. Jede Klasse hängt mit einem Wert zusammen, der Aktivitäten darstellt, die zu der Klasse gehören, z. B. indem der Mittelwert von Aktivitäten der Klasse gebildet wird. Diese repräsentativen Werte werden dann in abfallender Reihenfolge ihrer Werte geordnet, dann in dem Speicherraum abgespeichert, der mit dem Operator zusammenhängt, und zwar unter einer Adresse, die die eindeutige Adresse der Aktivität am Eingang des Operators der zweiten Ebene derselben Schicht ist. Dieselbe Operation wird für jede der Schichten der ersten Ebene durchgeführt.
• Es sei davon ausgegangen, daß jeder Operator der zweiten Ebene immer seine Eingangsaktivitäten in Abhängigkeit von der vorher definierten Aktivitätsadresse empfängt, wobei die Funktion der zweiten Ebene praktisch stabil in bezug auf Verschiebungen von homogenen Zonen des Bildes ist. Selbstverständlich wird diese Stabilität konserviert, während die gleichen Zonen sich in den aufeinanderfolgenden Bildern, die am Eingang des Systems anliegen, wiederfinden.
• Unter der Annahme, daß die obengenannte Bedingung beachtet wird, werden sich die Koeffizientenwerte der Operatoren der zweiten Ebene stabilisieren. Diese Koeffizienten werden je weils eine entsprechende homogene Zone darstellen. Ein solcher Mechanismus wird bei Trainingsphasen vor Syntheseoperationen verwendet werden müssen.
• Es ist festzustellen, daß das Training von Koeffizienten verbessert wird dank der Korrelation zwischen den Aktivitäten unterschiedlicher Schichten, d. h. dank der Verwendung von Eingangs- und Ausgangsoperatoren, die diese Korrelation ermöglichen.
• Die Anwendung des Systems, um Wiedererkennungen von Formen durchzuführen, wird daher darin bestehen, am Eingang des Systems Bilder anzulegen, die Formen enthalten, die man wiederzuerkennen wünscht, und in der Steuereinheit die unterschiedlichen Profile von Koeffizientenvektoren von Operatoren abzulegen, die diesen unterschiedlichen Formen entsprechen. In der Steuereinheit wird jedes Profil daher verbunden werden können mit Codes, die es dem Nutzer ermöglichen, die durch das System wiedererkannten Formen zu identifizieren und zu erkennen.
• Die Verwendung des Systems in einem Synthetisierer von Bildern besteht darin, als Wert, der eine Klasse von Aktivitäten darstellt, spezielle Werte zu nehmen, die den Werten entsprechen, die die Koeffizienten annehmen, wenn die zu synthetisierenden Zonen enthalten sind in den Bildern, die als Training dienen.
• Das System kann ebenso verwendet werden, um eine Kodierung von Bildern durchzuführen, indem die Analyse- und Synthesefunktionen, die durch das System möglich sind, verbunden werden. Diese Verbindung wird es erlauben, tatsächlich auf jeder Ebene der Analyse die Konformität der Synthese zu verifizieren und daher festzulegen, bis zu welcher Ebene dieses befriedigend ist.
• Das System der Kodierung von oben erlaubt es daher, ein Übertragungssystem mit hoher Kompressionsrate zu realisieren, indem auf der Ebene des Senders ein Analyse- und Synthesesystem und auf der Ebene des Empfängers ein Synthesesystem vorgesehen wird. Die Trainingsphase des Analysesystems hat zur Folge, daß die Koeffizientenwerte der Operatoren fixiert werden und diese Werte übertragen werden an das Synthesesystem. Bei normaler Funktion arbeitet der Sender als Analysator und überträgt an den Empfänger die Aktivitätswerte entsprechend den analysierten Bildern. Die Aktivitätswerte, die übertragen wurden, sind von der Priorität her diejenigen von Operatoren der höchsten Ebene, dann in Abhängigkeit von der gewünschten Qualität, diejenigen von niedrigeren Ebenen. Auf der Ebene des Empfängers macht es die empfangene Aktivität eines Operators einer gegebenen Schicht möglich, die Aktivitäten von Operatoren von niedrigeren Ebenen wieder herzustellen, indem als Aktivität die Werte von Koeffizienten von Operatoren genommen werden, deren dazugehörige empfangene Aktivität stark ist.
• Aus Gründen der Vereinfachung betreffen die obigen Erläuterungen nur zwei erste Ebenen, aber man kann das Funktionsprinzip leicht auf höhere Ebene verallgemeinern. So macht es die dritte Ebene möglich, Objekte zu kodieren, und die vierte Ebene macht es möglich, Prototypen von Objekten zu kodieren.
• In der Perspektive einer Anwendung in einem Fernsehsystem, was gleichzeitig Analyse, Übertragung und Synthese von Bildern und Klängen beinhaltet, kann das gleiche System verwendet werden, indem spezialisierte Operatorschichten bei der Analyse und der Synthese von Klängen verwendet werden.

Claims (14)

1. System zur Verarbeitung von Signalen mit einem Netz neuronaler Operatoren (OPvr), gesteuert durch eine Steuereinheit (1), wobei jeder neuronale Operator (OPvcr) dazu gedacht ist, eine multilineare Funktion auf wenigstens einem Eingangsvektor ([F(Ivr)]) aus mehreren Eingangsvariablen zu bearbeiten, wobei die Funktion eine Aktivität (Fvcr) des Operators (OPvcr) definiert, die Eingangsvariablen Eingangssignale des Systems oder Aktivitäten anderer Operatoren des Netzes darstellen, wobei das System Vorrichtungen zum Abspeichern (MU1, ... MU4), die adressierbar sind durch die Steuereinheit (1) und organisiert sind als mehrere Speicherräume, die jeweils mit den Operatoren (OPvr) zusammenhängen, umfaßt, wobei das System dadurch gekennzeichnet ist, daß jeder Speicherraum an einer gegebenen Adresse, genannt Aktivitätsadresse (Ivr) einen Wert, der die Aktivität (Fvrc) des dazugehörigen Operators (OPvrc) darstellt, enthält, und dadurch, daß für eine Untergruppe wenigstens anderer Operatoren des Netzes die dazugehörigen Speicherräume gleichermaßen die Adressen (Ivr) von Aktivitäten enthalten, die die Eingangsvektoren ([R(Ivr)]) der Operatoren (OPvrc) der Untergruppe bilden.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß das Netz aufgeteilt ist in mehrere Ebenen (H1, ... H4), wobei jede Ebene (Hv) eine Gruppe (HOPv) von Operatoren (OPvr), wenigstens ein Speichermodul (MUv), das den Speicherräumen der Operatoren der Gruppe zugeordnet ist, und wenigstens einen ersten Kommunikationsbus (Bv) umfaßt, der die Operatoren (OPvr) mit dem Speichermodul verbindet, und dadurch, daß das Netz Verbindungen (BL1, ... BL4) umfaßt, die die Kommunikation zwischen Steuereinheit (1) und jedem der ersten Kommunikationsbusse (B1, ... B4) ermöglicht.

3. System nach Anspruch 2, dadurch gekennzeichnet, daß jede Ebene (Hv) Adressierungsmittel (BCv, CUv) umfaßt, die sich zum Adressieren der Aktivitäten ([F(Ivr)]) von Operatoren (OPvr) anderer Ebenen nach dem Lesen von Aktivitätsadressen (Ivr) in dem Speichermodul (MUv) der Ebene eignen.

4. System nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, daß die multilineare Funktion das Skalarprodukt des Eingangsvektors ([F(Ivr)]) entweder mit einem Koeffizientenvektor ([Gvrc]), der zu dem Operator (OPvrc) gehört, oder mit einem anderen Eingangsvektor ist.

5. System nach Anspruch 4, dadurch gekennzeichnet, daß die Operatoren (OPvr) der Untergruppe, die auch zu derselben Ebene (Hv) gehören, miteinander verbunden sind, daß jeder der Operatoren (OPvcrc) zur Bildung des Skalarproduktes eines Eingangsvektors mit einem Koeffizientenvektor Trainingsmittel (AE, AS) zum Korrigieren des Koeffizientenvektors ([Gvrc]) in Abhängigkeit von seinem Eingangsvektor ([F(Ivrc)]) und von Aktivitäten ([fvcr]) anderer Operatoren (OPvcr) der gleichen Ebene umfaßt.

6. System nach Anspruch 5, dadurch gekennzeichnet, daß die Operatoren der Untergruppe aus einem Eingangsprozessor (PE) und einem Ausgangsprozessor (PS) bestehen, daß der Eingangsprozessor (PE) zum Berechnen seiner Aktivität, die definiert ist als das Skalarprodukt (fvcrc) eines Koeffizientenvektors ([Gvrc]) mit einem ersten Aktivitätsvektor ([F(Ivrc)]), der gebildet ist aus Aktivitäten von Ausgangsoperatoren anderer Ebenen, und zum Übertragen dieses Skalarproduktes an einen zweiten Kommunikationsbus (b) über den Eingang mit dem ersten Kommunikationsbus verbunden ist, und dadurch, daß der Ausgangsprozessor (PS) zum Berechnen seiner Aktivität, die definiert ist als das Skalarprodukt (Fvcrc) eines Koeffizientenvektors ([gvrc]) mit einem zweiten Aktivitätsvektor ([fvcr]), der gebildet ist aus Aktivitäten anderer Eingangsprozessoren (PE) der gleichen Ebene, und zum Übertragen dieser Summe an den ersten Bus über seinen Eingang mit dem zweiten Kommunikationsbus (b) verbunden ist.

7. System nach Anspruch 6, dadurch gekennzeichnet, daß das Training eines Eingangsprozessors (PE) darin besteht, eine Korrektur ([dGvrc]) seines Koeffizientenvektors ([Gvrc]) auszulösen, wenn die Aktivität (Fvcr) wenigstens eines Ausgangsprozessors (PS) der gleichen Ebene eine vorgegebene Schwelle überschreitet, wobei die Korrektur proportional zu dem ersten Aktivitätsvektor ([F(Ivrc)]) ist.

8. System nach Anspruch 7, dadurch gekennzeichnet, daß das Training eines Ausgangsprozessors (PS) darin besteht, bei jeder Aktivitätskomponente (fvcr) des zweiten Aktivitätsvektors ([fvcr]) eine Komponente des Koeffizientenvektors als bedingte Wahrscheinlichkeit zu definieren, damit die Aktivitätskomponente (fvcr) und die Aktivität (Fvcrc) des Ausgangsprozessors gleichzeitig zusammen eine vorgegebene Schwelle überschreiten.

9. System nach Anspruch 8, dadurch gekennzeichnet, daß die Trainingsmittel Trainingsmikroprogramme sind, die die Funktion der Eingangs- und Ausgangsprozessoren steuern.

10. System zur Analyse von Bildern, das das System zur Verarbeitung nach einem der Ansprüche 5 bis 9 verwendet, dadurch gekennzeichnet, daß die Eingangssignale des Systems Signale sind, die ein Bild darstellen, das am Eingang von Operatoren der ersten Ebene (H1) angelegt wird, daß die Operatoren der zweiten Ebene (H2) mit Speicherräumen zusammenhängen, die die Aktivitätsadressen von Operatoren der ersten Ebene (H1) enthalten, und dadurch, daß die Steuereinheit (1) die unterschiedlichen Ebenen nacheinander in steigender Ordnung der Ebenen aktiviert,

wobei die Trainingsmittel im Verlauf eines Trainingsprozesses vor einer Analyse aktiviert werden, deren Resultat darstellbar ist durch Werte von Koeffizienten von Operatoren von irgendeiner der Ebenen oberhalb von eins.

11. System nach Anspruch 10, dadurch gekennzeichnet, daß jede Ebene (Hv) in mehrere Schichten unterteilt ist, wobei jede Schicht durch einen dazugehörigen Operator dargestellt wird,

dadurch gekennzeichnet, daß der Operator (OP1r) der ersten Ebene (H1) einer Schicht aus einer Gruppe von Filtern vom gleichen Typ gebildet wird, die die Gruppe von Bildsignalen verarbeiten, wobei jeder Filter eine Verarbeitung von Bildsignalen durchführt, die eine Untergruppe von dem Bild darstellen,

und dadurch, daß für jede Gruppe von Filtern einer gleichen Schicht die Steuereinheit vorgesehen ist, um periodisch neue Gruppierungen in Klassen von Filtern durchzuführen, wobei die Klassen nebeneinanderliegenden Wertebereichen am Ausgang von Filtern entsprechen, wobei jede Klasse zu einem Wert gehört, der die Ausgangswerte darstellt, wobei die darstellenden Werte in der abfallenden Folge ihrer Werte geordnet sind, dann abgespeichert werden in dem Speicherraum an einer Adresse, die die Adresse der Aktivität des Operators der zweiten Ebene derselben Schicht ist.

12. System nach Anspruch 11, dadurch gekennzeichnet, daß die Filter unterschiedlicher Schichten von unterschiedlichem Typ sind, um vordefinierte komplementäre Verarbeitungen durchzuführen.

13. System nach Anspruch 12, dadurch gekennzeichnet, daß die unterschiedlichen Filtertypen den biologischen Filtern des menschlichen Sehbereichs entsprechen.

14. System zur Synthese von Bildern, dadurch gekennzeichnet, daß es ein Analysesystem nach einem der Ansprüche 10 bis 13 umfaßt, das verwendet wird während einer Trainingsphase vor einer Synthese, wobei die Synthese darin besteht, nachfolgend einen Neuaufbau von Bildern in Abhängigkeit von Werten von Koeffizienten (Gvrc) ausgewählter Operatoren durchzuführen.