DE69110538T2

DE69110538T2 - Neuronales Klassifikationssystem and -verfahren.

Info

Publication number: DE69110538T2
Application number: DE69110538T
Authority: DE
Inventors: Philippe Refregier; Francois Vallet
Original assignee: Thomson CSF SA
Current assignee: Thales SA
Priority date: 1990-04-24
Filing date: 1991-04-16
Publication date: 1995-12-14
Anticipated expiration: 2011-04-17
Also published as: US5175796A; FR2661265B1; EP0454535A1; DE69110538D1; FR2661265A1; EP0454535B1

Description

Die vorliegende Erfindung bezieht sich auf ein neuronales Klassifikationssystem und -verfahren.
Die neuronalen Netze bezeichnen auf dem Gebiet der künstlichen Intelligenz Techniken, welche von der Funktionsweise des Gehirns inspiriert sind, um Erkennungs-, Klassifikations- oder Optimierungsprobleme zu lösen, weiterhin bezeichnen sie auf dem Gebiet der elektronischen oder optischen Schaltungen einen bestimmten Typ von Schaltungen, welche in der Lage sind, Transformationen an Vektoren mit einer großen Anzahl von Komponenten durchzuführen.
Um Objekte zu klassifizieren, welche durch elektrische Signale oder genauer gesagt durch an den Eingang von neuronalen Netzen angelegte signalvektoren repräsentiert werden, ist bekannt, eine sogenannte Lernphase durchzuführen. Im allgemeinen besteht diese Phase darin, ein auch als Klassifikator bezeichnetes Netz zu konfigurieren (d.h. zu programmieren), welches eine Funktion bildet, die die geplante Klassifikation am besten, und zwar durch Verwendung einer als Lernbasis bezeichneten Gesamtheit von Signalen ausführt, wobei für jedes Signal die Zugehörigkeit zu einer der Klassen, in die sie klassifiziert werden sollen, bekannt ist. Diese Methode ist unter dem Namen überwachtes Lernen oder auch Lernen mit Lehrer bekannt.
Es sind mehrere Methoden zur Codierung der an den Ausgangszellen eines neuronalen Systems (oder Klassifikationssystems) zu erkennenden Klassen möglich. Eine sehr häufig eingesetzte Methode besteht darin, jeder Ausgangszelle des Systems eine Klasse zuzuordnen. Die Klasse, welche dem zu klassifizierenden Objekt zugeteilt wird, ist folglich diejenige, die der den größten Ausgang (Maximum-Regel) aufweisenden Zelle entsprechen wird. Diese Methode wird aufgrund ihrer Einfachheit und dem mit ihr verbundenen intuitiven Aspekt (Maximum-Regel) sehr gern eingesetzt. Dennoch kann sie ganz wesentliche Einschränkungen aufweisen, da dieser Codierungstyp die Komplexität des zu lösenden Problems erhöhen kann.
Dieser Codierungstyp kann zu einem nichtlinear trennbaren Problem (vom Typ der exklusiven ODER-Funktion XOR) führen, während eine Lösung des linear trennbaren Typs existieren könnte.
Die Konvergenzzeit, im Verlaufe des Lernens, eines Klassifikationsalgorithmus (beispielsweise dem Rückausbreitungs-Algorithmus des Gradienten für die am häufigsten verwendete neuronale Architektur) hängt von der Komplexität des Problems ab: so kann sie sich zum Beispiel im Falle eines linear trennbaren Problems auflediglich etwa zehn Iterationen belaufen, während für das Erlernen der logischen XOR-Funktion im Durchschnitt nahezu hundert Iterationen erforderlich sind. Dies zeigt, von welch großer Bedeutung die Codierung der Ausgangszellen des neuronalen Systems oder Klassifikationssystems für das Lernen ist.
Wird für das Lernen eine leistungsfähige Codierung verwendet, ist es in der Erkennungs- oder der Klassifikationsphase trotzdem häufig von Interesse, die Maximum-Regel anwenden zu können, welche insbesondere die Möglichkeit bietet, die Ausgangssignale als Wahrscheinlichkeiten der Zugehörigkeit des analysierten Objektes zu einer der Klassen zu interpretieren.
Man kann außerdem feststellen, daß je schwieriger die von dem neuronalen System oder Klassifikationssystem zu lösende Aufgabe ist, desto komplexer auch die Struktur des Systems werden kann. Dieser Punkt ist insbesondere für die materielle Ausführung eines neuronalen Systems oder Klassifikationssystems von Bedeutung. Denn beispielsweise im Falle der neuronalen Systeme besteht die Schwierigkeit ihrer parallelen Einführung in der Anzahl von Verbindungen zwischen Neuronen. Bei der derzeit herkömmlichen Technologie besteht eine Kompatibiltät zwischen der Schnelligkeit und der Anzahl von Verbindungen (siehe "DARPA Neural Network Study", AFCEA International Press, Februar 1988). Die kurz- und mittelfristigen Planungen sagen vorher, daß Komponenten mit einer Leistung in der Größenordnung von 10&sup9; Operationen/Sekunde eine Verbindungsrate von mehr als 10&sup6; Verbindungen wahrscheinlich nicht überschreiten werden. Ein interessantes Ziel ist folglich die Vereinfachung der Architektur der neuronalen Systeme oder Klassifikationssysteme, und genauer gesagt die Reduzierung der Anzahl von Zellen, die vollständig miteinander verbunden werden müssen.
Das Dokument "Syllable recognition using integrated neural network", IJCN International Joint Conference on Neural Networks, Washington, Juni 1989, Seiten 1/251 - 258, T. Matsuoka u.a., beschreibt ein komplexes neuronales Klassifikationssystem (1 von N), welches P einfache Klassifikationsnetze aufweist, von denen jedes einer individuellen Lernphase unterzogen werden kann, wobei jedes dieser P Netze eine einfache Information und Klassifikation (von 2 oder 3) liefert. Das neuronale System enthält jedoch ein zusätzliches komplexes neuronales Netz, welches für dieses eine Klassifikation von einer Gruppe von möglichen Klassen durchführt und das weiterhin einer Lernphase unterzogen wird.
Die vorliegende Erfindung schlägt eine Lösung für das Problem der Wahl der Codierung der Information am Ausgang des neuronalen Netzes vor, welche die Verwendung der Klassifikation mittels der Maximum-Regel ermöglicht.
Die Erfindung ist in dem Patentanspruch 1 definiert.
Man verwendet folglich ein neuronales System, das zur Klassifikation von Objekten in N Klassen bestimmt ist, wobei dieses System aus P getrennten neuronalen Netzen gebildet ist, von denen jedes in der Lage ist, ein Klassifikationsergebnis in n Klassen zu liefern, wobei n kleiner ist als N, wobei die P neuronalen Netze jeweils individuellen Lernphasen unterzogen werden können, und wobei ein Signalverarbeitungsmodul mit den P neuronalen Netzen in der Objekterkennungsphase nach der Lernphase verbunden ist, um auf Grund der Ausgangssignale der P neuronalen Netze N Ausgangssignale von Klassifikationsergebnissen von N zu liefern.
Mit anderen Worten gesagt, bildet man P verhältnismäßig einfache Netze (Klassifikation in n, wobei n klein und vorzugsweise gleich 2 ist), wobei diese Netze folglich schnell sind, mit den derzeitigen Technologien einfach realisiert werden können und darüber hinaus einfachen Lernphasen unterzogen werden können. Das Lernen erfolgt nach der Klassifikation von n, und geht man, im Falle einer Klassifikation unbekannter Objekte, in die BetriebsPhase über, so wird ein am Ausgang der P Netze angeschlossenes Signalverarbeitungsmodul die Bestimmung der Klassifikationsergebnisse von N ausgehend von den Klassifikationsergebnissen von n durchführen.
Das Verarbeitungsmodul ist vorzugsweise auf einfache Art und Weise mit Hilfe von Schaltungen ausgebildet, die lineare Kombinationen (im wesentlichen Summen und Differenzen) seiner Eingangssignale bilden und Schaltungen, die auf Grund der erhaltenen linearen Kombinationen eine nichtlineare Normierungsfunktion ausführen, wobei diese Normierungsfunktion N Ausgangssignale liefert, deren Summe konstant ist und von denen jedes eine Wahrscheinlichkeit der Zugehörigkeit zu einer von N Klassen darstellt oder als solche interpretiert werden kann.
In einem bevorzugten Ausführungsbeispiel führen die P neuronalen Netze Klassifikationen in zwei Klassen durch (wobei jedes Objekt unbedingt in eine der beiden Klassen klassifiziert werden muß); es sind genügend einzelne Netze vorhanden, damit alle N Klassen in diesen Elementarklassifikationen repräsentiert sind. Die Anzahl P liegt folglich zwischen N-1 (dies ist das Minimum) und N(N-1)/2 (dies ist das Maximum, über das hinaus es in den P Netzen zu Redundanz käme).
In einem bevorzugten Ausführungsbeispiel enthalten die P neuronalen Netze Ausgangsneuronen, von denen ein jedes durch eine Schaltung gebildet ist, die eine Funktion gewichteter Summierung durchführt, gefolgt von einer Schaltung, die eine nichtlineare Sättigungsfunktion durchführt (herkömmlicher Aufbau eines Neurons), und das Verarbeitungsmodul empfängt an seinen Eingängen die Ausgangssignale der Funktionen gewichteter Summierung eher als die Ausgangssignale der Neuronen nach den Sättigungsfunktionen.
Vorzugsweise ist die nichtlineare Sättigungsfunktion am Ausgang der P Netze eine sigmoide Funktion (der Form ex/(1+ex)), und vorzugsweise sind die linearen Kombinationen von der Form gi(X) = gj(X) + fi,j(X), worin gi(X) eine lineare Kombination des Index i und gj(X) eine andere lineare Kombination des Index j ist, und fi,j(X) das Ausgangssignal gewichteter Summierung (vor der Sättigungsfunktion) eines neuronalen Netzes zur Klassifikation von Objekten in zwei Klassen des Index i bzw. des Index j ist.
Schließlich ist vorzugsweise die nichtlineare Normierungsfunktion am Ausgang des Verarbeitungsmodules von der folgenden Form:
Pi(X) = egi(X) /[Summe der egi(X), für i = 1 bis N]
und genau dieser Wert Pi(X) repräsentiert eine Wahrscheinlichkeit der Zugehörigkeit des Objektes X zu der i-ten von N Klassen. Dieser Wert kann selbstverständlich mittels der Maximum- Regel bearbeitet werden, um die Zugehörigkeitsklasse zu liefern.
Zusammenfassend gesagt schlägt die Erfindung eine Lösung für das Problem der Wahl der Codierung der Information am Ausgang des neuronalen Netzes vor, welche die Möglichkeit bietet, die Klassifikation mittels der Maximum-Regel zu verwenden. Sie vereinfacht die Klassifikationsaufgabe im Verlaufe des Lernens, indem das Klassifikationsproblem mit N Klassen auf Klassifikationsprobleme mit einer geringen Anzahl von Klassen, also einfachere Probleme reduziert wird.
Die Erfindung bietet die Möglichkeit:
- die materielle Realisierung der neuronalen Netze oder der Klassifikationssysteme zu vereinfachen,
- die Parallelisierung der Algorithmen für deren Einführung in Parallelrechnern mit verteiltem Speicher, oder in physisch unterschiedlichen Geräten (oder Standorten) zu vereinfachen,
- die Konvergenz der Lernalgorithmen durch Vereinfachung der zu lösenden Aufgabe zu beschleunigen,
- eine neue Klasse hinzuzufügen, ohne ein vollkommenes Wiedererlernen erforderlich zu machen.
Der vorliegenden Patentanmeldung liegt weiterhin die Aufgabe eines Verfahrens zur Klassifikation durch ein neuronales System zugrunde, wie es im vorangegangenen näher bezeichnet wurde, mit P unabhängigen Netzen, von denen jedes eine Klassifikation in einer geringen Anzahl n von Klassen ermöglicht, dadurch gekennzeichnet, daß:
- eine Lernphase durchgeführt wird, um jedes der P neuronalen Netze auf Grund von Eingangsvektoren und gewünschten Klassifikationsergebnissen in den Gruppen von n Klassen ohne Verwendung des Verarbeitungsmodules zu konfigurieren,
- die Betriebsphasen nach dem Lernen unter Verwendung des Verarbeitungsmodules durchgeführt werden, damit die Klassifikationsergebnisse in N Klassen auf Grund der von den P Netzen durchgeführten Erkennung erhalten werden.
Die Erfindung sowie weitere Vorteile der vorliegenden Erfindung werden anhand der nun folgenden, nicht einschränkend zu verstehenden Beschreibung und der beigefügten Zeichnungen näher erläutert, hierin zeigen:
- Figur 1 die herkömmliche Struktur eines Neurons,
- Figur 2 einen symbolischen Graphen, der die Bedingung erläutert, welche ermöglicht, Potentialfunktionen gi(X) an den Knoten des Graphen auf Grund von Interaktionen fi,j(X) zwischen den Knoten des Graphen abzuleiten.
- Figur 3 ein Schema eines bevorzugten Ausführungsbeispieles eines erfindungsgemäßen neuronalen Systems,
- Figur 4 eine mögliche Ausführung eines am Ausgang des neuronalen Systems angeschlossenen Verarbeitungsmodules.
In Figur 1 ist eine herkömmliche Struktur eines Neurons mit einer gewissen Anzahl von Eingängen eP, einer Rechenzelle CC sowie einem Ausgang S dargestellt. Die Rechenzelle CC wird von einem gewichteten Summierer SP gefolgt von einer Schwellenschaltung CS (stetige Grenzwertfunktion oder häufiger nichtlineare Funktion mit progressiver Sättigung) gebildet. WP ist der Wert des den p-ten Eingang eP mit der Rechenzelle verbindenden Gewichtes.
Die Neuronennetze können im allgemeinen in Neuronenschichten angeordnet sein. Da alle Ausgänge der Neuronen einer gleichen Schicht mit allen Neuronen der folgenden Schichten verbunden sein können, kann die Anzahl von Verbindungen sehr hoch sein, sowie das zu lösende Problem komplex ist; insbesondere wird im Falle eines Erkennungsproblemes, bei welchem die Eingangsvektoren eine bedeutende Anzahl von Parametern aufweisen und bei dem weiterhin die Anzahl der zu erkennenden Klassen sehr hoch ist, das neuronale Netz sehr komplex sein; hieraus werden sich Schwierigkeiten bei der Ausführung, ein langsamer Betrieb sowie ein langsames Lernen ergeben.
Ein Ziel der Erfindung ist es, die KomPlexität des neuronalen Systems zu vermindern.
Die Erfindung geht von der Beobachtung aus, daß in bestimmten Fällen (d.h. unter Einhaltung gewisser Bedingungen) die Möglichkeit gegeben ist, die Klassifikation von Objekten in N Klassen auf Grund von mehreren Klassifikationen dergleichen Objekte in paarweisen Klassen (oder allgemeiner gesagt auf Grund von Klassifikationen in n, worin n kleiner ist als N) abzuleiten. Um dies aufzuzeigen, wird man sich auf den Fall beschränken, in welchem n = 2 ist, das Prinzip ist jedoch ganz allgemein auf Fälle anwendbar, in denen n ungleich zwei ist; die Erfindung wird im allgemeinen nur dann von praktischem Interesse sein, wenn n um ein Wesentliches kleiner ist als N.
Selbstverständlich ist die wohl geringste einzuhaltende Bedingung diejenige, daß die Klassifikation der Objekte in Paaren von zwei Klassen alle N Klassen einführt. Vergißt man bestimmte Klassen, so hat man keine Möglichkeit, eine Klassifikation 1 von N abzuleiten. Eine einfache Art und Weise, diese Bedingung einzuhalten, ist beispielsweise, N-1 Klassifikationen mit zwei Klassen durchzuführen: Klassifikation zwischen den Klassen C&sub1; und C&sub2;, zwischen C&sub2; und C&sub3;, etc...., und schließlich zwischen CN-1 und CN. Es sind auch andere Lösungen möglich, wie zum Beispiel Klassifikationen C&sub1;/C&sub2;, C&sub1;/C&sub3;, etc...., oder noch andere, die eventuell eine Anzahl von Klassen P größer als N-1, und bis N(N-1)/2 einführen können.
Die zweite einzuhaltende Bedingung, welche die Möglichkeit bietet, die Grundlagen der vorliegenden Erfindung zu schaffen, ist folgende: möchte man, daß ausgehend von einer zwei Indizes i,j einführenden Funktion fi,j(X), Funktionen gi(X) bestimmt werden können, die nur einen einzigen Index i einführen, so muß es möglich sein, einen Graphen wie den in der Figur 2 dargestellten zu bilden, in welchem die fi,j (X) in gewisser Weise "Interaktionen" zwischen Knoten des Graphen darstellen, während die gi(X) "Potentiale" der Knoten des Graphen repräsentieren. Weiterhin ist es erforderlich, daß der Durchlauf dieser "Interaktionen" entlang der geschlossenen Schleifen des Graphen null ist. Denn nun kann ganz gleich welches Potential gi ausgehend von einem Potential gj und der "Interaktion" fi,j abgeleitet werden. Im wohl einfachsten Fall, den man sich vorstellen kann, repräsentieren die "Interaktionen" lediglich die algebraische "Potentialdifferenz" zwischen zwei Knoten, d.h., daß ein Potential gi von einem benachbarten Potential gj durch die sehr einfache Formel gi - gj = fi,j abgeleitet wird.
Das bedeutet, daß, um die Funktionen gi(X) ausgehend von den fi,j (X) ableiten zu können, die Möglichkeit gegeben sein muß, die Funktion fi,j(X), welche die zwei Indizes i und j einführt, in Form einer Differenz gi(X) - gj(X) von Funktionen auszudrücken, von denen jede lediglich den Index i oder den Index j einführt, jedoch nicht beide.
Dieses einfache Konzept kann auf ein Klassifikationsproblem vom probabilistischen Typ angewendet werden, bei welchem "Wahrscheinlichkeiten" Pi(X) gesucht werden, daß ein Objekt X zu der Klasse Ci von N Klassen C&sub1; bis CN gehört, während man lediglich die Wahrscheinlichkeiten Pi,j(X) kennt, daß das Objekt der Klasse Ci von nur zwei möglichen Klassen Ci und Cj angehört.
Man stellt zunächst fest, daß die probabilistische Annäherung ermöglicht, unter Anwendung der Bayesschen Regeln, die folgende Gleichung zu erstellen:
(1) Pi,j(X) = Pi(X) / [(Pi(X) + Pj(X)]
Mit anderen Worten gesagt, ist die Wahrscheinlichkeit, daß das Objekt X, wenn es nur zwei Klassifikationsmöglichkeiten Ci und Cj gibt, der Klasse Ci angehört, direkt mit den Wahrscheinlichkeiten verbunden, daß das Objekt X der Klasse Ci oder der Klasse Cj angehört, wenn es N mögliche Klassen gibt.
Genauso schreibt man auch:
(2) Pj,i(X) = Pj(X) / [(Pi(X) + Pj(X)]
für die Wahrscheinlichkeit der Zugehörigkeit zur Klasse Cj unter den beiden einzig möglichen Klassen Ci und Cj.
Woraus folgt, daß
(3) Pi,j(X) / Pj,i(X) = Pi(X) / Pj(X)
und infolgedessen
(4) log[Pi,j(X)] - log[Pj,i(X)] = log[Pi(X)] - log[Pj(X)]
Es bestehen folglich einfache Beziehungen zwischen den Wahrscheinlichkeiten der Zugehörigkeit zu einer Klasse von 2 und den Wahrscheinlichkeiten der Zugehörigkeit zu einer Klasse von N, und diese Beziehungen können in Form von einfachen Differenzen (von Logarithmen) ausgedrückt werden.
Gemäß der Erfindung wird folgende Vorgehensweise vorgeschlagen:
- man erstellt durch P getrennte, verhältnismäßig einfache neuronale Netze (ein jedes eine Klassifikation in zwei Klassen) Klassifikationsergebnisse, die als Wahrscheinlichkeiten Pi,j(X) interpretiert werden können, die einerseits zwischen 0 und 1 liegen (wie eine jede Wahrscheinlichkeit) und die andererseits derart sind, daß Pi,j(X) gleich 1 - Pj,i(X) ist; diese beiden Bedingungen drücken ganz einfach aus, daß Pi,j das Ergebnis vom probabilistischen Typ einer Klassifikation der Objekte X in zwei Klassen ist, wobei das Objekt zwangsläufig zu einer der beiden Klassen gehört; es gibt P getrennte neuronale Netze, und P liegt zwischen N-1 und N(N1)/2; die P Netze führen zwangsläufig alle Klassen C&sub1; bis CN ein.
(5) Pi,j(X)=1 - Pj,i(X)
(welche sich übringens von (1) und (2) ableitet)
- man definiert nun ausgehend von diesen Wahrscheinlichkeiten Pi,j(X) Funktionen fi,j(X), die selbst in Form einer Differenz gi(X) - gj(X) ausgedrückt werden können; man wählt vorzugsweise als Funktion fi,j(X) die Funktion

(6) fi,j(X) = log(Pi,j(X) ) - log(1 - Pj,j(X)

die einerseits auf sehr einfche Weise auf Grund von Pi,j(X) erhalten werden kann und die andererseits nichts Anderes ist als
(7) fi,j(X) = log(Pi,j(X) ) - log(Pj,i(X)
(da ja Pi,j+Pj,i =1)
fi,j(X) kann nun gemäß (4) folgendermaßen geschrieben werden:
(8) fj,j(X) = log(Pi(X)) - log(Pj(X))
was gut in Form einer Differenz gi - gj ausgedrückt werden kann, indem man ganz einfach schreibt:
(9) gi(X) = log(Pi(X)) + H(X)
worin H(X) eine von dem Index i unabhängige Funktion und erforderlich für die Normierung der Pi(X) ist.
- da ja die Wahrscheinlichkeiten Pi,j durch die P Netze geliefert werden und da man die Funktionen fi,j auf Grund der Wahrscheinlichkeiten Pi,j (Gleichung (6)) auf einfache Weise erhalten kann, müssen anschließend lediglich noch die gi(X) durch einfaches Durchlaufen der geschlossenen Schleifen des Graphen der Figur 2 abgeleitet werden: man legt ein beliebiges Ausgangspotential (der Bezug ist willkürlich) fest, zum Beispiel g&sub1;(X)=K; hiervon werden die anderen durch lineare Kombinationen der Art gi(X) = gi(X) + fi,1(X) abgeleitet, wenn fi,1(X) durch eines der P neuronalen Netze geliefert wird, oder andere den Durchläufen durch die geschlossenen Schleifen des Graphen der Figur 2 entsprechenden linearen Kombinationen, welche diejenigen der Werte fi,j verwenden, die man auf Grund der P neuronalen Netze zur Klassifikation in zwei Klassen erhalten hat.
- da man die Werte gi(X) hat, müssen diese letztendlich nur noch in die Wahrscheinlichkeiten Pi(X) zurückkonvertiert werden, da ja
gi(X) = log(Pi(X)) + H(X)
man berechnet folglich Pi(X) durch die Formel
(10) Pi(X) = egi(X) - H(X)
- da man jedoch möchte, daß die probabilistischen Ergebnisse Pi(X) Wahrscheinlichkeiten der Zugehörigkeit zu einer von N Klassen ist, in welcher die Summe der Wahrscheinlichkeiten der Zugehörigkeit zu allen Klassen gleich der Einheit ist, wird man sich für die Normierung der Funktion Pi(X) entscheiden, indem man diese eher in der folgenden Form schreibt:
(11) Pi(X) = egi(X) /[Summe der egi(X), für i = 1 bis N]
d.h., daß schließlich ganz einfach im nachhinein die Funktion H(X) identifiziert wird.
Man sieht infolgedessen, daß es ein einfaches Mittel geben kann, um neuronale Klassifikationsnetze zu vereinfachen, wenn das Klassifikationsproblem komplex ist und dies zu Netzen führen könnte, die eine viel zu hohe Anzahl an Verbindungen aufweisen: man realisiert vielmehr eine Gesamtheit von P elementaren getrennten neuronalen Netzen, die alle die gleichen, die zu klassifizierenden Objekte X repräsentierenden Eingangsvektoren empfangen und die weiterhin Klassifikationsergebnisse vom probabilistischen Typ in zwei Klassen liefern; dies sind einfache, folglich schnelle Netze von einfachem Lernen; das Lernen in diesen Netzen erfolgt ausgehend von gewünschten Klassifikationsergebnissen in den Gruppen von 2 Klassen. Anschließend, wenn das Lernen abgeschlossen ist und das Netz zu seiner üblichen Erkennungs- und Klassifikationsfunktion übergeht, werden die probabilistischen Ergebnisse Pi,j(X) der Klassifikationen in zwei Klassen verwendet, um sie an ein elektronisches Verarbeitungsmodul zu übertragen, welcher die Werte Pi(X) der Wahrscheinlichkeiten der Zugehörigkeit zu einer von N Klassen berechnet. Die Berechnung wird mittels der Funktionen fi,j(X) durchgeführt, die mit Pi,j(X) verbunden sind sowie der Funktionen gi(X), die mit fi,j(X) verbunden sind. Im Anschluß daran müssen nur noch die Ausgangssignale dieses Moduls verwendet werden, um die Klassifikation, beispielsweise unter Verwendung der herkömmlichen Maximum-Regel zu bestimmen: die Klasse ist diejenige, welche dem größten Ausgangssignal Pi(X) unter N Ausgangssignalen des Moduls entspricht.
Diese Vorgehensweise ist auch allgemein auf den Fall anwendbar, in welchem n von zwei abweicht, unter der Bedingung, daß zumindest annähernd eine Regel für den Übergang der Wahrscheinlichkeiten der Zugehörigkeit zu einer Klasse von n zu den Wahrscheinlichkeiten der Zugehörigkeit zu einer Klasse von N erstellt werden kann.
Die vorzugsweise gewählte Zwischenfunktion fi,j, die von der folgenden Form ist

fj,j(X) = log(Pi,j(X)) - log(1 - Pi,j(X))

ist von besonderem Interesse, da dies bedeutet, daß die Wahrscheinlichkeit Pi,j(X) eine sigmoide Funktion von fi,j(X) ist:
(12) Pi,j(X) = efi,j(X) /[1 + efi,j(X)]
Nun verwenden die Ausgangsneuronen der neuronalen Netze aber häufig als nichtlineare Sättigungsfunktion sigmoide Funktionen dieses Typs, um ausgehend von einer gewichteten Summe S ein Klassifikationsergebnis vom probabilistischen Typ zu liefern: das probabilistische Ausgangssignal Z (nach nichtlinearer Sättigungsfunktion) in Abhängigkeit von der von dem Neuron (vor nichtlinearer Sättigungsfunktion) erstellten gewichteten Summe Y ist von folgendem Typ
Z = eY / (1 + eY)
Dies bedeutet, daß eine sehr einfache Art und Weise, die Funktionen fi,j(X) ausgehend von den Wahrscheinlichkeiten Pi,j(X) zu erhalten, darin besteht,
- die P elementaren neuronalen Netze mit Ausgangsneuronen zu bilden, bei denen die nichtlineare Sättigungsfunktion eine sigmoide Funktion ist, wobei diese Ausgangsneuronen die Wahrscheinlichkeiten Pi,j(X) liefern,
- und nun als Wert fi,j(X) das Ausgangssignal desselben Neurons vor der nichtlinearen Sättigungsfunktion zu nehmen, welche die Pi,j(X) bildet. Dieses Ausgangssignal wird nun genau ein Wert fi,j(X) gleich der Differenz der Logarithmen von Pi,j(X) und von 1-Pi,j(X) sein, wie dies gemäß der Gleichung (6) gewünscht wird.
Dadurch wird vermieden, daß eine spezifische Verarbeitungsschaltung realisiert werden muß, um ausgehend von den Pi,j(X) die Funktionen fi,j(X) zu bilden, bevor diese Funktionen fi,j(X) den Eingängen des Verarbeitungsmoduls zugeordnet werden, welcher die gi(X) und anschließend die Pi(X) berechnet.
Man gelangt nun zu dem bevorzugten Ausführungsbeispiel der Erfindung, welches in Figur 3 dargestellt ist.
In Figur 3 sind die Neuronen als Beispiel in vier Schichten und in Form von kleinen Quadraten wie das mit der Ziffer 1 bezeichnete dargestellt. Was die Neuronen der letzten Schicht anbelangt, so wurden die Summierschaltungen SP von den Schwellenschaltungen CS getrennt und es wird vorausgesetzt, daß die Grenzwertfunktion eine sigmoide Funktion vom Typ eX / (1 + eX) ist.
Es gibt P getrennte neuronale Netze, die alle die gleichen Eingangsvektoren empfangen. Unter Eingangsvektor versteht man eine Gesamtheit von durch das neuronale Netz zu verarbeitenden Signalen, wobei diese Gesamtheit das zu klassifizierende Objekt X darstellt. Ein jedes neuronales Netz weist ein Ausgangsneuron Ni,j auf, welches
- an den Ausgang des gewichteten Summierers SP die Funktion fi,j(X), und
- an den Ausgang der Schwellenschaltung die Wahrscheinlichkeit Pi,j(X) der Zugehörigkeit des Objektes X zu einer Klasse Ci von zwei Klassen Ci und Cj liefert. Die Werte Pi,j und fi,j sind also durch die Beziehung(6) verbunden.
Man erinnert, daß wenn die Schwellenschaltung nicht vom sigmoiden Typ ist, die Funktionen fi,j ausgehend von den Pi,j durch eine die Beziehung (6) bildende spezifische Schaltung gebildet werden müssen.
Die die Funktionen fi,j liefernden P Ausgänge werden als Eingangssignale an P Eingänge eines Verarbeitungsmodules 3 angelegt, der N Ausgänge besitzt (einen pro möglicher Klasse). An diesen N Ausgängen werden die jeweiligen Wahrscheinlichkeiten der Zugehörigkeit des Objektes X zu den verschiedenen Klassen C&sub1; bis CN gebildet, und dies in Abhängigkeit von den Beziehungen, welche die Wahrscheinlichkeiten der Klassifikation von n mit den Wahrscheinlichkeiten der Klassifikation von N verbinden.
Anhand von Figur 4 kann der Aufbau des Verarbeitungsmodules (3) in dem als bevorzugt beschriebenen einfachen Fall, mit n = 2 genauer dargestellt werden. Man setzt beispielsweise voraus, daß die P neuronalen Netze Funktionen f1,2(X), f1,3(X), ..., f1,N(X) liefern, daß sie jedoch auch andere Funktionen wie zum Beispiel f2,3, etc. liefern könnten, wobei die einzige Bedingung darin besteht, daß mit den gelieferten Funktionen in dem Graphen der Figur 2 ausreichend geschlossene Schleifen beschrieben werden können, um alle Indizes von 1 bis N einzuführen. Es sind genau die beschriebenen Schleifen, welche die den Übergang von den fi,j(X) zu den gi(X) ermöglichenden linearen Kombinationen genauer bestimmen werden.
In dem in Figur 4 beschriebenen Beispiel wird ein willkürlicher Signalwert (beispielsweise elektrischer Strom oder elektrische Spannung) gebildet, welcher eine der Funktionen gi(X) genauer bestimmt. Zum Beispiel wird g&sub1;(X) ganz willkürlich gleich K gewählt.
Das Modul weist algebraische Summierschaltungen 30 auf, um die folgenden linearen Kombinationen ausgehend von g&sub1; und den f1,i zu bilden:
gi(X) =g&sub1;(X) - f1,j(X) für alle i.
Und anschließend enthält das Modul, ausgehend von den auf diese Art und Weise erhaltenen einfachen linearen Kombinationen, eine nichtlineare Normierungsschaltung, die die Möglichkeit bietet, wieder zu den die Ausgangssignale des Modules bildenden Wahrscheinlichkeiten Pi(X) überzugehen. Gemäß der Formel (11) wird daran erinnert, daß in dem bevorzugten Ausführungsbeispiel der Erfindung die nichtlineare Normierungsfunktion folgende sein wird:
Pj(X) = egi(X) / [Summe der egi(X) für i = 1 bis N]
Sie wird in einer durch einen mit der Ziffer 31 bezeichneten Block schematisierten nichtlinearen Transformationsschaltung ausgeführt, welche die verschiedenen, in dem Modul gebildeten linearen Kombinationen gi(X) empfängt. Die Ausgangssignale der Schaltung 31 sind die Ausgangssignale des erfindungsgemäßen neuronalen Systems. Sie selbst können durch eine Vergleichsschaltung verarbeitet werden, die durch die Maximum-Regel genauer bestimmt, welches das Endergebnis einer Klassifikation von N ist.
Das Lernen des erfindungsgemäßen neuronalen Systems erfolgt durch individuelles Lernen eines jeden der P neuronalen Netze, wobei die Lernbasis Eingangsvektoren sowie für die durch diese Vektoren dargestellten Objekte gewünschten Klassen (in einer Klassifikation von nur zwei möglichen Klassen) enthält. Das Modul 3 wird während dieser Phase nicht eingesetzt. Die Ausgangssignale Pi,j(X) werden für diese Phase verwendet. Nach dem Lernen, in der Objekterkennungsphase, wird das Modul 3 an die die fi,j(X) liefernden Ausgänge angeschlossen und liefert die gewünschten Ergebnisse der Klassifikation von N.
Die Wahl der Klassenpaare Ci, Cj, welche die Aufgaben eines jeden der P neuronalen Netze genau bestimmen, kann entweder ganz willkürlich (vorausgesetzt, daß alle Indizes 1 bis N verwendet werden und daß in dem Graphen der Figur 2 die gewünschten geschlossenen Schleifen gebildet werden können), oder in Abhängigkeit von dem genau zu lösenden Problem festgelegt werden: es kann nämlich von Vorteil sein, gewisse Vergleiche Ci, Cj eher als andere anzustellen, um die Lösung des gesamten Klassifikationsproblemes von N zu vereinfachen.
Im übrigen kann es auch vorkommen, daß die Regeln für die Wahl der Funktionen fi,j(X) und gi(X), die in dem im vorangegangenen beschriebenen einfachen Beispiel genauestens angegeben sind, nicht ganz einfach anzuwenden sind, so daß man nicht genau einen Graph wie denjenigen der Figur 2 erstellen kann: die Funktionen fi,j halten die Bedingung, welche zu einem Graphen von Potentialen führt, im Falle dessen der Durchlauf der Interaktionen durch eine jede der geschlossenen Schleifen gleich null ist, nicht wirklich ein. In diesem Fall muß lediglich versucht werden, einen Graphen zu erstellen, welcher sich einem diese Bedingung einhaltenden Graphen so weit als möglich annähert. Es gibt Optimierungskriterien, mittels derer dieser Aufgabentyp gelöst werden kann.
Als Beispiel kann der Fall betrachtet werden, in dem die Teilwahrscheinlichkeiten Pi,j alle unabhängig erlernt werden, so daß sie nicht mit den Endwahrscheinlichkeiten Pi duch die im vorangegangenen bestimmten Gleichungen verbunden sind. Man kann nun sehr gut das Kriterium des quadratischen Fehlers verwenden, um entlang der Schleifen des Graphen die quadratische Differenz zwischen der Funktion fi,j(X) und der "Potentialdifferenz" gi(X) - gj(x) zu minimieren, um Interaktionen fi,j zu bilden, die sich einem Graphen, in welchem der Durchlauf der Interaktionen durch die geschlossenen Schleifen gleich null ist, so weit als möglich annähern.
Durch diese Optimierung gelangt man zu einer vollkommen expliziten Bestimmung (also mittels einer elektronischen Schaltung realisierbar) des Wertes gi(X) in Abhängigkeit von den Werten fi,j(X). In einem Beispiel einer quadratischen Optimierung der Differenzen zwischen den Interaktionen fi,j und den "Potentialdifferenzen" gi - gj fand man heraus, daß Funktionen gi(X) wie beispielsweise 2Ngi(X) also die Summe aller Differenzen (die in dieser Hypothese nicht null sind) fi,j,(X) - fj,i(X) für j = 1 bis N gebildet werden mußten. Diese Erklärung zeigt ganz einfach, daß die Vorgehensweise der Erfindung sogar auf die Fälle anwendbar ist (jedoch auf wesentlich komplexere Art und Weise), in denen Klassifikationsergebnisse Pi von N nur annährend ausgehend von Teilklassifikationsergebnissen Pi,j von 2 oder n abgeleitet werden können.
Es wurde ein weiterer wesentlicher Vorteil dieses Moduls genannt, und zwar die Möglichkeit, eine neue Klasse hinzuzufügen, ohne ein vollkommenes Wiedererlernen erforderlich zu machen. Das Hinzufügen einer neuen Klasse kommt, was den Lern-Graphen anbelangt durch Erscheinen eines neuen Knotens zum Ausdruck. Um einen vollständig zusammenhängenden Graphen zu rekonstruieren, muß man lediglich eine der Interaktionen dieses Knotens mit einem der Knoten des Graphen kennen und die Gesamtheit der fehlenden Interaktionen (oder die Entsprechung, der Wert des Potentials dieses Knotens) ableiten. Diese Annäherung entspricht dem Lernen im Falle eines Graphen, bei welchem der Durchlauf der geschlossenen Schleifen auch wirklich null ist. Die zweite Annäherung (für den Fall, daß die erste nicht möglich ist) besteht darin, alle Wahrscheinlichkeiten mit zwei Klassen zwischen dieser neuen Klasse und den bereits bestehenden Klassen zu lernen. Anhand des Graphen interpretiert bedeutet dies, daß alle Interaktionen zwischen diesem neuen Knoten und den Knoten des Graphen bestimmt werden und die im vorangegangenen beschriebene Regel zur Bestimmung der Potentiale gi(X) angewendet wird. Man wird insbesondere feststellen, daß diese neue Bestimmung der Potentiale gi(X) als eine Störung im Vergleich zu den zuvor bestehenden Potentialen dargestellt werden kann.
Man muß nun feststellen, daß im allgemeinen Fall durch nichts bestätigt werden kann, daß das Lernen in den N - 1 Unternetzen (also durch Klassenpaare) ein fehlerfreies Lernen in der von allen Klassen gebildeten Lerneinheit gewährleistet, sobald diese Unternetze, wie dies hier vorgeschlagen wird, durch das Verarbeitungsmodul 3 verbunden sind. Es sind mehrere Lösungen möglich: entweder werden die N Klassen in P Klassenpaare unter Anwendung von Methoden zur Analyse der Daten eingeteilt oder es wird ein zweiter Lernvorgang durchgeführt (Vollendungslernen), sobald die Unternetze verbunden sind.
Erster Fall:
In dem ersten Fall, kann man beispielsweise die Distanzen zwischen den Schwerpunkten der N Klassen berechnen und die Einteilung in Klassenpaare auf die im folgenden beschriebene Art und Weise durchführen:
(1) man wählt das Paar von Klassen, die sich einander am nächsten befinden und bestimmt die diesem Paar entsprechende Verbindung in dem Graphen,
(2) man wählt das Paar von Klassen, die sich von den verbleibenden (in dem Graph nicht verbundenen) Klassenpaaren am nächsten sind und bestimmt die diesem Paar entsprechende Verbindung in dem Graphen,
(3) man leitet die möglichen Interaktionen fi,j ab,
(4) man kehrt zum Schritt Nº 2 zurück, wenn der Graph nicht vollständig verbunden ist, anderenfalls ist der Vorgang abgeschlossen.
Man kann feststellen, daß die Distanzen zwischen den soeben betrachteten Klassen durch die Varianzen zwischen den Klassen wieder normierte Distanzen sein können, wie dies im allgemeinen im Rahmen der Datenanalyse praktiziert wird (siehe Buch "Pattern classification and scene analysis" von R.O. DUDA und P.E.J. HART, Wiley and sons, NEW-YORK, 1973).
Zweiter Fall:
Der Grundgedanke ist in diesem Fall noch einfacher und allgemeiner:
das durch Klassenpaare durchgeführte Lernen wird als ein Vorlernen betrachtet, welches die Ausgangswerte für ein zweites Lernen (Vollendungslernen) bestimmt, sobald die Unternetze verbunden sind. Sind gewisse Objekte schlecht klassifiziert, so wird dies Interaktionen in dem Graph entsprechen, die zuvor unzureichend bestimmt wurden, und somit Fehlern zwischen den nicht durch das Paar-Verfahren gelernten Klassenpaaren. Man wird sich folglich nicht in der allgemeinen Situation befinden, in der ein Objekt in seine Klasse gegen alle anderen Klassen klassifiziert werden muß, sondern lediglich gegen die Klassen, welche dieses unzureichende Klassifizieren ermöglicht haben. Man versteht nun, daß das Vorlernen durch Paare das Lernen im Vergleich zum allgemeinen Fall verbessern muß. Es wird nun zunächst ein Lernen ohne das Modul 3 ausgehend von einer Lernbasis durchgeführt, die gewünschte Ergebnisse der Klassifikationen in Klassenpaaren (oder in Gruppen von n Klassen) einführt, im Anschluß daran wird ein komplementäres Lernen mit dem Verarbeitungsmodul 3 sowie mit einer Lernbasis durchgeführt, welche gewünschte Ergebnisse der Klassifikation in N Klassen einführt.

Claims

1. Neuronales System, das zur Klassifikation von Objekten in N Klassen bestimmt ist, wobei diese System P getrennte neuronale Netze aufweist, von denen jedes in der Lage ist, ein Klassifikationsergebnis (Pi,j(X)) in nur zwei Klassen zu liefern, wobei dieses Ergebnis als die Wahrscheinlichkeit interpretiert werden kann, daß ein Objekt X der Klasse Ci von zwei möglichen Klassen Ci und Cj angehört, wobei die N Klassen in den P neuronalen Netzen repräsentiert sind und die P neuronalen Netze jeweils individuellen Lernphasen unterzogen werden können, dadurch gekennzeichnet, daß ein Signalverarbeitungsmodul (3) mit den P neuronalen Netzen in der Objekterkennungsphase nach der Lernphase verbunden ist, um auf Grund der von den P neuronalen Netzen gelieferten Ergebnisse N Ausgangssignale (Pi(X)) zu liefern, die jeweils Wahrscheinlichkeiten des Zugehörens zu jeder der N Klassen repräsentieren, und daß Mittel vorgesehen sind, um zu den Eingängen des Moduls Werte fi,j(X) zu übertragen, für die gilt

fi,j(X) = log(Pi,j(X)) - log(1 - Pi,j(X))

wobei das Verarbeitungsmodul (3) Schaltungen (30) enthält, die lineare Kombinationen seiner Eingangssignale bilden, und Schaltungen (31), die auf Grund der erhaltenen linearen Kombinationen eine nichtlineare Normierungsfunktion ausführen, wobei diese Normierungsfunktion N Ausgangssignale liefert, deren Summe konstant ist und von denen jedes als eine Wahrscheinlichkeit der Zugehörigkeit zu einer von N Klassen interpretiert werden kann.

2. Neuronales System nach Anspruch 1, dadurch gekennzeichnet, daß die linearen Kombinationen von der Form gi(X) = gj(X) + fi,j(X) sind, worin gi(X) eine lineare Kombination des Index i und gj(X) eine andere lineare Kombination des Index j ist.

3. Neuronales System nach Anspruch 2, dadurch gekennzeichnet, daß eine der Funktionen gj(X) eine Konstante ist und daß sich die anderen von den Funktionen fi,j(X) durch die Formel gi(X) = gj(X) + fi,j(X) ableiten.

4. Neuronales System nach einem der Ansprüche 2 und 3, dadurch gekennzeichnet, daß die nichtlineare Normierungsfunktion am Ausgang des Verarbeitungsmoduls von der folgenden Form ist:

Pi(X) = egi(X)/[Summe der egi(X), für i = 1 bis N].

5. System nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die P Netze Ausgangsneuronen (Ni,j) enthalten, von denen jedes durch eine Schaltung gebildet ist, die eine Funktion gewichteter Summierung (SP) durchführt, gefolgt von einer Schaltung (CS), die eine nichtlineare Sättigungsfunktion durchführt, und daß das Verarbeitungsmodul (3) an seinen Eingängen die Ausgangssignale der Funktionen gewichteter Summierung empfängt.

6. System nach Anspruch 5, dadurch gekennzeichnet, daß die nichtlineare Sättigungsfunktion der Ausgangsneuronen der P Netze eine sigmoide Funktion (der Form ex/(1+ex)) ist.

7. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anzahl der Netze P = N+1 ist.

8. Verfahren zur Klassifikation von Objekten durch ein neuronales System, das ein neuronales System enthält, das zur Klassifikation von Objekten in N Klassen bestimmt ist, wobei diese System P getrennte neuronale Netze aufweist, von denen jedes in der Lage ist, ein Klassifikationsergebnis (Pi,j(X)) in nur zwei Klassen zu liefern, wobei dieses Ergebnis als die Wahrscheinlichkeit interpretiert werden kann, daß ein Objekt X der Klasse Civon zwei möglichen Klassen Ci und Cj angehört, wobei die N Klassen in den P neuronalen Netzen repräsentiert sind und die P neuronalen Netze jeweils individuellen Lernphasen unterzogen werden können, dadurch gekennzeichnet, daß ein Signalverarbeitungsmodul (3) mit den P neuronalen Netzen in der Objekterkennungsphase nach der Lernphase verbunden ist, um auf Grund der von den P neuronalen Netzen gelieferten Ergebnisse N Ausgangssignale (Pi(X)) zu liefern, die jeweils Wahrscheinlichkeiten des Zugehörens zu jeder der N Klassen repräsentieren, und daß Mittel vorgesehen sind, um zu den Eingängen des Moduls Werte fi,j(X) zu übertragen, für die gilt

fi,j(X) = log(Pi,j(X)) - log(1 - Pi,j(X))

wobei das Verarbeitungsmodul (3) Schaltungen (30) enthält, die lineare Kombinationen seiner Eingangssignale bilden, und Schaltungen (31), die auf Grund der erhaltenen linearen Kombinationen eine nichtlineare Normierungsfunktion ausführen, wobei diese Normierungsfunktion N Ausgangssignale liefert, deren Summe konstant ist und von denen jedes als eine Wahrscheinlichkeit der Zugehörigkeit zu einer von N Klassen interpretiert werden kann, dadurch gekennzeichnet, daß:

- eine Lernphase durchgeführt wird, um jedes der P neuronalen Netze auf Grund von Eingangsvektoren und gewünschten Klassifikationsergebnissen in den Gruppen von 2 Klassen ohne Verwendung des Verarbeitungsmoduls (3) zu konfigurieren,

- die Klassifikationsbetriebsphasen nach dem Lernen unter Verwendung des Verarbeitungsmoduls (3) durchgeführt werden, damit die Klassifikationsergebnisse in N Klassen auf Grund der von den P Netzen durchgeführten Erkennung erhalten werden.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß auf die Lernphase der P Netze eine zusätzliche Lernphase des Systems folgt, in welcher das Verarbeitungsmodul (3) angeschlossen ist, mit einer Lernbasis, welche gewünschte Klassifikationsergebnisse in N Klassen eingehen läßt.