DE69333811T2

DE69333811T2 - Verfahren und Gerät zur Erzeugung und Einstellung eines Neurones

Info

Publication number: DE69333811T2
Application number: DE69333811T
Authority: DE
Inventors: Michael C. Norwalk Moed; Chih-Ping Lee
Original assignee: United Parcel Service of America Inc; United Parcel Service Inc
Current assignee: United Parcel Service of America Inc; United Parcel Service Inc
Priority date: 1992-06-19
Filing date: 1993-06-18
Publication date: 2006-05-11
Anticipated expiration: 2013-06-19
Also published as: EP0574937A2; ES2150431T3; US5974404A; EP0574937A3; ATE279758T1; EP1199675A1; DE69333664D1; US5452399A; DE69329218T2; US5664067A; DE69333664T2; DE69333811D1; EP0574937B1; JP2925435B2; DE69329218D1; EP0944021A3; EP1199675B1; EP0944021B1; US5638491A; EP0944021A2

Description

Die Erfindung bezieht sich auf ein Trainingsverfahren und eine Trainingsvorrichtung zum Erzeugen eines Neurons. Allgemein betrifft die Erfindung Klassifikationsverfahren und -systeme und insbesondere Verfahren und Systeme zum Klassifizieren optisch erfasster Zeichenbilder sowie Verfahren und Systeme zum Trainieren derselben.
Auf dem Gebiet des Paketversands werden Pakete von ihren Ursprungsorten zu ihren Zielorten in der ganzen Welt nach Maßgabe von Bestimmungsortadressen geleitet, die maschinell auf Versandetiketten geschrieben sind, welche an diesen Paketen angebracht sind. Zum Leiten von Paketen ist es wünschenswert, automatisierte Systeme zum Klassifizieren optischer Zeichen oder Buchstaben der Art einzusetzen, die diese Adressen lesen können. Ein solches Klassifikationssystem muss imstande sein, Buchstaben oder Zeichen so schnell wie möglich einzuordnen. Herkömmliche Systeme zur Klassifikation von Zeichen oder Buchstaben, die sphärische Neuronen verwenden, wie etwa jene, die im US-Patent Nr. 4 326 259 (Cooper et al.) offenbart sind, sind eventuell nicht in der Lage, die Verarbeitungsanforderungen, die bestimmte Anwendungen stellen, ohne erhebliche Investition in die Hardware auszuführen.
Aus dem Artikel von S. Gruber und L. Villalobos mit dem Titel „Neural network based inspection of machined surfaces using laser scattering", Industrial Inspection II, 12. März 1990, Seiten 85–94, XP-002110595, ist bekannt, aus dem winkligen Spektrum des Lichts, das von der Oberfläche maschinell bearbeiteter Flächen gestreut wird, Merkmale zu extrahieren, die dann als Eingaben in ein Neuralnetz verwendet werden. Das Netz wird durch einen ausgewählten Trainingssatz von Merkmalen von Oberflächen trainiert, deren Qualität bereits individuell festgestellt wurde. Diese Proben werden den Sen soren, die mit den Neuralnetz verbunden sind, wiederholt präsentiert und das Netzwerk trifft eine Entscheidung hinsichtlich dieser endgültigen Vorbereitung, die dann mit der richtigen Antwort verglichen wird und wobei der Fehler zur Modifizierung der verbindenden Wichtungen verwendet wird. Das Netz ist letzten Endes imstande, die Qualität neuer Oberflächen, die ihm präsentiert werden, korrekt zu identifizieren. Dieses Dokument behandelt jedoch nur bereits vorhandene Neuronen und deren Modifikation; es wird nichts über die Erzeugung neuer Neuronen im Neuralnetz für den Fall ausgesagt, dass alle vorhandenen Neutronen zur korrekten Klassifikation des zu erkennenden Gegenstands unzureichend sind.
Die vorliegende Erfindung stellt ein Trainingsverfahren und eine Trainingsvorrichtung zur Erzeugung eines Neurons dar. Die Erfindung wählt mehrere Trainingseingaben aus, wobei jede Trainingseingabe einer ersten möglichen Ausgabe entspricht. Dann kennzeichnet die Erfindung die Qualität jeder Trainingseingabe. Danach wählt die Erfindung aus den gekennzeichneten Trainingseingaben eine Trainingseingabe aus, die von höherer Qualität ist als zumindest eine der anderen Trainingseingaben. Dann erzeugt die Erfindung ein Neuron nach Maßgabe der ausgewählten gekennzeichneten Trainingseingabe.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die 1(a), 1(b), 1(c) und 1(d) sind jeweils Bitmap-Darstellungen eines nominalen Buchstabens „O", eines verschlechterten bzw. verminderten Buchstabens „O", einer nominalen Zahl „7" und einer verschlechterten bzw. verminderten Zahl „7";
2 ist eine graphische Darstellung eines zweidimensionalen Merkmalraums, der mit 8 elliptischen Neuronen besetzt ist, die von dem Klassifikationssystem zur Klassifikation von Bildern der Buchstaben A, B und C verwendet werden können;
3 ist ein Arbeitsablaufdiagramm zur Klassifikation von Eingaben gemäß einer bevorzugten Ausführungsform;
4 ist ein schematisches Diagramm eines Teils des Klassifikationssystems der 3;
5 ist ein Arbeitsablaufdiagramm zur Erzeugung von Neuronen, die von dem Klassifikationssystem der 3 verwendet werden; und
6 ist ein schematisches Diagramm eines Klassifikationssystems, das Cluster- bzw. Anhäufungsklassierer zur Klassifikation von Eingaben gemäß einer bevorzugten Ausführungsform einsetzt.
Die vorliegende Erfindung ist bei einem System zur optischen Buchstaben- oder Zeichenerkennung oder allgemeiner bei einem Klassifikationssystem zur Klassifikation einer Eingabe als eine von einem definierten Satz möglicher Ausgaben anwendbar. Wenn die Eingabe beispielsweise ein optisch erfasstes Bild ist, das einen der 26 Großbuchstaben des englischen Alphabets darstellt, kann das Klassifikationssystem eingesetzt werden, um als Ausgabe jenen Großbuchstaben auszuwählen, der dem Eingabebild zugeordnet ist. Das Klassifikationssystem wird nachstehend in Verbindung mit den 1(a), 2, 3 und 4 erörtert.
Ebenfalls beschrieben ist ein System zum „Trainieren" des Klassifikationssystems. Dieses Trainingssystem wird bevorzugt off-line vor dem Einsatz des Klassifikationssystems betrieben. In dem Zeichenerkennungsbeispiel nimmt das Trainingssystem Eingabebilder an, die für bekannte Zeichen oder Buchstaben stehen, um den Satz möglicher Ausgaben, in den unbekannte Bilder letztlich eingeordnet werden, zu „lernen". Das Trainingssystem wird nachstehend in Verbindung mit 5 erörtert.
Ein System zum Trainieren des Klassifikationssystems auf der Grundlage des Ordnens der Trainingseingaben nach Maßgabe der relativen Qualität der Trainingseingaben ist ebenfalls beschrieben. Dieses System zum Trainieren wird nachstehend in Verbindung mit den 1(a), 1(b), 1(c) und 1(d) erörtert.
Ein Klassifikationssystem, das ein hierarchisch aufgebautes Netwerk aus Cluster-Klassierern auf oberster Ebene und auf unterer Ebene verwendet, ist ebenfalls beschrieben. Der Klassierer auf oberster Ebene ordnet Eingaben in einen von mehreren Ausgabe-Clustern ein, wobei jeder Ausgabe-Cluster einem Untersatz des Satzes möglicher Ausgaben zugeordnet ist. Dann klassifiziert ein Cluster-Klassierer, der dem von dem Klassierer auf oberster Ebene identifizierten Ausgabe-Cluster zugeordnet ist, die Eingabe als einer der möglichen Ausgaben entsprechend. Dieses Klassifikationssystem wird nachstehend in Verbindung mit den 1(a), 1(b), 1(c) und 1(d) erörtert.
Ebenfalls wird ein Neuralsystem zum Klassifizieren von Eingaben, das zwei Untersysteme kombiniert, beschrieben. Ein Untersystem zählt die Anzahl von Neuronen, die einen Merkmalvektor umgeben, der eine bestimmte Eingabe für jede der möglichen Ausgaben darstellt. Wenn eine der möglichen Ausgaben mehr Neuronen aufweist, die den Merkmalvektor umgeben, als jede andere mögliche Ausgabe, dann wählt das System diese mögliche Ausgabe als jener Eingabe entsprechend aus. Andernfalls findet das zweite Untersystem das Neuron, das den kleinsten Wert für ein besonderes Abstandsmaß für jenen Merkmalvektor aufweist. Wenn dieser Wert kleiner als ein be stimmter Schwellenwert ist, dann wählt das System die Ausgabe, die jenem Neuron zugeordnet ist, als der Eingabe entsprechend aus. Dieses Neuralsystem wird nachstehend in Verbindung mit den 1(a), 2, 3 und 4 erörtert.
KLASSIFIKATIONSSYSTEM
Es wird nun auf 1(a) Bezug genommen, worin eine Bitmap- bzw. Bildpunktraster-Darstellung eines nominalen Buchstabens „O" gezeigt ist. Wenn das Klassifikationssystem optisch erfasste Buchstabenbilder klassifiziert, kann jedes zu klassifizierende Buchstabenbild durch eine Eingabe-Bitmap, eine (m × n)-Bildanordnung von Binärwerten, wie in 1(a) gezeigt, dargestellt werden. In einer bevorzugten Ausführungsform erzeugt das Klassifikationssystem einen Vektor in einem k-dimensionalen Merkmalraum aus Information, die in jeder Eingabe-Bitmap enthalten ist. Jeder Merkmalvektor F weist Merkmalselemente f_j auf, wobei 0 ≤ j ≤ k – 1. Die Dimension k des Merkmalraums kann jede beliebige ganze Zahl sein, die größer als eins ist. Jedes Merkmalselement f_j ist ein realer Wert, der einem von k Merkmalen, die von der Eingabe-Bitmap abgeleitet wurden, entspricht.
Die k Merkmale können aus der Eingabe-Bitmap unter Verwendung herkömmlicher Merkmalsextraktionsfunktionen abgeleitet werden, wie beispielsweise etwa der Grid- oder Hadamard-Funktion zur Merkmalsextraktion. Der Merkmalvektor F stellt einen Punkt im k-dimensionalen Merkmalraum dar. Die Merkmalselemente f_j sind die Komponenten des Merkmalvektors F längs der Merkmakaumachsen des k-dimensionalen Merkmalraums. Für die Zwecke der vorliegenden Beschreibung bezieht sich der Ausdruck „Merkmalvektor" auf einen Punkt im Merkmalraum.
In einer bevorzugten Ausführungsform kann eine Diskriminanzanalysetransformation auf Merkmalvektoren auf Grid- oder Hadamard-Basis angewendet werden, um den Merkmalraum zu definieren. In der vorliegenden Ausführungsform kann die Trennung zwischen möglichen Ausgaben erhöht werden und die Dimensionalität des Merkmalvektors kann durch Durchführen dieser Diskriminanzanalyse verringert werden, bei der nur die bedeutendsten Eigenvektoren aus der Diskriminanztransformation zurückbehalten werden.
Das Klassifikationssystem vergleicht einen Merkmalvektor F, der ein bestimmtes Eingabebild darstellt, mit einem Satz von Neuronen im Merkmalraum, wobei jedes Neuron für einen geschlossenen k-dimensionalen Bereich oder ein „Hypervolumen" im k-dimensionalen Merkmalraum steht. Wenn beispielsweise (k = 2), ist jedes Neuron ein Gebiet in einem 2-dimensionalen Merkmalraum, und wenn (k = 3), ist jedes Neuron ein Volumen in einem 3-dimensionalen Merkmalraum. 2 zeigt eine graphische Darstellung eines exemplarischen 2-dimensionalen Merkmalraums, der mit acht 2-dimensionalen Neuronen besetzt ist.
Bei einem bevorzugten Klassifikationssystem ist die Grenze zumindest eines der Neuronen, die einen k-dimensionalen Merkmalraum besetzen, durch zumindest zwei Achsen definiert, die von unterschiedlicher Länge sind. Einige dieser Neuronen können allgemein mathematisch dargestellt werden als:
worin c_j den Mittelpunkt des Neurons definiert, b_j für die Längen der Neuronenachsen steht und m und A für positive reale Konstanten stehen. In einer bevorzugten Ausführungsform sind zumindest zwei der Neuronenachsen von unterschiedlicher Länge. Die Werte g_j, die die Gleichung (1) erfüllen, definieren die Punkte im Merkmalraum, die innerhalb oder auf der Grenze des Neurons liegen. Fachleute werden verstehen, dass andere Neuronen im Rahmen der vorliegenden Erfindung durch andere mathematische Ausdrücke dargestellt werden können. Beispielsweise kann ein Neuron durch den Ausdruck:
definiert werden, worin die Funktion „MAX" den Maximalwert des Verhältnisses berechnet, wenn j von 0 zu k – 1 läuft. Neuronen, die durch die Gleichung (2) definiert werden, sind Hyperrechtecke.
In einer bevorzugten Ausführungsform sind die Neuronen Hyperellipsen in dem k-dimensionalen Merkmalraum. Eine Hyperellipse ist jedes beliebige Hypervolumen, das durch die Gleichung (1) definiert ist, wobei (m = 2) und (A = 1). Insbesondere ist eine Hyperellipse definiert durch die Funktion:
worin c_j den Mittelpunkt der Hyperellipse definiert, b_j für die Achsenlängen der Hyperellipse steht und die Werte g_j, die die Gleichung (3) erfüllen, die Punkte definieren, die innerhalb oder auf der Grenze der Hyperellipse liegen. Wenn alle Achsen von derselben Länge sind, ist die Hyperellipse eine Hypersphäre. In einer bevorzugten Ausführungsform sind in zumindest einem der Neuronen zumindest zwei der Achsen von unterschiedlicher Länge. Als Beispiel ist in 2 das elliptische Neuron 1 gezeigt, das einen Mittelpunkt (c₀ ¹, c₁ ¹) und Achsen b₀ ¹, b₁ ¹ von unterschiedlicher Länge hat. In einer bevorzugten Ausführungsform sind die Achsen der Neuronen mit den Koordinatenachsen des Merkmalraums ausgerichtet.
Jedes Neuron ist einer bestimmten möglichen Ausgabe zugeordnet. Beispielsweise kann jedes Neuron einem der 26 Großbuchstaben entsprechen. Jedes Neuron ist nur einer der möglichen Ausgaben (z. B. Buchstaben) zugeordnet, aber jeder möglichen Ausgabe können ein oder mehrere Neuronen zugeordnet sein. Des Weiteren können Neuronen im Merkmalraum einander überlappen. Beispielsweise entsprechen, wie in 2 gezeigt ist, die Neuronen 0, 1 und 7 dem Buchstaben „A", die Neuronen 2, 3, 5 und 6 entsprechen dem Buchstaben „B" und das Neuron 4 entspricht dem Buchstaben „C". Die Neuronen 1 und 7 überlappen sich, ebenso die Neuronen 2, 3 und 6 sowie die Neuronen 3, 5 und 6. In einer (nicht gezeigten) alternativen Ausführungsform können sich Neuronen überlappen, die unterschiedlichen möglichen Ausgaben entsprechen. Das Klassifikationssystem der vorliegenden Erfindung kann die Neuronen der 2 zum Klassifizieren von Eingabebildern verwenden, die die Buchstaben A, B und C darstellen.
Es wird nun auf 3 Bezug genommen, worin ein Arbeitsablaufdiagramm des Klassifikationssystems 300 zum Klassifizieren einer Eingabe (z. B. einer Bitmap eines optisch erfassten Buchstabenbilds) als eine von einem Satz möglicher Ausgaben (z. B. Buchstaben) gemäß einer bevorzugten Ausführungsform gezeigt ist. In der bevorzugten Ausführungsform, die in 3 gezeigt ist, werden die Neuronen im Klassifikationssystem 300 parallel verarbeitet. In einer (nicht gezeigten) alternativen Ausführungsform können die Neuronen des Klassifikationssystems 300 seriell verarbeitet werden. Eine Einrichtung 302 ist zum Empfangen einer Eingabebild-Bitmap und zum Erzeugen eines Merkmalvektors, der in jener Bitmap enthaltene Information darstellt, vorgesehen. Einrichtungen 304 und 306 sind zum Vergleichen des Merkmalvektors, der von der Einrichtung 302 erzeugt wurde, mit einem Satz von Neuronen, von denen zumindest eine zwei oder mehr Achsen unterschiedlicher Länge hat, vorgesehen. Das Klassifikationssystem 300 wählt auf der Grundlage dieses Vergleichs eine der möglichen Ausgaben aus.
In einer bevorzugten Ausführungsform klassifiziert das Klassifikationssystem 300 optisch erfasste Buchstaben-Bitmaps mittels eines Netzwerks hyperelliptischer Neuronen. Die Einrichtung 302 des Klassifikationssystems 300 empfängt als Eingabe die Bitmap eines optisch erfassten zu klassifizierenden Buchstabenbilds und erzeugt einen entsprechenden Merkmalvektor F. Dann bestimmt die Einrichtung 304 einen „elliptischen Abstand" r_x als Funktion des Zentrums und der Achsen jedes der E_num hyperelliptischen Neuronen x im Netzwerk und Merkmalvektor F, worin:
In Gleichung (4) definieren c_j ^x und b_j ^x den Mittelpunkt bzw. die Achsenlängen des Neurons x, wobei x von 0 bis E_num – 1 verläuft, und f_j steht für die Elemente des Merkmalvektors F. Fachleute werden erkennen, dass Abstandsmaße, die sich von jenen der Gleichung (4) unterscheiden, ebenfalls verwendet werden können.
Die Einrichtung 306 bestimmt, welche der E_num Neuronen gegebenenfalls den Merkmalvektor F umgeben. Ein Neuron umgibt einen Merkmalvektor- und kann als „umgebendes Neuron" bezeichnet werden –, wenn der Merkmalvektor innerhalb der Grenze liegt, die das Neuron im Merkmalraum definiert. Bei Hyperellipsen umgibt das Neuron x den Merkmalvektor F, wenn (r_x < 1). Wenn (r_x = 1), liegt der Merkmalvektor F auf der Grenze des Neurons x, und wenn (r_x > 1), liegt der Merkmalvektor F außerhalb des Neurons x. Da sich Neuronen im Merkmalraum überlappen können, kann ein bestimmter Merkmalvektor von mehr als einem Neuron umgeben sein. In 2 wird der Merkmalvektor F_g, der einem bestimmten Eingabebild entspricht, von den Neuronen 2 und 6 umgeben. Alternativ kann ein Merkmalvektor innerhalb keiner Neuronen liegen, wie in dem Fall des Merkmalvektors F_h der 2, der einem anderen Eingabebild entspricht.
Die Einrichtung 308 findet das „nächste" Neuron für jede mögliche Ausgabe. Wie zuvor beschrieben wurde, ist jedes Neuron einer und nur einer möglichen Ausgabe zugeordnet, aber jeder möglichen Ausgabe können ein oder mehrere Neuronen zugeordnet sein. Die Einrichtung 308 analysiert alle Neuronen, die jeder möglichen Ausgabe zugeordnet sind, und bestimmt das dem Merkmalvektor F „nächste" Neuron für jene Ausgabe. Das „naheste" Neuron ist dasjenige, das den kleinsten „Abstands"-Messwert r_x aufweist. In dem Beispiel des Merkmalvektors F_g der 2 wählt die Einrichtung 308 das Neuron 1 als das dem Merkmalvektor F_g „nächste" Neuron für den Buchstaben „A" aus. Sie wählt auch das Neuron 2 als das „nächste" Neuron für den Buchstaben „B" und das Neuron 4 für den Buchstaben „C" aus.
Die Einrichtung 310 in 3 zählt die Stimmen für jede mögliche Ausgabe. In einer ersten bevorzugten Ausführungsform wird jedes Neuron, das den Merkmalvektor F einschließt, von der Einrichtung 310 als einzelne „Stimme" für die diesem Neuron zugeordnete Ausgabe behandelt. In einer alternativen bevorzugten Ausführungsform, die mit Bezug auf die nachstehende Gleichung (7) detaillierter erörtert wird, wird jedes Neuron, das den Merkmalvektor F umgibt, von der Einrichtung 310 so behandelt, dass es für die jenem Neuron zugeordnete Ausgabe eine „gewichtete Stimme" darstellt, wobei die einem bestimmten Neuron zugeordnete Wichtung eine Funktion der Anzahl der Trainingseingabe-Merkmalvektoren ist, die von jenem Neuron umgeben werden. In einer bevorzugten Ausführungsform implementiert die Einrichtung 310 eine Verhältnisabstimmung, wobei die gewichtete Stimme für ein bestimmtes Neuron gleich der Anzahl der Merkmalvektoren ist, die von jenem Neuron umgeben werden. Für jede mögliche Ausgabe registriert die Einrichtung 310 alle Stimmen für alle Neuronen, die den Merkmalvektor F umgeben. Es gibt drei potenzielle Arten der Abstimmungsergebnisse: entweder (1) ein Ausgabebuchstabe erhält mehr Stimmen als jeder andere Ausgabebuchstabe, (2) zwei oder mehr Ausgabebuchstaben erhalten gleich viel der meisten Stimmen oder (3) alle Ausgabebuchstaben erhalten keine Stimmen, was die Situation darstellt, in der keine Neuronen den Merkmalvektor F umgeben. In 2 kann der Merkmalvektor F_g zu der ersten Art des Abstimmungsergebnisses führen: Der Buchstabe „B" kann 2 Stimmen erhalten, die den umgebenden Neuronen 2 und 6 entsprechen, während die Buchstaben „A" und „C" keine Stimmen erhalten. Der Merkmalvektor F_h der 2 führt zu der dritten Art von Abstimmungsergebnis, bei der jeder Buchstabe keine Stimmen erhält.
Die Einrichtung 312 bestimmt, ob sich die erste Art des Abstimmungsergebnisses aus der Anwendung der Einrichtung 310 auf den Merkmalvektor F ergeben hat. Wenn nur einer der möglichen Ausgabebuchstaben die meisten Stimmen erhalten hat, dann leitet die Einrichtung 312 die Verarbeitung des Klassifikationssystems 300 zur Einrichtung 314 weiter, die jenen Ausgabebuchstaben als der Eingabebuchstaben-Bitmap entsprechend auswählt. Andernfalls setzt sich die Verarbeitung mit der Einrichtung 316 fort. Für den Merkmalvektor F_g in 2 bestimmt die Einrichtung 312, dass der Buchstabe „B" mehr Stimmen als jeder andere Buchstabe hat, und weist die Einrichtung 314 an, „B" als den Buchstaben auszuwählen, der dem Merkmalvektor F_g entspricht. Für den Merkmalvektor F_h in 2 bestimmt die Einrichtung 312, dass kein einzelner Buchstabe die meisten Stimmen erhalten hat, und leitet die Verarbeitung an die Einrichtung 316 weiter.
Die Einrichtung 316 durchbricht den Gleichstand für das zweite und dritte potenzielle Abstimmungsergebnis, bei dem keines direkt mit den Stimmen vorne liegt, entweder wegen eines Gleichstands oder weil der Merkmalvektor innerhalb keiner Neuronen liegt. Zum Durchbrechen des Gleichstands wählt die Einrichtung 316 jenes Neuron x, das im elliptischen Abstand dem Merkmalvektor F am „nächsten" ist, und vergleicht r_x mit einem spezifizierten Schwellenwert θ^m. Wenn (r_x ≤ θ^m), dann wählt die Einrichtung 318 den Ausgabebuchstaben, der dem Neuron x zugeordnet ist, als der Eingabebuchstaben-Bitmap entsprechend aus. Andernfalls wird der Gleichstand nicht durchbrochen und das Klassifikationssystem 300 wählt keinen Buchstaben für das Eingabebild. Ein „Kein-Buchstabe-ausgewählt"-Ergebnis ist eine der möglichen Ausgaben aus dem Klassifikationssystem 300. Wenn zum Beispiel das Klassifikationssystem 300 so entworfen ist, dass es Großbuchstaben erkennt, und das Eingabebild der Zahl „7" entspricht, ist ein Kein-Buchstabe-ausgewählt-Ergebnis eine geeignete Ausgabe.
Der Schwellenwert θ^m kann jede beliebige Zahl sein, die größer als 1 ist, und beträgt bevorzugt etwa 1,25. Wenn der Merkmalvektor F innerhalb des Neurons x ist, dann ist (r_x < 1) und wenn der Merkmalvektor F außerhalb des Neurons x ist, dann ist (r_x > 1), wie zuvor beschrieben wurde. Wenn das Abstimmungsergebnis aus der Einrichtung 310 einen Gleichstand für die meisten Nicht-Null-Stimmen darstellt, dann wählt die Einrichtung 316 den Ausgabebuchstaben aus, der dem umgebenden Neuron zugeordnet ist, das ein Zentrum hat, das dem Merkmalvektor F in elliptischem „Abstand" am „nächsten" ist. Alternativ kann, wenn es keine umgebenden Neuronen gibt, die Einrichtung 316 die Eingabe-Bitmap immer noch als dem Ausgabebuchstaben, der dem „nächsten" Neuron x zugeordnet ist, entsprechend klassifizieren, wenn (r_x ≤ θ^m). Die Verwendung eines Schwellenwerts θ^m von etwa 1,25 stellt einen Bereich um jedes Neuron herum fest, das von der Einrichtung 316 zum Gleichstand-Durchbrechen verwendet wird. In der 2 wird der Merkmalvektor F_h als Buchstabe „C" klassifiziert, wenn das „Abstands"-Maß r₄ weniger als der Schwellenwert θ^m beträgt; andernfalls wird kein Buchstabe ausgewählt.
Es wird nun auf 4 Bezug genommen, worin ein schematisches Diagramm des Klassifikationssystems 400 der vorliegenden Erfindung zur Klassifikation von Eingaben als einem Satz von s möglichen Ausgaben entsprechend gezeigt ist. Das Klassifikationssystem 400 kann einen Teil der Verarbeitung, der von dem Klassifikationssystem 300 der 3 durchgeführt wird, ausführen. Das Klassifikationssystem 400 nimmt den Merkmalvektor F, der von den Merkmalselementen (f₀, f₁, ..., f_k-1) dargestellt wird, an und erzeugt die Werte q^t und q^m, die als Zeiger und/oder Flaggen zum Bezeichnen der auszuwählenden möglichen Ausgabe dienen. Das Klassifikationssystem 400 weist vier Untersystemebenen auf: die Eingabeebene 402, die Verarbeitungsebene 404, die Ausgabeebene 406 und die Nachbearbeitungsebene 408.
Die Eingabeebene 402 weist den Satz I von k Eingabeverarbeitungseinheiten i_j auf, wobei j von 0 bis k – 1 verläuft. Jede Eingabeverarbeitungseinheit i_j empfängt als Eingabe ein und nur ein Element f_j des Merkmalvektors F und überträgt diesen Wert an die Verarbeitungsebene 404. Die Eingabeebene 402 fungiert als ein Satz von übertragenden Durchgangselementen.
Die Verarbeitungsebene 404 weist den Satz E von E_num elliptischen Verarbeitungseinheiten e_x auf, wobei x von 0 bis E_num – 1 verläuft. Jede elliptische Verarbeitungseinheit e_x ist verbunden mit und empfängt eine Eingabe von der Ausgabe jeder Eingabeverarbeitungseinheit i_j der Eingabeebene 402. Die elliptische Verarbeitungseinheit e_x implementiert die Gleichung (4) für das Neuron x des Klassifikationssystems 300 der 3. Wie das Neuron x des Klassifikationssystems 300 ist jede elliptische Verarbeitungseinheit e_x durch zwei Vektoren interner Parameter definiert: B^x und C^x. Die Elemente des Vektors B^x sind die Längen der Achsen des Neurons x, wobei: Bx = (b0 x, b1 x, ..., bx k-1)T, (5)und die Elemente des Vektors C^x sind die Koordinaten des Mittelpunkts des Neurons x, wobei: Cx = (c0 x, c1 x, ..., cx k-1). (6)
Jede elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 berechnet das Abstandsmaß r_x von dem Merkmalvektor F zu dem Zentrum des Neurons x. Die Verarbeitungsebene 404 ist mit der Einrichtung 304 des Klassifikationssystems 300 verknüpft. Wenn (r_x < 1), dann gilt die elliptische Verarbeitungseinheit e_x als aktiviert; andernfalls ist die elliptische Verarbeitungseinheit e_x nicht aktiviert. Mit anderen Worten, die elliptische Verarbeitungseinheit e_x ist aktiviert, wenn das Neuron x den Merkmalvektor F umgibt. Jede elliptische Verarbeitungseinheit e_x überträgt das berechnete Abstandsmaß r_x an nur zwei Ausgabeverarbeitungseinheiten der Ausgabeebene 406.
Die Ausgabeebene 406 umfasst zwei Teile: den Gesamtausgabeteil 410 und den Ausgabeminimierungsteil 412. Der Gesamtausgabeteil 410 enthält den Satz O^t von s Ausgabeverarbeitungseinheiten o_n ^t und der Ausgabeminimierungsteil 412 enthält den Satz O^m von s Ausgabeverarbeitungseinheiten o_n ^m, wobei n von 0 bis s – 1 verläuft, wobei s ebenfalls die Anzahl möglicher Ausgaben ist, für die das Klassifikationssystem 400 trainiert worden ist. Wenn beispielsweise Großbuchstaben klassifiziert werden, ist s = 26. Jedes Verarbeitungseinheitspaar (o_n ^t, o_n ^m) ist nur einer möglichen Ausgabe zugeordnet und umgekehrt.
Jede elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 ist verbunden mit und liefert eine Ausgabe an nur eine Ausgabeverarbeitungseinheit o_n ^t des Gesamtausgabeteils 410 und an nur eine Ausgabeverarbeitungseinheit o_n ^m des Ausgabeminimierungsteils 412. Jedoch können jede Ausgabeverarbeitungseinheit o_n ^t und jede Ausgabeverarbeitungseinheit o_n ^m verbunden sein mit und eine Eingabe empfangen von einer oder mehreren elliptischen Verarbeitungseinheiten e_x der Verarbeitungsebene 404. Diese Beziehungen sind durch Verbindungsmatrices W^t und W^m dargestellt, die beide von der Dimension (s × E_num) sind. Wenn in einer bevorzugten Ausführungsform eine Verbindung zwischen der elliptischen Verarbeitungseinheit e_x der Verarbeitungsebene 400 und der Ausgabeverarbeitungseinheit o_n ^t des Ausgabegesamtteils 410 der Ausgabeebene 406 besteht, erhält ein Eintrag W_AX ^t in der Verbindungsmatrix W^t einen Wert, der gleich der Anzahl von Trainingseingabemerkmalvektoren ist, die vom Neuron x umgeben sind; andernfalls hat er den Wert 0. In einer weiteren bevorzugten Ausführungsform hat ein Eintrag W_nx ^t den Wert 1, wenn eine Verbindung zwischen der elliptischen Verarbeitungseinheit e_x und der Ausgabeverarbeitungseinheit o_n ^t besteht.
Die Verbindungsmatrix W^m repräsentiert die Verbindungen zwischen der Verarbeitungsebene 404 und dem Ausgabeminimierungsteil 412 der Ausgabeebene 406 und steht zur Verbindungsmatrix W^t in Beziehung. Ein Eintrag w_nx ^m in die Verbindungsmatrix W^m erhält einen Wert 1 für jeden Eintrag w_nx ^t in die Verbindungsmatrix W^t, der nicht Null ist. Andernfalls erhält der Eintrag W_nx ^m den Wert 0.
Jede Ausgabeverarbeitungseinheit o_n ^t in dem Gesamtausgabeteil 410 berechnet einen Ausgabewert o_n ^t, wobei:
wobei die Funktion T(r_x) den Wert 0 meldet, wenn (r_x > 1); andernfalls meldet sie den Wert 1. Mit anderen Worten, die Funktion T(r_x) meldet den Wert 1, wenn die elliptische Verarbeitungseinheit e_x der Verarbeitungsebene 404 aktiviert ist. Die Ausgabeverarbeitungseinheit o_n ^t zählt die Stimmen für die mögliche Ausgabe, der sie zugeordnet ist, und gibt die Gesamtsumme aus. Der Gesamtausgabeteil 410 der Ausgabeebene 406 ist der Einrichtung 306 und der Einrichtung 310 des Klassifikationssystems 300 zugeordnet.
Ähnlich berechnet jede Ausgabeverarbeitungseinheit o_n ^m im Ausgabeminimierungsteil 412 einen Ausgabewert o_n ^m, wobei:
wobei die Funktion „MIN" den Minimalwert von (w_nx ^mr_x) über alle elliptischen Verarbeitungseinheiten e_x meldet. Daher untersucht jede Ausgabeverarbeitungseinheit o_n ^m jede der elliptischen Verarbeitungseinheiten e_x, mit der sie verbunden ist, und gibt einen echten Wert gleich dem minimalen Ausgabewert von diesen elliptischen Verarbeitungseinheiten aus. Der Ausgabeminimierungsteil 412 der Ausgabeebene 406 ist der Einrichtung 308 des Klassifikationssystems 300 zugeordnet.
Die Nachbearbeitungsebene 408 weist zwei Nachbearbeitungseinheiten p^t und p^m auf. Die Nachbearbeitungseinheit p^t ist verbunden mit und empfängt eine Eingabe von jeder Ausgabeverarbeitungseinheit o_nt des Gesamtausgabeteils 410 der Ausgabeebene 406. Die Nachbearbeitungseinheit p^t findet die Ausgabeverarbeitungseinheit o_n ^t, die den maximalen Ausgabewert hat, und erzeugt den Wert q^t. Wenn die Ausgabeverarbeitungseinheit o_n ^t des Gesamtausgabeteils 410 einen Ausgabewert hat, der größer als jene aller anderen Ausgabeverarbeitungseinheiten des Gesamtausgabeteils 410 ist, dann wird der Wert q^t auf n gesetzt, dem Index für jene Ausgabeverarbeitungseinheit. Wenn beispielsweise Großbuchstaben klassifiziert werden, kann n für „A" 0 sein und für „B" 1 sein. Andernfalls wird der Wert q^t auf –1 gesetzt, um anzugeben, dass der Gesamtausgabeteil 410 der Ausgabeebene 406 die Eingabe nicht klassifiziert hat. Die Nachbearbeitungseinheit p^t der Nachbearbeitungsebene 408 ist der Einrichtung 312 des Klassifikationssystems 300 zugeordnet.
Ähnlich ist die Nachbearbeitungseinheit p^m – die andere Nachbearbeitungseinheit auf der Nachbearbeitungsebene 408 – verbunden mit und empfängt eine Eingabe von jeder Ausgabeverarbeitungseinheit o_n ^m des Ausgabeminimierungsteils 412 der Ausgabeebene 406. Die Nachbearbeitungseinheit p^m findet die Ausgabeverarbeitungseinheit O_n ^m, die den minimalen Ausgabewert hat, und erzeugt den Wert q^m. Wenn die Ausgabeverarbeitungseinheit o_n ^m des Ausgabeminimierungsteils 412 einen Ausgabewert von weniger als einer spezifizierten Schwelle θ^m hat, dann wird der Wert q^m auf den entsprechenden Index n gesetzt. Andernfalls wird der Wert q^m auf –1 gesetzt, um anzugeben, dass der Ausgabeminimierungsteil 412 der Ausgabeebene 406 die Eingabe nicht klassifiziert hat, weil der Merkmalvektor F außerhalb des das Neuron x umgebenden Schwellenbereichs für alle Neuronen x liegt. Die Schwelle θ^m kann dieselbe Schwelle θ^m sein, die in dem Klassifikationssystem 300 der 3 verwendet wird. Die Nachbearbeitungseinheit p^m der Nachbearbeitungsebene 408 ist der Einrichtung 316 des Klassifikationssystems 300 zugeordnet.
Die Klassifikation der Eingabe wird durch Analysieren der Werte qt und qm abgeschlossen. Wenn (q^t ≠ –1), dann wird die Eingabe als mögliche Ausgabe qt des Satzes von s möglichen Ausgaben klassifiziert. Wenn (q^t = –1) und (q^m ≠ –1), dann wird die Eingabe als mögliche Ausgabe q^m des Satzes von s möglichen Ausgaben klassifiziert. Andernfalls, wenn beide Werte –1 sind, wird die Eingabe nicht als irgendeine der s möglichen Ausgaben klassifiziert.
TRAININGSSYSTEM
Ein neurales Netzwerk muss trainiert werden, bevor es zum Klassifizieren von Eingaben eingesetzt werden kann. Das Trainingssystem führt dieses erforderliche Training durch Erzeugung zumindest eines nicht-sphärischen Neurons in dem k-dimensionalen Merkmalraum durch. Das Trainingssystem wird vorzugsweise off-line vor dem Einsatz eines Klassifikationssystems implementiert.
Das Trainingssystem erzeugt Neuronen auf der Basis eines Satzes von Trainingseingaben, wobei von jeder Trainingseingabe bekannt ist, dass sie einer der möglichen Ausgaben in dem Klassifikationssatz entspricht. Wenn man mit dem Beispiel der Großbuchstaben fortfährt, die zur Beschreibung des Klassifikationssystems 300 dienten, kann jede Trainingseingabe eine Bitmap sein, die einem der Buchstaben von „A" bis „Z" entspricht. Jeder Buchstabe muss durch mindestens eine Trainingseingabe dargestellt werden, obwohl typischerweise 250 bis 750 Trainingseingaben für jeden Buchstaben verwendet werden.
Es wird nun auf 5 Bezug genommen, worin ein Arbeitsablaufdiagramm des Trainingssystems 500 zur Erzeugung von Neuronen in einem k-dimensionalen Merkmalraum gezeigt ist, das in dem Klassifikationssystem 300 der 3 oder dem Klassifikationssystem 400 der 4 verwendet werden kann. Wenn zum Beispiel für eine Ausgabenklassifikation trainiert wird, verarbeitet das Trainingssystem 500 nacheinander einen Satz von Trainings-Bitmap-Eingaben, die bekannten Ausgaben entsprechen. An einem bestimmten Punkt während des Trainings gibt es einen Satz vorhandener Merkmalvektoren, die den zuvor verarbeiteten Trainingseingaben entsprechen, und einen Satz vorhandener Neuronen, die aus diesen vorhandenen Merkmalvektoren erzeugt worden sind. Für jede Trainingseingabe erzeugt das Trainingssystem 500 einen Merkmalvektor in einem Merkmalraum, der Information darstellt, die in dieser Trainingseingabe enthalten ist.
Das Trainingssystem 500 wendet bei der Verarbeitung jeder Trainingseinheit zwei Regeln an. Die erste Trainingsregel lautet, dass, wenn der Merkmalvektor, der der Trainingseinheit, die gerade verarbeitet wird, entspricht, von irgendwelchen vorhandenen Neuronen umgeben wird, die einer anderen bekannten Ausgabe zugeordnet sind, die Grenzen jener vorhandenen Neuronen dann räumlich angepasst werden, so dass sie jenen Merkmalvektor ausschließen – das heißt, dass sie sicherstellen, dass jener Merkmalvektor nicht innerhalb der Grenze jener vorhandenen Neuronen liegt. Andernfalls werden die Neuronen nicht räumlich angepasst. Wenn zum Beispiel die aktuelle Trainingseingabe dem Buchstaben „R" entspricht und der Merkmalvektor, der jener Trainingseingabe entspricht, von zwei vorhandenen „P"-Neuronen und einem vorhandenen „B"-Neuron umgeben wird, dann werden die Grenzen dieser drei vorhandenen Neuronen räumlich angepasst, um sicherzustellen, dass sie den aktuellen Merkmalvektor nicht umgeben.
Die zweite Regel lautet, dass, wenn der aktuelle Merkmalvektor nicht von zumindest einem vorhandenen Neuron, das derselben bekannten Ausgabe zugeordnet ist, umgeben ist, ein neues Neuron erschaffen wird. Andernfalls wird kein neues Neuron für den aktuellen Merkmalvektor erschaffen. Wenn zum Beispiel die aktuelle Trainingseingabe dem Buchstaben „W" entspricht und der Merkmalvektor, der dieser Trainingseingabe entspricht, nicht von irgendeinem Neuron, das dem Buchstaben „W" zugeordnet ist, umgeben ist, dann wird ein neues „W"-Neuron geschaffen, um diesen aktuellen Merkmalvektor zu umgeben. In einer bevorzugten Ausführungsform wird ein neues Neuron durch Erzeugen eines temporären hypersphärischen Neurons und danach räumliches Anpassen dieses temporären Neurons zur Erzeugung des neuen Neurons geschaffen. In einer alternativen bevorzugten Ausführungsform kann das temporäre Neuron eine nicht-sphärische Hyperellipse sein.
In einer bevorzugten Ausführungsform erzeugt das Trainingssystem 500 hyperelliptische Neuronen aus einem Satz von Trainings-Bitmap-Eingaben, die bekannten Buchstaben entsprechen. Das Trainingssystem 500 beginnt ohne vorhandene Merkmalvektoren und ohne vorhandene Neuronen. Die Verarbeitung des Trainingssystems 500 beginnt mit einer Einrichtung 502, die als aktuelle Trainingseingabe eine erste Trainingseingabe aus einem Satz von Trainingseingaben auswählt. Eine Einrichtung 504 erzeugt den Merkmalvektor F, der der aktuellen Trainingseingabe entspricht.
Wenn die erste Trainingseingabe die aktuelle Trainingseingabe ist, gibt es keine vorhandenen Neuronen und damit keine vorhandenen Neuronen, die den Merkmalvektor F einschließen. In diesem Fall fließt die Verarbeitung des Trainingssystems 500 zur Einrichtung 514, die ein auf den Merkmalvektor F zentriertes neues Neuron er schafft. Das neue Neuron ist vorzugsweise durch die Gleichung (3) definiert, wobei alle neuen Neuronenachsen auf dieselbe Länge, das heißt (bj = λ) für alle j, eingestellt sind. Da die neuen Neuronenachsen alle von derselben Länge sind, ist das neue Neuron eine Hypersphäre im Merkmalraum des Radius λ. In einer bevorzugten Ausführungsform kann der Wert der Konstanten λ doppelt so groß sein wie das größte Merkmalselement f_j aller Merkmalvektoren F für den gesamten Satz von Trainingseingaben. Da keine Merkmalvektoren vorhanden sind, wenn die erste Trainingseingabe verarbeitet wird, fließt das Trainingssystem 500 als nächstes zur Einrichtung 528, von welchem Punkt aus die Verarbeitung des Trainingssystems 500 allgemeiner beschrieben werden kann.
Die Einrichtung 528 bestimmt, ob die aktuelle Trainingseingabe die letzte Trainingseingabe in dem Satz von Trainingseingaben ist. Wenn nicht, dann leitet die Einrichtung 528 die Verarbeitung des Trainingssystems 500 zu der Einrichtung 530, die die nächste Trainingseingabe als die aktuelle Trainingseingabe auswählt. Dann erzeugt die Einrichtung 504 den Merkmalvektor F, der der aktuellen Trainingseingabe entspricht.
Die Einrichtungen 506 und 508 bestimmen, welche vorhandenen Neuronen gegebenenfalls räumlich anzupassen sind, um zu vermeiden, dass sie den Merkmalvektor F umgeben. In einer bevorzugten Ausführungsform passt die Einrichtung 510 ein vorhandenes Neuron an, wenn dieses Neuron nicht demselben bekannten Buchstaben zugeordnet ist wie die aktuelle Trainingseingabe (wie von der Einrichtung 506 bestimmt) und wenn es den Merkmalvektor F umgibt (wie von der Einrichtung 508 bestimmt). Die Einrichtung 508 bestimmt, ob ein vorhandenes Neuron den Merkmalvektor F umgibt, indem sie das „Abstands"-Maß r_x der Gleichung (4) berechnet und prüft sowie prüft, ob (r_x < 1), wie vorstehend beschrieben.
In einer bevorzugten Ausführungsform passt die Einrichtung 510 ein vorhandenes Neuron räumlich an, indem sie es entlang nur einer Achse optimal schrumpft. In einer anderen bevorzugten Ausführungsform schrumpft die Einrichtung 510 ein vorhandenes Neuron proportional entlang einer oder mehrerer Achsen. Diese Schrumpfverfahren werden in der vorliegenden Beschreibung später mehr im Detail erläutert. Nach dem Verarbeiten durch die Einrichtung 510 ist der aktuelle Merkmalvektor nicht von irgendwelchen vorhandenen Neuronen umgeben, die einem Buchstaben zugeordnet sind, der sich von dem Buchstaben unterscheidet, der der Trainingseingabe zugeordnet ist. Daher liegt der aktuelle Merkmalvektor entweder außerhalb oder auf den Grenzen derartiger vorhandener Neuronen.
Das Trainingssystem 500 bestimmt ebenfalls, ob ein neues Neuron geschaffen werden soll, und wenn ja, erzeugt es dieses neue Neuron. Ein neues Neuron wird (von der Einrichtung 514) erschaffen, wenn der Merkmalvektor F nicht von irgendeinem vorhandenen Neuron, das demselben Buchstaben wie die Trainingseinheit zugeordnet ist (wie durch die Einrichtung 512 bestimmt), umgeben wird. Wie vorstehend beschrieben wurde, erzeugt die Einrichtung 514 ein neues Neuron, das bevorzugt eine Hypersphäre mit dem Radius λ ist.
Dann prüft das Trainingssystem 500 jedes neue von der Einrichtung 514 geschaffene Neuron und passt es bei Bedarf räumlich an, um sicherzustellen, dass es keine vorhandenen Merkmalvektoren umgibt, die einem Buchstaben zugeordnet sind, der sich von dem Buchstaben, der der Trainingseingabe zugeordnet ist, unterscheidet. Die Einrichtungen 516, 524 und 526 steuern die Abfolge der Überprüfung eines neuen Neurons gegenüber jedem der vorhandenen Merkmalvektoren, indem sie jeweils einen der vorhandenen Merkmalvektoren auswählen. Wenn ein neues Neuron einem Buchstaben zugeordnet ist, der sich von jenem des aktuell ausgewählten vorhandenen Merkmalvektors (wie von der Einrichtung 518 bestimmt) unterscheidet, und wenn das neue Neuron diesen ausgewählten vorhandenen Merkmalvektor umgibt (wie von der Einrichtung 520 mittels Gleichung (4) bestimmt), dann passt die Einrichtung 524 das neue Neuron durch einen derselben Schrumpfalgorithmen, die von der Einrichtung 510 verwendet werden, räumlich an. Das Trainingssystem 500 fährt fort, ein neues Neuron zu prüfen und anzupassen, bis alle vorhandenen Merkmalvektoren verarbeitet worden sind. Da das von der Einrichtung 514 geschaffene hypersphärische Neuron von der Einrichtung 522 angepasst wird, ist dieses hypersphärische Neuron ein temporäres Neuron mit temporären Neuronenachsen von gleicher Länge. Die Verarbeitung des Trainingssystems 500 setzt sich dann zur Einrichtung 528 fort, um die Auswahl der nächsten Trainingseingabe zu steuern.
In einer bevorzugten Ausführungsform können die Schritte des (1) Schrumpfens vorhandener Neuronen für eine gegebene Eingabe und des (2) Erschaffens und Schrumpfens eines neuen Neurons, das für dieselbe Eingabe geschaffen wurde, parallel durchgeführt werden. Fachleute werden verstehen, dass diese beiden Schritte auch nacheinander in beliebiger Reihenfolge durchgeführt werden können.
In einer bevorzugten Ausführungsform leitet die Einrichtung 528, nachdem alle Trainingseingaben in dem Satz von Trainingseingaben nacheinander verarbeitet worden sind, die Verarbeitung des Trainingssystems 500 zur Einrichtung 532. Nach dem Verarbeiten eines Satzes von Trainingseingaben mit ihren entsprechenden Merkmalvektoren ist der Merkmalraum mit Merkmalvektoren sowie Neuronen besetzt. Nachdem der Satz von Trainingseingaben einmal verarbeitet worden ist, sind einige Merkmalvektoren möglicherweise nicht von irgendwelchen Neuronen umgeben. Dies kommt vor, wenn Merkmal vektoren, die an einem Punkt während des Trainingsablaufs von einem oder mehreren Neutronen desselben Buchstabens umgeben waren, von jenen Neuronen ausgeschlossen werden, als jene Neuronen geschrumpft wurden, um nachfolgende Merkmalvektoren, die einem anderen Buchstaben zugeordnet sind, zu vermeiden. In einer solchen Situation leitet die Einrichtung 532 die Verarbeitung zurück zur Einrichtung 502, um die Verarbeitung des gesamten Satzes von Trainingseingaben zu wiederholen. Wenn diese Verarbeitung wiederholt wird, werden die zuvor geschaffenen Neuronen beibehalten. Indem dieser Trainingsablauf iterativ wiederholt wird, werden mit jeder Iteration neue Neuronen geschaffen, bis schließlich jeder einzelne Merkmalvektor von einem oder mehreren Neuronen eingeschlossen ist, die der korrekten Ausgabe zugeordnet sind, und keine Merkmalvektoren von Neuronen umgeben sind, die anderen möglichen Ausgaben zugeordnet sind. Des Weiteren konvergiert dieses iterative Training garantiert innerhalb einer endlichen Zeitdauer mit der maximalen Anzahl an Iterationen, die gleich der Gesamtzahl an Trainingseinheiten ist.
Nachdem das Trainingssystem 500 seine Verarbeitung abgeschlossen hat, ist der Merkmalraum mit Neuronen besetzt, die dann durch das Charakterisierungssystem 300 oder das Charakterisierungssystem 400 zur Klassifikation einer unbekannten Eingabe in eine von mehreren möglichen Ausgaben verwendet werden können.
OPTIMALES EIN-ACHSEN-SCHRUMPFEN
Wie vorstehend erwähnt wurde, passt in einer bevorzugten Ausführungsform das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons räumlich so an, dass sie einen bestimmten Merkmalvektor durch optimales Schrumpfen längs einer Achse ausschließt. Die Einrichtungen 510 und 522 des Trainingssystems 500 können dieses Ein-Achsen-Schrumpfen durchführen, indem sie (1) die zu schrumpfende Achse identifizieren und (2) die neue Länge für diese Achse berechnen.
Das Trainingssystem 500 identifiziert die Achse n zum Schrumpfen durch die Formel:
wobei die Funktion „argmax" den Wert von i meldet, der den Ausdruck in den eckigen Klammern für jedes i von 0 bis k – 1 maximiert, c_j und b_j den Mittelpunkt bzw. die Achsenlängen des anzupassenden Neurons definieren und f den Merkmalvektor definiert, der von diesem Neuron auszuschließen ist.
Dann berechnet das Trainingssystem 500 die neue Länge b_n' für die Achse n durch die Gleichung:
Beim Ein-Achsen-Schrumpfen behalten alle anderen Achsen ihre ursprünglichen Längen b_j bei.
Das Ein-Achsen-Schrumpfen eines ursprünglichen hyperelliptischen Neurons gemäß den Gleichungen (9) und (10) führt zu einem angepassten Neuron mit dem größten Hypervolumen V, das die folgenden vier Kriterien erfüllt:

(1) Das angepasste Neuron ist eine Hyperellipse;
(2) der Mittelpunkt des ursprünglichen Neurons ist derselbe wie der Mittelpunkt des angepassten Neurons;
(3) der auszuschließende Merkmalvektor liegt auf der Grenze des angepassten Neurons; und
(4) alle Punkte innerhalb oder auf der Grenze des angepassten Neurons liegen innerhalb oder auf der Grenze des ursprünglichen Neurons.

Das Hypervolumen V ist definiert durch:
wobei c_k eine Konstante ist, die von dem Wert k abhängt, wobei k für die Dimension des Merkmalraums steht und b_j für die Längen der Achsen steht, die das angepasste Neuron definieren. Daher liefert das Ein-Achsen-Schrumpfen ein erstes Verfahren zur optimalen Anpassung von Neuronen.
PROPORTIONAL-SCHRUMPFUNGS-ALGORITHMUS
In einer alternativen bevorzugten Ausführungsform passt das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons räumlich an, um einen bestimmten Merkmalvektor durch proportionales Schrumpfen längs einer oder mehrerer Achsen auszuschließen. Die Einrichtungen 510 und 522 des Trainingssystems 500 können ein proportionales Schrumpfen durch Berechnen des Vektors ΔB der Achsenlängenveränderungen Δb₁ durchführen, wobei:
wobei: ΔB = (Δb0, Δb1, ..., Δbk-1, (13)
|F – C|T = (|f0 – c0|, |f1 – c1|, ..., |fk-1 – ck-1|), (15) F = (f0, f1, ..., fk-1)T (16) C = (c0, c1, ..., ck-1)T (17)

Γ = (γ0, γ1, ..., γk-1) (21)wobei |f₀ – c₀| der Absolutwert von (f₀ – c₀) ist, ||F – C|| für die Größe der Vektordifferenz zwischen F und C steht, c_j und b_j den Mittelpunkt bzw. die Achsenlängen des anzupassenden Neurons definieren, f_j für die Elemente des Merkmalvektors steht, der von diesem Neuron auszuschließen ist, und α und γ_j Konstanten sein können. Die neuen Achsenlängen b_j' für das angepasste Neuron werden berechnet durch: bj' = bj – Δbj, (22)für j von 0 bis k – 1.
Beim proportionalen Schrumpfen bestimmt das Trainingssystem 500 die Projektionen eines Vektors auf die Achsen des anzupassenden Neurons, wobei der Vektor von dem Zentrum dieses Neurons zu dem auszuschließenden Merkmalvektor zeigt. Diese Projektionen sind durch den Vektor der Kosinus der Gleichung (14) dargestellt. Dann bestimmt das Trainingssystem 500, um wie viel jene Neuronenachse auf der Basis der Beziehung zwischen der Länge der Achse und der Länge der Projektion auf diese Achse geschrumpft werden soll.
In einer bevorzugten Ausführungsform wird die Konstante α in Gleichung (12) so ausgewählt, dass sie kleiner als 1 ist. In diesem Fall kann das Trainingssystem 500 ein iteratives Schrumpfen durchführen, wobei das Neuron langsam über mehrere achsenschrumpfende Schritte hinweg angepasst wird, bis bestimmt wird, dass der auszuschließende Merkmalvektor außerhalb des angepassten Neurons liegt. In einer bevorzugten Ausführungsform kann der Parameter γ_j auf einen positiven Wert gesetzt werden, der ungefähr 0,001-mal so groß wie die Achse j ist, um sicherzustellen, dass das proportionale Schrumpfen den Merkmalvektor schließlich außerhalb des Neurons platziert. In einer alternativen bevorzugten Ausführungsform können die Parameter γ_j Fehlerfunktionen sein, die auf dem Abstand vom Merkmalvektor zur Grenze des langsam angepassten Neurons basieren. In einem solchen Fall kann das Trainingssystem 500 als proportionale integrale Steuereinrichtung zum Anpassen von Neuronen funktionieren.
ORDNEN DER TRAININGSEINGABEN
In einer bevorzugten Ausführungsform kann der Satz von Trainingseingaben, die nacheinander von dem Trainingssystem zum Erzeugen von Neuronen verwendet werden, nach Maßgabe der Eingabequalität organisiert sein. Die Trainingseingaben können so geordnet sein, dass sie mit Eingaben höherer Qualität trainieren, bevor sie zu jenen niederer Qualität weitergehen. Dieses Qualitätsordnen von Trainingseingaben stellt sicher, dass Neuronen um Merkmalvektoren zentriert werden, die Eingaben höherer Qualität entsprechen. Ein derartiges geordnetes Training kann die Leistungseffizient eines Klassifikationssystems durch eine Senkung der Anzahl von Neuronen, die zur Definierung des Klassifikationssystems benötigt werden, steigern. Ein solches Ordnen kann auch die Zahl der Fehlklassifikationen und Nicht-Klassifikationen, die von dem Klassifikationssystem vorgenommen werden, verringern. Eine Fehlklassifikation liegt vor, wenn ein Klassifikationssystem eine mögliche Ausgabe auswählt, während die Eingabe in Wahrheit einer anderen möglichen Ausgabe entspricht. Eine Nicht-Klassifikation liegt vor, wenn ein Klassifikationssystem keine der bekannten Ausgaben auswählen kann und stattdessen ein Keine-Ausgabe-ausgewählt-Ergebnis ausgibt.
Es wird nun auf die 1(a), 1(b), 1(c) und 1(d) Bezug genommen, worin jeweils Bitmap-Darstellungen eines nominalen Buchstabens „O", eines verschlechterten Buchstabens „O", einer nominalen Zahl „7" und einer verschlechterten Zahl „7" gezeigt sind. Eine nominale Eingabe ist eine ideale Eingabe, ohne dass ein Rauschen mit ihr verbunden ist. Eine verschlechterte Eingabe ist eine, bei der Rauschen Abweichungen von der nominalen Eingabe bewirkt hat. Verschlechterte Eingaben können entweder von gesteuertem Rauschen oder echtem unvorhersehbarem Rauschen herrühren.
In einer bevorzugten Ausführungsform kann das Trainingssystem der vorliegenden Erfindung mit Trainingseingaben von drei unterschiedlichen Qualitätsebenen trainieren. Die erste Ebene von Trainingseingaben sind nominale Eingaben wie jene, die in den 1(a) und 1(c) dargestellt sind. Die zweite Ebene von Trainingseingaben sind Eingaben mit gesteuertem Rauschen, einer Art von verschlechterter Eingabe, die durch Anwenden definierter Rauschfunktionen oder -signale mit unterschiedlichen Eigenschaften, entweder individuell oder in Kombination, auf nominale Eingaben entstehen. Die dritte Ebene von Trainingseingaben sind Eingaben mit echtem Rauschen, einer zweiten Art von verschlechterten Eingaben, die im Fall von Buchstaben optisch erfasster Bilder bekannter Buchstaben sind. Derartige verschlechterte Eingaben weisen echtes unvorhersehbares Rauschen auf. Die 1(b) und 1(d) zeigen Darstellungen möglicher Eingaben mit gesteuertem Rauschen und möglicher Eingaben mit echtem Rauschen. In einer bevorzugten Ausführungsform haben die nominalen Eingaben die höchste Qualität, während die Eingaben mit gesteuertem Rauschen und die Eingaben mit echtem Rauschen von sinkender geringerer Qualität sind. Je nach den Funktionen und Signalen des gesteuerten Rauschens, die angewendet werden, kann eine bestimmte Eingabe mit gesteuertem Rauschen von besserer oder schlechterer Qualität als eine bestimmte Eingabe mit echtem Rauschen sein.
Die Qualität einer bestimmten verschlechterten Eingabe – von entweder der Art mit gesteuertem Rauschen oder mit echtem Rauschen – kann durch Vergleichen der verschlechterten Eingabe mit einer nominalen Eingabe, die demselben bekannten Buchstaben entspricht, bestimmt werden. In einer bevorzugten Ausführungsform kann ein Qualitätsmaß auf der Anzahl der Pixel basieren, die zwischen den beiden Eingaben unterschiedlich sind. In einer anderen bevorzugten Ausführungsform kann das Qualitätsmaß auf herkömmlichen Merkmalsmaßen, wie etwa Grid- oder Hadamard-Merkmalen, basieren.
In einer bevorzugten Ausführungsform trainiert das Trainingssystem zuerst mit den nominalen Eingaben und dann später mit verschlechterten Eingaben mit gesteuertem Rauschen und echtem Rauschen. In der vorliegenden bevorzugten Ausführungsform würde das den 1(a) und 1(c) entsprechende Training mit Eingaben dem Training mit jenen der 1(b) und 1(d) vorangehen. In einer anderen bevorzugten Ausführungsform trainiert das Trainingssystem mit allen Eingaben desselben bekannten Buchstaben, bevor es zu dem nächs ten bekannten Buchstaben weitergeht, und die Trainingseingaben jedes bekannten Buchstaben werden intern nach Qualität organisiert. In der vorliegenden bevorzugten Ausführungsform geht das Training mit 1(a) jenem mit 1(b) voran, und das Training mit 1(c) geht jenem mit 1(d) voran. Fachleute werden verstehen, dass die genaue gesamte Reihenfolge des Trainings mit allen Eingaben von geringerer Bedeutung ist als das Ordnen von Eingaben nach der Qualität für jeden verschiedenen bekannten Buchstaben.
VERFEINERUNG VON NEURONEN
Nachdem das Trainingssystem das Training abgeschlossen hat, ist der Merkmalraum mit Neuronen besetzt, die Merkmalvektoren umgeben, wobei ein Merkmalvektor jeder individuellen Trainingseingabe entspricht. Jedes Neuron kann einen oder mehrere Merkmalvektoren umgeben – denjenigen im Zentrum des Neurons, der zur Schaffung des Neurons und eventuell anderer Merkmalvektoren verwendet wurde, die Eingaben entsprechen, die demselben bekannten Buchstaben zugeordnet sind.
Je nach der Qualitätsordnung der in dem aufeinander folgenden Training verwendeten Trainingseingaben kann ein bestimmtes Neuron jene Merkmalvektoren mehr oder weniger effizient umgeben. Wenn zum Beispiel der Merkmalvektor, der zur Erzeugung eines bestimmten Neurons verwendet wurde, einer stark verschlechterten Eingabe entspricht, dann liegt jener Merkmalvektor im Zentrum jenes Neurons. Dasselbe Neuron kann auch andere Merkmalvektoren umgeben, die nominalen Eingaben und Eingaben geringerer Verschlechterung entsprechen. Ein solches Neuron ist möglicherweise nicht das effizienteste Neuron, um jenen Satz von Merkmalvektoren zu umgeben. Ein Klassifikationssystem, das ein solches Neuron verwendet, begeht eventuell mehr Fehlklassifikationen und Nicht-Klassifikationen als eines, das ein effizienteres Neuron verwendet.
Ein Verfeinerungssystem passt Neuronen, die während des Trainings entstanden sind, räumlich an, um weitere effiziente Neuronen zu schaffen. Dieses Verfeinerungssystem kann die räumliche Verteilung von Merkmalvektoren, die von einem bestimmten Neuron umgeben werden, kennzeichnen und dann dieses Neuron räumlich anpassen. Ein solches räumliches Anpassen kann das Umsetzen des Neurons von seinem aktuellen Mittelpunkt in Richtung der Mitte der räumlichen Verteilung jener Merkmalvektoren beinhalten. Nach dem Umsetzen des Neurons können die Achsenlängen angepasst werden, um sicherzustellen, dass Merkmalvektoren desselben Ausgabebuchstabens von dem Neuron umgeben werden, und um sicherzustellen, dass Merkmalvektoren unterschiedlicher Ausgabebuchstaben ausgeschlossen sind.
In einer alternativen Ausführungsform kann das Verfeinerungssystem zwei oder mehr Neuronen desselben Buchstabens räumlich anpassen, um ein oder mehrere Neuronen zu schaffen, die dieselben Merkmalvektoren effizienter umgeben, wobei ein Merkmalvektor aus einem ursprünglichen Neuron von einem anderen, effizienteren Neuron umgeben werden kann. Beispielsweise kann vor der Verfeinerung ein erstes Neuron die Merkmalvektoren F₁, F₂ und F₃ umgeben, und ein zweites Neuron kann die Merkmalvektoren F₄, F₅, F₆ und F₇ umgeben. Nach der Verfeinerung können die Merkmalvektoren F₁, F₂, F₃ und F₄ von einem dritten Neuron umgeben sein und die Merkmalvektoren F₅, F₆ und F₇ können von einem vierten Neuron umgeben sein, wobei die Mittelpunkte und Achsenlängen des dritten und vierten Neurons sich alle von denjenigen des ersten und zweiten Neurons unterscheiden.
KLASSIFIKATIONSSYSTEM MIT CLUSTER-KLASSIERERN
In einer ersten bevorzugten Ausführungsform klassifiziert ein Klassifikationssystem Eingaben in einen Satz möglicher Ausgaben durch Vergleichen des Merkmalvektors für jede zu klassifizierende Eingabe mit jedem Neuron im Merkmalraum. Klassifikationssysteme dieser Art sind in den 3 und 4 dargestellt.
Es wird nun auf 6 Bezug genommen, worin das Klassifikationssystem 600 – eine zweite bevorzugte Ausführungsform – gezeigt ist, worin Eingaben in eine von einem Satz von möglichen Ausgaben unter Verwendung von Neuronen und Cluster-Klassierern klassifiziert werden. Das Klassifikationssystem 600 verwendet den Klassierer 602 der obersten Ebene und zwei oder mehr Cluster-Klassierer 604, 606, ..., 608. Der Klassierer 602 der obersten Ebene klassifiziert Eingaben in geeignete Eingaben-Cluster. Wenn das Klassifikationssystem 600 zum Beispiel Buchstaben klassifiziert, kann der Klassierer 602 der obersten Ebene Eingabe-Bitmaps, die optisch erfassten Buchstaben entsprechen, in Buchstaben-Cluster klassifizieren.
Die zu Clustern zusammengefassten Buchstaben können diejenigen sein, die durch ähnliche Bitmaps dargestellt werden, oder, mit anderen Worten, jene Buchstaben, die den Merkmalvektoren zugeordnet sind, die im Merkmalraum nahe beieinander liegen. Ein erster Buchstaben-Cluster kann zum Beispiel den Buchstaben „D", „P", „R" und „B" entsprechen. Ein zweiter Buchstaben-Cluster kann den Buchstaben „O", „C", „D", „U" und „Q" entsprechen. Ein dritter Cluster entspricht vielleicht nur einem Buchstaben, wie etwa dem Buchstaben „Z". Ein bestimmter Buchstabe kann sich in mehr als einem Buchstaben-Cluster befinden. Im vorliegenden Beispiel befindet sich der Buchstabe „D" sowohl im ersten als auch im zweiten Buchstaben-Cluster, da seine Bitmaps denjenigen beider Cluster ähnlich sind.
In einer bevorzugten Ausführungsform werden vor dem Training Buchstaben auf der Basis einer Verwechslungsmatrix zu Clustern zusammengefasst. Die Verwechslungsmatrix stellt die Wahrscheinlichkeit dar, dass ein Buchstabe mit einem anderen Buchstaben pro jedem möglichen Buchstabenpaar verwechselt wird. Im Allgemeinen gilt, dass, je näher die Merkmalvektoren eines Buchstabens denjenigen eines anderen Buchstabens sind, desto höher die Wahrscheinlichkeit ist, dass diese beiden Buchstaben miteinander verwechselt werden. Zum Beispiel kann der Buchstabe „D" eine höhere Verwechslungswahrscheinlichkeit in Bezug auf das „O" als auf das „M" haben, wenn die Merkmalvektoren für „D" den Merkmalvektoren für „O" näher liegen als jenen für „M".
In einer bevorzugten Ausführungsform basiert das Clustern der Buchstaben auf einem herkömmlichen K-Means-Cluster-Algorithmus, worin ein Satz von Schablonen für jeden Buchstaben spezifiziert wird, wobei jede Schablone für einen Punkt im Merkmalraum steht. Der K-Means-Cluster-Algorithmus bestimmt, wo im Merkmalraum die Schablonen für einen bestimmten Buchstaben anzuordnen sind, indem er die Positionen der Merkmalvektoren für alle Trainingseingaben, die diesem Buchstaben entsprechen, analysiert. Schablonen werden bevorzugt nahe den arithmetischen Mitteln von Clustern zugeordneter Merkmalvektoren positioniert.
In einer bevorzugten Ausführungsform können vier Schablonen für jeden Buchstaben verwendet werden, und die Anzahl der Buchstaben pro Cluster kann ungefähr gerade sein. Wenn zum Beispiel die 64 Buchstaben klassifiziert werden, die den 26 Groß- und den 26 Kleinbuchstaben, den 10 Zahlzeichen und den Symbolen „&" und „#" entsprechen, können 4 × 64 oder 256 Schablonen verwendet werden, um 7 unterschiedliche Cluster mit einer ungefähr gleichen Anzahl von Buchstaben zu definieren.
Durch das Clustern von Buchstaben kann der Klassierer 602 der obersten Ebene einen Klassifikationsalgorithmus implementieren, der den geeigneten Cluster für jede Eingabe schnell und genau bestimmt. In einer bevorzugten Ausführungsform implementiert der Klassierer 602 der obersten Ebene einen Klassifikationsalgorithmus auf Neuronenbasis. In einer anderen bevorzugten Ausführungsform können andere herkömmliche nicht-neutrale Klassifikationsalgorithmen von dem Klassierer 602 der obersten Ebene durchgeführt werden. Der Klassierer 602 der obersten Ebene wählt den geeigneten Cluster für eine bestimmte Eingabe aus und veranlasst, dass die Verarbeitung beim geeigneten Cluster-Klassierer 604, 606, ..., 608 fortführt. Jeder Cluster-Klassierer ist einem und nur einem Buchstaben-Cluster zugeordnet, und umgekehrt.
In einer bevorzugten Ausführungsform kann jeder Cluster-Klassierer einen Klassifikationsalgorithmus implementieren, der für diesen Buchstaben-Cluster einzigartig ist oder nur von einem Untersatz der Gesamtzahl der Buchstaben-Cluster geteilt wird. Jeder Cluster-Klassierer kann daher Neuronen verwenden, die in einem Merkmalraum existieren, der für diesen Buchstaben-Cluster einzigartig ist. Beispielweise kann das Training für den „P"-, „R"-, „B"-Cluster einen bestimmten Satz von Grid-Merkmalen verwenden, während das Training für den „O"-, „C"-, „D"-, „U"-, „Q"-Cluster einen anderen Satz von Hadamard-Merkmalen einsetzen kann. In diesem Fall werden unterschiedliche Trainingsabläufe für jeden unterschiedlichen Cluster-Klassierer durchgeführt, wobei nur Eingaben, die diesen Buchstaben des zugeordneten Clusters entsprechen, für jeden unterschiedlichen Trainingsablauf verwendet werden.
In einer dritten bevorzugten Ausführungsform kann ein Klassifikationssystem nach 6 Eingaben in eine von einem Satz möglicher Ausgaben mittels Neuronen und Cluster-Klassierer klassifizieren. In dieser dritten Ausführungsform identifiziert der Klassierer 602 der obersten Ebene die Schablone im Merkmalraum, die dem Merkmalvektor für die aktuelle zu klassifizierenden Eingabe am nächsten ist. Die identifizierte Schablone wird einem bestimmten Buchstaben, der zu einem oder mehreren Buchstaben-Clustern gehört, zugeordnet. Der Klassierer 602 der obersten Ebene leitet die Verarbeitung nur zu jenen Cluster-Klassierern 604, 606, ..., 608, die den Buchstaben-Clustern der nächsten Schablone zugeordnet sind. Da ein bestimmter Buchstabe in mehr als einem Buchstaben-Cluster vorhanden sein kann, kann mehr als ein Cluster-Klassierer von dem Klassierer 602 der obersten Ebene zur Verarbeitung ausgewählt werden.
In einer vierten bevorzugten Ausführungsform kann jeder Cluster-Klassierer einen Entscheidungsbaum aufweisen, der diejenigen Neuronen identifiziert, die für eine gegebene Eingabe verarbeitet werden sollen. Vor dem Klassifizieren kann der Merkmalvektorraum für einen bestimmten Cluster-Klassierer nach Maßgabe der Verteilung von Merkmalvektoren und/oder Neuronen im Merkmalraum in Bereiche unterteilt werden. Jeder Bereich enthält ein oder mehrere Neuronen, wobei jedes Neuron zu mehr als einem Bereich gehören kann und zwei oder mehr Regionen sich überlappen können. Der Klassierer 602 der obersten Ebene kann bestimmen, in welchem Bereich (oder in welchen Bereichen) des Merkmalraums der Merkmalvektor für die aktuelle Eingabe liegt und kann veranlassen, dass die ausgewählten Cluster-Klassierer nur jene Neuronen verarbeiten, die diesem Bereich (oder diesen Bereichen) zugeordnet sind.
Fachleute werden verstehen, dass ein Klassifikationssystem Entscheidungsbäume ohne Cluster-Klassierer verwenden kann oder Cluster-Klassierer ohne Entscheidungsbäume verwenden kann oder beide verwenden kann, und andere keinen von beiden verwenden können. Ferner werden Fachleute verstehen, dass Entscheidungsbäume und Cluster-Klassierer die Effizienz der vorstehenden Klassifikationssysteme durch Reduzierung der Verarbeitungszeit steigern können.
BEVORZUGTE UND ALTERNATIVE BEVORZUGTE AUSFÜHRUNGSFORMEN
Fachleute werden verstehen, dass die vorstehenden Klassifikationssysteme seriell oder parallel angeordnet werden können. In einer bevorzugten Ausführungsform kann beispielsweise ein erster Buchstaben-Klassierer auf der Basis von Grid-Merkmalen in Reihe mit einem zweiten Buchstaben-Klassierer auf der Basis von Hadamard-Merkmalen angeordnet sein. In einem solchen Fall klassifiziert der erste Klassierer eine bestimmte Bitmap-Eingabe als einen der bekannten Buchstaben oder es gelingt ihm nicht, diese Eingabe zu klassifizieren. Wenn ihm das Klassifizieren nicht gelingt, versucht der zweite Klassierer, diese Eingabe zu klassifizieren.
In einer alternativen Ausführungsform können zwei oder mehr unterschiedliche Klassierer parallel angeordnet sein. In einem solchen Fall kann ein Abstimmungsschema zur Auswahl der geeigneten Ausgabe durch Vergleich der Ausgaben jedes unterschiedlichen Klassierers verwendet werden.
In einer bevorzugten Ausführungsform führen Klassifikationssysteme und Trainingssysteme der vorliegenden Erfindung eine parallele Verarbeitung durch, wobei jede elliptische Verarbeitungseinheit während der Klassifikation auf einem separaten Computerprozessor laufen kann, obwohl Fachleute verstehen werden, dass diese Systeme auch eine serielle Verarbeitung durchführen können. In einer bevorzugten Ausführungsform können die Klassifikationssysteme und Trainingssysteme in dem Prozessor eines Computers mit eingeschränktem Befehlsvorrat (reduced instruction set computer – RISC), wie etwa einem SPARC 2-Prozessor, der auf einer SPARC-Station 2 läuft, die von Sun Microsystems vertrieben wird, untergebracht sein.
Fachleute werden verstehen, dass andere Eingaben als Buchstabenbilder mit den vorstehenden Klassifikationssystemen klassifiziert werden können. Im Allgemeinen kann jede beliebige Eingabe als eine von einem Satz von zwei oder mehr möglichen Ausgaben klassifiziert werden, wobei ein Keine-Auswahl-Ergebnis eine der möglichen Ausgaben ist. Beispielsweise können die vorstehenden Klassifikationssysteme zur Identifizierung von Personen auf der Basis von Bildern ihrer Gesichter, Fingerabdrücke oder sogar Ohrläppchen eingesetzt werden. Andere Klassifikationssysteme der vorliegenden Erfindung können zur Identifizierung von Personen mittels Aufzeichnungen ihrer Stimmen verwendet werden.

Claims

Trainingsverfahren zum Erzeugen eines Neurons, mit den Schritten: (a) Auswählen (502) mehrerer Trainingseingaben, wobei jede Trainingseingabe einer möglichen Ausgabe entspricht, (b) Kennzeichnen (506, 508) der Qualität jeder der mehreren Trainingseingaben nach Maßgabe der Abweichung der Trainingseingabe von einer nominalen Eingabe, (c) Auswählen (512) aus den gekennzeichneten Trainingseingaben einer Trainingseingabe, die von höherer Qualität ist als zumindest eine andere Trainingseingabe der gekennzeichneten Trainingseingaben, und (d) Erzeugen (514) des Neurons nach Maßgabe der ausgewählten Trainingseingabe.
Trainingsverfahren nach Anspruch 1, bei dem die Trainingseingaben Darstellungen von Buchstaben sind.
Trainingsverfahren nach Anspruch 1, bei dem das Neuron eine Grenze aufweist, die durch zwei oder mehr Neuronachsen unterschiedlicher Länge definiert ist.
Trainingsverfahren nach Anspruch 1, mit den weiteren Schritten: (e) Auswählen zumindest einer Trainingseingabe entsprechend einer zweiten möglichen Ausgabe, die unterschiedlich von der ersten möglichen Ausgabe ist; (f) räumliches Anpassen des Neurons nach Maßgabe der im Schritt (e) ausgewählten Trainingseingabe.
Verfahren nach Anspruch 4, bei dem das angepasste Neuron eine Grenze aufweist, die durch zwei oder mehr Neuronachsen unterschiedlicher Länge definiert ist.
Trainingsverfahren nach Anspruch 1, bei dem eine Trainingseingabe entsprechend einer ersten möglichen Ausgabe eine nominale Eingabe darstellt.
Trainingsverfahren nach Anspruch 1, bei dem eine Trainingseingabe entsprechend einer zweiten möglichen Ausgabe eine reale Eingabe darstellt.
Trainingsverfahren nach Anspruch 1, bei dem eine Trainingseingabe nach Anspruch 6 ein höheres Signal-Rausch-Verhältnis als eine Trainingseingabe nach Anspruch 7 hat.
Trainingsvorrichtung zum Erzeugen eines Neurons, mit einer Einrichtung (502) zum Auswählen mehrerer Trainingseingaben (f₀, f₁, ..., f_k-1), wobei jede Trainingseingabe (f₀, f₁, ..., f_k-1) einer möglichen Ausgabe (o¹, ..., o^m) entspricht; einer Einrichtung (506, 508) zum Kennzeichnen der Qualität jeder der Trainingseingaben (f₀, f₁, ..., f_k-1) nach Maßgabe der Abweichung der Trainingseingabe von einer nominalen Eingabe; einer Einrichtung zum Auswählen (512) aus den gekennzeichneten Trainingseingaben einer Trainingseingabe, die von höherer Qualität ist als zumindest eine andere Trainingseingabe der gekennzeichneten Trainingseingaben; einer Einrichtung (514) zum Erzeugen des Neurons nach Maßgabe der ausgewählten gekennzeichneten Trainingseingabe.
Trainingsvorrichtung nach Anspruch 9, bei der die mehreren Trainingseingaben (f₀, f₁, ..., f_k-1) Buchstaben darstellen.
Trainingsvorrichtung nach Anspruch 9, bei der das Neuron eine Grenze aufweist, die durch zwei oder mehr Neuronachsen (b₀ ¹, b₁ ¹) unterschiedlicher Länge definiert ist.
Trainingsvorrichtung nach Anspruch 9, mit: einer Auswahleinrichtung (502) zum Auswählen zumindest einer Trainingseingabe (f₀, f₁, ..., f_k-1) entsprechend einer zweiten möglichen Ausgabe (o¹, ..., o^m), die unterschiedlich von der ersten möglichen Ausgabe (o¹, ..., o^m) ist; und einer Einrichtung (510) zum räumlichen Einstellen des Neurons nach Maßgabe der durch die Auswahleinrichtung ausgewählten Trainingseingabe (f₀, f₁, ..., f_k-1).
Trainingsvorrichtung nach Anspruch 12, bei der das eingestellte Neuron eine Grenze aufweist, die durch zwei oder mehr Neuronachsen (b₀ ¹, b₁ ¹) unterschiedlicher Länge definiert ist.
Trainingsvorrichtung nach Anspruch 9, bei der eine Trainingseingabe (f₀, f₁, ..., f_k-1) entsprechend einer ersten möglichen Ausgabe eine nominale Eingabe darstellt.
Trainingsvorrichtung nach Anspruch 9, bei der eine Trainingseingabe (f₀, f₁, ..., f_k-1) entsprechend einer zweiten möglichen Ausgabe eine reale Eingabe darstellt.
Trainingsvorrichtung nach Anspruch 9, bei der eine im Anspruch 14 definierte Trainingseingabe (f₀, f₁, ..., f_k-1) ein höheres Signal-Rausch-Verhältnis hat als eine im Anspruch 15 definierte Trainingseingabe (f₀, f₁, ..., f_k-1).