DE69333247T2 - Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons - Google Patents

Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons Download PDF

Info

Publication number
DE69333247T2
DE69333247T2 DE69333247T DE69333247T DE69333247T2 DE 69333247 T2 DE69333247 T2 DE 69333247T2 DE 69333247 T DE69333247 T DE 69333247T DE 69333247 T DE69333247 T DE 69333247T DE 69333247 T2 DE69333247 T2 DE 69333247T2
Authority
DE
Germany
Prior art keywords
neuron
feature vector
temporary
training
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69333247T
Other languages
English (en)
Other versions
DE69333247D1 (de
Inventor
Michael C. Norwalk Moed
Chih-Ping Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
United Parcel Service of America Inc
United Parcel Service Inc
Original Assignee
United Parcel Service of America Inc
United Parcel Service Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US901429 priority Critical
Priority to US07/901,429 priority patent/US5438629A/en
Application filed by United Parcel Service of America Inc, United Parcel Service Inc filed Critical United Parcel Service of America Inc
Publication of DE69333247D1 publication Critical patent/DE69333247D1/de
Application granted granted Critical
Publication of DE69333247T2 publication Critical patent/DE69333247T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/627Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns
    • G06K9/6271Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes
    • G06K9/6274Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes based on distances to neighbourhood prototypes, e.g. Restricted Coulomb Energy Networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6218Clustering techniques
    • G06K9/622Non-hierarchical partitioning techniques
    • G06K9/6221Non-hierarchical partitioning techniques based on statistics
    • G06K9/6223Non-hierarchical partitioning techniques based on statistics with a fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/627Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns
    • G06K9/6271Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes
    • G06K9/6272Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns based on distances to prototypes based on distances to cluster centroïds
    • G06K9/6273Smoothing the distance, e.g. Radial Basis Function Networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Computing arrangements based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding or deleting nodes or connections, pruning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19107Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques

Description

  • Die vorliegende Erfindung bezieht sich auf Klassifizierungsverfahren und -systeme und insbesondere auf Verfahren und Systeme zum Klassifizieren optisch erfasster Zeichenbilder und auf Verfahren und Systeme zum Trainieren derselben.
  • Stand der Technik
  • Der Artikel „Parallel and Adaptive Clustering Method Suitable for a VLSI System Signal Image and Video Processing" von Yoshikazu Miyanaga u. a., Singapur, 11.–14. Juni 1991, Proceedings of the International Symposium on Circuits and Systems, New York, IEEE, USA, Bd. 1, 1 SYMP 24, 11. Juni 1991 (11.06.1991), Seiten 356–359, XP000384785, ISBN: 0-7803-0050-5, offenbart ein zweifunktionales Netz, in dem adaptive Verfahren für die hochentwickelte Erkennung und Gruppierung in Clustern implementiert sind. In einem ersten Teilnetz ist eine selbst-organisierte Gruppierung in Clustern verwirklicht. Die Gruppierung in Clustern basiert auf einem Mahalanobis-Abstand. Das Ergebnis des ersten Teilnetzes wird zu einem Vektor von Ähnlichkeitswerten zwischen einem gegebenen Eingabemuster und allen Mustern von Clusterknoten. Das zweite Teilnetz bestimmt ein optimales Etikett aus dem Ähnlichkeitsnetz. Das zweite Netz besteht aus mit speziellen Etiketten verknüpften Knoten. Alle Verbindungen zwischen den Etikettenknoten des zweiten funktionalen Netzes und den Clusterknoten des ersten funktionalen Netzes werden durch überwachtes Lernen bestimmt. Jede Berechnung wird in parallelen und im Pipelinesystem verarbeitete Formen ausgeführt. 3 zeigt das Blockschaltdiagramm des Steuerflusses. Ein Eingabemuster wird bei jedem Beispiel in alle Knoten des ersten Teilnetzes einge geben. Im ersten Schritt werden die Ähnlichkeitswerte aller Knoten berechnet. Wenn ein neuer Knoten erzeugt wird, wird dem neuen Knoten ein Eingabemuster zugeteilt. Wenn es nicht notwendig ist, einen neuen Knoten zu erzeugen, wird der optimale Knoten aus den Ähnlichkeitswerten ausgewählt.
  • Auf dem Gebiet des Paketversandes werden Pakete von ihren Ursprüngen zu Zielen in der ganzen Welt entsprechend den Zieladressen befördert, die auf die Versandetiketten mit der Maschine geschrieben sind, die auf diesen Paketen angebracht sind. Um die Pakete zu befördern, ist es wünschenswert, automatisierte optische Zeichen-Klassifizierungssysteme zu verwenden, die diese Adressen lesen können. Ein derartiges Klassifizierungssystem muss die Zeichen so schnell wie möglich klassifizieren können. Herkömmliche optische Zeichen-Klassifizierungssysteme, die kugelförmige Neuronen verwenden, wie zum Beispiel jene, die im US-Patent Nr. 4 326 259 (Cooper u. a.) offenbart sind, können nicht in der Lage sein, ohne eine bedeutende Investition in die Hardware die Verarbeitungsanforderungen auszuführen, die durch bestimmte Anwendungen dargestellt werden.
  • In dem Artikel „An Adaptive Algorithm for Modifyring Hyperellipsoidal Decision Surfaces" von P. M. Kelly u. a., Proceedings of the International Joint Conference on Neural Networks (IJCNN), Baltimore, 7.– 11. Juni 1992, New York, IEEE, USA, Bd. 3, 7. Juni 1992 (07.06.1992), Seiten 196–201, XP010060109, ISBN: 0-7803-0559-0, wurde ein Lernalgorithmus für eine Abstands-Klassifizierungseinrichtung entwickelt, die hyperellipsoide Clustergrenzen manipuliert. Bereiche des Eingabemerkmalsraums werden zuerst von ellipsoiden Grenzen eingeschlossen, und dann werden diese Grenzen iterativ modifiziert, um Klassifikationsfehler in Bereichen, die sich zwischen verschiedenen Klassen bekanntermaßen überlappen, zu reduzieren.
  • Bei der Anpassung behält jedes Hyperellipsoid in der Klassifizierungseinrichtung seine ursprüngliche Ausrichtung, jedoch werden seine Position und seine Form verändert. Der verwendete Algorithmus wird als LVQ-MM-Algorithmus bezeichnet (LVQ- mit dem metrischen Mahalanobis-Abstand).
  • Die vorliegende Erfindung betrifft ein Trainingsverfahren und eine Trainingsvorrichtung zum Erzeugen eines neuen Neurons in einem Merkmalsraum, in dem sich zumindest schon ein Neuron befindet. Die Erfindung erzeugt einen Merkmalsvektor, der eine Trainingseingabe darstellt, wobei die Trainingseingabe einer von mehreren möglichen Ausgaben entspricht. Wenn kein existierendes Neuron entsprechend der Trainingseingabe den Merkmalsvektor einschließt, erzeugt die Erfindung ein neues Neuron, wobei das neue Neuron eine durch zwei oder mehr unterschiedlich lange Neuronachsen definierte Grenze aufweist.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1(a), 1(b), 1(c) und 1(d) sind Bitmap-Darstellungen eines nominellen Buchstabens „O" bzw. eines herabgesetzten Buchstabens „O" bzw. einer nominellen Ziffer „7" bzw. einer herabgesetzten Ziffer „7".
  • 2 ist eine graphische Darstellung eines 2-dimensionalen Merkmalsraums, der mit 8 elliptischen Neuronen bevölkert ist, die durch das Klassifizierungssystem der vorliegenden Erfindung verwendet werden können, um die Abbildungen der Buchstaben A, B und C zu klassifizieren;
  • 3 ist ein Prozessablaufplan zum Klassifizieren von Eingängen gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
  • 4 ist ein schematisches Diagramm eines Teils des Klassifizierungssystems nach 3;
  • 5 ist ein Prozessablaufplan zum Erzeugen der durch das Klassifizierungssystem nach 3 verwendeten Neuronen; und
  • 6 ist ein schematisches Diagramm eines Klassifizierungssystems gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung, das zum Klassifizieren von Eingängen Cluster-Klassifizierungseinrichtungen verwendet.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung umfasst ein System zur optischen Zeichenerkennung, während die Erfindung allgemeiner ein Klassifizierungssystem zum Klassifizieren eines Eingangs als einen Ausgang aus einer definierten Menge möglicher Ausgänge einschließt. Wenn der Eingang zum Beispiel eine optisch erfasste Abbildung ist, die einen der 26 Großbuchstaben des englischen Alphabets darstellt, kann das Klassifizierungssystem der vorliegenden Erfindung verwendet werden, um den Großbuchstaben als Ausgang zu wählen, der der Eingangsabbildung zugeordnet ist. Das Klassifizierungssystem der vorliegenden Erfindung ist im Folgenden im Zusammenhang mit den 1(a), 2, 3 und 4 erörtert.
  • Die vorliegende Erfindung enthält außerdem ein System zum „Trainieren" des erfindungsgemäßen Klassifikationssystems. Dieses Trai ningssystem wird vorzugsweise vor dem Einsatz des Klassifizierungssystems offline betrieben. In dem Beispiel der Zeichenerkennung nimmt das Trainingssystem Eingangsabbildungen an, die bekannte Zeichen repräsentieren, um über die Menge der möglichen Ausgänge zu „lernen", in die die unbekannten Abbildungen schließlich klassifiziert werden. Das erfindungsgemäße Trainingssystem ist im Folgenden im Zusammenhang mit 5 erörtert.
  • Des Weiteren enthält die vorliegende Erfindung auch ein System zum Trainieren des erfindungsgemäßen Klassifizierungssystems, das auf dem Ordnen der Trainingseingänge entsprechend der relativen Qualität der Trainingseingänge basiert. Dieses System zum Trainieren ist im Folgenden im Zusammenhang mit den 1(a), 1(b), 1(c) und 1(d) erörtert.
  • Außerdem enthält die vorliegende Erfindung ein System zum Einstellen der Positionen und der Formen der während der erfindungsgemäßen Trainingssysteme erzeugten Neuronen.
  • Die vorliegende Erfindung enthält auch ein Klassifizierungssystem, das ein hierarchisches Netz aus Cluster-Klassifizierungseinrichtungen höchster Ebene und niedrigerer Ebene verwendet. Die Klassifizierungseinrichtung höchster Ebene klassifiziert die Eingänge in einen von mehreren Ausgangs-Clustern, wobei jeder Ausgangs-Cluster einer Teilmenge der Menge der möglichen Ausgänge zugeordnet ist. Eine Cluster-Klassifizierungseinrichtung, die dem durch die Klassifizierungseinrichtung höchster Ebene identifizierten Ausgangs-Cluster zugeordnet ist, klassifiziert dann den Eingang als den einem der möglichen Ausgänge entsprechenden Eingang. Dieses Klassifizierungssystem ist im Folgenden im Zusammenhang mit 1(a), 1(b), 1(c) und 1(d) erörtert.
  • Außerdem enthält die vorliegende Erfindung ein neuronales System des Klassifizierens von Eingängen, das zwei Teilsysteme kombiniert. Ein Teilsystem zählt die Anzahl der Neuronen, die einen Merkmalsvektor enthalten, der einen speziellen Eingang für jeden der möglichen Ausgänge repräsentiert. Wenn einer der möglichen Ausgänge mehr den Merkmalsvektor enthaltende Neuronen besitzt als irgendein anderer möglicher Ausgang, dann wählt das System diesen möglichen Ausgang als den diesem Eingang entsprechenden Ausgang. Ansonsten stellt das zweite Teilsystem das Neuron fest, das den kleinsten Wert für ein spezielles Abstandsmaß für diesen Merkmalsvektor besitzt. Wenn dieser Wert kleiner als eine spezifizierte Schwelle ist, dann wählt das System den diesem Neuron zugeordneten Ausgang als den dem Eingang entsprechenden Ausgang. Dieses neuronale System ist im Folgenden im Zusammenhang mit den 1(a), 2, 3 und 4 erörtert.
  • KLASSIFIZIERUNGSSYSTEM
  • Es sei nun auf 1(a) Bezug genommen, worin eine Bitmap-Darstellung eines nominalen Buchstabens „O" gezeigt ist. Wenn das Klassifizierungssystem der vorliegenden Erfindung die optisch erfassten Zeichenbilder klassifiziert, kann jedes zu klassifizierende Zeichenbild durch eine Eingangs-Bitmap repräsentiert werden, eine (m × n)-Bildmatrix aus Binärwerten, wie in 1(a) gezeigt ist. In einer bevorzugten Ausführungsform erzeugt das Klassifizierungssystem der vorliegenden Erfindung aus den in jeder Eingangs-Bitmap enthaltenen Informationen einen Vektor in einem k-dimensionalen Merkmalsraum. Jeder Merkmalsvektor F besitzt Merkmalselemente fj, wobei 0 ≤ j ≤ k – 1 gilt. Die Dimension k des Merkmalsraums kann irgendeine ganze Zahl sein, die größer als eins ist. Jedes Merkmals element fj ist ein reeller Wert, der einem der k aus der Eingangs-Bitmap abgeleiteten Merkmale entspricht.
  • Die k Merkmale können unter Verwendung herkömmlicher Merkmalsextraktionsfunktionen abgeleitet werden, wie zum Beispiel der Raster-Merkmalsextraktionsfunktion oder der Hadamardschen Merkmalsextraktionsfunktion. Der Merkmalsvektor F repräsentiert einen Punkt in dem k-dimensionalen Merkmalsraum. Die Merkmalselemente fj sind die Komponenten des Merkmalsvektors F entlang der Merkmalsraum-Achsen des k-dimensionalen Merkmalsraums. Für die Zwecke dieser Beschreibung bezieht sich der Begriff „Merkmalsvektor" auf einen Punkt in dem Merkmalsraum.
  • In einer bevorzugten Ausführungsform kann eine Transformation mit Diskriminantenanalyse auf die rastergestützten oder die hadamardgestützten Merkmalsvektoren angewendet werden, um den Merkmalsraum zu definieren. In dieser Ausführungsform kann die Trennung zwischen den möglichen Ausgängen vergrößert werden, wobei die Dimensionalität des Merkmalsvektors durch das Ausführen dieser Diskriminantenanalyse vermindert werden kann, bei der nur die signifikantesten Eigenvektoren von der Transformation der Diskriminante beibehalten werden.
  • Das erfindungsgemäße Klassifizierungssystem vergleicht einen Merkmalsvektor F, der eine spezielle Eingangsabbildung repräsentiert, mit einer Menge von Neuronen in dem Merkmalsraum, wobei jedes Neuron eine geschlossene k-dimensionale Zone oder ein geschlossenes k-dimensionales „Hypervolumen" in dem k-dimensionalen Merkmalsraum ist. Falls zum Beispiel (k = 2) gilt, ist jedes Neuron eine Fläche in einem 2-dimensionalen Merkmalsraum, und, wenn (k = 3) gilt, ist jedes Neuron ein Volumen in einem 3-dimensionalen Merkmalsraum ist. 2 zeigt eine graphische Darstellung eines beispielhaften 2-dimensionalen Merkmalsraums, der mit acht 2-dimensionalen Neuronen bevölkert.
  • In einem bevorzugten Klassifizierungssystem nach der vorliegenden Erfindung ist die Grenze wenigstens eines der Neuronen, die einen k-dimensionalen Merkmalsraum bevölkern, durch wenigstens zwei Achsen definiert, die unterschiedliche Längen besitzen. Einige dieser Neuronen können im Allgemeinen mathematisch als
    Figure 00080001
    dargestellt werden, wobei die c den Mittelpunkt des Neurons definieren, bj die Längen der Neuronenachse sind und m und A positive reelle Konstanten sind. In einer bevorzugten Ausführungsform besitzen wenigstens zwei der Neuronenachsen eine unterschiedliche Länge. Die Werte gj, die die Gleichung (1) erfüllen, definieren die Punkte in dem Merkmalsraum, die innerhalb oder auf der Grenze des Neurons liegen. Es wird für die Fachleute selbstverständlich sein, dass die anderen Neuronen im Umfang dieser Erfindung durch andere mathematische Ausdrücke dargestellt werden können. Ein Neuron kann zum Beispiel durch den Ausdruck
    Figure 00080002
    definiert sein, wobei die Funktion „MAX" den Maximalwert des Verhältnisses berechnet, wenn j von 0 bis k – 1 läuft. Die durch die Gleichung (2) definierten Neuronen sind Hyperrechtecke.
  • In einer bevorzugten Ausführungsform der vorliegenden Erfindung sind die Neuronen Hyperellipsen in einem k-dimensionalen Merkmalsraum. Eine Hyperellipse ist irgendein Hypervolumen, das durch die Gleichung (1) definiert ist, wobei (m = 2) und (A = 1) gilt. Insbesondere ist eine Hyperellipse durch die Funktion
    Figure 00090001
    definiert, wobei die c den Mittelpunkt der Hyperellipse definieren, die Längen der Achse der Hyperellipse sind und die Werte gj, die die Gleichung (3) erfüllen, die Punkte definieren, die innerhalb oder auf der Grenze der Hyperellipse liegen. Wenn alle Achsen die gleiche Länge besitzen, ist die Hyperellipse eine Hyperkugel. In einer bevorzugten Ausführungsform der vorliegenden Erfindung besitzen in wenigstens einem Neuronen wenigstens zwei der Achsen eine unterschiedliche Länge. Es ist in 2 beispielhaft ein elliptisches Neuron 1 gezeigt, das den Mittelpunkt (c0 1, c1 1) und die Achsen (b0 1, b1 1) mit unterschiedlicher Länge besitzt. In einer bevorzugten Ausführungsform sind die Achsen der Neuronen auf die Koordinatenachsen des Merkmalsraumes ausgerichtet. Es wird für die Fachleute selbstverständlich sein, dass andere Neuronen, die Achsen besitzen, die nicht alle auf die Achsen des Merkmalsvektors ausgerichtet sind, im Umfang der Erfindung liegen.
  • Gemäß der vorliegenden Erfindung ist jedes Neuron einem speziellen möglichen Ausgang zugeordnet. Jedes Neuron kann zum Beispiel einem der 26 Großbuchstaben entsprechen. Jedes Neuron ist lediglich einem der möglichen Ausgänge (zum Beispiel den Buchstaben) zugeordnet, aber jeder mögliche Ausgang kann ein oder mehrere zugeordnete Neutronen besitzen. Darüber hinaus können sich die Neuronen in dem Merkmalsraum überlappen. Wie zum Beispiel in 2 ge zeigt ist, entsprechen die Neuronen 0, 1 und 7 dem Zeichen „A", die Neuronen 2, 3, 5 und 6 entsprechen dem Zeichen „B" und das Neuron 4 entspricht dem Zeichen „C". Die Neuronen 1 und 7 überlappen sich, wie sich auch die Neuronen 2, 3 und 6 sowie die Neuronen 3, 5 und 6 überlappen. In einer (nicht gezeigten) alternativen Ausführungsform können sich Neuronen, die unterschiedlichen möglichen Ausgängen entsprechen, überlappen. Das Klassifizierungssystem kann die Neuronen nach 2 verwenden, um die Eingangsabbildungen, die die Buchstaben A, B und C repräsentieren, zu klassifizieren.
  • Es sei nun auf 3 Bezug genommen, worin ein Prozessablaufplan des Klassifizierungssystems 300 zum Klassifizieren eines Eingangs (zum Beispiel einer Bitmap eines optisch erfassten Zeichenbilds) als einer von einer Menge möglicher Ausgänge (zum Beispiel Zeichen) gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung gezeigt ist. In der in 3 gezeigten bevorzugten Ausführungsform werden die Neuronen in dem Klassifizierungssystem 300 parallel verarbeitet. In einer (nicht gezeigten) alternativen Ausführungsform können die Neuronen des Klassifizierungssystems 300 der Reihe nach verarbeitet werden. Die Einrichtung 302 ist für das Empfangen einer Bitmap einer Eingangsabbildung und das Erzeugen eines Merkmalsvektors bereitgestellt, der die Informationen repräsentiert, die in dieser Bitmap enthalten sind. Die Einrichtungen 304 und 306 sind zum Vergleichen des durch die Einrichtung 302 erzeugten Merkmalsvektors mit einer Menge von Neuronen bereitgestellt, von denen wenigstens eins zwei oder mehr Achsen mit unterschiedlicher Länge besitzt. Das Klassifizierungssystem 300 wählt basierend auf diesem Vergleich einen der möglichen Ausgänge aus.
  • In einer bevorzugten Ausführungsform der vorliegenden Erfindung klassifiziert das Klassifizierungssystem 300 optisch erfasste Zeichen-Bitmaps unter Verwendung eines Netzes aus hyperelliptischen Neuronen. Die Einrichtung 302 des Klassifizierungssystems 300 empfängt als einen Eingang die Bitmap eines optisch erfassten Zeichenbilds, das zu klassifizieren ist, wobei sie einen entsprechenden Merkmalsvektor F erzeugt. Die Einrichtung 304 bestimmt dann einen „elliptischen Abstand" rx als eine Funktion des Zentrums und der Achsen jeder der Enum hyperelliptischen Neuronen x in dem Netz und des Merkmalsvektors F, wobei gilt:
  • Figure 00110001
  • In der Gleichung (4) definieren die cj x und die bj x den Mittelpunkt bzw. die Achsenlängen des Neurons x, wobei x von 0 bis Enum – 1 läuft und die fj die Elemente des Merkmalsvektors F sind. Die Fachleute werden erkennen, dass außerdem Abstandsmaße verwendet werden können, die von jenem nach Gleichung (4) verschieden sind.
  • Die Einrichtung 306 bestimmt, falls es eines gibt, welches der Enum Neuronen den Merkmalsvektor F enthält. Ein Neuron enthält einen Merkmalsvektor – wobei es als ein „enthaltendes Neuron" bezeichnet werden kann – wenn der Merkmalsvektor innerhalb der Grenze liegt, die das Neuron in dem Merkmalsraum definiert. Für Hyperellipsen enthält das Neuron x den Merkmalsvektor F, falls (rx < 1) gilt. Falls (rx = 1) gilt, liegt der Merkmalsvektor F auf der Grenze des Neurons x, und, falls (rx > 1) gilt, liegt der Merkmalsvektor F außerhalb des Neurons x. Weil sich die Neuronen in dem Merkmalsraum überlappen können, kann ein spezieller Merkmalsvektor in mehr als einem Neuron enthalten sein. In 2 ist der Merkmalsvektor Fg, der einer speziellen Eingangsabbildung entspricht, in den Neuronen 2 und 6 enthalten. Alternativ kann ein Merkmalsvektor innerhalb keines Neurons liegen, wie in dem Fall des Merkmalsvektors Fh nach 2, der einer anderen Eingangsabbildung entspricht.
  • Die Einrichtung 308 stellt das „nächste" Neuron für jeden möglichen Ausgang fest. Wie vorausgehend beschrieben ist, ist jedes Neuron einem und nur einem möglichen Ausgang zugeordnet, jedem möglichen Ausgang können jedoch ein oder mehrere Neuronen zugeordnet sein. Die Einrichtung 308 analysiert alle Neuronen, die jedem möglichen Ausgang zugeordnet sind, und bestimmt für diesen Ausgang das Neuron, das sich „am nächsten" bei dem Merkmalsvektor F befindet. Das „nächste" Neuron wird dasjenige sein, das den kleinsten Wert des „Abstands"-Maßes rx besitzt. In dem Beispiel des Merkmalsvektors Fg nach 2 wird die Einrichtung 308 das Neuron 1 auswählen, da es das „nächste" Neuron bei dem Merkmalsvektor Fg für das Zeichen „A" ist. Sie wird außerdem das Neuron 2 als das „nächste" Neuron für das Zeichen „B" und das Neuron 4 für das Zeichen „C" auswählen.
  • Die Einrichtung 310 in 3 zählt die Voten für jeden möglichen Ausgang. In einer ersten bevorzugten Ausführungsform wird jedes Neuron, das den Merkmalsvektor F enthält, durch die Einrichtung 310 als ein einzelnes „Votum" für den Ausgang behandelt, der diesem Neuron zugeordnet ist. In einer alternativen bevorzugten Ausführungsform, die im Folgenden mit Bezug auf die Gleichung (7) ausführlicher erörtert ist, wird jedes Neuron, das den Merkmalsvektor F enthält, durch die Einrichtung 310 als ein Neuron behandelt, das ein „gewichtetes Votum" für den Ausgang repräsentiert, der diesem Neuron zugeordnet ist, wobei das irgendeinem speziellen Neuron zugeordnete Gewicht eine Funktion der Anzahl der Merkmalsvektoren ei nes Trainingseingangs ist, die in diesem Neuron enthalten sind. In einer bevorzugten Ausführungsform implementiert die Einrichtung 310 eine proportionale Erteilung eines Votums, wobei das gewichtete Votum für ein spezielles Neuron gleich der Anzahl der Merkmalsvektoren ist, die in diesem Neuron enthalten sind. Für jeden möglichen Ausgang zählt die Einrichtung 310 alle Voten für alle Neuronen, die den Merkmalsvektor F enthalten. Es gibt drei potentielle Typen der Ergebnisse der Erteilung der Voten: entweder (1) ein Ausgangszeichen erhält mehr Voten als irgendein anderes Ausgangszeichen, (2) zwei oder mehr Ausgangszeichen stehen mit den meisten Voten gleich oder (3) alle Ausgangszeichen erhalten keine Voten, wodurch die Situation angezeigt wird, in der keine Neuronen den Merkmalsvektor F enthalten. In 2 kann der Merkmalsvektor Fg zu dem ersten Typ des Ergebnisses der Erteilung der Voten führen: Das Zeichen „B" kann 2 Voten erhalten, die den enthaltenden Neuronen 2 und 6 entsprechen, während die Zeichen „A" und „C" keine Voten erhalten. Der Merkmalsvektor Fh nach 2 führt zu dem dritten Typ des Ergebnisses der Erteilung der Voten, bei dem jedes Zeichen keine Voten erhält.
  • Die Einrichtung 312 bestimmt, ob der erste Typ des Ergebnisses der Erteilung der Voten aus der Anwendung der Einrichtung 310 auf den Merkmalsvektor F resultierte. Wenn nur eines der möglichen Ausgangszeichen die meisten Voten erhalten hat, dann lenkt die Einrichtung 312 die Verarbeitung des Klassifizierungssystems 300 zu der Einrichtung 314, die dieses Ausgangszeichen als der Bitmap des Eingangszeichens entsprechendes Ausgangszeichen auswählt. Ansonsten geht die Verarbeitung zu der Einrichtung 316 über. Für den Merkmalsvektor Fg in 2 bestimmt die Einrichtung 312, dass das Zeichen „B" mehr Voten aufweist als irgendein anderes Zeichen, wobei sie der Einrichtung 314 befiehlt, „B" als das Zeichen auszu wählen, das dem Merkmalsvektor Fg entspricht. Für den Merkmalsvektor Fh in 2 bestimmt die Einrichtung 312, dass kein einziges Zeichen die meisten Voten erhalten hat, wobei sie die Verarbeitung zu der Einrichtung 316 lenkt.
  • Die Einrichtung 316 wirkt als eine Einrichtung zum Durchbrechen der Gleichheit der Voten für das zweite und dritte potentielle Ergebnis der Erteilung der Voten, bei denen es keinen ausgemachten Führenden bei der Erteilung der Voten gibt, entweder infolge einer Gleichheit der Voten oder weil der Merkmalsvektor nicht innerhalb von Neuronen liegt. Um die Gleichheit der Voten zu durchbrechen, wählt die Einrichtung 316 das Neuron x aus, das sich hinsichtlich der elliptischen Abstandes „am nächsten" bei dem Merkmalsvektor F befindet, wobei sie rx mit einem spezifizierten Schwellenwert θm vergleicht. Wenn (rx ≤ θm) gilt, dann wählt die Einrichtung 318 das Ausgangszeichen, das dem Neuron x zugeordnet ist, als das der Bitmap des Eingangszeichens entsprechende Ausgangszeichen aus. Ansonsten wird die Gleichheit der Voten nicht durchbrochen, wobei das Klassifizierungssystem 300 kein Zeichen für die Eingangsabbildung auswählt. Ein Ergebnis „es wurde kein Zeichen ausgewählt" ist einer der möglichen Ausgänge aus dem Klassifizierungssystem 300. Falls zum Beispiel das Klassifizierungssystem 300 so konstruiert ist, um die Großbuchstaben zu erkennen, und die Eingangsabbildung der Ziffer „7" entspricht, ist ein Ergebnis, das kein Zeichen ausgewählt wurde, ein geeigneter Ausgang.
  • Der Schwellenwert θm kann irgendeine Zahl sein, die größer als 1 ist, wobei sie vorzugsweise ungefähr 1,25 beträgt. Wie vorausgehend beschrieben ist, gilt, wenn sich der Merkmalsvektor F innerhalb des Neurons x befindet (rx < 1), und, wenn sich der Merkmalsvektor F außerhalb des Neurons x befindet, gilt (rx > 1). Wenn das Ergebnis der Erteilung der Voten von der Einrichtung 310 für die meisten von null verschiedenen Voten eine Gleichheit der Voten ist, dann wird die Einrichtung 316 das Ausgangszeichen auswählen, das dem enthaltenden Neuron zugeordnet ist, dessen Zentrum sich hinsichtlich des elliptischen „Abstandes" „am nächsten" bei dem Merkmalsvektor F befindet. Falls es alternativ keine enthaltenden Neuronen gibt, wird die Einrichtung 316 trotzdem die Eingangs-Bitmap als dem Ausgangszeichen, das dem „nächsten" Neuron X zugeordnet ist, entsprechende Eingangs-Bitmap klassifizieren, falls (rx ≤ θm) gilt. Die Verwendung eines Schwellenwertes θm von ungefähr 1,25 stellt eine Zone her, die jedes Neuron umgibt, die durch die Einrichtung 316 zum Durchbrechen der Gleichheit der Voten verwendet wird. In 2 wird der Merkmalsvektor Fh als das Zeichen „C" klassifiziert werden, falls das „Abstands"-Maß r4 kleiner als der Schwellenwert θm ist; ansonsten wird kein Zeichen ausgewählt.
  • Es sei nun auf 4 Bezug genommen, worin ein schematisches Diagramm des erfindungsgemäßen Klassifizierungssystems 400 zum Klassifizieren von Eingängen als einer Menge aus s möglichen Ausgängen entsprechenden Eingängen gezeigt ist. Das Klassifizierungssystem 400 kann einen Teil der Verarbeitung ausführen, die durch das Klassifizierungssystem 300 nach 3 ausgeführt wird. Das Klassifizierungssystem 400 nimmt den Merkmalsvektor F an, der durch die Merkmalselemente (f0, f1, ..., fk–1) repräsentiert wird, wobei es die Werte qt und gm erzeugt, die als Zeiger und/oder Merker wirken, um den möglichen Ausgang, der auszuwählen ist, anzuzeigen. Das Klassifizierungssystem 400 enthält vier Ebenen von Teilsystemen: die Eingangsebene 402, die Verarbeitungsebene 404, die Ausgangsebene 406 und die Nachverarbeitungsebene 408.
  • Die Eingangsebene 402 enthält die Menge I aus k Eingangsverarbeitungseinheiten ij, wobei j von 0 bis k – 1 läuft. Jede Eingangsverarbeitungseinheit ij empfängt als Eingang ein und nur ein Element fj des Merkmalsvektors F, wobei sie diesen Wert zu der Verarbeitungsebene 404 sendet. Die Eingangsebene 402 arbeitet als eine Menge aus Durchführungs-Sende-Elementen.
  • Die Verarbeitungsebene 404 enthält die Menge E aus Enum elliptischen Verarbeitungseinheiten ex, wobei x von 0 bis Enum – 1 läuft. Jede elliptische Verarbeitungseinheit ex ist mit dem Ausgang jeder Eingangsverarbeitungseinheit ij der Eingangsebene 402 verbunden und empfängt von dieser den Eingang. Die elliptische Verarbeitungseinheit ex implementiert die Gleichung (4) für das Neuron x des Klassifizierungssystems 300 nach 3. Ähnlich dem Neuron x des Klassifizierungssystems 300 ist jede elliptische Verarbeitungseinheit ex durch zwei Vektoren aus internen Parametern definiert: Bx und Cx. Die Elemente des Vektors Bx sind die Längen der Achsen des Neurons x, wobei Bx = (b0 x, b1 x, ..., bk–1 x)T (5)gilt, und die Elemente des Vektors Cx sind die Koordinaten des Mittelpunktes des Neurons x, wobei Cx = (c0 x, c1 x, ..., ck–1 x) (6)gilt.
  • Jede elliptische Verarbeitungseinheit ex der Verarbeitungsebene 404 berechnet das Abstandsmaß rx von dem Merkmalsvektor F zu dem Zentrum des Neurons x. Die Verarbeitungsebene 404 ist der Einrichtung 304 des Klassifizierungssystems 300 zugeordnet. Wenn (rx < 1) gilt, dann wird die elliptische Verarbeitungseinheit ex als aktiviert bezeichnet; ansonsten ist die elliptische Verarbeitungseinheit ex nicht aktiviert. Mit anderen Worten, die elliptische Verarbeitungseinheit ex ist aktiviert, wenn das Neuron x den Merkmalsvektor F enthält. Jede elliptische Verarbeitungseinheit ex sendet das berechnete Abstandsmaß rx an lediglich zwei Ausgangsverarbeitungseinheiten der Ausgangsebene 406.
  • Die Ausgangsebene 406 enthält zwei Teile: den Summationsteil 410 des Ausgangs und den Minimierungsteil 412 des Ausgangs. Der Summationsteil 410 des Ausgangs enthält eine Menge Ot aus s Ausgangsverarbeitungseinheiten on t, und der Minimierungsteil 412 des Ausgangs enthält eine Menge Om aus s Ausgangsverarbeitungseinheiten on m, wobei n von 0 bis s – 1 läuft, wobei s außerdem die Anzahl der möglichen Ausgänge ist, für die das Klassifizierungssystem 400 trainiert worden ist. Wenn zum Beispiel die Großbuchstaben klassifiziert werden, gilt s = 26. Jedes Paar Verarbeitungseinheiten (on t, on m) ist nur einem möglichen Ausgang zugeordnet und umgekehrt.
  • Jede elliptische Verarbeitungseinheit ex der Verarbeitungsebene 404 ist mit nur einer Ausgangsverarbeitungseinheit ont des Summationsteils 410 des Ausgangs verbunden und mit nur einer Ausgangsverarbeitungseinheit on m des Minimierungsteils 412 des Ausgangs verbunden, wobei sie diesen den Ausgang bereitstellt. Jedoch kann jede Ausgangsverarbeitungseinheit on t und jede Ausgangsverarbeitungseinheit on m mit einer oder mehreren elliptischen Verarbeitungseinheiten ex der Verarbeitungsebene 404 verbunden sein und von diesen den Eingang empfangen. Diese Beziehungen sind durch die Verbindungsmatrizen Wt und Wm dargestellt, die beide die Dimension (s × Enum) besitzen. Falls es eine Verbindung zwischen der elliptischen Verarbeitungseinheit ex der Verarbeitungsebene 400 und der Aus gangsverarbeitungseinheit on t des Summationsteils 410 des Ausgangs der Ausgangsebene 406 gibt, wird in einer bevorzugten Ausführungsform ein Eintrag wnx t in der Verbindungsmatrix Wt einen Wert besitzen, der gleich der Anzahl der Merkmalsvektoren eines Trainingseingangs ist, die in diesem Neuron x enthalten sind; ansonsten wird er den Wert 0 besitzen. In einer weiteren bevorzugten Ausführungsform besitzt der Eintrag wnx t einen Wert 1, falls es eine Verbindung zwischen der elliptischen Verarbeitungseinheit ex und der Ausgangsverarbeitungseinheit on t gibt.
  • Die Verbindungsmatrix Wm stellt die Verbindungen zwischen der Verarbeitungsebene 404 und dem Minimierungsteil 412 des Ausgangs der Ausgangsebene 406 dar, wobei sie mit der Verbindungsmatrix Wt in Beziehung steht. Ein Eintrag wnx m in der Verbindungsmatrix Wm wird für jeden Eintrag wnx t in der Verbindungsmatrix Wt, der von null verschieden ist, einen Wert 1 aufweisen. Ansonsten wird der Eintrag wnx m einen Wert von 0 aufweisen.
  • Jede Ausgangsverarbeitungseinheit on t in dem Summationsteil 410 des Ausgangs berechnet einen Ausgangswert on t, wobei
    Figure 00180001
    gilt, dabei sendet die Funktion T(rx) den Wert 0 zurück, falls (rx > 1) gilt; ansonsten sendet sie den Wert 1 zurück. Mit anderen Worten, die Funktion T(rx) sendet den Wert 1 zurück, falls die elliptische Verarbeitungseinheit ex der Verarbeitungsebene 404 aktiviert ist. Die Ausgangsverarbeitungseinheit on t zählt die Voten für den möglichen Ausgang, dem sie zugeordnet ist, wobei sie die Gesamtsumme ausgibt. Der Summationsteil 410 des Ausgangs der Ausgangsebene 406 ist der Einrichtung 306 und der Einrichtung 310 des Klassifizierungssystems 300 zugeordnet.
  • Ähnlich berechnet jede Ausgangsverarbeitungseinheit on m in dem Minimierungsteil 412 des Ausgangs einen Ausgangswert on m, wobei:
    Figure 00190001
    gilt, dabei sendet die Funktion „MIN" den minimalen Wert von (wnx mrx) über alle elliptischen Verarbeitungseinheiten ex zurück. Deshalb prüft jede Ausgangsverarbeitungseinheit on m jede der elliptischen Verarbeitungseinheiten ex, mit denen sie verbunden ist, wobei sie einen reellen Wert ausgibt, der gleich dem minimalen Ausgangswert von diesen elliptischen Verarbeitungseinheiten ist. Der Minimierungsteil 412 des Ausgangs der Ausgangsebene 406 ist der Einrichtung 308 des Klassifizierungssystems 300 zugeordnet.
  • Die Nachverarbeitungsebene 408 enthält zwei Nachverarbeitungseinheiten pt und pm. Die Nachverarbeitungseinheit pt ist mit jeder Ausgangsverarbeitungseinheit on t des Summationsteils 410 des Ausgangs der Ausgangsebene 406 verbunden und empfängt von diesen den Eingang. Die Nachverarbeitungseinheit pt stellt die Ausgangsverarbeitungseinheit on t fest, die den maximalen Ausgangswert aufweist, und erzeugt den Wert qt. Falls die Ausgangsverarbeitungseinheit on t des Summationsteils 410 des Ausgangs einen Ausgangswert aufweist, der größer als diejenigen von allen anderen Ausgangsverarbeitungseinheiten des Summationsteils 410 des Ausgangs ist, dann wird der Wert qt gleich n gesetzt – dem Index für diese Ausgangsverarbeitungseinheit. Wenn zum Beispiel die Großbuchstaben klassifiziert werden, kann n für „A" gleich 0 sein und für „8" gleich 1 usw. An sonsten wird der Wert qt auf –1 gesetzt, um anzuzeigen, dass der Summationsteil 410 des Ausgangs der Ausgangsebene 406 den Eingang nicht klassifiziert hat. Die Nachverarbeitungseinheit pt der Nachverarbeitungsebene 408 ist der Einrichtung 312 des Klassifizierungssystems 300 zugeordnet.
  • Ähnlich ist die Nachverarbeitungseinheit pm – die andere Nachverarbeitungseinheit in der Nachverarbeitungsebene 408 – mit jeder Ausgangsverarbeitungseinheit on m des Minimierungsteils 412 des Ausgangs der Ausgangsebene 406 verbunden und empfängt von diesen den Eingang. Die Nachverarbeitungseinheit pm stellt die Ausgangsverarbeitungseinheit on m fest, die den minimalen Ausgangswert aufweist, und erzeugt den Wert qm. Wenn die Ausgangsverarbeitungseinheit on m des Minimierungsteils 412 des Ausgangs einen Ausgangswert aufweist, der kleiner als eine spezifizierte Schwelle θm ist, dann wird der Wert qm auf den entsprechenden Index n gesetzt. Ansonsten wird der Wert qm auf –1 gesetzt, um anzuzeigen, dass der Minimierungsteil 412 des Ausgangs der Ausgangsebene 406 den Eingang nicht klassifiziert hat, weil sich der Merkmalsvektor F für alle Neuronen x außerhalb der Schwellenzone befindet, die das Neuron x umgibt. Die Schwelle θm kann die gleiche wie die Schwelle θm sein, die in dem Klassifizierungssystem 300 nach 3 verwendet wird. Die Nachverarbeitungseinheit pm der Nachverarbeitungsebene 408 ist der Einrichtung 316 des Klassifizierungssystems 300 zugeordnet.
  • Die Klassifizierung des Eingangs wird durch das Analysieren der Werte qt und qm abgeschlossen. Wenn (qt ≠ –1) gilt, dann wird der Eingang als möglicher Ausgang qt der Menge aus s möglichen Ausgängen klassifiziert. Wenn (qt = –1) und (qm ≠ –1) gilt, dann wird der Eingang als möglicher Ausgang qm der Menge aus s möglichen Ausgängen klassifiziert. Ansonsten wird, wenn beide Werte gleich –1 sind, der Eingang nicht als irgendeiner der s möglichen Ausgänge klassifiziert.
  • TRAININGSSYSTEM
  • Ein neuronales Netz muss trainiert werden, bevor es verwendet werden kann, um Eingänge zu klassifizieren. Das Trainingssystem der vorliegenden Erfindung führt dieses erforderliche Training durch Erzeugen von wenigstens einem nicht kugelförmigen Neuron in dem k-dimensionalen Merkmalsraum aus. Das Trainingssystem wird vorzugsweise vor dem Einsatz eines Klassifizierungssystems offline implementiert.
  • Das Trainingssystem der vorliegenden Erfindung erzeugt basierend auf einer Menge von Trainingseingängen Neuronen, wobei von jedem Trainingseingang bekannt ist, dass er einem der möglichen Ausgänge in der Klassifizierungsmenge entspricht. Es wird das Beispiel der Großbuchstaben, das verwendet wurde, um das Klassifizierungssystem 300 zu beschreiben, fortgesetzt, wobei jeder Trainingseingang eine Bitmap sein kann, die einem der Zeichen von „A" bis „Z" entspricht. Jedes Zeichen muss durch wenigstens einen Trainingseingang repräsentiert werden, obwohl typischerweise 250 bis 750 Trainingseingänge für jedes Zeichen verwendet werden.
  • Es sei nun auf 5 Bezug genommen, worin ein Prozessablaufplan des Trainingssystems 500 zum Erzeugen eines Neurons in dem k-dimensionalen Merkmalsraum gezeigt ist, das in dem Klassifizierungssystem 300 nach 3 oder in dem Klassifizierungssystem 400 nach 4 verwendet werden kann. Wenn zum Beispiel die Ausgangsklassifizierung trainiert wird, verarbeitet das Trainingssystem 500 der Reihe nach eine Menge von Eingängen von Trainings- Bitmaps, die bekannten Ausgängen entsprechen. An einem speziellen Punkt des Trainings wird es eine Menge bestehender Merkmalsvektoren geben, die den vorher verarbeiteten Trainingseingängen entsprechen, und es wird eine Menge bestehender Neuronen geben, die aus diesen bestehenden Merkmalsvektoren erzeugt worden sind. Für jeden Trainingseingang erzeugt das Trainingssystem 500 einen Merkmalsvektor in einem Merkmalsraum, der die Informationen repräsentiert, die in diesem Trainingseingang enthalten sind.
  • Das Trainingssystem 500 wendet bei der Verarbeitung jedes Trainingseingangs zwei Regeln an. Die erste Trainingsregel lautet, dass, wenn der Merkmalsvektor, der dem aktuell verarbeiteten Trainingseingang entspricht, in irgendwelchen bestehenden Neuronen enthalten ist, die einem anderen bekannten Ausgang zugeordnet sind, dann die Grenzen dieser bestehenden Neuronen räumlich eingestellt werden, um diesen Merkmalsvektor auszuschließen – d. h. sicherzustellen, dass sich dieser Merkmalsvektor nicht innerhalb der Grenze von diesen bestehenden Neuronen befindet. Ansonsten werden die Neuronen nicht räumlich eingestellt. Wenn zum Beispiel der aktuelle Trainingseingang dem Zeichen "R" entspricht, wobei der Merkmalsvektor, der diesem Trainingseingang entspricht, in den zwei bestehenden „P"-Neuronen und in dem einen bestehenden „B"-Neuron enthalten ist, dann werden die Grenzen von diesen drei bestehenden Neuronen räumlich eingestellt, um sicherzustellen, dass sie den aktuellen Merkmalsvektor nicht enthalten.
  • Die zweite Trainingsregel lautet, dass, wenn der aktuelle Merkmalsvektor nicht in wenigstens einem bestehenden Neuron enthalten ist, das dem gleichen bekannten Ausgang zugeordnet ist, dann ein neues Neuron erzeugt wird. Ansonsten wird für den aktuellen Merkmalsvektor kein neues Neuron erzeugt. Wenn zum Beispiel der aktuelle Trai ningseingang dem Zeichen „W" entspricht, wobei der Merkmalsvektor, der diesem Trainingseingang entspricht, in irgendeinem bestehenden Neuron, das dem Zeichen „W" zugeordnet ist, nicht enthalten ist, dann wird ein neues „W"-Neuron erzeugt, um diesen aktuellen Merkmalsvektor zu enthalten. In einer bevorzugten Ausführungsform wird ein neues Neuron erzeugt, indem ein temporäres Neuron in der Form einer Hyperkugel erzeugt wird, wobei dann dieses temporäre Neuron räumlich eingestellt wird, um das neue Neuron zu erzeugen. In einer alternativen bevorzugten Ausführungsform kann das temporäre Neuron eine nicht kugelförmige Hyperellipse sein.
  • In einer bevorzugten Ausführungsform der vorliegenden Erfindung erzeugt das Trainingssystem 500 hyperelliptische Neuronen aus einer Menge von Eingängen von Trainings-Bitmaps, die bekannten Zeichen entsprechen. Das Trainingssystem 500 beginnt mit nicht bestehenden Merkmalsvektoren und nicht bestehenden Neuronen. Die Verarbeitung des Trainingssystems 500 beginnt mit der Einrichtung 502, die einen ersten Trainingseingang aus einer Menge aus Trainingseingängen als den aktuellen Trainingseingang auswählt. Die Einrichtung 504 erzeugt den Merkmalsvektor F, der dem aktuellen Trainingseingang entspricht.
  • Wenn der erste Trainingseingang der aktuelle Trainingseingang ist, gibt es keine bestehenden Neuronen, wobei es deshalb keine bestehenden Neuronen gibt, die den Merkmalsvektor F enthalten. In diesem Fall fließt die Verarbeitung des Trainingssystems 500 zu der Einrichtung 514, die ein neues Neuron erzeugt, das um den Merkmalsvektor F zentriert ist. Das neue Neuron ist vorzugsweise durch die Gleichung (3) definiert, wobei alle neuen Neuronenachsen auf die gleiche Länge gesetzt sind, d. h. (bj = λ) gilt für alle j. Weil die neuen Neuronenachsen alle die gleiche Länge besitzen, ist das neue Neuron eine Hyperkugel mit dem Radius λ in dem Merkmalsraum. In einer bevorzugten Ausführungsform kann der Wert der Konstanten λ zweimal so groß wie das größte Merkmalselement f von allen Merkmalsvektoren F für die ganze Menge der Trainingseingänge sein. Weil es keine bestehenden Merkmalsvektoren gibt, wenn der erste Trainingseingang verarbeitet wird, fließt das Trainingssystem 500 als nächstes zu der Einrichtung 528, wobei von diesem Punkt die Verarbeitung des Trainingssystems 500 allgemeiner beschrieben werden kann.
  • Die Einrichtung 528 bestimmt, ob der aktuelle Trainingseingang der letzte Trainingseingang in der Menge der Trainingseingänge ist. Falls er es nicht ist, lenkt die Einrichtung 528 die Verarbeitung des Trainingssystems 500 zu der Einrichtung 530, die den nächsten Trainingseingang als den aktuellen Trainingseingang auswählt. Dann erzeugt die Einrichtung 504 den Merkmalsvektor F, der dem aktuellen Trainingseingang entspricht.
  • Die Einrichtungen 506 und 508 bestimmen, falls es irgendwelche gibt, welche bestehenden Neuronen räumlich einzustellen sind, um zu vermeiden, dass sie den Merkmalsvektor F enthalten. In einer bevorzugten Ausführungsform stellt die Einrichtung 510 ein bestehendes Neuron ein, falls dieses Neuron nicht dem gleichen bekannten Zeichen zugeordnet ist wie der aktuelle Trainingseingang (was durch die Einrichtung 506 bestimmt wird) und falls es den Merkmalsvektor F enthält (was durch die Einrichtung 508 bestimmt wird). Die Einrichtung 508 bestimmt, ob ein bestehendes Neuron den Merkmalsvektor F enthält, indem sie das „Abstands"-Maß rx nach Gleichung (4) berechnet und prüft, wobei sie prüft, ob (rx < 1) gilt, wie vorausgehend beschrieben ist.
  • In einer bevorzugten Ausführungsform stellt die Einrichtung 510 ein bestehendes Neuron räumlich ein, indem sie es entlang nur einer Achse optimal schrumpft. In einer weiteren bevorzugten Ausführungsform schrumpft die Einrichtung 510 ein bestehendes Neuron proportional entlang einer oder mehrerer Achsen. Diese Schrumpfverfahren sind im Folgenden in dieser Beschreibung ausführlicher erklärt. Nach der Verarbeitung durch die Einrichtung 510 ist der aktuelle Merkmalsvektor in irgendwelchen bestehenden Neuronen nicht enthalten, die einem Zeichen zugeordnet sind, das von dem Zeichen verschieden ist, das dem Trainingseingang zugeordnet ist. Folglich liegt der aktuelle Merkmalsvektor entweder außerhalb oder auf den Grenzen von derartigen bestehenden Neuronen.
  • Das Trainingssystem 500 bestimmt außerdem, ob ein neues Neuron zu erzeugen ist, wobei es, falls es so ist, dieses neue Neuron erzeugt. Ein neues Neuron wird (durch die Einrichtung 514) erzeugt, falls der Merkmalsvektor F nicht in irgendeinem bestehenden Neuron enthalten ist, das dem gleichen Zeichen zugeordnet ist wie der Trainingseingang (was durch die Einrichtung 512 bestimmt wird). Wie vorausgehend beschrieben ist, erzeugt die Einrichtung 514 ein neues Neuron, das vorzugsweise eine Hyperkugel mit dem Radius λ ist.
  • Das Trainingssystem 500 prüft dann jedes neue, durch die Einrichtung 514 erzeugte Neuron, wobei sie es, falls das notwendig ist, räumlich einstellt, um sicherzustellen, dass es nicht irgendwelche bestehenden Merkmalsvektoren enthält, die einem Zeichen zugeordnet sind, das von dem Zeichen verschieden ist, das dem Trainingseingang zugeordnet ist. Die Einrichtungen 516, 524 und 526 steuern den Ablauf des Prüfens eines neuen Neurons gegen jeden der bestehenden Merkmalsvektoren durch das Auswählen eines der bestehenden Merkmalsvektoren zu einem Zeitpunkt. Wenn ein neues Neuron einem Zeichen zugeordnet ist, das von dem aktuell ausgewählten bestehenden Merkmalsvektor verschieden ist (was durch die Einrichtung 518 bestimmt wird), und wenn das neue Neuron diesen ausgewählten bestehenden Merkmalsvektor enthält (was durch die Einrichtung 520 unter Verwendung der Gleichung (4) bestimmt wird), dann stellt die Einrichtung 524 das neue Neuron durch einen der gleichen Schrumpfalgorithmen räumlich ein, die durch die Einrichtung 510 verwendet werden. Das Trainingssystem 500 fährt damit fort, ein neues Neuron zu prüfen und einzustellen, bis alle bestehenden Merkmalsvektoren verarbeitet worden sind. Weil das durch die Einrichtung 514 erzeugte Neuron in der Form einer Hyperkugel durch die Einrichtung 522 eingestellt wird, ist dieses Neuron in der Form einer Hyperkugel ein temporäres Neuron mit temporären Neuronenachsen der gleichen Länge. Die Verarbeitung des Trainingssystems 500 geht dann zu der Einrichtung 528 über, um die Auswahl des nächsten Trainingseingangs zu steuern.
  • In einer bevorzugten Ausführungsform können die Schritte (1) des Schrumpfens bestehender Neuronen für einen gegebenen Eingang und (2) des Erzeugens und Schrumpfens eines neuen, für den gleichen Eingang erzeugten Neurons parallel ausgeführt werden. Es wird für die Fachleute selbstverständlich sein, dass diese zwei Schritte außerdem der Reihe nach in irgendeiner Reihenfolge ausgeführt werden können.
  • Nachdem alle Trainingseingänge in der Menge der Trainingseingänge der Reihe nach verarbeitet worden sind, lenkt in einer bevorzugten Ausführungsform die Einrichtung 528 die Verarbeitung des Trainingssystems 500 zu der Einrichtung 532. Nach der Verarbeitung einer Menge aus Trainingseingängen mit ihren entsprechenden Merkmalsvektoren ist der Merkmalsraum sowohl mit Merkmalsvekto ren als auch mit Neuronen bevölkert. Nach der einmaligen Verarbeitung der Menge aus Trainingseingängen können einige Merkmalsvektoren nicht in irgendwelchen Neuronen enthalten sein. Dieses tritt auf, wenn die Merkmalsvektoren, die an irgendeinem Punkt in dem Trainingsprozess in einem Neuron (in Neuronen) des gleichen Zeichens enthalten waren, aus diesen Neuronen ausgeschlossen werden, als diese Neuronen geschrumpft wurden, um nachfolgende Merkmalsvektoren, die einem anderen Zeichen zugeordnet sind, zu umgehen. In einer derartigen Situation lenkt die Einrichtung 532 die Verarbeitung zurück zu der Einrichtung 502, um die Verarbeitung der ganzen Menge der Trainingseingänge zu wiederholen. Wenn diese Verarbeitung wiederholt wird, werden die vorher erzeugten Neuronen erhalten. Durch das iterative Wiederholen dieses Trainingsprozesses werden bei jeder Iteration neue Neuronen erzeugt, bis schließlich jeder einzelne Merkmalsvektor in einem oder mehreren Neuronen enthalten ist, die dem richtigen Ausgang zugeordnet sind, wobei keine Merkmalsvektoren in Neuronen enthalten sind, die anderen möglichen Ausgängen zugeordnet sind. Darüber hinaus ist garantiert, dass dieses iterative Training in einer endlichen Zeitperiode konvergiert, wobei die maximale Anzahl der Iterationen gleich der Gesamtzahl der Trainingseingänge ist.
  • Nachdem das Trainingssystem 500 seine Verarbeitung abgeschlossen hat, ist der Merkmalsraum mit Neuronen bevölkert, die dann durch das Charakterisierungssystem 300 oder das Charakterisierungssystem 400 verwendet werden können, um einen unbekannten Eingang in einen von mehreren möglichen Ausgängen zu klassifizieren.
  • OPTIMALES SCHRUMPFEN EINER ACHSE
  • Wie vorausgehend erwähnt ist, stellt in einer bevorzugten Ausführungsform das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons durch optimales Schrumpfen entlang einer Achse räumlich ein, um einen speziellen Merkmalsvektor auszuschließen. Die Einrichtungen 510 und 522 des Trainingssystems 500 können dieses Schrumpfen einer Achse ausführen, indem sie (1) die zu schrumpfende Achse identifizieren und (2) die neue Länge für diese Achse berechnen.
  • Das Trainingssystem 500 identifiziert die zu schrumpfende Achse n durch die Formel
    Figure 00280001
    wobei die Funktion "argmax" den Wert i zurücksendet, der den Ausdruck in den eckigen Klammern für jedes i von 0 bis k – 1 maximiert; die cj und bj definieren den Mittelpunkt bzw. die Achsenlängen des einzustellenden Neurons, und die fj definieren den Merkmalsvektor, der aus diesem Neuron auszuschließen ist.
  • Das Trainingssystem 500 berechnet dann die neue Länge bn' für die Achse n durch die Gleichung:
  • Figure 00290001
  • Bei der Schrumpfung einer Achse behalten alle anderen Achsen ihre ursprünglichen Längen bj.
  • Die Schrumpfung einer Achse eines ursprünglich hyperelliptischen Neurons entsprechend den Gleichungen (9) und (10) führt zu einem eingestellten Neuron mit dem größten Hypervolumen V, das die folgenden vier Kriterien erfüllt:
    • (1) Das eingestellte Neuron ist eine Hyperellipse;
    • (2) der Mittelpunkt des ursprünglichen Neurons ist der gleiche wie der Mittelpunkt des eingestellten Neurons;
    • (3) der auszuschließende Merkmalsvektor liegt auf der Grenze des eingestellten Neurons; und
    • (4) alle Punkte innerhalb oder auf der Grenze des eingestellten Neurons liegen innerhalb oder auf der Grenze des ursprünglichen Neurons.
  • Das Hypervolumen V ist durch
    Figure 00290002
    definiert, wobei Ck eine Konstante ist, die von dem Wert von k abhängt, wobei k die Dimension des Merkmalsraums ist, und die bj sind die Längen der Achsen, die das eingestellte Neuron definieren. Das Schrumpfen einer Achse schafft deshalb ein erstes Verfahren zum optimalen Einstellen von Neuronen gemäß der vorliegenden Erfindung.
  • ALGORITHMUS ZUM PROPORTIONALEN SCHRUMPFEN
  • In einer alternativen bevorzugten Ausführungsform stellt das Trainingssystem 500 die Grenze eines hyperelliptischen Neurons durch proportionales Schrumpfen entlang einer oder mehrerer Achsen räumlich ein, um einen speziellen Merkmalsvektor auszuschließen. Die Einrichtungen 510 und 522 des Trainingssystems 500 können das proportionale Schrumpfen durch das Berechnen des Vektors ΔB der Änderungen Δbj der Achsenlängen ausführen, wobei
    Figure 00300001
    gilt, mit: ΔB = (Δb0, Δb1, ..., Δbk–1), (13)
    Figure 00300002
    |F – C|T = (|f0 – c0|, |f1 – c1|, ..., |fk–1 – ck–1|), (15) F = (f0, f1, ..., fk–1)T, (16) C = (c0, c1, ..., ck–1)T, (17)
    Figure 00300003
    Figure 00310001
    und Γ = (γ0, γ1, ..., γk–1), (21)wobei |f0 – c0| der Absolutwert von (f0 – c0) ist; ||F – C|| ist die Größe der Vektordifferenz zwischen F und C; die cj und bj definieren den Mittelpunkt bzw. die Achsenlängen des einzustellenden Neurons; die fj sind die Elemente des aus diesem Neuron auszuschließenden Merkmalsvektors; und α und γj können Konstanten sein. Die neuen Achsenlängen bj' für das eingestellte Neuron können durch bj' = bj + Δbj (22)für j von 0 bis k – 1 berechnet werden.
  • Beim proportionalen Schrumpfen bestimmt das Trainingssystem 500 die Projektionen eines Vektors auf die Achsen des einzustellenden Neurons, wobei der Vektor von dem Zentrum dieses Neurons zu dem auszuschließenden Merkmalsvektor zeigt. Diese Projektionen werden durch den Vektor der Cosinus nach Gleichung (14) dargestellt. Das Trainingssystem 500 bestimmt dann, basierend auf der Beziehung zwischen der Länge der Achse und der Länge der Projektion auf diese Achse, wie viel jede Neuronenachse zu schrumpfen ist.
  • In einer bevorzugten Ausführungsform wird die Konstante α in der Gleichung (12) so gewählt, dass sie kleiner als 1 ist. In diesem Fall kann das Trainingssystem 500 das iterative Schrumpfen ausführen, bei dem das Neuron über mehrere Schritte des Schrumpfens der Achse langsam eingestellt wird, bis bestimmt wird, dass sich der auszuschließende Merkmalsvektor außerhalb des eingestellten Neurons befindet. In einer bevorzugten Ausführungsform kann der Parameter γj auf einen positiven Wert gesetzt werden, der ungefähr 0,001-mal die Größe der Achse j ist, um sicherzustellen, dass das proportionale Schrumpfen den Merkmalsvektor schließlich außerhalb des Neurons anordnet. In einer alternativen bevorzugten Ausführungsform können die Parameter γj Fehlerfunktionen sein, die auf dem Abstand von dem Merkmalsvektor zu der Grenze des langsam eingestellten Neurons basieren. In einem derartigen Fall kann das Trainingssystem 500 als eine proportionale integrierte Steuereinrichtung zum Einstellen von Neuronen arbeiten.
  • ORDNUNG DER TRAININGSEINGÄNGE
  • In einer bevorzugten Ausführungsform der vorliegenden Erfindung kann die Menge der Trainingseingänge, die durch das Trainingssystem der Reihe nach verwendet werden, um Neuronen zu erzeugen, entsprechend der Eingangsqualität geordnet sein. Die Trainingseingänge können geordnet sein, um mit den Eingängen mit höherer Qualität zu trainieren, bevor zu denjenigen mit niedriger Qualität übergegangen wird. Diese Qualitätsordnung der Trainingseingänge stellt sicher, dass die Neuronen um die Merkmalsvektoren zentriert werden, die den Eingängen mit höherer Qualität entsprechen. Ein derartiges geordnetes Training kann den Wirkungsgrad der Leistung eines Klassifizierungssystems verbessern, indem die Anzahl der Neuronen vermindert wird, die notwendig sind, um das Klassifizierungssystem zu definieren. Eine derartige Ordnung kann außerdem die Anzahl der Fehlklassifizierungen und der Nichtklassifizierungen vermindern, die durch das Klassifizierungssystem ausgeführt werden. Es ist eine Fehlklassifizierung, wenn ein Klassifizierungssystem einen möglichen Ausgang auswählt, wenn der Eingang tatsächlich einem anderen möglichen Ausgang entspricht. Es ist eine Nichtklassifizierung, wenn ein Klassifizierungssystem beim Auswählen eines der bekannten Ausgänge scheitert und statt dessen ein Ergebnis ausgibt, dass kein Ausgang ausgewählt wurde.
  • Es sei nun auf die 1(a), 1(b), 1(c) und 1(d) Bezug genommen, worin sind Bitmap-Darstellungen eines nominellen Buchstabens „O" bzw. eines herabgesetzten Buchstabens „O" bzw. einer nominellen Ziffer „7" bzw. eines herabgesetzten Buchstabens „7" gezeigt. Ein nomineller Eingang ist ein idealer Eingang, dem kein Rauschen zugeordnet ist. Ein herabgesetzter Eingang ist ein Eingang, bei dem das Rauschen Abweichungen von dem nominellen Eingang erzeugt hat. Herabgesetzte Eingänge können sich entweder aus gesteuertem Rauschen oder wirklichem unvorhersagbaren Rauschen ergeben.
  • In einer bevorzugten Ausführungsform kann das Trainingssystem der vorliegenden Erfindung mit Trainingseingängen mit drei verschiedenen Qualitätsniveaus trainieren. Das erste Niveau der Trainingseingänge sind die nominellen Eingänge wie diejenigen, die in den 1(a) und 1(c) dargestellt sind. Das zweite Niveau der Trainingseingänge sind die Eingänge mit gesteuertem Rauschen, ein Typ eines herabgesetzten Eingangs, der durch Anwenden definierter Rausch funktionen oder -signale mit unterschiedlichen Merkmalen entweder unabhängig oder in Kombination auf nominelle Eingänge erzeugt wird. Das dritte Niveau der Trainingseingänge sind Eingänge mit wirklichem Rauschen, ein zweiter Typ von herabgesetzten Eingängen, die in dem Fall der Zeichen optisch erfasste Abbildungen von bekannten Zeichen sein können. Derartige herabgesetzte Eingänge besitzen ein wirkliches, unvorhersagbares Rauschen. Die 1(b) und 1(d) stellen Darstellungen von möglichen Eingängen mit gesteuertem Rauschen und Eingänge mit wirklichem Rauschen dar. In einer bevorzugten Ausführungsform besitzen die nominellen Eingänge die höchste Qualität, wobei die Eingänge mit gesteuertem Rauschen und die Eingänge mit wirklichem Rauschen eine abnehmende kleinere Qualität aufweisen. Abhängig von den angewendeten Funktionen und Signalen des gesteuerten Rauschens kann ein spezieller Eingang mit gesteuertem Rauschen eine größere oder eine kleinere Qualität aufweisen als ein spezieller Eingang mit wirklichem Rauschen.
  • Die Qualität eines speziellen herabgesetzten Eingangs – entweder mit einer Art gesteuertem Rauschen oder einer Art wirklichem Rauschen – kann durch das Vergleichen des herabgesetzten Eingangs mit einem nominellen Eingang bestimmt werden, der dem gleichen bekannten Zeichen entspricht. In einer bevorzugten Ausführungsform kann ein Qualitätsmaß auf der Anzahl der Bildpunkte basieren, die sich zwischen den zwei Eingängen unterscheiden. In einer weiteren bevorzugten Ausführungsform kann das Qualitätsmaß auf den Maßen der herkömmlichen Merkmale basieren, wie zum Beispiel den Rastermerkmalen oder den Hadamardschen Merkmalen.
  • In einer bevorzugten Ausführungsform trainieren die Trainingssysteme zuerst mit den nominellen Eingängen und dann später mit den herabgesetzten Eingängen mit gesteuertem Rauschen und mit wirkli chem Rauschen. In dieser bevorzugten Ausführungsform würde das Training mit den Eingängen, die den 1(a) und 1(c) entsprechen, mit dem Training mit denjenigen nach den 1(b) und 1(d) vorangehen. In einer weiteren bevorzugten Ausführungsform trainiert das Trainingssystem mit allen Eingängen des gleichen bekannten Zeichens, bevor es zu dem nächsten bekannten Zeichen übergeht, wobei die Trainingseingänge von jedem bekannten Zeichen intern durch die Qualität geordnet sind. In dieser bevorzugten Ausführungsform wird das Training mit 1(a) mit demjenigen mit 1(b) fortgesetzt, und das Training mit 1(c) wird mit demjenigen mit 1(d) fortgesetzt. Es wird für die Fachleute selbstverständlich sein, dass der genaue Gesamtablauf des Trainings mit allen Eingängen von geringerer Bedeutung als das Ordnen der Eingänge durch die Qualität für jedes unterschiedliche bekannte Zeichen ist.
  • VERFEINERUNG VON NEURONEN
  • Nachdem das Trainingssystem das Training abgeschlossen hat, ist der Merkmalsraum mit Neuronen bevölkert, die Merkmalsvektoren enthalten, wobei ein Merkmalsvektor jedem unterschiedlichen Trainingseingang entspricht. Jedes Neuron kann einen oder mehr Merkmalsvektoren enthalten – der eine in dem Zentrum des Neurons, der verwendet wurde, um das Neuron zu erzeugen, und möglicherweise andere Merkmalsvektoren, die den Eingängen entsprechen, die dem gleichen bekannten Zeichen zugeordnet sind.
  • Abhängig von der Qualitätsordnung der beim sequentiellen Training verwendeten Trainingseingänge kann ein spezielles Neuron diese Merkmalsvektoren in einer mehr oder weniger effizienten Weise enthalten. Wenn zum Beispiel der Merkmalsvektor, der verwendet wurde, um ein spezielles Neuron zu erzeugen, einem im hohen Grade he herabgesetzten Eingang entspricht, dann wird dieser Merkmalsvektor im Zentrum dieses Neurons liegen. Das gleiche Neuron kann außerdem andere Merkmalsvektoren enthalten, die nominellen Eingängen und Eingängen mit geringerer Verschlechterung entsprechen. Ein derartiges Neuron muss nicht das effizienteste Neuron sein, um diese Menge von Merkmalsvektoren zu enthalten. Ein Klassifizierungssystem, das ein derartiges Neuron verwendet, kann mehr Fehlklassifizierungen und Nichtklassifizierungen ausführen als eines, das ein effizienteres Neuron verwendet.
  • Ein Verfeinerungssystem stellt die während des Trainings erzeugten Neuronen räumlich ein, um effizientere Neuronen zu erzeugen. Dieses Verfeinerungssystem kann die räumliche Verteilung der in einem speziellen Neuron enthaltenen Merkmalsvektoren charakterisieren und dieses Neuron dann räumlich einstellen. Eine derartige räumliche Einstellung kann das Übertragen des Neurons von seinem aktuellen Mittelpunkt zu dem Mittelwert der räumlichen Verteilung von diesen Merkmalsvektoren mit sich bringen. Nach dem Übertragen des Neurons können die Achsenlängen eingestellt werden, um sicherzustellen, dass die Merkmalsvektoren des gleichen Ausgangszeichens in dem Neuron enthalten sind, und um sicherzustellen, dass die Merkmalsvektoren von anderen Ausgangszeichen ausgeschlossen sind.
  • In einer alternativen Ausführungsform kann das Verfeinerungssystem zwei oder mehr Neuronen des gleichen Zeichens räumlich einstellen, um ein oder mehrere Neuronen zu erzeugen, die die gleichen Merkmalsvektoren effizienter enthalten, wobei ein Merkmalsvektor von einem ursprünglichen Neuron in einem anderen effizienteren Neuron enthalten sein kann. Vor der Verfeinerung kann zum Beispiel ein erstes Neuron die Merkmalsvektoren F1, F2 und F3 enthalten, während ein zweites Neuron die Merkmalsvektoren F4, F5, F6 und F7 enthalten kann. Nach der Verfeinerung können die Merkmalsvektoren F1, F2, F3 und F4 in einem dritten Neuron enthalten sein, während die Merkmalsvektoren F5, F6 und F7 in einem vierten Neuron enthalten sein können, wobei alle Zentren und alle Achsenlängen des drttten und des vierten Neurons von denjenigen des ersten und des zweiten Neurons verschieden sind.
  • KLASSIFIZIERUNGSSYSTEME MIT CLUSTER-KLASSIFIZIERUNGSEINRICHTUNGEN
  • In einer ersten bevorzugten Ausführungsform der vorliegenden Erfindung klassifiziert ein Klassifizierungssystem die Eingänge in einen aus einer Menge von möglichen Ausgängen, indem es den Merkmalsvektor für jeden zu klassifizierenden Eingang mit jedem Neuron in dem Merkmalsraum vergleicht. Derartige Klassifizierungssysteme sind in den 3 und 4 dargestellt.
  • Es sei nun auf 6 Bezug genommen, worin ein Klassifizierungssystem 600 gezeigt ist – eine zweite bevorzugte Ausführungsform –, in der die Eingänge in einen aus einer Menge von möglichen Ausgängen unter Verwendung von Neuronen und Cluster-Klassifizierungseinrichtungen klassifiziert werden. Das Klassifizierungssystem 600 enthält eine Klassifizierungseinrichtung 602 höchster Ebene und zwei oder mehr Cluster-Klassifizierungseinrichtungen 604, 606, ..., 608. Die Klassifizierungseinrichtung 602 höchster Ebene klassifiziert die Eingänge in geeignete Cluster aus Eingängen. Wenn zum Beispiel das Klassifizierungssystem 600 Zeichen klassifiziert, kann die Klassifizierungseinrichtung 602 höchster Ebene die Eingangs-Bitmaps, die optisch erfassten Zeichen entsprechen, in Cluster aus Zeichen klassifizieren.
  • Die zu Clustern gruppierten Zeichen können diejenigen sein, die durch ähnliche Bitmaps repräsentiert werden, oder, mit anderen Worten, diejenigen, deren Zeichen den Merkmalsvektoren zugeordnet sind, die sich in dem Merkmalsraum nahe beieinander befinden. Der erste Zeichen-Cluster kann zum Beispiel den Zeichen „D", „P", R" und „B" entsprechen. Ein zweiter Zeichen-Cluster kann den Zeichen „O", „C", „D", „U" und „Q" entsprechen. Ein dritter Cluster kann nur einem Zeichen entsprechen, wie zum Beispiel dem Zeichen „Z". Ein spezielles Zeichen kann sich in mehr als einem Zeichen-Cluster befinden. In diesem Beispiel befindet sich das Zeichen „D" sowohl in dem ersten als auch in dem zweiten Zeichen-Cluster, weil seine Bitmaps denjenigen von beiden Clustern ähnlich sind.
  • In einer bevorzugten Ausführungsform werden vor dem Training die Zeichen basierend auf einer Verwechslungsmatrix zu Clustern gruppiert. Die Verwechslungsmatrix stellt die Wahrscheinlichkeit für jedes mögliche Zeichenpaar dar, dass ein Zeichen mit einem anderen Zeichen verwechselt werden wird. Im Allgemeinen wird, je näher sich die Merkmalsvektoren eines Zeichens bei denjenigen eines anderen Zeichens befinden, die Wahrscheinlichkeit umso höher sein, dass diese zwei Zeichen verwechselt werden können. Das Zeichen „D" besitzt zum Beispiel eine höhere Verwechslungswahrscheinlichkeit mit Bezug auf das „O" als mit Bezug auf das „M", falls sich die Merkmalsvektoren für das „D" näher bei den Merkmalsvektoren für das „O" als bei denen für das „M" befinden.
  • In einer bevorzugten Ausführungsform basiert das Gruppieren der Zeichen zu Clustern auf einem herkömmlichen Algorithmus zum Gruppieren in Clustern mit K Mittelwerten, in dem eine Menge aus Schablonen für jedes Zeichen spezifiziert ist, wobei jede Schablone ein Punkt in dem Merkmalsraum ist. Der Algorithmus zum Gruppie ren in Clustern mit K Mittelwerten bestimmt, wo die Schablonen für ein spezielles Zeichen in dem Merkmalsraum anzuordnen sind, indem er die Positionen der Merkmalsvektoren für alle Trainingseingänge analysiert, die diesem Zeichen entsprechen. Die Schablonen werden vorzugsweise nahe der arithmetischen Mittel der Cluster der zugeordneten Merkmalsvektoren angeordnet.
  • In einer bevorzugten Ausführungsform können für jedes Zeichen vier Schablonen verwendet werden, wobei die Anzahl der Zeichen je Cluster ungefähr gleich sein kann. Wenn zum Beispiel die 64 Zeichen klassifiziert werden, die den 26 Großbuchstaben und den 26 Kleinbuchstaben, den 10 Ziffern und den Symbolen „&" und „#" entsprechen, können 4 × 64 oder 256 Schablonen verwendet werden, um 7 verschiedene Cluster aus ungefähr äquivalenten Anzahlen aus Zeichen zu definieren.
  • Durch das Gruppieren der Zeichen in Cluster kann die Klassifizierungseinrichtung 602 höchster Ebene einen Klassifizierungsalgorithmus implementieren, der für jeden Eingang schnell und genau den geeigneten Cluster bestimmt. In einer bevorzugten Ausführungsform implementiert die Klassifizierungseinrichtung 602 höchster Ebene einen neuronengestützten Klassifizierungsalgorithmus. In einer weiteren bevorzugten Ausführungsform können durch die Klassifizierungseinrichtung 602 höchster Ebene andere herkömmliche nicht-neuronale Klassifizierungsalgorithmen ausgeführt werden. Die Klassifizierungseinrichtung 602 höchster Ebene wählt für einen speziellen Eingang einen geeigneten Cluster und lenkt die Verarbeitung zur Fortsetzung zu der geeigneten Cluster-Klassifizierungseinrichtung 604, 606, ..., 608. Jede Cluster-Klassifizierungseinrichtung ist einem und nur einem Zeichen-Cluster zugeordnet und umgekehrt.
  • In einer bevorzugten Ausführungsform kann jede Cluster-Klassifizierungseinrichtung einen Klassifizierungsalgorithmus implementieren, der für diesen Zeichen-Cluster eindeutig ist, oder der durch lediglich eine Teilmenge der Gesamtzahl der Zeichen-Cluster gemeinsam genutzt wird. Jede Cluster-Klassifizierungseinrichtung kann deshalb Neuronen verwenden, die in einem Merkmalsraum existieren, der für diesen Zeichen-Cluster eindeutig ist. Das Training für den Cluster für „P", „R", „B" kann zum Beispiel eine spezielle Menge von Rastermerkmalen verwenden, während das Training für den Cluster für „O", „C", „D", „U", „Q" eine andere Menge von Hadamardschen Merkmalen verwenden kann. In diesem Fall werden für jede unterschiedliche Cluster-Klassifizierungseinrichtung unterschiedliche Trainingsprozeduren ausgeführt, wobei nur die Eingänge für jede unterschiedliche Trainingsprozedur verwendet werden, die denjenigen Zeichen des zugeordneten Clusters entsprechen.
  • In einer drttten bevorzugten Ausführungsform gemäß der Erfindung kann ein Klassifizierungssystem gemäß 6 die Eingänge in eine Menge möglicher Ausgänge unter Verwendung von Neuronen und Cluster-Klassifizierungseinrichtungen klassifizieren. In dieser dritten Ausführungsform identifiziert die Klassifizierungseinrichtung 602 höchster Ebene die Schablone in dem Merkmalsraum, die sich am nächsten bei dem Merkmalsvektor für den aktuellen zu klassifizierenden Eingang befindet. Die identifizierte Schablone ist einem speziellen Zeichen zugeordnet, das zu einem oder mehreren Zeichen-Clustern gehört. Die Klassifizierungseinrichtung 602 höchster Ebene lenkt die Verarbeitung nur zu denjenigen Cluster-Klassifizierungseinrichtungen 604, 606, ..., 608, die den Zeichen-Clustern der nächsten Schablone zugeordnet sind. Weil sich ein spezielles Zeichen in mehr als einem Zeichen-Cluster befinden kann, kann durch die Klassifizie rungseinrichtung 602 höchster Ebene mehr als eine Cluster-Klassifizierungseinrichtung für die Verarbeitung ausgewählt werden.
  • In einer vierten bevorzugten Ausführungsform kann jede Cluster-Klassifizierungseinrichtung einen Entscheidungsbaum besitzen, der diejenigen Neuronen identifiziert, die für einen gegebenen Eingang zu verarbeiten sind. Vor der Klassifizierung kann der Raum der Merkmalsvektoren für eine spezielle Cluster-Klassifizierungseinrichtung entsprechend der Verteilung der Merkmalsvektoren und/oder der Neuronen in dem Merkmalsraum in Zonen aufgeteilt werden. Jede Zone enthält ein oder mehrere Neuronen, jedes Neuron kann zu mehr als einer Zone gehören, wobei sich zwei oder mehr Zonen überlappen können. Die Klassifizierungseinrichtung 602 höchster Ebene kann bestimmen, in welcher Zone (oder in welchen Zonen) des Merkmalsraums der Merkmalsvektor für den aktuellen Eingang liegt, wobei sie den ausgewählten Cluster-Klassifizierungseinrichtungen befehlen kann, nur diejenigen Neuronen zu verarbeiten, die der Zone (oder diesen Zonen) zugeordnet sind.
  • Es wird für die Fachleute selbstverständlich sein, dass einige Klassifizierungssysteme die Entscheidungsbäume ohne die Cluster-Klassifizierungseinrichtungen verwenden können, einige können die Cluster-Klassifizierungseinrichtungen ohne die Entscheidungsbäume verwenden, einige können beides verwenden und andere können keines von beiden verwenden. Es wird für die Fachleute ferner selbstverständlich sein, dass die Entscheidungsbäume und die Cluster-Klassifizierungseinrichtungen den Wirkungsgrad der Klassifizierungssysteme durch die Verkleinerung der Verarbeitungszeit vergrößern können.
  • BEVORZUGTE UND ALTERNATIVE BEVORZUGTE AUSFÜHRUNGSFORMEN
  • Es wird für die Fachleute selbstverständlich sein, dass die Klassifizierungssysteme der vorliegenden Erfindung in Reihe oder parallel angeordnet werden können. In einer bevorzugten Ausführungsform kann zum Beispiel eine erste Zeichen-Klassifizierungseinrichtung, die auf den Rastermerkmalen basiert, in Reihe mit einer zweiten Zeichen-Klassifizierungseinrichtung angeordnet sein, die auf den Hadamardschen Merkmalen basiert. In einem derartigen Fall klassifiziert die erste Zeichen-Klassifizierungseinrichtung einen speziellen Bitmap-Eingang als eines der bekannten Zeichen, oder sie scheitert beim Klassifizieren dieses Eingangs. Wenn sie beim Klassifizieren scheitert, dann versucht die zweite Klassifizierungseinrichtung diesen Eingang zu klassifizieren.
  • In einer alternativen Ausführungsform können zwei oder mehr verschiedene Klassifizierungseinrichtungen parallel angeordnet sein. In einem derartigen Fall kann ein Schema zur Erteilung von Voten verwendet werden, um durch das Vergleichen der Ausgänge von jeder verschiedenen Klassifizierungseinrichtung den geeigneten Ausgang auszuwählen.
  • In einer bevorzugten Ausführungsform können die Klassifizierungssysteme und die Trainingssysteme eine Parallelverarbeitung ausführen, wobei jede elliptische Verarbeitungseinheit während der Klassifizierung auf einem separaten Prozessor des Computers ablaufen kann, obwohl es für die Fachleute selbstverständlich sein wird, dass diese Systeme außerdem eine serielle Verarbeitung ausführen können. In einer bevorzugten Ausführungsform können die Klassifizierungssysteme und die Trainingssysteme in einem Prozessor eines Computers mit verringertem Befehlsvorrat (RISC-Prozessor) gespeichert sein, wie zum Beispiel in einem SPARC-2-Prozessor, der in einer SPARCstation 2 läuft, die durch Sun Microsystems vermarktet wird.
  • Es wird für die Fachleute selbstverständlich sein, dass andere Eingänge als die Zeichenbilder mit den Klassifizierungssystemen klassifiziert werden können. Im Allgemeinen kann jeder Eingang als einer aus einer Menge von zwei oder mehr möglichen Ausgängen klassifiziert werden, wobei ein Ergebnis, dass keine Auswahl getroffen wurde, einer der möglichen Ausgänge ist. Die Klassifizierungssysteme können zum Beispiel verwendet werden, um Personen, basierend auf den Abbildungen ihrer Gesichter, ihrer Fingerabdrücke oder sogar ihrer Ohrläppchen, zu identifizieren. Andere Klassifizierungssysteme der vorliegenden Erfindung können verwendet werden, um Menschen aus den Aufzeichnungen ihrer Stimmen zu identifizieren.
  • Des Weiteren wird selbstverständlich sein, dass verschiedene Änderungen an den Einzelheiten, Materialien und Anordnungen der Teile, die beschrieben und veranschaulicht wurden, um das Wesen der vorliegenden Erfindung zu erläutern, von den Fachleuten vorgenommen werden können, ohne vom Umfang der Erfindung, wie er in den folgenden Ansprüchen ausgedrückt wird, abzuweichen.

Claims (16)

  1. Trainingsverfahren zum Erzeugen eines neuen Neurons in einem Merkmalsraum, in dem sich zumindest schon ein Neuron befindet, mit den Schritten: (a) Erzeugen eines Merkmalsvektors (504), der eine Trainingseingabe darstellt, wobei die Trainingseingabe einer von mehreren möglichen Ausgaben entspricht; und (b) wenn kein existierendes Neuron entsprechend der Trainingseingabe den Merkmalsvektor (512) einschließt, Erzeugen des neuen Neurons, dadurch gekennzeichnet, dass das neue Neuron eine durch zwei oder mehr unterschiedlich lange Neuronachsen definierte Grenze aufweist; der Merkmalsraum einen existierenden Merkmalsvektor aufweist; und Schritt (b) außerdem die folgenden Schritte aufweist: (i) Erzeugen (514) eines zeitweiligen Neurons mit einer durch zwei oder mehrere zeitweilige Neuronachsen definierten Grenze; und (ii) wenn das zeitweilige Neuron den existierenden Merkmalsvektor (508) einschließt und der existierende Merkmalsvektor nicht der Trainingseingabe (506) entspricht, räumliches Anpassen des zeitweiligen Neurons, um das neue Neuron zu erzeugen, wobei der Schritt (b) (ii) folgende Schritte aufweist: (1) Wählen zumindest einer der zeitweiligen Neuronachsen; (2) Berechnen des Abstands längs jeder der gewählten zeitweiligen Neuronachsen vom Zentrum des zeitweiligen Neurons zum existierenden Merkmalsvektor; und (3) Verkleinern (510) der ausgewählten zeitweiligen Neuronachsen um Beträge proportional zu den Abständen und den Längen der ausgewählten zeitweiligen Neuronachsen, um das neue Neuron zu erzeugen.
  2. Verfahren nach Anspruch 1, bei dem der Schritt (b) (ii) (I) den Schritt des Auswählens aller zeitweiligen Neuronachsen aufweist.
  3. Verfahren nach Anspruch 1, bei dem der Schritt (b) (ii) aufweist: (1) lediglich eine der zeitweiligen Neuronachsen wird ausgewählt; und (2) ein Abstand nach Maßgabe der ausgewählten zeitweiligen Neuronachse und des existierenden Merkmalsvektors wird berechnet; und (3) die ausgewählte zeitweilige Neuronachse wird zur Erzeugung des neuen Neurons um den Abstand verkleinert.
  4. Verfahren nach einem der Ansprüche 1 oder 3, bei dem die Trainingseingabe einen Buchstaben darstellt.
  5. Verfahren nach Anspruch 1 oder 3, bei dem die die Eingabe darstellende Information einen Merkmalsvektor aufweist.
  6. Verfahren nach Anspruch 5, bei dem der Merkmalsvektor ein Merkmalselement aufweist, wobei das Merkmalselement ein Gittermerkmalselement oder ein Hadamard-Merkmalselement ist.
  7. Verfahren nach einem der Ansprüche 1 oder 3, bei dem das Neuron eine Hyperellipse oder ein Hyperrechteck im k-dimensionalen Merkmalsraum ist, wobei k ≥ 2 ist.
  8. Trainingsvorrichtung zur Erzeugung eines neuen Neurons im Merkmalsraum, der zumindest schon ein Neuron aufweist, mit: einer Erzeugungseinrichtung (504) zum Erzeugen eines eine Trainingseingabe darstellenden Merkmalsvektor, wobei die Trainingseingabe einer von mehreren möglichen Ausgaben entspricht; und einer Erzeugungseinrichtung (514) zum Erzeugen des neuen Neurons, wenn kein existierendes Neuron entsprechend der Trainingseingabe den Merkmalsvektor einschließt; dadurch gekennzeichnet, dass das neue Neuron eine durch zwei oder mehrere unterschiedlich lange Neuronachsen definierte Grenze aufweist; der Merkmalsraum einen existierenden Merkmalsvektor aufweist; die Erzeugungseinrichtung ein zeitweiliges Neuron mit einer durch zwei oder mehrere zeitweilige Neuronachsen definierten Grenze erzeugt; und wenn das zeitweilige Neuron den existierenden Merkmalsvektor (508) einschließt und der existierende Merkmalsvektor nicht der Trainingseingabe entspricht, die Erzeugungseinrichtung zur Erzeugung des neuen Neurons das zeitweilige Neuron räumlich einstellt, wobei die Erzeugungseinrichtung (1) zumindest eine der zeitweiligen Neuronachsen auswählt; (2) den Abstand längs jeder der ausgewählten zeitweiligen Neuronachsen von der Mitte des zeitweiligen Neurons zum existierenden Merkmalsvektor berechnet; und (3) die ausgewählten zeitweiligen Neuronachsen um Beträge proportional zu den Abständen und den Längen der ausgewählten zeitweiligen Neuronachsen verkleinert, um das neue Neuron zu erzeugen.
  9. Vorrichtung nach Anspruch 8, bei der die Erzeugungseinrichtung alle zeitweiligen Neuronachsen für die Verkleinerung auswählt.
  10. Vorrichtung nach Anspruch 8, bei der die Erzeugungseinrichtung lediglich eine der zeitweiligen Neuronachsen auswählt, einen Abstand nach Maßgabe der ausgewählten zeitweiligen Neuronachse und des existierenden Merkmalsvektors berechnet und die ausgewählte zeitweilige Neuronachse um den Abstand verkleinert, um das neue Neuron zu erzeugen.
  11. Vorrichtung nach Anspruch 8, bei der die Trainingseingabe einen Buchstaben darstellt.
  12. Vorrichtung nach Anspruch 8, bei der die die Eingabe darstellende Information einen Merkmalsvektor aufweist.
  13. Vorrichtung nach Anspruch 12, bei der der Merkmalsvektor ein Merkmalselement aufweist, wobei das Merkmalselement ein Gittermerkmalselement oder ein Hadamard-Merkmalselement ist.
  14. Vorrichtung nach Anspruch 12, bei der die Vergleichseinrichtung bestimmt, ob das Neuron den Merkmalsvektor einschließt.
  15. Vorrichtung nach Anspruch 12, bei der die Vergleichseinrichtung ein Abstandsmaß vom Merkmalsvektor zum Neuron bestimmt.
  16. Vorrichtung nach Anspruch 8, bei der das Neuron eine Hyperellipse oder ein Hyperrechteck im k-dimensionalen Merkmalsraum ist, wobei k ≥ 2 ist.
DE69333247T 1992-06-19 1993-06-18 Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons Expired - Lifetime DE69333247T2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US901429 1992-06-19
US07/901,429 US5438629A (en) 1992-06-19 1992-06-19 Method and apparatus for input classification using non-spherical neurons

Publications (2)

Publication Number Publication Date
DE69333247D1 DE69333247D1 (de) 2003-11-13
DE69333247T2 true DE69333247T2 (de) 2004-08-05

Family

ID=25414169

Family Applications (3)

Application Number Title Priority Date Filing Date
DE69333215T Expired - Lifetime DE69333215T2 (de) 1992-06-19 1993-06-18 Trainingsverfahren und Gerät zur Einstellung eines Neurons
DE69333247T Expired - Lifetime DE69333247T2 (de) 1992-06-19 1993-06-18 Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons
DE69331867T Expired - Lifetime DE69331867T2 (de) 1992-06-19 1993-06-18 Verfahren und Vorrichtung zur Eingabeklassifizierung mit nichtkugeligen Neuronen

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE69333215T Expired - Lifetime DE69333215T2 (de) 1992-06-19 1993-06-18 Trainingsverfahren und Gerät zur Einstellung eines Neurons

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE69331867T Expired - Lifetime DE69331867T2 (de) 1992-06-19 1993-06-18 Verfahren und Vorrichtung zur Eingabeklassifizierung mit nichtkugeligen Neuronen

Country Status (6)

Country Link
US (1) US5438629A (de)
EP (3) EP1197914B1 (de)
JP (1) JP2925434B2 (de)
AT (2) AT250250T (de)
DE (3) DE69333215T2 (de)
ES (2) ES2208511T3 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602717B1 (de) * 1992-12-16 1997-10-01 Laboratoires D'electronique Philips S.A.S. Neuronalanlage und -Bauverfahren
DE69331518T2 (de) * 1993-02-19 2002-09-12 Ibm Neuronales Netz zum Vergleich von Merkmalen von Bildmustern
US5835901A (en) * 1994-01-25 1998-11-10 Martin Marietta Corporation Perceptive system including a neural network
US6466926B1 (en) * 1996-03-06 2002-10-15 Hewlett-Packard Company Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
US6049793A (en) * 1996-11-15 2000-04-11 Tomita; Kenichi System for building an artificial neural network
US6336109B2 (en) * 1997-04-15 2002-01-01 Cerebrus Solutions Limited Method and apparatus for inducing rules from data classifiers
US6647341B1 (en) * 1999-04-09 2003-11-11 Whitehead Institute For Biomedical Research Methods for classifying samples and ascertaining previously unknown classes
US7324926B2 (en) * 1999-04-09 2008-01-29 Whitehead Institute For Biomedical Research Methods for predicting chemosensitivity or chemoresistance
US6694301B1 (en) * 2000-03-31 2004-02-17 Microsoft Corporation Goal-oriented clustering
US7062498B2 (en) * 2001-11-02 2006-06-13 Thomson Legal Regulatory Global Ag Systems, methods, and software for classifying text from judicial opinions and other documents
KR100473598B1 (ko) * 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
JP4995072B2 (ja) * 2003-12-31 2012-08-08 トムソン ルーターズ グローバル リソーシーズ 判例と訴訟事件摘要書、訴訟文書、および/または他の訴訟立証文書とを統合するためのシステム、方法、ソフトウェア、およびインターフェース
CN108733003B (zh) * 2017-04-20 2020-11-13 南京理工大学 基于kmeans聚类算法的回转类零件工序工时预测方法及系统
SG11202002865TA (en) * 2017-09-28 2020-04-29 Agency Science Tech & Res Self-assessing deep representational units
CN108631817B (zh) * 2018-05-10 2020-05-19 东北大学 一种基于时频分析和径向神经网络进行跳频信号频段预测的方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5035379B1 (de) * 1970-05-25 1975-11-15
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4044243A (en) * 1976-07-23 1977-08-23 Nestor Associates Information processing system
US4326259A (en) * 1980-03-27 1982-04-20 Nestor Associates Self organizing general pattern class separator and identifier
JPH0638276B2 (ja) * 1983-12-14 1994-05-18 株式会社日立製作所 パターン識別装置
US4599693A (en) * 1984-01-16 1986-07-08 Itt Corporation Probabilistic learning system
US5054093A (en) * 1985-09-12 1991-10-01 Cooper Leon N Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
JPS62133589A (en) * 1985-12-05 1987-06-16 Mitsubishi Heavy Ind Ltd Pattern storing and discriminating device
JPH0233687A (en) * 1988-07-22 1990-02-02 Nec Corp Neural network learning method for recognizing multi-font character
JPH0735591B2 (ja) * 1988-07-27 1995-04-19 三菱重工業株式会社 酸洗前処理装置
JPH0242392A (en) * 1988-08-03 1990-02-13 Central Res Inst Of Electric Power Ind Antiseismic support structure for nuclear reactor container
US5010512A (en) * 1989-01-12 1991-04-23 International Business Machines Corp. Neural network having an associative memory that learns by example
US4954963A (en) * 1989-03-02 1990-09-04 Texas Instruments Incorporated Neural network and system
JPH0738186B2 (ja) * 1989-03-13 1995-04-26 シャープ株式会社 自己拡張形ニユーラル・ネットワーク
JPH0821065B2 (ja) * 1989-03-13 1996-03-04 シャープ株式会社 文字認識装置
JP2680419B2 (ja) * 1989-05-15 1997-11-19 株式会社東芝 文字認識装置
JP2940933B2 (ja) * 1989-05-20 1999-08-25 株式会社リコー パターン認識方式
US5086479A (en) * 1989-06-30 1992-02-04 Hitachi, Ltd. Information processing system using neural network learning function
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
FR2658337A1 (fr) * 1990-02-09 1991-08-16 Philips Electronique Lab Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise.
JPH07113943B2 (ja) * 1990-04-16 1995-12-06 シャープ株式会社 ニューラルネットワークの学習方法
US5245697A (en) * 1990-04-24 1993-09-14 Kabushiki Kaisha Toshiba Neural network processing apparatus for identifying an unknown image pattern as one of a plurality of instruction image patterns
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition
US5181171A (en) * 1990-09-20 1993-01-19 Atlantic Richfield Company Adaptive network for automated first break picking of seismic refraction events and method of operating the same
US5265192A (en) * 1990-09-20 1993-11-23 Atlantic Richfield Company Method for the automated editing of seismic traces using an adaptive network
US5214744A (en) * 1990-12-14 1993-05-25 Westinghouse Electric Corp. Method and apparatus for automatically identifying targets in sonar images
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
US5214715A (en) * 1991-01-31 1993-05-25 Trustees Of Boston University Predictive self-organizing neural network
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US5260871A (en) * 1991-07-31 1993-11-09 Mayo Foundation For Medical Education And Research Method and apparatus for diagnosis of breast tumors

Also Published As

Publication number Publication date
ES2207584T3 (es) 2004-06-01
EP0574936A2 (de) 1993-12-22
EP0574936B1 (de) 2002-05-02
ES2208511T3 (es) 2004-06-16
DE69331867D1 (de) 2002-06-06
EP1197913A1 (de) 2002-04-17
AT250250T (de) 2003-10-15
JPH06176160A (ja) 1994-06-24
DE69333215D1 (de) 2003-10-23
US5438629A (en) 1995-08-01
DE69331867T2 (de) 2002-11-14
EP1197914A1 (de) 2002-04-17
DE69333215T2 (de) 2004-07-01
EP1197914B1 (de) 2003-10-08
AT251781T (de) 2003-10-15
EP1197913B1 (de) 2003-09-17
DE69333247D1 (de) 2003-11-13
JP2925434B2 (ja) 1999-07-28
EP0574936A3 (en) 1994-07-20

Similar Documents

Publication Publication Date Title
DE69333664T2 (de) Verfahren und Gerät zur Einstellung eines Neurons
DE69333247T2 (de) Trainingsverfahren und Gerät zur Erzeugung eines neues Neurons
DE60208223T2 (de) Anordnung und verfahren zur gesichtserkennung unter verwendung von teilen des gelernten modells
DE112016005062T5 (de) Kaskadiertes neuronales netzwerk mit massstabsabhängiger poolbildung zur objekterfassung
DE19837004C1 (de) Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen
DE19634769A1 (de) Neurales Netzwerk zur Lokalisierung und Erkennung eines verformbaren Objekts
DE102006010607A1 (de) Wahrscheinlichkeitstheoretischer Verstärkungsbaum-Rahmen zum Lernen von Unterscheidungsmodellen
DE102019008142A1 (de) Lernen von Darstellungen unter Nutzung gemeinsamer semantischer Vektoren
DE102018218586A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erzeugen robuster automatisch lernender Systeme und Testen trainierter automatisch lernender Systeme
DE3501272A1 (de) Adaptives, selbstausbesserndes prozessorfeld
DE69815390T2 (de) Neuronale netzwerke
DE4217832A1 (de) Mustererkennungs- und musterlerngeraet
DE112017007492T5 (de) System und Verfahren zur Erfassung von Objekten in einem digitalen Bild und System und Verfahren zur Neubewertung von Objekterfassungen
EP0901658B1 (de) Verfahren zur optimierung eines fuzzy-regelsatzes durch einen rechner
DE112020000448T5 (de) Kameraselbstkalibrierungsnetz
DE102019209560A1 (de) Vorrichtung und Verfahren zum Trainieren eines neuronalen Netzwerks
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
EP3736749A1 (de) Verfahren und vorrichtung zur ansteuerung eines geräts mit einem datensatz
DE19942223A1 (de) Klassifikationsverfahren mit Rückweisungsklasse
DE202019105304U1 (de) Vorrichtung zum Erstellen eines künstlichen neuronalen Netzes
DE102017218851A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung eines tiefen neuronalen Netzes
Romanuke Pixel-to-scale standard deviations ratio optimization for two-layer perceptron training on pixel-distorted scaled 60-by-80-images in scaled objects classification problem
DE19951078C2 (de) Verfahren zur Musterklassifizierung
Kabamba et al. Convolutional Neural Networks and Pattern Recognition: Application to Image Classification
DE19723294C2 (de) Mustererkennungsverfahren

Legal Events

Date Code Title Description
8364 No opposition during term of opposition