DE69122356T2

DE69122356T2 - Verfahren und Gerät zur Mustererkennung unter Verwendung eines neuronalen Netzwerks

Info

Publication number: DE69122356T2
Application number: DE69122356T
Authority: DE
Inventors: Toru Niki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-11-20
Filing date: 1991-11-19
Publication date: 1997-02-13
Anticipated expiration: 2011-11-20
Also published as: EP0487309A2; JPH04184686A; DE69122356D1; JP2763398B2; EP0487309B1; US5422981A; EP0487309A3

Description

Die Erfindung betrifft ein Muster-Erkennungsverfahren zum Einteilen von eingegebenen Daten wie eingegebenen Sprachdaten oder eingegebenen Bilddaten.
Das durch Rumelhart u.a. vorgeschlagene (nachstehend einfach als neuronales Netzwerk bezeichnete) neuronale Netzwerk mit rückwärtiger Ausbreitung ist in Verbindung mit Mustererkennungsvorrichtungen in Betracht gezogen worden, die eingegebene Daten in eine von mehreren Kategorien einteilen. Der Aufbau eines neuronalen Netzwerks zur Bestimmung der Kategone wird nachstehend unter Bezug auf Fig. 3 beschrieben.
In Fig. 3 bezeichnet Bezugszahl 301 Elemente U&sub1;I, U&sub2;I, ... usw. einer Eingabeschicht. Die Elemente dieser Schicht senden einen empfangenen eingegebenen Wert zu sämtlichen Elementen der nächsten Schicht 302. Bezugszahl 302 bezeichnet Elemente U&sub1;S, U&sub2;S, ... usw. einer Zwischenschicht. Diese Elemente senden ein Ausgangssignal y = f ( Wixi - θ) bezüglich eines Eingangssignals xi (i = 1, 2, ...) aus den Elementen der vorangehenden Schicht 301 zu sämtlichen Elementen der Ausgangsschicht 303, wobei Wi als Gewichtungskoeffizient bezeichnet wird und θ eine Vorspannung ist sowie beide elementeigene Werte sind. f wird als Übertragungsfunktion bezeichnet und ist gewöhnlich eine sigmoide bzw. S-Funktion f (s) = 1/(1 + exp(-s)). Bezugszahl 303 bezeichnet Elemente U&sub1;O, U&sub2;O, ... usw. einer Ausgabeschicht. Diese Elemente geben z = f ( WjYj - θ) bezüglich eines Eingangssignals 302 Yj (j = 1, 2, ...) aus dem Element der Zwischenschicht auf dieselbe Weise wie vorstehend beschrieben aus. Die Anzahl der Elemente der Ausgabeschicht 303 ist dieselbe wie die Anzahl der zu erkennenden Kategorien. Falls Gewichtungskoeffizienten und Vorspannungen sämtlicher Elemente idealerweise bestimmt sind, wird nur das Ausgangssignal aus dem Element zu 1, das der Kategorie entspricht, zu der das Eingangssignal gehört, und Ausgangssignale aus den anderen Elementen werden zu 0.
Obwohl Fig. 3 nur eine einzelne Zwischenschicht darstellt, können mehrere Zwischenschichten verwendet werden.
Ein Lernalgorithmus zur Bestimmung des Gewichtungskoeffizienten jedes Elements und des Wertes der Vorspannung ist ausführlich in "Parallel Distributed Processing, Vol 1" beschrieben (Rumelhart u.a., MIT Press, 1986).
Nachstehend wird die Bedeutung der Signalverarbeitung in einem derartigen neuronalen Netzwerk beschrieben. Zur Vereinfachung wird ein neuronales Netzwerk mit einer einzelnen Zwischenschicht in Betracht gezogen. Falls die Ausgangssignale aus der Eingabeschicht und diejenigen aus der Ausgabeschicht gemeinsam durch Vektoren x bzw. y bezeichnet werden, trifft die folgende Beziehung für sie zu:
y = f (W x - θ) (1)
In der vorstehend angeführten Gleichung stellt f eine vektorgewertete Funktion dar, in der jedes Element des Vektors in eine sigmoide Funktion eingegeben wird. W x - θ stellt offensichtlich eine affine Transformation dar. Daraus läßt sich ableiten, daß, nachdem eine affine Transformation von der Eingabeschicht zu der Zwischenschicht durchgeführt wird, eine derartige Transformation durch Verwendung einer sigmoiden Funktion durchgeführt wird, daß der Wert auf ein Intervall [0, 1] beschränkt ist.
Fig. 2 zeigt eine Abbildung, die ein Beispiel der Verteilung eines eingegebenen Vektors darstellt. Der Einfachheit halber seien der eingegebene Vektor x ein zweidimensionaler Vektor und Objektkategorien drei Arten C&sub1;, C&sub2; sowie C&sub3;. Es wird in Betracht gezogen, daß, wenn ein Lernen entsprechend einem Algorithmus mit rückwärtiger Ausbreitung abgeschlossen ist, zu diesem Zeitpunkt θ zu einem Vektor in der Nähe eines Durchschnitts sämtlicher Lerndaten wie durch Bezugszahl 201 in Fig. 2 dargestellt konvergiert.
Die Ausgangssignale aus der Zwischenschicht und diejenigen aus der Ausgabeschicht werden auf dieselbe Weise wie in Gleichung (1) durch den folgenden Ausdruck dargestellt:
z = f (W y - θ) (2)
Dies sollte auf eine andere Weise gedeutet werden. Das bedeutet, daß in der Gleichung (2) W y - θ als eine Gruppe von linearen Diskriminantenfunktionen betrachtet werden kann. Die durch Einsetzen jedes Ausgangssignals in die sigmoide Funktion erhaltenen werden zu einem endgültigen Ausgangssignal z.
Ein Korrekturwert ΔWij für den Gewichtungskoeffizienten Wij wird durch die folgende Gleichung in dem Algorithmus mit rückwärtiger Ausbreitung berechnet:
wobei η eine positive Konstante und E ein Fehler des gesamten Netzwerks ist. Das bedeutet, daß gilt:
wobei tj ein Überwachungssignal und Yj ein Ausgangssignal aus der Ausgabeschicht ist.
wird unter Verwendung des Ausgangssignals aus jeder Schicht berechnet. Dessen Herleitung ist bekannt und entfällt deshalb.
Wij wird unter Verwendung dieses Korrekturwerts ΔWij aufeinanderfolgend korrigiert:
Wij (n+1) = Wij (n) + ΔWij
Deswegen ist es erforderlich, daß Gewichtungskoeffizienten korrigiert werden (dieser Schritt wird als Lernen bezeichnet), beginnend mit einem guten Anfangswert Wij(0). Eine ähnliche Korrektur wie die vorstehende wird für eine Vorspannung θ durch deren Berücksichtigung als Gewichtungskoeffizient für eingegebene Daten durchgeführt, deren Wert stets 1 ist.
Der Algorithmus mit rückwärtiger Ausbreitung hängt von der Art und Weise ab, in der die Anfangswerte gegeben sind, weil der Gewichtungskoeffizient W und die Vorspannung θ aufeinanderfolgend korrigiert werden. Das bedeutet, daß, falls die Anfangswerte nicht auf geeignete Weise gegeben sind, eine Lösung innerhalb eines lokalen Minimalwerts fallen kann oder divergieren bzw. oszillieren bzw. schwingen kann. Gleichzeitig ist, je größer die Anzahl der zu bestimmenden Parameter wie W oder θ ist, der Freiheitsgrad umso größer, was das Erreichen einer korrekten Lösung erschwert. Wie vorstehend beschrieben ist es schwierig, sie auszulassen, da sowohl W als auch θ bedeutend sind.
Die Veröffentlichung "Adaptive Systems in Pattern Recognition" von H. Kazmierczak und K. Steinbuch in "IEEE Transactions on Electronic Computers", Bd. 12, Nr. 6, S. 822 bis 835 (Dezember 1963) beschreibt verschiedene Kategorisierbzw. Einteileinrichtungen von neuronalen Netzwerken, die solche mit und ohne Vorspannung enthalten.
Erfindungsgemäß wird ein Verfahren zur Mustererkennung zur Einteilung von eingegebenen Daten in eine von mehreren Kategorien geschaffen, das ein neuronales Netzwerk verwendet, wobei die Leistungsfähigkeit verbessert wird, aber eine Vorspannung für eine Zwischenschicht des neuronalen Netzwerks nicht erforderlich ist.
Gemäß einer besonderen Ausgestaltung der Erfindung wird eine Vorrichtung geschaffen einschließlich eines neuronalen Netzwerks zur Einteilung von empfangenen Merkmalsdaten in eine von mehreren Kategorien, wobei das neuronale Netzwerk eine Eingabeschicht, eine Ausgabeschicht und zumindest eine Zwischenschicht aufweist, wobei die Zwischenschicht eine Einrichtung zur Multiplikation von Daten aus einer vorangehenden Schicht mit Gewichtungskoeffizienten ohne Addition einer Vorspannung aufweist, die unter Verwendung einer Lerngruppe von Merkmalsvektoren hergeleitet wurden, wobei jeder Merkmalsvektor eine der mehreren Kategorien darstellt, gekennzeichnet durch eine Subtrahiereinrichtung zur Subtraktion eines Durchschnittsvektors der Lerngruppe der Merkmalvektoren von den empfangenen Merkmalsdaten zur Bildung von eingegebenen Daten, die der Eingabeschicht des neuronalen Netzwerks zugeführt werden.
Erfindungsgemäß wird außerdem ein Verfahren zur Einteilung von Merkmalsdaten in eine von mehreren Kategorien geschaffen, das ein neuronales Netzwerk mit einer Eingabeschicht, einer Ausgabeschicht und zumindest einer Zwischenschicht verwendet, wobei die Zwischenschicht des neuronalen Netzwerks ohne Addition einer Vorspannung durch Multiplikation von Daten aus einer vorangehenden Schicht mit unter Verwendung einer Lerngruppe von Merkmalsvektoren hergeleiteten Gewichtungskoeffizienten arbeitet, wobei jeder Merkmalsvektor eine der mehreren Kategorien darstellt, gekennzeichnet durch Empfangen von einzuteilenden Merkmalsdaten und Subtrahieren eines Durchschnittsvektors der Lerngruppe der Merkmalsvektoren von den empfangenen Merkmalsdaten zur Bildung von eingegebenen Daten, die der Eingabeschicht des neuronalen Netzwerks zugeführt werden.
Es ist herausgefunden worden, daß durch Subtraktion eines Durchschnittsvektors der Lerngruppe der Merkmalsvektoren von den eingegebenen Daten, bevor er dem neuronalen Netzwerk zugeführt wird, eine verbesserte Leistungsfähigkeit der Einteilung ohne die Probleme der Definition von Vorspannungswerten für die Zwischenschicht erreicht werden kann.
Gemäß Ausführungsbeispielen der Erfindung können die empfangenen Merkmalsdaten aus eingegebenen Musterdaten entnommen werden. In dem Fall, daß derartige Musterdaten aus sichtbaren Bildern hergeleitet werden, kann die Erfindung beispielsweise bei der optischen Zeichenerkennung von Nutzen sein.
Die Erfindung wird nachstehend anhand eines Ausführungsbeispiels unter Bezugnahme auf die Zeichnung näher beschrieben. In der Beschreibung wird auf die beigefügte Zeichnung Bezug genommen, die einen Teil der Anmeldung bildet und ein Beispiel der Erfindung veranschaulicht. Ein derartiges Beispiel ist jedoch nicht beschränkend für die verschiedenen Ausführungsbeispiele der Erfindung, weshalb auf die beigefügten Ansprüche zur Bestimmung des Bereichs der Erfindung verwiesen wird.

KURZBESCHREIBUNG DER ZEICHNUNG

Fig. 1 zeigt ein Blockschaltbild, das den Aufbau einer Mustererkennungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung darstellt.
Fig.2 zeigt eine schematische Ansicht, die ein Beispiel der Verteilung von eingegebenen Daten veranschaulicht.
Fig. 3 zeigt eine Abbildung, die den Aufbau eines neuronalen Netzwerks darstellt.

BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIELS

Nachstehend wird ein bevorzugtes Ausführungsbeispiel der Erfindung unter Bezugnahme auf die beigefügte Zeichnung näher beschrieben.
Fig. 1 zeigt ein Blockschaltbild, das den Aufbau einer Zeichenerkennungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung darstellt. In Fig. 1 bezeichnet Bezugszahl 101 einen photoelektrischen Wandlerabschnitt zur Eingabe von Zeichenbildern und zu deren Umwandlung in elektrische Signale, Bezugszahl 102 einen Vorverarbeitungsabschnitt zur Entfernung von Rauschen und Binärisierung sowie Normalisierung, Bezugszahl 103 einen Merkmals-Entnahmeabschnitt zur Entnahme von charakteristischen Merkmalen eines Zeichens entsprechend einem vordefinierten Algorithmus, Bezugszahl 104 einen Durchschnittswert-Speicherabschnitt zur Speicherung eines Durchschnittswert-Vektors, Bezugszahl 105 einen Durchschnittswert-Subtraktionsabschnitt zur Subtraktion eines Durchschnittswert-Vektors von den durch den Merkmalsentnahmeabschnitt entnommenen Merkmalsdaten, Bezugszahl 106 einen neuronalen Netzwerk-Abschnitt zur Bestimmung, zu welcher Kategorie eingegebene Zeichen gehören, und Bezugszahl 107 einen Ausgabeabschnitt zur Ausgabe einer bestimmten Kategorie. Es sei angenommen, daß der Vorverarbeitungsabschnitt 102 und der Merkmalsentnahmeabschnitt 103 aus auf hinreichend bekannter Technologie basierenden Einrichtungen gebildet sind und kein besonderer Vorverarbeitungsabschnitt oder Merkmalsentnahmeabschnitt bevorzugt ist.
Nachstehend wird ein Verfahren zur Bestimmung eines Durchschnittswert-Vektors von sämtlichen Lerndaten des neuronalen Netzwerks beschrieben. Falls zu bestimmende Kategorien mit C&sub1;, C&sub2;, ..., CM und ein zu einer Kategorie CK (K = 1, 2,..., M) gehörender, aus bekannten Lerndaten entnommener Merkmalsvektor mit xik (i = 1, 2, ..., N) bezeichnet werden, wird ein Durchschnittswert-Vektor durch die folgende Gleichung berechnet.
Dieser Durchschnittsvektor wird im voraus berechnet und in dem Durchschnittswert-Speicherabschnitt 104 gespeichert.
Der Durchschnittswert-Subtraktionsabschnitt 105 erzeugt Differenzdaten x' durch Subtraktion des Durchschnittsvektors von jedem von sämtlichen eingegebenen Merkmalsvektoren x (d.h. x' = x - ) und sendet die Differenzdaten zu dem neuronalen Netzwerkabschnitt 106.
Der neuronale Netzwerkabschnitt 106 ist gemäß Fig. 3 hierarchisch aufgebaut. Eine durch die folgende Gleichung ausgedrückte, bezüglich dem Ursprung symmetrische sigmoider Funktion wird für eine Schwellwertfunktion für jedes Element verwendet:
f(s) = 1 / {1 + exp(-s)} -1/2
Die Vorspannung θ wird den Elementen der Zwischenschicht nicht zugeführt. Deswegen wird der Zusammenhang zwischen dem eingegebenen Merkmalsvektor x und dem Ausgangssignal y aus der Zwischenschicht wie folgt:
y = f (W x') ,
wobei W eine Gewichtungskoeffizienten darstellende Matrix ist und f eine vektorgewertete Funktion der sigmoiden Funktion darstellt. Da x' ein Wert ist, von dem der Durchschnittswert- Vektor der Lerndaten des neuronalen Netzwerks bereits subtrahiert worden ist, muß die Vorspannung θ in dieser Transformation anders als beim Stand der Technik nicht enthalten sein. Demgegenüber wird eine ähnliche Transformation wie bei dem Stand der Technik von der Zwischenschicht zu der Ausgabeschicht ausgeführt:
z = f (W y - θ)
Der Ausgabeabschnitt 107 gibt als Kandidaten eine einem Element entsprechende Kategorie aus, die den größten Wert der Komponenten zk (k = 1, 2, ..., M) des Ausgangssignals z aus dem neuronalen Netzwerkabschnitt 106 ausgibt.
Obwohl gemäß dem vorstehend beschriebenen Ausführungsbeispiel Zeichenbilder als Eingangssignal verwendet werden, kann die Erfindung auch dann angewandt werden, wenn ein eingegebener Vektor eingegebene Sprachdaten, eingegebene Bilddaten, usw. sind.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel ist die Zwischenschicht als einzelne Schicht ausgebildet, aber die Zwischenschicht kann aus jeder Anzahl von Schichten ausgebildet sein. In dem letzteren Fall muß, falls ein Durchschnittsvektor sämtlicher Lerndaten erfindungsgemäß von einem eingegebenen Vektor subtrahiert wird, die Vorspannung θ nicht in sämtlichen Elementen der Zwischenschicht enthalten sein.
Wie vorstehend beschrieben können selbst dann, wenn die Vorspannung θ den Elementen der Zwischenschicht nicht zugeführt wird, eine Erkennung und Einteilung durch Eingabe eines Wertes durchgeführt werden, bei der ein Durchschnittswert- Vektor sämtlicher Lerndaten des neuronalen Netzwerks von einem eingegebenen Vektor subtrahiert worden ist. Da die Anzahl von Parametern gesenkt wird, wenn die Vorspannung θ nicht eingegeben wird, wird die Möglichkeit minimal, daß während eines Lernverfahrens eine Lösung innerhalb eines lokalen Minimalwertes fällt oder divergiert bzw. schwingt.
Viele verschiedene Ausführungsbeispiele der Erfindung können ohne Abweichung von dem Bereich der Erfindung gebildet werden. Es ist selbstverständlich, daß die Erfindung nicht auf das in dieser Beschreibung beschriebene besondere Ausführungsbeispiel, sondern nur durch die beigefügten Ansprüche beschränkt ist.

Claims

1. Vorrichtung einschließlich eines neuronalen Netzwerks (106) zur Einteilung von empfangenen Merkmalsdaten in eine von mehreren Kategorien, wobei das neuronale Netzwerk eine Eingabeschicht (301), eine Ausgabeschicht (303), und zumindest eine Zwischenschicht (302) aufweist, wobei die Zwischenschicht eine Einrichtung ohne Addition einer Vorspannung zur Multiplikation von Daten aus einer vorangehenden Schicht mit unter Verwendung einer Lerngruppe von Merkmalsvektoren hergeleiteten Gewichtungskoeffizienten aufweist, wobei jeder Merkmalsvektor eine der mehreren Kategorien darstellt, gekennzeichnet durch eine Subtrahiereinrichtung (104, 105) zur Subtraktion eines Durchschnittsvektors der Lerngruppe der Merkmalsvektoren von den empfangenen Merkmalsdaten zur Bildung von eingegebenen Daten, die der Eingabeschicht des neuronalen Netzwerks zugeführt werden.

2. Vorrichtung nach Anspruch 1, gekennzeichnet durch eine Merkmals-Entnahmeeinrichtung (103) zum Empfang von eingegebenen Musterdaten und zur Entnahme der Merkmalsdaten auf den eingegebenen Musterdaten.

3. Vorrichtung nach Anspruch 1 oder 2, gekennzeichnet durch eine Einteilungseinrichtung (107) zum Empfang eines durch die Ausgabeschicht des neuronalen Netzwerks ausgegebenen Wertes und zur Bestimmung einer Kategorie für die Merkmalsdaten auf Grundlage des durch die Ausgabeschicht ausgegebenen Wertes.

4. Vorrichtung nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß die zumindest eine Zwischenschicht eine Einrichtung zur Ausführung einer vorbestimmten Übertragungsfunktion für die mit dem Gewichtungskoeffizienten multiplizierten Daten aufweist.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Übertragungsfunktion eine sigmoide Funktion ist, die bezüglich dem Ursprung symmetrisch ist.

6. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Ausgabeschicht des neuronalen Netzwerks eine Einrichtung zur Multiplikation von durch eine der Ausgabeschicht vorangehenden Zwischenschicht zugeführten Daten mit einem Gewichtungskoeffizienten und zur Addition einer Vorspannung zu dem Ergebnis dieser Multiplikation zur Erzeugung eines Ausgabewertes des neuronalen Netzwerks aufweist.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Ausgabeschicht eine Einrichtung zur Ausführung einer vorbestimmten Übertragungsfunktion zur Erzeugung des Ausgabewertes aufweist.

8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die vorbestimmte Übertragungsfunktion der Ausgabeschicht eine bezüglich dem Ursprung symmetrische sigmoide Funktion ist.

9. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß ein sichtbar wahrnehmbares Muster einzuteilen ist und daß die Vorrichtung eine Wandlereinrichtung (101) zur Umwandlung des sichtbar wahrnehmbaren Musters in ein elektrisches Signal sowie eine vorverarbeitungseinrichtung (102) zur Normalisierung und Binärisierung des elektrischen Signals sowie eine Einrichtung (103) zur Entnahme der Merkmalsdaten aus dem binärisierten elektrischen Signal aufweist.

10. Verfahren zur Einteilung von Merkmalsdaten in eine von mehreren Kategorien unter Verwendung eines neuronalen Netzwerks mit einer Eingabeschicht, einer Ausgabeschicht und zumindest einer Zwischenschicht, wobei eine Zwischenschicht des neuronalen Netzwerks ohne Addition einer Vorspannung durch Multiplikation von Daten aus einer vorangehenden Schicht mit unter Verwendung einer Lerngruppe von Merkmalsvektoren hergeleiteten Gewichtungskoeffizienten arbeitet, wobei jeder Merkmalsvektor eine der mehreren Kategorien darstellt, gekennzeichnet durch Subtrahieren eines Durchschnittsvektors der Lerngruppe der Merkmalsvektoren von den Merkmalsdaten zur Bildung von eingegebenen Daten, die der Eingabeschicht des neuronalen Netzwerks zugeführt werden.

11. Verfahren nach Anspruch 10, gekennzeichnet durch den Schritt eines Empfangens von eingegebenen Musterdaten und eines Entnehmens der Merkmalsdaten aus den eingegebenen Musterdaten.

12. Verfahren nach Anspruch 10 oder 11, gekennzeichnet durch den Schritt eines Bestimmens einer Kategorie für die Merkmalsdaten auf Grundlage eines durch die Ausgabeschicht des neuronalen Netzwerks ausgegebenen Wertes.

13. Verfahren nach Anspruch 10, 11 oder 12, dadurch gekennzeichnet, daß die Zwischenschicht des neuronalen Netzwerks eine vorbestimmte Übertragungsfunktion für den mit dem Gewichtskoeffizienten-Vektor multiplizierten Vektor ausführt.

14.Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß die Übertragungsfunktion eine sigmoide Funktion ist, die bezüglich dem Ursprung symmetrisch ist.

15. Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, daß die Ausgabeschicht des neuronalen Netzwerks durch eine der Ausgabeschicht vorangehende Zwischenschicht zugeführte Daten mit einem Gewichtungskoeffizienten multipliziert und eine Vorspannung zu dem Ergebnis der Multiplikation zur Erzeugung eines Ausgabewertes des neuronalen Netzwerks addiert.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß die Ausgabeschicht eine vorbestimmte Übertragungsfunktion zur Erzeugung des Ausgabewertes ausführt.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß die vorbestimmte Übertragungsfunktion der Ausgabeschicht eine bezüglich dem Ursprung symmetrische sigmoide Funktion ist.

18. Verfahren nach einem der Ansprüche 10 bis 17, dadurch gekennzeichnet, daß ein sichtbar wahrnehmbares Muster einzuteilen ist und daß der Schritt des Empfangens von Merkmalsdaten ein Umwandeln des sichtbar wahrnehmbaren Musters in ein elektrisches Signal, ein Normalisieren und Binärisieren des elektrischen Signals und ein Entnehmen der Merkmalsdaten aus dem binärisierten elektrischen Signal aufweist.

19. Zeichenerkennungseinrichtung mit einer Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die Merkmalsdaten von einem eingegebenen Bild entnommene Daten sind und die Kategorien unterschiedliche Textzeichen darstellen.

20. Verfahren zur Zeichenerkennung (OCR) mit einem Verfahren nach einem der Ansprüche 10 bis 18, dadurch gekennzeichnet, daß die Merkmalsdaten von einem eingegebenen Bild entnommen worden sind und daß die Kategorien unterschiedliche Textzeichen darstellen.