DE2456210A1

DE2456210A1 - Staged pattern recognition process - number of classifying characteristics employed increased stage by stage until last uses all

Info

Publication number: DE2456210A1
Application number: DE19742456210
Authority: DE
Inventors: Klaus Dr Hager; Juergen Dr Schuermann
Original assignee: Licentia Patent Verwaltungs GmbH
Current assignee: Licentia Patent Verwaltungs GmbH
Priority date: 1974-11-28
Filing date: 1974-11-28
Publication date: 1976-08-12
Also published as: DE2456210C2

Abstract

The pattern recognition process is designed for written signs or symbols or speech patterns. The patterns are led through a series of stages similar to each other, only that the number of classifying characteristics employed are increased stage by stage. A plausibility test is carried out at the end of each stage, the results determining whether the processing is to be continued or called to a halt. Given a number, N, of classifying characteristics that would be necessary in extreme cases, the arrangement is such that the procedures is executed in stages less than N, while the last stage is for processing all N characteristics. At least one stage can be switched in front in which a selection from the N characteristics is processed.

Description

Verfahren und Einrichtungen zur gestuften Erkennung von Mustern Die Erfindung bezieht sich auf ein Verfahren zur Erkennung von Mustern wie Schriftzeichen oder Sprachmustern, welches in Form von aufeinanderfolgenden untereinander ähnlichen Verfahrensstufen durchgeführt wird, wobei die Zahl der herangezogenen Klassifikationsmerkmaie von Stufe zu Stufe vermehrt und nach Durchführung jeder Stufe eine über die Beendigung oder Weiterfiihrung des Verfahrens entscheidende Plausibilita t sprüfung durchgefiihrt wird. Die Erfindung bezieht sic ferner auf Einrichtungen zur Durchführung dieses Verfahrens. Processes and devices for the gradual recognition of patterns The invention relates to a method for recognizing patterns such as characters or speech patterns, which in the form of successive mutually similar Process stages is carried out, with the number of classification criteria used Increased from level to level and one after completion of each level or continuation of the process decisive plausibility check carried out will. The invention also relates to devices for performing this Procedure.

Um ein vorgelegtes Muster einer von K vorgegebenen Klassen zuzuordnen, ist es bekannt, wie folgt vorzugehen: das Muster wird in einzelne Elemente zerlegt, die zwei (z.B. bei der Schrifterkenniing) oder mehrere Werte (z.B. bei der Wort erkennung) annehmen können. Sogenannte Pólynomklassifikatoren verwenden fiir die Erkennung eines Musters nicht nur diese Elemente selbst, sonden auch Kombinationen-von zwei oder mehreren Elementen. Die Auswahl der für die Erkennung beniitzten Merkmale (d.h. Musterelemente und Kombinationen) erfolgt nach dem beitrag, den sie im Mittel zur Klassifikation leisten.In order to assign a template to one of the classes specified by K, is it known to proceed as follows: the pattern is broken down into individual elements, the two (e.g. for the font identification) or more values (e.g. for the word recognition) can accept. So-called polynomial classifiers are used for the Recognition of a pattern not only these elements themselves, but also combinations-of two or multiple elements. The choice of which to use for detection used features (i.e. sample elements and combinations) are made after the contribution, which they achieve in the means of classification.

Ein Muster wird mittels einer Schätzfunktion, die den Schätzvektor ergibt, einer der K Klassen zugeordnet: Für jede Klasse wird ein Schätzwert als Summe der gewichteten Merkmale berechnet, der die vermutete Wahrscheinlichkeit für die Zugehörigkeit zu dieser Klasse ausdriickt. Die Gewichtsfaktoren, die in einer Koeffizientenmatrix zusammengefaßt sind, werden in einem Lernprozeß mit charakteristischen Stichproben an das Erkennungsproblem und an die Zahl der benutzten Merkmale angepaßt.A pattern is created using an estimator, which is the estimation vector results, assigned to one of the K classes: For each class an estimated value is used as Sum of weighted characteristics is calculated, which is the presumed probability for expresses belonging to this class. The weight factors involved in a Coefficient matrix are summarized, are in a learning process with characteristic Samples adapted to the recognition problem and the number of features used.

Die Zahl der für eine hinreichend sichere Klassenentscheidung notlfendigen Merkmale richtet sich nach der Qualität des aktuell vorliegenden zu erkennenden Musters, da sauber gedruckte Schriftzeichen bzw. deutlich gesprochene Wörter weniger Merkmale brauchen als Muster mittlerer oder gar schlechter Qualität, Charakteristisch für die meisten Erkennungsverfahren ist die feste Zahl N von Merkmalen, die unabhängig von der individuellen Alusterqualität irn Erkennungsprozeß herangezogen werden. Für jedes Muster wird aus N Merkmalen ein Schätzvektor d berechnet.The number of people necessary for a reasonably safe class decision Characteristics depends on the quality of the currently available to be recognized Pattern, as there are fewer clearly printed characters or clearly spoken words Characteristics need a pattern of medium or even poor quality, characteristic for most recognition methods, the fixed number N of features is independent can be used by the individual aluminum quality in the recognition process. For each pattern, an estimation vector d is calculated from N features.

Das Blister wird dann der Klasse mit dem größten Schätzwert zugeordnet.The blister is then assigned to the class with the greatest estimate.

Eine anschließende Prüf einheit ermittelt ein Maß fiir die Glaubwürdigkeit dieser Zuordnung. Als Plausibilitätskriterium wird dabei die Differenz zwischen dem größten und dem zeitz größten Schzwert (DIF-Eriterium) oder der Abstand (bzw. dessen Quadrat) des Schätzvektors von dem zugeordneten Einheitsvektor (RAD-Eriterium) oder der Wert der größten Komponente (MÄX-Kriterium) mit einem Schwellenwert verglichen und so eine Gut-Schlecht-Entscheidung erzeugt.A subsequent test unit determines a measure of the credibility this assignment. The difference between the greatest and the greatest estimate of the time (DIF-Eriterium) or the distance (resp. its square) of the estimation vector of the assigned unit vector (RAD-Eriterium) or the value of the largest component (MÄX criterion) is compared with a threshold value and thus generates a good-bad decision.

Es sind auch bereits sequentielle Verfahren zur Mustererkennung bekannt geworden, bei denen der Erkennungsprozeß in viele Stufen zerlegt wird. Dabei wird in jeder Stufe eine Zuordnung mit einem Merkmalsvorrat durchgeführt, -der gegenüber der vorangehenden Stufe um ein Merkmal erweitert ist. In jeder Stufe wird eine Plausibilitätsprüfung durchgeführt, die über die Beendigung oder Weiterführung des Erkennungsprozesses entscheidet (IEEE Transactions on Systems, Man and Cybernetics, July-1972, S.-439-443 I-EEE Transactions on Information Theorie, September 1972, S. 673-678). Die Schätzfunktionen, auf denen die Zuordnungen beruhen, werden in jeder Stufe neu berechnet, da die Koeffizientenmatrizen auf jeweils eine Merkmalszahl optimiert sind. Das Verfahren verlangt deshalb viel Speicherplatz für die Koeffizienten-EIatrizen. Außerdem verzögern die vielen vergeblichen Zuordnungsversuche und Plausibllitätspriifungen den Erkennungsvorgang beträchtlich.Sequential methods for pattern recognition are also already known in which the recognition process is broken down into many stages. It will In each stage an assignment is carried out with a set of characteristics, -the opposite the previous level is extended by a feature. A plausibility check is carried out at each stage carried out on the termination or continuation of the detection process decides (IEEE Transactions on Systems, Man and Cybernetics, July-1972, pp-439-443 I-EEE Transactions on Information Theory, September 1972, pp. 673-678). The estimators, on which the assignments are based are recalculated in each stage, as the coefficient matrices are optimized for one feature number each. The process therefore demands a lot Storage space for the coefficient matrix. Also, delay the many in vain Assignment attempts and plausibility checks significantly reduce the recognition process.

Aufgabe der Erfindung ist es, demgegenüber eine Verminderung sowohl an Arbeitszeit als auch des Speicher-Aufwandes bei der erforderlichen Einrichtung zu erreichen.The object of the invention is, in contrast, a reduction both in terms of working time as well as the storage effort for the required facility to reach.

Bei einem Verfahren der einleitend genannt.en Art sieht zu diesem Zwecke die Erfindung vor, daß bei Vorgabe einer Anzahl N von Klassifikationsmerkmalen, die im öchstfall erforderlich ist, das Verfahren in wenige Stufen unterteilt in der Weise durchgeführt wird, daß in der letzten Stufe alle N Merkmale verarbeitet werden und mindestens eine vorangehende Stufe einschaltbar ist, in der nur eine um eine Mehrzahl von tierkmalen verminderte, aus den N Merkmalen ausgewählte Anzahl von Merkmalen verarbeitet wird.In the case of a procedure of the kind mentioned in the introduction, see this Purposes of the invention that when a number N of classification features is specified, which is necessary in most cases, the process is divided into a few stages is carried out in such a way that in the last stage all N features are processed and at least one previous stage can be switched on in which only one number selected from the N characteristics reduced by a plurality of animal characteristics is processed by features.

Inshesondere ist vorgesehen, daß in jeder Stufe eine Zuordnung des Musters zu einer Klasse auf Grund eines Schätzvektors vorgenommen wird, der aus den in dieser Stufe benutzten Merkmalen und einer fiir diese Merkmalszahl optimierten Koeffizientenmatrix ermittelt wird.In particular, it is provided that an assignment of the Pattern is made to a class on the basis of an estimation vector that is derived from the features used in this stage and one optimized for this number of features Coefficient matrix is determined.

Eine Ausfiihrungsform einer Einrichtung der eingangs genannten Art ist gekennzeichnet durch eine Mehrzahl von Recheneinheiten, deren jede einer Stufe des Verfahrens zuge ordnet ist. Eine andere Ausführungsform ist gekennzeichnet durch eine Recheneinheit und ein Eingabe-Multiplex zur Durchfiihrung aller Verfahrensstufen mit der genannten Recheneinheit.An embodiment of a device of the type mentioned at the beginning is characterized by a plurality of arithmetic units, each of which is a stage is assigned to the procedure. Another embodiment is characterized by a computing unit and an input multiplex for performing all process stages with the said computing unit.

Nachfolgend wird anhand der Zeichnung, die ein Ausführungsbeispiel einer erfindungsgemäßen Einrichtung zeigt, diese Einrichtung nebst dem mit ihr durchgeführten Verfahren als Beispiel eines erfindungsgemäßen Verfahrens nochmals näher beschrieben.In the following, with reference to the drawing, an exemplary embodiment shows a device according to the invention, this device together with the one carried out with it Method described again in more detail as an example of a method according to the invention.

Das Verfahren gemäß diesem Ausführungsbeisplel arbeitet mit zwei Stufen, von denen die zweite nur im Bedarfsfalle eingeschaltet wird.The method according to this exemplary embodiment works with two stages, of which the second is only switched on when necessary.

Es sind zur Durchführung dieses Verfahrens zwei Recheneinheiten R1 und R2 vorgesehen. Jede Recheneinheit enthält ein Zuordnungs-Rechenwerk Z und ein Plausibilitäts-Rechenwerk P.There are two arithmetic units R1 to carry out this method and R2 provided. Each arithmetic unit contains an allocation arithmetic unit Z and a Plausibility calculator P.

Für eine Zeichenerkennung beispielsweise kann das Rechenwerk Z für K Zeichenklassen als Komponenten des eingangs genannten Schätzvektors die Größen parallel errechnen, wo F die jeweilige Zeichenklasse bedeutet, a die eingangs genannten Gewichtsfaktoren sind, n die Anzahl der insgesamt herangezogenen abgetasteten Merkmale ist, und x diese Merkmale selbst sind, z.B. in Form von binär verkniipften Schwarz-Weiß-Werten. Das RecheniYes3c P kann für den genannten Fall der Zeichenerkennung als Plausibilitätsgröße, unter Benutzung es eingangs genannten RAD-Kriteriums, s.B. die Größe errechnen, wobei die Plausibilität der Klassenzuordnung um so größer ist, je näher RA bei 1 liegt.For character recognition, for example, the arithmetic unit Z can use the quantities for K character classes as components of the estimation vector mentioned at the beginning Calculate in parallel, where F means the respective character class, a are the weighting factors mentioned at the beginning, n is the total number of scanned features used, and x are these features themselves, e.g. in the form of binary linked black-and-white values. The RecheniYes3c P can be used as a plausibility variable for the mentioned case of character recognition, using the RAD criterion mentioned at the beginning, for example the size calculate, the plausibility of the class assignment being greater the closer RA is to 1.

Jede Recheneinheit enthält ferner einen Diskriminator D, der die Zuverlässigkeit der Zuordnung, also z.B. den vorgenannten Wert RA auf seine Größe hin, prüft, und einen von diesem -Diskriminator betätigten Signalgeber S.Each computing unit also contains a discriminator D, the reliability the assignment, e.g. the aforementioned value RA for its size, checks, and a signal transmitter operated by this discriminator S.

Geht man von der in der Einleitung genannten Zahl N von Merkmalen aus, die in jedem Falle maximal verwendet werden soll, so ist im Beispiel vorgesehen, daß dem Zuordnungsrechenwerk Z2 von einer mit M bezeichneten Merkmalserkennungs- oder Speichereinrichtung alle N Merkmale zugeführt werden, das Rechenwerk Z1 jedoch nur mit einem Teil nl = N-n2 dieser Merkmale arbeitet, wobei n2 eine Mehrzahl von Merkmalen ist. Demnach berechnet z.-B. das Rechenwerk Z1 die Größen und das Recienwerk Z2 berechnet die Größen Die Koeffizienten werden aus Koeffizientenspeichern entnommen, die mit Kl bzw. K2 bezeichnet sind.Assuming the number N of features mentioned in the introduction, which should be used as a maximum in each case, the example provides that all N features, the arithmetic unit, are fed to the assignment arithmetic unit Z2 from a feature recognition or storage device denoted by M However, Z1 only works with a part nl = N-n2 of these features, where n2 is a plurality of features. According to this, e.g. the arithmetic unit Z1 the quantities and the receiver Z2 calculates the sizes The coefficients are taken from coefficient memories, which are designated with Kl and K2.

Die Koeffizienten a, die dem Rechenwerk Zi zugeführt werden1 sind für die Merkmalszahl nl, die Koeffizienten a', die dem Rechenwerk Z2 zugeführt werden, sind für die Merkmalszahl N optimiert.The coefficients a that are fed to the arithmetic unit Zi are 1 for the feature number nl, the coefficients a ', which are fed to the arithmetic unit Z2, are optimized for the feature number N.

Die Recheneinheit Ri wird für einen Erkennungsvorgang über einen Einschaltkanal Ei jedesmal eingeschaltet. Das Rechenwerk Z1 meldet dann-am Ausgang ZF ein bestimmtes Zeichen als erkannt. Wenn der Diskriminator Di eine ausreichende Plausibilität, z.B. also einen genügend großen Wert RA feststellt, läßt er den Schalter des Signalgebers 51 in der gezeichneten Stellung, wodurch am Ausgang Gi ein das genannte Zeichen- als gültig bestätigendes Signal erscheint und der Erkennungsvorgang beendet ist.The arithmetic unit Ri is used for a detection process via a switch-on channel Egg switched on every time. The arithmetic unit Z1 then reports a specific one at the output ZF Character recognized. If the discriminator Di has sufficient plausibility, E.g. so if a sufficiently large value RA is determined, he leaves the switch of the signal transmitter 51 in the position shown, as a result of which a said character- as a valid confirmation signal appears and the recognition process is ended.

Reicht die Plausibilität aber nicht aus, so legt der Diskriminator Di den Schalter des Signalgebers 1 aus der gezeichneten Stellung um, wodurch am Ausgang Ul ein Ungtjltigkeitss,ignal für das Ergebnis der ersten Stufe erscheint, und außerdem wird hierbei durch den Signalgeber Si über einen Einschaltkanal E2 die Recheneinheit R2 zur Durchführung der zweit-en Stufe des Erkennungsverfahrens eingeschaltet. Deren Ausgang ZF meldet nach dem Rechenablauf wiederum ein Zeichen, welches durch den Diskriminator D2 iiber Signalgeber S2 entweder am Ausgang G2 als gültig oder am Ausgang U2 als ungültig signalisiert wird. Im Ungültigkeitsfalle wird außerdem am Ausgang RW ein Riickweisungs- oder "Nicht Erkannt"-Signal ausgegeben.However, if the plausibility is not sufficient, the discriminator sets Di the switch of the signal generator 1 from the position shown, so on Output Ul an invalid signal for the result of the first stage appears, and in addition, the signal transmitter Si via a switch-on channel E2 the arithmetic unit R2 for carrying out the second stage of the recognition process switched on. Its output ZF reports a character again after the calculation process, which by the discriminator D2 via signal transmitter S2 either on exit G2 is signaled as valid or as invalid at output U2. In the event of invalidity a rejection or "not recognized" signal is also output at output RW.

Der Erkennungsvorgang ist damit beendet.The recognition process is now complete.

Statt mit den beschriebenen zwei Recheneinheiten Rt und R2 könnte auch mit nur einer Recheneinheit der geschilderten Art gearbeitet werden, wenn diese über Multiplexer bekannter Art mit den Eingabe-Einrichtungen M sowie Kt und K2 verbunden wird.Instead of the two arithmetic units Rt and R2 described, could can also be used with only one arithmetic unit of the type described, if this Connected via multiplexers of a known type to the input devices M and Kt and K2 will.

Das Verhältnis von nt : N kann z.B. -bei der Zeichenerkennung, wenn nicht allzu schlecht gedruckte Zeichen maschinell zu lesen sind, bei etwa 60:600 liegen.The ratio of nt: N can e.g. -in character recognition, if not too badly printed characters are machine readable, at around 60: 600 lie.

Das erfindungsgemäße Verfahren kann mit linearen ebenso wie mit nichtlinearen, insbesondere quadratischen Klassifikatoren durchgeführt werden. Zur Plausibilitätsprüfung können alle bekannten Methoden herangezogen werden.The method according to the invention can be used with linear as well as with non-linear, especially quadratic classifiers are carried out. For plausibility check all known methods can be used.

Claims

P a t e n t a n 5 p r ii c h e

Process for recognizing patterns such as characters or speech patterns, which in the form of successive similar process steps is carried out, with the number of used classification features of Increased step by step and after completing each step, one over the end or continuation of the procedure, the decisive plausibility check is carried out is characterized in that when a number N of classification features is specified which is necessary in the worst case, the procedure is divided into a few stages into is carried out in such a way that in the last stage all N features are processed and at least one previous stage can be switched on in which only one number reduced by a plurality of features and selected from the N features is processed by Elerkmalen.

2. The method according to claim 1, characterized in that in each Stage an assignment of the pattern to a class is made on the basis of an estimation vector is made up of the features used in this level and one for this feature number optimized coefficient matrix is determined.

3. Device for performing the method according to claim 1, characterized by a plurality of processing units, each of which is assigned to a stage of the method is.

4. Device for performing the method according to claim l, characterized by a processing unit and an input multiplex to carry out all process stages with the said computing unit.