DE69331518T2

DE69331518T2 - Neuronales Netz zum Vergleich von Merkmalen von Bildmustern

Info

Publication number: DE69331518T2
Application number: DE69331518T
Authority: DE
Inventors: Klaus Rindtorff; Dr. Rudolph
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1993-02-19
Filing date: 1993-02-19
Publication date: 2002-09-12
Anticipated expiration: 2013-02-20
Also published as: DE69331518D1; EP0612035B1; US5995953A; EP0612035A1

Description

Die vorliegende Erfindung betrifft ein mehrschichtiges neuronales Netz, wie im Oberbegriff des Anspruchs 1 dargelegt ist.
Zum Vergleichen von Handschriften und Unterschriften gibt es zwei allgemeine Grundsätze, den dynamischen und den statischen Vergleich. Für eine dynamische Überprüfung, wie die auf der Biometrik beruhende Überprüfung im Transaction Security System (Übertragungs-Sicherheitssystem) der IBM, muss der Urheber persönlich anwesend sein. Die statische Lösung kann auch in Umgebungen benutzt werden, in denen ein Abbild einer Unterschrift oder einer Handschrift überprüft werden muss, ohne dass der Urheber persönlich anwesend ist, z. B. bei der Bearbeitung von Schecks.
Ein einfacher Bildvergleich prüft die beiden gegebenen Bilder auf Gleichheit auf einer Bildelementbasis. Das kann eine Größenbestimmungs- und Drehoperation beinhalten, um Unterschiede bei Bildauflösungen und Schrägansicht zu kompensieren. In diesem Fall ist es sehr schwierig, Variationen in der Geometrie des Bildinhalts selbst zu kompensieren ohne sie zu verfälschen. Ein einfacher Merkmalsvergleich wird erreicht durch Vergleichen der Mustermerkmale mit den Bezugsmerkmalen und Berechnen der Unterschiede zwischen ihnen. Das Hauptproblem ist in diesem Fall die Identifizierung einer Abmessung.
Ein Beispiel für eine Technik auf der Grundlage der Gewinnung und des Vergleichs signifikanter Merkmale, und Ausgangspunkt der vorliegenden Erfindung wird beschrieben in EP-A-0 483 391. Die Merkmalsgewinnung führt zu einer signifikanten Einsparung an benötigtem Speicherplatz und Berechnungszeit.
Für den Bilderfassungsprozess kann ein Scanner oder eine berührungsempfindliche Vorrichtung benutzt werden. Von der binären Darstellung des gerasterten Bildes werden die eigentlichen Merkmale berechnet und zu einem Vektor mit Merkmalswerten, genannt ein Merkmalssatz, kombiniert. Für einen Vergleich von nur zwei Bildern werden die beiden Merkmalssätze verglichen. Die Bildinformation wird nicht mehr länger gebraucht.
Zum Vergleich von zwei Merkmalssätzen wird jedes Merkmal gesondert verglichen und gewichtet. Gute Wichtungen für diesen Vergleich zu finden ist extrem schwierig. Zu diesem Zweck kann die Lösung mit einem künstlichen neuronalen Netz verwendet werden. Die arithmetischen Differenzen zwischen jeweils zwei entsprechenden Merkmalen aus allen Merkmalen des Merkmalssatzes werden berechnet und in das neuronale Netz eingespeist. Dort werden sie intern gewichtet und eine Ausgabe wird berechnet, die einen Wert ausgibt, der als Wahrscheinlichkeit für die Übereinstimmung der zwei Bilder gewertet werden muss. Ein gut ausgebildetes neuronales Netz ist in der Lage, nicht nur Bilder während der Einstellung zu klassifizieren, sondern auch diejenigen, die überhaupt zum ersten Mal vorgelegt werden. Bei der Verwendung eines neuronalen Netzwerks auf dem Stand der Technik, wie das Mehrschichten-Perzeptron zum Vergleichen von zwei Musterbildern wurden Erkennungsraten bis zu 95 Prozent erzielt.
Es ist eine Aufgabe der vorliegenden Erfindung, die Erkennungsrate beträchtlich zu verbessern.
Die Erfindung, wie im unabhängigen Anspruch festgelegt, löst diese Aufgabe auf vorteilhafte Weise. Weitere vorteilhafte Ausführungsformen sind in den beigeordneten Unteransprüchen enthalten.
Nachstehend wird die Erfindung in näheren Einzelheiten anhand der Zeichnungen beschrieben, in denen
Fig. 1 verschiedene Abbildungen von Unterschriften zeigt, die zur Demonstration des Verfahrens der vorliegenden Erfindung benutzt werden;
Fig. 2 zeigt unterschiedliche Spannweiten von zwei verschiedenen Merkmalen; und
Fig. 3 zeigt ein Diagramm, wie zwei Vektoren verglichen werden.
Um die Qualität der Entscheidung zu verbessern, die mit den bekannten Verfahren und mit dem bekannten ausgebildeten Neuronalnetz erreicht, werden kann, wie oben sogar noch ausführlicher erwähnt, müssen zusätzliche Merkmalsinformationen hinzugesetzt werden. Nehmen wir zwei Unterschriften d.i. handgeschriebene Muster von zwei unterschiedlichen Urhebern an, dann kann die erste mit dem Stil der zweiten übereinstimmen, weil eine hinreichend große Anzahl herausgezogener Merkmale in den gleichen Bereich fallen. Trotzdem kann möglicherweise die zweite mit der ersten nicht übereinstimmen, weil Merkmalswerte außerhalb der typischen Bereiche liegen. Wenn z. B. nur die Unterschrift Ib aus Fig. 1 bekannt ist und gegen die Unterschriften II und III verglichen wird, kann möglicherweise die Unterschrift III besser mit Ib übereinstimmen als II mit Ib. Aber wenn mehr der ursprünglichen Unterschriften Ia und Ic bekannt sind, müsste die Entscheidung sein, dass Unterschrift II besser zu Ib passt als zu III. Auf der Grundlage von Merkmalen kann eine solche Entscheidung nur getroffen werden, wenn nicht alle Merkmale aus dem vorliegenden Bild, sondern wie in der vorliegenden Erfindung vorgesehen, auch typische Merkmalsbereiche, genannt Variationsbereiche, für diese Merkmale bekannt sind. Diese Variationsbereiche unterscheiden sich für jeden Bezugsmerkmalssatz. Der Vergleich kann dann gemacht werden unter Verwendung der augenblicklichen Merkmalswerte und der Variationsbereiche, in denen diese Merkmale variieren können. Das führt zu einer bedeutsamen Steigerung bei der Erkennungsrate mit nur wenig neuen Informationen. Bei einer Unterschriftklassifizierung wurden Erkennungsraten mit über 99% erzielt.
Die Variationsbereiche lassen sich berechnen durch Benutzen einer begrenzten Menge von Bildbeispielen, die mit dem Bezugsbild gespeichert sind und benutzt werden, um die augenblicklichen Bereiche nach jedem Vergleich erneut zu berechnen. Die Berechnung des gleitenden Mittelwerts für eine begrenzte Wertemenge wird hier genügen.
Der Aktualisierungsprozess der Merkmalsvariationsbereiche kann gestoppt werden, sobald eine hinreichende Bezugsmerkmalsmenge gefunden wurde. Sie kann auch weiterhin jedes verfügbare qualifizierte Beispiel benutzen. Das garantiert, dass jede beispielhafte Merkmalsmenge gegen eine Bezugsmerkmalsmenge geprüft wird, die die typischen Merkmalswerte und ihre Variationen am besten repräsentiert. Das macht auch den gesamten Prozess unabhängig von den sehr langsamen Veränderungen in der Handschrift, die sich bei jedem Menschen im Laufe der Jahre einstellen.
Modifizierte Netzeingangs-Wichtung.
Gemäß dem zweiten Aspekt und einer vorteilhaften Ausführungsform der vorliegenden Erfindung wird ein neues Wichtungsschema in das benutzte neuronale Netz eingebaut. Mehrschichten-Perzeptrons, bestehend aus Knoten, werden in mehreren Schichten aufgebaut. Die erste Schicht heißt die Eingangsschicht. Der Ausgangswert eines Eingangsknotens selbst wird mit dem augenblicklichen Eingangswert initialisiert, der an diesen Knoten geschickt wird. Es gibt jetzt jedoch in Wirklichkeit drei Werte je Eingangsknoten, weil anstatt Senden der arithmetischen Differenz zwischen zwei Merkmalswerten an die Eingangsknoten beide Merkmalswerte und zusätzlich der Variationsbereich des Bezugsmerkmals benutzt werden. Diese drei Werte müssen zu einem einzigen Knotenwert kombiniert werden. Zu diesem Zweck wird jeder Mustermerkmalswert mit seinem entsprechenden Hauptmerkmalswert, betreffend die gegebene Variation für dieses Merkmal, verglichen. Dieser neue Prozess, genannt die Eingangsschicht-Vorwichtung, benutzt den Variationsbereich zum Berechnen eines Abstandswerts für das Mustermerkmal. Das wird der neue Ausgang des Eingangsknotens.
Die Funktion zur Berechnung des Abstandswerts sollte ihren Extremwert bei zwei gleichen Merkmalswerten haben. Jedes Merkmal kann zu diesem Zweck seine eigene spezialisierte Funktion haben. Diese Funktion kann berechnet werden durch:
S: Merkmalswert vom Muster
R: Merkmalswert vom Bezugszeichen
V: Merkmalsbereich vom Bezugszeichen
Identifiziert werden können zwei Merkmalsklassen, die Werte aus geometrischen und stilistischen Informationen im Bild darstellen. Beide Merkmale sind ergänzend und werden zusammen benutzt. Infolge ihrer Natur werden geometrische Merkmale meistens als ein Wertevektor implementiert, der die Messungen von verschiedenen Bildpunkten aus beschreibt. Stilistische Merkmale sind in den meisten Fällen als Skalarwerte gegeben.
Geometrische Merkmale beschreiben die geometrische Natur des Bildes. Zu diesem Zweck werden die Positionen und die Helligkeit signifikanter Teile der Parameter identifiziert. Beispiele dafür sind die Anzahl und die Höhe von Helligkeitsspitzen in horizontaler oder vertikaler Richtung des Bildes. Diese Merkmale hängen definitiv vom tatsächlich geschriebenen Text ab.
Stilistische Merkmale beinhalten diejenigen, die den Schreibstil beschreiben. Sie werden berechnet aus Parametern, positionsunabhängig oder Ergebnisse von Berechnungen sind, die eine Kombination dieser Parameter benutzen. Beispiele dafür sind die typische Zwischenraumbreite zwischen den Buchstaben oder die Schräge und die relative Länge, in der Schriftzeichen oder Teile des Texts geschrieben sind. Diese Merkmale sind unabhängig von dem tatsächlich geschriebenen Text.
Skalare und geometrische Merkmale.
Zum Implementieren der individuellen Merkmalsvariationsbereiche wird die statistische Standardvariation für jedes Merkmal berechnet und zusammen mit dem Durchschnittswert jedes Merkmals gespeichert. Hier muss darauf hingewiesen werden, dass der Vergleich jetzt nicht mehr symmetrisch ist. Es muss unterschieden werden zwischen der Mustermerkmalsmenge, die von einem Musterbild kommt, und einer Bezugsmerkmalsmenge, die von einem Bezugsbild kommt, mit dem das Muster verglichen wird. Wenn der Durchschnittswert für ein einziges Mustermerkmal als Punkt C in Fig. 2 gegeben ist, sind die Abstände zu zwei anderen Durchschnittsmerkmalswerten, bezeichnet A und B, gleich. Wenn man aber die Variationsbereiche, angezeigt durch Kreise unterschiedlicher Radien, der Merkmalswerte A und B betrachtet, liegt der Mustermerkmalswert innerhalb des Bereiches B, jedoch außerhalb des Bereiches A. Also gehört er wahrscheinlicher zu A als zu B.
Bei skalaren Merkmalen werden die Bereiche nach dem Vergleich aktualisiert. Der neue Merkmalsdurchschnittswert wird gewichtet und dann zu dem ebenfalls gewichteten vorangehenden Durchschnittswert addiert. Der Variationsbereich wird auf analoge Weise aktualisiert. Wenn vor dem Vergleich keine Musterbilder bekannt sind, werden die Variationsbereiche mit Null initialisiert. Mit einem gegebenen Abgleichfaktor zum Steuern der Merkmalsüberwachungsgeschwindigkeit wird der neue skalare Merkmalswert R' berechnet nach der Formel:
R' = A * S + (1 - A) * R
R: Merkmalswert vom Bezugszeichen
S: Merkmalswert vom Muster
A: Abgleichfaktor zwischen 0 und 1
Die neuen skalaren Merkmalsbereiche V' werden mit der folgenden Formel berechnet:
V' =
R: Merkmalswert vom Bezugszeichen
V: Merkmalsbereich vom Bezugszeichen
S: Merkmalswert vom Muster
A: Abgleichfaktor zwischen 0 und 1
Bei geometrischen Merkmalen ist die Berechnung eines Durchschnitts nicht sinnvoll. Der Durchschnittsmerkmalswert muss durch einen typischen Merkmalswert ersetzt werden. Wenn eine Funktion, die einen Wert bestimmt, der die Qualität einer Gleichheitsprüfung für zwei geometrische Merkmalsvektoren repräsentiert, kann der typische Merkmalsvektor gefunden werden. Jeder Mustermerkmalsvektor wird mit jedem anderen gegebenen Muster verglichen, und derjenige, der am besten mit allen anderen Mustern übereinstimmt, wird gewählt. Jetzt kann der Merkmalsvariationsbereich durch den Durchschnitts- Übereinstimmungwert dieses Vektors mit jedem anderen ersetzt werden.

Vektorvergleich

Zum Vergleichen zweier Vektoren wird eine besondere Funktion benutzt. Beide Vektoren müssen normalisiert werden und durch eine willkürlich große Anzahl Balken vertreten werden, wie in Fig. 3 dargestellt ist. Wenn die Anzahl zu klein ist, wird der Vergleich nicht genau genug. Wenn sie zu groß ist, werden kleine Veränderungen zu stark gewichtet. Eine gute Anzahl für diese Applikation liegt bei 25 Balken.
Die Funktion, die zum Vergleichen der beiden Merkmalsvektoren benutzt wird, wird implementiert durch Benutzen eines Muster- Gleichheitsprüfalgorithmus. Dieser sucht nach entsprechenden Werten in den beiden Vektoren I und II, wie in Fig. 3 dargestellt ist, um Verschiebungen und Stretchen zu kompensieren. Zum Finden der entsprechenden Balken für einen gegebenen Balken, wie sie durch die gestrichelten Linien in Fig. 3 dargestellt sind, werden seine zwei nächsten Nachbarn für den ersten Vergleich eingeschlossen. Im vorliegenden Beispiel werden diese drei, beispielsweise Ia, Ib, Ic, mit ihren Gegenstücken im zweiten Vektor, z. B. IIb, IIc, IId, verglichen. Der Gesamtabstand wird durch die Summe der Absolutwerte der drei Balken-Differenzen berechnet. Die gleichen drei Balken Ia, Ib, Ic werden auch mit den drei Gegenstücken im zweiten Vektor, IIa, IIb, IIc, nach dem Verschieben um einen Balken nach rechts verglichen, und mit den drei Balken IIc, IId, IIe nach Verschieben des zweiten Vektors um einen Balken nach links.
Der Vergleich mit dem Mindestgesamtabstand ergibt die zu benutzende Verschiebung beim Berechnen des endgültigen Fehlers für einen Balkenvergleich. Dieser Fehler wird quadriert und über alle Balken aufsummiert. Aus diesem Grund müssen die Vektorwerte zuerst so normalisiert werden, dass der maximale beim Vektorvergleich zulässige Durchschnittsfehler 1 beträgt. Abschließend wird der Quotient zwischen dem durchschnittlichen Balkenfehler über alle Balken und dem quadrierten maximal zulässigen Fehler berechnet. Das ergibt eine Verkleinerung der Fehler, die kleiner sind, als der maximal zulässige Fehler, und eine Vergrößerung der Fehler, die größer sind, als der maximal zulässige Fehler. Auf diese Weise können größere Fehler nicht leicht durch kleinere kompensiert werden. Um den Vektorvergleich symmetrisch zu machen, wird der ganze Prozess mit den vertauschten zwei Vektoren wiederholt. Der Durchschnitt der beiden Ergebnisse wird als Vergleichsergebnis ausgegeben.

Das neuronale Netz

Unter Benutzung der von der Erfindung bereitgestellten Techniken lässt sich ein sehr kleines neuronales Netz als Merkmals-Mitarbeitungsglied benutzen. Das in dieser Applikation benutzte neuronale Netz ist ein künstliches, neuronales Standard-Durchfluss-Mehrschichten-Netz, das mit dem Rückwärtslaufalgorithmus eingestellt wird. Jeder Eingangsknoten des Netzes ist einem einzigen Merkmal vorbehalten. Das Vorwichten wird im Eingangsknoten gemacht, um den Bezugswert und den Musterwert und den bekannten Variationsbereich zu einem einzigen Skalarwert zu kombinieren. Auf diese Weise können die Netzdimensionen klein gehalten werden. Ein typisches Netz für diese Applikation könnte aus 20 Eingangsknoten, zwei verborgenen Schichten und einem Ausgangsknoten bestehen.
Beim Einstellungsprozess werden zwei Merkmalssätze aus einer Merkmalsdatenbank abgerufen. Das sind Paare von gleichen und von unterschiedlichen Urhebern, die in einer alternierenden Sequenz eingegeben werden. Sie werden auf Zufallsbasis von der Datenbank abgerufen. Auf diese Weise gibt es keinen festen Einstellungssatz und die Gefahr der Kurvenüberermittlung ist hinreichend klein.
Die Leistung des Mitarbeitungsglieds lässt sich mit zwei Werten beschreiben, die falsche Akzeptierungsrate und die falsche Zurückweisungsrate. Durch Abändern des Veränderungsschemas kann eine der beiden Raten verbessert werden auf Kosten einer Verschlechterung der anderen. Das geschieht durch Anwenden von mehr Mustern aus der Klasse der übereinstimmenden Merkmalssätze als aus der Klasse der nichtübereinstimmenden Merkmalssätze. Nach einiger Einstellungszeit kann die gewünschte Verbesserung gemessen werden. Auf diese Weise kann der Einstellungsprozess so gesteuert werden, dass er den Mitarbeitungsglied-Forderungen für eine gegebene Applikation entspricht.

Anwendungen

Die Variationsbereiche und die Vorwichtungstechniken gemäß der vorliegenden Erfindung können für alle Vergleiche benutzt werden, bei denen individuelle Variationen für einen Satz Bezugsmerkmale gefunden werden können. Die Vorwichtungsfunktion kann auch mit einem Standard- Klassifizierungs-Algorithmus anstatt mit einem künstlichen neuronalen Netzwerk benutzt werden.
Die Technik kann benutzt werden zum Vergleichen der Merkmale eines Musterbilds einer Unterschrift, die z. B. von einem Zahlungsdokument abgelesen wird, mit den Merkmalen eines Bezugsbilds aus einer Datenbank. Das kann dazu beitragen, den Prozess der Unterschriftenüberprüfung bei der Scheckbearbeitung zu automatisieren.
Es kann auch dazu benutzt werden, dem Anwender zu helfen, die am besten passenden Unterschriften auf Rechnungen zu finden, bei denen ein oder mehrere Muster aus einem Satz Unterschriften verschiedener Personen zugelassen sind. Das erleichtert erheblich die manuelle Überprüfung von auf Firmenkonten gezogenen Schecks.
Sicherheitsanwendungen können diese Technik anwenden zum Identifizieren einer Person, sobald man die Unterschrift oder einen Teil der Unterschrift hat. Aufgrund des geringen Speicherplatzes, der für die Merkmale erforderlich ist, können sie auf einem Magnetstreifen einer Kreditkarte oder einer Kennkarte gespeichert werden. In diesem Fall ist die Unterschrift auf der Karte nicht mehr erforderlich. Eine gestohlene oder verlorene Karte kann nicht mehr so leicht missbraucht werden, weil die Unterschrift auf der Karte selbst nicht sichtbar ist und daher nicht mehr gefälscht werden kann.
Die Identifizierung einer Person, die diese Technik anwendet, beschränkt sich nicht auf die Unterschrift. Auch ein Passwort kann benutzt werden. Für den Identifizierungsprozess muss das Passwort bekannt sein und die typische Handschrift der betreffenden Person muss auf Übereinstimmung geprüft werden.
Wenn zwei unterschiedliche Stücke einer Handschrift vorliegen, lässt sich die Wahrscheinlichkeit berechnen, ob die beiden von der gleichen Person geschrieben sind. Das kann zur Bestätigung von Dokumenten oder zum Identifizieren des Verfassers eines handschriftlichen Textes benutzt werden.
Wen ein repräsentativer Satz von Musterbildern vorliegt, kann das neuronale Netz neu eingestellt und auf diese Weise an unterschiedliche kulturelle Schreibgewohnheiten angepasst werden.
Die Übertragung der Technik der vorliegenden Erfindung auf die automatisierte Bearbeitung von Dokumenten kann dazu benutzt werden, den Absender durch Vergleichen des typischen Logo im Briefkopf mit einer Liste bekannter Logos zu identifizieren. Sie kann auch dazu benutzt werden, das gedruckte Formblatt zu klassifizieren, um die Informationen über den Platz von Datenfeldern vor dem Anlaufenlassen eines Schriftzeichen-Erkennungsprozesses zu benutzen.
Zusammenfassend muss darauf hingewiesen werden, dass die Technik, wie sie in der vorliegende Erfindung beschrieben ist, Vergleiche zwischen einem Mustermerkmalssatz und einem Bezugsmerkmalssatz durch Benutzen ihrer Variationsbereiche und einer Vorwichtungsfunktion weitgehend erleichtert. Die Vektorvergleichsmethode berechnet skalare Ergebnisse für den Vergleich zwischen zwei Vektoren. Das ermöglicht die Anzahl der Eingänge in ein neuronales Netz-Mitarbeitungsglied sehr klein zu halten und verbessert auf diese Weise die Geschwindigkeit und die leichtere Einstellung. Beim Gebrauch mit Merkmalen, die aus Unterschriftbildern extrahiert werden, verbessert sich die Zuverlässigkeit eines automatischen Unterschriftvergleichsverfahrens signifikant.

Claims

1. Mehrschichten-Neuronalnetz zum Vergleichen von Merkmalen aus einem Musterbild (II, III) und einem gespeicherten Hauptbezugsmuster (Ia, Ib, Ic), enthaltend:

Einen Bildeingang zum Erfassen des Musterbilds (II, III); und

einen Speicher zum Speichern des Hauptbezugsmusters (Ia, Ib, Ic);

gekennzeichnet durch

eine Eingangsschicht des Netzes, in dem der Eingang in jeden Knoten in der Schicht einen Merkmalswert aus dem zu überprüfenden Musterbild, einen Merkmalswert aus dem gespeicherten Hauptbezugsmuster, und einen Merkmalsbereichswert aus dem gespeicherten Hauptbezugsbild beinhaltet; und in dem jeder Knoten in der genannten Eingangsschicht so angeordnet ist, dass er einen Abstandswert für den Musterbildmerkmalswert ausgibt, in dem der Abstandswert aus dem dreifachen Eingang in jeden Knoten berechnet wird.

2. Mehrschichten-Neuronalnetz gemäß Anspruch 1, dadurch gekennzeichnet, dass der Abstandswert aus einer Funktion berechnet wird, die ihren Extremwert für zwei gleiche Merkmalswerte hat.

3. Mehrschichten-Neuronalnetz gemäß Anspruch 2, dadurch gekennzeichnet, dass die Funktion berechnet wird nach der Formel

worin

als der Absolutwert von S-R ist,

S der Merkmalswert aus dem Musterbild ist,

R der Merkmalswert vom gespeicherten Hauptbezugswert ist, und

V der Merkmalsbereichswert aus dem gespeicherten Hauptbezugswert ist.

4. Mehrschichten-Neuronalnetz gemäß Anspruch 1, dadurch gekennzeichnet, dass Merkmale in zwei Klassen enthalten sind, die die Werte aus geometrischen und stilistischen Informationen im Bild repräsentieren.