-
Diese Erfindung bezieht sich auf
eine Objekt-Anpassung basierend auf einer Formähnlichkeit, und, insbesondere,
auf ein Verfahren und eine Einrichtung, mit denen ein räumliches
Layout von Bereichen zu Zwecken einer Anpassung von Dokumenten erfasst
werden kann.
-
Heutzutage wird eine zunehmende Anzahl von
Dokumenten in großen
Mengen abgetastet oder wird elektronisch erzeugt. Um diese Dokumente
aufrechtzuerhalten und zu verwalten, werden neue Verfahren erforderlich,
um die Dokumente zu analysieren, zu speichern und aufzusuchen. Derzeitige
Dokumenten-Management-Systeme können
eine Dokumenten-Datenbank-Erzeugung von abgetasteten Dokumenten
und ein Indexieren basierend auf Text-Abfragungen unterstützen. Ein
Erfordernis, um stärker
visuelle Abfragen zu ermöglichen,
ist fehlgeschlagen, insbesondere beim Aufsuchen von Dokumenten,
wenn Text-Schlüsselworte
unzuverlässig (aus
abgetasteten Dokumenten aufgrund von OCR Fehlern) extrahiert werden,
oder beim Aufsuchen von zuvielen Auswahlen für einen Benutzer, um eine Form
auszuwählen.
In solchen Fällen
wird die Absicht des Benutzers am besten dadurch erfüllt, dass entweder
flexiblere Abfragen zugelassen werden, um einen Bezug auf eine Dokumentengattung
oder einen -typ zu nehmen (das bedeutet, finde meinen „Brief" von „X" dazu in Bezug stehenden „Verkäufen" und „Supports"), oder durch einfaches
Hinweisen auf ein Bildzeichen bzw. Icon oder ein Beispiel, und Fragen „finde
für mich
ein Dokument auf, das ähnlich
zu diesem in dem visuellen Layout aussieht". Ein solches Durchführen erfordert entweder eine
Fähigkeit, automatisch
eine solche Dokumenten-Gattung oder Typ-Informationen aus der Ähnlichkeit
in den visuellen Layouts von Dokumenten, im Gegensatz zu deren präzisem Textinhalt,
abzuleiten, was sehr unterschiedlich sein kann. Ein Beispiel, das
dies darstellt, kann anhand der 1A und 1B gesehen werden, die zwei ähnlich aussehende
Dokumente mit sehr unterschiedlichem Textinhalt sind.
-
Eine Anpassung basierend auf einer Ähnlichkeit
des räumlichen
Layouts ist ein schwieriges Problem, und diesem ist sich bis jetzt
noch nicht ausreichend zugewandt worden. Die vorstehenden Beispiele
stellen auch die damit verbundene Schwierigkeit dar. Die zwei Dokumente
in 1A und 1B werden als ähnlich angesehen,
obwohl sich deren logisch entsprechenden Bereiche (Textsegmente),
dargestellt in den 2A und 2B, jeweils in der Größe unterscheiden.
Weiterhin sind einige der entsprechenden Bereiche nach oben bewegt
worden, während
andere nach unten bewegt worden sind und mit unterschiedlichen Beträgen.
-
Es ist bekannt, eine symbolische,
grafik-ähnliche
Beschreibung von Bereichen zu extrahieren und eine berechnungsmäßig intensive
Untergrafik-Anpassung durchzuführen,
um eine Ähnlichkeit
zu bestimmen, wie dies in der Arbeit von Watanabe in „Layout
Recognition of Multi-Kinds of Table-Form Documents", IEEE Transctions
Pattern Analysis and Machine Intelligence, zu sehen ist. Weiterhin
beschreibt das US-A-Patent Nr. 5,642,288 für Leung et al mit dem Titel „Intelligent
document recognition and handling" ein Verfahren einer Dokumenten-Bildanpassung
unter Durchführen
einer bestimmten Bildverarbeitung und Bilden von Merkmals-Vektoren
von den Pixel-Verteilungen innerhalb des Dokuments.
-
Aus Bohnacker U. et al: „Matching
form lines based on a Heuristic Search" Proceedings of the Fourth International
Conference on Document Analyses and Recognition (Cat. No. 97TB100138),
Proceedings of the fourth international conference on document analysis
and recognition, Ulm, Deutschland, 18. bis 20. August 1997, Seiten
86 bis 90, Vol. 1, XP002165325 1997, Los Alamitos, CA, USA, IEEE Computer
Society, USA, ist ein Form-Identifikations-Verfahren,
basierend auf dem A* Algorithmus bekannt. Von einer Referenz-Form und einer ausgefüllten Form,
die verglichen werden sollen, werden zwei Sätze von horizontalen und vertikalen
Linien aufgebaut, die nach Paaren von entsprechenden Linien durchsucht
werden. Räumliche
Metriken werden berechnet und ein Suchbaum wird aufgebaut, in dem entsprechende
Linien der zwei Formen gespeichert sind. Nach einer Evaluierung
der lokalen Sicherheit eines angepassten Paars von Linien wird entschieden,
ob die zwei Formen bzw. Formulare, die verglichen werden, zueinander
passen.
-
Ein anderes, hierzu in Bezug stehendes
Dokument ist Niyogi D. et al: „An
Integrated approach to Document Decomposition and Structural Analysis" International Journal
of Imaging Systems and Technology, US, Wiley and Sons, New York,
Vol. 7, No. 4, 21. Dezember 1996 (1996-12-21), Seiten 330 bis 342,
XP000637454. Das Dokument beschreibt eine Dokumenten-Zerlegung und
eine strukturelle Analyse, die einen der Hauptprozesse bildet, die
beim Verstehen eines Dokumenten-Bilds umfasst sind. Eine Zerlegung
und strukturelle Analyse umfasst ein logisches Kopieren und eine
Bestimmung der Leserei henfolge in Bezug auf komplexe Dokumente mit Mehrfach-Artikeln.
Das System verwendet Segmentierungs-Techniken von unten nach oben,
um die Block-Struktur eines Dokuments und die Layout-Regeln zu identifizieren,
um diese Blöcke
in logische Einheiten zu klassifizieren und zu gruppieren, die bedeutungsvolle
Unterteilungen des Dokuments darstellen.
-
Zusammenfassung der Erfindung
-
Die Erfindung, wie sie in den Ansprüchen 1 und
8 definiert ist, ist ein Verfahren und ein entsprechendes System
zum Anpassen von Objekten, mit spezifischen Beispielen einer Anpassung
von Dokumenten, basierend auf einem räumlichen Layout von Bereichen,
die sich den vorstehenden Schwierigkeiten zuwenden. Sie setzt ein
Form-Ähnlichkeits-Modell zum Erfassen
einer Ähnlichkeit
zwischen 2D Objekten ein. Das Form-Ähnlichkeits-Modell ist allgemein genug, um die individuellen
Bereichs-Form-Variationen zwischen Mitgliedern einer Form-Klasse einzuschließen, und
dennoch spezifisch genug, um Fehlanpassungen an Objekte mit wahrnehmbar
unterschiedlichem Erscheinungsbild zu vermeiden. Das bedeutet, dass
das Form-Modell die Änderung
in der Form von entsprechenden Bereichen an Objekten durch einen
Satz von separaten, affinen Deformationen modellmäßig aufbaut,
mit Einschränkungen
in Bezug auf die Transformationen, die vorgesehen sind, um die wahrnehmbare
Form-Ähnlichkeit
zwischen Objekten zu erfassen.
-
Unter Verwendung des Form-Modells
werden zwei Objekte herangezogen, um sie anzupassen, falls eines
davon dahingehend befunden werden kann, dass es zu der Form-Klasse des anderen Dokuments
gehört.
Genauer gesagt schreitet die „Dokumenten" Anpassung in 4 Stufen
fort, nämlich (1)
eine Vorverarbeitung, in der logische Bereiche automatisch von Informationen
in den Dokumenten, die angepasst werden sollen, abgeleitet werden,
(2) eine Bereichs-Korrespondenz, in der eine Korrespondenz zwischen
den Bereichen an den Dokumenten eingerichtet wird, und (3) eine
Pose- bzw. Stellungs-Berechnung,
in der die individuellen Transformationen, die sich auf entsprechende
Bereiche beziehen, zurückgewonnen
werden, und schließlich
(4) Verifizierung, bei der der Umfang einer räumlichen Ähnlichkeit durch Projizieren
eines Dokuments auf das andere unter Verwendung der berechneten
Stellungs-Parameter gemessen wird.
-
Das Dokumenten-Anpassungsverfahren, das
spezifisch hier beschrieben ist, kann geeignet mit anderen, auf
einem Text basierenden Suchverfahren kombiniert werden, um die Fähigkeit
der vorliegenden Dokumenten-Management-Systeme zu erhöhen. Ein
sol ches Dokumenten-Anpassungsvertahren besitzt mehrere Anwendungen.
Es kann dazu verwendet werden, eine Dokumenten-Gattung (wie beispielsweise
Briefe, Memos) basierend auf einem räumlichen Layout zu beschreiben.
Andere Verwendungen des Dokumenten-Anpassungsvertahrens umfassen
die Clusterbildung von Dokumenten basierend auf einer Ähnlichkeit
zu Zwecken einer Dokumenten-Datenbank-Organisation.
-
Das „Objekt" Anpassungsverfahren umfasst die folgenden
Merkmale:
- 1. Das unterlegende Form-Modell und
das zugeordnete Erkennungsverfahren sind allgemein und dazu vorgesehen,
eine wahrnehmbare Form-Ähnlichkeit
in einer Vielfalt von 2D-Formen (Nebendokumenten) zu erfassen, die
aus Bereichen bestehen, wie beispielsweise Konstruktionszeichnungen,
MRI-Brain-Abtastungen, Videos, natürliche Außen-Szenarien, Baupläne in Grundeigentum-Datenbanken,
usw..
- 2. Es ist ein schnelles Verfahren zum Erhalten einer Bereichs-Korrespondenz,
das eine exponentielle Suche vermeidet.
- 3. Es besitzt eine Fähigkeit, ähnlich geformte
Objekte in Form-Kategorien oder-Gattungen zu gruppieren.
- 4. Es liefert eine Art und Weise, ähnlich aussehende Objekte unter Änderungen
in der Objekt-Orientierung, der Schrägausrichtung (Drehung und Schering
(von fehlerhaft zugeführten
Seiten)), die schnell ist und keine auf Pixeln basierenden Berechnungen
wie in Objekt-Bild-Anpassungsverfahren erfordert.
- 5. Es schafft eine Fähigkeit,
Dokumente basierend auf räumlichen
Layout-Informationen
(über eine
Frage, zum Beispiel) zu suchen, die geeignet komplementär zu einer
auf einem Text basierenden Suche sind.
- 6. Schließlich
ist jede der Operationen bei der Objekt-Anpassung berechnungsmäßig einfach.
-
Beschreibung der Zeichnungen
-
1A und 1B stellen zwei ähnlich aussehende
Dokumente dar.
-
2A und 2B stellen die Ähnlichkeiten
und die Unterschiede in dem Layout der logischen Bereiche der 1A und 1B jeweils dar.
-
3 stellt
ein Beispiel dar, das eine Bereichs-Korrespondenz für Objekte
darstellt.
-
4 stellt
ein Flußdiagramm
des Dokumenten-Anpassungsverfahrens dar.
-
5 stellt
eine beispielhafte Anwendung des Formanpassungsverfahrens in Bezug
auf zwei Diagramme dar.
-
6A stellt
ein Prototyp-Dokument, verwendet für den Vergleich von anderen
Dokumenten, dar.
-
6B stellt
ein Dokument derselben Kategorie des Prototyp-Dokuments der 6A dar.
-
6C stellt
ein Dokument einer unterschiedlichen Kategorie als das Prototyp-Dokument von 6A dar.
-
7A stellt
die Projektion der Dokumenten-Bereiche des Dokuments der 6B auf die Bereiche des
Prototyps dar.
-
7B stellt
die Projektion der Dokumenten-Bereiche des Dokuments der 6C auf die Bereiche des
Prototyps dar.
-
8 stellt
ein Blockdiagramm der Hauptkomponenten für die Erfindung dar.
-
Detaillierte Beschreibung
der Erfindung
-
Die Erfindung, die hier offenbart
ist, ist ein Verfahren einer Objektanpassung, basierend auf einem
Form-Modell, um eine Form-Layout-Ähnlichkeit zu erfassen. Beim
modellmäßigen Erstellen
einer Form-Ähnlichkeit
werden Objekte durch eine Zusammenstellung von Bereichen, die eine
bestimmte, logische Einheit des Objekts darstellen, wie beispielsweise
einen logischen Textbereich, ähnlich
einem Absatz, charakterisiert. In Bezug auf die Verfahren, um solche
Bereiche zu erhalten, wird davon ausgegangen, dass sie domänenspezifisch
sind und häufig eine
bestimmte Bildvorverarbeitung einsetzen. Obwohl der Ausdruck „Dokument" durch diese Offenbarung
hinweg verwendet wird, bedeutet dies nicht, dass die Anwendung der
Erfindung auf Dokumente beschränkt
ist, sondern vielmehr ist vorgesehen, dass dieses Verfahren in breitem
Sinne auf eine „Objekt" Anpassung anzuwenden
ist.
-
Das Dokumenten-Anpassungsverfahren, das
hier beschrieben ist, schreitet allgemein in 4 Stufen fort, nachdem
Dokumente, die logische Bereiche enthalten, die angepasst werden
sollen, identifiziert sind. Die Schritte sind: Vorverarbeitung 1,
bei der logische Bereiche automatisch von Informationen in den Dokumenten,
die angepasst werden sollen, abgeleitet werden; eine Bereichs-Korrespondenz 2,
bei der die Korrespondenz bzw. Übereinstimmung
zwischen den Bereichen in Bezug auf die Dokumente eingerichtet wird;
eine Lage-Berechnung 3, in der die individuellen Transformationen,
die sich auf ent sprechende Bereiche beziehen, zurückgewonnen
werden, und schließlich
Verifikation 4, die ausgeführt wird, bei der der Umfang
einer räumlichen Ähnlichkeit durch
Projizieren von einem Dokument auf das andere unter Verwendung der
berechneten Lage-Parameter gemessen wird. Diese Schritte werden
in weiterem Detail in Abschnitt B dieser Offenbarung nachfolgend
diskutiert werden.
-
Das Dokumenten-Anpassungsverfahren
basiert auf dem folgenden Form-Ähnlichkeits-Modell, das
dazu vorgesehen ist, eine Ähnlichkeit
eines räumlichen
Layouts von logischen Bereichen in 2D-Objekten, und, insbesondere,
in logischen Bereichen eines Dokumentenbilds zu erfassen.
-
A. Das Form-Ähnlichkeits-Modell
-
Das Form-Ähnlichkeits-Modell beschreibt
die Charakteristika der Form-Klasse eines Objekts M, das aus einem
Satz von m Bereichen Rmi,i=1 bis m, besteht.
Entsprechend dem Form-Modell ist das Objekt M dasjenige, das ähnlich zu
einem anderen Objekt l ist, gekennzeichnet durch den Satz von Bereichen RIj,j=1...n, falls genug Paare von entsprechenden
Bereichen aufgefunden werden können,
so dass die Form-Deformationen der entsprechenden Bereiche durch
einen Satz von affinen Transformationen (Aij, Tij) spezifiziert werden können, die die folgenden drei Einschränkungen
befolgen:
-
1. Richtung der Einschränkung für die restliche Translation:
-
Die erste Einschränkung spezifiziert, dass sich
Objekt-Bereiche entlang einer gemeinsamen Richtung, bezeichnet als
die Referenz-Richtung, verschieben. Das bedeutet, dass die Richtung
der restlichen Translation der entsprechenden Bereiche dieselbe
sein muss, die bezeichnet wird durch: γijy = γijx tanθ, ∀i, jwobei
(γijx, γijy)T = yij = CIj- CMi die verbleibende Translation ist und CIj und CMi die Schwerpunkte
der Bereiche RIj in einem Objekt I und RMi des Objekts M sind. Wenn θ = 90 Grad
ist, gilt γijx = 0.
-
Die Anweisung für die restliche Translation kann
entweder manuell spezifiziert werden oder kann automatisch durch
Berechnung der Richtung der restlichen Bewegung für alle Paare
von Bereichen und durch Aufzeichnen der Gemeinsamkeit in der Richtung
unter Verwendung einer Hough-Transformation abgeleitet werden.
-
2. Umfang einer Translations-Beschränkung:
-
Die zweite Beschränkung schränkt den Umfang einer Verschiebung,
der jeder der Bereiche unterliegen kann, um eine wahrnehmbare Ähnlichkeit beizubehalten,
ein. Der Umfang der restlichen Translation aller entsprechender
Bereiche ist mit δ begrenzt,
so dass,
oder äquivalent
ist:
|γijx| ≤ |δ cosθ
|γijy|≤ |δsinθ| -
Für θ = 90 ist
die Begrenzung in Bezug auf den Umfang der Translation gegeben durch
|γijy| ≤ δ.
-
Es ist anzumerken, dass, umfasst
in der Beschränkung
in Bezug auf den Umfang einer restlichen Translation, der Fall vorhanden
ist, wenn sich einige Bereiche nicht insgesamt von deren Ursprungspositionen
aus bewegen, während
andere dies entlang einer gemeinsamen Richtung tun. Wenn (Aij, Tij) dasselbe
für alle
Bereiche j für
ein Objekt i ist, verringert dies ein Modell einer Festkörper-Form.
-
3. Reihenfolge von Bereichseinschränkungen:
-
Die abschließenden Einschränkungs-Beschränkungen
der Verschiebung von Bereichen, wie beispielsweise die relative
Reihenfolge, wird beibehalten. Das bedeutet, dass die Reihenfolge
von entsprechenden Bereichen in Bezug auf Objekte in Bezug auf die
Referenzrichtung θ dieselbe
ist. Die Reihenfolge von Bereichen wird durch Projizieren der Schwerpunkte
von Bereichen auf die Referenzrichtung unter Verwendung einer Richtung
einer Projektion (orthogonal oder schräg) erhalten. Ein solche Bereichs-Ordnung
für ein
Objekt kann passend durch eine Folge R = (Rj1,
Rj2,...Rjm,) dargestellt
werden. Bereiche desselben Rangs erscheinen in dieser Folge entlang
der Projektionsrichtung angeordnet.
-
Die vorstehenden Einschränkungen
sind sorgfältig
anhand von Studien ausgewählt
worden, die ergaben, dass solche Beschränkungen wahrnehmbar eine Ähnlichkeit
für eine
breite Vielfalt von Objekten, einschließlich Flächen, MRI-Abtastungen, usw.,
bilden.
-
B. Verfahren einer Dokumenten-Anpassung
-
Das Verfahren einer Dokumenten-Anpassung,
offenbart in dieser Erfindung, schließt die folgenden Stufen ein:
- 1. Logische Bereichs-Extraktion von Dokumenten-Segmenten.
- 2. Bereichs-Korrespondenz zwischen den zwei Dokumenten, die
angepasst werden sollen, unter Verwendung der Beschränkungen
des Form-Modells.
- 3. Positur-Berechnung (Pose-Berechnung) zwischen entsprechenden
Bereichen.
- 4. Positur-Verifikation durch Projizieren eines der Dokumente
auf das andere unter Verwendung der berechneten Positur.
-
1. Extraktion
von logischen Bereichen
-
Um das Form-Ähnlichkeits-Modell für eine Dokumenten-Anpassung
zu verwenden, muss ein Satz von logischen Bereichen abgeleitet werden. Während die
Dokumenten-Anpassungs-Verfahren verschiedene
Verfahren zum Erhalten von logischen Bereichen zulassen, hat man
sie so ausgewählt,
um sie durch einen Gruppierungsalgorithmus zu erhalten, der Textsegmente
verwendet, gegeben durch einen herkömmlichen Text-Segmentierungs-Algorithmus
(man verwendete eine Version einer Software in TextBridgeTM von Xerox zum Extrahieren von Textsegmenten).
Der Gruppierungsalgorithmus führt
die folgenden Operationen durch:
- 1. Textsegmentbereiche,
deren Begrenzungskästen
links ausgerichtet sind, rechts ausgerichtet sind oder zentral ausgerichtet
sind, werden festgestellt.
- 2. Unter den Bereichen im Schritt 1 werden solche, die vertikal
um einen kleinen Abstand beabstandet sind, beibehalten. Die Abstand-Schwellwerte
werden relativ zu der Seitenbildgröße ausgewählt. Eine Art und Weise, um
den Schwellwert abzuleiten, ist diejenige, eine Zwischenbereichsseparation über einen
großen
Trainingssatz von Dokumenten einer bestimmten Gattung aufzuzeichnen
und die pixel-weise Separation in den Bildversionen von Dokumenten
aufzuzeichnen.
- 3. Textbereiche, erhalten im Schritt 2, werden dazu verwendet,
Gruppen von Bereichen zu bilden. Die Gruppierung wird wie folgt
vorgenommen:
a. Zu Anfang werden alle Textsegmente in deren eigene
Gruppen eingegeben.
b. Für
jedes Textsegment werden die Textsegmente bestimmt, die innerhalb
der Abstands-Beschränkung
des logischen Bereichs (vorstehend angegeben) fallen. Alle solchen
Bereiche werden in einer Gruppe zusammengefasst.
c. Aufeinanderfolgendes
Zusammenführen
von Gruppen, unter Verwendung von Schritt b, bis der Satz von Gruppen
nicht weiter verringert werden kann. Der vorstehende Algorithmus
kann effektiv unter Verwendung einer Datenstruktur, bezeichnet als
die einheitlich aufgefundene Datenstruktur, wie dies in dem Buch von
Cormen, Leisersen und Rivest mit dem Titel „Introduction to algorithms", MIT Press, 1994,
beschrieben ist, um zeit-linear in der Zahl von Textbereichen in
dem Dokument zu laufen, ausgeführt
werden. Der vorstehende Algorithmus ist als besonders nützlich zum
Gruppieren von aufeinanderfolgenden Absätzen des Textes in einzelne,
logische Bereiche, ebenso wie zum Gruppieren von zentral ausgerichteten
Informationen, wie beispielsweise Autor-Informationen, in einem
Artikel eines Journals, befunden worden.
-
2. Bereichs-Korrespondenz
-
Das Verfahren zum Erhalten einer
Bereichs-Korrespondenz ist wiederum für allgemeine Objekte in Bezug
gesetzt und kann einfach auf logische Bereiche von Dokumenten angewandt
werden. Die Korrespondenz zwischen logischen Bereichen wird unter
Verwendung der Beschränkungen
in dem Form-Ähnlichkeits-Modell
erhalten. Demzufolge werden, beginnend mit allen Paaren von Bereichen
auf den zwei Objekten, alle solche Paare, deren Richtungen einer
Resttranslation nicht in der spezifizierten Richtung θ liegt,
beschnitten (dies wird innerhalb eines Schwellwerts geprüft, um eine
bestimmte Widerstandsfähigkeit
gegenüber
Segmentierungsfehlern und -abweichungen von dem Form-Ähnlichkeitsmodell
in individuellen Dokumenten zuzulassen). Als nächstes wird der Umfang der
Resttranslationsbeschränkung
verwendet, um weiter die Paare zu beschneiden. Die bestimmten Bereiche
in den Paaren auf jedem Objekt können
nun in Bezug auf die Referenzrichtung θ geordnet werden. Die Bereichs-Reihenfolgen
können
durch die Sequenzen RM und RI jeweils
bezeichnet werden. Unter Verwendung dieser Bereichs-Reihenfolge,
und der Zusammenstellung des Satzes von Kandidaten, die Bereiche
in dem Objekt M anpassen, für
jeden Bereich des Objekts I mit Si, kann
das Ergebnis durch die Satz-Sequenz
Sp = (S1,S2,...SP) bezeichnet
werden, wobei p die Zahl von Bereichen in dem Objekt I ist, die
eine Anpassung in dem Bereich in dem Objekt M fanden. Die beste
Bereichs-Korrespondenz wird als die längste Untersequenz von RM herangezogen, die auch eine Mitglied-Sequenz
von Sp ist. Eine Mitglied-Sequenz von Sp
ist eine Sequenz von Bereichen mit zumindest einem Bereich, herangezogen
von dem Satz Si. Es kann leicht dargestellt
werden, dass das Problem eines Auffindens der längsten, gemeinsamen Untersequenz
(Longest Common Subsequence – LCS)
eine optimale Unterstruktur-Eigenschaft besitzt, was demzufolge
Lösungen
durch dy namisches Programmieren zulässt. Tatsächlich hat man den dynamischen Programmieralgorithmus
zum Berechnen einer LCS angewandt, beschrieben in der Einleitung
zu Algorithmen von T. Cormen, Leiserson und R. Rivest, um eine Bereichs-Korrespondenz
durch LCS unter Verwendung der folgenden, einfachen Prozedur zu
erhalten:
- – Es
wird angenommen, dass m = Länge
der Sequenz RM ist und n = Länge der
Satzsequenz Sp ist.
- – Die
LCS von RM und Sp wird durch zunächst Berechnen
der Länge
von LCS und Zurückverfolgen von
den Indizes, die zu der längsten
Sequenz beitragen, um eine LCS abzuleiten, bestimmt.
- – Die
Zwischenergebnisse werden in einer dynamischen Programmiertabelle
aufgezeichnet.
-
c[0..m,0..n], wobei der Eintritt
c[i,j] die Länge von
LCS basierend auf den Vorsilben von RM und
Sp der Länge
i und j jeweils bezeichnet. Die Tabelle wird durch c[i, 0] = 0 =
c[0, j] für
alle i,j initialisiert.
-
Der Code wird nachfolgend angegeben:
-
Indem eine Aufzeichnung davon beibehalten wird,
welche der drei Werte c[i – 1,
j – 1],
c[i – 1,j],
c[i,j – 1]
tatsächlich
zu dem Wert von c[i,j] in der vorstehenden Prozedur beitrugen, kann
man eine LCS in einer linearen Zeit rekonstruieren.
-
Die vorstehenden Schritte geben den
größten Satz
von entsprechenden Bereichen zwischen einer Frage und einem Prototyp
an, die sich entlang derselben Richtung innerhalb von Grenzen des Form-Modells
bewegen, besitzen eine Anpassung in dem individu ellen Inhalt und
behalten die räumliche Layout-Ordnung,
die spezifiziert ist, bei. Obwohl die Zahl einer möglichen
LCS für
allgemeine Sequenzen in dem schlechtesten Fall exponentiell sein
kann, müssen,
für typische,
räumliche
Layouts von Bereichen in Dokumenten, nur ein paar bestimmte LCS versucht
werden, um eine Formähnlichkeit
zu entdecken. Beispiel einer Bereichs-Korrespondenz:
-
Die 3A und 3B werden dazu verwendet, die
Bereichs-Korrespondenz für
ein einfaches Beispiel darzustellen. Die Figuren sind zwei Objekte,
die angepasst werden sollen, wobei einige deren Bereiche die Beschränkungen
des Form-Ähnlichkeits-Modells
erfüllen.
Deren jeweilige Bereichs-Reihenfolge in Bezug auf die Referenzrichtung,
dargestellt in der Figur, sind gegeben durch: (ABCD) und (EFGHIJK). Die
Satz-Sequenz von Kandidaten-Anpassungen ist gegeben durch ({A},
{B}, {A}, {B}, {C}, {}, {D}], wobei S1 =
{A}, S2 = {B}, usw., gilt. Dabei sind zwei
LCS vorhanden, die eine Länge
mit jeweiligen Bereichs-Korrespondenzen als {(A,E)(B,H)(C,I)(D,K)}
und {(A,G)(B,H)(C,I)(D,K)} haben. Die Korrektheit dieser Korrespondenzen
kann in der Erkennungsstufe, die als nächstes beschrieben wird, ermittelt
werden.
-
3. Positur-Berechnung
-
Unter Verwendung der Korrespondenz
zwischen logischen Bereichen können
die individuellen Bereichstransformationen in einer Vielfalt von
Arten und Weisen zurückgewonnen
werden, umfassend eine Merkmalsanpassung oder eine direkte Bereichsanpassung,
wie dies in der Abhandlung mit dem Titel „Objekt recognition by region
correrspondence" in
Proceedings Intl. Conference on Computer Vision (ICCV), Boston,
1995, von R. Basri und D. Jacobs, erwähnt ist. Für die Domäne von Dokumenten sind, da
die logischen Bereiche rechtwinklig sind, die Positur- bzw. Stellungs-Parameter,
die von Interesse sind, die vier Elemente der linearen Transformations-Matrix
A und der restlichen Translation T. Für ein Paar entsprechender Bereiche
R
Mi und R
Ij werden diese
bezeichnet durch
wobei
S1ij = ΔXj/ΔX1
S2ij = Δyj,/Δy1
Tij =
CMi – CIj wobei (Δx,Δy) die Breite und die Höhe des rechtwinkligen
Bereichs sind.
-
4. Positur-Verifikation
-
Eine Positur- bzw. Stellungs-Verifikation
umfasst ein Bestimmen, ob sich die zwei Dokumente unter dem Form-Ähnlichkeitsmodell
ausrichten. Hierfür wird
die berechnete Rest-Translation,
angegeben in der vorstehenden Gleichung, korrigiert, so dass die sich
ergebende Rest-Translation dazu gebracht wird, dass sie exakt entlang
der Referenzrichtung und innerhalb der angegebenen Grenzen im Umfang
einer solchen Verschiebung liegt. Dies wird durch senkrechtes Projizieren
des Punkts, der die berechnete Rest-Translation darstellt, auf die
Linie der Richtung θ und
Heranziehen des Punkts einer solchen Projektion als die neue Rest-Translation
Tijnew für
jedes Paar von entsprechenden Bereichen vorgenommen.
-
Jeder rechtwinklige Bereich Ri auf dem Objekt M kann nun auf das Objekt
I projiziert werden, um den projizierten, rechtwinkligen Bereich
R / i wie folgt anzugeben. Der Schwerpunkt des Bereichs CMi wird zu
der Position CI
i = CMi + Tijnew bewegt.
-
Eine Verifikation wird dann vorgenommen, indem
nach dem Umfang einer Überlappung
zwischen dem Bereich R / i und dem entsprechenden, rechtwinkligen Bereich
R
Ij des Korrespondenz-Paars gesehen wird.
Die Verifikations-Auswertung ist gegeben durch V(M.I)
wobei ∩ und ∪ über die Bereichs-Flächenbereiche vorgenommen
werden.
-
Die vorstehende Formel gilt für den Fall
einer Anpassung, wie dies durch den Umfang einer räumlichen Überlappung
der korrespondierenden Bereiche gemessen ist, und dem Umfang einer
Fehlanpassung, wie dies durch die Flächenbereiche der Bereiche gemessen
ist, die keine Anpassung finden (umfasst in dem Nenner-Term).
-
C. Beispiele
-
Unter Bezugnahme auf 4 wird ein Flussdiagramm, das die vier
Hauptschritte einer Dokumenten-Erkennung darstellt, die die Erfindung
einsetzen, nachdem logische Bereiche von Dokumenten angepasst sind,
angegeben. Eine Extraktion eines logischen Bereichs tritt innerhalb
der ersten zwei Blöcke
auf, wobei zuerst (1) alle Bereichs-Paare gebildet werden,
und dann die Dokumente (2) basierend auf Einheitsbeschränkungen
beschnitten werden, wie dies in weiterem Detail nachfolgend diskutiert
ist. Eine Bereichs-Korrespondenz
wird dann zwischen Dokumenten bestimmt (3). Eine Beschneidung
wird für
die Dokumente berechnet (4) und eine Anpassungs-Verifikation
wird basierend auf einer Anpassungs-Bewertung bestimmt. 5 zeigt ein anderes Diagramm,
das ein spezifischeres Szenarium darstellt, bei dem zwei Dokumente
(1 und 2) abgetastet werden und in ein Bereichs-Segmentierungs-Modul 7 eintreten,
um eine Korrespondenz zwischen den Bereichen auf den Dokumenten
einzurichten. Einem Gruppierungsmodul 8 für logische
Bereiche wird dann ermöglicht,
Bereichspaare zu bilden, und einheitliche Beschränkungen werden dann auf die
Dokumente in einem Layout-Form-Anpassungsmodul 9 angewandt,
was zu einer Anpassungs-Bewertung zwischen den Dokumenten führt.
-
In den 1A und 2A wiederum ist eine Gruppierung
von logischen Zeichen für
Dokumente dargestellt. 1A stellt
Textbereiche dar, die durch einen herkömmlichen Textsegmentier-Algorithmus gegeben
sind. 2A stellt das
Ergebnis einer logischen Gruppierung in Bezug auf das Dokumentenbild
der 1A dar.
-
Als nächstes wird eine Bereichs-Korrespondenz
dargestellt. 6A stellt
ein Modell-Dokument mit seinen logischen Bereichen dar. Die 6B und 6C sind zwei andere Dokumente, wobei
nur eines davon (6B)
in seinem räumlichen
Layout zu dem Dokument in 6A ähnlich ist.
Dies kann anhand einer höheren
Anzahl von korrespondierenden Bereichen beobachtet werden (bezeichnet
mit R1 bis R5 in 7),
erhalten dann, wenn das Dokument der 6B zu
der 6A angepasst wird.
Hier wird eine vertikale Referenzrichtung angenommen und die passenden
Bereiche werden durch identische Farben angezeigt. Wie gesehen werden
kann, zeigt eine schlechte Korrespondenz eines Objekts in 6C eine Fehlanpassung an.
Dies kann auch während
der Verifizierungsstufe gesehen werden, wo die Stellungs-Parameter,
berechnet aus (und korrigiert von) Bereichs-Korrespondenzen, definiert
durch Überlappung,
wie das Dokument der 6A,
auf den Dokumenten der 6B und C überlappt
ist. Der Umfang bei einer solchen Überlappung ist in den 7A und B,
jeweils, als R1 bis R5 angezeigt.
-
D. Dokumenten-Anpassungssystem
-
Das Verfahren der Erfindung kann
in einem auf einen Mikroprozessor basierenden System 10 ausgeführt werden,
wie dies allgemein in 8 dargestellt
ist. Der Mikroprozessor 11 würde so programmiert werden,
um die vier Hauptschritte der Erfindung auszu führen. Ein Speicher 12 würde durch
den Mikroprozessor 11 zum Speichern von Dokumenten-Mustervorlagen
und getesteten Dokumenten während
Anpassungs-Operationen verwendet werden. Eine Abtasteinrichtung 13 kann
dazu verwendet werden, die Test-Dokumente
in das Dokumenten-Anpassungssystem einzuscannen; allerdings können, wie
dies im Stand der Technik bekannt ist, Dokumente zu dem System über elektrische
Netzwerke, oder dergleichen, geliefert werden. Ergebnisse eines Tests
können
zu dem Benutzer mit einer Anzeigeeinrichtung, die im Stand der Technik
bekannt ist, ausgegeben werden.
-
Das Verfahren einer Dokumenten-Anpassung
durch ein räumliches
Bereichs-Layout
kann ein nützliches
Komplement zu existierenden Verfahren für eine Dokumentenanpassung,
basierend auf Text-Schlüsselworten
oder eines pixel-weisen Bildinhalts, sein. Wie anhand der Beispiele
vorstehend gesehen werden kann, ermöglicht das Erfassen einer Ähnlichkeit
eines räumlichen
Layouts die Anpassung von Dokumenten, die größere Variationen in einem pixel-weisen
Bildinhalt haben. Zusätzlich
ist das Anpassungsverfahren eine allgemeine Maßnahme, die auf andere Klassen
von 2D Objekten, neben Dokumenten, angewandt werden kann.
