DE69736019T2

DE69736019T2 - Gerät und Verfahren zum Herausfinden von Verwaltungsinformation in einem Bild

Info

Publication number: DE69736019T2
Application number: DE69736019T
Authority: DE
Inventors: Satoshi Kawasaki-shi Naoi; Yutaka Kawasaki-shi Katsuyama; Hiroaki Kawasaki-shi Takebe
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-12-27
Filing date: 1997-12-22
Publication date: 2006-10-05
Anticipated expiration: 2017-12-23
Also published as: EP0851382B1; CN1188946A; US6721463B2; EP1271392A1; US20020034328A1; CN1271558C; DE69736019D1; GB9714473D0; US6327387B1; GB2320789A; EP1271390B1; EP0851382A2; CN1159673C; US6704450B2; EP1271391B1; US20020044688A1; EP1271392B1; CN100422990C; EP1271390A1; EP0851382A3

Description

Die vorliegende Erfindung bezieht sich auf ein System zum Konvertieren von Dokumenten und Zeichnungen in Bilddaten durch eine Eingabeanordnung wie einen Scanner, etc., zum Hinzufügen von Verwaltungsinformationen zu den Bilddaten, und zum Akkumulieren resultierender Daten; auf eine Vorrichtung zum Identifizieren der Struktur gezogener Linien in einem Bild zur Bilderkennung; und auf ein Verfahren zum Vornehmen der oben beschriebenen Prozesse.
In letzter Zeit wurde ein herkömmliches Verfahren zum Speichern von Informationen auf Papier auf ein Verfahren zum Speichern von Daten auf elektronischen Medien umgestellt. Beispielsweise konvertiert ein elektronisches Ablagesystem auf Papier gespeicherte Dokumente in Dokumentenbilder durch einen optoelektrischen Wandler wie einen Bildscanner, etc., und speichert die konvertierten Dokumentenbilder auf einer optischen Platte, einer Festplatte, etc., wobei Verwaltungsinformationen wie ein Schlüsselwort zur Abfrage zu den konvertierten Dokumentenbildern hinzugefügt werden.
Da Dokumente im oben beschriebenen Verfahren als Bilddaten gespeichert werden, ist eine größere Plattenkapazität erforderlich als in einem Verfahren, bei dem alle Zeichen in Dokumenten gespeichert werden, nachdem sie mittels einer Zeichenerkennungstechnologie codiert werden. Das oben beschriebene Verfahren kann jedoch leicht mit einer hohen Prozessgeschwindigkeit verfolgt werden, und Abbildungen und Tabellen, die andere Daten als Zeichen enthalten, können wie sie sind gespeichert werden. Andererseits sollten die gespeicherten Informationen unter Verwendung zusätzlicher Verwaltungsinformationen wie ein Schlüsselwort, Nummern, etc., zusammen mit Dokumentenbildern abgefragt werden. Die herkömmlichen Systemen erfordern viel Mühe und Zeit bei der Zuordnung eines Schlüsselworts und bringen keine benutzer freundliche Technologie mit sich.
Um das Problem der Umständlichkeit der herkömmlichen Systeme zu lösen, kann angenommen werden, dass der Titel eines Dokuments ein Schlüsselwort ist, dieser automatisch extrahiert, als Zeichen erkannt und zum Speichern mit Dokumentenbildern codiert werden.
Derzeit beträgt die Geschwindigkeit der Erkennung von Zeichen bis zu einigen zehn Zeichen pro Sekunde, und es dauert etwa 30 Sekunden bis einige Minuten, um eine normale Dokumentenseite (ungefähr 21 cm × 29,5 cm) zu verarbeiten. Daher wird empfohlen, dass nicht alle Zeichen eines gesamten Dokuments erkannt werden, sondern zuerst notwendige Titel aus den Bildern des Dokuments extrahiert werden, und diese dann erkannt werden.
Die herkömmliche Technologie der Extraktion eines Teils eines Dokuments, beispielsweise eines Titels des Dokuments, aus einem Dokumentenbild, der durch das Lesen des Dokuments durch einen optoelektrischen Wandler erhalten wird, ist in "TITLE EXTRACTING APPARATUS FOR EXTRACTING TITLE FROM DOCUMENT IMAGE AND METHOD THEREOF", US-Patentanmeldung 08/694 503, und in der Japanischen Patentanmeldung H7-341983, eingereicht von der Anmelderin der vorliegenden Erfindung, beschrieben. 1A zeigt das Prinzip der Titelextraktionsvorrichtung.
Die in 1A gezeigte Titelextraktionsvorrichtung umfasst eine Zeichenbereich-Generierungseinheit 1, eine Zeichenfolgenbereich-Generierungseinheit 2, und eine Titelextraktionseinheit 3. Die Zeichenbereich-Generierungseinheit 1 extrahiert, durch das Kennzeichnen verbundener Komponenten von Abbildungselementen, ein partielles Muster wie einen Teil eines Zeichens, etc., aus einem Dokumentenbild, das durch einen Scanner, etc., eingegeben wird. Dann extrahiert (generiert) sie einen Zeichenbereich durch das Integrieren einiger partieller Muster. Die Zeichenfolgenbereich-Generierungseinheit 2 integriert eine Vielzahl von Zeichenbereichen und extrahiert (generiert) einen Zeichenfolgenbereich. Die Titelextraktionseinheit 3 extrahiert als Titelbereich einen Zeichenfolgenbereich, der wahrscheinlich ein Titel ist.
Zu dieser Zeit nutzt die Titelextraktionseinheit 3 charakteristische Punkte wie eine obere und eine zentrale Position, eine Zeichengröße, die größer ist als jene des Körpers des Dokuments, eine unterstrichene Darstellung, etc., als Wahrscheinlichkeit eines Titelbereichs. Die Wahrscheinlichkeit wird als Score für jeden der Zeichenfolgenbereiche ausgedrückt, um schließlich eine Vielzahl von Kandidaten für den Titelbereich in der Reihenfolge von dem höchsten Score zum niedrigsten zu erhalten. In dem oben beschriebenen Prozess können Titelbereiche aus Dokumenten extrahiert werden, die keine Tabellen enthalten.
Wenn ein Dokument hingegen eine Tabelle enthält, extrahiert die Titelextraktionseinheit 3 einen Titelbereich unter Berücksichtigung der Bedingung der Anzahl von Zeichen, nachdem die Zeichenfolgenbereich-Generierungseinheit 2 einen Zeichenfolgenbereich in der Tabelle extrahiert. Beispielsweise ist die Anzahl von Zeichen, die den Namen eines die Existenz eines Titels implizierenden Felds anzeigen, vergleichsweise gering, wie 'Gegenstand', 'Name', etc. Die Anzahl von Zeichen, welche eine Zeichenfolge bilden, die den Titel selbst repräsentiert, ist wahrscheinlich groß, wie '... in Bezug auf ...'. Somit kann eine Zeichenfolge, die wahrscheinlich ein Titel ist, aus benachbarten Zeichenfolgen unter Nutzung der Anzahl von Zeichen in den Zeichenfolgen detektiert werden.
Es gibt jedoch eine große Anzahl von tabellenformatierten Dokumenten, die gezogene Linien verwenden, wie Belege, etc. Daher weist die oben beschriebene herkömmliche Techno logie das Problem auf, dass die Wahrscheinlichkeit gering ist, einen Titel aus einer Tabelle erfolgreich extrahieren zu können.
Wenn ein Titel beispielsweise in der Mitte oder ungefähr am unteren Ende der Tabelle geschrieben ist, kann der Titel nicht korrekt extrahiert werden, indem nur Zeichenfolgen von oben mit Priorität extrahiert werden. Ferner, wie in 1B gezeigt, ist eine Genehmigungsspalte 11 oben in der Tabelle lokalisiert. Wenn es eine Anzahl von zusätzlichen Zeichenfolgen, wie 'Generaldirektor', 'Geschäftsführer', 'Stellvertreter', 'Sachbearbeiter', etc., in der Genehmigungsspalte 11 gibt, dann werden diese Zeichenfolgen mit Priorität extrahiert, wodurch eine korrekte Extraktion des Titels fehlschlägt.
Wie durch eine Kombination eines Feldnamens 12 und eines Titels 13 gezeigt, kann ein Titel unter dem Feldnamen 12, und nicht auf die rechte Seite des Feldnamens 12, geschrieben werden. In diesem Fall können die relativen Positionen des Feldnamens und des Titels nur gemäß den Informationen über die Anzahl von Zeichen benachbarter Zeichenfolgen nicht erkannt werden. Ferner werden im Japanischen Feldnamen nicht nur horizontal, sondern auch vertikal geschrieben. Daher ist es schwierig, die Position des Feldnamens korrekt zu spezifizieren. Wenn ein Dokument zwei Tabellen enthält, kann der Titel an irgendeiner Stelle in einer kleineren Tabelle lokalisiert sein.
Da ein Tabellen enthaltendes Dokument in verschiedenen Formaten geschrieben werden kann, ist die Wahrscheinlichkeit eines Titels von jedem Dokument abhängig, und die Präzision der Extraktion eines Titels in einer Tabelle wird verringert. Wenn der Zustand eines eingegebenen Dokumentenbilds nicht gut ist, wird die Extraktionspräzision weiter herabgesetzt.
In einem elektronischen Ablagesystem wird ein extrahierter Titelbereich durch einen optischen Zeichenleser (OCR) einer Zeichenerkennung unterzogen, um einen Zeichencode zu generieren, und diesen zu dem Bild als Verwaltungsinformationen hinzuzufügen. So kann das Bild in einer Datenbank unter Verwendung eines Zeichencodes abgefragt werden.
In diesem Fall besteht kein Problem, wenn die Zeichenfolge in einem Titelbereich durch einen OCR lesbar ist. Wenn jedoch ein Hintergrund ein texturiertes Muster aufweist, oder Zeichen entworfene Schriftarten sind, dann kann der aktuelle OCR eine Zeichenfolge nicht erkennen. Daher können in diesem Fall keine Verwaltungsinformationen zu einem Bild hinzugefügt werden.
Es gibt verschiedenste bekannte Vorschläge zum Extrahieren von Verwaltungsinformationen aus einem gescannten Formular unter Verwendung eines Wörterbuchs von Modellformularen. Es ist jedoch schwierig, die Zuverlässigkeit der Wörterbuchdaten sicherzustellen, insbesondere die Positionen in jedem Modellformular, wo Verwaltungsinformationen auftreten, wenn diese automatisch abgeleitet werden.
"Intelligent Forms Processing" von R.G. Casey et al. in IBM Systems Journal, Bd. 29, Nr. 3, Jan. 1990, S. 435-450, offenbart eine Verwaltungsinformations-Extraktionsvorrichtung, bei der ein Benutzer ein leeres Formular einscannt, das als Vorlage für einen spezifizierten Formulartyp dient, Positionsinformationen über Felder in dem Formular werden jedoch automatisch abgeleitet.
Die EP-0 654 746-A offenbart eine ähnliche Technik, außer dass ein Benutzereingriff in dem Fall vorgesehen ist, dass es Unklarheiten zwischen ähnlichen Formulartypen gibt, nachdem sie in dem Wörterbuch gespeichert werden. Das heißt, es wird eine Bediener-unterstützte Nachverarbeitung vorge nommen, um ähnliche Merkmale in verschiedenen gespeicherten Formularen zu eliminieren.
Die US-4 933 979-A offenbart eine Vorrichtung gemäß dem Oberbegriff des beigeschlossenen Anspruchs 1. Diese Vorrichtung wird verwendet, um Lesebereiche auf einem Formularblatt zu identifizieren, das einer OCR zu unterwerfen ist.
Die vorliegende Erfindung ist darauf gerichtet, eine Vorrichtung und ein Verfahren zum Extrahieren geeigneter Verwaltungsinformationen zur Verwendung bei der Verwaltung eines Bilds eines Dokuments in verschiedensten Formaten vorzusehen.
Ein Bildverwaltungssystem mit einer Verwaltungsinformations-Extraktionsvorrichtung gemäß der vorliegenden Erfindung schließt eine Benutzereintragseinheit, eine Recheneinheit, eine Wörterbucheinheit, eine Vergleichseinheit, eine Extraktionseinheit, eine Speichereinheit, eine Gruppengenerierungseinheit und eine Abfrageeinheit ein.
Gemäß der vorliegenden Erfindung speichert die Wörterbucheinheit die Merkmale der Strukturen der gezogenen Linien jeder von einer Vielzahl von Tabellenformen, und die Positionsinformationen über die Verwaltungsinformationen in jeder der Tabellenformen. Die Vergleichseinheit vergleicht das Merkmal der Struktur der gezogenen Linien des eingegebenen Bilds mit dem Merkmal der Struktur der gezogenen Linien, die in der Wörterbucheinheit gespeichert sind. Die Extraktionseinheit nimmt auf die Positionsinformationen über die in der Wörterbucheinheit gespeicherten Verwaltungsinformationen auf der Basis des Vergleichsergebnisses von der Vergleichseinheit Bezug, und extrahiert die Verwaltungsinformationen über das eingegebene Bild. Die Benutzereintragseinheit trägt die Position der von dem Benutzer spezifizierten Verwaltungsinformationen in der Wörterbucheinheit ein.
Gemäß einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung zum Extrahieren von Informationen aus Tabellenformen vorgesehen, mit:
einer Wörterbucheinrichtung zum Speichern von einem Merkmal einer Struktur gezogener Linien in einer Vielzahl von Tabellenformen und Positionsinformationen von Informationen in jeder der Tabellenformen;
einer Vergleichseinrichtung zum Vergleichen eines Merkmals einer Struktur gezogener Linien eines eingegebenen Bilds mit dem Merkmal der Struktur der in der Wörterbucheinrichtung gespeicherten gezogenen Linien;
einer Extraktionseinrichtung zum Bezugnehmen auf die Positionsinformationen der in der Wörterbucheinrichtung gespeicherten Informationen auf der Basis eines Vergleichsergebnisses von der Vergleichseinrichtung, und Extrahieren der Informationen über das eingegebene Bild; und
einer Benutzereintragseinrichtung zum Anzeigen eines Bilds einer der Tabellenformen, die eine Vielzahl rechteckiger Zellen umfasst, Instruieren eines Benutzers, eine der Vielzahl rechteckiger Zellen auszuwählen, und Eintragen von Positionsinformationen einer von dem Benutzer ausgewählten rechteckigen Zelle in die Wörterbucheinrichtung als Positionsinformationen von Informationen in der einen der Tabellenformen; dadurch gekennzeichnet, dass:
die Vorrichtung eine Verwaltungsinformations-Extraktionsvorrichtung zum Extrahieren von Verwaltungsinformationen über Bilder der Tabellenformen zur Verwendung beim Verwalten der Bilder ist; dass
die Extraktionseinrichtung eingerichtet ist, ein Tabellenrechteck, das eine Tabelle umgibt, aus dem eingegebenen Bild zu extrahieren, Zeichenfolgenrechtecke aus dem Tabellenrechteck zu extrahieren, gezogene Linienabschnitte aus dem Inneren der Zeichenfolgenrechtecke als Grenze zum Teilen der Zeichenfolgenrechtecke zu extrahieren, die Anzahl von Zeichen in jedem Zeichenfolgenrechteck zu zählen, und Zeichenfolgenrechtecke, die eine vorherbestimmte Bedingung in Bezug auf die Anzahl von Zeichen erfüllen, als Vielzahl rechteckiger Zellen zu extrahieren, wenn das eingegebene Bild keiner der Vielzahl von Tabellenformen als Ergebnis des von der Vergleichseinrichtung erhaltenen Vergleichs entspricht; und dass
die Benutzereintragseinrichtung die Vielzahl von der Extraktionseinrichtung extrahierter rechteckiger Zellen dem Benutzer in der Reihenfolge der höchsten Priorität präsentiert, um es dem Benutzer zu ermöglichen, eine der Vielzahl rechteckiger Zellen auszuwählen, wodurch Positionsinformationen einer ausgewählten rechteckigen Zelle und ein Merkmal einer Struktur gezogener Linien in dem eingegebenen Bild in dem Wörterbuch eingetragen werden.
Weitere Aspekte der Erfindung sehen ein computerlesbares Speichermedium und ein Verwaltungsinformations-Extraktionsverfahren vor, wie in den entsprechenden unabhängigen Ansprüchen spezifiziert.
Nun wird, anhand von Beispielen, auf die beigeschlossenen Zeichnungen Bezug genommen, bei denen 2A bis 25 für die vorliegende Erfindung von besonderer Relevanz sind, und die übrigen Figuren zum Verständnis der Erfindung dienen.
In den Zeichnungen:
zeigt 1A die Konfiguration der Titelextraktionsvorrichtung gemäß einer eingereichten Anmeldung;
zeigt 1B ein tabellenformatiertes Dokument;
zeigt 2A das Prinzip der Verwaltungsinformations-Extraktionsvorrichtung;
zeigt 2B den Verwaltungsinformations-Extraktionsprozess;
ist 3 das erste Flussdiagramm, das den Prozess zeigt, der vorgenommen wird, wenn eine Form erlernt wird;
ist 4 das erste Flussdiagramm, das den Prozess zeigt, der während der Operation vorgenommen wird;
zeigt 5 die Konfiguration der Informationsverarbeitungsvorrichtung;
ist 6 das zweite Flussdiagramm, das den Prozess zeigt, der vorgenommen wird, wenn eine Form erlernt wird;
zeigt 7 einen Prozess zum Extrahieren einer gezogenen Linienstruktur;
zeigt 8 einen Verwaltungsinformations-Positionsspezifikationsprozess;
zeigt 9 das erste gezogene Linienmerkmal der groben Klassifikation;
zeigt 10 das zweite gezogene Linienmerkmal der groben Klassifikation;
zeigt 11 das dritte gezogene Linienmerkmal der groben Klassifikation;
zeigt 12 das vierte gezogene Linienmerkmal der groben Klassifikation;
zeigt 13 ein Verfahren zum Extrahieren einer Schnittpunktfolge;
zeigt 14 eine Schnittpunktfolge;
ist 15 ein Flussdiagramm, das einen Kreuzverhältnis-Rechenprozess zeigt;
zeigt 16 das Merkmal der gezogenen Linien, die einen Umriss anzeigen, unter Verwendung eines Kreuzungsverhältnisses;
ist 17 das zweite Flussdiagramm, das den Prozess zeigt, der während der Operation vorgenommen wird;
zeigt 18 einen DP-Abgleich;
ist 19 ein Flussdiagramm, das einen DP-Abgleichprozess zeigt;
ist 20 ein Flussdiagramm (1), das einen Verwaltungsinformations-Positionsrechenprozess zeigt;
ist 21 ein Flussdiagramm (2), das einen Verwaltungsinformations-Positionsrechenprozess zeigt;
ist 22 ein Flussdiagramm (3), das einen Verwaltungsinformations-Positionsrechenprozess zeigt;
zeigt 23 einen Prozess zur Extraktion von Verwaltungsinformationen unter Verwendung eines Benutzereintragsmodus und eines automatischen Lernmodus;
ist 24 ein Flussdiagramm, das einen Intratabellen-Verwaltungsinformations-Extraktionsprozess zeigt;
ist 25 ein Flussdiagramm, das einen Verwaltungsinformations-Extraktionsprozess für ein Dokumentenbild ohne gezogene Linien zeigt;
ist 26 ein Flussdiagramm, das einen Verwaltungsinformations-Speicherprozess zeigt;
ist 27 eine Verwaltungsinformations-Speichertabelle;
ist 28 ein Flussdiagramm, das einen Verwaltungsinformations-Abfrageprozess zeigt;
ist 29 ein Assoziationsgraph;
ist 30 ein Flussdiagramm, das einen Formenidentifikationsprozess zeigt;
zeigt 31 eine Referenzbreite, eine Referenzhöhe und einen Referenzpunkt;
zeigt 32 eine horizontale gezogene Linie;
zeigt 33 eine vertikale gezogene Linie;
zeigt 34 detaillierte Informationen über die horizontalen gezogenen Linien;
zeigt 35 detaillierte Informationen über die vertikalen gezogenen Linien;
ist 36 ein Flussdiagramm, das einen Modellabgleichprozess zeigt;
ist 37 eine Abgleichtabelle;
zeigt 38 eine Funktion einer Schwelle;
zeigt 39 einen Fall, in dem eine Sequenz invertiert wird;
zeigt 40 einen Fall, in dem zwei entsprechende gezogene Linien zugeordnet werden;
zeigt 41 die Entsprechung gezogener Linien, die durch den optimalen Pfadsatz repräsentiert werden;
ist 42 ein Flussdiagramm, das einen Knotenanordnungsprozess zeigt;
ist 43 ein Flussdiagramm (1), das einen Pfadgenerierungsprozess zeigt;
ist 44 ein Flussdiagramm (2), das einen Pfadgenerierungsprozess zeigt;
zeigt 45 eine Knotenfolge einer Speichereinheit;
zeigt 46 eine Bestimmungsprozess unter Verwendung detaillierter Informationen;
ist 37 ein Flussdiagramm, das einen optimalen Pfadsatz-Bestimmungsprozess zeigt; und
ist 48 ein Flussdiagramm, das einen Knotenanzahl-Aktualisierungsprozess zeigt.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird im Nachstehenden mit Bezugnahme auf die beigeschlossenen Zeichnungen detailliert beschrieben.
2A zeigt das Prinzip eines Bildverwaltungssystems, das eine Verwaltungsinformations-Extraktionsvorrichtung gemäß der vorliegenden Erfindung einschließt. Dieses System schließt das nachstehend beschriebene erste bis vierte Prinzip ein, wobei das zweite Prinzip der Gegenstand der vorliegenden Erfindung ist. Es umfasst eine Benutzereintragseinheit 21, eine Recheneinheit 22, eine Wörterbucheinheit 23, eine Vergleichseinheit 24, eine Extraktionseinheit 25, eine Speichereinheit 26, eine Gruppengenerierungseinheit 27 und eine Abfrageeinheit 28.
Gemäß dem in diesem System verwendeten ersten Prinzip berechnet eine Recheneinheit 22 die Position der Verwaltungsinformationen, die in einem eingegebenen Bild enthalten sind, auf der Basis der Informationen über die Position einer gezogenen Linie relativ zum Umrissabschnitt des Tabellenbereichs, der in dem eingegebenen Bild enthalten ist. Eine Extraktionseinheit 25 extrahiert die Verwaltungsinformationen aus dem eingegebenen Bild auf der Basis der von der Recheneinheit 22 berechneten Position.
Beispielsweise wird, als Informationen über den Umrissabschnitt eines Tabellenbereichs, eine Referenzgröße eines Tabellenbereichs oder eine Position eines Referenzpunkts nahe bei dem Umriss des Tabellenbereichs verwendet. Die Recheneinheit 22 repräsentiert die Position jeder gezogenen Linie, die aus dem Tabellenbereich extrahiert wird, als Informationen über die Position relativ zu dem Referenzpunkt, und ermittelt die Position der Verwaltungsinformationen aus den Positionsinformationen der gezogenen Linien, die die Verwaltungsinformationen umgeben. Die Extraktionseinheit 25 extrahiert die Bilddaten, die der Position entsprechen, als Verwaltungsinformationen und erkennt Zeichen, wie notwendig.
Die Verwaltungsinformationen können mit Präzision extrahiert werden, indem die relativen Positionen gezogener Linien, die die Verwaltungsinformationen umgeben, für eine Vielzahl von Referenzpunkten in dem Umrissabschnitt einer Tabelle oder in einer Vielzahl von Richtungen ermittelt werden, auch wenn der Zustand eines eingegebenen Bilds aufgrund von Unterbrechungen, Rauschen, etc., minderwertig ist.
Gemäß dem zweiten Prinzip (d.h. der vorliegenden Erfindung) speichert eine Wörterbucheinheit 23 Merkmale der Strukturen der gezogenen Linien einer oder mehrerer Tabel lenformen, und Positionsinformationen der Verwaltungsinformationen in jeder der Tabellenformen. Eine Vergleichseinheit 24 vergleicht das Merkmal der Struktur der gezogenen Linie eines eingegebenen Bilds mit dem Merkmal der Struktur der gezogenen Linie, das in der Wörterbucheinheit 23 gespeichert ist. Die Extraktionseinheit 25 nimmt auf die Positionsinformationen über Verwaltungsinformationen, die in der Wörterbucheinheit 23 gespeichert sind, auf der Basis des von der Vergleichseinheit 24 erhaltenen Vergleichsergebnisses Bezug, und extrahiert die Verwaltungsinformationen des eingegebenen Bilds. Eine Benutzereintragseinheit 21 trägt die Position der von dem Benutzer spezifizierten Verwaltungsinformationen in der Wörterbucheinheit 23 ein.
Eine Tabellenform nimmt auf die Layout-Struktur gezogener Linien Bezug, die die Tabelle bilden. Die Wörterbucheinheit 23 speichert vorläufig die Merkmale der Struktur der gezogenen Linien und die Position der von der Benutzereintragseinheit 21 spezifizierten Verwaltungsinformationen. Die Vergleichseinheit 24 ermittelt eine Tabellenform mit den Merkmalen der Struktur der gezogenen Linien ähnlich jenen des eingegebenen Bilds. Die Extraktionseinheit 25 extrahiert die Verwaltungsinformationen aus der in der Tabellenform spezifizierten Position.
So können Verwaltungsinformationen aus jedem Bild präzise extrahiert werden, sogar indem die Position der vom Benutzer angeforderten Verwaltungsinformationen vorläufig eingetragen wird, und die Verwaltungsinformationen an der spezifizierten Position aus einem eingegebenen Bild extrahiert werden, auch wenn Bilder mit verschiedensten Formen eingetragen werden.
Gemäß dem dritten Prinzip, das in diesem System verwendet wird, speichert eine Speichereinheit 26 Bildinformationen als Verwaltungsinformationen für ein akkumuliertes Bild.
Eine Abfrageeinheit 28 fragt die Bildinformationen ab. Beispielsweise wird in der elektronischen Ablagevorrichtung zum Akkumulieren einer Anzahl von Bildern ein aus jedem Bild extrahierter Bildcode in der Speichereinheit 26 als Verwaltungsinformationen gespeichert. Die Abfrageeinheit 28 fragt Verwaltungsinformationen durch das Vergleichen eines gegebenen Bildcodes mit einem Bildcode in der Speichereinheit 26 beispielsweise durch einen Schablonenabgleich ab.
So speichert/fragt die Verwendung des dritten Prinzips nicht nur eine Zeichenfolge von Verwaltungsinformationen in Zeichencodes ab, sondern speichert/fragt die Zeichenfolge auch als Bild selbst ab. Daher kann ein Zeichen wie ein texturiertes Zeichen, eine entworfene Schriftart, ein Logo, etc., die schwer richtig zu erkennen sind, als Verwaltungsinformationen verarbeitet werden.
Gemäß dem vierten Prinzip, das in diesem System verwendet wird, speichert die Speichereinheit 26 gezogene Linieninformationen über die Tabellenform ab. Eine Gruppengenerierungseinheit 27 ermittelt eine Vielzahl möglicher Kombination zwischen gezogenen Linien, die aus einem eingegebenen Bild extrahiert werden, und gezogenen Linien, die in den gezogenen Linieninformationen in der Speichereinheit 26 enthalten sind, und extrahiert eine Gruppe, die zwei oder mehrere miteinander kompatible Kombinationen enthält, aus der Vielzahl von Kombinationen in einer Weise, dass die extrahierte Gruppe keine Kombination in einer anderen Gruppe enthalten kann. Die Vergleichseinheit 24 vergleicht das eingegebene Bild mit der Tabellenform gemäß den Informationen über die in einer oder mehreren extrahierten Gruppen enthaltene Kombination.
Die Gruppengenerierungseinheit 27 ermittelt eine mögliche Kombination der gezogenen Linien eines eingegebenen Bilds und der gezogenen Linien der Tabellenform, um die Form des eingegebenen Bilds unter Verwendung der in der Speichereinheit 26 gespeicherten Tabellenform zu identifizieren. Zu dieser Zeit werden beispielsweise gezogene Linien, die einander in der Größe und Position relativ zur gesamten Tabelle ähnlich sind, als mögliche Kombination abgefragt.
Dann wird bestimmt, ob zwei Kombinationen kompatibel sind oder nicht, indem die Beziehung zwischen den in einem eingegebenen Bild enthaltenen gezogenen Linien mit der Beziehung zwischen den gezogenen Linien der Form in einer Tabelle verglichen wird. Zu dieser Zeit kann die Anzahl der hinsichtlich der Kompatibilität zu prüfenden Objekte reduziert werden, und der Prozess kann effizient vorgenommen werden, indem eine neue Gruppe in einer Weise generiert wird, dass keine bereits in anderen Gruppen enthaltenen Kombinationen eingeschlossen werden können.
Die Vergleichseinheit 24 geht davon aus, dass eine größere Anzahl von Kombinationen, die in dem optimalen Satz von Gruppen enthalten sind, eine höhere Ähnlichkeit zwischen einem eingegebenen Bild und einer Tabellenform anzeigt, und bestimmt die Tabellenform mit der größten Ähnlichkeit als Form, die dem eingegebenen Bild entspricht.
So kann die Form eines eingegebenen Bilds rasch identifiziert werden, und ein Verwaltungsinformations-Extraktionsprozess kann effizient vorgenommen werden.
Die in 2A gezeigte Benutzereintragseinheit 21 entspricht beispielsweise einer in 5 gezeigten Eingabeeinheit 43, die im Nachstehenden erläutert wird, und die Wörterbucheinheit 23 und die Speichereinheit 26 entsprechen einer externen Speichereinheit 45 in 5. Ferner entsprechen die Recheneinheit 22, die Vergleichseinheit 24, die Extraktionseinheit 25, die Gruppengenerierungseinheit 27 und die Abfrageeinheit 28 einer Zentraleinheit (CPU) 41 und einem Speicher 42 in 5.
Gemäß der vorliegenden Ausführungsform wird die Layout-Struktur der gezogenen Linien in einem wohlbekannten Tabellenformat zur Verwendung in verschiedensten Anwendungen erlernt. Die erlernten Informationen werden verwendet, um einen Titel, etc., mit Präzision aus einem unbekannten Tabellenformat zu extrahieren. Um dies zu erzielen, werden ein Formenlernmodus und ein Operationsmodus eingestellt. Die Layout-Struktur kann hier im Nachstehenden als Formatstruktur oder als Form bezeichnet werden.
2B zeigt den Umriss des Verwaltungsinformations-Extraktionsprozesses. Die Verwaltungsinformations-Extraktionsvorrichtung erlernt zuerst das Layout der gezogenen Linien von Dokumenten A, B, etc., in bekannten Formaten und die vom Benutzer spezifizierte Position eines korrekten Titelbereichs, etc., während des Lernprozesses. Dann wird ein Layout-Wörterbuch (Formenwörterbuch) 31 generiert, das die oben aufgelisteten Informationen einschließt.
Der Modus, in dem der Benutzer die Position eines Titels spezifiziert, kann entweder ein Benutzereintragsmodus ohne Formenerkennung von Dokumenten A und B oder ein automatischer Lernmodus mit einer Formenerkennung sein. Die Operationen in jedem Modus werden im Nachstehenden beschrieben.
Während der Operation extrahiert die Verwaltungsinformations-Extraktionsvorrichtung das Layout der gezogenen Linien aus einem eingegebenen unbekannten Dokument 32, und gleicht das Layout mit dem Layout-Wörterbuch 31 ab. So kann ein Dokument in einem Format identifiziert werden, das mit dem in dem Layout-Wörterbuch gespeicherten Layout übereinstimmt. In diesem Beispiel stimmt das Layout des Dokuments 32 mit jenem des Dokuments A überein.
Dann nimmt die Verwaltungsinformations-Extraktionsvorrichtung auf die Informationen über die Position eines durch das entsprechende Dokument A spezifizierten Titels Bezug, und extrahiert den Titel aus einem Zeichenfolgenbereich 33 des Dokuments 32 mit hoher Präzision. Ferner können Verwaltungsinformationen über verschiedenste Dokumente mit hoher Präzision extrahiert werden, indem ein Benutzer instruiert wird, nicht nur einen Titel, sondern auch andere Markierungsbereiche, wie ein Datum, etc., als Verwaltungsinformationen zu spezifizieren.
Da Verwaltungsinformationen schnell und automatisch extrahiert werden sollten, wenn ein Benutzer ein Dokument unter Verwendung eines Scanners während der Operation eingibt, wird ein durch eine interaktive Operation gekennzeichneter Hochgeschwindigkeitsalgorithmus angewendet. In diesem Algorithmus kann ein Klassifikationsprozess mit einer hohen Geschwindigkeit, indem Kandidaten für eine entsprechende Form spezifiziert werden, an dem eingegebenen Dokument zuerst in einer groben Klassifikation vorgenommen werden, und dann in einer detaillierten Klassifikation (Identifikation). Ein entsprechender Prozess wird auch während des Formenlernprozesses vorgenommen.
3 ist ein Flussdiagramm, das den Umriss des Prozesses in einem Formenlernmodus zeigt. Wenn der Prozess startet, gibt die Verwaltungsinformations-Extraktionsvorrichtung zuerst ein zu erlernendes Dokumentenbild ein (Schritt S1), und extrahiert die Struktur der gezogenen Linien (Schritt S2). Dann fragt die Verwaltungsinformations-Extraktionsvorrichtung den Benutzer nach der Position der Verwaltungsinformationen und instruiert den Benutzer, die Position zu spezifizieren (Schritt S3).
Dann extrahiert die Verwaltungsinformations-Extraktionsvorrichtung die Merkmale der gezogenen Linien für die grobe Klassifikation durch das Diskriminieren zwischen durchgehenden Linien und gestrichelten Linien in der extra hierten Struktur der gezogenen Linien (Schritt S4), und extrahiert die Merkmale der einen Umriss (eine Kontur) anzeigenden gezogenen Linien zur detaillierten Identifikation (Schritt S5). Die Merkmale der Struktur der gezogenen Linien, die gegenüber einer Änderung von Daten stabil sind, werden beispielsweise als Merkmale für die grobe Klassifikation verwendet. Als Merkmale für die detaillierte Identifikation wird ein Kreuzverhältnis in Bezug auf den Umriss einer Tabelle unter Berücksichtigung eines Hochgeschwindigkeitsprozesses verwendet.
Dann speichert die Verwaltungsinformations-Extraktionsvorrichtung die extrahierten Merkmale der gezogenen Linien und die spezifizierte Position der Verwaltungsinformationen in dem Layout-Wörterbuch 31 (Schritt S6), und beendet den Prozess. Auf die gespeicherten Informationen wird in einem Operationsmodus Bezug genommen, und sie werden verwendet, um die Verwaltungsinformationen aus einem unbekannten Dokument zu extrahieren.
4 ist ein Flussdiagramm, das den Umriss des Prozesses in einem Operationsmodus zeigt. Wenn der Prozess startet, gibt die Verwaltungsinformations-Extraktionsvorrichtung zuerst ein zu verarbeitendes Dokumentenbild ein (Schritt S11), und extrahiert die gezogene Linienstruktur (Schritt S12).
Dann extrahiert die Verwaltungsinformations-Extraktionsvorrichtung die Merkmale der gezogenen Linien für die grobe Klassifikation aus der gezogenen Linienstruktur (Schritt S13), vergleicht sie mit den entsprechenden Informationen in dem Layout-Wörterbuch 31, und nimmt die grobe Klassifikation der gezogenen Linienstruktur vor (Schritt S14). Als Ergebnis wird die gezogene Linienstruktur in dem Layout-Wörterbuch 31, die möglicherweise mit der gezogenen Linienstruktur des Layout-Wörterbuchs 31 übereinstimmt, als Kandidat extrahiert.
Dann extrahiert die Verwaltungsinformations-Extraktionsvorrichtung die Merkmale der gezogenen Linien, die einen Umriss anzeigen, für die detaillierte Identifikation aus der gezogenen Linienstruktur (Schritt S15), vergleicht sie mit den entsprechenden Informationen über den Kandidaten, der in der groben Klassifikation extrahiert wurde, und identifiziert die Details der gezogenen Linienstruktur (Schritt S16). In diesem Schritt wird beispielsweise ein eindimensionaler Abgleichprozess an dem Kreuzverhältnis vorgenommen, um einen Kandidaten zu spezifizieren, der einem eingegebenen Dokument entspricht.
Dann berechnet sie die Position der Verwaltungsinformationen in dem eingegebenen Dokumentenbild auf der Basis der Position der spezifizierten Verwaltungsinformationen in der Form des Kandidaten (Schritt S17), und beendet dann den Prozess. So können, gemäß den von dem Benutzer in dem bekannten Dokument spezifizierten Positionsinformationen, Verwaltungsinformationen aus dem eingegebenen Dokumentenbild mit hoher Präzision extrahiert werden. Da der Formenvergleichsprozess in zwei Schritten einer groben Klassifikation und einer detaillierten Identifikation während der Operation vorgenommen wird, sind Kandidaten für die detaillierte Identifikation begrenzt, wodurch der Extraktionsprozess beschleunigt wird.
Die Verwaltungsinformations-Extraktionsvorrichtung gemäß der vorliegenden Erfindung kann durch eine Informationsverarbeitungsanordnung (Computer) realisiert werden, wie in 5 gezeigt. Die in 5 gezeigte Informationsverarbeitungsanordnung umfasst die CPU 41, den Speicher 42, die Eingabeeinheit 43, eine Ausgabeeinheit 44, die externe Speichereinheit 45, eine Mediumlaufwerkseinheit 46, eine Netzverbindungseinheit 47, und eine optoelektrische Wandlereinheit 48, und jede dieser Einheiten ist durch einen Bus 49 gegenseitig verbunden.
Die CPU 41 führt ein Programm unter Verwendung des Speichers 42 aus, und nimmt jeden in 3 und 4 gezeigten Prozess vor. Der Speicher 42 kann ein Nurlesespeicher (ROM), ein Direktzugriffsspeicher (RAM), etc., sein. Notwendige Daten wie das Layout-Wörterbuch 31, etc., werden temporär in dem RAM gespeichert.
Die Eingabeeinheit 43 kann beispielsweise eine Tastatur, eine Zeigeranordnung, etc., sein, und wird verwendet, wenn ein Benutzer eine Anforderung oder eine Instruktion eingibt. Die Ausgabeeinheit 44 kann beispielsweise eine Anzeigeanordnung, ein Drucker, etc., sein, und wird verwendet, wenn eine Anfrage an einen Benutzer gestellt wird, oder wenn ein Prozessergebnis, etc., ausgegeben wird.
Die externe Speichereinheit 45 kann beispielsweise eine Magnetplattenanordnung, eine optische Plattenanordnung, eine magnetooptische Plattenanordnung, etc., sein, und speichert ein Programm und Daten. Sie kann auch als Datenbank zum Speichern von Bildern und des Layout-Wörterbuchs 31 verwendet werden.
Die Mediumlaufwerkseinheit 46 treibt ein tragbares Speichermedium 50 und greift auf die darin gespeicherten Inhalte zu. Das tragbare Speichermedium 50 kann ein willkürliches computerlesbares Speichermedium sein, wie eine Speicherkarte, eine Diskette, ein Compakt Disk-Nurlesespeicher CD-ROM, eine optische Platte, eine magnetooptische Platte, etc. Das tragbare Speichermedium 50 speichert nicht nur Daten, sondern auch ein Programm zum Vornehmen jedes der oben aufgelisteten Prozesse.
Die Netzverbindungseinheit 47 ist mit einem willkürlichen Kommunikationsnetz wie einem lokalen Netz (LAN), etc., verbunden, und nimmt eine Datenkonversion, etc., vor, die mit Kommunikationen assoziiert ist. Die Verwaltungsinforma tions-Extraktionsvorrichtung kann notwendige Daten und Programme von einer externen Datenbank, etc., durch die Netzverbindungseinheit 47 empfangen. Die optoelektrische Wandlereinheit 48 kann beispielsweise ein Bildscanner sein und empfängt ein Bild eines Dokuments, einer Zeichnung, etc., die zu verarbeiten sind.
Als Nächstes wird jeder der während des Formenlernprozesses vorgenommenen Prozesse mit Bezugnahme auf 6 bis 16 beschrieben.
6 ist ein Flussdiagramm, das die Details des während des Formenlernprozesses vorgenommenen Prozesses zeigt. In 6 werden den Prozessschritten, die jenen in 3 entsprechen, identische Nummern zugeordnet. In dem Prozess zum Extrahieren gezogenen Linien in Schritt S2 extrahiert die Verwaltungsinformations-Extraktionsvorrichtung vertikale und horizontale gestrichelte Linien (Schritt S2-1) und vertikale und horizontale durchgehende Linien (Schritt S2-2) aus einem eingegebenen Dokumentenbild, wie in 7 gezeigt, und extrahiert dann eine rechteckige Zelle (rechteckiger Bereich), die von den vertikalen und horizontalen gezogenen Linien umgeben wird (Schritt S2-3).
Wenn eine gezogene Linie und eine rechteckige Zelle extrahiert werden, werden Technologien verwendet wie die Bildextraktionsvorrichtung (Japanisches offengelegtes Patent H7-28937), die Zeichenkästchen-Extraktionsvorrichtung und die Rechteckextraktionsvorrichtung (Japanische Patentanmeldung H7-203259), etc., die von der Anmelderin der vorliegenden Erfindung geoffenbart sind. Gemäß diesen Technologien kann ein Zeichenkästchen aus dem Bild extrahiert oder entfernt werden, ohne dass Informationen über die Position, etc., der gezogenen Linien in einem Beleg eingetragen werden. Im Nachstehenden wird der Umriss des Prozesses zum Extrahieren der gezogenen Linienstruktur beschrieben.

(1) Ausdünnungsprozess: zur Ausdünnung vertikaler und horizontaler Linien in einem Maskierungsprozess, um den Unterschied in der Dicke zwischen Zeichen und Kästchen zu entfernen.
(2) Segmentextraktionsprozess: um ein relativ langes Segment unter Verwendung einer benachbarten Projektion zu extrahieren. Die benachbarte Projektion bezieht sich auf ein Verfahren zum Definieren einer Summe eines Projektionswerts eines Abbildungselements, das in einer Objektreihe oder -spalte enthalten ist, und von Projektionswerten umliegender Reihen oder Spalten, als finalen Projektionswert der Objektreihe oder -spalte. Gemäß dem Projektionsverfahren kann die Verteilung der Abbildungselemente, die eine spezifische Reihe oder Spalte umgeben, von einem globalen Sichtpunkt erkannt werden.
(3) Prozess zum Extrahieren gerader Linien: um sequentiell nach extrahierten Segmenten zu suchen und zu prüfen, ob eine Diskontinuität einer Distanz vorliegt oder nicht, die gleich einer oder länger als eine vorherbestimmte Distanz zwischen Segmenten ist. Segmente ohne eine solche Diskontinuität werden sequentiell integriert, um eine lange gerade Linie zu extrahieren.
(4) Prozess zum Integrieren gerader Linien: um extrahierte Linien zu reintegrieren. Zwei oder mehrere Linienabschnitte, die durch eine Unterbrechung geteilt sind, werden zu einer geraden Linie reintegriert.
(5) Prozess zum Erweitern gerader Linien: eine durch eine Unterbrechung verkürzte gerade Linie wird nur dann erweitert und zu einer ursprünglichen Länge wiederhergestellt, wenn das Dokument als regulärer Beleg geschrieben ist.
(6) Bestimmung horizontaler Linien, die einen Teil eines Kästchens bilden: gemäß den durch 'Character Box Extraction Apparatus and Rectangle Extraction Apparatus' (Japanische Patentanmeldung H7-203259) angezeigten Regeln wird ein Paar horizontaler gerader Linien, die eine Reihe von Eintragskästchen bilden, in Einheiten von zwei Linien als horizontale Linien, die einen Teil eines Zeichenkästchenrahmens bilden, sequentiell aus einem oberen Abschnitt einer Tabelle extrahiert.
(7) Bestimmung vertikaler Linien, die einen Teil eines Kästchens bilden: vertikale Linien, die einen Teil eines Zeichenkästchenrahmens bilden, werden für jede Reihe der oben beschriebenen Eintragskästchen bestimmt. Eine vertikale Linie, von der beide Enden die zwei horizontalen Linien erreichen, die einen Teil der Objektreihe bilden, wird als vertikale Linie definiert, die einen Teil der Reihe bildet.
(8) Prozess zum Extrahieren rechteckiger Zellen: eine rechteckige Zelle, die von zwei horizontalen Linien und zwei vertikalen Linien, die ein Kästchen bilden, umgeben wird, wird als Zeichenbereich extrahiert.

Dann zeigt, in dem Verwaltungsinformations-Positionsspezifikationsprozess in Schritt S3, die Verwaltungsinformations-Extraktionsvorrichtung ein eingegebenes Dokumentenbild auf dem Bildschirm der Anzeigeeinheit an, und instruiert einen Benutzer, auf einen beliebigen Punkt in der Zeichenfolge, die einen Titel anzeigt, unter Verwendung einer Maus zu zeigen, wie in 8 gezeigt. Dann speichert sie die Positionsinformationen der rechteckigen Zelle 51, die die Position enthält, auf die gezeigt wird.
Die Positionsinformationen über eine rechteckige Zelle 51 werden auf der Basis eines willkürlichen Schnittpunkts an einer Kontur einer Tabelle definiert, und sie entsprechen den Informationen über den Vektor von dem Schnittpunkt zur Position der rechteckigen Zelle 51. Wenn beispielsweise ein oberer linker Eckpunkt 52, ein unterer linker Eckpunkt 53, ein oberer rechter Eckpunkt 54 und ein unterer rechter Eck punkt 55 Startpunkte eines Vektors sind, dann werden die Daten von Differenzvektoren A, B, C und D von jedem Eckpunkt jeweils zu einem oberen linken Eckpunkt 56, einem unteren linken Eckpunkt 57, einem oberen rechten Eckpunkt 58 und einem unteren rechten Eckpunkt 59 gespeichert. Gleichzeitig werden die Höhe h0 und die Breite w0 einer Tabelle, und die Höhe H1 und die Breite W1 einer rechteckigen Zelle gespeichert.
In dem Prozess zum Extrahieren gezogener Linienmerkmale für die grobe Klassifikation in Schritt S4 zählt die Verwaltungsinformations-Extraktionsvorrichtung zuerst die Schnittpunkte der horizontalen und vertikalen gezogenen Linien (Schritt S4-1). Dann wird der Kreuzungszustand jedes Schnittpunkts extrahiert, um die Frequenzverteilung zu erhalten (Schritt S4-2). Der Kreuzungszustand wird durch einen Code repräsentiert (K1, K2, K3 und K4), der die Existenz einer vom Schnittpunkt verlaufenden vertikalen oder horizontalen gezogenen Linie, und den Typ der gezogenen Linie anzeigt.
Das Element K1 bezieht sich auf eine gezogene Linie über einem Schnittpunkt. Das Element K2 bezieht sich auf eine gezogene Linie unter einem Schnittpunkt. Das Element K3 bezieht sich auf eine gezogene Linie links von einem Schnittpunkt. Das Element K4 bezieht sich auf eine gezogene Linie rechts von einem Schnittpunkt. Der Wert jedes Elements ist 0, wenn keine gezogenen Linien existieren, 1, wenn eine durchgehende Linie existiert, oder 2, wenn eine gestrichelte Linie existiert.
Der Kreuzungszustand des in 9 gezeigten Schnittpunkt wird beispielsweise durch (1,1,1,1) repräsentiert. Der Kreuzungszustand des in 10 gezeigten Schnittpunkts wird durch (1,1,1,0) repräsentiert. Der Kreuzungszustand des in 11 gezeigten Schnittpunkts wird durch (0,2,2,2) reprä sentiert. Der Kreuzungszustand des in 12 gezeigten Schnittpunkts wird durch (1,1,2,2) repräsentiert. Da jedem Element von (K1, K2, K3, K4) ein beliebiger von drei Werten zugeordnet werden kann, ist die Anzahl möglicher Codes 3⁴ (= 81). In Schritt S4-2 wird eine Anzahl des Auftretens (Frequenz) ermittelt und für jeden Code von 81 Typen gespeichert.
Als Nächstes wird das Breite-zu-Höhe-Verhältnis jeder rechteckigen Zelle berechnet, und die Frequenzverteilung wird als jene der rechteckigen Zelle berechnet (Schritt S4-3). Wenn die Höhe der rechteckigen Zelle H1 ist, und ihre Breite W1 ist, kann das Breite-zu-Höhe-Verhältnis durch W1/H1 repräsentiert werden. Die Frequenzverteilung des Breite-zu-Höhe-Verhältnisses kann durch das Erhöhen des Werts von W1/H1 aufeinanderfolgend um 0,5, beginnend von 0, und Zählen der rechteckigen Zellen mit dem jeden Wert entsprechenden Breite-zu-Höhe-Verhältnis erhalten werden. Zu dieser Zeit werden rechteckige Zellen, die eine Schwelle (beispielsweise 10) überschreiten, kollektiv gezählt.
In dem Prozess zum Extrahieren von Umrissmerkmalen gezogener Linien zur detaillierten Identifikation in Schritt S5 fragt die Verwaltungsinformations-Extraktionsvorrichtung zuerst eine Schnittpunktfolge, die vier Schnittpunkte umfasst, von auerhalb in der horizontalen und vertikalen Richtung in jeder Reihe oder Spalte ab, die Schnittpunkte in Serie enthält.
In dem Fall der in 13 gezeigten gezogenen Linienstruktur werden beispielsweise Schnittpunkte 61, 62, 63 und 64 abgefragt, wenn vier Schnittpunkte sequentiell vom linken Ende in der zweiten Reihe abgefragt werden. Die Schnittpunkte 65, 64, 63 und 62 werden abgefragt, wenn vier Schnittpunkte sequentiell vom rechten Ende in dieser Reihe abgefragt werden. Die Schnittpunkte 66, 63, 67 und 68 werden abgefragt, wenn vier Schnittpunkte sequentiell von oben in der dritten Spalte abgefragt werden. Die Schnittpunkte 70, 69, 68 und 67 werden abgefragt, wenn vier Schnittpunkt sequentiell von unten in dieser Spalte abgefragt werden.
Das Kreuzverhältnis der eindimensionalen projektiven Invarianten in Bezug auf die abgefragte Schnittpunktfolge wird berechnet. Wenn beispielsweise eine Schnittpunktfolge, die vier Schnittpunkte X1, X2, X3 und X4 umfasst, abgefragt wird, wie in 14 gezeigt, wird das Kreuzverhältnis wie folgt ausgedrückt.
wobei |Xi-Xj| die Breite (Distanz) zwischen Schnittpunkten Xi und Xj anzeigt (i, j = 1, 2, 3 oder 4). Das Kreuzverhältnis der Gleichung (1) wird beispielsweise gemäß dem in 15 gezeigten Flussdiagramm berechnet. Wenn der Kreuzverhältnis-Berechnungsprozess gestartet wird, gibt die Verwaltungsinformations-Extraktionsvorrichtung die Koordinatendaten der vier Schnittpunkte X1, X2, X3 und X4 ein (Schritt S21).
Dann wird die Distanz zwischen den Schnittpunkten X1 und X2 berechnet und in eine Variable a eingegeben (Schritt S22), die Distanz zwischen den Schnittpunkten X3 und X4 wird berechnet und in eine Variable b eingegeben (Schritt S23), die Distanz zwischen den Schnittpunkten X1 und X3 wird berechnet und in eine Variable c eingegeben (Schritt S24), und die Distanz zwischen den Schnittpunkten X2 und X4 wird berechnet und in eine Variable d eingegeben (Schritt S25). Als Nächstes wird ab/cd berechnet, und das Ergebnis wird als Kreuzverhältnis gespeichert (Schritt S26), und dann wird der Prozess beendet.
So können die Merkmale einer Sequenz von Schnittpunkten rund um den Umriss einer Tabelle durch das Berechnen des Kreuzverhältnisses aller Schnittpunktfolgen quantifiziert werden. Als Ergebnis werden die zweidimensionalen Merkmale des Umrisses der Tabelle durch eine Sequenz eindimensionaler Werte repräsentiert, wie in 16 gezeigt. Die Sequenz von Werten eines Kreuzverhältnisses wird hier im Nachstehenden als Kreuzverhältnisfolge bezeichnet.
In 16 entspricht die rechte Kreuzverhältnisfolge R[1], R[2], R[3], ..., R[n] dem Kreuzverhältnis, das das Merkmal des Abschnitts rechts außen jeder Reihe anzeigt. Die linke Kreuzverhältnisfolge L[1], L[2], L[3], ..., L[m] entspricht dem Kreuzverhältnis, das das Merkmal des Abschnitts links außen jeder Reihe anzeigt. Die obere Kreuzverhältnisfolge U[1], U[2], U[3], ..., U[w] entspricht dem Kreuzverhältnis, das das Merkmal des oberen Abschnitts jeder Reihe anzeigt. Die untere Kreuzverhältnisfolge D[1], D[2], D[3], ..., D[v] entspricht dem Kreuzverhältnis, das das Merkmal des unteren Abschnitts jeder Reihe anzeigt.
Da die gezogene Linienstruktur an den Abschnitten links außen und rechts außen einer Tabelle nicht symmetrisch ist, oder eine Unterbrechung oder Verzerrung in einer Linie in einem Teil eines Bilds vorliegen kann, stimmt n normalerweise nicht immer mit m überein. Ähnlich stimmt w nicht unbedingt mit v überein.
Durch Integrieren dieser Kreuzverhältnisfolgen in den vier Richtungen zu einer einzigen Folge kann ein Merkmalvektor (R[1], ..., R[n], L[1], ..., L[m], U[1], ..., U[w], D[1], ..., D[v]) mit den Werten jeweiliger Kreuzverhältnisse als Elemente generiert werden.
In diesem Beispiel werden die Verhältnisse der Distanz unter vier Schnittpunkten als Merkmale der gezogenen Linien, die den Umriss anzeigen, zur detaillierten Identifikation verwendet. Statt dessen können die Verhältnisse der Distanzen unter einer beliebigen Anzahl von (zumindest zwei) Schnittpunkten verwendet werden. In diesem Fall kann das Merkmal des Umrisses auch durch das Anordnen der Verhältnisse in einem eindimensionalen Array repräsentiert werden.
In dem Prozess in Schritt S6 speichert die Verwaltungsinformations-Extraktionsvorrichtung in dem Layout-Wörterbuch 31 die Position der in Schritt S3 spezifizierten Verwaltungsinformationen und das in den Schritten S4 und S5 erhaltene Merkmal der gezogenen Linien als Identifikationsinformationen (Formeninformationen) über ein tabellenformatiertes Dokument.
Jeder während der Operation vorgenommene Prozess wird im Nachstehenden unter Bezugnahme auf 17 bis 22 beschrieben.
17 ist ein Flussdiagramm, das die Details des beim Erlernen einer Form vorgenommenen Prozesses zeigt. In
17 wird dem Prozessschritt, der dem in 4 gezeigten Schritt entspricht, dieselbe Identifikationsnummer zugeordnet. Zuerst extrahiert, in dem Prozess zum Extrahieren der gezogenen Linienstruktur in Schritt S12, die Verwaltungsinformations-Extraktionsvorrichtung eine vertikale und eine horizontale gestrichelte Linie (Schritt S12-1), eine vertikale und eine horizontale durchgehende Linie (Schritt S12-2), und eine rechteckige Zelle, die von den vertikalen und horizontalen gezogenen Linien umgeben wird, (Schritt S12-3) aus einem eingegebenen Dokumentenbild, wie in dem Prozess in Schritt S2, der beim Erlernen einer Form vorgenommen wird.
In dem Prozess zum Extrahieren des gezogenen Linienmerkmals für die grobe Klassifikation in Schritt S13 zählt die Verwaltungsinformations-Extraktionsvorrichtung die Schnittpunkte zwischen horizontalen und vertikalen gezogenen Linien (Schritt S13-1), ermittelt die Frequenzverteilung des Kreuzungszustands jedes Schnittpunkts (Schritt S13-2), und berechnet die Frequenzverteilung des Breite-zu-Höhe-Verhältnisses jeder rechteckigen Zelle wie in dem Prozess in Schritt S4 beim Erlernen einer Form.
In dem groben Klassifikationsprozess in Schritt S14 vergleicht die Verwaltungsinformations-Extraktionsvorrichtung die erhaltenen Daten mit den Formeninformationen über eine Anzahl von Tabellen in dem Layout-Wörterbuch 31 unter Verwendung der Anzahl von Schnittpunkten, der Frequenzverteilung von Kreuzungszuständen, und der Frequenzverteilung der Breite-zu-Höhe-Verhältnisse rechteckiger Zellen, um die Anzahl von Kandidaten für eine entsprechende Tabelle zu begrenzen. In diesem Beispiel werden geeignete vorherbestimmte Schwellen für jeweilige Merkmale der Anzahl von Schnittpunkten, die Frequenz von Kreuzungszuständen, und die Frequenz von Breite-zu-Höhe-Verhältnissen rechteckiger Zellen unter Berücksichtigung einer Unterbrechung oder Verzerrung in Linien eines Bilds eingestellt. Wenn die Formeninformationen des Layout-Wörterbuchs 31 mit den Informationen über das eingegebene Bild innerhalb einer vorherbestimmten Spanne übereinstimmen, werden sie als Kandidat für die Tabelle definiert.
Wenn beispielsweise angenommen wird, dass die Anzahl von Schnittpunkten eines eingegebenen Dokumentenbilds Ki ist, und die Anzahl von Schnittpunkten einer in dem Layout-Wörterbuch 31 gespeicherten Form t Kt ist, wird die Form t als Kandidat definiert, wenn der Absolutwert |Ki-Kt| der Differenz zwischen den Werten innerhalb der Schwelle THk liegt. Wenn die Differenzen zwischen den Elementen des eingegebenen Elements und den Formeninformationen in dem Layout-Wörterbuch 31 alle innerhalb jeweiliger Schwellen liegen, dann wird die Form als Kandidat für die Form bestimmt, die dem eingegebenen Dokument entspricht.
Da die Merkmale der Anzahl von Schnittpunkten, der Kreuzungszustände, der Frequenzverteilung der Größen rechteckiger Zellen, etc., normalerweise gegenüber der Fluktuation von Bilddaten stabil sind, können sie verwendet werden, um Daten mit einem Dokumentenbild präzise zu vergleichen, das eine Unterbrechung oder Verzerrung in seinen Linien anzeigt.
In dem Prozess zum Extrahieren von Umrissmerkmalen gezogener Linien für eine detaillierte Identifikation in Schritt S15 berechnet die Verwaltungsinformations-Extraktionsvorrichtung das Kreuzverhältnis der eindimensionalen projektiven Invarianten aus vier Richtungen, wie in dem Prozess in Schritt S5, der beim Erlernen einer Form vorgenommen wird.
In dem detaillierten Identifikationsprozess in Schritt S16 vergleicht die Verwaltungsinformations-Extraktionsvorrichtung Kreuzverhältnisfolgen nur für die Kandidaten für eine Tabelle gemäß der groben Klassifikation. In diesem Prozess werden die Kreuzverhältnisfolgen zwischen der eingegebenen Form und der erlernten Form individuell in den vier Richtungen assoziiert. Da die Struktur der Objektform eine Tabelle ist, wird die Sequenz der gezogenen Linien nicht zwischen Reihen oder Spalten invertiert. Daher wird ein dynamischer Programmierungs (DP)-Abgleich nur mit dem partiellen Verlust einer gezogenen Linie aufgrund einer berücksichtigten Unterbrechung oder Verzerrung vorgenommen.
Ein DP-Abgleich ist wohlbekannt als Verfahren zum Abgleichen von Zeitseriendaten wie Sprache, etc., das beispielsweise durch "Pattern Recognition", S.62-S.67, von Noboru Funakubo, veröffentlicht von Kyoritsu Publications, detailliert beschrieben wird. In diesem Verfahren wird eine Ähnlichkeit einem lokalen Datenmerkmal zugeordnet, und eine Evaluierungsfunktion, die die Annehmbarkeit der gesamten Entsprechung anzeigt, wird unter Verwendung der zugeordneten Ähnlichkeit definiert, wenn zwei Datensätze verglichen werden. Die Entsprechung von Daten wird bestimmt, um den höchsten Wert der Evaluierungsfunktion zu erhalten.
18 zeigt den Vergleichsprozess der rechten Kreuzverhältnisfolge unter Verwendung des DP-Abgleichs. In
18 entspricht die rechte Kreuzverhältnisfolge R[1], R[2], R[3], ..., R[n] der eingegebenen Form der rechten Kreuzverhältnisfolge R'[1], R'[2], R'[3], ..., R'[n] der erlernten Form in dem Layout-Wörterbuch 31.
In diesem Vergleichsprozess wird die Zuverlässigkeit einer gezogenen Linie berücksichtigt, und der Gewichtswert der Entsprechung für eine Evaluierungsfunktion ist zwischen dem Kreuzverhältnis einer Schnittpunktfolge, die von einer zuverlässigen gezogenen Linie erhalten wird, und dem Kreuzverhältnis, das von anderen gezogenen Linien erhalten wird, verschieden. Der Ähnlichkeit des von einer zuverlässigen gezogenen Linie erhaltenen Kreuzverhältnisses wird beispielsweise einer höherer Gewichtswert zugeordnet.
19 ist ein Flussdiagramm, das ein Beispiel des Vergleichsprozesses für die rechte Kreuzverhältnisfolge unter Verwendung des DP-Abgleichs zeigt. Wenn der Prozess startet, speichert die Verwaltungsinformations-Extraktionsvorrichtung zuerst die rechte Kreuzverhältnisfolge der eingegebenen Form in dem Array R[i] (i = 1, ..., n), und speichert die rechte Kreuzverhältnisfolge der erlernten Form in dem Array R'[k] (k = 1, ..., n') (Schritt S31).
Dann wird das Fehler-Array E[i, k] initialisiert (Schritt S32), und eine Berechnung wird durch die folgende Rekurrenzgleichung an i = 1,..., n, k = 1,..., n' vorgenommen (Schritt S33). E[i, k] = min{E[i-1, k] + d[i, k], E[i-1, k-1] + λ*d[i, k], E[i,k-1] + d[i, k]} (2),wobei E[i, k] den Minimalwert der Fehlerakkumulation anzeigt, wenn ein Teil der Kreuzverhältnisfolge (R[1], ..., R[i]) mit (R'[1],..., R'[k]) assoziiert wird. Wenn der Akkumulationsfehler während der Rechenoperation als Evaluierungsfunktion verwendet wird, sieht daher E[i, k] seinen Minimalwert vor. d[i, k] zeigt einen Fehler an, wenn R[i] mit R'[k] assoziiert wird, und beispielsweise durch die folgende Gleichung berechnet wird. d[i,k] = |R[i]-R'[k] (3)wobei λ einen Gewichtswert für d[i, k] anzeigt, und min{} den Minimalwert unter den Elementen in {} anzeigt.
Als Nächstes wird der Pfad von E[n, n'] berechnet, der Entsprechungsbeziehungen von Kreuzverhältnissen einschließt, die zur Bestimmung des Werts von E[n, n'] verwendet werden (Schritt S34). Dann wird das Ergebnis als Entsprechung zwischen den Kreuzverhältnisfolgen (R[1], ..., R[n]) und (R'[1], ..., R'[n']) gespeichert (Schritt S35), und der Prozess endet. So wird die Entsprechung zwischen Kreuzverhältnissen bestimmt, um den Minimalwert der Evaluierungsfunktion zu erhalten. Die Vergleichsprozesse an der linken, oberen und unteren Kreuzverhältnisfolge werden ähnlich vorgenommen.
In Schritt S16 wird ein solcher eindimensionaler DP-Abgleich an allen erlernten Formen vorgenommen, die durch die grobe Klassifikation erhalten wurden, und die Form, die die minimale (beste) Evaluierungsfunktion anzeigt, wird bestimmt, die der eingegebenen Form entsprechende Form zu sein. So kann in der detaillierten Identifikation ein Hochgeschwindigkeitsprozess durch die Identifikation unter Verwendung der Merkmale des Umrisses (Kontur) einer Tabellenstruktur durch den eindimensionalen Abgleich vorgenommen werden.
In dem Verwaltungsinformations-Positionsberechnungsprozess in Schritt S17 nimmt die Verwaltungsinformations-Extraktionsvorrichtung auf das Layout-Wörterbuch 31 Bezug, fragt die Positionsinformationen über die erlernte Form ab, die in der detaillierten Identifikation spezifiziert wird, und extern die Verwaltungsinformationen aus dem eingegebenen Bild gemäß den abgefragten Positionsinformationen.
In diesem Prozess wird der Abgleichgrad an dem Schnittpunkt (Endpunkt) an beiden Enden jeder Reihe und jeder Spalte unter Verwendung des Ergebnisses der Entsprechung der Kreuzverhältnisfolge in dem oben beschriebenen DP-Abgleich geprüft, um zu bestimmen, ob die Endpunkte stabil sind oder nicht. Ein Abgleichgrad an einem Endpunkt bezieht sich auf die Wahrscheinlichkeit der Entsprechung zwischen dem Kreuzverhältnis einer eingegebenen Form und dem Kreuzverhältnis einer erlernten Form.
Da in 18 R[1] und R'[1] einander einzigartig entsprechen (Eins-zu-Eins), wird bestimmt, dass der rechte Endpunkt der ersten Reihe stabil ist. Da R[3] und R'[4] einander auch Eins-zu-Eins entsprechen, ist der rechte Endpunkt der entsprechenden Reihe stabil. Da jedoch R[2] sowohl R'[2] als auch R'[3] entspricht, und keinem von diesen einzigartig entspricht, wird bestimmt, dass der rechte Endpunkt der entsprechenden Reihe nicht stabil ist. So wird der stabile Endpunkt für jeden des oberen linken, unteren linken, oberen rechten und unteren rechten Eckpunkts ermittelt und als stabiler Punkt am Umriss definiert.
Als Nächstes werden die Höhe h0 und die Breite w0 der Tabellen der eingegebenen Form und der erlernten Form auf der Basis stabiler Umrisspunkte ermittelt, und werden miteinander verglichen, um die relativen Verhältnisse zwischen den Höhen und den Breiten der Tabellen der erlernten Form und der eingegebenen Form zu erhalten. Dann wird die Position der Verwaltungsinformationen auf der Basis der in 8 gezeigten Differenzvektoren A, B, C und D, und der Höhe H1 und der Breite W1 der rechteckigen Zelle berechnet.
Das oben beschriebene Verhältnis zeigt entweder ein Vergrößerungsverhältnis oder ein Verkleinerungsverhältnis der Tabelle einer eingegebenen Form zu der Tabelle einer erlernten Form an, und wird verwendet, um die Fluktuation zwischen den Tabellen zu normalisieren.
Wenn beispielsweise die Verhältnisse der Höhe und der Breite der eingegebenen Form zu jenen der in 8 gezeigten Tabelle α sind, werden die Differenzvektoren A, B, C und D mit α multipliziert. Dann wird, in der Tabelle der eingegebenen Form, die ungefähre Position des oberen linken Eckpunkts der rechteckigen Zelle, die die Verwaltungsinformationen enthält, ermittelt. Ähnlich können die ungefähren Positionen des oberen rechten, unteren linken und unteren rechten Eckpunkts der rechteckigen Zelle unter Verwendung der Vektoren erhalten werden, die durch Multiplizieren der Differenzvektoren B, C und D mit α erhalten werden, mit den stabilen Umrisspunkten am oberen rechten, unteren linken und unteren rechten Eckpunkt als Startpunkte.
Als Nächstes wird nach einer rechteckigen Zelle gesucht, die nahe bei den erhaltenen Positionen lokalisiert ist und nahezu gleich H1·α bzw. W1·α in der Höhe und Breite ist. Dann werden die Daten in der rechteckigen Zelle wie eine Zeichenfolge, etc., als angeforderte Verwaltungsinformationen extrahiert.
20, 21 und 22 sind Flussdiagramme, die ein Beispiel des Verwaltungsinformations-Positionsberechnungsprozesses zeigen. Wenn der Prozess startet, gibt die Verwaltungsinformations-Extraktionsvorrichtung zuerst das Ergebnis der Assoziation der Kreuzverhältnisfolgen in den vier Richtungen während des DP-Abgleichs ein (Schritt S41).
In diesem Prozess werden die Ergebnisse der Assoziation der rechten Kreuzverhältnisfolge (R[1], ..., R[n]) mit (R'[1], ..., R'[n']), der linken Kreuzverhältnisfolge (L[1], ..., L[m]) mit (L'[1], ..., L'[m']), der oberen Kreuzverhältnisfolge (U[1], ..., U[w]) mit (U'[1], ..., U'[w']), und der unteren Kreuzverhältnisfolge (D[1], ..., D[v]) mit (D'[1], ..., D'[v']) eingegeben.
Als Nächstes werden stabile Endpunkte der eingegebenen Form aus den Daten berechnet, und werden als Kandidaten für stabile Umrisspunkte definiert (Schritt S42). Die den Kandidaten entsprechenden Kreuzverhältnisse werden jeweils als R[nmin], R[nmax], L[mmin], L[mmax], U[wmin], U[wmax], D[vmin] und D[vmax] ausgedrückt.
'nmin' zeigt die Reihennummer des obersten Punkts an, der dem minimalen y-Koordinatenwert aller stabilen Punkte rechts außen in der Tabelle entspricht. 'nmax' zeigt die Reihennummer des untersten Punkts an, der dem maximalen y-Koordinatenwert aller stabilen Punkte rechts außen in der Tabelle entspricht. 'mmin' zeigt die Reihennummer des obersten Punkts aller stabilen Punkte links außen in der Tabelle an. 'mmax' zeigt die Reihennummer des untersten Punkts aller stabilen Punkte links außen in der Tabelle an.
'wmin' zeigt die Spaltennummer des Punkts links außen an, der dem minimalen x-Koordinatenwert aller stabilen obersten Punkte in der Tabelle entspricht. 'wmax' zeigt die Spaltennummer des Punkts rechts außen an, der dem maximalen x-Koordinatenwert aller stabilen obersten Punkte in der Tabelle entspricht. 'vmin' zeigt die Spaltennummer des Punkts links außen aller stabilen untersten Punkte in der Tabelle an. 'vmax' zeigt die Spaltennummer des Punkts rechts außen aller stabilen untersten Punkte in der Tabelle an.
Dann werden die Positionen der stabilen Umrisspunkte gemäß den Daten erhaltener Kandidaten berechnet (Schritt S43). Die Maximal- und Minimalwerte der x- und y-Koordinaten jedes Kandidaten werden ermittelt, und die Werte werden als Koordinatenelemente stabiler Umrisspunkte verwendet.
In 20 zeigt beispielsweise XMIN {R[nmin], R[nmax], L[mmin], L[mmax], U[wmin], U[wmax], D[vmin] und D[vmax]} den Minimalwert der x-Koordinate des Endpunkts an, der dem Wert jedes Kreuzverhältnisses in {} entspricht. Ähnlich zeigt XMAX {} den Maximalwert der x-Koordinate jedes Endpunkts an, YMIN {} zeigt den Minimalwert der y-Koordinate jedes Endpunkts an, und YMAX {} zeigt den Maximalwert der y-Koordinate jedes Endpunkts an.
Diese Werte XMIN {}, XMAX {}, YMIN {} und YMAX {} werden der Einfachheit halber jeweils durch XMIN, XMAX, YMIN und YMAX repräsentiert. Zu dieser Zeit werden die Koordinaten der stabilen Umrisspunkte am oberen linken, oberen rechten, unteren linken und unteren rechten Abschnitt jeweils durch (XMIN, YMIN), (XMAX, YMAX), (XMIN, YMAX) und (XMAX, YMAX) repräsentiert.
Dann werden die stabilen Endpunkte der Wörterbuchform, das heißt einer erlernten Form, berechnet und als Kandidaten für stabile Umrisspunkte definiert (Schritt S44 in 21). Die Kreuzverhältnisse, die den Kandidaten entsprechen, werden jeweils durch R'[nmin'], R'[nmax'], L'[mmin'], L' [mmax'], U'[wmin'], U'[wmax'], D'[vmin'] und D'[vmax'] repräsentiert.
Die Bedeutungen von nmin', nmax', mmin', mmax', wmin', wmax', vmin' und vmax' sind gleich wie die Bedeutungen der oben beschriebenen nmin, nmax, mmin, mmax, wmin, wmax, vmin und vmax.
Unter Verwendung der erhaltenen Daten der Kandidaten werden die Positionen der stabilen Umrisspunkte der Wörterbuchform wie in Schritt S43 berechnet (Schritt S45). In 21 sind die Bedeutungen von XMIN' {}, XMAX' {}, YMIN' {} und YMAX' {} gleich wie jene der oben beschriebenen XMIN {}, XMAX {}, YMIN {} und YMAX {}.
Diese Werte XMIN' {}, XMAX' {}, YMIN' {} und YMAX' {} werden der Einfachheit halber jeweils durch XMIN', XMAX', YMIN' und YMAX' repräsentiert. Zu dieser Zeit werden die Koordinaten der stabilen Umrisspunkte am oberen linken, oberen rechten, unteren linken und unteren rechten Abschnitt jeweils durch (XMIN', YMIN'), (XMAX', YMIN'), (XMIN', YMAX') und (XMAX', YMAX') repräsentiert.
Gemäß den Koordinateninformationen über die in Schritt S43 erhaltenen stabilen Umrisspunkte werden die Höhe h0 und die Breite w0 der eingegebenen Form durch die folgenden Gleichungen berechnet (Schritt S46 in 22). w0 = XMAX – XMIN (4) h0 = YMAX – YMIN (5)
Gemäß den Koordinateninformationen über die in Schritt S45 erhaltenen stabilen Umrisspunkte werden die Höhe h0' und die Breite w0' der Wörterbuchform durch die folgenden Gleichungen berechnet (Schritt S47). w0' = XMAX' – XMIN' (6) h0' = YMAX' – YMIN' (7)
Unter Verwendung der Höhen h0 und h0' und Breiten w0 und w0' werden die Verhältnisse Sw und Sh (Vergrößerungs verhältnis oder Verkleinerungsverhältnis) der Größe der eingegebenen Form zur Größe der Wörterbuchform berechnet (Schritt S48). Sw = w0/w0' (8) Sh = h0/h0' (9)
Die Größe des Elements des Differenzvektors mit einem stabilen Umrisspunkt einer Tabelle einer Wörterbuchform als Startpunkt wird als relativer Koordinatenwert erhalten, der die Position von Verwaltungsinformationen anzeigt (Schritt S49). In diesem Fall wird angenommen, dass der Differenzvektor von einer Vielzahl von Umrisspunkten nahe bei jedem Eckpunkt in den Umrisspunkten, die den Kreuzverhältnissen R'[1] ...., R'[n' ], L'[1], ..., L'[m' ], U'[1], ..., U'[w'] und D'[1], ..., D'[v'] entsprechen, vorläufig als Positionsinformationen in dem Wörterbuch 31 gespeichert werden.
Die relativen Koordinatenwerte von dem oberen linken, oberen rechten, unteren linken und unteren rechten stabilen Punkt werden jeweils als (fxmin1, fymin1), (fxmax1, fymin2), (fxmin2, fymax1) und (fxmax2, fymax2) eingestellt.
Dann wird, auf der Basis der relativen Koordinatenwerte und der Verhältnisse Sw und Sh der Größe der eingegebenen Form zur Größe der Wörterbuchform, die grobe Schätzung der Position der Verwaltungsinformationen in der eingegebenen Form vorgenommen (Schritt S50). In diesem Prozess werden vier Punkte mit den folgenden Koordinatenwerten als Kandidaten für die Position der Verwaltungsinformationen erhalten. (XMIN + Sw·fxmin1, YMIN + Sh·fxmin1) (XMAX – Sw·fxmax1, YMIN + Sh·fymin2) (XMIN + Sw·fxmin2, YMAX – Sh·fymax1) (XMAX – Sw·fxmax2, YMAX – Sh·fymax2)
Als Nächstes wird eine rechteckige Zelle einer eingegebenen Form extrahiert, die die Positionen dieser Kandidaten enthält (Schritt S51). Wenn die Höhe der Zelle nahezu Sh-mal die Höhe H1 der in der Wörterbuchform spezifizierten rechteckigen Zelle beträgt, und die Breite der Zelle nahezu Sw-mal die Breite W1 der in der Wörterbuchform spezifizierten rechteckigen Zelle beträgt, dann wird bestimmt, dass die rechteckige Zelle Verwaltungsinformationen enthält.
Dann werden die Bilddaten einer Zeichenfolge, etc., in der rechteckigen Zelle als Verwaltungsinformationen ausgegeben (Schritt S52), wodurch der Prozess beendet wird. So werden die Verwaltungsinformationen aus einem eingegebenen Bild gemäß dem Ergebnis der detaillierten Identifikation extrahiert.
In diesem Beispiel speichert das Wörterbuch 31 Differenzvektoren mit einem Teil einer Vielzahl von Umrisspunkten, die den Kreuzverhältnissen der Wörterbuchform entsprechen, als Startpunkte. Differenzvektoren von allen Umrisspunkten können jedoch vorläufig gespeichert werden, um nicht nur die Umrisspunkte nahe bei den Eckpunkten der Tabelle auszuwählen, sondern auch optionale Umrisspunkte am Umfang als stabile Umrisspunkte.
Es ist nicht immer erforderlich, vier stabile Umrisspunkte zu extrahieren. Das heißt, auf der Basis eines beliebigen einen stabilen Umrisspunkts als Referenzpunkt, kann die Position von Verwaltungsinformationen unter Verwendung der relativen Koordinatenwerte von der Position des Refe renzpunkts erhalten werden, um den Prozess schnell vorzunehmen. Im Allgemeinen wird die Anzahl stabiler Umrisspunkte für den Prozess willkürlich spezifiziert.
In Schritt S51 wird eine rechteckige Zelle extrahiert, die vier Kandidatenpositionen enthält. Es kann jedoch eine rechteckige Zelle extrahiert werden, die eine oder mehrere Kandidatenpositionen enthält, oder es kann eine rechteckige Zelle extrahiert werden, deren Distanz von einer oder mehreren Kandidatenpositionen innerhalb eines vorherbestimmten Werts liegt.
In dem oben beschriebenen Verwaltungsinformations-Extraktionsprozess können die Form eines eingegebenen Dokuments und die Position von Verwaltungsinformationen automatisch erlernt und in dem Layout-Wörterbuch 31 gespeichert werden. Gemäß den Informationen können verschiedenste tabellenformatierte Dokumente verarbeitet werden, und die Position der Verwaltungsinformationen kann mit hoher Präzision berechnet werden.
Im Nachstehenden wird das Verfahren zum Spezifizieren der Position der Verwaltungsinformationen im in 6 gezeigten Schritt S3 detailliert beschrieben. In der vorliegenden Ausführungsform kann das Verfahren zum Spezifizieren der Position von Verwaltungsinformationen durch einen Benutzer entweder in einem Benutzereintragsmodus verfolgt werden, in dem der Benutzer instruiert wird, die Position ausdrücklich zu spezifizieren, oder in einem automatischen Lernmodus, in dem ein Kandidat für die Verwaltungsinformationen automatisch extrahiert wird.
In dem Benutzereintragsmodus weist die Verwaltungsinformations-Extraktionsvorrichtung den Benutzer an, die Position von Verwaltungsinformationen unter einer Anzahl rechteckiger Zellen, die eine Tabelle bilden, direkt zu spezifizieren, wie in 8 gezeigt. Wenn es beispielsweise eine große Anzahl von Dokumenten mit derselben Form von Entwurfzeichnungen gibt, etc., und die Position der Verwaltungsinformationen auf dem ersten Dokument spezifiziert wird, dann sollten nur die Positionsinformationen aus dem zweiten und den nachfolgenden gelesen werden, wodurch eine Stapeleingabe unter Verwendung eines automatischen Vorlageneinzugs realisiert wird.
In dem automatischen Lernmodus wird eine Vielzahl von Bereichen, die Kandidaten für einen Bereich sind, der Verwaltungsinformationen enthält, unter Verwendung der Titelextraktionstechnologie extrahiert, die in der vorhergehenden Anmeldung 08/694,503 beschrieben ist, die Position eines von dem Benutzer unter der Vielzahl von Bereichen ausgewählten Bereichs wird automatisch erlernt, und die Position wird als erster Kandidat in den nachfolgenden Operationen definiert. Wenn der Benutzer keinen der Kandidaten auswählt, sondern optional eine neue Position spezifiziert, dann werden Informationen dieser Position automatisch in der interaktiven Operation des Benutzers eingegeben.
Ansonsten kann die durch die vorhergehende Anmeldung geoffenbarte Titelextraktionstechnologie beim Benutzereintragsmodus angewendet werden, um Verwaltungsinformationen unter einer Vielzahl von Kandidaten auszuwählen. In diesem Fall wird eine Form in dem in 4 gezeigten Prozess in dem automatischen Lernmodus erkannt oder identifiziert, um zu prüfen, ob ein eingegebenes Bild mit der Form in dem Wörterbuch 31 übereinstimmt oder nicht. Wenn das eingegebene Bild mit einer beliebigen der Formen in dem Wörterbuch 31 übereinstimmt, werden seine Positionsinformationen abgefragt und dem Benutzer präsentiert. Wenn das eingegebene Bild mit keiner der Formen in dem Wörterbuch 31 übereinstimmt, wird ein Kandidat für die Verwaltungsinformationen durch die Titelextraktionstechnologie der vorhergehenden Anmeldung ex trahiert.
23 zeigt den Verwaltungsinformations-Extraktionsprozess mit den oben beschriebenen beiden Modi. In dem in 23 gezeigten Benutzereintragsmodus extrahiert die Verwaltungsinformations-Extraktionsvorrichtung zuerst eine Vielzahl von Kandidaten für Verwaltungsinformationen aus einem eingegebenen Bild 71 eines tabellenformatierten Dokuments in dem Intratabellen-Titelextraktionsprozess auf der Basis der vorhergehenden Anmeldung.
24 ist ein Flussdiagramm, das den Intratabellen-Verwaltungsinformations-Extraktionsprozess zeigt. Wenn der Prozess startet, liest die Verwaltungsinformations-Extraktionsvorrichtung ein Dokument 71, und speichert es als Dokumentenbild in dem Speicher (Schritt S61). In diesem Beispiel wird das Originalbild gespeichert, nachdem es in ein komprimiertes Bild konvertiert wurde.
Als Nächstes wird das Dokumentenbild gekennzeichnet, große Rechtecke werden auf der Basis des höchsten Frequenzwerts für die Höhe eines Rechtecks extrahiert (Schritt S62), eine Tabelle umgebende Rechtecke (Tabellenrechtecke) werden aus den extrahierten großen Rechtecken extrahiert (Schritt S63), und ein Verwaltungsinformationen enthaltendes Rechteck wird aus den Tabellenrechtecken ausgewählt (Schritt S64). In diesem Beispiel wird beispielsweise ein den größten Bereich einnehmendes Tabellenrechteck ausgewählt.
Dann wird eine Zeichenfolge aus dem ausgewählten Tabellenrechteck extrahiert, ein eine Zeichenfolge umschreibendes Rechteck (Zeichenfolgenrechteck) wird erhalten, und seine Koordinaten werden in dem Speicher gespeichert (Schritt S65). Als Nächstes wird ein Rechteck mit einer kurzen Breite oder ein Rechteck mit einer Höhe, die länger ist als seine Breite, aus den gespeicherten Zeichenfolgenrechtecken als Rausch-Rechteck entfernt (Schritt S66), und zwei oder mehre re Zeichenfolgenrechtecke werden in ein Rechteck integriert (Schritt S67).
Die aus der Tabelle extrahierten Zeichenfolgenrechtecke werden in den oben beschriebenen Prozessen erhalten. Diese Zeichenfolgenrechtecke können einen Teil der gezogenen Linien der Tabelle enthalten. Daher werden die gezogenen Linienabschnitte aus dem Inneren der Zeichenfolgenrechtecke extrahiert, und die Positionen werden als Grenze zum Teilen von Zeichenfolgenrechtecken verwendet (Schritt S68).
Als Nächstes wird die Anzahl von Zeichen in einem Zeichenfolgenrechteck gezählt, um ein Verwaltungsinformationen entsprechendes Zeichenfolgenrechteck zu extrahieren (Schritt S69). Die erhaltene Anzahl von Zeichen wird in dem Prozess in Schritt S72 als Attribut des Zeichenfolgenrechtecks verwendet.
In dem Prozess in Schritt S68 wird ein Zeichenfolgenrechteck für jedes Kästchen extrahiert, das von den gezogenen Linien einer Tabelle umgeben ist. Wenn der Umriss der Originaltabelle nicht rechteckig ist, kann ein Zeichenfolgenrechteck außerhalb der Tabelle existieren. Wenn ein Zeichenfolgenrechteck keine obere gezogene Linie einer Tabelle aufweist, wird es daher, wenn eine obere gezogene Linie gesucht wird, als Zeichenfolgenrechteck außerhalb der Tabelle angesehen und wird entfernt (Schritt S70).
Dann werden die Zeichenfolgenrechtecke in der Tabelle in der Reihenfolge von jenem an neu angeordnet, das der Koordinate an der oberen linken Ecke am Nächsten liegt (Schritt S71). Wenn die Anzahl von Zeichen in dem Zeichenfolgenrechteck eine vorherbestimmte Bedingung erfüllt, dann wird das Zeichenfolgenrechteck als Verwaltungsinformationen extrahiert (Schritt S72), wodurch der Prozess beendet wird. Wenn es eine Vielzahl von die Bedingung erfüllenden Zeichenfolgenrechtecken gibt, dann werden sie als Kandidaten für die Verwaltungsinformationen in der Reihenfolge von jenem an bestimmt, das der oberen linken Ecke des Tabellenrechtecks am Nächsten liegt.
In diesem Beispiel werden drei Kandidaten C1, C2 und C3 für Verwaltungsinformationen in einem Bild 77 extrahiert, und eine Benutzerschnittstelle 78 der Verwaltungsinformations-Extraktionsvorrichtung gibt sie in der Reihenfolge von der höchsten Priorität aus, um sie dem Benutzer zu präsentieren. Der Benutzer wählt einen von ihnen aus, indem er unter Verwendung einer Maus auf diesen zeigt, wenn ein geeigneter Kandidat als Verwaltungsinformationen präsentiert wird. Wenn kein geeigneter Kandidat präsentiert wird, kann der Benutzer einen Kandidaten für Verwaltungsinformationen korrigieren, indem er ausdrücklich eine andere rechteckige Zelle spezifiziert, wobei er unter Verwendung einer Maus auf diese zeigt.
Die Verwaltungsinformations-Extraktionsvorrichtung erlernt die Position der vom Benutzer ausgewählten/korrigierten Verwaltungsinformationen, und speichert die Positionsinformationen und gezogene Linienstruktur in dem Wörterbuch 31 als Benutzerwörterbuch 73. So kann die Verwaltungsinformations-Extraktionsvorrichtung die von dem Benutzer direkt spezifizierten Positionsinformationen in den nachfolgenden Prozessen verwenden.
In dem in 23 gezeigten automatischen Lernmodus nimmt die Verwaltungsinformations-Extraktionsvorrichtung zuerst auf eine Vielzahl von Benutzerwörterbüchern 73 Bezug und erkennt die Formen eingegebener Bilder 71, 72, etc.
Wenn das tabellenformatierte eingegebene Bild 71 eingegeben wird, und wenn als Ergebnis der Bezugnahme in der groben Klassifikation und detaillierten Identifikation bestimmt wird, dass es mit der Form eines beliebigen der Benutzerwörterbücher 73 übereinstimmt, dann werden Verwal tungsinformationen C1 an der in einer resultierenden Form 74 spezifizierten Position ausgegeben und dem Benutzer präsentiert. Wenn der Benutzer die Verwaltungsinformationen C1 akzeptiert, werden die Informationen wie sie sind angenommen. Wenn der Benutzer diese nicht akzeptiert, wird der Benutzer instruiert, geeignete Informationen unter anderen Positionsinformationen C2, C3, etc., auszuwählen.
Wenn das eingegebene Bild 71 nicht mit der beliebigen Form in dem Benutzerwörterbuch 73 übereinstimmt, wird der oben beschriebene Intratabellen-Verwaltungsinformations-Extraktionsprozess vorgenommen, und die Kandidaten C1, C2, C3, etc., für die Verwaltungsinformationen werden aus einem resultierenden Bild 75 extrahiert. Die Benutzerschnittstelle 78 präsentiert diese Kandidat dem Benutzer in der Reihenfolge von der höchsten Priorität, und der Benutzer wählt einen geeigneten Kandidaten als Verwaltungsinformationen unter den präsentierten Kandidaten aus. Wenn kein geeigneter Kandidat präsentiert wird, können die Kandidaten für Verwaltungsinformationen korrigiert werden, indem ausdrücklich eine andere rechteckige Zelle spezifiziert wird.
Die Verwaltungsinformations-Extraktionsvorrichtung erlernt die Position der vom Benutzer ausgewählten/korrigierten Verwaltungsinformationen in dem eingegebenen Bild 71, und speichert die Positionsinformationen und die gezogene Linienstruktur als Benutzerwörterbuch 73 in dem Wörterbuch 31 zur Verwendung in den nachfolgenden Prozessen.
Wenn ein normales Nicht-Tabellen-Dokumentenbild 72 eingegeben wird, dann wird als Ergebnis der Erkennung der Form bestimmt, dass es keine gezogenen Linien gibt. Dann wird eine Vielzahl von Kandidaten für Verwaltungsinformationen in dem Titelextraktionsprozess aus einem Dokumentenbild ohne gezogene Linien gemäß der vorhergehenden Anmeldung extrahiert.
25 ist ein Flussdiagramm, das diesen Verwaltungsinformations-Extraktionsprozess zeigt. Wenn der Prozess startet, liest die Verwaltungsinformations-Extraktionsvorrichtung das Dokument 72 und speichert es als Dokumentenbild in dem Speicher (Schritt S81). In diesem Prozess wird das Originalbild gespeichert, nachdem es in ein komprimiertes Bild konvertiert wurde.
Als Nächstes wird das Dokumentenbild gekennzeichnet, eine Zeichenfolge wird als Ergebnis des Kennzeichnungsprozesses extrahiert, und die Koordinate des Zeichenfolgenrechtecks wird in dem Speicher gespeichert (Schritt S82). Dann wird ein Rechteck mit einer kurzen Breite oder mit einer Breite, die kürzer ist als seine Höhe, aus Rausch-Rechteck aus den gespeicherten Zeichenfolgenrechtecken entfernt (Schritt S83), und zusätzlich wird ein Rechteck entfernt, das keine Zeichenfolge zu sein scheint. Dann wird ein Dokumentenbereich bestimmt (Schritt S84).
Die verbleibenden Zeichenfolgenrechtecke werden in der vertikalen Richtung (in der y-Koordinatenrichtung) neu angeordnet (Schritt S85). Ein Rechteck, das ein Bild eines Zeichenkästchens enthält, (Zeichenkästchenrechteck) wird extrahiert, und dann wird ein Zeichenfolgenrechteck in dem Zeichenkästchenrechteck als Rechteck mit einem Zeichenkästchen markiert (Schritt S86). Ferner wird ein Rechteck extrahiert, das ein unterstrichenes Bild enthält, und das Zeichenfolgenrechteck rechts über dem extrahierten Rechteck wird als unterstrichenes Rechteck markiert (Schritt S87).
Als Nächstes wird ein Punktezählungsprozess vorgenommen, um die Wahrscheinlichkeit eines Titels auf der Basis der Merkmale zu bestimmen, wie der Position eines Zeichenfolgenrechtecks in dem Dokument, der Zeichengröße, ob es ein Rechteck mit einem Zeichenkästchen oder ein unterstrichenes Rechteck ist oder nicht, etc., um ein oder mehrere Zeichen folgenrechtecke mit hoher Punktezahl als Kandidaten für einen Titel zu extrahieren (Schritt S88). Auf der Basis des Ergebnisses werden die Quellen- und Zielinformationen über das Dokument extrahiert (Schritte S89 und S90). So werden der Titel, das Ziel und Quelleninformationen als Kandidat für Verwaltungsinformationen extrahiert.
In diesem Beispiel werden in dem Bild 76 drei Kandidaten C4, C5 und C6 für einen Titel und die Ziel- und Quelleninformationen extrahiert. Die Benutzerschnittstelle 78 gibt diese Daten in der Reihenfolge von der höchsten Priorität aus und präsentiert sie dem Benutzer. Der Benutzer wählt einen von diesem aus, indem er unter Verwendung einer Maus auf diesen zeigt, wenn ein geeigneter Kandidat als Verwaltungsinformationen präsentiert wird. Wenn kein geeigneter Kandidat präsentiert wird, kann der Kandidat für die Verwaltungsinformationen korrigiert werden, indem ein anderes Zeichenfolgenrechteck in dem Prozess des Zeigens ausdrücklich spezifiziert wird.
Als Nächstes wird die Verwendung der extrahierten Verwaltungsinformationen unter Bezugnahme auf 26 bis 28 erläutert. Herkömmlich werden nur Schlüsselwörter oder Zeichencodes von Dokumentennamen, etc., als Verwaltungsinformationen zur Verwendung bei der Bearbeitung von Bildern verwendet. Das elektronische Ablagesystem, das mit der Verwaltungsinformations-Extraktionsvorrichtung gemäß dem dritten Prinzip versehen ist, hat jedoch die Funktion des Speicherns eines Teils eines Dokumentenbilds als Index zusätzlich zu Zeichencodes. So kann eine Abfrage unter Verwendung eines Bilds effektiv sein, wenn die Zuverlässigkeit von Zeichencodes gering ist.
Ein die vorliegende Erfindung verkörperndes System ermöglicht es dem Benutzer, das Speicherverfahren für Verwaltungsinformationen unter Verwendung eines Zeichencodes oder eines Bildcodes auszuwählen. Auf der Basis des Auswahlergebnisses werden ausgewählte Daten als Verwaltungsinformationen gespeichert. Wenn ein Bild abgefragt wird, instruiert das System den Benutzer, ein Verfahren zum Abfragen von Verwaltungsinformationen auszuwählen, und die Verwaltungsinformationen werden unter Verwendung eines Zeichencodes oder eines Bilds auf der Basis des Auswahlergebnisses abgefragt. Das System hat auch die Funktion, einfach die gespeicherten Zeichencodes oder Bilder zu durchsuchen.
26 ist ein Flussdiagramm, das den Bildinformations-Speicherprozess zeigt. Wenn der Prozess startet, empfängt das elektronische Ablagesystem zuerst ein Dokumentenbild (Schritt S101), berechnet die Position der Verwaltungsinformationen in dem Prozess, wie in 4 gezeigt, und extrahiert eine Zeichenfolge von Verwaltungsinformationen (Schritt S102). Dann instruiert das System den Benutzer, ein Verfahren zum Speichern von Verwaltungsinformationen für die extrahierte Zeichenfolge auszuwählen (Schritt S103).
Das Speicherverfahren wird in einem Zeichenerkennungsmodus verfolgt, in dem eine Zeichenfolge einer Zeichenerkennung unterzogen und in einen Zeichencode oder in einen Bildcode konvertiert wird, worin eine Zeichenfolge nicht einer Zeichenerkennung unterzogen, sondern als Bild gespeichert wird. Wenn der Benutzer den Zeichenerkennungsmodus auswählt, werden Zeichen erkannt (Schritt S104), und ein Speicherverfahren wird in Abhängigkeit von der Zuverlässigkeit des Erkennungsergebnisses ausgewählt (Schritt S105).
Das Verfahren zum Berechnen der Zuverlässigkeit der Zeichenerkennung ist beispielsweise, die in "Character Recognition Method and Apparatus" gemäß einer früheren Anmeldung (Japanische Patentanmeldung H8-223720) geoffenbarte Technologie zu verwenden. Gemäß dieser Technologie berechnet das System zuerst einen Wahrscheinlichkeitsparameter aus dem Distanzwert zwischen dem als Erkennungsergebnis erhaltenen Zeichencode und einem eingegebenen Zeichenmuster, und generiert eine Konvertierungstabelle zur Verwendung bei der Konvertierung des Wahrscheinlichkeitsparameters in eine korrekte Erkennungswahrscheinlichkeit unter Verwendung eines Satzes von Zeichenmustern und korrekt erkannten Codes. Auf der Basis der Konvertierungstabelle wird die korrekte Erkennungswahrscheinlichkeit für den Wahrscheinlichkeitsparameter erhalten, und die korrekte Erkennungswahrscheinlichkeit wird als Zuverlässigkeit des Erkennungsergebnisses verwendet.
Wenn die Zuverlässigkeit der Zeichenerkennung niedriger ist als eine vorherbestimmte Schwelle, dann wird dem Benutzer gemeldet, dass ein Bild gespeichert ist, und das Bild der Zeichenfolge sowie sein Zeichencode werden als Verwaltungsinformationen gespeichert (Schritt S106), wodurch der Prozess beendet wird. Wenn die Zuverlässigkeit gleich der oder höher als die vorherbestimmte Schwelle ist, dann wird der Zeichencode als Verwaltungsinformationen gespeichert (Schritt S107), wodurch der Prozess beendet wird.
Wenn der Benutzer den Bildmodus auswählt, dann wird ein Bild einer Zeichenfolge als Verwaltungsinformationen gespeichert (Schritt S108), wodurch der Prozess beendet wird. In Schritt S103 ist es möglich, einen Modus einzutragen, in dem sowohl ein Zeichencode, als auch ein Bildcode als alternatives Speicherverfahren gespeichert werden. Unter der Annahme, dass die Informationen über den Distanzwert zwischen dem als Erkennungsergebnis erhaltenen Zeichencode und dem eingegebenen Zeichenmuster die Zuverlässigkeit in Schritt S105 anzeigt, kann bestimmt werden, dass gilt: je kleiner der Distanzwert ist, desto höher wird die Zuverlässigkeit.
27 zeigt ein Beispiel einer Speichertabelle zum Speichern von Verwaltungsinformationen. Die Verwaltungsin formations-Speichertabelle hat einen Zeichencode-Speicherbereich, einen Bildspeicherbereich und einen Typenflaggenbereich, der anzeigt, ob Informationen in einem Zeichencode oder einem Bildcode gespeichert sind.
Die Typenflagge 0 zeigt beispielsweise an, dass nur der Zeichencode gespeichert ist. Die Typenflagge 1 zeigt an, dass nur der Bildcode gespeichert ist. Die Typenflagge 2 zeigt an, dass sowohl der Zeichencode als auch der Bildcode gespeichert sind.
28 ist ein Flussdiagramm, das den Verwaltungsinformations-Abfrageprozess zum Abfragen solcher Verwaltungsinformationen zeigt. Wenn der Prozess startet, instruiert das elektronische Ablagesystem zuerst den Benutzer, ein Verfahren zum Abfragen von Verwaltungsinformationen auszuwählen (Schritt S111). Das Abfrageverfahren wird in drei Modi verfolgt, das heißt einem Modus unter Verwendung von Zeichencodes, einem Modus unter Verwendung von Bildern, und einem Modus, der eine Liste von Zeichencodes und Bildern anzeigt, die von einem Benutzer zu durchsuchen ist.
Wenn ein Benutzer eine Zeichencodeabfrage auswählt, werden Verwaltungsinformationen unter Verwendung eines Zeichencodes abgefragt (Schritt S112). Wenn ein Benutzer eine Bildabfrage auswählt, werden Verwaltungsinformationen unter Verwendung eines Bilds abgefragt (Schritt S113). Wenn ein Benutzer 'Durchsuchen' auswählt, wird eine Liste von in der Verwaltungsinformations-Speichertabelle gespeicherten Zeichencodes und Bildern angezeigt (Schritt S114). Nach der Auswahl endet der Prozess.
Wenn Informationen unter Verwendung von Bildern in Schritt S113 abgefragt werden, wird der Benutzer instruiert, eine spezifische Bilddatei zu bezeichnen, oder es wird ein geeignetes Bild ausgewählt und angezeigt. Dann wird der Benutzer instruiert, einen spezifischen rechteckigen Abschnitt als Abfrageschlüssel zu bezeichnen, und der vom Benutzer bezeichnete Abschnitt des Bilds wird mit dem in der Verwaltungsinformations-Speichertabelle gespeicherten Bild verglichen. Der Vergleich zwischen Bildern wird unter Verwendung eines wohlbekannten Schablonenabgleichs durchgeführt, die beispielsweise in "Digital Image Process for Recognizing Image [I]" von Jun'ichiro Toriwaki, veröffentlicht von Shokodo, beschrieben ist.
Bei dem Schablonenabgleich wird der bezeichnete Abschnitt des Bilds als Modell (Schablone) verwendet, mit dem das Bild in jeder Verwaltungsinformations-Speichertabelle bei der Berechnung der Ähnlichkeit zwischen diesen verglichen wird, um Verwaltungsinformationen zu erhalten, die die höchste Ähnlichkeit anzeigen, oder eine Ähnlichkeit anzeigen, die höher ist als ein vorherbestimmter Wert. Ein Dokumentenbild, das den erhaltenen Verwaltungsinformationen entspricht, wird als Abfrageergebnis angezeigt.
Gemäß einem solchen elektronischen Ablagesystem wird eine Zeichenfolge von Verwaltungsinformationen nicht nur unter Verwendung von Zeichencodes gespeichert/abgefragt, sondern kann auch unter Verwendung von Bildern gespeichert/abgefragt werden. Daher können Zeichen, die schwer richtig zu erkennen sind, wie texturierte Zeichen, entworfene Schriftarten, Logos, etc., als Verwaltungsinformationen verarbeitet werden.
In den Schritten S15 und S16 in 17 wird der Kreuzverhältnis-DP-Abgleich verwendet, um eine tabellenformatierte Dokumentenform (Formatstruktur) zu identifizieren. Die detaillierte Identifikation kann jedoch durch ein beliebiges anderes optionaler Verfahren vorgenommen werden.
In einem weiteren wohlbekannten automatischen Formenidentifikationsverfahren wird das Merkmal einer bekannten tabellenformatierten Dokumentenform als Modell in dem Wör terbuch 31 eingetragen. Wenn ein Bild eines unbekannten tabellenformatierten Dokuments eingegeben wird, wird das Merkmal aus dem Bild berechnet, es wird mit dem Modell in dem Wörterbuch unter Verwendung eines Modellabgleichverfahrens verglichen, und das die höchste Ähnlichkeit anzeigende Modell wird ermittelt.
In einem Modellabgleichverfahren wird die gesamte Tabelle zuerst normalisiert, die Position des zentralen Punkts jeder rechteckigen Zelle wird berechnet, und das Modell mit einem zentralen Punkt nahezu an derselben Position wie die oben beschriebene rechteckige Zelle erhält eine Stimme. Das Modell, das die größte Stimmenanzahl erhält, wird als optimales Modell definiert. Die Normalisierung eines Modells bezieht sich auf einen Anpassungsprozess wie die Konvertierung des gesamten Bilds in einer Weise, dass das Breite-zu-Höhe-Verhältnis Eins zu Eins beträgt.
Ein weiteres Verfahren ist, einen Abgleichprozess unter Verwendung eines verbundenen Graphen vorzunehmen. Bei diesem Verfahren wird eine gezogene Linie extrahiert, die gesamte Tabelle wird normalisiert, und dann wird eine Kombination gezogenen Linien mit nahezu gleicher Länge und Position zwischen dem eingegebenen unbekannten Dokument und jedem Modell erhalten. Knoten, wie in 29 gezeigt, die Kombination gezogenen Linien anzeigen, werden auf einer Ebene angeordnet, um einen verbundenen Graphen zu generieren, indem vorherbestimmte geometrische Einschränkungen erfüllende Knoten durch einen Pfad verbunden werden.
Geometrische Einschränkungen beziehen sich auf eine Einschränkungsbedingung, dass die Reihenfolge der gezogenen Linien zwischen einem unbekannten Dokument und einem verglichenen Modell beibehalten wird, oder eine Einschränkungsbedingung, gemäß der es verboten ist, dass eine gezogene Linie einer Tabelle einer Vielzahl gezogener Linien einer anderen Tabelle entspricht. In einem in 29 gezeigten Assoziationsgraphen, der vier Knoten umfasst, entsprechen gezogene Linien a1, a2, a3 und a4 des unbekannten Dokuments jeweils gezogenen Linien b1, b2, b3 und b4 des Modells.
Wenn alle Knoten mit allen anderen Knoten durch einen Pfad in einem Subgraphen verbunden sind, der ein Teil eines verbundenen Graphen ist, wird der Subgraph als Clique bezeichnet. Der in 29 gezeigte verbundene Graph ist selbst eine Clique. Die Ähnlichkeit zwischen einem unbekannten Dokument und einem Modell kann ermittelt werden, indem die Clique mit der größten Anzahl von Knoten in einem Assoziationsgraphen ermittelt wird, und das die höchste Ähnlichkeit anzeigende Modell wird als optimales Modell extrahiert.
In dem oben beschriebenen Modellabgleichprozess wird ein unbekanntes eingegebenes Dokument normalisiert und dann mit einem Modell hinsichtlich der Merkmale verglichen. Wenn jedoch die Extraktionspräzision des Umrisses der Tabelle verringert ist, oder eine Form durch das Hinzufügen einer Reihe geringfügig abgeändert wird, etc., dann werden die gesamten Merkmale beeinträchtigt, was zu einer instabilen Identifikation führt. Insbesondere das oben beschriebene Verfahren auf der Basis der zentralen Position einer rechteckigen Zelle ist einem größeren Einfluss eines solchen Effekts unterworfen.
In dem oben beschriebenen Verfahren unter Verwendung eines verbundenen Graphen kann die Bedingung, unter der ein Knoten generiert wird, moderiert werden, die Größe des Graphen wird jedoch vergrößert, und insbesondere dauert es lange Zeit, die maximale Clique zu erhalten.
Daher wird die folgende Technik erläutert, um ein Hochgeschwindigekeits- und robustes Abgleichverfahren zu präsentieren, das ansprechend auf einen Extraktionsfehler einer gezogenen Linie aufgrund einer Unterbrechung in einer Linie oder eines Rauschens und einer Änderung der Form, etc., verfolgt wird. Robust bedeutet, dass ein Abgleichergebnis durch einen Fehler oder eine Änderung kaum beeinträchtigt wird.
In diesem Abgleichverfahren werden die Größe und Position der gezogenen Linie relativ zur gesamten Tabelle als Merkmale bei der Prüfung der Möglichkeit der Entsprechung gezogenen Linien zwischen einem unbekannten Dokument und jedem Modell betrachtet, um die Kombination entsprechender gezogener Linien zu erhalten. In diesem Beispiel kann eine Vielzahl gezogener Linien einer gezogenen Linie entsprechen, indem eine breite mögliche Bedingung eingestellt wird. Auch in dem Fall, dass der Umriss einer Tabelle nicht korrekt extrahiert wird, verhindert, wenn der Fehler innerhalb eines zulässigen Bereichs liegt, das Zulassen einer redundanten Entsprechung, das eine korrekte Entsprechung zwischen gezogenen Linien verfehlt wird.
Als Nächstes werden kompatible Entsprechungsbeziehungen in eine Gruppe in einem Satz erhaltener Entsprechungsbeziehungen gesammelt, und jede Entsprechungsbeziehung gezogener Linien wird einer Gruppe zugeordnet. Zu dieser Zeit werden die Position einer gezogenen Linie und die Distanz zwischen gezogenen Linien als Merkmale verwendet. Unter Verwendung der relativen Beziehung zwischen gezogenen Linien als Merkmale kann verhindert werden, dass eine Unterbrechung in einer Linie oder ein Rauschen die gesamten Merkmale gezogener Linien beeinträchtigt.
Wenn die Entsprechungsbeziehungen gruppiert werden, kann ferner die Anzahl von Prozessen zum Prüfen der Kompatibilität erheblich reduziert werden, verglichen mit dem Fall der Generierung des verbundenen Graphen, durch das Einstellen einer strengen Kompatibilitätsbedingung in einer Weise, dass die Kompatibilität übergangsweise sein kann. Da die Entsprechungsbeziehung in jeder Gruppe durch einen einzelnen Pfad auf einer Ebene repräsentiert werden kann, dauert es nur kurze Zeit, die Anzahl von Entsprechungsbeziehungen zu zählen.
Eine Übergangskompatibilität bezieht sich beispielsweise darauf, dass die Entsprechung A immer mit der Entsprechung C kompatibel ist, wenn die Entsprechung A mit der Entsprechung B kompatibel ist, und die Entsprechung B mit der Entsprechung C kompatibel ist. Da es in diesem Fall nicht notwendig ist, die Kompatibilität zwischen der Entsprechung A und der Entsprechung C zu prüfen, kann der Prozess mit einer hohen Geschwindigkeit vorgenommen werden.
Schließlich wird eine Kombination der erhaltenen Gruppen, die die größte Anzahl von Entsprechungen einschließen, unter konsistenten Kombinationen der Gruppen gesucht. So kann ein Modell extrahiert werden, wenn die meisten seiner gezogenen Linien korrekt jenen eines eingegebenen Dokuments entsprechen, sogar in dem Fall, dass eine kleine Abänderung wie das Hinzufügen nur einer Reihe zu einer Tabelle, etc., in dem Dokument durchgeführt wird.
30 ist ein Flussdiagramm, das den Formenidentifikationsprozess in einem solchen Abgleichverfahren zeigt. Dieser Prozess entspricht den Prozessen in den in 4 gezeigten Schritten S11, S12, S15 und S16, und bezieht sich spezifisch auf die detaillierte Identifikation eines eingegebenen Bilds. Wenn der Prozess startet, empfängt die Verwaltungsinformations-Extraktionsvorrichtung zuerst ein Bild (Schritt S121), und extrahiert gezogene Linien aus dem eingegebenen Bild (Schritt S122).
Jede gezogene Linie wird an der Koordinate des oberen linken Eckpunkts des Rechtecks neu angeordnet, das die gezogene Linie umgibt, (gezogenes Linienrechteck) in der Reihenfolge vom kleinsten y-Koordinatenwert für eine horizontale gezogene Linie und vom kleinsten x-Koordinatenwert für eine vertikale gezogene Linie (Schritt S123). Wenn horizontale gezogene Linien dieselbe y-Koordinate anzeigen, werden sie in aufsteigender Reihenfolge der x-Koordinate sortiert. wen vertikale gezogene Linien dieselbe x-Koordinate anzeigen, werden sie in der aufsteigenden Reihenfolge der y-Koordinate sortiert.
Als Nächstes werden grobe Informationen über jede der horizontalen und vertikalen gezogenen Linien extrahiert (Schritt S124). Grobe Informationen beziehen sich auf relative Werte, die die Länge und Position einer gezogenen Linie zur gesamten Tabelle anzeigen, und werden durch einen Satz von drei ganzen Zahlen repräsentiert. Und, unter Berücksichtigung aller Kombination von zwei gezogenen Linien in jeder von der vertikalen und horizontalen Richtung, werden detaillierte Informationen in Bezug auf jede Kombination extrahiert (Schritt S125). Die detaillierten Informationen drücken die relative Beziehung hinsichtlich der Länge und Position zwischen zwei gezogenen Linien aus.
Die groben Informationen und detaillierten Informationen über ein Modell, das mit einem eingegebenen Bild zu vergleichen ist, werden vorläufig extrahiert und in dem Layout-Wörterbuch 31 gespeichert. Daher werden die groben Informationen und detaillierten Informationen über das eingegebene Bild mit jenen über das Modell für einen Modellabgleich verglichen (Schritt S126). Das optimale Modell wird als Identifikationsergebnis ausgegeben (Schritt S127), wodurch der Prozess beendet wird.
Als Nächstes werden die Prozesse in den Schritten 5124, S125, S126 und S127 detailliert mit Bezugnahme auf 31 bis 41 beschrieben.
Im Schritt S124 werden die Referenzbreite W, Referenzhöhe H, Referenz-x-Koordinate x0 und Referenz-y-Koordinate y0 als Vorprozesse vor dem Erhalten der groben Informationen ermittelt. Zuerst wird die maximale Länge für horizontale gezogene Linien ermittelt. Unter den horizontalen gezogenen Linien, die ein Längenverhältnis über oder gleich einer vorherbestimmten Schwelle (beispielsweise 0,8) anzeigen, werden die erste und die letzte gezogene Linie als Referenzkontur der horizontalen gezogenen Linien erhalten.
Die maximale Länge wird auch für vertikale Linien ermittelt. Wie in dem Fall horizontaler gezogener Linien werden zwei vertikale gezogene Linien als Referenzkontur erhalten. Dann werden, in Bezug auf ein umschreibendes Rechteck der als Referenzkontur erhaltenen vier gezogenen Linien, eine Referenzbreite W, eine Referenzhöhe H und ein Referenzpunkt am oberen linken Eckpunkt mit den Referenzkoordinaten (x0, y0) bestimmt.
In dem wie in 31 gezeigten tabellenformatierten Dokument werden beispielsweise horizontale gezogene Linien 81 und 82 als Referenzkontur horizontaler gezogener Linien extrahiert, und vertikale gezogene Linien 83 und 84 werden als Referenzkontur vertikaler gezogener Linien extrahiert. Die Breite des umschreibenden Rechtecks der Referenzkontur gezogener Linien wird als Referenzbreite W und seine Höhe als Referenzhöhe H angesehen. Die Koordinaten des oberen linken Eckpunkts 85 des umschreibenden Rechtecks werden als Referenzkoordinaten (x0, y0) angesehen.
Kurze gezogene Linien wie die horizontalen gezogenen Linien 86 und 87 können aus Kandidaten für die Referenzkontur gezogener Linien entfernt werden, indem die Referenzkontur gezogener Linien unter den gezogenen Linien ausgewählt wird, die länger sind als eine aus der maximalen Länge berechnete Länge.
Die oben beschriebene Referenzbreite W, Höhe H und die Koordinaten (x0, y0) können auch wie folgt ermittelt werden. Zuerst werden Koordinatenwerte vmaxx, vminx, vmaxy, vminy, hmaxx, hminx, hmaxy, hminy als Kandidaten für Referenzkoordinaten wie folgt definiert.
vmaxx = (Maximalwert der x-Koordinate des unteren rechten Eckpunkts des vertikalen gezogenen Linienrechtecks)
vminx = (Minimalwert der x-Koordinate des oberen linken Eckpunkts des vertikalen gezogenen Linienrechtecks)
vmaxy = (Maximalwert der y-Koordinate des unteren rechten Eckpunkts des vertikalen gezogenen Linienrechtecks)
vminy = (Minimalwert der y-Koordinate des oberen linken Eckpunkts des vertikalen gezogenen Linienrechtecks)
hmaxx = (Maximalwert der x-Koordinate des unteren rechten Eckpunkts des horizontalen gezogenen Linienrechtecks )
hminx = (Minimalwert der x-Koordinate des oberen linken Eckpunkts des horizontalen gezogenen Linienrechtecks)
hmaxy = (Maximalwert der y-Koordinate des unteren rechten Eckpunkts des horizontalen gezogenen Linienrechtecks)
hminy = (Minimalwert der y-Koordinate des oberen linken Eckpunkts des horizontalen gezogenen Linienrechtecks)...(10)
Als Nächstes werden, gemäß diesen Koordinatenwerten, Kandidaten für eine Referenzbreite und eine Referenzhöhe durch die folgenden Gleichungen erhalten. W1 = vmaxx – vminx W2 = hmaxx – hminx H1 = hmaxy – hminy H2 = vmaxy – vminy (11)
Die Referenzbreite W wird erhalten durch W = max {W1, W2} (12), wobei x0 = vminx, wenn W = W1, und x0 = hminx, wenn W = W2.
Die Referenzbreite H wird erhalten durch H = min {H1, H2} (13),wobei y0 = hminy, wenn H = H1, und y0 = vminy, wenn H = H2. So werden die Referenzbreite W, Referenzhöhe H und Referenzkoordinaten (x0, y0) erhalten. Diese Verfahren ist jedoch dem Einfluss eines Rauschens, etc., unterworfen, verglichen mit dem oben beschriebenen Verfahren, und zeigt eine relativ geringere Robustheit.
Der obere linke Eckpunkt des umschreibenden Rechtecks der vier gezogenen Linien als Referenzkontur wird in dieser Ausführungsform als Referenzpunkt ausgewählt. Es kann auch ein optionaler Punkt am Umfang des umschreibenden Rechtecks wie ein unterer linker Eckpunkt, ein oberer rechter Eckpunkt, ein unterer rechter Eckpunkt, etc., als Referenzpunkt ausgewählt werden. In jedem Fall werden die folgenden Prozesse gemeinsam vorgenommen.
Auf der Basis der Größe der erhaltenen Tabelle und der Referenzkoordinate werden drei Merkmale (grobe Informationen) length1, twist und position aus der Länge jedes gezogenen Linienrechtecks und der zentralen Position ermittelt. In dem Fall horizontaler gezogener Linien werden diese Merkmale durch die folgende Gleichung auf der Basis der Länge L1 eines gezogenen Linienrechtecks 91 und seiner zentralen Koordinaten (x1, y1) berechnet, wie in 32 gezeigt. length1 = ganzzahliger Teil von [(L1/W) × 100] twist = ganzzahliger Teil von [((x1 – x0)/W) × 100] position = ganzzahliger Teil von [((y1 – y0)/H) × 100] (14)
In dem Fall vertikaler gezogener Linien werden diese Merkmale durch die folgende Gleichung auf der Basis der Länge L1 eines gezogenen Linienrechtecks 92 und der zentra len Koordinaten (x1, y1) berechnet, wie in 33 gezeigt. length1 = ganzzahliger Teil von [(L1/H) × 100] twist = ganzzahliger Teil von [((y1 – y0)/H) × 100] position = ganzzahliger Teil von [((x1 – x0)/W) × 100] (15)
In den berechneten Merkmalen zeigt length1 das relative Verhältnis der Länge der gezogenen Linie zur Größe der Tabelle an, und twist und position zeigen die relative Position der gezogenen Linie zum Referenzpunkt der Tabelle an.
Als Nächstes werden, in Schritt S125, detaillierte Informationen erhalten, die die relative Beziehung zwischen zwei gezogenen Linien anzeigen. Die detaillierten Informationen können durch drei Werte repräsentiert werden, das heißt, unter der Annahme, dass die Länge eines gezogenen Linienrechtecks 1 ist, length1 des anderen gezogenen Linienrechtecks; die Verschiebungslänge differ in der x-Richtung zwischen den Zentren der gezogenen Linienrechtecke, und die Verschiebungslänge height in der y-Richtung zwischen den Zentren der gezogenen Linienrechtecke.
Zuerst werden alle Kombination von zwei horizontalen gezogenen Linien extrahiert. In jeder Kombination ist die Länge eines gezogenen Linienrechtecks 93 (höhere Sortierreihenfolge) L1, die zentralen Koordinaten des Rechtecks 93 sind (x1, y1), die Länge des anderen gezogenen Linienrechtecks 94 (niedrigere Sortierreihenfolge) ist L2, und die zentralen Koordinaten des Rechtecks 94 sind (x2, y2), wie in 34 gezeigt. Zu dieser Zeit werden die Verschiebung dw in der x-Richtung und die Verschiebung dh in der y-Richtung zwischen den Zentren der gezogenen Linienrechtecke durch die folgenden Gleichungen auf der Basis des Zentrums des gezogenen Linienrechtecks 93 definiert. dw = x2 – x1 dh = y2 – y1 (16)
Wenn das Zentrum des gezogenen Linienrechtecks 94 rechts vom Zentrum des gezogenen Linienrechtecks 93 lokalisiert ist, ist gemäß dieser Definition dw ein positiver Wert. Wenn das Zentrum des gezogenen Linienrechtecks 94 links vom Zentrum des gezogenen Linienrechtecks 93 lokalisiert ist, ist dw ein negativer Wert. Wenn das Zentrum des gezogenen Linienrechtecks 94 unter dem Zentrum des gezogenen Linienrechtecks 93 lokalisiert ist, ist dh ähnlich ein positiver Wert. Wenn das Zentrum des gezogenen Linienrechtecks 94 über dem gezogenen Linienrechteck 93 lokalisiert ist, ist dh ein negativer Wert.
Die oben beschriebenen drei Merkmale length2, differ und height werden durch die folgende Gleichung berechnet. length2 = L2/L1 differ = dw/L1 height = dh/L1 (17-1)
Ähnlich werden alle Kombination von zwei vertikalen gezogenen Linien extrahiert. In jeder Kombination ist die Länge eines gezogenen Linienrechtecks 95 (höhere Sortierreihenfolge) L1, die zentralen Koordinaten des Rechtecks 95 sind (x1, y1), die Länge des anderen gezogenen Linienrechtecks 96 (niedrigere Sortierreihenfolge) ist L2, und die zentralen Koordinaten des Rechtecks 96 sind (x2, y2), wie in 35 gezeigt. Dann werden dw und dh durch die Gleichung (16) erhalten, und detaillierte Informationen length2, differ und height werden durch die folgende Gleichung berechnet. length2 = L2/L1 differ = dh/L1 height = dw/L1 (17-2)
In Gleichung (17-2), verglichen mit Gleichung (17-1), sind die Definition von differ und height umgekehrt. Dann wird, in Schritt S126, die Ähnlichkeit einer Form durch das Vergleichen der groben Informationen und detaillierten Informationen über ein eingegebenes Bild mit jenen über jedes Modell berechnet. Der Vergleich wird getrennt für horizontale gezogene Linien und vertikale gezogene Linien durchgeführt.
36 ist ein Flussdiagramm, das einen solchen Modellabgleichprozess zeigt. Wenn der Prozess startet, generiert die Verwaltungsinformations-Extraktionsvorrichtung zuerst eine in 37 gezeigte p × m Tabelle, mit p als Anzahl horizontaler gezogener Linien eines eingegebenen Bilds eines unbekannten Dokuments, und m als Anzahl horizontaler gezogener Linien eines Modells (Schritt S131).
In diesem Beispiel gilt: p = 12, m = 15, und die Reihen- und Spaltennummern der Tabelle beginnen mit 0. Das Element (Feld) der j-ten Spalte in der i-ten Reihe in der Tabelle sind Daten, die die Entsprechungsbeziehung zwischen der i-ten gezogenen Linie des eingegebenen Bilds und der j-ten gezogenen Linie des Modells anzeigen. Eine solche Tabelle wird hier im Nachstehenden als Abgleichtabelle bezeichnet.
Dann wird, gemäß den groben Informationen, bestimmt, ob die i-te horizontale gezogene Linie IP(i) eines eingegebenen Bilds der j-ten horizontalen gezogenen Linie MO(j) eines Modells entspricht oder nicht. Wenn eine Möglichkeit besteht, dass sie einander entsprechen, wird ein Knoten dem Element in der j-ten Spalte in der i-ten Reihe in der Abgleichtabel le zugeteilt (Schritt S132). So wird eine Kombination der horizontalen gezogenen Linie IP(i) und der horizontalen gezogenen Linie MO(j) auf der Abgleichtabelle beschrieben. Zu dieser Zeit wird die Bedingung der Möglichkeit einer Entsprechung nicht streng eingestellt, sondern ermöglicht, dass eine gezogene Linie einer Vielzahl gezogener Linien entspricht.
In diesem Beispiel werden die groben Informationen (length1, twist und position) der gezogenen Linie IP(i) jeweils als (ip1, ipt und ipp) eingestellt, und die groben Informationen der gezogenen Linie MO(j) werden jeweils als (mol, mot und mop) eingestellt. Wenn die Differenz zwischen den entsprechenden Werten kleiner ist als ein vorherbestimmter Wert, wird bestimmt, dass die gezogene Linie IP(i) der gezogenen Linie MO(j) entsprechen kann.
Eine praktische Bedingung für die Möglichkeit wird durch die folgende Gleichung eingestellt. |ip1 – mo1| < β ipt – mot| < β ipp – mop| < α (18),wobei die Parameter α und β Schwellen sind, die jeweils von der Anzahl horizontaler gezogener Linien und der Anzahl vertikaler gezogener Linien in der Tabelle abhängen.
Diese Parameter α und β, die von der Anzahl gezogener Linien abhängen, sind positive ganze Zahlen. Je kleiner die Anzahl gezogener Linien ist, desto größere Werte zeigen sie an. Je größer die Anzahl gezogener Linien ist, desto kleinere Werte zeigen sie an. Zu dieser Zeit erweitert die Bedingung der Ungleichungen (18) den Bereich einer Suche in einem Abgleichprozess, wenn die Dichte der gezogenen Linien in der Tabelle niedrig ist, reduziert jedoch den Bereich einer Suche in dem Abgleichprozess, wenn die Dichte der gezogenen Linien hoch ist. Die Parameter α und β können beispielsweise als Funktionen definiert werden, die in Abhängigkeit von der Anzahl horizontaler und vertikaler gezogener Linien einfach abnehmen, wie in 38 gezeigt.
So kann die Ähnlichkeit zwischen einem eingegebenen Bild und einem Modell im relativen Merkmal zum Umrissabschnitt einer Tabelle extrahiert werden, indem die Entsprechungsbeziehung zwischen gezogenen Linien, deren grobe Informationen ähnlich sind, durch einen Knoten repräsentiert wird.
Als Nächstes wird, gemäß den detaillierten Informationen, in angeordneten Knoten nach einer Kombination jener gesucht, die eine vorherbestimmte Beziehung erfüllen, das heißt jene, die miteinander kompatibel sind (Schritt S133), und es wird davon ausgegangen, dass die kompatiblen Knoten zur selben Gruppe gehören und miteinander durch einen Pfad verbunden sind.
Wenn der Knoten n(i, j) in der j-ten Spalte in der i-ten Reihe und der Knoten n(k, 1) in der 1-ten Spalte in der k-ten Reihe die vorherbestimmte Beziehung erfüllen, zeigt dies an, dass die Beziehung zwischen der i-ten gezogenen Linie und der k-ten gezogenen Linie eines eingegebenen Bilds proportional zur Beziehung zwischen der j-ten gezogenen Linie und der 1-ten gezogenen Linie eines Modells ist. Das heißt, wenn die i-te gezogene Linie eines eingegebenen Bilds die j-te gezogene Linie eines Modells überlappt, überlappt die k-te gezogene Linie eines eingegebenen Bilds die 1-te gezogene Linie eines Modells.
Die Verbindung dieser Knoten durch einen Pfad ermöglicht die Klassifikation der Knoten in einige Gruppen. Je größer die Anzahl von Knoten ist, die eine Gruppe enthält, desto höher ist die Ähnlichkeit zwischen einem eingegebenen Dokument und einem Modell, das die Gruppe repräsentiert. Daher kann die Ähnlichkeitsberechnung effektiv in einem Modellabgleichprozess an einer solchen Gruppe vorgenommen werden, die eine große Anzahl von Knoten enthält.
Wenn nach einem Knoten gesucht wird, der mit einem spezifizierten Knoten kompatibel ist, wird immer eine Suche mit den Knoten in einem Bereich schräg unter und rechts von dem spezifizierten Knoten vorgenommen, um die Effizienz des Prozesses zu verbessern. So wird keine Clique wie in 29 gezeigt generiert, und ein Pfad, der eine große Anzahl von Knoten verbindet, kann mit einer hohen Geschwindigkeit erhalten werden. Ein praktischer Prozess des Generierens eines Pfads wird im Nachstehenden beschrieben.
Dann werden konsistente Kombinationen von Pfaden unter dem erhaltenen Satz von Pfaden ermittelt, und werden nach der einen durchsucht, die die größte Anzahl von Knoten enthält (Schritt S134). Die detektierte Kombination von Pfaden ist als optimaler Pfadsatz definiert. Eine konsistente Kombination von Pfaden zeigt an, dass die Zonen eines Satzes gezogenen Linien, die den Knoten in jeweiligen Pfaden entsprechen, einander nicht überlappen.
In der in 37 gezeigten Abgleichtabelle werden zwei Fälle berücksichtigt, in denen die Zonen von zwei gezogenen Liniensätzen einander überlappen. Einer ist der Fall, wie in 39 gezeigt, dass eine Sequenzbeziehung zwischen einem eingegebenen Bild und einem Modell umgekehrt wird. Der andere ist der Fall, wie in 40 gezeigt, dass zwei oder mehrere gezogene Linien einer gezogenen Linie entsprechen.
In der in 39 gezeigten Abgleichtabelle wird davon ausgegangen, dass die Zone der gezogenen Linien auf der Seite des Modells, welche zu einer Gruppe gehören, die durch durchgehende Linien angezeigt wird, sich von der 0-ten bis zur 9-ten gezogenen Linie erstreckt. Es wird davon ausge gangen, dass sich die Zone der gezogenen Linien auf der Seite des Modells, welche zu einer Gruppe gehören, die durch gestrichelte Linien angezeigt wird, von der 7-ten bis zur 8-ten gezogenen Linie erstreckt. Daher überlappen einander die Zonen der zwei gezogenen Liniensätze. Ähnlich überlappen einander, in 40, die Zonen der gezogenen Liniensätze der durch durchgehende Linien und gestrichelte Linien angezeigten Gruppen auf der Seite des Modells.
In dem optimalen Pfadsatz, der keine inkonsistenten Kombinationen von Pfaden enthält, überlappen einander die Zonen gezogener Liniensätze nicht an einer der beiden Seiten eines eingegebenen Bilds oder eines Modells, wie in 41 gezeigt. So wird die Entsprechungsbeziehung unter den gezogenen Linien, welche durch Knoten repräsentiert werden, die in dem optimalen Pfadsatz enthalten sind, als optimale Entsprechung bezeichnet.
Als Nächstes wird unter der Annahme, dass die Anzahl horizontaler gezogener Linien eines eingegebenen Bilds ph ist, die Anzahl horizontaler gezogener Linien eines Modells mh ist, und die Anzahl von Knoten, die in dem optimalen Pfadsatz für die horizontalen gezogenen Linien enthalten sind, maxh ist, die Ähnlichkeit SH zwischen den horizontalen gezogenen Linien des eingegebenen Bilds und des Modells durch die folgende Gleichung berechnet (Schritt S135). SH = maxh/ph + maxh/mh (19)
Die Ähnlichkeit SH zeigt die Summe des Verhältnisses gezogener Linien, die dem optimalen Pfadsatz in den gezogenen Linien des eingegebenen Bilds entsprechen, und des Verhältnisses gezogener Linien, die dem optimalen Pfadsatz in den gezogenen Linien des Modells entsprechen, an. Normalerweise gilt, je ähnlicher die Merkmale des eingegebenen Bilds den Merkmalen des Modells sind, desto größer wird die Summe. Die Verwaltungsinformations-Extraktionsvorrichtung verarbeitet die vertikalen gezogenen Linien wie in den Prozessen, die an den horizontalen gezogenen Linien in den Schritten S131 bis S135 vorgenommen werden. Unter der Annahme, dass die Anzahl vertikaler gezogener Linien eines eingegebenen Bilds pv ist, die Anzahl vertikaler gezogener Linien eines Modells mv ist, und die Anzahl von Knoten, die in dem optimalen Pfadsatz für die vertikalen gezogenen Linien enthalten sind, maxv ist, wird die Ähnlichkeit SV zwischen den vertikalen gezogenen Linien des eingegebenen Bilds und des Modells durch die folgende Gleichung berechnet. SV = maxv/pv + maxv/mv (20)
Schließlich wird die Ähnlichkeit S der gezogenen Linien zwischen dem eingegebenen Bild und dem Modell durch die folgende Gleichung unter Verwendung von SH und SV berechnet, wodurch der Modellabgleichprozess beendet wird. S = SH + SV (21)
Die Ähnlichkeit zwischen einem Modell und einem eingegebenen Bild wird beispielsweise berechnet, indem der oben beschriebene Abgleichprozess unter Verwendung jedes Kandidaten einer durch die grobe Klassifikation erhaltenen Tabelle als Modell vorgenommen wird. In Schritt S127 wird das die höchste Ähnlichkeit anzeigende Modell als optimales Modell ausgegeben. So kann eine Wörterbuchform erhalten werden, die dem eingegebenen Bild entspricht.
Als Nächstes werden der Knotenanordnungsprozess, der Pfadgenerierungsprozess und der Prozess zum Bestimmen des optimalen Pfadsatzes, die in 36 gezeigt sind, weiter detailliert unter Bezugnahme auf 42 bis 48 beschrieben. 42 ist ein Flussdiagramm, das den Knotenanordnungsprozess in dem in 36 gezeigten Schritt S132 zeigt. In 42 sind die groben Informationen length1, twist und position der i-ten gezogenen Linie eines eingegebenen Bilds jeweils durch ipl(i), ipt(i) und ipp(i) repräsentiert, und die groben Informationen über die j-te gezogene Linie eines Modells sind durch mol(j), mot(j) und mop(j) repräsentiert.
Die das Element in der j-ten Spalte in der i-ten Reihe auf der Abgleichtabelle anzeigenden Daten sind durch sign (i, j) repräsentiert. wenn sign (i, j) = 0, ist kein Knoten an einem entsprechenden Element festgelegt. Wenn sign (i, j) = 1, ist ein Knoten an dem entsprechenden Element festgelegt.
Wenn der Prozess startet, bestimmt die Verwaltungsinformations-Extraktionsvorrichtung zuerst, ob die Bedingung ipp (i) – mop (j)| < α erfüllt ist oder nicht (Schritt S141). Wenn die Bedingung nicht erfüllt ist, wird sign (i, j) auf 0 eingestellt (Schritt S142), wodurch der Prozess beendet wird.
Wenn die Bedingung in Schritt S141 erfüllt ist, dann bestimmt die Verwaltungsinformations-Extraktionsvorrichtung, ob die Bedingung |ipt(i) – mot(j)| < β erfüllt ist oder nicht (Schritt S143). Wenn die Bedingung nicht erfüllt ist, wird sign (i, j) auf 0 eingestellt (Schritt S144), wodurch der Prozess beendet wird.
Wenn die Bedingung in Schritt S143 erfüllt ist, dann bestimmt die Verwaltungsinformations-Extraktionsvorrichtung, ob die Bedingung |ipl(i) – mol(j)| < β erfüllt ist oder nicht (Schritt S145). Wenn die Bedingung nicht erfüllt ist, wird sign (i, j) auf 0 eingestellt (Schritt S146), wodurch der Prozess beendet wird. Wenn die Bedingung in Schritt S145 erfüllt ist, dann wird sign (i, j) auf 1 eingestellt, und der Knoten wird in der j-ten Spalte in der i-ten Reihe festgelegt (Schritt S147), wodurch der Prozess beendet wird.
Die oben beschriebenen Prozesse werden für alle Positionen (i, j) der Abgleichtabelle vorgenommen, so dass Knoten, welche die Entsprechung zwischen zwei gezogenen Linien anzeigen, deren grobe Informationen einander ähnlich sind, an der Position festgelegt werden, die den gezogenen Linien entspricht.
43 und 44 sind Flussdiagramme, die den Pfadgenerierungsprozess in dem in 36 gezeigten Schritt S133 zeigen. Wenn der Prozess startet, nimmt die Verwaltungsinformations-Extraktionsvorrichtung zuerst einen Initialisierungsprozess vor (in 43 gezeigter Schritt S151). In diesem Prozess wird die Position (i, j) des Elements, an dem ein Knoten auf der Abgleichtabelle festgelegt ist, als Knotenfolge in einem Speicherbereich in dem Speicher gespeichert. Die Knoten werden in einer aufsteigenden Reihenfolge von Reihennummern i in dem Speicherbereich gespeichert. Wenn Knoten dieselbe Reihennummer i zugeordnet wird, werden sie in einer aufsteigenden Reihenfolge von Spaltennummern j angeordnet. Jedem Knoten in einer Knotenfolge wird eine Flagge zugeordnet, die anzeigt, ob er durch einen Pfad verbunden ist oder nicht.
Die Knotenfolge in dem Speicherbereich, der der in 37 gezeigten Abgleichtabelle entspricht, ist beispielsweise wie in 45 gezeigt. In dem in 45 gezeigten Speicherbereich werden die Positionen (0, 0), (1, 0), (1, 1), (2, 0), ..., (11, 14) der Knoten auf der Abgleichtabelle sequentiell gespeichert, und die werte der Flaggen werden auf 1 initialisiert. wenn der Wert einer Flagge 1 ist, zeigt dies an, dass ein entsprechender Knoten noch nicht durch einen Pfad verbunden ist.
Als Nächstes wird auf die führenden Daten in dem Spei cherbereich zugegriffen (Schritt S152), und i und j werden aus dem Zugriffspunkt gelesen, um das Element auf der Abgleichtabelle zu markieren, das der Position entspricht (Schritt S153). Der Knoten des markierten Elements wird als Referenzknoten definiert, wobei "sign" des Elements auf 0 eingestellt wird, und die entsprechende Flagge in dem Speicherbereich auf 0 eingestellt wird (Schritt S154).
Dann wird der Wert der Steuervariablen "count" auf 0 eingestellt (Schritt S155), und es wird geprüft, ob das markierte Element der letzten Spalte der Abgleichtabelle entspricht oder nicht, oder ob der wert von "count" eine vorherbestimmte Konstante h erreicht hat oder nicht (Schritt S156). Wenn diese Bedingungen nicht erfüllt sind, wird die markierte Position um eine Spalte nach rechts bewegt (Schritt S157), und es wird geprüft, ob die Position der Marke der letzten Reihe entspricht oder nicht (Schritt S158).
Wenn die Position der Marke der letzten Reihe entspricht, dann wird 1 zu dem Wert von "count" addiert (Schritt S159), und die Prozesse in und nach dem Schritt S156 werden wiederholt. Wenn die Position der Marke der letzten Reihe entspricht, wird die Marke um eine Reihe nach unten bewegt (Schritt S160), und es wird geprüft, ob "sign" des markierten Elements 0 oder 1 ist (Schritt S161).
Wenn der Wert 0 ist, sind keine Knoten an der Position der Marke festgelegt. Daher werden die Prozess in und nach dem Schritt S158 wiederholt, um ein weiteres Element in der Spalte zu prüfen. Wenn "sign" 1 anzeigt, dann ist ein Knoten an der Position der Marke festgelegt, und es wird bestimmt, ob der Knoten mit dem Referenzknoten durch einen Pfad verbunden werden kann oder nicht (Schritt S162). Unter Verwendung der detaillierten Informationen, das heißt length2, differ und height, zwischen den gezogenen Linien, die den Knoten entsprechen, wird bestimmt, ob die beiden Knoten durch einen Pfad verbunden werden können oder nicht.
Beispielsweise werden, wie in 46 gezeigt, die detaillierten Informationen, welche die Beziehung zwischen der gezogenen Linie 101, die dem Referenzknoten entspricht, und der gezogenen Linie 102, die dem in dem eingegebenen Bild zu bestimmenden Knoten entspricht, anzeigen, als length2 = L2/L1, differ = dw/L1 und height = dh/L1 eingestellt.
In dem Modell werden die detaillierten Informationen, welche die Beziehung zwischen der gezogenen Linie 103, die dem Referenzknoten entspricht, und der gezogenen Linie 104, die dem zu bestimmenden Knoten entspricht, anzeigen, als length2 = L2'/L1', differ = dw'/L1' und height = dh'/L1' eingestellt.
Wenn die folgenden Ungleichungen unter Verwendung der empirischen Schwellen ε1, ε2 und ε3 erfüllt sind, ist zu dieser Zeit der Referenzknoten mit dem zu bestimmenden Knoten kompatibel, und sie können durch einen Pfad miteinander verbunden werden. |L2/L1-L2'/L1'| < ε1 |dw/L1-dw'/L1'| < ε2 |dh/L1-dh'/L1'| < ε3 (22)
Indem die Schwellen ε1, ε2 und ε3 ausreichend klein eingestellt werden, zeigen die Ungleichungen (22) an, dass die Grafiken, die die gezogenen Linien 101 und 102 umfassen, den Grafiken ähnlich sind, die die gezogenen Linien 103 und 104 umfassen. Wenn diese gezogenen Liniengrafiken einander ähnlich sind, dann besteht eine große Wahrscheinlichkeit, dass die gezogene Linie 102 der gezogenen Linie 104 entspricht, wenn die gezogene Linie 101 der gezogenen Linie 103 entspricht. So wird davon ausgegangen, dass diese beiden Knoten miteinander kompatibel sind.
So kann, unter einer solchen Ähnlichkeitsbedingung zum Festlegen eines Pfads, die Anzahl von Bestimmungen einer Kompatibilität zwischen Knoten reduziert werden. Wenn der Knoten 97 beispielsweise ein Referenzknoten in der in
37 gezeigten Abgleichtabelle ist, dann wird davon ausgegangen, dass der Knoten 98 mit dem Knoten 99 unter der Bedingung kompatibel ist, dass der Knoten 97 mit dem Knoten 98 kompatibel ist, und der Knoten 97 mit dem Knoten 99 kompatibel ist.
Wenn bestimmt wird, dass der Knoten 99 mit dem Referenzknoten 97 durch einen Pfad verbunden werden kann, dann wird bestimmt, dass der Knoten 99 auch durch einen Pfad mit dem Knoten 98 verbunden werden kann, der bereits mit dem Referenzknoten 97 durch einen Pfad verbunden ist.
Wenn der an der Marke positionierte Knoten nicht mit dem Referenzknoten durch einen Pfad verbunden werden kann, werden die Prozesse in und nach dem Schritt S158 wiederholt, um einen weiteren Knoten in derselben Spalte zu prüfen. wenn sie miteinander durch einen Pfad verbunden werden können, dann wird die Flagge in dem Speicherbereich, der dem an der Marke positionierten Knoten entspricht, auf 0 umgeschrieben (Schritt S163). So wird aufgezeichnet, dass der Knoten mit dem Referenzknoten oder einem Knoten unmittelbar vor dem Knoten auf dem Pfad verbunden ist. Dann werden die Prozesse in und nach dem Schritt S156 wiederholt, um den Knoten der nächsten Spalte zu prüfen.
In den Prozessen in und nach dem Schritt S156 wird die Position der Marke um eine Spalte nach vorne bewegt, und dann um eine Reihe, um das Element rechts schräg darunter zu suchen. Ein Pfad kann sequentiell in einer Richtung schräg unten und nach rechts in der Abgleichtabelle erweitert werden, indem die oben beschriebenen Prozesse wiederholt werden.
Wenn die Bedingung in Schritt S156 erfüllt ist, wird geprüft, ob die Anzahl von hits der von dem Referenzknoten ausgehenden Pfade zwei oder mehr ist (in 44 gezeigter Schritt S164). Die Anzahl von hits bezieht sich auf die Anzahl von Knoten auf dem Pfad. Wenn die Anzahl von Knoten auf dem Pfad zwei oder mehr ist, dann wird der Pfad formal registriert, und die Informationen über die Knoten auf dem Pfad werden gespeichert (Schritt S165). Wenn die Anzahl der Knoten auf dem Pfad 1 ist, dann zeigt dies an, dass es keine Pfade gibt, die vom Referenzknoten zu einem beliebigen anderen Knoten verlaufen. Als Ergebnis wird der Pfad nicht registriert.
Als Nächstes wird geprüft, ob Daten in dem Speicherbereich zurückbleiben, auf die nicht zugegriffen wurde, oder nicht (Schritt S166). Wenn die Daten vorliegen, wird der Zugriffspunkt in dem Speicherbereich um Eins nach vorne bewegt (Schritt S167), und der Wert der Flagge an der Position wird geprüft (Schritt S168). Wenn die Flagge 0 anzeigt, dann wurde der Knoten an der Position bereits zu dem Pfad hinzugefügt, und die nächsten Daten werden geprüft, indem die Prozess in und nach dem Schritt S166 wiederholt werden.
Wenn die Flagge 1 anzeigt, dann wurde der Knoten an der Position nicht zu dem Pfad hinzugefügt. Daher werden die Prozesse in und nach dem Schritt S153 wiederholt. So wird ein neuer Pfad generiert, wobei der Knoten als neuer Referenzknoten definiert wird. Wenn in dem Schritt S166 der Zugriffspunkt in dem Speicherbereich den Folgepunkt erreicht, dann wird der Prozess beendet.
47 ist ein Flussdiagramm, das den Prozess zum Bestimmen des optimalen Pfadsatzes in dem in 36 gezeigten Schritt S134 zeigt. In diesem Prozess wird eine Abgleichtabelle aus p Reihen und m Spalten horizontaler gezogener Linien oder vertikaler gezogener Linien unter Verwendung des Arrays score (i) (i = 0, 1, 2,..., m), das die Anzahl von Knoten eines vorläufigen Pfadsatzes für den optimalen Pfadsatz anzeigt, und des Arrays rireki (i) (i = 0, 1, 2,..., m), das die Reihennummer anzeigt, bearbeitet.
Wenn der Prozess startet, stellt die Verwaltungsinformations-Extraktionsvorrichtung zuerst score (m), das den Initialwert der Anzahl von Knoten des optimalen Pfadsatzes anzeigt, auf 0 ein, und stellt rireki (m), das den Initialwert der Reihennummer anzeigt, auf p-1 ein (Schritt S171).
Als Nächstes wird die Variable i, die die Spaltennummer anzeigt, auf m-1 eingestellt (Schritt S172), und in den registrierten Pfaden wird ein Satz von Pfaden, die den oberen linken Knoten, der der Spaltennummer i entspricht, als Startpunkt einschließen, als Path (i) eingestellt (Schritt S173). Dann wird score (i) gleich score (i + 1) eingestellt, und rireki (i) wird gleich rireki (i + 1) eingestellt (Schritt S174). score (i) zeigt die Anzahl von Knoten des vorläufigen Pfadsatzes in der Zone von der i-ten Spalte zur letzten Spalte (m-1-ten Spalte) an.
Als Nächstes wird einer der Pfade aus dem Satz Path (i) erhalten, und score (i) wird gemäß den Informationen über seinen Knoten aktualisiert (Schritt S175). Dann wird geprüft, ob ein Pfad in dem Satz Path (i) zurückbleibt oder nicht (Schritt S176). Wenn ja, wird der nächste Pfad ermittelt, und die Berechnung von score (i) wird wiederholt. Wenn die Berechnung aller Pfade in dem Satz Path (i) vollendet ist, wird bestimmt, ob i 0 erreicht hat oder nicht (Schritt S177). Wenn i gleich oder größer als 1 ist, wird i auf i-1 eingestellt (Schritt S178), und die Prozesse in und nach dem Schritt S173 werden wiederholt. Wenn i 0 erreicht hat, wird der erhaltene Wert von score (0) als die Anzahl von Knoten des finalen optimalen Pfadsatzes definiert (Schritt S179), wodurch der Prozess beendet wird.
Der aus der Abgleichtabelle horizontaler gezogener Linien erhaltene Wert von score (0) wird als maxh in der Gleichung (19) bei der Berechnung der Ähnlichkeit verwendet. Der aus der Abgleichtabelle vertikaler gezogener Linien erhaltene Wert von score (0) wird als maxv in der Gleichung (20) bei der Berechnung der Ähnlichkeit verwendet.
Als Nächstes wird der Knotenanzahl-Aktualisierungsprozess in dem in 47 gezeigten Schritt S175 mit Bezugnahme auf 48 beschrieben. Wenn der Knotenanzahl-Aktualisierungsprozess startet, fragt die Verwaltungsinformations-Extraktionsvorrichtung zuerst einen der Pfade aus dem Satz Path (i) ab. Die Reihennummer des Startpunkts des Pfads wird als sg eingestellt, und die Spaltennummer und die Reihennummer des Knotens an dem unteren rechten Endpunkt des Pfads werden jeweils als er und eg eingestellt. Die Anzahl von in dem Pfad enthaltenen Knoten wird als "hits" eingestellt (Schritt S181).
In der in 37 gezeigten Abgleichtabelle enthält beispielsweise der Pfad (11) die Pfade p1 und p2 in dem Bereich schräg unten rechts, wenn i = 11. Für den Pfad p1 sind die Werte sg, er und eg jeweils 8, 14 und 11. Für den Pfad p2 sind die Werte sg, er und eg jeweils 6, 12 und 7.
Als Nächstes wird die Variable j, die die Spaltennummer anzeigt, auf er + 1 eingestellt (Schritt S182), und der Wert von eg wird direkt mit rireki (j) verglichen (Schritt S183). Wenn der Wert von eg größer ist als rireki (j), wird in diesem Fall bestimmt, ob score (j) + hits > score (i) erfüllt ist oder nicht, oder ob sowohl score (j) + hits = score (i) als auch eg < rireki (i) erfüllt sind oder nicht (Schritt S184).
Wenn eine der beiden oben beschriebenen Bedingungen erfüllt ist, wird score (i) als score (j) + hits eingestellt, und rireki (i) wird als eg eingestellt (Schritt S185), wodurch der Prozess beendet wird.
Wenn eg gleich oder kleiner als rireki (j) in Schritt S183 ist, oder keine der Bedingungen in Schritt S184 erfüllt ist, dann wird j auf j + 1 eingestellt (Schritt S186), und j wird mit m verglichen (Schritt S187). Wenn j gleich oder kleiner als m ist, dann werden die Prozesse in und nach dem Schritt S183 wiederholt. Wenn j m überschreitet, dann endet der Prozess.
So wird ein neuer vorläufiger Pfadsatz für den optimalen Pfadsatz aus Sätzen extrahiert, die jeweils durch das Hinzufügen eines Pfads zur vorläufigen Pfadsatzbestimmung des unmittelbar vorhergehenden Prozesses erhalten werden, und die Anzahl seiner Knoten wird in score (i) aufgezeichnet. Die Anzahl von Knoten des vorläufigen Pfadsatzes für den optimalen Pfadsatz in der Zone von der i-ten Spalte zur letzten Spalte wird erhalten, indem diese Prozesse an allen Pfaden von Path (i) wiederholt werden.
In 37 können beispielsweise zwei Kombination, das heißt nur der Pfad p1 und die Kombination der Pfade p2 und p3, als Kombination konsistenter Pfade in der Zone von der 11-ten Spalte zur letzten Spalte angesehen werden. Da die Anzahl von Knoten dieser Kombinationen in beiden Fällen 4 ist, ist score (11) gleich 4.
Der oben beschriebene Formenidentifikationsprozess wird nicht nur bei der Verwaltungsinformations-Extraktionsvorrichtung angewendet, sondern auch bei einer beliebigen Bilderkennungsvorrichtung, wie einer Dokumentenerkennungsvorrichtung, einer Zeichnungslesevorrichtung, etc., und ist effektiv bei der Identifikation der Struktur gezogener Linien eines willkürlichen Bilds.
In dem oben erläuterten Formenidentifikationsprozess wird die Beziehung unter gezogenen Linien als Merkmal ver wendet. Daher kann eine stabile und korrekte Identifikation erzielt werden, auch wenn ein Teil gezogener Linien aufgrund einer Unterbrechung in einer Linie oder eines Rauschens, etc., nicht erfolgreich extrahiert werden kann, wenn die Struktur der gezogenen Linien aus einem eingegebenen tabellenformatierten Dokument extrahiert wird, und mit der Form des eingetragenen tabellenformatierten Dokuments abgeglichen wird. Insbesondere kann eine hohe Robustheit erhalten werden, indem eine breite Bedingung für die Anordnung von Knoten eingestellt wird, um die Verschlechterung der Präzision beim Extrahieren von Konturen gezogener Linien zu reduzieren, bei denen es wahrscheinlich ist, dass sie aufgrund des Einflusses eines Rauschens instabil extrahiert werden.
Eine stabile und korrekte Identifikation kann bei der Abänderung einer Form erzielt werden, indem eine Reihe hinzugefügt oder gelöscht wird, wenn der optimale Pfadsatz als Kombination von einem oder mehren Pfaden erhalten wird.
Ferner kann die Anzahl von Kompatibilitätsprüfprozessen reduziert werden, indem eine Übergangskompatibilitätsbedingung in Bezug auf zwei Knoten eingestellt wird, wodurch ein Hochgeschwindigkeits-Identifikationsprozess vorgenommen wird.
Gemäß der vorliegenden Erfindung können die Form eines Bilds eines tabellenformatierten Dokuments, etc., und die Position von Verwaltungsinformationen automatisch erlernt und in dem Wörterbuch gespeichert werden. Daher kann, gemäß den gespeicherten Informationen, die Position der Verwaltungsinformationen in einem willkürlichen eingegebenen Bild mit hoher Präzision berechnet werden.
Da ein Merkmal, das gegenüber der Fluktuation von Bildinformationen stabil ist, verwendet wird, können insbesondere Verwaltungsinformationen aus einem unterbrochenen oder verzerrten Dokumentenbild erfolgreich extrahiert werden.
Ferner können die Verwaltungsinformationen mit einer hohen Geschwindigkeit extrahiert werden, da Prozesse zum Erlernen und Vergleichen von Formen vorgenommen werden, während Kandidaten in zwei Schritten progressiv begrenzt werden, das heißt in einer groben Klassifikation und einer detaillierten Identifikation, und die detaillierte Identifikation wird in einem eindimensionalen Abgleich unter Verwendung des Merkmals der Umrissform einer Tabelle vorgenommen.
Da die Verwaltungsinformationen unter Verwendung nicht nur eines Zeichencodes, sondern auch eines Bilds selbst gespeichert und abgefragt werden, können gegebenenfalls sogar schwierige Zeichen wie texturierte Zeichen, etc., die zu erkennen sind, als Verwaltungsinformationen bearbeitet werden.

Claims

Vorrichtung zum Extrahieren von Informationen aus Tabellenformen, mit: einer Wörterbucheinrichtung (23, 31 und 73) zum Speichern von einem Merkmal einer Struktur gezogener Linien in einer Vielzahl von Tabellenformen und Positionsinformationen von Informationen in jeder der Tabellenformen; einer Vergleichseinrichtung (24) zum Vergleichen eines Merkmals einer Struktur gezogener Linien eines eingegebenen Bilds mit dem Merkmal der Struktur der in der Wörterbucheinrichtung (23, 31 und 73) gespeicherten gezogenen Linien; einer Extraktionseinrichtung (25) zum Bezugnehmen auf die Positionsinformationen der in der Wörterbucheinrichtung (23, 31 und 73) gespeicherten Informationen auf der Basis eines Vergleichsergebnisses von der Vergleichseinrichtung (24), und Extrahieren der Informationen über das eingegebene Bild; und einer Benutzereintragseinrichtung (21) zum Anzeigen eines Bilds einer der Tabellenformen, die eine Vielzahl rechteckiger Zellen umfasst, Instruieren eines Benutzers, eine der Vielzahl rechteckiger Zellen auszuwählen, und Eintragen von Positionsinformationen einer von dem Benutzer ausgewählten rechteckigen Zelle in die Wörterbucheinrichtung (23, 31 und 73) als Positionsinformationen von Informationen in der einen der Tabellenformen; dadurch gekennzeichnet, dass: die Vorrichtung eine Verwaltungsinformations-Extraktionsvorrichtung zum Extrahieren von Verwaltungsinformationen über Bilder der Tabellenformen zur Verwendung beim Verwalten der Bilder ist; dass die Extraktionseinrichtung eingerichtet ist, ein Tabellenrechteck, das eine Tabelle umgibt, aus dem eingegebenen Bild zu extrahieren, Zeichenfolgenrechtecke aus dem Tabellenrechteck zu extrahieren, gezogene Linienabschnitte aus dem Inneren der Zeichenfolgenrechtecke als Grenze zum Teilen der Zeichenfolgenrechtecke zu extrahieren, die Anzahl von Zeichen in jedem Zeichenfolgenrechteck zu zählen, und Zeichenfolgenrechtecke, die eine vorherbestimmte Bedingung in Bezug auf die Anzahl von Zeichen erfüllen, als Vielzahl rechteckiger Zellen zu extrahieren, wenn das eingegebene Bild keiner der Vielzahl von Tabellenformen als Ergebnis des von der Vergleichseinrichtung erhaltenen Vergleichs entspricht; und dass die Benutzereintragseinrichtung (21) die Vielzahl von der Extraktionseinrichtung extrahierter rechteckiger Zellen dem Benutzer in der Reihenfolge der höchsten Priorität präsentiert, um es dem Benutzer zu ermöglichen, eine der Vielzahl rechteckiger Zellen auszuwählen, wodurch Positionsinformationen einer ausgewählten rechteckigen Zelle und ein Merkmal einer Struktur gezogener Linien in dem eingegebenen Bild in dem Wörterbuch eingetragen werden.
Verwaltungsinformations-Extraktionsvorrichtung nach Anspruch 1, bei welcher die Benutzereintragseinrichtung (21) betreibbar ist, relative Positionsinformationen der ausgewählten rechteckigen Zelle in eine Kontur einer Tabelle der einen der Tabellenformen als Positionsinformationen der Verwaltungsinformationen einzutragen.
Verwaltungsinformations-Extraktionsvorrichtung nach Anspruch 1 oder 2, ferner mit: einer automatischen Eintragseinrichtung (41 und 42) zum Eintragen einer Position der Verwaltungsinformationen, die automatisch aus einem Bild einer der Tabellenformen von der Extraktionseinrichtung (25) extrahiert werden, in der Wörterbucheinrichtung (23, 31 und 73) als Positionsinformationen von Verwaltungsinformationen in der einen der Tabellenformen.
Verwaltungsinformations-Extraktionsverfahren zum Extrahieren von Verwaltungsinformationen über Bilder von Tabellenformen, zur Verwendung bei der Verwaltung von Bildern, welches die Schritte umfasst: Speichern, in einer Wörterbucheinrichtung (23, 31 und 73), von Merkmalen einer Struktur gezogener Linien in einer Vielzahl von Tabellenformen und Positionsinformationen von Verwaltungsinformationen in jeder der Tabellenformen; Vergleichen eines Merkmals einer Struktur gezogener Linien eines eingegebenen Bilds mit den Merkmalen der Struktur der in der Wörterbucheinrichtung (23, 31 und 73) gespeicherten gezogenen Linien; Extrahieren von Informationen über das eingegebene Bild durch das Bezugnehmen auf die Positionsinformationen der in der Wörterbucheinrichtung (23, 31 und 73) gespeicherten Verwaltungsinformationen auf der Basis eines Vergleichsergebnisses von dem Vergleichsschritt durch einen Prozess des Extrahierens (S63, S64) eines Tabellenrechtecks, das eine Tabelle umgibt, aus dem eingegebenen Bild; Extrahieren (S65) von Zeichenfolgenrechtecken aus dem Tabellenrechteck; Extrahieren (S68) gezogener Linienabschnitte aus dem Inneren der Zeichenfolgenrechtecke als Grenze zum Teilen der Zeichenfolgenrechtecke; Zählen (S69) der Anzahl von Zeichen in jedem Zeichenfolgenrechteck; Extrahieren (S72) von Zeichenfolgenrechtecken, die eine vorherbestimmte Bedingung in Bezug auf die Anzahl von Zeichen erfüllen, als Vielzahl rechteckiger Zellen, wenn das eingegebene Bild keiner der Vielzahl von Tabellenformen als Vergleichsergebnis von dem Vergleichsschritt entspricht; und Anzeigen eines Bilds einer der Tabellenformen, die eine Vielzahl rechteckiger Zellen umfasst, Instruieren eines Benutzers, eine der Vielzahl rechteckiger Zellen auszuwählen, und Eintragen von Positionsinformationen einer von dem Benutzer ausgewählten rechteckigen Zelle in der Wörterbucheinrichtung (23, 31 und 73) als Positionsinformationen von Informationen in der einen der Tabellenformen; wobei der Anzeigeschritt umfasst: Präsentieren der Vielzahl in dem Extraktionsschritt extrahierter rechteckiger Zellen für den Benutzer in der Reihenfolge der höchsten Priorität; Instruieren des Benutzers, eine der Vielzahl rechteckiger Zellen auszuwählen; und Eintragen von Positionsinformationen einer ausgewählten rechteckigen Zelle und eines Merkmals einer Struktur gezogener Linien in dem eingegebenen Bild in der Wörterbucheinrichtung.
Computerlesbares Speichermedium (42, 45 und 50), welches verwendet wird, um einen Computer anzuweisen, das Verfahren nach Anspruch 4 vorzunehmen.