DE69718243T2

DE69718243T2 - Anlage zur Extraktion angeschlossenen Textes aus einem Tafelzellrahmen

Info

Publication number: DE69718243T2
Application number: DE69718243T
Authority: DE
Inventors: Wang Shin-Ywan
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-06-17
Filing date: 1997-06-11
Publication date: 2003-08-28
Anticipated expiration: 2017-06-12
Also published as: US6157738A; EP0814422A2; EP0814422B1; EP0814422A3; JPH1083431A; DE69718243D1; JP4077904B2

Description

Die vorliegende Erfindung bezieht sich auf ein System zum Analysieren von Bilddaten oder einer Dokumentseite unter Verwendung einer Blockauswahltechnik, und insbesondere auf ein Blockauswahlsystem, das in der Lage ist, eine Textkomponente zu identifizieren und auszulesen, die an ein Bild, innerhalb einer Dokumentseite angeschlossen ist.
Systeme dieser Art sind beschrieben im U.S.-Patent mit der Nummer 5 854 853, "Method and apparatus for selecting blocks of image data from image data having both horizontally and vertically-oriented blocks" und im U.S.-Patent mit der Nummer 5 848 186, "Feature extraction system for identifying text within a table image".
Neuerlich entwickelte Blockauswahltechniken, wie die Technik, die in den zuvor genannten U.S.-Patenten beschrieben ist, werden verwendet in Seitenanalysiersystemen, um unterschiedliche Arten von Bilddaten innerhalb einer Dokumentseite zu identifizieren und zu analysieren. Die Identifikations- und Analyseergebnisse werden dann zum Bestimmen der Art der Verarbeitung verwendet, die bezüglich der Bilddaten auszuführen ist, wie beispielsweise die optische Zeichenerkennung (OCR), die Datenkompression, Datenlenkung und so weiter. Beispielsweise werden Bilddaten, die als Textdaten bestimmt sind, der OCR-Verarbeitung unterzogen, wohingegen Bilddaten, die als Bilddaten bestimmt sind, nicht der OCR- Verarbeitung unterzogen werden. Im Ergebnis können unterschiedliche Arten von Bilddaten automatisch eingegeben und sauber verarbeitet werden, ohne daß es der Mitwirkung einer Bedienperson bedarf.
Die Arbeitsweise einer Blockauswahltechnik ist allgemein nachstehend beschrieben anhand der Fig. 1 bis 3. Fig. 1 zeigt Seite 101 eines repräsentativen Dokuments. Die Seite 101 ist eingerichtet in einem Zwei-Spalten-Format und enthält Titel 102, eine Horizontallinie 104, mehrere Textbereiche 105, 106 und 107, die Zeilen von Textdaten enthalten, Halbtonbilddaten 108, die ein graphisches Bild enthalten, das ein Non-Textbild ist, eine Tabelle 110, die Textinformationen enthält, einen gerahmten Bereich 116, einen Halbtonbildbereich 121, der begleitet ist von Bildlegendendaten 126, und Bildbereiche 132 und 135, die begleitet sind von Bildlegendendaten 137. Eine Blockauswahltechnik versucht, jeden Bereich von Seite 101 gemäß der Art der darin enthaltenen Bilddaten festzulegen. Da die Blockauswahltechnik jeden Bereich festlegt, wird eine hierarchische Baumstruktur erstellt, wie in Fig. 2 gezeigt.
Die hierarchische Baumstruktur 200 von Fig. 2 enthält eine Vielzahl von Knoten, die jeweils einen identifizierten Bereich oder einen Block oder Bilddaten darstellen. Jeder Knoten vom Baum enthält Merkmalsdaten, die die Merkmale des zugehörigen Blockes von Bilddaten festlegen. Beispielsweise können die Merkmalsdaten Blocklokationsdaten, Eigenschaftsdaten (die die Bildart spezifizieren, wie beispielsweise Text, Bild, Tabelle und so weiter), Untereigenschaftsdaten und Verwandtschaftsknotenzeigen, zu denen Tochterknoten und Mutterknoten gehören. Die Tochter oder "deszendierenden" Knoten stellen Bilddaten dar, die insgesamt innerhalb eines größeren Blockes von Bilddaten vorhanden sind. Ein Tochterknoten wird dargestellt in hierarchischer Baumstruktur 200, wie ein Knoten, der aus einem Mutterknoten verzweigt ist. Beispielsweise werden die Textblöcke innerhalb eines Bildes 116 dargestellt in hierarchischer Baumstruktur als Knoten 214 und 216, die sich direkt vom Mutterknoten 212 verzweigen, der das Bild 116 darstellt. Zusätzlich zu den zuvor beschriebenen Merkmalsdaten kann ein Knoten, der einen Textblock darstellt, auch Merkmalsdaten enthalten, die die Blockleseausrichtung oder die Lesereihenfolge darstellen. Diese Daten sind nützlich, wenn die OCR-Verarbeitung bezüglich Textblöcken der Seite ausgeführt wird.
Bei der herkömmlichen Blockauswahltechnik werden Textblöcke meist falsch identifiziert, und zwar in den Fällen, bei denen die Textdaten benachbart zu anderen Daten liegen oder diese überlappen. Mit diesem Problem ist oft zu rechnen, wenn Verarbeitungstabellenbilder in einem Dokumentbild enthalten sind. Aufgrund der geringen Größe von Tabellenzellenrahmen werden Textumschreibungen durch einen dieser Rahmen oft "angeschlossen" an eine Seite des Rahmens. Dieser Text wird folglich identifiziert als Teil des Rahmens, als eine Bildabbildung oder als Rauschen, das nachfolgend durch die Blockauswahltechnik ignoriert wird. Da der Text nicht als ein Textblock identifiziert ist, wird der Textblock nicht der OCR- Verarbeitung unterzogen, und auf die Textzeichen innerhalb des Blockes gibt es folglich für den Texteditor keinen Zugriff. Die Lesereihenfolge von restlichen Textblöcken des Dokuments werden des weiteren ohne Berücksichtigung falsch identifizierter Textblöcke zugewiesen. Da die Lesereihenfolge falsch bestimmt ist, werden selbst die genau identifizierten Textblöcke folglich ungenau verarbeitet. Das heißt, es gibt das Bedürfnis zum Bereitstellen einer Blockauswahltechnik, die in der Lage ist, Textdaten zu identifizieren und auszulesen, die einem Tabellenzellenrahmen angeschlossen sind.
Ein Verfahren zum Analysieren tabellenförmiger Dokumente mit Text, der der Kante einer Zelle angeschlossen ist, offenbart ein Artikel von O. Hori: "Table-form structure analysis based on box-driven reasoning", IEICE Trans. Inf. & Syst., Band E79-D, Nr. 5, 5. Juni 1996, Seiten 542-547. Gemäß dem Artikel von Hori können Zellen getrennt werden aus dem Text durch Betrachten von Zeichen, die der Zellenbox ursprünglich als Teil einer Innenkontur der Zelle angeschlossen sind und nachfolgend von diesen getrennt werden aus der Zelle durch Überprüfen von Störungen an Grenzlinien der Zellenbox, wobei eine Zeichenbox geschaffen wird für die getrennten Zeichen.
Die vorliegende Erfindung richtet sich an die vorstehenden Erfordernisse zum Bereitstellen eines Systems zum Identifizieren und Auslesen von Textdaten, die einem Rahmen einer Tabellenzelle angeschlossen sind.
Nach einem Aspekt der vorliegenden Erfindung vorgesehen ist ein Verfahren zum Erleichtern des Merkmalauslesens in einem Merkmalauslesesystem, das Bilddaten in einem eingegebenen Dokument analysiert und eine dieses Dokument darstellende hierarchische Baumstruktur erstellt, mit den Verfahrensschritten:
erstes Aufsuchen verbundener Komponenten im Dokument;
zweites Aufsuchen weißer Konturen in einer verbundenen Komponente;
erstes Festlegen eines Bildumrisses auf der Grundlage der aufgesuchten weißen Konturen;
erstes Identifizieren nicht angeschlossener verbundener Komponenten im Bildumriß;
zweites Festlegen eines anfänglichen Rechteckbereichs im Bildumriß;
gekennzeichnet durch:
Erweitern des Rechteckbereichs in Horizontal- oder Vertikalrichtung vom anfänglichen Rechteckbereich im festgelegten Bild, um einen erweiterten Zeichenbereich zu schaffen;
Feststellen schwarzer Pixel im erweiterten Zeichenbereich, die in wenigstens einer verbundenen und am Bild angeschlossenen Komponente im erweiterten Zeichenbereich enthalten sind; und
drittes Festlegen eines Zeichenknotens einer hierarchischen Baumstruktur, die Informationen sowohl wenigstens einer verbundenen Komponente, die die festgestellten schwarzen Pixel beinhaltet, als auch beliebige identifizierte nicht angeschlossene Komponenten enthält.
Nach einem weiteren Aspekt der vorliegenden Erfindung vorgesehen ist eine Vorrichtung zum Erleichtern des Merkmalauslesens in einem Merkmalauslesesystem, das Bilddaten in einem eingegebenen Dokument analysiert und eine dieses Dokument darstellende hierarchische Baumstruktur erstellt, mit:
einem erstes Aufsuchmittel, das verbundene Komponenten im Dokument aufsucht;
einem zweiten Aufsuchmittel, das weiße Konturen in einer verbundenen Komponente aufsucht;
einem ersten Festlegemittel, das einen Bildumriß auf der Grundlage der aufgesuchten weißen Konturen festlegt;
einem ersten Identifiziermittel, das nicht angeschlossene verbundene Komponenten im Bildumriß identifiziert;
einem zweiten Festlegemittel, das einen anfänglichen Rechteckbereich im Bildumriß festlegt;
gekennzeichnet durch:
ein Erweiterungsmittel, das den Rechteckbereich in Horizontal- oder Vertikalrichtung vom anfänglichen Rechteckbereich im festgelegten Bild erweitert, um einen erweiterten Zeichenbereich zu schaffen;
ein Feststellmittel, das schwarze Pixel im erweiterten Zeichenbereich feststellt, die in wenigstens einer verbundenen und am Bild angeschlossenen Komponente im erweiterten Zeichenbereich enthalten sind; und durch
ein drittes Festlegemittel, das einen Zeichenknoten einer hierarchischen Baumstruktur festlegt, die Informationen sowohl wenigstens einer verbundenen Komponente, die die festgestellten schwarzen Pixel beinhaltet, als auch beliebige identifizierte nicht angeschlossene Komponenten enthält.
Ein Ausführungsbeispiel dieses Aspektes der Erfindung umfaßt das Erkennen einer angeschlossenen Komponente als eine Textkomponente, wenn 1) eine Höhe der wenigstens einen angeschlossenen Komponente nicht geringer ist als ein dritter vorbestimmter Schwellwert oder ein Breite-zu-Höhe-Verhältnis der wenigstens einen angeschlossenen Komponente nicht größer ist als ein vierter vorbestimmter Schwellwert, wenn 2) eine Breite der wenigstens einfach vorhandenen angeschlossenen Komponente nicht weniger als ein fünfter vorbestimmter Schwellwert oder ein Höhe- zu-Breite-Verhältnis der wenigstens einfach vorhandenen angeschlossenen Komponente nicht größer ist als ein sechster vorbestimmter Schwellwert, wenn 3) eine Breite: oder eine Höhe von wenigstens der einen vorhandenen angeschlossenen Komponente nicht größer ist als ein siebenter vorbestimmter Schwellwert oder der wenigstens einfach vorhandenen Textkomponente, die zwischen einer nicht angeschlossenen verbundenen Komponente und einer anderen nicht angeschlossenen verbundenen Komponente liegt, und wenn 4) eine Gruppe verbundener Komponenten mit wenigstens der einfach vorhandenen angeschlossenen Komponente und anderen verbundenen Komponenten in derselben Zeile oder Spalte den Bedingungen 1) und 2) genügt und einen Zeichenknoten einer hierarchischen Baumstruktur gemäß dem erweiterten Zeichenbereich festlegt und sowohl die wenigstens einfach vorhandene Komponente und eine beliebige identifizierte nicht angeschlossene verbundene Komponente enthält.

KURZE BESCHREIBUNG DER ZEICHNUNG

Fig. 1 ist eine repräsentative Ansicht einer Dokumentseite;
Fig. 2 ist eine repräsentative Ansicht einer hierarchischen Baumstruktur, erstellt durch eine Blockauswahltechnik;
Fig. 3 ist eine perspektivische Ansicht, die die Außenerscheinung eines Gerätes zeigt, das die vorliegende Erfindung verkörpert;
Fig. 4 ist ein Blockdiagramm des Gerätes, das die vorliegende Erfindung verkörpert;
Fig. 5A und 5B sind Ansichten zur Beschreibung der Konturspurführung verbundener Komponenten;
Fig. 6 ist eine repräsentative Ansicht einer Tabelle in einem analysierten Dokument;
Fig. 7A, 7B und 7C sind Ansichten zur Beschreibung einer Weißkonturspurführung;
Fig. 8A, 8B und 8C sind Ansichten zur Erläuterung eines Verfahrens zum Festlegen eines anfänglichen rechteckigen Bereichs;
Fig. 9A, 9B, 9C und 9D sind Ansichten zur Beschreibung eines Verfahrens zum Erweitern eines anfänglichen rechteckigen Bereichs;
Fig. 10A und 10B sind Ansichten zur Beschreibung eines Verfahrens zum Gruppieren schwarzer Pixel, um angeschlossene verbundene Komponenten zu gruppieren; und
Fig. 11A, 11B, 11C und 11D sind ein detailliertes Ablaufdiagramm, das ein Verfahren zum Auslesen und zum Identifizieren eines Textes beschreibt, der an die verbundene Komponente angeschlossen ist, nach der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE

Fig. 3 ist eine Ansicht, die die äußere Erscheinung eines repräsentativen Ausführungsbeispiels der vorliegenden Erfindung zeigt. Gezeigt in Fig. 3 ist ein Computersystem 310, das ein Macintosh- oder ein IBM-PC oder ein PC-kompatibles System sein kann, das über eine Fensterumgebung verfügt, wie beispielsweise Microsoft Windows. Vorgesehen mit dem Computersystem 310 ist ein Anzeigebildschirm 312, wie beispielsweise ein Farbmonitor, eine Tastatur 313 zur Eingabe von Anwenderbefehlen und eine Zeigereinrichtung 314, wie beispielsweise eine Maus, zum Zeigen auf und zum Manipulieren von Gegenständen, die auf dem Anzeigebildschirm 312 dargestellt werden.
Das Computersystem 310 verfügt über eine Massenspeichereinrichtung, wie eine Computerplatte 311, zum Speichern von Datendateien, die Dokumentbilddateien enthalten, entweder in komprimiertem oder unkomprimiertem Format, und zum Speichern von Anwenderprogrammdateien, die ein Blockauswahlanwenderprogramm enthalten, das die vorliegende Erfindung verkörpert. Ebenfalls in der Platte 311 gespeichert sind verschiedene hierarchische Baumstrukturdaten gemäß den Dokumentseiten, die nach einer Blockauswahltechnik verarbeitet worden sind.
Beim Praktizieren der vorliegenden Erfindung kann Mehrseitendokument von einem Scanner 316 eingegeben werden, der jede Seite des Dokuments abtastet und Punktrasterbilddaten dieser Seite für das Computersystem 310 bereitstellt. Die Bilddaten können auch eingegeben werden in das Computersystem 310 aus einer Vielzahl anderer Quellen, beispielsweise aus einem Netzwerk über eine Netzwerkschnittstelle 324, oder aus anderen Quellen, wie dem World Wide Web, durch eine Faksimile/Modem- Schnittstelle 326. Ein Drucker 318 ist vorgesehen zur Ausgabe verarbeiteter Dokumentbilder.
Es sollte Übereinkunft darüber bestehen, daß, obwohl ein programmierbares Allgemeinzweckcomputersystem in Fig. 3 gezeigt ist, auch ein alleinstehender Computer oder eine andere Art von Datenverarbeitungseinrichtung zum Ausführen der vorliegenden Erfindung verwendet werden können.
Fig. 4 ist ein detailliertes Blockdiagramm, das den Innenaufbau vom Computersystem 310 zeigt. Wie in Fig. 4 gezeigt, enthält das Computersystem 310 eine Zentraleinheit (CPU) 420, die über eine Schnittstelle mit dem Computerbus 421 in Verbindung steht. Auch über eine Schnittstelle in Verbindung steht der Computerbus 421 mit einer Scannerschnittstelle 422, einer Druckerschnittstelle 423, einer Netzwerkschnittstelle 424, einer Fax/Modemschnittstelle 426, einer Anzeigeschnittstelle 427, einer Tastaturschnittstelle 428, einer Mausschnittstelle 429, einem Hauptspeicher mit wahlfreiem Zugriff (RAM) 430 und einer Platte 311.
Der Hauptspeicher 430 steht dem Computerbus 421 mit einer Schnittstelle gegenüber, um so RAM-Speichern für die CPU 420 zum Ausführen gespeicherter Prozeßschritte bereitzustellen, wie die Prozeßschritte einer Blockauswahltechnik gemäß der vorliegenden Erfindung. Genauer gesagt, die CPU 420 lädt Prozeßschritte aus der Platte 311 in den Hauptspeicher 430 und führt die gespeicherten Prozeßschritte aus dem Hauptspeicher 430 aus, um Textdaten zu identifizieren und auszulesen, die einem Tabellenzellenrahmen im Dokumentbild angehängt sind.
Gemäß Befehlen des Anwenders, die entweder über die Tastatur 413 oder über die Maus 414 eingegeben werden, stellen andere gespeicherte Anwenderprogramme die Bildverarbeitung und Datenmanipulation bereit. Ein Desktop-Wortverarbeitungsprogramm, wie beispielsweise WordPerfect for Windows® kann aktiviert werden von einer Bedienperson, um Dokumente zu erstellen, zu manipulieren und zu sehen nach Anwenden einer Blockauswahltechnik auf die Dokumente. Gleichermaßen kann ein Seitenanalysierprogramm ausgeführt werden, um eine Blockauswahltechnik bezüglich einer Dokumentseite auszuführen und die Ergebnisse der Technik an eine Bedienperson über eine Fensterumgebung anzuzeigen.
Nachstehend folgt eine kurze Beschreibung hinsichtlich der Fig. 5A, 5B und 6, wie eine Blockauswahltechnik nach der vorliegenden Erfindung eine Tabelle in einem Dokument identifiziert.
Zum Beginn des Prozesses vom Analysieren eines Dokuments wird ein zu analysierendes Dokument in einen Scanner 318 eingeführt. Der Scanner 318 wiederum erstellt ein Punktrasterbild, das das Dokument darstellt. Die Bilddaten werden auf einer Platte 311 über den Computerbus 421 zur weiteren Verarbeitung gespeichert. Ebenfalls auf der Platte 311 gespeichert ist ein Blockauswahlanwenderprogramm, das Prozeßschritte zum Ausführen einer Blockauswahltechnik bezüglich der Dokumentbilddaten enthält.
Die Prozeßschritte sind im Hauptspeicher 430 gespeichert und werden von diesem über die CPU 420 ausgeführt. Wie zuvor beschrieben, arbeiten die Prozeßschritte der Blockauswahltechnik zum Identifizieren unterschiedlicher Arten von Bilddaten innerhalb des Dokumentbildes. Zum Zwecke der Beschreibung wird angenommen, daß die Dokumentseite eine Tabelle enthält, wie die Dokumentseite 501 von Fig. 5A.
Eine Blockauswahltechnik gemäß der vorliegenden Erfindung versucht zunächst die Bilddaten innerhalb einer Dokumentseite zu identifizieren durch Verfolgen von verbundenen Komponenten innerhalb der Seite. Eine verbundene Komponente ist eine Gruppe schwarzer Pixel, die vollständig von weißen Pixeln umgeben ist. Fig. 5A zeigt beispielsweise Dokumentseite 501, die die Tabelle 500, 502 und 504 enthält, von denen alle verbundene Komponenten sind. Eine Technik zum Verfolgen verbundener Komponenten ist offenbart in dem schon genannten U.S.-Patent Nr. 5 854 853.
Das Zeichnen (Verfolgen) erfolgt durch Abtasten eines ausgewählten Abschnitts von Bilddaten vom ausgewählten Abschnitt rechts unten zum linken, dann wird immer an der Grenze oder dem zuvor abgetasteten Abschnitt des gewünschten Teiles gewechselt, mit dem zu rechnen ist. Wenn ein Schwarzpixel angetroffen wird, werden benachbarte Pixel inspiziert, um zu bestimmen, ob irgendein benachbartes Pixel ebenfalls ein schwarzes Pixel ist. Wenn ein benachbartes schwarzes Pixel gefunden wird, schreitet die Inspektion fort vom benachbarten schwarzen Pixel bis zur äußeren Kontur des Bildes, dessen Spur verfolgt wird. Gemäß der vorliegenden Erfindung bedarf es keines Zeichnens im Innenabschnitt einer verbundenen Komponente, wie einem Bild 504.
Nachdem das Bild 504 gezeichnet ist, schreitet die Abtastung bis zu einem neuen schwarzen Pixel, das anzutreffen ist, welches das Zeichnen von Tabelle 500 initialisiert. Der obige Prozeß setzt sich fort, bis alle verbundenen Komponenten im Bild gezeichnet sind.
Sind einmal verbundene Komponenten mit einer Linie umzogen, wird jede verbundene Komponente in ein Rechteck gebracht. Wie beispielsweise in Fig. 5B gezeigt, besteht die Rechteckbildung im Festlegen des kleinstmöglichen Rechteckbereichs, der vollständig eine gezogene Linie um verbundene Komponenten umschließt. Rechtecke 507, 509 und 510 werden um eine Tabelle 500 somit gezogen und um Bilder 502 und 504. Die Größe eines jeden dieser Dreiecke wird verglichen mit einer Schwellwertgröße, um zu bestimmen, ob die linienumzogene verbundene Komponente eine Tabelle sein kann. Da die Größe des Rechtecks 507 größer ist als die Schwellwertgröße, unterliegt die Tabelle 500 folglich der Verarbeitung zum Bestimmen, ob es sich um eine Tabelle handelt.
Eine detaillierte Ansicht der Tabelle 500 ist in Fig. 6 gezeigt. Die Tabelle 500 enthält verschiedene individuelle Tabellenzellen, wie die Tabellenzellen 601 und 602. Die Tabellenzelle 601 enthält nicht angeschlossenen Text 604. Die Tabellenzelle 602 enthält nicht angeschlossenen Text 605 und enthält aber auch angeschlossenen Text/Daten 606 und 607.
Um zu bestimmen, ob die Tabelle 500 eine Tabelle ist, werden weiße Konturen in der Tabelle als Linie gezogen. Diese Technik ist wieder im zuvor schon genannten U.S.-Patent Nr. 5 854 853 offenbart und wird von daher nur im Nachstehenden allgemein beschrieben.
Um weiße Konturen wird eine Linie in gleicher Weise wie zuvor beschrieben gezogen in Hinsicht auf verbundene Komponenten, aber mit weißen Pixeln, die eher erwartet werden als schwarze Pixel. Somit wird das Innere der Tabelle 500 für weiße Pixel vom Abschnitt unten rechts zum Abschnitt oben links abgetastet. Wenn einem ersten weißen Pixel begegnet wird, erfolgt das Inspizieren benachbarter Pixel, um zu bestimmen, ob irgendein benachbartes Pixel auch ein weißes Pixel ist. Das Linienziehen wird fortgesetzt, bis alle weißen Konturen, die von schwarzen Pixeln eingeschlossen sind, mit einer Linie umzogen sind. Die weißen Konturen von Tabelle 500 beispielsweise, die mit dem Bezugszeichen 610 versehen sind, sind in Fig. 6 gezeigt.
Eine Technik zum Identifizieren einer Tabelle auf der Grundlage innerer weißer Konturen ist in Einzelheiten im U.S.- Patent Nr. 5 848 186 offenbart. Kurz gesagt, sind einmal die weißen Konturen innerhalb der Tabelle 500 mit einer Linie umzogen, wird die Anzahl weißer Konturen verglichen mit einem anderen vorbestimmten Schwellwert. Im Falle der Tabelle 500 ist die Anzahl weißer Konturen größer als dieser Schwellwert. Die Tabelle 500 wird folglich analysiert, um weiterhin zu bestimmen, ob es sich um eine Tabelle handelt.
Speziell die weißen Konturen 610, die auftreten, um zu einer Zelle der Tabelle 500 zu gehören, sind gemeinsam gruppiert. Beispielsweise weiße Konturen innerhalb einer Tabellenzelle 602 treten auf, um einen rechteckigen Bereich zu bilden, und werden folglich gemeinsam gruppiert. Eine Technik zum Gruppieren dieser weißen Konturen in gemeinsamer Weise ist im zuvor genannten U.S.-Patent Nr. 5 848 186 offenbart.
Diese gruppierten weißen Konturen werden in Rechteckform gebracht, wie zuvor beschrieben, in Hinsicht auf die verbundenen Komponenten. Anders als jedoch die zuvor beschriebene Rechteckbildung erstellt die Rechteckbildung dieser weißen Konturen eine Rahmenaußenlinie, die das kleinste Rechteck ist, das vollständig alle Linien umzogenen weißen Konturen innerhalb einer Gruppe umhüllt. Nachdem die Gruppen weißer Konturen in Rechteckform gebracht worden sind, wird die Häufigkeit, mit der die Konturen gruppiert sind, bekannt als Gruppenrate, überprüft.
Da die Gruppierungsrate von Tabelle 500 niedrig ist, wird die Tabelle 500 als Tabelle bestimmt. Als solche wird ein Tabellenknoten hierarchischer Baumstruktur erstellt mit Tochterknoten gemäß einer jeden Zelle der Tabelle 500. Jede Zelle ist festgelegt, daß sie einen Bereich hat, der gleich dem Linien umzogenen durch eine Rahmenaußenlinie ist, erstellt durch Rechteckbildung der weißen Konturen innerhalb der Zelle. Gleichermaßen haben die Knoten, die eine jede Zelle der Tabelle 500 darstellen, einen Tochterknoten, der die weißen Konturen innerhalb der Zelle repräsentiert. Fig. 7 zeigt Beispielstabellenzellen und deren zugehörigen weißen Konturen und Rahmenaußenlinien.
Beispielsweise zeigt Fig. 7A das Innere einer Leertabellenzelle 603, nachdem die Weißkonturlinienziehung ausgeführt ist. Wie gezeigt, besteht eine einzelne weiße Kontur 610 innerhalb der Tabellenzelle 603. Angemerkt sei, daß die weiße Kontur 610 direkt benachbart zu einer jeden Kante der Tabellenzelle 603 ist oder im Falle, daß eine verbundene Komponente innerhalb der Zelle vorhanden ist, benachbart der verbundenen Komponente selbst. Gleichermaßen zeigt Fig. 7B eine gezogene weiße Kontur 610 innerhalb der Tabellenzelle 601, die nicht angeschlossene verbundene Komponenten 604 enthält.
Fig. 7C zeigt gezogene weiße Konturen 610, 704 und 706 innerhalb der Tabellenzelle 602, die sowohl angeschlossene verbundene Komponenten 606 und 607 als auch nicht angeschlossene verbundene Komponenten 605 enthält. Wie auch in Fig. 7C gezeigt, führt das zuvor beschriebene Verfahren des Linienziehens in weißen Konturen dazu, daß ein ausgeschlossener Bereich umschrieben wird. Nach dem Linienziehen existiert im Ergebnis keine weiße Kontur innerhalb einer anderen weißen Kontur.
Unter Rückbezug auf Tabelle 500 werden die verbundenen Komponenten innerhalb jeder weißen Kontur in der zuvor beschriebenen Weise mit einer Linie umzogen, um irgendwelche nicht angeschlossenen verbundenen Komponenten in Rechteckform zu bringen und zu identifizieren innerhalb einer jeden Zelle. Nach Ausführen dieser Operation wird die hierarchische Baumstruktur aktualisiert mit Knoten, die nicht angeschlossene verbundene Komponenten darstellen.
Wenn das Linienziehen verbundener Komponenten innerhalb einer jeden weißen Kontur erfolgt, ist die vorliegende Erfindung jedoch nicht in der Lage, eine angeschlossene verbundene Komponente, wie eine Komponente 606 der Tabellenzelle 602 mit einer Linie zu umziehen und zu identifizieren, wie sie in Fig. 7C gezeigt ist. Das zuvor beschriebene Verfahren des Konturziehens ist insbesondere nicht in der Lage, die Seite angeschlossener Komponenten 606 mit einer Linie zu umziehen, die angeschlossen ist an die Tabellenzelle 602. Da die angeschlossene verbundene Komponente 606 nicht genau mit einer Linie umzogen werden kann, wird sie nicht in Rechteckform gebracht, und folglich nicht nachfolgend identifiziert und durch einen Knoten dargestellt.
Um zu identifizieren, ob angeschlossene Textdaten innerhalb einer Tabellenzelle vorhanden sind, wird folglich ein Anfangsrechteckbereich festgelegt. Beispielsweise werden keine nicht angeschlossenen verbundenen Komponenten innerhalb der Tabellenzelle 603 gefunden, und folglich wird der Anfangsrechteckbereich in der in Fig. 8A gezeigten Weise festgelegt. Insbesondere wird der Anfangsrechteckbereich 801 festgelegt als ein Rechteck mit linker und rechter Seite, die sich beide im horizontalen Mittelpunkt der Rahmenaußenlinie 708 befinden und sich erstrecken von einem Pixel unter der Spitze der Rahmenaußenlinie 708 bis zu einem Pixel über dem Grund der Rahmenaußenlinie 708.
In dem Falle, daß nicht angeschlossene verbundene Komponenten in einer Tabellenzelle vorhanden sind, werden identifizierte nicht angeschlossene verbundene Komponenten in Rechteckform gebracht, wie zuvor in Hinsicht auf die Rahmenaußenlinie 708 beschrieben, wodurch ein Rechteck erstellt wird, das alle nicht angeschlossenen verbundenen Komponenten umschließt.
Für das in Fig. 8B beschriebene Beispiel wird angenommen, daß jeder der Buchstaben "ABC hij" in Tabellenzelle 602 die Tabellenzelle 602 berühren. In diesem Falle wird der Bereich des umschriebenen Rechtecks 802 dann verglichen mit einem Schwellwert X2. Wenn der Bereich kleiner ist als X2, wird jede Seite des umschriebenen Rechtecks 802 ausgedehnt, bis er eine Zeile oder Spalte erreicht, die ein schwarzes Pixel enthält. Die Seiten lassen sich einmal ausdehnen oder gleichzeitig ausdehnen. Wenn kein schwarzes Pixel angetroffen wird durch die Zeit, in der ein spezifizierter Abstand der Seite von der Rahmenaußenlinie 708 vorliegt, bleibt die Seite an ihrer Originalposition, wie in Fig. 8B gezeigt. Der Anfangsrechteckbereich wird festgelegt als sich ergebende s Rechteck 804.
Unter Rückbezug auf die Originaltabellenzelle 602 im Falle, daß der Bereich des Umschreibens vom rechteckigen Bereich größer ist als ein vorbestimmter Schwellwert X2 wird der Anfangsrechteckbereich festgelegt als umschriebener Rechteckbereich 805, der in Fig. 8C dargestellt ist.
Ist einmal der Anfangsrechteckbereich festgelegt, wird der Bereich ausgedehnt, um beliebige angeschlossene verbundene Komponenten zu enthalten, die sich innerhalb der Tabellenzelle 602 befinden.
Um den Anfangsrechteckbereich auszudehnen, wird ein Anfangsbereich festgelegt als Gesamtzeile oder Gesamtspalte direkt benachbart der einen Seite des Anfangsrechteckbereichs. Wie beispielsweise in Fig. 9A gezeigt, ist der Feststellbereich 901, der dem Anfangsrechteckbereich 805 benachbart ist, festgelegt.
Ist einmal der Feststellbereich festgelegt, wird jedes Pixel im Feststellbereich überprüft. Wenn irgendein schwarzes Pixel im Feststellbereich vorhanden ist, wird der Anfangsrechteckbereich 805 ausgedehnt, um den Feststellbereich 901 einzuschließen. Wie in Fig. 9B gezeigt, ist aufgrund der angeschlossenen verbundenen Komponente 606 die linke Seite vom Anfangsrechteckbereich erweitert, um den Feststellbereich 901 zu umschließen.
Wenn kein schwarzes Pixel im Feststellbereich festgestellt wurde und wenn der Abstand zwischen dem Feststellbereich und der Grenze 978 der Rahmenaußenlinie 708, die gegenüber dem Anfangsrechteckbereich 805 liegt, größer ist als ein vorbestimmter Abstand X3, wird der Feststellbereich neu festgelegt.
Der Feststellbereich wird neu festgelegt zur Gruppe von Pixeln 902, die dem vorherigen Feststellbereich hin zur Grenze 978 der Außenlinie 708 benachbart sind, wie zuvor beschrieben und in Fig. 9C gezeigt. Der Prozeß setzt sich dann in der zuvor beschriebenen Weise fort.
Wenn im Feststellbereich keine schwarzen Pixel festgestellt werden und wenn der Abstand zur Grenze 978 geringer ist oder gleich ist als der Abstand X3, dann wird angenommen, daß keine verbundenen Komponenten an dieser Seite der Tabellenzelle 602 angeschlossen sind. Wenn alle Seiten des erweiterten Rechteckbereichs untersucht worden sind, wird ein neuer Feststellbereich als Zeile oder Spalte von Pixeln festgelegt, die direkt der anderen Seite vom Originalanfangsrechteckbereich 805 benachbart sind, und der obige Prozeß wird wiederholt. Es sei angemerkt, daß in einem anderen Aspekt der vorliegenden Erfindung erneut jede Seite gleichzeitig ausgedehnt werden kann. Fig. 9D zeigt die Tabellenzelle 602 und den ausgedehnten Zeichenbereich 910, nach dem der obige Erweiterungsprozeß abgeschlossen ist.
Nachdem der obige Erweiterungsprozeß abgeschlossen ist, enthält nun der Anfangsrechteckbereich keinerlei schwarze Pixel, die sich innerhalb der Rahmenaußenlinie 708 befindet, die jene schwarzen Pixel enthält, die auf der Grenze der Rahmenaußenlinie 708 liegen. Dank dieses Prozesses wird des weiteren der erweiterte Rechteckbereich 910 das kleinste Rechteck, das alle die angeschlossenen und nicht angeschlossenen verbundenen Komponenten enthält, die sich innerhalb der Tabellenzelle 602 befinden.
Der erweiterte Rechteckbereich 910 und die weißen Konturen innerhalb der Tabellenzelle 602 werden verwendet zum Zusammensetzen von Gruppen schwarzer Pixel innerhalb des erweiterten Textbereichs 110. Die schwarzen Pixel werden zusammengesetzt, um beliebige angeschlossene verbundene Komponenten auszulesen.
Um die schwarzen Pixel zusammenzusetzen, wird eine erste Zeile 1001 des erweiterten Zeichenbereichs 910 ausgewählt. Irgendwelche Grenzpixel, die sich in der ausgewählten Zeile 1001 befinden, werden identifiziert. Grenzpixel sind alle Pixel einer speziellen Zeile, die nicht auf der Grenze einer ausgewählten weißen Kontur liegt. Beispielsweise sind Pixel w1, w2, w3 und w4 der Zeile 1002 Grenzpixel.
Die identifizierten Grenzpixel werden von der linken Seite der Tabellenzelle 602 an sequentiell numeriert. In diesem Falle wird analysiert, daß jede weiße Kontur in Hinsicht auf die aktuelle ausgewählte Zeile und die nächste Zeile analysiert ist. Wenn nicht, wird die weiße Kontur ausgewählt. Im Falle, daß die Grenzpixel mehr als eine weiße Kontur haben und sich auf einer einzigen Zeile befinden, werden die Grenzpixel in sequentieller Weise von der letzten Nummer an numeriert, die in dieser Zeile dem Grenzpixel zugewiesen wurde. Im Falle von Zeile 1002 werden beispielsweise während der Analyse der weißen Kontur 704 Grenzpixel w1, w2, w3 und w4 identifiziert. Danach werden zwei Grenzpixel gemäß der weißen Kontur 704 identifiziert. Diese Grenzpixel werden mit w5 bzw. w6 numeriert. Angemerkt sei, daß das Numerierungsschema auf die sich in einer Zeile befindlichen Grenzpixel angewandt wird, und daß die Grenzpixelnumerierung w1 jedesmal, wenn eine neue Zeile analysiert wird, eine Rücksetzung erfährt.
Vor dem Analysieren einer neuen Zeile werden schwarze Grenzpixel identifiziert. Schwarze Grenzpixel sind schwarze Pixel der ausgewählten Zeile, die sich auf dem erweiterten Rechteckbereich 910 befinden. Wenn beispielsweise Zeile 1001 ausgewählt ist, wird das schwarze Pixel P identifiziert.
Sind einmal die Grenzpixel und die schwarzen Grenzpixel innerhalb der Zelle 602 identifiziert, werden schwarze Pixel, die zwischen geradzahligen und ungeradzahligen Grenzpixeln liegen, festgestellt. Wie beispielsweise in Fig. 10B gezeigt, werden schwarze Pixel in Zeile 1002 zwischen Grenzpixeln w2 und w5 und zwischen Grenzpixeln w6 und w3 festgestellt. Darüber hinaus werden in Zeile 1008 schwarze Pixel zwischen den Grenzpixeln w2 und w3 festgestellt. Schwarze Pixel werden auf diese Weise für jede Zeile des erweiterten Zeichenbereichs 910 festgestellt.
Die vorliegende Erfindung stellt dann schwarze Pixel fest, die zwischen einem geradzahligen Grenzpixel und einem schwarzen Grenzpixel liegen. Die schwarzen Pixel, die zwischen Pixel w1 von Zeile 1001 und dem schwarzen Grenzpixel P liegen, werden beispielsweise festgestellt. Gleichermaßen werden schwarze Pixel, die zwischen einem schwarzen Grenzpixel und einem ungeradzahligen Grenzpixel liegen, festgestellt.
Jedes festgestellte schwarze Pixel wird gemeinsam gruppiert, um angeschlossene verbundene Komponenten zu bilden. Beispielsweise werden in Fig. 10B benachbarte schwarze Pixel gemeinsam gruppiert, um die angeschlossene verbundene Komponente "A" zu bilden.
Eine gebildete angeschlossene verbundene Komponente wird überprüft, um festzustellen, ob es sich um eine horizontale Linie handelt. Wenn folglich die Höhe der Komponente geringer als ein vorbestimmter Schwellwert X4 ist, und wenn das Breite- zu-Höhe-Verhältnis der Komponente größer ist als ein vorbestimmter Schwellwert X5, wird die Komponente als Horizontallinie bestimmt.
Wenn gleichermaßen die Breite der Komponente geringer als der vorbestimmte Schwellwert X6 ist, und das Höhe-zu-Breite- Verhältnis der Komponente größer ist als ein vorbestimmter Schwellwert X7, wird die Komponente als Vertikallinie bestimmt.
Wenn als nächstes die Höhe oder Breite der Komponente geringer als ein vorbestimmter Schwellwert X8 ist, und die Komponente insgesamt darüber ist, darunter ist oder an einer beliebigen Seite aller textverbundenen Komponenten innerhalb des Rahmens ist, wird die Komponente als Teil einer Tabellenzelle 502 bestimmt.
Letztlich wird die Komponente analysiert, um zu bestimmen, ob irgendeine andere Komponente sich in der Zeile oder Spalte befindet. Ist dem so, wird die Spalte oder Zeile von Komponenten in der zuvor beschriebenen Weise in Hinsicht auf horizontale und vertikale Linien überprüft. Wenn die Zeile oder Spalte der Komponenten den Kriterien entweder einer vertikalen oder einer horizontalen Linie entsprechen, werden die Komponenten als Strichlinie bestimmt.
Wenn keine der zuvor genannten vier Kriterien zutrifft, wird die angeschlossene verbundene Komponente angenommen als eine Textkomponente. Demzufolge wird ein Knoten erstellt, der den angeschlossenen Text 606 repräsentiert.
Aufgrund des Vorstehenden kann der Text innerhalb der Tabellenzelle 602 automatisch gemäß einem OCR-System verarbeitet werden. Danach kann die Verwendung der Tastatur 313 und der Maus 314 den Text weiter verarbeiten mit einer Wortverarbeitungsanwendung, die auf Platte 311 gespeichert ist, und das gesamte Dokument kann unter Verwendung eines Druckers 318 ausgegeben werden.
Die Arbeitsweise des Identifizierens und Auslesens angeschlossener Text/Zeichendaten wird nun in Einzelheiten anhand des Ablaufdiagramms in Fig. 11 beschrieben, die die Fig. 11A, 11B, 11C und und, 11D und unter Bezug auf die Fig. 5 bis 10.
In Schritt S1101 werden die verbundenen Komponenten eines Dokumentbildes gezeichnet. Wie zuvor beschrieben und in Fig. 5A gezeigt, werden zum Identifizieren der Tabelle 500 die äußeren schwarzen Pixel der Tabelle 500 gezeichnet. Nach Zeichnen der Tabelle 500 wird das Ergebnis des Zeichnens in Schritt S1102 verwendet, um zu bestimmen, ob die Größe der gezeichneten Komponente gleich oder größer als ein vorbestimmter Schwellwert ist, der aufzeigen würde, daß die gezeichnete Komponente eine Tabelle sein kann. Im vorliegenden Fall ist die Größe der Tabelle 500 größer als der vorbestimmte Schwellwert, so daß das Identifizieren des Bildes voranschreitet zu Schritt S1103, an welcher Stelle die weißen Konturen 610 innerhalb der Tabelle 500 gezeichnet werden.
Wenn in Schritt S1104 die Anzahl weißer Konturen innerhalb einer gezeichneten verbundenen Komponente geringer als eine vorbestimmte Anzahl ist, dann handelt es sich bei der verbundenen Komponente nicht um eine Tabelle. Da die Anzahl weißer Konturen 610 in Tabelle 500 jedoch größer als die vorbestimmte Zahl ist, schreitet der Ablauf fort von Schritt S1104 zu Schritt S1105, um zu bestimmen, ob Tabelle 500 eine Tabelle ist.
In Schritt S1105 werden die weißen Konturen gruppiert und in Rechteckform gebracht, um Rahmenaußenlinien zu bilden, die in Fig. 7 gezeigt sind und mit Bezugszeichen 708 versehen sind. Wenn in Schritt S1606 die Häufigkeit, mit der die weißen Konturen gruppiert sind, geringer als eine vorbestimmte Rate ist, wird die verbundene Komponente, die die weißen Konturen enthält, als eine Tabelle bestimmt. Im Falle der Tabelle 500 wird Tabelle 500 als Tabelle bestimmt, weil die Gruppierungsrate der weißen Konturen 610 von Tabelle 500 gering ist. Der Ablauf schreitet dann fort zu Schritt S1107.
In Schritt S1107 werden nicht angeschlossene verbundene Komponenten innerhalb der weißen Konturen einer jeden Zelle der Tabelle 500 gezeichnet. Sind einmal diese Komponenten gezeichnet, werden Knoten erstellt, die Komponenten darstellen, und plaziert in einer hierarchischen Baumstruktur, um so von einem Knoten abzusteigen, der die weißen Konturen darstellt, die die nicht angeschlossenen verbundenen Komponenten enthalten. An dieser Stelle enthält die hierarchische Baumstruktur keinerlei Knoten, die angeschlossene verbundene Komponenten innerhalb der Tabelle 500 darstellen.
Wenn folglich in Schritt S1109 keine angeschlossenen verbundenen Komponenten vorhanden sind, schreitet der Ablauf fort zu Schritt S1110, in dem der anfängliche rechteckige Bereich in der in Fig. 8A gezeigten Weise festgelegt wird.
Im Falle jedoch, daß irgendwelche nicht angeschlossenen verbundenen Komponenten vorhanden sind, schreitet der Ablauf von Schritt S1109 fort zu Schritt S1111. In Schritt S1111 werden die nicht angeschlossenen verbundenen Komponenten in Rechteckform gebracht, um ein umschriebenes Rechteck zu bilden, wie Rechtecke 802 und 805 der Fig. 8B und 8C. Danach wird der Bereich des umschriebenen Rechtecks mit einem Schwellwert X2 in Schritt S1112 verglichen.
Wenn der Bereich des umschriebenen Rechtecks geringer als X2 ist, wie im Falle des Rechtecks 802 von Fig. 8B, schreitet der Ablauf fort zu Schritt S1114, bei dem jede Seite des umschriebenen Rechtecks 802 erweitert wird, bis eine Zeile oder Spalte erreicht ist, die ein schwarzes Pixel enthält. Wenn kein schwarzes Pixel zur Zeit der Seite angetroffen wird, die einen spezifizierten Abstand von der Rahmenaußenlinie 708 hat, bleibt die Seite an ihrer Ausgangsstellung, und der anfängliche rechteckige Bereich wird als sich ergebendes Rechteck 804 festgelegt.
Im Falle, daß der Bereich des umschriebenen Rechtecks größer als ein vorbestimmter Schwellwert X2 ist, wie im Falle des Rechtecks 805, schreitet der Ablauf fort zu Schritt S1115, in dem der anfängliche rechteckige Bereich festgelegt wird als umschriebenes Rechteck 805
Der gemäß den obigen Schritten festgelegte anfängliche rechteckige Bereich wird verwendet zum Erstellen eines erweiterten Rechteckbereichs, der die nicht angeschlossenen und angeschlossenen verbundenen Komponenten innerhalb des Rahmens umschreibt.
In Schritt S1116 wird folglich ein Feststellbereich festgelegt als gesamte Zeile oder gesamte Spalte, direkt benachbart der einen Seite des anfänglichen rechteckigen Bereichs. Beispielsweise zeigt Fig. 9A Feststellbereich 901, der dem anfänglichen rechteckigen Bereich 805 benachbart ist.
Die Pixel innerhalb des Feststellbereichs 901 werden in Schritt S1117 überprüft. Wenn irgendein schwarzes Pixel im Feststellbereich vorhanden ist, schreitet der Ablauf fort zu Schritt S1119, bei dem der anfängliche rechteckige Bereich 805 erweitert wird, um den Feststellbereich 901 einzuschließen. Beispielsweise ist aufgrund der angeschlossenen verbundenen Komponente 606 die linke Seite des anfänglichen rechteckigen Bereichs 805 in Fig. 9 erweitert worden, so daß er den Feststellbereich 901 enthält.
Der Ablauf schreitet fort zu Schritt S1120, in dem der Feststellbereich 901 überprüft wird, um festzustellen, ob irgendwelche Pixel im Feststellbereich 901 auch an der Grenze 978 der Rahmenaußenlinie 708 sind, die gegenüber dem anfänglichen rechteckigen Bereich 805 liegt. Wenn dem so ist, schreitet der Ablauf fort zu Schritt S1124. Wenn dem nicht so ist, schreitet der Ablauf fort zu Schritt S1121, in dem der Feststellbereich neu festgelegt wird, um eine Gruppe von Pixeln 902 zu bilden, die dem vorherigen Feststellbereich hin zur Grenze 978 der Rahmenaußenlinie 708 benachbart sind, wie in Fig. 9C gezeigt. Der Ablauf schreitet dann fort zu Schritt S1117 und setzt sich fort, wie schon zuvor beschrieben.
Wenn andererseits keine schwarzen Pixel in Schritt S1117 festgestellt werden, schreitet der Ablauf fort zu Schritt S1122, bei dem der Abstand zwischen dem Feststellbereich und der Grenze 978 von der Rahmenaußenlinie 708, die gegenüber dem anfänglichen rechteckigen Bereich 804 liegt, mit einem vorbestimmten Abstand X3 verglichen wird. Wenn der Abstand größer als X3 ist, schreitet der Ablauf fort zu Schritt S1123.
In Schritt S1123 wird der Feststellbereich neu festgelegt, wie zuvor in Hinsicht auf Schritt S1121 beschrieben. Der Ablauf kehrt zurück zu Schritt S1117 und setzt sich fort in der zuvor beschriebenen Weise.
Wenn in Schritt S1122 der Abstand geringer oder gleich dem Abstand X3 ist, wird angenommen, daß keine verbundenen Komponenten an dieser Seite der Tabellenzelle 502 angeschlossen sind, und der Ablauf schreitet fort zu Schritt S1124. Im Falle, daß den vier Seiten des anfänglichen rechteckigen Bereichs 805 benachbarte Pixel nicht festgestellt worden sind, kehrt der Ablauf zurück zu Schritt S1116, bei dem ein neuer Feststellbereich festgelegt wird als eine Zeile oder als eine Spalte von Pixeln, die der anderen Seite des anfänglichen rechteckigen Bereichs 805 direkt benachbart sind. Falls nicht, schreitet der Ablauf fort von Schritt S1124 zu Schritt S1125. An dieser Stelle ist ein anfänglicher rechteckiger Bereich 805 ausgedehnt worden, um alle angeschlossenen verbundenen Komponenten innerhalb der Tabellenzelle 502 einzuschließen, wie in Fig. 9D gezeigt.
Die erste Zeile 1001 des erweiterten Zeichenbereichs 910 wird ausgewählt zur Analyse in Schritt S1126. Dann wird in Schritt S1127 eine weiße Kontur innerhalb der Rahmenaußenlinie 708 zur Analyse ausgewählt. In Schritt S1129 werden Grenzpixel identifiziert, die sich in der ausgewählten Zeile 1001 befinden. Grenzpixel sind alle Pixel einer speziellen Zeile, die an der Grenze einer ausgewählten weißen Kontur liegt. Beispielsweise sind die Pixel w1, w2, w3 und w4 von Zeile 1002 Grenzpixel.
Als nächstes werden in Schritt S1130 die identifizierten Grenzpixel sequentiell von der linken Seite der Tabellenzelle 502 beginnend numeriert. In Schritt S1131 schreitet der Ablauf fort zu Schritt S1134, wenn jede weiße Kontur in Hinsicht auf die aktuell ausgewählte Zeile analysiert worden ist. Der Ablauf kehrt dann zurück zu Schritt S1129, der in der zuvor beschriebenen Weise abläuft.
Im Falle, daß Schritt S1130 während der Analyse einer Einzelzeile wiederholt wird, werden beliebige identifizierte Grenzpixel sequentiell numeriert von der letzten Nummer an, die einem Grenzpixel in dieser Zeile zugewiesen wurde. Beispielsweise im Falle von Zeile 1002 werden Grenzpixel w1, w2, w3 und w4 während der Analyse der weißen Kontur 610 identifiziert. Danach werden die Grenzpixel gemäß der weißen Kontur 704 identifiziert. Diese Grenzpixel werden numeriert mit w5 bzw. mit w6.
Wie zuvor beschrieben, wird Schritt S1134 ausgeführt, wenn alle weißen Konturen in Hinsicht auf eine Einzelzeile analysiert worden sind. In Schritt S1134 werden schwarze Grenzpixel identifiziert, die schwarze Pixel der ausgewählten Zeile enthalten, die sich im ausgeweiteten rechteckigen Bereich 910 befinden. Wenn beispielsweise Zeile 1006 ausgewählt ist, wird das schwarze Pixel P identifiziert.
Wenn alle Zeilen des erweiterten rechteckigen Bereichs 910 nicht analysiert worden sind, schreitet der Ablauf von Schritt S1135 fort zu Schritt S1136, in dem die nächste Zeile des erweiterten rechteckigen Bereichs 910 ausgewählt wird, und der Ablauf kehrt zurück zu Schritt S1127. Wenn andererseits in Schritt S1135 die letzte analysierte Zeile die untere Zeile 1004 des erweiterten rechteckigen Bereichs 910 ist, schreitet der Ablauf fort zu Schritt S1137, und die Grenzpixel einer jeden Zeile werden analysiert. Insbesondere werden schwarze Pixel, die zwischen geradzahligen und ungeradzahligen Grenzpixeln einer Einzelzeile liegen, festgestellt. Wie in Fig. 10B gezeigt, werden schwarze Pixel in Zeile 1002 zwischen Grenzpixel w2 und w5 und zwischen Grenzpixeln w6 und w3 festgestellt. Darüber hinaus werden in Zeile 1006 schwarze Pixel zwischen Grenzpixeln w2 und w3 festgestellt. Schwarze Pixel werden auf diese Weise für jede Zeile des erweiterten rechteckigen Bereichs 910 festgestellt.
In Schritt S1138 werden schwarze Pixel festgestellt, die zwischen einem geradzahligen Grenzpixel und einem schwarzen Grenzpixel liegen. Beispielsweise werden die schwarzen Pixel festgestellt, die zwischen Pixel w1 der Zeile 1001 und dem schwarzen Grenzpixel P liegen. Gleichermaßen werden in Schritt S1138 beliebige schwarze Pixel festgestellt, die zwischen einem schwarzen Grenzpixel und einem ungeradzahligen Grenzpixel liegen.
Alle in den Schritten S1137 und S1138 festgestellten benachbarten schwarzen Pixel werden gemeinsam gruppiert, um angeschlossene verbundene Komponenten in Schritt S1139 zu bilden. Beispielsweise werden in Fig. 10B benachbarte schwarze Pixel gemeinsam gruppiert, um die angeschlossene verbundene Komponente "A" zu bilden. Sind einmal alle schwarzen Pixel einer jeden angeschlossenen verbundenen Komponente gruppiert, werden die angeschlossenen verbundenen Komponenten, gebildet in Schritt S1139, überprüft, um zu bestimmen, ob sie Textkomponenten sind.
In Schritt S1140 wird eine angeschlossene verbundene Komponente überprüft, um zu bestimmen, ob es sich um eine Horizontallinie handelt. Wenn die Höhe der Komponente geringer ist als ein vorbestimmter Schwellwert X4 und wenn das Breite-zu- Höhe-Verhältnis der Komponente größer als ein vorbestimmter Schwellwert X5 ist, schreitet folglich der Ablauf fort zu Schritt S1141, bei dem die Komponente eine Horizontallinie bestimmt, und der Ablauf schreitet fort zu Schritt S1150.
Wenn die angeschlossene verbundene Komponente nicht den Kriterien in Schritt S1140 genügt, schreitet der Ablauf fort zu Schritt S1142, in dem die angeschlossene verbundene Komponente überprüft wird, um zu bestimmen, ob es sich um eine Vertikallinie handelt. Wenn die Breite der Komponente geringer als ein vorbestimmter Schwellwert X6 ist, und wenn das Höhe-zu- Breite-Verhältnis der Komponente größer als ein vorbestimmter Schwellwert X7 ist, schreitet der Ablauf folglich fort zu Schritt S1144. In Schritt S1144 wird die Komponente als Vertikallinie bestimmt, und der Ablauf schreitet fort zu Schritt S1150.
Der Schritt S1145 bestimmt, ob die Komponente Teil einer Tabellenzelle 502 ist. In Schritt S1145 wird folglich überprüft, ob die Höhe oder Breite der Komponente geringer als ein vorbestimmter Schwellwert X8 ist, und die Komponente ist auch vollständig oben unter einer Seite aller verbundenen Textkomponenten innerhalb des Rahmens, und der Ablauf schreitet fort zu Schritt S1146, bei dem die Komponente bestimmt wird als Teil der Tabellenzelle 502, und der Ablauf schreitet fort zu Schritt S1150.
In Schritt S1147 wird die Komponente analysiert, um zu bestimmen, ob sich die Komponenten in ihrer Zeile oder Spalte befinden. Ist dem so, wird die Spalte oder Zeile von Komponenten überprüft, wie zuvor beschrieben, in Hinsicht auf Horizontal- und Vertikallinien. Wenn die Zeile oder die Spalte von Komponenten den Kriterien entweder einer Vertikallinie oder einer Horizontallinie entspricht, wird die Komponente als Teil einer gestrichelten Linie in Schritt S1148 bestimmt. Der Ablauf schreitet dann fort zu Schritt S1120.
Wenn den dargelegten Erfordernissen in Schritt S1140, S1142, S1145 oder S1147 nicht entsprochen wird, dann wird in Schritt S1149 die angeschlossene verbundene Komponente angenommen als Textkomponente. Ein Knoten wird folglich erstellt, der nicht angeschlossenen Text 606 darstellt.
Der Ablauf schreitet dann fort zu Schritt S1150, von dem im Falle, daß angeschlossene verbundene Komponente innerhalb der Tabellenzelle 502 noch nicht analysiert worden sind, der Ablauf zu Schritt S1140 zurückkehrt. Wenn alle angeschlossenen verbundenen Komponenten analysiert worden sind, schließt der Ablauf nach der vorliegenden Erfindung ab.
Angemerkt sei, daß die vorliegende Erfindung verwirklicht werden kann in einem Seitenanalysesystem, und daß sie nicht beschränkt ist auf die Blockauswahltechniken, die zuvor beschrieben wurden. Die vorliegende Erfindung kann des weiteren verwendet werden, Textdaten zu identifizieren und auszulesen, die an einen beliebigen umschriebenen Rahmen angeschlossen sind, ungeachtet der Tatsache, ob der Rahmen eine Zelle oder eine Tabelle, eine dekorative Grenze oder etwas anderes darstellt.
Des weiteren versteht sich, daß die in der Beschreibung verwendeten Ausdrücke "Schwarz" und "Weiß" und die Ansprüche dem Verständnis unter Bezug auf die herkömmlichen Schwarz-Weißgedruckten Dokumente beistehen. Die aktuellen Farben des Originalbildes werden immateriell klar den Umfang der Patentansprüche festlegen, und "Schwarz" und "Weiß" sollten entsprechend interpretiert werden.
Wie in den Ausführungsbeispielen beschrieben, wird ein rechteckiger oder ähnlicher Bereich gemäß vorbestimmten Regeln identifiziert. Der Bereich wird erweitert gemäß weiterer Regeln, um so einen oder mehreren Gegenständen zu umschließen, die anfänglich an die Tabellenzelle oder einen anderen Rahmen angeschlossen waren, werden aber beurteilt gemäß den weiteren Kriterien zum Umfassen weiterer Textelemente bezüglich jener innerhalb des anfänglichen Bereichs.
Während die vorliegende Erfindung zuvor in Hinsicht auf das beschrieben wurde, was derzeitig als bevorzugtes Ausführungsbeispiel anzusehen ist, versteht es sich, daß die Erfindung nicht auf das offenbarte Ausführungsbeispiel beschränkt ist. Im Gegenteil, die Erfindung beabsichtigt, verschiedene Abwandlungen und äquivalente Anordnungen abzudecken, die im Umfang der anliegenden Patentansprüche enthalten sind.

Claims

1. Verfahren zum Erleichtern des Merkmalauslesens in einem Merkmalauslesesystem, das Bilddaten in einem eingegebenen Dokument analysiert und eine dieses Dokument darstellende hierarchische Baumstruktur erstellt, mit den Verfahrensschritten:

erstes Aufsuchen (S1101) verbundener Komponenten im Dokument;

zweites Aufsuchen (S1103) weißer Konturen (610) in einer verbundenen Komponente;

erstes Festlegen (S1105) eines Bildumrisses (708) auf der Grundlage der aufgesuchten weißen Konturen;

erstes Identifizieren (S1107) nicht angeschlossener verbundener Komponenten (604) im Bildumriß;

zweites Festlegen eines anfänglichen Rechteckbereichs (805) im Bildumriß;

gekennzeichnet durch:

Erweitern (S1124) des Rechteckbereichs in Horizontal- oder Vertikalrichtung vom anfänglichen Rechteckbereich im festgelegten Bild, um einen erweiterten Zeichenbereich (910) zu schaffen;

Feststellen (S1134) schwarzer Pixel im erweiterten Zeichenbereich, die in wenigstens einer verbundenen und am Bild angeschlossenen Komponente im erweiterten Zeichenbereich enthalten sind; und

drittes Festlegen (S1149) eines Zeichenknotens einer hierarchischen Baumstruktur (200), die Informationen sowohl wenigstens einer verbundenen Komponente, die die festgestellten schwarzen Pixel beinhaltet, als auch beliebige identifizierte nicht angeschlossene Komponenten enthält.

2. Verfahren nach Anspruch 1, dessen erster Festlegungsschritt (S1145) eine Bildkontur durch Gruppieren und Rechtwinkelbildung der aufgesuchten weißen Konturen festlegt.

3. Verfahren nach Anspruch 1 oder 2, dessen zweiter Festlegungsschritt die weiteren Verfahrensschritte umfaßt:

Festlegen (1115) eines anfänglichen Rechteckbereichs auf der Grundlage nicht angeschlossener verbundener Komponenten im Falle, daß nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt (S1107) identifiziert sind;

Festlegen (1110) eines anfänglichen Rechteckbereichs auf der Grundlage weißer Konturen im Falle, daß nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt identifiziert sind; und

Festlegen eines anfänglichen Rechteckbereichs auf der Grundlage nicht angeschlossener verbundener Komponenten, wobei die weißem Konturen und ein Abstand von nicht angeschlossenen verbundenen Komponenten an einer Kante des Bildumrisses im Falle, daß kleine nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt identifiziert sind,

wobei die kleinen nicht angeschlossenen verbundenen Komponenten eine kleinere Fläche als der vorbestimmte Schwellwert haben (S1112).

4. Verfahren nach einem der Ansprüche 1 bis 3, mit dem weiteren Verfahrensschritt des Erkennens einer als Textbestandteil verbundenen Komponente.

5. Verfahren nach Anspruch 4, bei dem der Erkennungsschritt die verbundene Komponente als Textbestandteil erkennt, wenn:

einer ersten Bedingung genügt ist, daß eine Höhe der verbundenen Komponente nicht geringer als ein zweiter vorbestimmter Schwellwert oder ein Hoch-Quer-Format der verbundenen Komponente nicht größer als ein dritter vorbestimmter Schwellwert ist;

einer zweiten Bedingung genügt ist, daß eine Breite der verbundenen Komponente nicht geringer als ein vierter vorbestimmter Schwellwert oder ein Hoch-Quer-Format der verbundenen Komponente nicht größer als ein dritter vorbestimmter Schwellwert ist;

einer dritten Bedingung genügt ist, daß eine Breite oder Höhe der verbundenen Komponente größer als ein sechster vorbestimmter Schwellwert oder der Textbestandteil ist zwischen einer nicht angeschlossenen verbundenen Komponente und einer anderen nicht angeschlossenen verbundenen Komponente;

einer vierten Bedingung genügt ist, daß eine Gruppe verbundener Komponenten, die über die verbundene Komponente verfügen, und andere verbundene Komponenten in der selben Zeile oder Spalte der ersten und der zweiten Bedingung genügen;

wobei die erste, zweite, dritte und vierte der Bedingungen individuell als Alternativen oder in beliebiger Kombination als gleichzeitige Erfordernisse auferlegt sein können.

6. Vorrichtung zum Erleichtern des Merkmalauslesens in einem Merkmalauslesesystem, das Bilddaten in einem eingegebenen Dokument analysiert und eine dieses Dokument darstellende hierarchische Baumstruktur erstellt, mit:

einem erstes Aufsuchmittel, das verbundene Komponenten im Dokument aufsucht;

einem zweiten Aufsuchmittel, das weiße Konturen (610) in einer verbundenen Komponente aufsucht;

einem ersten Festlegemittel, das einen Bildumriß (708) auf der Grundlage der aufgesuchten weißen Konturen festlegt;

einem ersten Identifiziermittel, das nicht angeschlossene verbundene Komponenten (604) im Bildumriß identifiziert;

einem zweiten Festlegemittel, das einen anfänglichen Rechteckbereich (805) im Bildumriß festlegt;

gekennzeichnet durch:

ein Erweiterungsmittel, das den Rechteckbereich in Horizontal- oder Vertikalrichtung vom anfänglichen Rechteckbereich im festgelegten Bild erweitert, um einen erweiterten Zeichenbereich (910) zu schaffen;

ein Feststellmittel, das schwarze Pixel im erweiterten Zeichenbereich feststellt, die in wenigstens einer verbundenen und am Bild angeschlossenen Komponente im erweiterten Zeichenbereich enthalten sind; und durch

ein drittes Festlegemittel, das einen Zeichenknoten einer hierarchischen Baumstruktur (200) festlegt, die Informationen sowohl wenigstens einer verbundenen Komponente, die die festgestellten schwarzen Pixel beinhaltet, als auch beliebige identifizierte nicht angeschlossene Komponenten enthält.

7. Vorrichtung nach Anspruch 6, deren Festlegemittel eingerichtet ist, einen Bildumriß durch Gruppieren und Rechteckbildung der aufgesuchten weißen Konturen festzulegen.

8. Vorrichtung nach Anspruch 6 oder 7, deren zweites Festlegemittel ausgestattet ist mit:

einem Mittel zum Festlegen eines anfänglichen Rechteckbereichs auf der Grundlage nicht angeschlossener verbundener Komponenten im Falle, daß nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt identifiziert sind;

einem Mittel zum Festlegen eines anfänglichen Rechteckbereichs auf der Grundlage weißer Konturen im Falle, daß nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt identifiziert sind; und

einem Mittel zum Festlegen eines anfänglichen Rechteckbereichs auf der Grundlage nicht angeschlossener verbundener Komponenten, wobei die weißen Konturen und ein Abstand von nicht angeschlossenen verbundenen Komponenten an einer Kante des Bildumrisses im Falle, daß kleine nicht angeschlossene verbundene Komponenten im ersten Identifizierschritt identifiziert sind,

wobei die kleinen nicht angeschlossenen verbundenen Komponenten eine kleinere Fläche als der vorbestimmte Schwellwert haben.

9. Vorrichtung nach einem der Ansprüche 6 bis 8, die des weiteren über ein Erkennmittel verfügt, das eine als Textbestandteil verbundene Komponente erkennt.

10. Vorrichtung nach Anspruch 9, deren Erkennmittel eingerichtet ist, die verbundene Komponente als Textbestandteil zu erkennen, wenn:

11. Computerprogramm, das Befehle zum Realisieren aller Verfahrensschritte nach einem der Ansprüche 1 bis 5 enthält.

12. Computerlesbarer Aufzeichnungsträger, der ein Computerprogramm nach Anspruch 11 speichert.