DE69511507T2

DE69511507T2 - Verfahren und Vorrichtung zur automatischen Bildsegmentierung unter Verwendung von Standardvergleichsmustern

Info

Publication number: DE69511507T2
Application number: DE69511507T
Authority: DE
Inventors: Reiner Eschbach; Ronald E. Jodoin; Robert P. Loce
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1994-11-18
Filing date: 1995-11-16
Publication date: 2000-03-09
Anticipated expiration: 2015-11-17
Also published as: EP0713329A1; US6389163B1; EP0713329B1; US6298151B1; US6157736A; DE69511507D1; JPH08228282A

Description

Diese Erfindung betrifft allgemein ein Verfahren und eine Vorrichtung zur automatischen Bildsegmentierung unter Verwendung von Vergleichsmusterfiltern, und insbesondere ein Verfahren und eine Vorrichtung zur Segmentierung von Bereichen unterschiedlicher Textur oder Struktur innerhalb eines gespeicherten Binärbildes, wobei ein Vergleichsmusterfilter verwendet wird, das ausgelegt ist, daß es zumindest eine Textur hindurchgehen läßt, während es eine oder mehrere andere Texturen entfernt.
Die vorliegende Erfindung ist eine neuartige Methode, Text Halbton oder andere Bildstrukturen in zusammengesetzten Bildern unter Verwendung von Filterverfahren auf Vergleichsmustergrundlage zu trennen. Eine Hauptanwendung der vorliegenden Erfindung ist die Segmentierung von Textbereichen gegenüber Halbtonbereichen. Bei der Wiedergabe eines ursprünglichen Dokuments von Videobilddaten, die beispielsweise durch elektronische Rastereingangsabtastung von einem ursprünglichen Dokument erzeugt worden sind, ist man mit den begrenzten Auflösungsmöglichkeiten des Wiedergabesystems und der Tatsache konfrontiert, daß Ausgangseinrichtungen hauptsächlich binär bleiben. Dies ist besonders offensichtlich, wenn versucht wird, Halbton- und Strichbilder und Bilder mit durchgehendem Ton wiederzugeben. Natürlich kann ein Bilddatenverarbeitungssystem so maßgeschneidert werden, daß es die begrenzten Auflösungsmöglichkeiten der verwendeten Wiedergabevorrichtung zur Seite schiebt, wobei dies aber wegen der auseinanderstrebenden Verarbeitungsnotwendigkeiten schwierig ist, die von den unterschiedlichen Bildarten verlangt werden, die angetroffen werden können. In dieser Beziehung sollte verstanden werden, daß der Bildinhalt des ursprünglichen Dokuments vollständig aus einer Kopie mit Halbton hoher Frequenz, mit Halbton niedriger Frequenz, mit kontinuierlichem Ton, mit Text oder Zeilen oder aus einer Kombination unbekannten Ausmaßes einiger oder aller obiger bestehen kann. Das Bildverarbeitungssystem für eine Bildart in dem Bestreben zu optimieren, die Begrenzungen der Auflösungsmög lichkeit der verwendeten Wiedergabevorrichtung zur Seite zu schieben, mag nicht möglich sein, wobei eine Kompromißwahl verlangt wird, die keine annehmbaren Ergebnisse erzeugen mag. Somit geschieht beispielsweise, wo man das System für Halbton mit niederer Frequenz optimiert, dies häufig auf Kosten einer verschlechterten Wiedergabe einer Kopie mit Halbton mit hoher Frequenz oder mit Text oder mit Strichen und umgekehrt. Neben der Ausgabe einer genauen Wiedergabe ist eine Segmentierung unterschiedlicher Bildarten der Schlüssel für die erfolgreiche Anwendung von Erkennungsalgorithmen (z. B. Zeichenerkennung und Bildzeichenerkennung) und für eine wirksame Anwendung von Bildkompressionstechniken.
Als ein Beispiel der angetroffenen Probleme neigt die Wiedergabe von Halbtonbildern mit Rastern darin Moire-Effekte einzuführen, die durch die Wechselwirkung der ursprünglichen Rasterfrequenz und der angewendeten Rasterfrequenz hervorgerufen wird. Obgleich die Verwendung von Zeilenrastern hoher Frequenz das Problem verringern kann, können Fehlbilder weiterhin in einigen Bildern auftreten. In einem vernetzten Umfeld ist es besonders erwünscht, daß die Bildverarbeitungseinrichtung (z. B. der Rastereingangsabtaster) den Halbton erfaßt und das Dokumentenbild zu einem kontinuierlichen Ton zur nachfolgenden Halbtonwiedergabe durch Druckgeräte in dem Netz gemäß ihren besonderen Möglichkeiten tiefpaßfiltert.
Bisher hat eine Anzahl Anwendungen, Patente und Veröffentlichungen Techniken zur Segmentierung digitaler Bilddaten geoffenbart, deren wichtigsten Abschnitte kurz zusammengefaßt werden, wie folgt:
US-A-5,245,445 offenbart eine Bildverarbeitungsvorrichtung, die umfaßt einen Bildverarbeitungsteil, um eine Bildverarbeitung an einem Eingangsbild mit Pixeln mit Mehrebenenbits durchzuführen, die von einer Eingabeeinheit zugeführt werden, wobei die Bildverarbeitung auf einer Verarbeitungsebene unter einer Mehrzahl vorbestimmter Verarbeitungsebenen ausgeführt wird, einen ersten Erfassungsteil, um die Randmenge des Eingangsbilds zu erfassen, einen zweiten Erfassungsteil, um eine gerasterte Punktmenge des Eingangsbildes zu erfassen, und einen Steuerungsteil, um einen Steuerungsindex proportional der erfaßten Randmenge und der erfaßten gerasterten Punktmenge zu bestimmen und um den bestimmten Steuerungsindex dem Bildverarbeitungsteil zuzuführen, so daß der Bildverarbeitungsteil eine für das Eingabebild geeignete Verarbeitungsebene aus den Verarbeitungsebenen in Antwort auf den Steuerungsindex auswählt und eine Bildverarbeitung an dem Eingabebild auf der ausgewählten Verarbeitungsebene durchführt.
Gemäß der vorliegenden Erfindung wird geschaffen ein Verfahren zur automatischen Bildsegmentierung unter Verwendung von Vergleichsmusterfiltern zur Verarbeitung eines Dokumentenbildes, um darin vorhandene Bildstrukturen zu bestimmen, wobei die Schritte umfassen: Erhalten eines Dokumentenbildes von einer Bildquelle, das eine Mehrzahl Pixel darin aufweist, wobei jedes Pixel durch ein binäres Bildsignal wiedergegeben ist und Speichern zumindest eines Abschnitts davon, der einen Bereich des Dokumentenbildes darstellt, in einem Datenpuffer; Wiedergewinnen der binären Bildsignale für das Dokumentenbild aus dem Datenpuffer; Bestimmen von in dem Bereich des Dokumentenbildes vorhandenen Bildstrukturen unter Verwendung der Vergleichsmusterfilter, dadurch gekennzeichnet, daß der Schritt, Bildstrukturen zu bestimmen, die Schritte umfaßt: Anwenden eines Vergleichsmusterfilters einer ersten Stufe auf die binären Bildsignal für das Dokumentenbild, um ein erstes gefiltertes binäres Ausgangsbild zu erzeugen; Anwenden eines Vergleichsmusterfilters einer zweiten Stufe auf das erste gefilterte binäre Ausgangsbild, um ein binäres Fehlerbild zu erzeugen; und Durchführen einer EXKLUSIV-ODER-Funktion an dem binären Fehlerbild und dem ersten gefilterten binären Ausgangsbild, um von dem ersten gefilterten binären Ausgangsbild alle binären Bildsignale aus den Segmenten des Dokumentenbildes zu maskieren, die nicht aus einer ersten Bildstruktur bestehen, um ein erstes binäres Ausgangsbild zu erzeugen, wobei das erste binäre Ausgangsbild nur Segmente der ersten Bildstruktur darin enthält.
Gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung wird geschaffen eine Vorrichtung zur Verarbeitung binärer Bildpixel in einem Bild, das durch eine Mehrzahl Raster binärer Bildpixel dargestellt ist, um Bereiche zu identifizieren, die eine besondere Struktur zeigen, umfassend: eine Bildquelle zum Erzeugen eines Dokumentenbildes, das darin eine Mehrzahl binärer Bildpixel aufweist, wobei jedes Pixel durch ein binäres Bildsignal dargestellt ist; einen Speicher zum Speichern zu mindest eines Abschnitts der binären Bildsignale in einem Datenpuffer, die einen Bereich des Dokumentenbilds darstellen; und eine Verarbeitungseinrichtung, die Vergleichsmusterfilter verwendet, um das Vorhandensein der bestimmten Struktur in dem Bereich des in dem genannten Speicher gespeicherten Bildes zu identifizieren, dadurch gekennzeichnet, daß die Verarbeitungseinrichtung fähig ist, ein Vergleichsmusterfilter einer ersten Stufe auf die binären Bildsignale für das Dokumentenbild anzuwenden, um ein erstes gefiltertes binäres Ausgangsbild zu erzeugen; ein Vergleichsmusterfilter einer zweiten Stufe auf das erste gefilterte Ausgangsbild anzuwenden, um ein binäres Fehlerbild zu erzeugen; und eine EXKLUSIV-ODER- Funktion auf das binäre Fehlerbild und das erste gefilterte binäre Ausgangsbild anzuwenden, um aus dem ersten gefilterten Ausgangsbild jegliche binären Signale aus Segmenten des Dokumentenbildes zu maskieren, die nicht aus einer ersten Bildstruktur bestehen, um ein erstes binäres Ausgangsbild zu erzeugen, wobei das erste binäre Ausgangsbild nur erste Bildstruktursegmente darin enthält.
Vorzugsweise umfaßt die Verarbeitungseinrichtung eine Segmentierungsschaltung, die ein mehrstufiges Filter auf VergleichsVergleichsmustergrundlage umfassen kann.
Vorzugsweise umfaßt die erste Stufe und/oder die zweite Stufe des genannten mehrstufigen Filters eine Nachschlagetabelle, die mit einer Mehrzahl Eingängen vorprogrammiert ist, wobei jeder der genannten Eingänge einem Pixelmuster entspricht, das bestimmt wird, ein Segment eines Übungsbildes darzustellen, das nur einen Textinhalt aufweist.
Die besondere Struktur kann Halbton sein oder kann Text sein.
Die Vorrichtung kann des weiteren ein logisches Filter umfassen, um die besondere Struktur aus dem Bildbereich, der in dem genannten Speicher gespeichert ist, zu entfernen, um ein binäres Ausgangsbild zu erzeugen, das im wesentlichen von der besonderen Struktur frei ist.
Die Vorrichtung kann des weiteren ein logisches Filter umfassen, um vorzugsweise die besondere Struktur für den in dem genannten Speicher gespeicherten Bildbereich durchzulassen, um ein binäres Ausgangsbild zu erzeugen, das im wesentlichen aus Bereichen besteht, die die besondere Struktur enthalten.
Die Vorrichtung kann des weiteren eine logische Schaltung einschließen, um die in dem genannten Ausgangsspeicher gespeicherten Ausgangssignale mit entsprechenden Signalen in dem genannten Bildspeicher einer EXKLUSIV-ODER (XOR) Verarbeitung zu unterziehen, um im wesentlichen Bereiche zu entfernen, die die erste Struktur von dem binären Ausgangsbild zeigen.
Die Verarbeitungseinrichtung kann eine geeignet programmierte programmierbare Bildverarbeitungsvorrichtung umfassen.
Einem Gesichtspunkt der Erfindung liegt die Entdeckung zugrunde, daß Muster verwendet werden können, eine Binärstruktur in einer oder mehreren Texturen zu erkennen. Genauer gesagt können Filter auf VergleichsVergleichsmustergrundlage verwendet werden, Bereiche eines Bildes zu erkennen, das Text und Strichdarstellung enthält. Diese Entdeckung vermeidet des weiteren Probleme, die bei Techniken auftreten, die versuchen, einen breiten Bereich von Dokumentenarten zu überdecken, da die vorliegende Erfindung des weiteren die "Gewöhnung" der Filter auf VergleichsVergleichsmustergrundlage, die darin verwendet werden, in Reaktion auf Übungsdokumente ermöglicht, die für Dokumente repräsentativ sind, die im allgemeinen von Bildverarbeitungssystemen angetroffen werden. Diesem Gesichtspunkt liegt des weiteren die Entdeckung von Techniken zugrunde, die statistische Darstellungen von Mustern erzeugen, die in Text und Halbtonbereichen von Vorlagen gefunden werden.
Die hier beschriebene Technik ist von Vorteil, weil sie verglichen mit anderen Methoden preiswert ist und dahingehend flexibel ist, daß sie an irgendeine Anzahl von Eingangsdokumentarten angepaßt werden kann, die einen breiten Bereich mögli cher Muster zeigen. Als ein Ergebnis der Erfindung kann ein preiswertes Bildsegmentierungssystem ausgeführt werden.
Fig. 1 ist ein allgemeines Blockdiagramm, das eine Ausführungsform der automatischen Bildsegmentierungsvorrichtung gemäß der vorliegenden Erfindung zeigt, wo die Erfindung in einem Dokumentwiedergabesystem verwendet wird;
Fig. 2 ist ein Datenflußdiagramm, das ein zweistufiges Bildsegmentierungsverfahren gemäß der vorliegenden Erfindung darstellt;
Fig. 3 ist ein Flußdiagramm, das die verschiedenen Schritte in einem seriellen Verfahren darstellt, das verwendet wird, ein Segmentierungsfilter auf VergleichsVergleichsmustergrundlage auf das Eingabebild der Fig. 1 anzuwenden;
Fig. 4A und 4B sind Bilddarstellungen der Arbeitsweise des Segmentierungsfilters auf Vergleichsmustergrundlage bei einem Bereich eines Bildes gemäß der vorliegenden Erfindung;
Fig. 5 ist ein vereinfachtes elektrisches Schaltbild, das die Ausführung eines parallelen Verarbeitungsschemas für eine Segmentierungsschaltung auf Vergleichsmustergrundlage gemäß einem Gesichtspunkt der vorliegenden Erfindung darstellt; und
Fig. 6 und 7 sind Datenflußdiagramme, die die verschiedenen Stufen in dem Verfahren darstellen, die verwendet werden, die Segmentierungsfilter auf Vergleichsmustergrundlage der vorliegenden Erfindung zu konstruieren.
Zum allgemeinen Verständnis der vorliegenden Erfindung wird auf die Zeichnungen Bezug genommen. In den Zeichnungen sind gleiche Bezugszeichen durchgehend verwendet worden, um identische Elemente zu bezeichnen. Beim Beschreiben der vorliegenden Erfindung sind die folgenden Ausdrücke in der Beschreibung verwendet worden.
Ein "Bild" ist allgemein ein Muster aus physikalischem Licht. Ein Bild kann Zeichen, Wörter und Text sowie andere Merkmale, wie Graphiken, umfassen. Text kann in einem Satz aus einem oder mehreren Bildern enthalten sein. Ein Bild kann in "Segmente" oder "Bereiche" unterteilt oder segmentiert werden, von denen jedes selbst ein Bild ist. Die "Struktur" eines Bildsegments oder -bereiches wird im allgemeinen durch den Hauptinhalt des Bereiches bestimmt, der z. B. Text-, Halbton- oder Graphikstrukturen einschließt. Ein Segment eines Bildes kann irgendeine Größe bis zu dem gesamten Bild und dieses einschließend sein. Irgendein Bild mag sich auch auf ein zweidimensionales Datenfeld beziehen, das ein Muster aus physikalischem Licht darstellt. Ein "Dokument", das entweder als Hardcopy (geschrieben oder gedruckt) oder elektrische (Datenfeld) Form vorliegen mag, ist eine Darstellung von einem oder mehreren Bildern und/oder Text. Ein Dokument kann mehrere Seiten umfassen.
Ein Gegenstand von Daten "definiert" ein Bild, wenn der Gegenstand von Daten ausreichend Informationen einschließt, um das Bild zu erzeugen. Beispielsweise kann ein zweidimensionales Feld das ganze oder irgendeinen Teil eines Bildes definieren, wobei jeder Gegenstand von Daten in dem Feld einen Wert liefert, der die Farbe und/oder die Intensität eines entsprechenden Orts des Bildes angibt. Wenn ein zweidimensionales Feld oder ein anderer Gegenstand von Daten ein Bild definiert, das ein Zeichen einschließt, definiert das Feld oder der andere Gegenstand von Daten ebenfalls das Zeichen.
Jeder Ort in einem Bild kann ein Pixel genannt werden. Ein "Pixel" ist das kleinste Segment, in das ein Bild in einem gegebenen System unterteilt wird. In einem ein Bild definierenden Feld, in dem jeder Gegenstand von Daten einen Wert liefert, wo bei jeder Wert die Farbe und/oder die Intensität eines Orts angibt, kann ein "Pixelwert" genannt werden. Jeder Pixelwert in einem Binärbild ist ein elektrisches Signal in einer "binären Form", ein Grauskalawert in einer "Grauskalaform" eines Bildes, oder ein Satz von Farbraumkoordinaten in einer "Farbkoordinatenform" eines Bildes, wobei die Binärform, die Grauskalaform und die Farbkoordinatenform jeweils ein zweidimensionales Feld ist, das ein Bild definiert. Daher kann sich der Ausdruck Pixel auch auf das elektrische (oder optische) Signal beziehen, das die meßbaren optischen Eigenschaften eines physikalisch definierbaren Bereiches auf einem Anzeigemedium darstellt. Eine Mehrzahl physikalisch definierbarer Bereiche für jede der Situationen stellt die meßbaren Eigenschaften des gesamten Bildes dar, das entweder durch eine Materialmarkierungseinrichtung, oder eine elektrische oder magnetische Markierungseinrichtung hergestellt werden soll. Schließlich kann sich der Ausdruck Pixel auf ein elektrisches (oder optisches) Signal beziehen, das die physikalische optische Eigenschaftsdate darstellt, die von einem photoempfindlichen Element erzeugt wird, wenn ein physikalisches Bild abgetastet wird, so daß die physikalischen optischen Eigenschaften des Bildes in eine elektronische oder elektrische Darstellung umgewandelt werden. Mit anderen Worten ist in dieser Situation ein Pixel eine elektrische (oder optische) Darstellung der optischen Eigenschaften eines Bildes, wobei in einem definierbaren Bereich mit einem optischen Sensor gemessen wird.
Ein Gegenstand von Daten "bezieht sich" auf einen Teil eines Bildes, wie ein Pixel oder ein größeres Segment des Bildes, wenn der Gegenstand von Daten eine Beziehung irgendeiner Art zu dem Teil des Bildes aufweist. Beispielsweise könnte der Gegenstand von Daten den Teil des Bildes definieren, wie ein Pixelwert ein Pixel definiert; der Gegenstand von Daten könnte von Daten erhalten werden, die den Teil des Bildes definieren; der Gegenstand von Daten könnte einen Ort des Teils des Bildes angeben; oder der Gegenstand von Daten könnte Teil eines Datenfeldes sein, so daß, wenn das Datenfeld auf das Bild abgebildet wird, der Gegenstand von Daten auf den Teil des Bildes abgebildet wird. Eine Operation führt eine "Bildverarbeitung" durch, wenn sie an einem Gegenstand von Daten arbeitet, der zu dem Teil eines Bildes gehört.
Pixel sind "Nachbarn" oder "benachbart" innerhalb eines Bildes, wenn es keine anderen Pixel zwischen ihnen gibt oder wenn sie ein geeignetes Nachbarschaftskriterium erfüllen, wie in ein positioniertes Beobachtungsfenster zu fallen. Wenn die Pixel rechteckförmig sind und in Zeilen und Spalten erscheinen, kann jedes Pixel 4 oder 8 verbundene Nachbarpixel in Abhängigkeit von dem verwendeten Kriterium aufweisen.
Eine "Bildeingabeeinrichtung" ist eine Einrichtung, die ein Bild empfangen und einen Gegenstand von Daten liefern kann, der eine Darstellung des Bildes definiert. Ein "Abtaster" ist eine Bildeingabeeinrichtung, die ein Bild durch einen Abtastvorgang erhält, wie durch Abtasten eines Hardcopydokuments. Beispielsweise sind der Xerox 7650 Pro Imager Abtaster und das Xerox® 7009 Facsimile Terminal Gerät, die Hardcopydokumente erhalten, um ein Bild definierende Daten zu erzeugen. Andere Bildeingabeeinrichtungen umfassen Datenverarbeitungssysteme, die geeignet sind, digitale Dokumente in Antwort auf Befehle von einem Benutzer zu erzeugen.
Eine "Bildausgabeeinrichtung" (IOT) ist eine Einrichtung, die einen ein Bild definierenden Gegenstand von Daten erhalten und das Bild als Ausgabe liefern kann. Eine "Anzeige" ist eine Bildausgabeeinrichtung, die das Ausgangsbild in einer für einen Menschen sichtbaren Form liefert. Das durch eine Anzeige wiedergegebene sichtbare Muster ist ein "angezeigtes Bild" oder einfach "Bild". Ein "Drucker" oder eine "Markierungsmaschine" ist eine Bildausgabeeinrichtung, die das Ausgangsbild auf einem entfernbaren Medium in einer für den Menschen lesbaren Form herstellen kann.
Es wird sich nun der Fig. 1 zugewandt, die eine Ausführungsform der automatischen Bildsegmentierungsvorrichtung zeigt, und in einer Bildwiedergabeeinrichtung gemäß der vorliegenden Erfindung verwendet wird, wobei die allgemeinen Bauteile eines digitalen Druckers 12 gezeigt sind. Genauer gesagt wird ein Eingabebild 10 einem digitalen Drucker 12 geboten, um einen gedruckten Ausgabe 20 zu erzeugen. Innerhalb des digitalen Druckers 12 transformiert ein Segmentierungsfilter 14 das Ein gangsbild gemäß der vorliegenden Erfindung in zumindest zwei segmentierte Bilder, in einem vereinfachten Fall in seinen segmentierten Text- und Halbtonbereich. Die segmentierten Bildpixelmuster werden wiederum zu einer Bildverarbeitungs/Rekombinationsschaltung 15 weitergegeben. Wie es weiter beschrieben wird, verarbeitet die Bildverarbeitungsschaltung 15 die segmentierten Bilder, um ein Ausgangsbild 16 zu erzeugen, das für das gegebene Markierungsverfahren optimiert ist. Alternativ können die bestimmten Bildsegmente, während sie in segmentierter Form sind, getrennt und in Bereiche gruppiert werden, wobei Techniken, wie morphologisches Öffnen oder Schließen, verwendet werden. Sobald ein Segment oder Bereich getrennt ist, kann jedes Pixel markiert werden, indem der Zustand eines zugeordneten Markierungsbit nach Maßgabe der Bildart (z. B. Text, Halbton, oder anderes) markiert werden. Die markierten Abschnitte können dann zu einem einzigen Pixelmuster mit Markierungen rekombiniert werden. Wenn sie zu den nachfolgenden Arbeitsvorgängen weitergegeben werden, werden die einzelnen Pixel innerhalb eines Bereiches in einer Weise behandelt, die für den besonderen Bereich optimiert ist. Nachfolgend kann das Ausgangsbild 16 zu einer Markierungsmaschine 18 zur Belichtung und Entwicklung weitergegeben werden, wie es gut bekannt ist, um einen Ausgangsdruck 20 zu erzeugen.
Nun auf Fig. 2 bezugnehmend stellt das Datenflußdiagramm ein zweistufiges Bildsegmentierungsverfahren dar, das in dem Segmentierungsfilter 14 der Fig. 1 ausgeführt wird. Obgleich ein vorzugsweise zweistufiges Filter gezeigt ist, versteht es sich, daß eine einstufige Iteration hätte verwendet werden können, oder daß zusätzliche Stufen oder Iterationen verwendet werden könnten, um Fehler bei der Klassifizierung von Text- und Halbtonbereichen des Bildes zu verringern. In der Figur wird ein Eingabedokument 10, das Bereiche mit Text 24 und Halbton 26 enthält, zu einer ersten Iterationsfilterschaltung 30 gegeben. Das Eingabedokument 10 ist vorzugsweise eine Mehrzahl von Binärdatensignalen, die beispielsweise den Text-, Halbton- und graphischen Bildbereich darstellen, die das Dokument bilden. Das Eingabedokumentbild kann als eine digitalisierte Darstellung eines Hardcopydokuments auf einem Abtaster abgetastet werden. In der ersten Filterschaltung 30 wird das Dokumentbild gefiltert, indem seine Segmente mit vordefinierten Vergleichsmustern ver glichen werden, die hier als Vergleichsmuster bezeichnet und als LUT&sub1; gespeichert sind. Wie es weiter in dem Flußdiagramm der Fig. 3 und den zugeordneten Beispielen 4A und 48 dargestellt ist, wird, sobald das Eingabedokument beim Schritt 100 erhalten wird, ein Sollpixel "X" identifiziert, und eine Gruppe umgebender Pixel wird im Schritt 102 als Fenster behandelt. Fig. 4A stellt einen Abschnitt eines digitalisierten Bildes 130 dar, das einen Text enthaltenden oberen Abschnitt 130a und einen einen Halbtonbereich enthaltenden unteren Abschnitt 13b aufweist. Vergrößerte Abschnitte 132 und 134 des Bildes sind in Fig. 4B gezeigt, wo die einzelnen Pixel unterscheidbar sind, die das Bild umfassen.
Die Werte der Pixelsignale innerhalb des Fensters werden dann mit den in dem Speicher gespeicherten Vergleichsmustern verglichen, beispielsweise den Vergleichsmustern 136a-136f und 138, die in Fig. 4B dargestellt sind. Vorzugsweise ist das Vergleichsmusterfilter als eine Nachschlagetabelle (LUT) ausgeführt. Wenn ein passendes Vergleichsmuster im Schritt 106 gefunden wird, wird das Sollpixel im Schritt 120 als ein Textpixel identifiziert und kann im Schritt 122 unverändert durch das Filter hindurchgehen. Sonst wird das Verfahren beim Schritt 108 fortgesetzt, wo die Gegenwart weiterer Vergleichsmuster geprüft wird. Wenn weitere Vergleichsmuster mit dem Fenster verfügbar sind, wird das Verfahren beim Schritt 110 fortgesetzt. Sonst wird, wenn keine weiteren Vergleichsmuster zur Verfügung stehen, das Pixel im Schritt 112 identifiziert, daß es für ein Halbtonsegment oder einen Hintergrundbereich eines Eingangsbildes repräsentativ ist, und im Schritt 114 wird ein Ausgang "0" oder ein "AUS" Pixelsignal erzeugt.
Bei einer bevorzugten Ausführungsform mit Mehrfachiteration, die der ersten Iteration folgt, wie sie oben beschrieben worden ist, versucht das Filter Fehlerpixel zu identifizieren und sie des weiteren von dem, sagen wird, Textbild zu entfernen. Da Fehlerpixel dazu neigen, viel seltener als die identifizierten Textpixel zu sein, könnte eine unterschiedliche Klasse von Filtern für aufeinanderfolgende Iterationen verwendet werden. Beispielsweise könnte ein statistisches Ordnungsfilter verwendet werden, bei dem, wenn weniger als eine vorbestimmte Anzahl Pixel innerhalb eines Nachbarschaftsfensters aktiv sind, das Sollpixel als ein Fehlerpixel betrachtet wird.
Alternativ könnte eine ähnliche Nachbarschaftsprüfung mit morphologischen Filtern ausgeführt werden.
Man beachte, daß das oben unter Bezugnahme auf das Flußdiagramm der Fig. 3 beschriebene serielle Verfahren, das für Softwareausführungen der LUT geeignet ist, auch unter Verwendung einer elektrischen Schaltungsanordnung ausgeführt werden kann. Eine höhere Leistungsgeschwindigkeit mag unter Verwendung einer Hardwareausführung erhalten werden, bei der die Nachschlagtabellen (LUTs) unter Verwendung einer anwendungsspezifischen integrierten Schaltung oder eines programmierbaren logischen Feldes ausgeführt würde.
Als ein vereinfachtes Beispiel einer solchen Ausführungsform ist das elektrische Schaltungsschema der Fig. 5 vorgesehen. In der Filterschaltung 200 wird das Dokumentenbild gefiltert, indem Segmente von ihm mit vordefinierten Vergleichsmustern verglichen werden, die hier als Muster bezeichnet sind, die als Nachschlagetabellen gespeichert sind (32 oder 42). Wie es in Fig. 5 dargestellt ist, wird, sobald das Eingangsdokument erhalten wird, ein Sollpixel X identifiziert, und eine Gruppe umgebender Pixel wird als ein Fenster 202 behandelt. Die Werte der Pixelsignale innerhalb des Fensters werden dann zu einem Register 204 oder einem ähnlichen Speicherplatz übertragen, der zum Halten von Datensignalen geeignet ist, die für die Pixel innerhalb des Fensters 202 repräsentativ sind.
Bei Verwendung einer Mehrzahl logischer Gatter 206 (die eine Kombination aus UND- oder NICHT-UND-Gattern in Abhängigkeit von dem Binärwert in irgendeiner bestimmten Vergleichsmusterposition sein können) oder ähnlicher logischer Operationen werden die Signale, die in dem Register 204 gespeichert sind, mit den als eine Reihe von Signalen in dem Nachschlagetabellenspeicher gespeicherten Vergleichsmustern verglichen, wobei die Gruppe der gespeicherten Signale für jedes Muster ein eindeutiges Pixelmuster darstellt, das innerhalb des Fensters erfaßt werden soll. Beispielsweise wären die Nachschlagetabellen (LUT) 32 oder 42 mit Vergleichsmustern besetzt, die jenen von 136a -136f und 138 ähnlich sind, wie es in Fig. 4 dargestellt ist. Es wird des weiteren angemerkt, daß, während der Einfachheit halber einzelne Elemente 206 dargestellt sind, eine Ausführung der beschriebenen parallelen Vergleichsoperation eine Mehrzahl logischer Gatter für jedes Vergleichsmuster oder für jeden Nachschlagetabelleneingang verlangt würde, wie es für den Durchschnittsfachmann auf dem Gebiet offensichtlich ist. Wie es des weiteren für den Durchschnittsfachmann auf dem Gebiet auf der Hand liegt, können logische Minimierungstechniken verwendet werden, um den schnellen parallelen Vergleich der Nachschlagetabellenmuster mit den in dem Register 204 gespeicherten Werten zu ermöglichen.
Nach dem Schritt des parallelen Vergleichs, der durch Vergleichen der Signale in dem Register 204 mit den zugeordneten Signalen bei jedem Eingang der Nachschlagetabelle 32, 42 ausgeführt wird, würde irgendeine Übereinstimmung zwischen den Signalgruppen ein positives logisches Signal ergeben, das zu der logischen ODER-Mehrfachanordnung geleitet wird, die mit dem Bezugszeichen 208 angegeben ist. Wie es vorhergehend in bezug auf das Textstrukturfilter auf Vergleichsmustergrundlage beschrieben worden ist, würde der Ausgang der ODER-Glied-Mehrfachanordnung das Sollpixel X als ein Textpixel identifizieren, so daß es unverändert hindurchgehen kann. Sonst könnte das Sollpixel als ein textfreier Bereich identifiziert und markiert werden, einen Ausgang "0" oder ein "AUS" Pixelsignal zu erzeugen.
Sobald gemäß den Schritten der Fig. 3 oder der Schaltung der Fig. 5 verarbeitet worden ist, die beide vorzugsweise mit einer Nachschlagetabelle 32 ausgeführt sind, ergibt sich das erste Filterausgangsbild 34. Nachfolgend wird eine zweite Iteration eines Filters 40 auf Vergleichsmustergrundlage in einer Weise ausgeführt, die zu der vorhergehend in bezug auf die Fig. 3, 4A-B und 5 beschriebenen ähnlich ist. Genauer gesagt, wird unter erneuter Bezugnahme auf Fig. 2 der erste Filterausgang dann als der Eingang verwendet und mit dem in LUT&sub2; (42) gespeicherten Vergleichsmuster verglichen, um das Fehlerbild 44 zu erzeugen. Nachfolgend wird das Fehlerbild 44 einer EXKLUSIV-ODER-Operation (46) mit dem ersten Ausgangsbild unterzogen, um das reine Textausgangsbild 48 zu erzeugen. Alternativ kann das reine Textausgangsbild 48 weiter einer EXKLUSIV-ODER-Operation (50) mit dem Eingangsdokument unterzogen werden, um ein reines Halbtonausgangsbild 52 zu erzeugen. Somit können segmentierte Binärbilder 48 und 52 ausgegeben werden, wobei die segmentierten Bilder hauptsächlich Markierungen umfassen, die eine der Strukturen darstellen, die von dem Filter hindurchgelassen sind. Beispielsweise sind die segmentierten Bilder 48 bzw. 42 Bilder, die in sich nur Text- oder Halbtonbildsegmente aufweisen.
Es versteht sich ferner, daß der Ausgang des Filterverfahrens, wie er in den Fig. 3, 4A-B und 5 gezeigt ist, auch ein rein binäres Signal sein kann, das angibt, ob eine Übereinstimmung für jedes bestimmte betrachtete Sollpixel festgestellt wurde. Auf diese Weise wäre der Ausgang der Filter auf Vergleichsmustergrundlage von binärer Art und würde nicht notwendigerweise den Durchgang oder die Maskierung von Bildsegmenten gestatten, ohne weitere logische Operationen an dem Eingangsbild durchzuführen.
Es wird erneut auf Fig. 1 Bezug genommen, wobei, sobald die segmentierten Bilder durch das Segmentierungsfilter 14 erzeugt worden sind, diese nachfolgend durch eine Bildverarbeitung und/oder eine Rekombinierungsoperation bearbeitet werden können, die als Block 15 dargestellt ist. Insbesondere können Bildverarbeitungsoperationen Filter und andere gut bekannte Techniken verwenden, die speziell konstruiert worden sind, die von dem Segmentierungsfilter 14 abgetrennten segmentierten Bildstrukturen zu verarbeiten. Des weiteren können die segmentierten Bilder, sobald sie verarbeitet worden sind, rekombiniert werden, um ein Ausgangsbild 16 in einer Form zu bilden, die für eine verbesserte Darstellung durch die Markierungsmaschine 18 geeignet ist.
Sich nun den Fig. 6 und 7 zuwendend werden die Datenflußdiagramme, die die verschiedenen Verfahrensstufen darstellen, die verwendet werden, die Segmentierungsfilter auf Vergleichsmustergrundlage der vorliegenden Erfindung zu konstruieren, nun beschrieben. Wie es in Fig. 6 dargestellt ist, wird die LUT&sub1; unter Verwendung eines Paares von Übungsdokumenten erzeugt, wobei das erste Übungsdokument 150 eine digitale Darstellung eines elektronischen Dokuments ist, das sowohl einen Text- als auch einen Halbtonbereich enthält. Das zweite Übungsdokument, das Dokument 152, ist identisch dem ersten Übungsdokument mit der Ausnahme, daß es editiert worden ist, um die Halbtonbereiche darin zu entfernen. Um die Muster zu erzeugen, die in der LUT&sub1; gespeichert werden sollen, werden das erste und das zweite Übungsdokument dem Vergleichsmusterübereinstimmungsprogramm 156 zugeführt. Das Programm 156 arbeitet gemäß den Verfahren, die von Loce u. a. in US-A-5,387,985 beschrieben worden sind. Im allgemeinen gestattet das Filterkonstruktionsverfahren, das durch das Vergleichsmusterübereinstimmungsprogramm ausgeführt wird, die Konstruktion optimierter Filter auf Vergleichsmustergrundlage, die dann in einem programmierbaren Speicher als LUT&sub1; gespeichert werden. Wie es offensichtlich ist, können viele Gesichtspunkte der vorliegenden Erfindung oder das zugeordnete Vergleichsmusterkonstruktionsverfahren ausgeführt oder simuliert werden, wobei ein programmierbares Datenverarbeitungssystem verwendet wird.
Bei der obengenannten Anwendung erzeugt das LUT Konstruktionsverfahren ein Filter, das eine minimale Anzahl fehlerhafter Pixel ergibt, wenn es auf ein Eingangsbild angewendet wird. Im vorliegenden Fall mag es wichtiger sein, keine Fehler in dem Halbtonbereich des Bildes im Gegensatz zu dem Textbereich des Bildes zu machen. Deshalb mag es bei einer alternativen Ausführungsform bevorzugt sein, einen Gewichtsfaktor größer als 1 auf Halbtonpixel in dem Übungsdokument anzuwenden, so daß das statistische Konstruktionsverfahren versucht, einen Halbtonpixelklassifizierungsfehler stärker als einen Textpixelklassifizierungsfehler zu minimieren. Im allgemeinen mag bevorzugt werden, Pixel einer Struktur in den Übungsdokumenten zu gewichten. Das Gewichten könnte sehr einfach sein, so daß jedes Halbtonpixel ebenso in die Statistik eingegliedert ist, wie N Pixel normalerweise behandelt würden.
Sobald die erste Stufe oder Iteration des Segmentierungsfilters erzeugt und als LUT&sub1; gespeichert worden ist, kann die zweite Stufe erzeugt werden. Wie es durch das Datenflußdiagramm der Fig. 6 dargestellt ist, wird das ursprüngliche Bild 150 zu dem als LUT&sub1; dargestellten Segmentierungsfilter der ersten Stufe geschickt. Der Ausgang, das gefilterte Bild 154, wird dann so gespeichert, daß es zu einer EX KLUSIV-ODER-Logikschaltung 158 gelangen kann, wo es einer EXKLUSIV-ODER- Operation mit dem reinen Textübungsdokument 152 unterzogen wird. Der Ausgang der EXKLUSIV-ODER-Operation 158, das Fehlerbild 160, wird dann zu dem Vergleichsmusterübereinstimmungsprogramm 156 zusammen mit dem gefilterten Bild 154 geschickt. Bei diesem zweiten Auftreten des Vergleichsmusterübereinstimmungsprogramm ist der Ausgang eine Reihe von Mustern, die als LUT&sub2; dargestellt sind. Man beachte, daß zusätzliche Iterationen des zweiten Segmentierungsfilterkonstruktionsverfahrens, Fig. 6, notwendig wären, zusätzliche Muster (LUTn) zu erzeugen, um weitere Segmentierungsfilter herzustellen.
Zur Wiederholung: die vorliegende Erfindung ist ein Verfahren und eine Vorrichtung zur automatischen Bildsegmentierung unter Verwendung von Musteranpassungsfiltern. Die Erfindung segmentiert allgemein unterschiedliche binäre Texturen oder Strukturen innerhalb eines Eingangsbilds, indem eine oder mehrere Strukturen hindurchgehen, während die anderen Strukturen entfernt werden. Insbesondere segmentieren das Verfahren und die Vorrichtung ein gespeichertes Binärbild, wobei ein Vergleichsmusterübereinstimmungsfilter verwendet wird, das konstruiert ist, beispielsweise Textbereiche durchzulassen, während Halbtonbereiche entfernt werden.

Claims

1. Ein Verfahren zur automatischen Bildsegmentierung unter Verwendung von Vergleichsmusterfiltern zur Verarbeitung eines Dokumentenbildes, um darin vorhandene Bildstrukturen zu bestimmen, wobei die Schritte umfassen:

Erhalten (100) eines Dokumentenbildes von einer Bildquelle, das eine Mehrzahl Pixel darin aufweist, wobei jedes Pixel durch ein binäres Bildsignal wiedergegeben ist und Speichern zumindest eines Abschnitts davon, der einen Bereich des Dokumentenbildes darstellt, in einem Datenpuffer;

Wiedergewinnen (102) der binären Bildsignale für das Dokumentenbild aus dem Datenpuffer;

Bestimmen (104-122) von in dem Bereich des Dokumentenbildes vorhandenen Bildstrukturen unter Verwendung der Vergleichsmusterfilter, dadurch gekennzeichnet, daß der Schritt, Bildstrukturen zu bestimmen, die Schritte umfaßt:

Anwenden eines Vergleichsmusterfilters (30) einer ersten Stufe auf die binären Bildsignal für das Dokumentenbild, um ein erstes gefiltertes binäres Ausgangsbild zu erzeugen;

Anwenden eines Vergleichsmusterfilters (40) einer zweiten Stufe auf das erste gefilterte binäre Ausgangsbild, um ein binäres Fehlerbild (44) zu erzeugen; und

Durchführen einer EXKLUSIV-ODER-Funktion (46) an dem binären Fehlerbild (44) und dem ersten gefilterten binären Ausgangsbild (34), um von dem ersten gefilterten binären Ausgangsbild alle binären Bildsignale aus den Segmenten des Dokumentenbildes zu maskieren, die nicht aus einer ersten Bildstruktur bestehen, um ein erstes binäres Ausgangsbild (48) zu erzeugen, wobei das erste binäre Ausgangsbild nur Segmente der ersten Bildstruktur darin enthält.

2. Das Verfahren des Anspruchs 1, wobei der Schritt, in dem Bereich des wiedergewonnenen Bildes vorhandene Bildstrukturen zu bestimmen, ferner den Schritt einer EXKLUSIV-ODER-Funktion (50) für das erste binäre Ausgangsbild (48) und das Dokumentenbild (10) umfaßt, um aus dem Dokumentenbild alle binären Bildsignale von Segmenten des Dokumentenbildes zu maskieren, die nicht aus einer zweiten Bildstruktur bestehen, um ein zweites binäres Ausgangsbild (52) zu erzeugen, wobei das zweite binäre Ausgangsbild nur Segmente der zweiten Bildstruktur darin enthält.

3. Das Verfahren des Anspruchs 1 oder Anspruchs 2, wobei der Schritt, ein Vergleichsmusterfilter einer ersten Stufe auf die binären Bildsignale für das Dokumentenbild anzuwenden, die Schritte umfaßt:

Identifizieren eines Fensters (132) innerhalb des Dokumentenbildes, um eine Untergruppe von binären Dokumentenbildsignalen auszuwählen; und

Vergleichen der binären Bildsignale des Fensters (132) mit einem Muster (136a-136f) innerhalb des Vergleichsmusters (30) auf Filtergrundlage, wobei das Muster ein Muster darstellt, das bestimmt ist, in einem ersten Bildstruktursegment eines Bildes aufzutreten.

4. Das Verfahren des Anspruchs 3, wobei eine Mehrzahl Signale, die ein Muster (136a-136f) innerhalb des Vergleichsmuster auf Filtergrundlage darstellen, an jeder Speicherstelle eines Nachschlagtabellenspeichers (32, 42) gespeichert sind und wobei der Schritt, die binären Bildsignale in dem Fenster mit einem Muster innerhalb des Vergleichsmusters auf Filtergrundlage zu vergleichen, die Schritte umfaßt:

Speichern der Untergruppe (202) von binären Dokumentbildsignalen in einem Registerspeicher (204);

logisches Vergleichen (206, 208) eines jeden binären Bildsignals in dem Registerspeicher mit einem eindeutig zugeordneten Signal eines Vergleichsmuster auf Filtergrundlage, das an der Speicherstelle in dem Nachschlagetabellenspeicher (32, 42) gespeichert ist; und

Ausgeben eines logischen Signals (52), das das bei dem logischen Vergleichsschritt erhaltene Ergebnis angibt.

5. Das Verfahren nach irgendeinem der Ansprüche 1 bis 4, wobei der Schritt, ein Vergleichsmusterfilter (40) einer zweiten Stufe auf das erste gefilterte binäre Ausgangsbild anzuwenden, die Schritte umfaßt:

Identifizieren eines Fensters (134) innerhalb des ersten gefilterten binären Ausgangsbildes, um eine Untergruppe des ersten gefilterten binären Ausgangsbildes auszuwählen; und

Vergleichen der Dichtesignale in dem Fenster (134) mit einem Muster (138) innerhalb des Vergleichsmusters (40) auf Filtergrundlage, wobei das Muster ein Muster darstellt, das bestimmt ist, in einem ersten Bildstruktursegment eines Bildes aufzutreten.

6. Das Verfahren nach irgendeinem der vorhergehenden Ansprüche, das des weiteren den Schritt umfaßt, das Dokumentenbild auf der Grundlage der Bildstrukturen zu segmentieren, die für Bereiche des Dokumentenbilds bestimmt worden sind.

7. Das Verfahren nach irgendeinem der vorhergehenden Ansprüche, wobei die erste Bildstruktur Text und/oder die zweite Bildstruktur Halbton ist.

8. Eine Vorrichtung zur Verarbeitung binärer Bildpixel in einem Bild, das durch eine Mehrzahl Raster binärer Bildpixel dargestellt ist, um Bereiche zu identifizieren, die eine besondere Struktur zeigen, umfassend:

eine Bildquelle zum Erzeugen eines Dokumentenbildes (10), das darin eine Mehrzahl binärer Bildpixel aufweist, wobei jedes Pixel durch ein binäres Bildsignal dargestellt ist;

einen Speicher zum Speichern zumindest eines Abschnitts der binären Bildsignale in einem Datenpuffer, die einen Bereich des Dokumentenbilds darstellen; und

eine Verarbeitungseinrichtung (14), die Vergleichsmusterfilter (30, 40) verwendet, um das Vorhandensein der bestimmten Struktur in dem Bereich des in dem genannten Speicher gespeicherten Bildes zu identifizieren, dadurch gekennzeichnet, daß die Verarbeitungseinrichtung fähig ist, ein Vergleichsmusterfilter (30) einer ersten Stufe auf die binären Bildsignale für das Dokumentenbild anzuwenden, um ein erstes gefiltertes binäres Ausgangsbild zu erzeugen; ein Vergleichsmusterfilter (40) einer zweiten Stufe auf das erste gefilterte Ausgangsbild anzuwenden, um ein binäres Fehlerbild (44) zu erzeugen; und eine EXKLUSIV-ODER-Funktion auf das binäre Fehlerbild (44) und das erste gefilterte binäre Ausgangsbild (34) anzuwenden, um aus dem ersten gefilterten Ausgangsbild jegliche binären Signale aus Segmenten des Dokumentenbildes zu maskieren, die nicht aus einer ersten Bildstruktur bestehen, um ein erstes binäres Ausgangsbild (48) zu erzeugen, wobei das erste binäre Ausgangsbild nur erste Bildstruktursegmente darin enthält.

9. Vorrichtung gemäß Anspruch 8, wobei die Verarbeitungseinrichtung eine Segmentierungsschaltung (14) umfaßt, die ein logisches Filter aufweist.