DE10303724B4

DE10303724B4 - Dynamisches Zweipegel-Schwellwertverfahren digitaler Bilder

Info

Publication number: DE10303724B4
Application number: DE10303724A
Authority: DE
Inventors: Oscar A. Ft. Collins Zuniga
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2002-01-31
Filing date: 2003-01-30
Publication date: 2007-06-28
Anticipated expiration: 2023-01-31
Also published as: GB2385187B; GB0301945D0; US20030142866A1; DE10303724A1; GB2385187A; US7088857B2

Abstract

Verfahren zum Segmentieren eines Bildes, das folgende Schritte aufweist:
Auswählen eines Schwellwerts aus einer Mehrzahl von Schwellwerten für jedes Pixel, das in dem Bild einem Schwellwertverfahren unterzogen werden soll, basierend auf den relativen Größen der Schwellwerte; und
Zuordnen jedes Pixels zu einer von zwei Klassen gemäß dem Wert seiner Intensität relativ zu dem ausgewählten Schwellwert für das Pixel.

Description

Diese Erfindung bezieht sich allgemein auf eine automatisierte Bildanalyse und insbesondere auf die Segmentierung von Bildern durch Schwellwertverfahren.
Die Bildsegmentierung ist ein Prozeß des Aufteilens eines Bildes in Regionen von Interesse und umfaßt die Unterscheidung von Objekten in einem Bild von einem Hintergrund. Das Schwellwertverfahren ist eine Technik für die Segmentierung. Bei dem Zweipegel-Schwellwertverfahren ist jedes Bildpixel einer von zwei Klassen zugeordnet, abhängig davon, ob seine Intensität (Graupegel oder Farbe) größer oder geringer ist als eine spezifizierte Schwelle, was zu einem Binärbild führt. Bei dem Mehrpegel-Schwellwertverfahren wird das gesamte Bild mehrere Male mit einem Schwellwert verglichen, jedesmal mit einer unterschiedlichen konstanten Schwelle, was zu mehreren Binärbildern führt.
Eine übliche Anwendung ist die optische Zeichenerkennung (OCR = optical character recognition), bei der Bildpixel üblicherweise durch Schwellwertverfahren in Zeichen segmentiert werden. Es wird zum Beispiel von einem Bild aus schwarzem Text auf einem weißen Hintergrund ausgegangen. Ein Histogramm aller Intensitätswerte in dem Bild weist zwei dominante Spitzen auf: eine Spitze, die dem Intensitätswert des schwarzen Textes entspricht, und eine zweite Spitze, die dem Intensitätswert des weißen Hintergrunds entspricht. Wenn eine Schwelle bei einem Intensitätswert gesetzt wird, der am untersten Punkt des Tales zwischen den zwei Spitzen liegt, dann kann ein Pixel, das einen Intensitätswert aufweist, der dunkler ist als die Schwelle, dem Text zugeordnet werden, und ein Pixel, das einen Intensitätswert heller als die Schwelle aufweist, kann dem Hintergrund zugeordnet werden.

In dem Fall von schwarzem Text auf einem weißen Hintergrund kann eine konstante Globalschwelle aus einem Intensitätswerthistogramm des Gesamtbildes bestimmt werden. Viele Bilder von Interesse sind jedoch komplexer als einfach schwarzer Text auf einem weißen Hintergrund. Ein Bild kann zum Beispiel Farbblöcke umfassen (das heißt der Hintergrund kann variieren), der Text kann Blöcke unterschiedlicher Farben überlappen und der Text kann heller sein als der lokale Hintergrund. Bei komplexen Bildern kann die Schwelle dynamisch sein, und abhängig von der Position des Pixels von Interesse innerhalb des Bildes variieren. Eine dynamische Schwelle kann von den Intensitätswertdaten über einer Region eines Bildes abhängen oder eine dynamische Schwelle kann von Pixel zu Pixel variieren. Siehe zum Beispiel Joan S. Weszka, „A Survey of Threshold Selection Techniques", Computer Vision, Graphics, and Image Processing 7, 259–265 (1978) und Sahoo u.a., „A Survey of Thresholding Techniques", Computer Vision, Graphics, and Image Processing 41, 233–260 (1988).

Bestimmte Probleme bei dem Schwellwertverfahren umfassen die Bestimmung einer geeigneten Schwelle an den Grenzen von Objekten, die Bestimmung einer geeigneten Schwelle für dünne Objekte (wo wenige Objektintensitätswerte in dem Histogramm vorliegen) und die Bestimmung einer geeigneten Schwelle, wenn Bereiche von Interesse vorliegen, die heller sind als der Hintergrund.

Aus der EP 04 24 854 B1 ist eine Bildverarbeitungsvorrichtung mit adaptiver Entscheidungsschwelle zur Erzeugung von Binärdaten aus Halbtonbildern bekannt. Die Vorrichtung vergleicht einen Bildsignalpegel, der der Dichte eines Pixels des Bildsignals entspricht, mit einem Schwellenwert. Der Schwellenwert entspricht entweder dem Schwellenwert eines vorherigen Pixels, oder das System verwendet einen Schwellenwert, der als der Mittelwert von Dichtepegeln in der Nähe des Pixels berechnet wurde, abhängig davon, ob ein dif ferenzierter Pixeldichtewert zwischen zwei anderen Schwellen liegt.

In der EP 03 56 225 A2 ist eine Bildverarbeitungsvorrichtung beschrieben, bei der eine Schwelle, die zur Binarisierung verwendet wird, abhängig davon, ob ein Abschnitt, in dem sich Eingangspixeldaten befinden, in der Nähe eines Kantenabschnitts des Bilds liegt, ausgewählt wird. Wenn ein Pixel sich in der Nähe eines Kantenabschnitts eines Bilds befindet, wird eine Binarisierung mit der festen Schwelle ausgeführt, während, wenn sich das Pixel in keinem Kantenabschnitt befindet, eine variable Schwelle verwendet wird, die von der Dichte des Eingangspixels abhängt.

Es ist die Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen zu schaffen, die eine verbesserte Segmentierung komplexer Bilder unter Verwendung eines Zweipegel-Schwellwertverfahrens ermöglichen.

Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, 5 oder 7 ein Bildverarbeitungssystem gemäß Anspruch 8 und ein computerlesbares Medium gemäß Anspruch 9 gelöst.

Für jedes Pixel wird eine Schwelle aus einem Satz von Schwellen ausgewählt. Bei einem ersten Ausführungsbeispiel ist zumindest eine Schwelle variabel und eine Schwelle ist ein konstanter Wert.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:

1 ein Grauskalenbild mit Regionen von Interesse, um ein Zweipegel-Schwellwertverfahren darzustellen, die aus mehreren beispielhaften Schwellwertverfahren resultiert;

2 ein binäres Bild, das das Ergebnis des Anwendens eines Zweipegel-Schwellwertverfahrens auf das Bild aus 1 darstellt, unter Verwendung einer dynamischen Schwelle, die innerhalb von Blöcken (oder Zellen, oder Kacheln) konstant ist;

3 ein binäres Bild, das das Ergebnis des Anwendens eines Zweipegel-Schwellwertverfahrens auf das Bild aus 1 darstellt, unter Verwendung einer dynamischen Schwelle, die sich von Pixel zu Pixel ändert; und

4 ein binäres Bild, das das Ergebnis des Anwendens eines Zweipegel-Schwellwertverfahrens auf das Bild aus 1 darstellt, unter Verwendung eines Satzes von Schwellen gemäß einem Ausführungsbeispiel der Erfindung.

1 stellt ein Bild dar, das einen einheitlichen grauen Hintergrund (dargestellt durch Querschraffur) mit einem durchgehenden schwarzen Bereich 100, einem durchgehenden weißen Bereich 102 und einer relativ dünnen schwarzen Linie 104 in der Nähe des durchgehenden weißen Bereichs 102 auf weist. Es wird darauf hingewiesen, daß der weiße Bereich 102 keinen schwarzen Linienrand um denselben aufweist; er ist einfach ein weißer Bereich innerhalb des umgebenden schwarzen Hintergrunds. Bei der nachfolgenden Erörterung werden zwei bekannte Verfahren zum Zweipegel-Schwellwertbestimmen an ein Bild wie in 1 mit einem einheitlichen grauen Hintergrund angelegt, und die resultierenden Binärbilder werden dargestellt (2 und 3). Dann wird ein beispielhaftes Ausführungsbeispiel eines Verfahrens gemäß der Erfindung an ein Bild ähnlich 1 mit einem einheitlichen grauen Hintergrund angelegt, und das resultierende Binärbild wird dargestellt (4). Es ist wichtig darauf hinzuweisen, daß aufgrund von Einschränkungen darüber, was für Patentdarstellungen zulässig ist, der graue Hintergrund aus 1 nicht einheitlich ist und durch Querschraffur simuliert ist. Die 2–4 stellen das Ergebnis des Anwendens verschiedener Zweipegel-Schwellwertverfahrensalgorithmen auf ein Bild ähnlich 1 dar, das jedoch einen einheitlichen grauen Hintergrund aufweist, und dieselben stellen nicht das Ergebnis des Anwendens derselben Schwellwertverfahrensalgorithmen auf 1 dar, mit dessen simuliertem grauen Hintergrund.
Es wird bei der nachfolgenden Erörterung ferner darauf hingewiesen, daß angenommen wird, daß die Niedrigintensitätspixel niedrige numerische Intensitätswerte aufweisen und daß Hochintensitätspixel hohe numerische Intensitätswerte aufweisen. Dies kann umgekehrt werden, so daß niedrige Intensitäten durch hohe Anzahlen dargestellt werden und umgekehrt, wobei in diesem Fall die MAX-Funktionen zu MIN-Funktionen werden, die Vorzeichen umgekehrt werden und so weiter.
2 ist ein Binärbild, das das Ergebnis des Anwendens eines Zweipegel-Schwellwertverfahrens auf das Bild aus 1 darstellt (mit einem einheitlichen Hintergrund), unter Verwendung eines Schwellwertverfahrens, das typisch für eine handelsüblich erhältliche OCR-Software ist. Das Nachfol gende ist eine vereinfachte Beschreibung des allgemeinen Typs eines Schwellwertverfahrens, die beim Erzeugen von 2 umfaßt ist, und entspricht einer bestimmten handelsüblich erhältlichen Software möglicherweise nicht genau. Ein zusätzliches Beispiel kann man in dem US-Patent Nr. 5,651,077 finden.
Bei dem Verfahren, das in 2 dargestellt ist, ist das Gesamtbild aus 1 in Blöcke (ebenfalls genannt Zellen oder Kacheln) partitioniert, zum Beispiel Quadratblöcke aus 64 × 64 Pixel. Eine Gleich-Auftritts-Matrix (Co-Occurrence-Matrix) wird für jeden Block berechnet. Für eine einfache Darstellung wird davon ausgegangen, daß Grauebenen nur 4 Bits aufweisen (Grauebenen 0–15). Die Gleich-Auftritts-Matrix kann zum Beispiel ein 16 × 16-Array sein. Ein Eintrag in das Array für die Position (i, j) ist die Häufigkeit des Auftretens von benachbarten Pixeln mit Graupegeln i und j. Ein Histogramm wird aus der Gleich-Auftritts-Matrix erzeugt, das nur jene Einträge umfaßt, die in der Nähe der Diagonale sind. Bei Blöcken mit unterschiedlichen Bimodalhistogrammen (z.B. dunkler Text auf einem hellen Hintergrund) wird die Schwelle derart berechnet, daß dieselbe in der Nähe des Histogrammtales liegt. Bei Blöcken ohne ein unterschiedliches Bimodalhistogramm kann zum Beispiel ein Unimodalhistogramm für einen Block innerhalb eines Hintergrundbereichs einer Schwelle ähnlich zu einem nahen Block zugeordnet sein, mit einem ähnlichen Hintergrund und einer vorangehend berechneten Schwelle.
Wenn eine Schwelle für einen Block berechnet wird, kann sich die Schwelle bedeutend von einem Block zu dem nächsten ändern, was manchmal zu blockgroßen Artefakten führt. Blöcke, die Teile eines weißen Bereichs 102 in 1 umfassen, weisen eine höhere Intensitätsschwelle relativ zu Blöcken auf, die nur den Hintergrundgraupegel aufweisen. Folglich kann die Schwelle in der Nähe des weißen Bereichs 102 höher sein als die Intensität des grauen Hintergrunds, so daß die Graupegel in den Bereichen in der Nähe des weißen Bereichs 102 in 1 auf schwarz in dem Binärbild schnappen können, wie durch die breiten schwarzen Bereiche um den Bereich 202 in 2 dargestellt ist. Folglich wird ein breiter schwarzer Rahmen als ein Artefakt in 2 erzeugt, und die schwarze Linie 104 in 1 geht in dem Binärbild von 2 vollständig verloren.
3 ist ein Binärbild, das das Ergebnis des Anwendens eines Zweiebenen-Schwellwertverfahrens auf das Bild aus 1 (mit einem einheitlichen Hintergrund) darstellt, unter Verwendung eines Schwellwertverfahrens, das die Schwelle auf einer Pixel-für-Pixel-Basis variiert. Für das bestimmte Beispiel aus 3 ist die Schwelle für jedes Pixel der maximale Intensitätswert unter dem K × K umgebenden Pixeln minus einen konstanten Versatz. Diese Technik setzt die Schwelle unter den Hintergrund für jedes Pixel. Zusätzlich dazu verhält sich die Technik als ein Hochpaßfilter oder ein Kantendetektor. Dies hat sowohl Vorteile als auch Nachteile. Die Vorteile umfassen: (1) helle Bereiche werden als relativ schmale schwarze Rahmen mit weißem Innenraum bewahrt, ohne die Artefakte von blockbasierten Verfahren, und (2) dünne Objekte, wie zum Beispiel Linien, werden bewahrt. Ein Nachteil ist, daß große dunkle Bereiche auf Rahmen mit weißem Innenraum reduziert werden und nicht als dunkle Bereiche bewahrt werden.
Man betrachtet zum Beispiel die Pixel in der Nähe des Bereichs 102 in 1. Zuerst wird ein Pixel betrachtet, bei dem der K × K umgebende Bereich nur graue Hintergrundpixel umfaßt. Die Schwelle wird auf einen Versatz unter der Intensität des Hintergrund gesetzt, und das betrachtete Pixel schnappt auf weiß. Es wird nun ein Pixel betrachtet, das eine Hintergrundpegelintensität aufweist, aber der K × K umgebende Bereich umfaßt einen Teil des Bereichs 102. Jetzt wird die Schwelle auf einen Versatz direkt unter weiß gesetzt, und das betrachtete Pixel schnappt auf schwarz. Schließlich wird ein Pixel betrachtet, bei dem der umgebende K × K-Bereich nur die weißen Pixel des Bereichs 102 um faßt. Die Schwelle ist wiederum ein Versatz direkt unter weiß, und das betrachtete Pixel schnappt auf weiß. Folglich schnappt der Hintergrund in 3 auf weiß, und eine schwarze Linie resultiert bei jedem Übergang von grau zu weiß und umgekehrt, wodurch der Bereich 302 innerhalb des weißen Hintergrunds in 3 unterschieden wird. Es wird ferner darauf hingewiesen, daß die Linie 304 in 3, die der Linie 104 in 1 entspricht, ebenfalls unterschieden wird.
Nun werden Pixel in der Nähe des Bereichs 100 in 1 betrachtet. Der Hintergrund schnappt wiederum auf weiß. Es wird ein Pixel direkt innerhalb des Bereichs 100 betrachtet, wo ein Teil des grauen Hintergrunds in dem umgebenden K × K-Bereich umfaßt ist. Die Schwelle wird auf einen Versatz direkt unter dem schwarzen Hintergrund gesetzt, und das betrachtete schwarze Pixel schnappt auf schwarz. Es wird nun ein Pixel innerhalb des Bereichs 100 betrachtet, wo der umgebende K × K-Bereich nur schwarze Pixel umfaßt. Die Schwelle wird auf einen Versatz unter schwarz (oder auf ein Niedrigintensitätslimit) gesetzt, und das betrachtete schwarze Pixel schnappt auf weiß. Folglich wird ein durchgehen schwarzer Bereich 100 in 1 als schwarzer Rahmen mit einem weißen Innenraum in 3 aufbereitet. Für bestimmte Segmentierungsanforderungen kann es bevorzugt werden, große dunkle Bereiche in dem Graupegelbild als schwarze Bereiche in dem segmentierten Binärbild aufzubereiten.
4 ist ein Binärbild, das das Ergebnis des Anwendens eines Zweiebenen-Schwellwertverfahrens auf das Bild aus 1 (mit einem einheitlichen Hintergrund) darstellt, unter Verwendung eines Schwellwertverfahrens gemäß einem beispielhaften Ausführungsbeispiel der Erfindung. Bei dem beispielhaften Ausführungsbeispiel, das durch 4 dargestellt wird, wird die Schwelle auf einer Pixel-für-Pixel-Basis bestimmt. Die Schwelle wird aus mehreren Schwellen ausgewählt, wobei zumindest eine derselben dynamisch ist. Das Schwellwertverfahren weist bestimmte Vorteile bei OCR auf, ist jedoch nicht auf OCR beschränkt. Bei dem beispielhaften Ausführungsbeispiel, das durch 4 dargestellt ist, wird die Schwelle T für ein Pixel in der Zeile w, Spalte c, gemäß der nachfolgenden Gleichung bestimmt: T(r, c) = MAX[MAXK(r, c) – T1, T2] Gleichung 1wobei:

MAX_K(r, c): der Maximalintensitätswert der K × K-Pixel ist, die das Pixel (r, c) umgeben.
T1: ein Intensitätsversatzwert ist, der ein konstanter Wert sein kann.
T2: ein Intensitätswert ist, der ein konstanter Wert für ein gesamtes Bild sein kann.

Es wird darauf hingewiesen, daß bei dem Beispiel aus Gleichung 1 die Schwelle T aus der höchsten Intensität von zwei Schwellen ausgewählt wird, wobei eine derselben dynamisch ist und eine derselben konstant ist.
Es wird die Anwendung von Gleichung 1 auf 1 (mit einem einheitlichen Hintergrund) betrachtet. Es wird angenommen, daß T2 eine Intensität ist, die niedriger ist als die Hintergrundintensität minus T1. Für die gesamte 1 außer dem Innenbereich 100 ist die variable Schwelle (MAX_K(r, c) – T1) immer höher als T2. Es wird darauf hingewiesen, daß außer bei dem Innenbereich 100 die variable Schwelle entweder die Hintergrundintensität minus T1 oder die Weißintensität minus T1 ist. Innerhalb des Bereichs 100, bei Pixeln, bei denen die umgebenden K × K-Pixel alle schwarz sind, ist die variable Schwelle weniger als T2, und T wird ausgewählt, um T2 zu sein. Dementsprechend schnappen schwarze Pixel innerhalb des Bereichs 100 auf schwarz und das resultierende Binärbild sieht aus, wie in 4 dargestellt ist.
Wenn die Gleichung 1 verwendet wird, sind die Rahmen in dem segmentierten Binärbild um helle Bereiche ungefähr K Pixel breit. K kann so klein sein wie K = 2. Wenn die Eingangsabtastrate 300 Pixel pro 2,54 Zentimeter (1 Zoll) ist, ist ein geeigneter Beispielwert für K für OCR K = 7. T1 oder T2 kann nach Region oder Block variieren, bleibt jedoch innerhalb einer Region oder eines Blocks konstant. Es besteht jedoch ein Risiko von Artefakten an Blockgrenzen. T1 muß groß genug sein, um sicherzustellen, daß [MAX_K(r, c) – T1] weit unter dem Hintergrund liegt, um ein Rauschen zu minimieren. Dementsprechend ist ein geeigneter Beispielwert für T1 ungefähr 30 % des Intensitätsbereichs für das Gesamtbild. Ein genauerer Lösungsansatz ist es, T1 zu einer Funktion der Ausdehnung des Hintergrunds zu machen. Bei einem Histogramm des Gesamtbildes kann zum Beispiel eine Spitze in dem dunklen Bereich vorliegen, die durch den Hintergrund verursacht wird. T1 kann dann zum Beispiel zu einem mehrfachen der Standardabweichung der Daten bei der Spitze in dem dunklen Bereich gemacht werden, zum Beispiel zweimal die Standardabweichung. T2 kann basierend auf dem Gesamtbild bestimmt werden, unter Verwendung einer der bekannten Techniken zum Bestimmen einer einzelnen Schwelle.

Claims

Verfahren zum Segmentieren eines Bildes, das folgende Schritte aufweist: Auswählen eines Schwellwerts aus einer Mehrzahl von Schwellwerten für jedes Pixel, das in dem Bild einem Schwellwertverfahren unterzogen werden soll, basierend auf den relativen Größen der Schwellwerte; und Zuordnen jedes Pixels zu einer von zwei Klassen gemäß dem Wert seiner Intensität relativ zu dem ausgewählten Schwellwert für das Pixel.
Verfahren gemäß Anspruch 1, das ferner folgenden Schritt aufweist: Auswählen aus zumindest einem Schwellwert, der dynamisch ist, und einem Schwellwert, der konstant ist.
Verfahren gemäß Anspruch 1 oder 2, das ferner folgenden Schritt aufweist: Auswählen eines Schwellwerts gemäß dem höchsten Intensitätswert aus der Mehrzahl von Schwellwerten.
Verfahren gemäß einem der Ansprüche 1 bis 3, das ferner folgenden Schritt aufweist: Auswählen des Schwellwerts, der die größte Größe aufweist, aus der Mehrzahl von Schwellwerten.
Verfahren zum Bestimmen eines Schwellwerts, das folgende Schritte aufweist: Berechnen von zumindest einem Schwellwert, der dynamisch ist, für jedes Pixel eines Bildes, das einem Schwellwertverfahren unterzogen werden soll; Berechnen eines Schwellwerts, der konstant ist, für zumindest eine Region des Bildes; und Auswählen von entweder dem dynamischen oder dem konstanten Schwellwert für jedes Pixel des Bildes, das einem Schwellwertverfahren unterzogen werden soll, wobei der Schwellwert, der einer höchsten Intensität entspricht, ausgewählt wird.
Verfahren gemäß Anspruch 5, das ferner folgenden Schritt aufweist: Berechnen des dynamischen Schwellwerts als einen Versatz von einer höchsten Intensität des Bildes in einer Region um ein Pixel des Bildes, das einem Schwellwertverfahren unterzogen werden soll.
Verfahren zum Identifizieren von Zeichen in einem Bild, das folgende Schritte aufweist: Berechnen von zumindest einem variablen Schwellwert für jedes Pixel; Berechnen eines konstanten Schwellwerts für zumindest eine Region des Bildes; Auswählen des Schwellwerts entsprechend der höchsten Intensität unter dem zumindest einen variablen Schwellwert und dem konstanten Schwellwert für jedes Pixel; Vergleichen einer Intensität für jedes Pixel mit dem ausgewählten Schwellwerts und Zuordnen eines Pixels zu einer Zeichenklasse, wenn eine Intensität für das Pixel geringer ist als der ausgewählte Schwellwert für das Pixel.
Bildverarbeitungssystem, das folgende Merkmale aufweist: einen Prozessor, der einen Eingang zum Empfangen eines digitalen Bildes aufweist; ein Speichermedium, das durch den Prozessor lesbar ist, das ein Programm aufweist, um den Prozessor anzuweisen, das folgende Verfahren durchzuführen: Auswählen eines Schwellwerts aus einer Mehrzahl von Schwellwerten basierend auf den relativen Größen der Schwellwerte; und, Zuordnen jedes Pixels in dem digitalen Bild zu einer von zwei Klassen gemäß dem Wert seiner Intensität relativ zu dem ausgewählten Schwellwert für das Pixel.
Computerlesbares Medium, das ein Programm zum Durchführen der folgenden Schritte enthält: Auswählen eines Schwellwerts aus einer Mehrzahl von Schwellwerten für jedes Pixel in einem digitalen Bild, basierend auf den relativen Größen der Schwellwerte; und Zuordnen jedes Pixels in dem digitalen Bild zu einer von zwei Klassen gemäß dem Wert seiner Intensität relativ zu dem ausgewählten Schwellwert für das Pixel.