DE60030528T2

DE60030528T2 - Verfahren und Vorrichtung zur Farbquantelung

Info

Publication number: DE60030528T2
Application number: DE60030528T
Authority: DE
Inventors: Wilhelmus Johannes Couwenberg; Hubertus Marie Jozeph Matheus Boesten
Original assignee: Oce Technologies BV
Current assignee: Canon Production Printing Netherlands BV
Priority date: 1999-11-25
Filing date: 2000-11-23
Publication date: 2007-02-01
Anticipated expiration: 2020-11-24
Also published as: JP2001203899A; DE60030528D1; US6781593B1; NL1013669C2; EP1104177B1; EP1104177A1

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Quantisierung von Farben in einem digitalen Farbbild. Der Ausdruck digitales Bild bezeichnet in der hier benutzten Bedeutung die digitale Wiedergabe eines Dokuments, bei der die Bildinformation auf dem Dokument mit Hilfe der Werte von Pixeln beschrieben wird, die in einem Raster angeordnet sind. Diese Pixelwerte werden häufig kollektiv als "digitale Bilddaten" bezeichnet. Der Ausdruck Quantisierung bezeichnet hier auch die Verminderung der Anzahl von diskreten Farben, die in den digitalen Bilddaten enthalten sind.
Farben können im Bezugsrahmen eines Farbraumes beschrieben werden, eines Raumes, der durch Achsen definiert ist, die bestimmte Aspekte von Farben charakterisieren. Ein häufig benutzter Farbraum ist z.B. der RGB-Raum, bei dem die Achsen die Intensitäten der Grundfarben Rot, Grün und Blau enthalten. Jede Farbe kann durch Koordinaten in dem Farbraum repräsentiert werden.
Dokumente können oftmals sehr viele Farben enthalten, und für zahlreiche Anwendungen, etwa die Wiedergabe eines Bildes eines Dokuments auf einem Monitorbildschirm oder einer Hartkopie, ist es erwünscht, die Anzahl von Farben zu reduzieren, weil viele Bilderzeugungsprozesse nur eine begrenzte Anzahl unterschiedlicher Farben reproduzieren können. Es gibt auch Anwendungen, die ein Farbbild verarbeiten, um daraus Information über den Inhalt zu extrahieren, z.B. optische Schriftzeichenerkennung (OCR) oder Layoutanalyse. Solche Anwendungen werden häufig in ihrer Funktion beeinträchtigt, wenn eine große Anzahl unterschiedlicher Farben in dem Dokument auftritt, weil sie a-priori keine Unterscheidung hinsichtlich der Wichtigkeit der verschiedenen Farben vornehmen können. Eine Beschränkung der Anzahl von Farben in dem Bild ist dann um so wünschenswerter.
Eine bekannte Prozedur zum Quantisieren des Farbbereiches eines Bildes in eine begrenzte Anzahl von Farben besteht darin, den Farbraum in eine Anzahl von Abteilen zu unterteilen, wonach alle Farben, die innerhalb eines Abteils liegen, mit einer Farbe gleichgesetzt werden, die für das gesamte Abteil repräsentativ ist. Eine Anzahl solcher Prozeduren wird beschrieben in Wan, S.J. et al., "An algorithm for multidimensional data clustering", ACM Transactions of Mathematical Software, Band 14, Nr. 2 (Juni 1988), Seiten 153-162. Bei vielen der dort beschriebenen Verfahren wird die Varianz der Sätze von Farben für die Aufteilung dazu benutzt, die Spreizung der Punkte des Satzes in den möglichen Aufteilungsrichtungen zu bestimmen. Die bekannten Verfahren sind jedoch komplex und unterteilen den Farbraum nur in einer beschränkten Anzahl von Richtungen, nämlich den Richtungen der Achsen des Farbraumes, so daß der Aufteilungseffekt gering ist. Die benutzte Technik ist nicht sonderlich dazu geeignet, andere Richtungen als die Richtungen der Achsen des Farbraumes in die Aufteilungsprozedur einzubeziehen.
Die Aufgabe der Erfindung, die in den nachstehenden Ansprüchen definiert ist, besteht darin, die genannten Probleme der bekannten Verfahren zu lösen, und zu diesem Zweck wird, für die Zwecke der Auswahl eines aufzuteilenden Abteils und für die Zwecke der Aufteilung des ausgewählten Abteils in neue Abteile, von den Varianzen der Sätze von Farben in den Abteilen in einer Anzahl vorbestimmter Richtungen Gebrauch gemacht, wobei die Varianz des Satzes von Farben in einem Abteil berechnet wird, indem eine Kovarianzmatrix bestimmt wird, die diesen Satz von Farben beschreibt, und daraus die Werte der Varianz des Satzes in den relevanten Richtungen berechnet werden. Infolgedessen erfolgt die Aufteilung des Farbraumes effizienter und ist mit weniger Rechenaufwand verbunden. Die Kovarianzmatrix ist nämlich relativ einfach zu berechnen und kann auf einfache Weise dazu benutzt werden, die Varianz des relevanten Satzes in einer beliebigen Richtung zu berechnen.
Eine weitere Verbesserung des Verfahrens wird dadurch erreicht, daß im Anschluß an die Aufteilung ein Verfahrensschritt hinzugefügt wird, der beinhaltet, daß die resultierenden Sätze von Farben einem vorbestimmten Test unterzogen werden und auf der Grundlage der Resultate dieses Tests Sätze und die ihnen entsprechenden Abteile rekombiniert werden.
Die Wirkung dieses Schrittes besteht darin, daß Aufteilungen, die in dem Aufteilungsschritt falsch vorgenommen wurden, häufig aufgrund anderer Ursachen, wiederhergestellt werden. Auf diese Weise wird die endgültige Anzahl von Farben weiter reduziert.
Hier sollte deutlich darauf hingewiesen werden, daß das Verfahren gemäß der Erfindung nicht darauf abzielt, ein Endresultat zu erreichen, das so treu wie möglich ist, sondern vielmehr ein Bild, das für die weitere interpretierende Bearbeitung besonders geeignet ist.
In einer weiteren Ausführungsform folgt auf das bereits beschriebene Verfahren ein Nachverarbeitungsschritt zur Beseitigung von Übergangseffekten längs der Ränder der gefärbten Oberflächen, um zu verhindern, daß sie das Endresultat der Quantisierung beeinflussen. Dieser Nachverarbeitungsschritt umfaßt die Anwendung von Kettencodierung.
Weitere Merkmale des Verfahrens und der Vorrichtung gemäß der Erfindung werden in den abhängigen Ansprüchen beschrieben.
Die Erfindung bezieht sich auch auf die Anwendung des oben beschriebenen Verfahrens auf ein Verfahren zur automatischen Interpretation eines Farbbildes, mit einem Quantisierungsschritt zur Quantisierung der in dem Farbbild vorhandenen Farben auf eine begrenzte Anzahl und, auf der Grundlage der Quantisierung, der Erstellung eines neuen Farbbildes, und einem Interpretationsschritt zur Interpretation des neuen Farbbildes. Dieser Interpretationsschritt umfaßt z.B. eine Klassifizierung von Bildelementen nach Typen wie etwa Textelementen, Fotografien und graphischen Elementen, automatische Schriftzeichenerkennung oder automatische Erkennung von Wertpapieren.
Die Erfindung, die die Quantisierung von Farben eines Bildes und auch die Kombination der Quantisierung von Farben eines Bildes mit der Interpretation dieses Bildes umfaßt, kann in einem geeignet für diesen Zweck programmierten Computer ausgeführt werden und bezieht sich deshalb auch auf ein Computerprogramm und ein Speichermedium, auf dem das Computerprogramm gespeichert ist.
Die Erfindung wird nun anhand der beigefügten Zeichnungen erläutert werden, in denen zeigen:
1 ein Diagramm einer Vorrichtung gemäß der Erfindung zur Verarbeitung eines digitalen Dokuments;
2 ein Flußdiagramm der wesentlichen Schritte bei der Verarbeitungsoperation gemäß der Erfindung;
3 ein Flußdiagramm der Schritte eines erfindungsgemäßen Prozesses zur Aufteilung des Farbraumes;
4 ein Rechenbeispiel;
5 ein Flußdiagramm der Schritte in einem kombinierten Prozeß gemäß der Erfindung;
6 ein vereinfachtes Beispiel einer Quantisierungsoperation.
1 ist ein Diagramm, das eine Vorrichtung zur Verarbeitung eines digitalen Dokuments zeigt, das Bildinformation in der Form von Pixelwerten in einem regelmäßigen Pixelraster enthält. Die Pixelwerte spezifizieren die Farbe und das Ausmaß der Bedeckung jedes Pixels in den Koordinaten eines Farbraumes. Ein häufig benutzter Farbraum ist derjenige, der durch die Intensitäten der Farben Rot, Grün und Bau (R, G, B) definiert wird, wobei die Koordinatenwerte gewöhnlich mit 8 Bit je Koordinate codiert sind. Andere geeignete Farbräume sind z.B. der L, a, b -Raum und der L, C, H -Raum.
Das erwähnte digitale Dokument wird z.B. von einem Datenspeichersystem 1 oder einem Scanner 2 bereitgestellt und soll durch ein Interpretationsmodul 4 verarbeitet werden, um Information auf höherer Ebene über den Inhalt des digitalen Dokuments zu erhalten. Da Bilddaten, die sehr viele Werte haben können (in dem obigen Fall 3 × 8 Bit, d.h., annähernd 16 Millionen verschiedene Werte), in dem Interpretationsprozeß häufig beträchtliche Verarbeitungszeit erfordern, ist es vorteilhaft, die Bilddaten zunächst in Daten mit weniger möglichen Werten zu konvertieren, bevor sie diesem Prozeß unterzogen werden. Eine Operation zur Reduktionsverarbeitung dieser Art wird von dem Farbquantisierungsmodul 3 ausgeführt, das mit den Datenquellen 1 und/oder 2 verbunden ist. Das Modul 3 übermittelt die reduzierten Bilddaten an das Interpretationsmodul 4. Das letztere Modul kann einen oder mehrere der folgenden Prozesse umfassen, wobei es sich versteht, daß diese Aufzählung nicht beschränkend ist: optische Schriftzeichenerkennung, Layoutanalyse, Mustererkennung wie etwa Erkennung von Wertpapieren.
Das Interpretationsmodul 4 ist mit einer Datenspeichereinrichtung 5 zur Speicherung der Interpretationsergebnisse verbunden.
Die Arbeitsweise des Farbquantisierungsmoduls 3 wird nun im einzelnen erläutert werden. Aufgabe dieses Moduls ist es, die Vielfalt der unterschiedli chen Farben, die in einem Farbdokument auftreten, auf eine kleine Anzahl, z.B. 3 oder 4, zu reduzieren. Für viele Interpretationsprozesse ist dies adäquat oder sogar noch zuviel. Es sollte bemerkt werden, daß es deshalb nicht die Absicht dieser Erfindung ist, daß das Bild, das durch das Farbquantisierungsmodul 3 reduziert worden ist, für einen menschlichen Betrachter dem ursprünglichen Bild ähnlich ist. Gewöhnlich ist es sogar unnötig, den verbleibenden Farben irgendeine Beziehung zur Realität zuzuordnen. Es genügt, daß sie voneinander unterscheidbar sind. Dies kann z.B. auch dadurch geschehen, daß einfach die verbleibenden Farben in der digitalen Repräsentation durch eine Zahl codiert werden.
Das Farbquantisierungsmodul 3 und das Interpretationsmodul 4 können die Form eines Computerprogramms haben, das auf einem Computer läuft. Dies ist symbolisch durch die Computerdiskette 6 angedeutet. Natürlich kann dieses Symbol auch ein anderes Datenspeichermedium bezeichnen.
2 zeigt die verschiedenen hauptsächlichen Schritte in dem Reduktionsprozeß. Diese werden zunächst in ihrer Gesamtheit beschrieben werden, und dann wird jeder Schritt detaillierter beschrieben werden.
In Schritt S1 werden die Pixelwerte des digitalen Dokuments oder eines vorab durch an sich bekannte Mittel ausgewählten Teils desselben inventarisiert. Zu diesem Zweck können die Werte sämtlicher Pixel des Dokuments genommen werden oder alternativ eine Auswahl hieraus, vorzugsweise ein regelmäßiges Muster aus z.B. jedem fünften Pixel in beiden Hauptrichtungen, so daß die zu verarbeitenden Werte auf 1/25 beschränkt werden. Der Inventarisierungsschritt kann auch eine Vorverarbeitungsbehandlung enthalten, etwa eine Filterung oder Glättung, um Rauschen und feine Rastermuster zu beseitigen. Andernfalls könnten diese zu Störungen in dem Resultat führen.
In Schritt S2 wird der Farbraum, in dem hier beschriebenen Beispiel der RGB-Raum, auf der Grundlage der Verteilung der Pixelwerte in dem Farbraum schrittweise in Abteile aufgeteilt. Der Aufteilungsschritt arbeitet in aufeinanderfolgenden Schritten, in denen jeweils ein Abteil, beginnend mit dem gesamten Farbraum, in zwei neue Abteile aufgeteilt wird, und ist so ausgelegt, daß er eine kleine Anzahl von Abteilen ergibt, z.B. maximal 10.
Nach Abschluß des Schrittes S2 werden in Schritt S3 die Sätze von Pixelwerten in den verschiedenen Abteilen in Beziehung zueinander analysiert, um zu entscheiden, ob sie korrekt voneinander getrennt sind. Wenn dies nicht der Fall ist, werden die betroffenen Abteile zusammengefaßt. Es kann z.B. sein, daß die Aufteilung zu weit fortgeschritten ist und daß infolgedessen eine Konzentration von zusammengehörenden Pixelwerten in zwei Teile aufgeteilt worden ist (man denke z.B. an die Hintergrundfarbe des Dokuments, die infolge von Rauschen im Scannersignal zu einer Anzahl von eng beieinanderliegenden jedoch verschiedenen Pixelwerten führt). Es kann auch vorkommen, daß in einem frühen und noch groben Aufteilungsschritt eine kleine Konzentration von Pixelwerten infolge der Aufteilung von großen Konzentrationen durchgeschnitten worden ist. Wenn durch die nachfolgenden feineren Aufteilungsschritte die beiden Teile dieser kleinen Konzentration vom Rest abgetrennt worden sind, ist es wünschenswert, daß die beiden Teile wieder vereinigt werden, weil sie in der Tat nur eine Konzentration bilden. Diesem Zweck dient der Schritt S3.
In einer alternativen Ausführungsform wird nach jedem Aufteilungsschritt geprüft, ob es fehlerhafte Trennungen gibt. Wenn dies der Fall ist, werden diese Trennungen sofort beseitigt.
In Schritt S4 werden all die Pixelwerte des digitalen Dokuments in Übereinstimmung mit der in den vorangehenden Schritten gefundenen Aufteilung des Farbraumes codiert, nämlich durch Codierung all der Pixelwerte, die in einem Abteil liegen, als eine Farbe oder ein Code, der dieses Abteil repräsentiert.
Erforderlichenfalls kann in einem optionalen Schritt S5 eine Nachverarbeitung des so verarbeiteten digitalen Dokuments vorgenommen werden.
Schließlich werden die in dieser Weise codierten Pixelwerte an das Interpretationsmodul 4 übergeben.
Die in Schritt S2 durchlaufene Prozedur zur Aufteilung des Farbraumes in Abteile wird nun anhand von 3 erläutert werden. Zuvor sollen jedoch einige wenige grundlegende Prinzipien erörtert werden, die hier verwendet werden.
Bei der Beurteilung eines Satzes von Pixelwerten in dem Farbraum wird von der Form dieses Satzes Gebrauch gemacht. In den meisten Fällen bilden die Farben in einem (digitalen) Dokument eine oder mehrere Konzentrationen (Cluster), Punktwolken im Raum. Ein Dokument mit monochromatischen Flächen in rot und grün enthält nur zwei Pixelwerte (zusätzlich zu weiß für das Papier), doch in der Praxis sind Farben selten monochromatisch, und es wird eine Wolke von Pixelwerten um jede dieser beiden Farben herum geben. Wenn das Dokument mehr Farben enthält, wird es mehrere solcher Konzentrationen geben, und auch Artefakte aus dem Scanprozeß oder Abweichungen, die beim Drucken des gescannten Dokuments aufgetreten sind, z.B. an Übergängen zwischen zwei Farbflächen, werden zusätzliche Punkte im Farbraum ergeben. Der Satz all der Punkte (Pixelwerte) ist in dem Farbraum in jeder Richtung ausgedehnt. Dies kann durch die Varianz des Satzes in dieser Richtung charakterisiert werden. Die Varianz eines Satzes von N Punkten in einer bestimmten Richtung wird berechnet, indem all die Punkte auf einen Vektor mit der vorgesehenen Richtung projiziert werden und die Varianz der Dichteverteilung der Werte (= Abstand x_i (i ∊ {1, N}) zu einem Bezugspunkt auf dem Vektor) gemäß der folgenden Formel berechnet wird:
Der Satz von Punkten wird nun in zwei Teile aufgeteilt, indem eine Teilungsebene rechtwinklig zu der Richtung gelegt wird, in welcher der Satz seine größte Ausdehnung oder Varianz hat. Diese Ebene ist so gelegt, daß der Schwerpunkt des Satzes von Punkten in dieser Ebene liegt. Die Theorie gilt auch für Räume mit einer anderen Anzahl von Dimensionen, und es ist deshalb eigentlich besser, von einer Hyperebene zu sprechen. In dieser Beschreibung ist der Ausdruck "Ebene" so gemeint.
Die Suche nach der Richtung mit der größten Varianz wird eine einfache Prozedur, wenn eine Kovarianzmatrix verwendet wird, die die räumliche Verteilung der Punkte beschreibt. Zu diesem Zweck werden die Positionen der Punkte in dem Farbraum (die Pixelwerte) als Vektoren x_i dargestellt. Die für die Kovarianzmatrix V verwendete Definition ist:
und x^t der transponierten von x
Mit Hilfe der Kovarianzmatrix kann die Varianz v(y) eines Satzes von Punkten (Pixelwerten) in einer beliebig gewählten Richtung y (definiert durch einen Einheitsvektor y) leicht berechnet werden, indem die folgende Formel angewandt wird: v(y) = yt∙V∙y
Das Auffinden der Richtung mit der maximalen Varianz ist durch Verwendung der Kovarianzmatrix eine einfache Angelegenheit. Sie ist nämlich gegeben durch den Eigenvektor mit dem maximalen Eigenwert der Kovarianzmatrix. Ein Nachteil dieses Ansatzes besteht jedoch darin, daß das Aufteilen eines Satzes von Punkten im Raum mit Hilfe einer beliebig orientierten Ebene manchmal komplexe Berechnungsprozeduren erfordert.
In der Praxis hat sich jedoch herausgestellt, daß eine begrenzte Anzahl von Grundrichtungen ausreichend sein kann. In diesem Fall kann die Varianz für all die Grundrichtungen rasch berechnet werden. Die Grundrichtung mit der maximalen Varianz wird dann zur Definition der Teilungsebene ausgewählt.
Bei den bekannten Verfahren werden die drei Achsenrichtungen im RGB-Farbraum häufig als ausreichend angesehen, doch erweist sich dies wiederum als ein zu grobes Verfahren. Die vorliegende Erfindung wählt deshalb ein System bestehend aus den Richtungen der Achsen des Farbraumes und den Richtungen, die die Winkel zwischen jedem Paar dieser Achsenrichtungen teilen. Auf diese Weise werden dreizehn Grundrichtungen definiert, nämlich die Richtungen der Vektoren (1,0,0), (0,1,0), (0,0,1), (1,±1,0), (1,0,±1), (0,1,±1), 1,±1,±1). Dieses System ist auch sehr geeignet für andere Farbräume, wie sie oben erwähnt wurden.
Die obigen Überlegungen werden anhand eines einfachen numerischen Beispiels beschrieben. 4 zeigt einen zweidimensionalen Raum ähnlich dem oben definierten dreidimensionalen Raum, und in diesem Raum die drei Punkte (1,2), (1,1) und (2,0). Die Zeichnung zeigt auch die Kovarianzmatrix sowie die Varianz in einer Beispielrichtung (1,0).
Der Aufteilungsprozeß, wie er in 3 gezeigt ist, beginnt mit der Berechnung der Kovarianzmatrix für die (oder ggf. die ausgewählten) Pixelwerte aller Abteile des Farbraumes (S11). Am Beginn der Prozedur bezieht sich dies hier auf den gesamten Farbraum und alle (ausgewählten) Pixelwerte des digitalen Dokuments.
In Schritt S12 wird mit Hilfe der Kovarianzmatrix für jedes zu dem Zeitpunkt definierte Abteil des Farbraumes die Varianz des Satzes von Pixelwerten für jede der Grundrichtungen berechnet.
Dann wird überprüft, ob eine Aufteilung wünschenswert ist oder ob die Aufteilungsprozedur abgebrochen werden sollte (S13). Für diese Prüfung können verschiedene Abbruchkriterien verwendet werden. Ein erstes Kriterium zählt die Anzahl von zu dieser Zeit definierten Abteilen und vergleicht diese mit einer zuvor vom Bediener eingegebenen oder als Voreinstellwert definierten Zahl. Wenn die Zahl der Abteile kleiner ist als diese Zahl, wird ein Aufteilungsschritt ausgeführt, andernfalls wird die Aufteilungsprozedur abgebrochen.
Gemäß einem anderen Abbruchkriterium werden die Varianzen der Sätze in den zu dieser Zeit definierten Abteilen mit einem vorgewählten Schwellenwert verglichen. Solange wenigstens eine Varianz noch über dem Schwellenwert liegt, wird ein Aufteilungsschritt ausgeführt, andernfalls wird die Aufteilungsprozedur abgebrochen.
Wenn entschieden wird, daß sich ein weiterer Aufteilungsschritt anschließen muß, so wird derjenige der Sätze von zu dieser Zeit definierten Abteilen ausgewählt, der die größte Varianz hat (S14), wonach für diesen Satz in Schritt S15 die Grundrichtung mit der maximalen Varianz ausgewählt wird.
In Schritt S16 wird dann eine Teilungsebene rechtwinklig zu der ausgewählten Grundrichtung und durch den Schwerpunkt des Satzes gelegt (der Schwerpunkt ist der Mittelwert der Pixelwerte in dem Abteil). Diese Teilungsebene unterteilt das Abteil in zwei neue Abteile (S17).
Die Prozedur kehrt dann für einen neuen Aufteilungsdurchgang zu Schritt S11 zurück.
5 zeigt die Prozedur, die beim Zusammenfassen von falsch aufgeteilten Abteilen des Farbraumes ausgeführt wird, wie in Schritt S3 in 2 erwähnt wurde.
Bei dieser Prozedur werden alle Kombinationen von Abteilen systematisch geprüft, und die Sätze von in diesen Abteilen vorhandenen Pixelwerten werden mit Hilfe eines Kombinationskriteriums getestet. Dieser Test wird nicht nur für benachbarte Abteile ausgeführt, da es auch möglich ist, daß zwei Abteile, die durch einen (z.B. schmalen) Teil eines dritten Abteils getrennt sind, zusammengehören sollten und auch zu dem dazwischenliegenden Teil des dritten Abteils.
Als ein gut anwendbares Kombinationskriterium hat sich herausgestellt: √v1 + √v2 > (1/√3)||d||2 wobei v₁ und v₂ die Varianzen der beiden Sätze in Richtung der Verbindungslinie ihrer Schwerpunkte sind und ||d|| die Länge des Verbindungsvektors dieser beiden Schwerpunkte ist. Es sind auch andere Kombinationskriterien möglich, doch hat sich für das hier erwähnte Kriterium gezeigt, daß es gute Resultate liefert. Erforderlichenfalls kann der Faktor (1/√3) für den Bediener einstellbar gemacht werden, damit er die Prozedur an ein bestimmtes Dokument anpassen kann.
Wenn ein überprüftes Paar von Abteilen das Kombinationskriterium erfüllt, werden diese Abteile vereinigt, indem die Teilungsebene zwischen ihnen entfernt wird.
Die vollständige Prozedur der Aufteilung und erforderlichenfalls Wiedervereinigung wird nun anhand eines zweidimensionalen Beispiels illustriert werden. Es wird auf 6 Bezug genommen.
Der Block a repräsentiert den Farbraum 100, der die in einem Beispieldokument auftretenden Farben enthält. Jeder Punkt ist eine Farbe. In diesem Beispiel gibt es vier Konzentrationen von Farben.
In einem ersten Schritt wird die Varianz des gesamten Farbraumes in (vier) Grundrichtungen berechnet, indem nach dem oben beschriebenen Verfahren die Kovarianzmatrix und die Varianzen berechnet werden. In der Zeichnung ist dies durch einen Stern angegeben, der durch die Grundrichtungen gebildet wird. Die größte der berechneten Varianzen wird ausgewählt, und eine Teilungsebene 101 wird rechtwinklig zu der zugehörigen Richtung durch den Schwerpunkt der Sätze von Punkten gelegt, siehe Block b.
Für jede der resultierenden Teilmengen werden die Varianzen in den Grundrichtungen berechnet, und die größte wird ausgewählt. Diese wird in der rechten Teilmenge gefunden, so daß diese Teilmenge nun weiter aufgeteilt wird, und zwar mit einer Teilungsebene 102, siehe Block c.
Die Varianz in jeder Grundrichtung wird dann für alle Teilmengen berechnet, wonach die größte als Grundlage für eine nachfolgende Aufteilung dient, mit einer Teilungsebene 103 in Block d. Dies wird noch einmal wiederholt, was zu der Teilungsebene 104 in Block e führt.
Danach hat keine der Teilmengen mehr eine Varianz, die größer ist als der Schwellenwert, so daß der Aufteilungsprozeß beendet wird. Falls eine maximale Anzahl von Abteilen als Abbruchkriterium verwendet wird, könnte diese Anzahl auf 5 eingestellt gewesen sein, und der Aufteilungsprozeß würde ebenfalls an diesem Punkt abbrechen.
Schließlich wird der Test für verbundene Abteile ausgeführt (S3), und hier wird gefunden, daß der Satz unten links durch einen Abschnitt 105 der Teilungsebene 101 fälschlich aufgeteilt worden ist. Die Teilungsebene 105 wird deshalb entfernt, so daß man schließlich vier Abteile erhält, siehe Block f.
Die Aufteilung des Farbraumes ist nun bereit für die Codierung der zu dem digitalen Dokument gehörenden digitalen Bilddaten mit einer begrenzten Anzahl von Farben.
Ein digitales Dokument, bei dem die Farben in dieser Weise quantisiert worden sind, ist für eine Interpretationsverarbeitung wie etwa OCR wesentlich besser geeignet als ein normales Farbdokument, weil diese Verarbeitungsoperationen von einer kleinen bis sehr kleinen Anzahl von Pegeln profitieren, zwischen denen unterschieden werden muß. Im Fall von OCR ist es z.B. erwünscht, daß die Textelemente (Schriftzeichen) und der Hintergrund jeweils einheitlich und voneinander verschieben gefärbt sind. Häufig enthält jedoch insbesondere der Hintergrund kleine Farbvariationen, z.B. infolge von Scanner-Rauschen und auch, wenn der Hintergrund farbig ist, aufgrund der Halbtonverarbeitung der Farbauszüge.
In einem Bild dieser Art ist es wesentlich schwieriger, die Schriftzeichengrenzen scharf zu ziehen, und die Interpretation wird ernstlich behindert, so daß Fehler im Resultat der Schriftzeichenerkennung auftreten. Indem nun das digitale Dokument zunächst in Übereinstimmung mit der Erfindung verarbeitet wird, werden alle Farben des Hintergrundes als eine Farbe quantisiert, und dies hilft bei der automatischen Interpretation.
Es kann jedoch vorkommen, daß längs der Ränder der Schriftzeichen infolge des Scan- oder Druckprozesses abweichend gefärbte Pixel auftreten. In einigen Fällen werden diese falsch gefärbten Pixel durch das Verfahren gemäß der Erfindung nichtsdestoweniger in der gleichen Farbe codiert wie der Hintergrund, doch ist dies nicht immer der Fall. Um diese Fehler zu beseitigen, kann auf die Pixelmap (generalisierte Bitmap) des digitalen Dokuments die nachstehend beschriebene Nachverarbeitung angewandt werden. Es sollte bemerkt werden, daß diese Nachverarbeitung nur dann vorteilhaft wirken kann, wenn das Dokument zunächst quantisiert worden ist.
Diese Nachverarbeitung basiert auf der Kettencodierung, die 1961 von H. Freeman eingeführt worden ist. Bei diesem Prozeß wird in einem auf eine Abtastzeile bezogenen Algorithmus auf Pixelebene nach Grenzen zwischen unterschiedlich gefärbten Objekten oder Bildelementen gesucht. Ein Kettencode beschreibt den Fortschritt einer Grenzlinie mit Codes aus der Menge {n, w, s, e}, entsprechend den Richtungen ↑, ←, ↓ und →.
Ein Kettencode wird als geschlossen bezeichnet, wenn die Anfangs- und Endpunkte zusammenfallen.
Die Grenzlinie eines Objekts besteht aus einem oder mehreren geschlossenen Kettencodes, die einander (und sich selbst) nicht schneiden. Nach Konvention liegen die Pixel des Objekts stets auf dem linken Rand des Kettencodes. Ein geschlossener Kettencode eines Objekts wird als positiv orientiert bezeichnet, wenn er im Gegenuhrzeigersinn umläuft (und somit das Objekt umschließt), und als negativ orientiert, wenn er im Uhrzeigersinn umläuft (und somit durch das Objekt umschlossen wird). Ein isoliertes Pixel entspricht somit dem Kettencode <nwse>.
Der Kettencode eines Objekts besteht aus genau einer positiv orientierten Komponente – der Kontur – und möglicherweise einer oder mehreren negativ orientierten Komponenten.
Die Pixelmap wird Abtastzeile für Abtastzeile verarbeitet. Für jedes Objekt werden Kettencodes für jede verarbeitete Abtastzeile aktualisiert und erweitert. Für jede Fol ge von Pixeln in der Farbe des Objekts werden nun die Kettencodes aktualisiert, zu denen die linken und rechten vertikalen (ein Pixel hohen) Grenzen gehören. Wenn ein oder mehrere Pixel in der Objektfarbe gefunden werden, die nicht mit Pixeln dieser Art in der vorhergehenden Abtastzeile verbunden sind, wird ein neuer Kettencode begonnen. Wenn in einer Pixelzeile keine Pixel in der Objektfarbe gefunden werden, die mit Pixeln dieser Art in der vorhergehenden Abtastzeile verbunden sind, werden die Enden der zugehörigen Kettencodes miteinander verbunden, und der Kettencode ist geschlossen. Als Farbe des Objekts wird irgendeine Farbe betrachtet, die von der (quantisierten) Farbe des Hintergrunds abweicht. Folglich werden alle Pixel, die nicht die Farbe des Hintergrunds haben, als das Objekt gewertet.
Wenn der positiv orientierte Kettencode eines Objekts, d.h., sein äußerer Umriß, geschlossen ist, werden alle Pixel, die von dieser Kontur umschlossen werden, mit Ausnahme solcher, die von einer negativ orientierten Kontur umschlossen sind, mit der Farbe des Objekts gefärbt, sofern das Objekt wenigstens eine Ausdehnung hat, die größer als eine vorbestimmte untere Grenze ist. Objekte, die kleiner sind als die untere Grenze, typischerweise ein oder zwei Pixel linear, werden entfernt, indem sie mit der Farbe des Hintergrunds gefärbt werden. Diese Pixel sind zumeist die Folge von Rauschen und würden nur die Interpretation stören. Es kann auch zweckmäßg sein, die Kettencodeverarbeitung nur auf Bildelemente anzuwenden, die nicht größer sind als ein bestimmter Grenzwert, um zu verhindern, daß andere Bildelemente als Schriftzeichen behandelt werden. Diese Bildelemente sind für den OCR-Vorgang nicht von Interesse und werden somit ignoriert.
Als die Operation der Interpretationsverarbeitung wird hier OCR genannt, doch können auch andere Verarbeitungsoperationen betrachtet werden, weil sie von der Quantisierung der in einem Farbbild vorhandenen Farben profitieren. Ein weiteres Beispiel ist die automatische Layoutanalyse, wie sie z.B. in den europäischen Patenten EP-B-0 629 078 und EP-B-0 735 833 der Anmelderin beschrieben wird. Bei anderen Formen der Mustererkennung in Farbbildern ist es oftmals auch vorteilhaft, die Anzahl von Farben und damit die Anzahl von Parametern zu reduzieren, die eine separate Verarbeitung erfordern. Eine wichtige Anwendung der Mustererkennung ist die Erkennung von Wertpapieren wie etwa Banknoten. Obgleich die Anzahl der darin vorhandenen Farben oftmals begrenzt ist, kann das vom Scanner gelieferte digitale Bild aufgrund von Variationen in der Beleuchtung und Abweichungen des Scanners zahlreiche zusätzliche und abweichende Farben enthalten, so daß die Erkennung erschwert wird. Indem das digitale Bild der Farbquantisierung gemäß der Erfindung unterzogen wird, werden diese Variationen beseitigt, und die Erkennungschance ist wesentlich größer.
In einer speziellen Ausführungsform kann das beschriebene Verfahren auch einen Schritt enthalten, in dem ein analysiertes digitales Bild in Teile aufgeteilt wird, wenn die Resultate der Analyse zeigen, daß das Bild Komponenten mit deutlich unterschiedlichem Charakter enthält. Dies wird z.B. bei einem Dokument der Fall sein, das eine Farbfotografie und Text enthält. Indem nun die Positionen der Farben in dem Bild vermerkt werden, ist es möglich zu entscheiden, ob bestimmte Konzentrationen von Farben nur in einem bestimmten Teil des Bildes auftreten. Auf dieser Grundlage ist es möglich, automatisch oder durch Eingriff eines Bedieners zu entscheiden, daß das Bild in Bestandteile aufgeteilt wird und diese dann separat quantisiert werden.
Obgleich die Erfindung anhand der oben als Beispiel beschriebenen Ausführungsform erläutert wurde, ist sie nicht darauf beschränkt. Der Fachmann wird im Rahmen der Patentansprüche zahlreiche Varianten der Erfindung in Betracht ziehen. Solche Varianten sollen als im Schutzbereich des Patents liegend betrachtet werden.

Claims

Verfahren zum Quantisieren von Farben in einem digitalen Bild innerhalb eines Farbraumes, mit a – Erstellen eines Satzes von Farben, die in dem Bild oder einem vorgewählten Teil desselben auftreten, b – aufeinanderfolgender Aufteilung des Farbraumes in eine Anzahl von Abteilen in einer Anzahl von Schritten, wobei jedes Abteil eine Teilmenge der Farben des Bildes enthält und jeder Schritt umfaßt: – Auswahl eines aufzuteilenden Abteils auf der Grundlage der Varianzen der bestehenden Abteile, – Aufteilen dieses Abteils in neue Abteile, wobei die Aufteilung ausgeführt wird, bis ein vorgegebenes Abbruchkriterium erfüllt ist, c – Codieren der Farben in dem Bild mit einer Farbe oder einem Code, die oder der das Abteil repräsentiert, in dem sie liegen, dadurch gekennzeichnet, daß für die Zwecke der Auswahl eines aufzuteilenden Abteils und für die Zwecke der Aufteilung des ausgewählten Abteils in neue Abteile von den Varianzen der Sätze von Farben in dem ausgewählten Abteil in einer Anzahl vorbestimmter Richtungen Gebrauch gemacht wird, wobei die Varianz des Satzes von Farben in einem Abteil berechnet wird, indem eine Kovarianzmatrix bestimmt wird, die diesen Satz von Farben beschreibt, und indem daraus die Werte der Varianz des Satzes in den relevanten Richtungen berechnet werden.
Verfahren nach Anspruch 1, mit b1 – Ausführung eines vorbestimmten Tests an den resultierenden Sätzen von Farben, und, auf der Grundlage der Resultate dieses Tests, Rekombinieren von Sätzen und der zugehörigen Abteile.
Verfahren nach Anspruch 1, bei dem die Aufteilung eines Abteils ausgeführt wird, indem eine Ebene eingezogen wird, die im wesentlichen rechtwinklig zur Richtung der größten Varianz liegt und den Schwerpunkt des Satzes von Farben enthält.
Verfahren nach Anspruch 1, bei dem die Varianz eines Satzes von Farben in einer ersten Richtung berechnet wird durch – zweimaliges Multiplizieren der Kovarianzmatrix mit einem Vektor in dieser ersten Richtung.
Verfahren nach Anspruch 1, bei dem die Richtungen, längs derer die Varianz bestimmt wird, durch die Richtungen der Achsen des verwendeten Farbraumes und die Richtungen gebildet werden, die die Winkel zwischen jedem Paar dieser Achsenrichtungen teilen.
Verfahren nach Anspruch 1, bei dem bei der aufeinanderfolgenden Aufteilung des Farbraumes in Abteile dasjenige Abteil, das den Satz von Farben mit der größten Varianz enthält, stets aufgeteilt wird.
Verfahren nach Anspruch 1, bei dem das Abbruchkriterium bestimmt, daß ein Abteil, in dem die Varianz kleiner ist als ein vorgegebener Schwellenwert, nicht weiter aufgeteilt wird.
Verfahren nach Anspruch 1, bei dem das Abbruchkriterium bestimmt, daß die Aufteilung abbricht, wenn eine vorbestimmte Anzahl von Abteilen erreicht worden ist.
Verfahren nach Anspruch 8, bei dem die maximale Anzahl von Abteilen 10 ist.
Verfahren nach Anspruch 2, bei dem der Test für die Rekombination von Sätzen auf den Varianzen der relevanten Sätze in Richtung ihrer Verbindungslinie basiert.
Verfahren nach Anspruch 10, bei dem der Test den Vergleich der Summe der Quadrate der Varianzen der relevanten Sätze mit dem Quadrat des Abstands ihrer Schwerpunkte einschließt.
Verfahren nach Anspruch 1, bei dem das Verfahren weiterhin einen Nachverarbeitungsschritt aufweist, zur Beseitigung von Übergangseffekten längs der Ränder von farbigen Flächen, um zu verhindern, daß sie das Endresultat der Quantisierung beeinflussen.
Verfahren nach Anspruch 12, bei dem der Nachverarbeitungsschritt umfaßt: – Suchen nach separaten Elementen in dem Bild, – Suchen nach der Grenze zwischen einem solchen Element und seinem Hintergrund und Anlegen einer Teilungslinie längs des Hintergrunds an der Stelle dieser Grenze, – Zuweisen einer einzigen quantisierten Farbe zu dem Element.
Verfahren nach Anspruch 13, bei dem das Anliegen einer Teilungslinie längs des Hintergrunds an der Stelle einer Grenze zwischen einem Element und seinem Hintergrund mit Hilfe von Kettencodierung erfolgt.
Verfahren zur automatischen Interpretation eines Farbbildes, mit – einem Quantisierungsschritt zum Quantisieren der in dem Farbbild vorhandenen Farben auf eine begrenzte Anzahl, und Erstellen eines neuen Farbbildes auf der Grundlage dieser Quantisierung, – einem Interpretationsschritt zur Interpretation des neuen Farbbildes, wobei der Quantisierungsschritt nach dem Verfahren gemäß einem der vorstehenden Ansprüche ausgeführt wird.
Verfahren nach Anspruch 15, bei dem der Interpretationsschritt eine Klassifizierung der Bildelemente nach Typen umfaßt, beispielsweise Textelementen, Fotografien und graphischen Elementen.
Verfahren nach Anspruch 15, bei dem der Interpretationsschritt eine automatische optische Schriftzeichenerkennung umfaßt.
Verfahren nach Anspruch 15, bei dem der Interpretationsschritt eine automatische Erkennung von Wertpapieren umfaßt.
Vorrichtung zum Quantisieren von Farben in einem digitalen Bild innerhalb eines Farbraumes, mit – einer Einrichtung zur Erstellung eines Satzes von in dem Bild oder einem vorgewählten Teil desselben auftretenden Farben, - einer Aufteilungseinheit zum aufeinanderfolgenden Aufteilen des Farbraumes in eine Anzahl von Abteilen in einer Anzahl von Schritten, wobei jedes Abteil eine Teilmenge der Farben des Bildes enthält, welche Aufteilungseinheit aufweist: – eine Einrichtung zur Auswahl eines aufzuteilenden Abteils auf der Grundlage der Varianzen der bestehenden Abteile, – eine Einrichtung zum Aufteilen dieses Abteils in neue Abteile, wobei die Aufteilungseinheit mit der Aufteilung fortfährt, bis ein vorbestimmtes Abbruchkriterium erfüllt ist, – einer Codiereinheit zum Codieren der Farben in dem Bild mit einer Farbe oder einem Code, der das Abteil repräsentiert, in dem sie sich befinden, dadurch gekennzeichnet, daß die Einrichtung zur Auswahl eines aufzuteilenden Abteils und die Einrichtung zur Aufteilung des ausgewählten Abteils in neue Abteile von einer Einrichtung zur Berechnung der Varianzen der Sätze von Farben in dem ausgewählten Abteil in einer vorbestimmten Anzahl von Richtungen Gebrauch machen, wobei die Einrichtung zur Berechnung der Varianzen der Sätze von Farben in einem Abteil diese Varianzen berechnet, indem sie eine Kovarianzmatrix bestimmt, die diesen Satz von Farben beschreibt, und daraus die Werte der Varianz des Satzes in den relevanten Richtungen berechnet.
Vorrichtung nach Anspruch 19, weiter mit – einer Kombinationseinheit zur Ausführung eines vorbestimmten Tests an den resultierenden Sätzen von Farben und zum Rekombinieren von Sätzen und den ihnen entsprechenden Abteilen auf der Grundlage der Resultate dieses Tests.
Vorrichtung nach Anspruch 19, bei der die Einrichtung zur Aufteilung des Abteils in neue Abteile die Aufteilung eines Abteils ausführt, indem sie eine Ebene einzieht, die im wesentlichen rechtwinklig zu der Richtung der größten Varianz liegt und den Schwerpunkt des Satzes von Farben enthält.
Vorrichtung nach Anspruch 19, bei dem die Einrichtung zur Bestimmung der Varianz die Varianz eines Satzes von Farben in einer ersten Richtung berechnet durch – zweimaliges Multiplizieren der Kovarianzmatrix mit einem Vektor in dieser ersten Richtung.
Vorrichtung nach Anspruch 19, bei der die Einrichtung zur Bestimmung der Varianz die Varianz in den Richtungen der Achsen des verwendeten Farbraumes und in den Richtungen bestimmt, die die Winkel zwischen jedem Paar dieser Achsenrichtungen teilen.
Vorrichtung nach Anspruch 19, bei der die Aufteilungseinheit bei der aufeinanderfolgenden Aufteilung des Fahrtraumes in Abteile stets dasjenige Abteil aufteilt, das den Satz von Farben mit der größten Varianz enthält.
Vorrichtung nach Anspruch 19, bei der die Aufteilungseinheit ein Abteil, in dem die Varianz kleiner als ein vorgegebener Schwellenwert ist, nicht weiter aufteilt.
Vorrichtung nach Anspruch 19, bei der die Aufteilungseinheit die Aufteilung abbricht, wenn eine vorbestimmte Anzahl von Abteilen erreicht worden ist.
Vorrichtung nach Anspruch 26, bei der die maximale Anzahl der Abteile (10) ist.
Vorrichtung nach Anspruch 20, bei der der Test für die Rekombination von Sätzen auf den Varianzen der relevanten Sätze in Richtung ihrer Verbindungslinie basiert.
Vorrichtung nach Anspruch 28, bei der der Test den Vergleich der Summe der Quadrate der Varianzen der relevanten Sätze mit dem Quadrat des Abstands ihrer Schwerpunkte einschließt.
Vorrichtung nach Anspruch 19, welche Vorrichtung auch eine Nachverarbeitungseinheit aufweist, zum Entfernen von Übergangseffekten längs der Ränder von farbigen Flächen, um zu verhindern, daß diese das Endresultat der Quantisierung beeinflussen.
Gerät nach Anspruch 30, bei dem die Nachverarbeitungseinheit Einrichtungen aufweist zum: – Suchen nach separaten Elementen in dem Bild, – Suchen nach der Grenze zwischen einem Element dieser Art und seinem Hintergrund und zum Anlegen einer Teilungslinie längs des Hintergrundes an der Stelle dieser Grenze, – Zuweisen einer einzigen quantisierten Farbe zu dem Element.
Vorrichtung nach Anspruch 31, bei der die Nachverarbeitungseinheit beim Anlegen einer Teilungslinie längs des Hintergrundes an der Stelle einer Grenze zwischen einem Element und seinem Hintergrund von Kettencodierung Gebrauch macht.
Vorrichtung zur automatischen Interpretation eines Farbbildes, mit – einer Quantisierungseinheit zum Quantisieren von in dem Farbbild vorhandenen Farben auf eine begrenzte Anzahl und zur Erstellung eines neuen Farbbildes auf der Grundlage der Quantisierung, – einer Interpretationseinheit zum Interpretieren des neuen Farbbildes, wobei der Quantisierungsschritt nach dem Verfahren gemäß einem der vorstehenden Ansprüche ausgeführt wird.
Vorrichtung nach Anspruch 33, bei der die Interpretationseinheit dazu ausgebildet ist, eine Klassifizierung von Bildelementen nach Typen vorzunehmen, beispielsweise Textelementen, Fotografien und graphischen Elementen.
Vorrichtung nach Anspruch 33, bei der die Interpretationseinheit eine automatische Schriftzeichenerkennung ausführt.
Vorrichtung nach Anspruch 33, bei der die Interpretationseinheit eine automatische Erkennung von Wertpapieren ausführt.
Programmelement für einen Computer, mit Computerprogrammcode, der den Computer veranlaßt, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen.
Programmelement für einen Computer, mit Computerprogrammcode, der den Computer veranlaßt, das Verfahren nach einem der Ansprüche 15 bis 18 auszuführen.
Datenspeichermedium, das dazu ausgebildet ist, von einem Computer gelesen zu werden, mit Computerprogrammcode, der den Computer veranlaßt, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen.
Datenspeichermedium, das dazu ausgebildet ist, von einem Computer gelesen zu werden, mit Computerprogrammcode, der den Computer veranlaßt, das Verfahren nach einem der Ansprüche 15 bis 18 auszuführen.