DE60219918T2

DE60219918T2 - Klassifikation von bildblöcken basierend auf der entropie von pixeldifferenzen

Info

Publication number: DE60219918T2
Application number: DE60219918T
Authority: DE
Inventors: Amir Cupertino SAID
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2001-07-24
Filing date: 2002-07-23
Publication date: 2008-02-14
Anticipated expiration: 2022-07-24
Also published as: WO2003010716A2; JP2005521116A; WO2003010716A3; US7397953B2; TWI266253B; EP1410334A2; DE60219918D1; US20030068085A1; AU2002355139A1; JP4257202B2; EP1410334B1

Description

Hintergrund
Die vorliegende Erfindung bezieht sich auf digitale Bilder. Im Einzelnen bezieht sich die vorliegende Erfindung auf eine Randerfassung bei Blöcken digitaler Bilder.
Zusammengesetzte Dokumente können Text, Zeichnungen und Photoregionen (manchmal überlagert), komplexe Hintergründe (z.B. Textkästchen), Wasserzeichen und Gradienten enthalten. Beispielsweise enthalten Magazine, Journale und Lehrbücher üblicherweise zwei oder mehrere dieser Merkmale.
Ein einzelner Kompressionsalgorithmus ist üblicherweise nicht dazu geeignet, zusammengesetzte Dokumente zu komprimieren. Kompressionsalgorithmen wie z.B. JPEG sind geeignet, Photoregionen der zusammengesetzten Farbdokumente zu komprimieren, sind jedoch nicht geeignet, Textregionen der zusammengesetzten Farbdokumente und andere Regionen, die Ränder enthalten, zu komprimieren. Diese verlustreichen Kompressionsalgorithmen beruhen auf linearen Transformationen (z.B. diskreten Kosinus-Transformationen, diskreter Wavelet-Transformation) und komprimieren Ränder nicht auf effiziente Weise. Sie erfordern zu viele Bits und können um einen Text herum sehr unerwünschte Artefakte erzeugen.
Kompressionsalgorithmen wie z.B. CCITT, G4 und JBIG eignen sich zum Komprimieren von Schwarz-Weiß-Textregionen und anderen Regionen, die Ränder enthalten. Jedoch sind Kompressionsalgorithmen wie z.B. CCITT, G4 und JBIG nicht dazu geeignet, Photoregionen zu komprimieren.
Eine typische Lösung besteht darin, die Dokumente vorzubearbeiten, wobei die Regionen gemäß dem Informationstyp, den sie enthalten, getrennt werden. Beispielsweise werden Regionen, die Ränder enthalten (z.B. Regionen, die Text, Strichvorlagen, Graphik enthalten), und Regionen, die natürliche Merkmale enthalten (z.B. Regionen, die Photos, farbige Hintergründe und Gradienten enthalten), getrennt und gemäß unterschiedlichen Algorithmen komprimiert.
Jedoch sind Algorithmen zum Trennen der Regionen tendenziell sehr komplex und erfordern große Speichermengen und eine hohe Bandbreite. Auf Grund der Anforderungen bezüglich der Komplexität, der hohen Bandbreite und des großen Speichers sind viele Algorithmen für eingebettete Anwendungen wie z.B. Drucker, Scanner und andere Druckkopievorrichtungen ungeeignet. Das Dokument „Skew detection and block classification of printed documents" von P Y Yin, Image and Vision Computing 19 (2001) 567-579 XP-002246200 offenbart ein Verfahren zur Bildblockklassifizierung unter Verwendung einer Graupegelentropie. Das Dokument „Digital Image Processing" von Bernd Jahne S. 134-138 ISBN 3-540-53782-1 offenbart Verfahren zur Randerfassung unter Verwendung von Filtern.
ZUSAMMENFASSUNG
Gemäß einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung gemäß Anspruch 1 vorgesehen. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Verfahren gemäß Anspruch 6 vorgesehen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Veranschaulichung eines Verfahrens zum Erfassen des Vorliegens von Rändern in einem Bildblock.
2a und 2b sind Histogramme, die natürliche Bildmerkmale in einem Bildblock darstellen.
2c und 2d sind Histogramme, die Text und Graphiken in einem Bildblock darstellen.
3 ist ein Histogramm, das einen exemplarischen Bildblock, der einen vertikalen Rand enthält, darstellt.
4 ist eine Veranschaulichung eines Verfahrens zum Verwenden einer Nachschlagtabelle, um die Entropie und die Maximalpixeldifferenz in einem Bildblock zu bestimmen.
5 ist eine Veranschaulichung einer Hardware-Implementierung des Verfahrens der 1.
AUSFÜHRLICHE BESCHREIBUNG
Wie in den Zeichnungen zu Veranschaulichungszwecken gezeigt ist, ist die vorliegende Erfindung in einem Verfahren zum Erfassen von Rändern in Blöcken eines digitalen Bildes verkörpert. Das Verfahren beinhaltet ein Erstellen eines Histogramms aus Unterschieden der Pixelluminanz und ein Berechnen der Entropie des Histogramms. Dieses Verfahren ist viel einfacher als herkömmliche Lösungsansätze, zum Beispiel morphologische Analyse. Die Entropie kann unter Verwendung lediglich einer Nachschlagtabelle sehr effizient berechnet werden.
Es sei auf 1 Bezug genommen, die ein Verfahren zum Erfassen von Rändern in einem Block eines digitalen Bildes veranschaulicht. Das digitale Bild ist aus einer Mehrzahl von Pixeln zusammengesetzt, wobei jedes Pixel durch ein n-Bit-Wort dargestellt ist. Das Randerfassungsverfahren beschäftigt sich mit Unterschieden der Luminanz; falls die n-Bit-Worte einen RGB-Farbraum (RGB = red, green, blue; rot, grün, blau) darstellen, sollten sie somit in Luminanzwerte umgewandelt werden. Beispielsweise könnten die n-Bit-Worte in Grauskala-Werte (z.B. [R + G + B]/3) oder Werte einer Luminanzkomponente eines Farbraums (z.B. YUV, Yab), der eine Luminanz(Y)-Komponente aufweist, umgewandelt werden.
Der Block kann eine beliebige Größe aufweisen. Beispielsweise kann der Block ein 8×8-Pixelblock sein. Die Blöcke können andere Geometrien als ein Quadrat aufweisen.
Die Randerfassung identifiziert nicht die Position eines Randes in einem Block; sie gibt lediglich das Vorhandensein eines Randes in einem Block an. Das Randerfassungsverfahren wird durchgeführt, indem ein Histogramm von Absolutdifferenzen bezüglich Luminanzwerten benachbarter Pixel berechnet wird (110). Horizontal- und Vertikalabsolutdifferenzen benachbarter Pixel können wie folgt berechnet werden: di,j = |pi,j – pi,j-1| (horizontal) di,j = |pi,j – pi-1,j| (vertikal)wobei p_ij den Luminanzwert des Pixels in der i.ten Zeile und j.ten Spalte des Blockes darstellt.
2a und 2b zeigen exemplarische Histogramme von natürlichen Merkmalen (z.B. Photos), Graphiken und komplexen Mustern. 2c und 2d zeigen exemplarische Histogramme von Text und Graphiken. Blöcke, die ein Teil von Photos oder komplexen graphischen Mustern sind, weisen üblicherweise Histogramme auf, die flach sind oder bei null ein Maximum aufweisen (flache Regionen auf Photos). Blöcke mit Text und Graphiken weisen normalerweise üblicherweise Histogramme auf, die einige wenige isolierte Maxima aufweisen. Manchmal sind die Ränder verwischt, wobei Maxima erzeugt werden, die nicht getrennt sind, plus einige Zufallsdifferenzen.
Die Entropie des Histrogramms wird berechnet, um zu bestimmen, ob in dem Block Ränder vorliegen (112). Die Entropie kann wie folgt berechnet werden.
wobei n = 0, ..., C sind ein Satz von nicht-negativen Zahlen, die Gruppennummern des Histogramms entsprechen; h_n = 0, ..., C sind ein Satz von nicht-negativen Zahlen, die Höhen (d.h. Auftretensfrequenzen) der Gruppen (engl.: bins) entsprechen; und
(der Gesamtbereich des Histogramms).
Man betrachte das Beispiel eines 4 × 4-Blocks, der die folgenden Luminanzwerte aufweist.

0 0 255 255

0 0 255 255

0 0 255 255

0 0 255 255
Diese Werte stellen einen vertikalen Rand dar. Horizontal- und Vertikalabsolutdifferenzen, die gemäß den obigen Gleichungen berechnet werden, liefern die folgenden Ergebnisse:
12 vertikale 0en, 8 horizontale 0en und 4 horizontale 255en. Somit weist das Histogramm, das in 3 gezeigt ist, zwei nicht null betragende Gruppen auf: h₀ = 20 und h₂₅₅ = 4. Alle anderen Gruppen (h₁, ..., h₂₅₄) sind gleich null. Der Gesamtbereich T = 24, und die Entropie E(h) gleicht E(h) = log(24) – 1/24[20log(20) + 4log(4)].
Nachdem der Entropiewert E(h) bestimmt wurde, wird er mit einer Absolutschwelle verglichen (114). Die Maximalabsolutdifferenz in dem Block wird ebenfalls bestimmt (116) und mit einer Schwelle verglichen (118). Diese Vergleiche geben an, ob der Block einen bedeutenden Rand enthält. Glatte Regionen sind durch eine geringe Entropie und eine geringe Maximaldifferenz gekennzeichnet. Regionen, die große zufällig Differenzen (z.B. Rauschen) aufweisen, sind durch eine hohe Entropie und eine hohe Maximaldifferenz gekennzeichnet. Regionen, die Ränder aufweisen, sind durch eine geringe Entropie und eine große Maximaldifferenz gekennzeichnet. Bei dem obigen Beispiel ist die Entropie gering, und die Maximaldifferenz (255) ist hoch. Somit wird der Block als einen Rand enthaltend identifiziert. Die Position des Randes und die Art des Randes (horizontal, vertikal) werden nicht ermittelt; lediglich das Vorhandensein wird ermittelt.
Die Maximaldifferenz ist eine einfache Art und Weise, zu bestimmen, ob der Block eine glatte Region oder einen Rand enthält. Varianz ist eine andere Maßzahl, die dazu verwendet werden kann, zu bestimmen, ob der Block eine glatte Region oder einen Rand enthält.
Nachdem ein Block verarbeitet wurde, kann er anhand des geeigneten Kompressionsalgorithmus komprimiert werden. Die Randerfassung ermöglicht, dass der richtige Kompressionsalgorithmus auf den Block angewendet wird. Falls ein Block einen Rand enthält, wird er mit einem verlustfreien Kompressionsalgorithmus codiert. Falls ein Block keinen Rand enthält, wird er mit einem verlustreichen Kompressionsalgorithmus codiert.
Da die Entropiefunktion E(h) ausgehend von Logarithmen und Multiplikation berechnet wird, würde man meinen, dass sie rechentechnisch aufwändig ist. Jedoch ist gerade das Gegenteil der Fall. Faktoren der Entropiefunktion können vorab berechnet, skaliert und auf Ganzzahlen gerundet werden, so dass alle komplexen Berechnungen durch ein Nachschlagen in einer Tabelle ersetzt werden.
Die Entropiefunktion kann normiert werden, um zu ermöglichen, dass ein einziger Vergleich durchgeführt wird (statt eines ersten Vergleichs mit einer Entropieschwelle und eines zweiten Vergleichs mit einer Maximaldifferenzschwelle). Die Entropiefunktion kann wie folgt normiert werden:
wobei E'(h) die normierte Funktion ist, µ(h) das Maximalargument in dem Histogramm ist und a, b und c Konstanten sind, die die Entropiefunktion E(h) normieren und die Sensibilität der Klassifizierung verändern. Das Maximalargument µ(h) kann als
berechnet werden. Die Konstanten sollten so gewählt werden, dass E'(h) gering ist, wenn der Block Ränder enthält, und E'(h) in allen anderen Fällen groß ist. Unter diesen Bedingungen wird ein Block als zumindest einen Rand enthaltend klassifiziert, falls E'(h) geringer ist als eine gegebene Schwelle (z.B. E'(h) < 1).
Nun wird auf 4 Bezug genommen. Die Nachschlagtabelle kann wie folgt verwendet werden. Die Tabelle weist Q Einträge (0, ..., Q-1) auf. Jeder Eintrag Q entspricht einer skalierten Gruppenhöhe. Die Einträge werden auf Ganzzahlen abgerundet.
Horizontal- und Vertikalabsolutdifferenzen der Luminanz zwischen benachbarten Pixeln werden berechnet (210), und aus den Differenzen wird ein Histogramm erstellt (212). Die Maximaldifferenz wird aktualisiert, während das Histogramm erstellt wird (214).
Nachdem das Histogramm erstellt wurde, wird die Maximalluminanzdifferenz mit einer ersten Schwelle T1 verglichen (216). Falls die Maximaldifferenz geringer ist als die Schwelle, wird der Block als keine Ränder enthaltend identifiziert (218). Falls die Maximaldifferenz größer ist als die Schwelle, wird die Entropie des Histogramms berechnet.
Die Entropien der Histogrammgruppen werden als Funktion der Gruppenhöhe in der Tabelle nachgeschlagen (220), und die Gruppenentropien werden summiert (222). Falls die Summe größer ist als eine zweite Schwelle T2 (224), wird der Block als keine Ränder enthaltend identifiziert (218). Falls die Summe geringer als die oder gleich der Schwelle ist, wird der Block als zumindest einen Rand enthaltend identifiziert (226).
Nun wird auf 5 Bezug genommen, die eine Hardware-Implementierung des Randerfassungsverfahrens zeigt. Ein Datenblock ist in einem Puffer 310 gespeichert. Ein Speicher 312 speichert ein Programm zum Anweisen eines Prozessors 314, Ränder in dem gepufferten Block zu erfassen, wobei die Ränder gemäß dem Randerfassungsverfahren des vorliegenden Dokuments erfasst werden. Der Prozessor 314 kann auch unter Verwendung eines Algorithmus, der gemäß den Ergebnissen der Randerfassung ausgewählt wird, eine Komprimierung durchführen.
Die vorliegende Erfindung ist nicht auf eine Bildkompression beschränkt. Beispielsweise kann die vorliegende Erfindung auf eine Video- und Photosegmentierung angewendet werden.
Die vorliegende Erfindung ist nicht auf die oben beschriebenen und veranschaulichten spezifischen Ausführungsbeispiele beschränkt. Stattdessen wird die vorliegende Erfindung gemäß den folgenden Patentansprüchen ausgelegt.

Claims

Eine Vorrichtung (314) zum Erfassen von Rändern in einem Bildblock, die einen Prozessor (314) umfasst, der dahin gehend angeordnet ist, ein Histogramm der Pixelluminanzunterschiede in dem Block zu erzeugen, die Entropie des Histogramms (112) zu berechnen, eine Maximalpixeldifferenz in dem Block (116) zu bestimmen und die Entropie und die Maximaldifferenz mit Schwellen zu vergleichen, um zu bestimmen, ob der Block einen Rand enthält (216, 224)
Die Vorrichtung gemäß Anspruch 1, bei der der Prozessor (314) dahin gehend angeordnet ist, auf eine Nachschlagtabelle (312) von vorab berechneten Gruppenentropien als Funktion der Gruppenhöhe zuzugreifen; und bei der der Prozessor (314) Entropien für Gruppen des Histogramms nachschlägt und die Gruppenentropien summiert, die Entropie des Histogramms zu bestimmen (220, 222).
Die Vorrichtung gemäß Anspruch 2, bei der der Prozessor (314) dahin gehend angeordnet ist, einen Block, der eine geringe Entropie und eine hohe Maximaldifferenz aufweist, als Block zu identifizieren, der zumindest einen Rand enthält (218, 220, 222, 224, 226).
Die Vorrichtung gemäß einem der Ansprüche 2 oder 3, bei der der Prozessor (314) die Entropie gemäß der Funktion
berechnet, wobei: n = 0 ... C und einen Satz von nicht-negativen Zahlen umfasst, die Gruppennummern des Histogramms entsprechen; h_n ein Satz von nicht-negativen Zahlen ist, die Höhen (Auftretensfrequenzen) der Gruppen entsprechen; und
Die Vorrichtung gemäß Anspruch 4, bei der der Prozessor (314) eine normierte Version der Entropiefunktion verwendet, um zu erfassen, ob der Block zumindest einen Rand enthält.
Ein computerimplementiertes Verfahren zum Erfassen von Rändern in einem Bildblock, das folgende Schritte umfasst: Erzeugen eines Histogramms der Pixelluminanzdifferenzen in dem Block; Berechnen der Entropie des Histogramms (112); Bestimmen einer Maximalpixeldifferenz in dem Block (116); und Vergleichen der Entropie und der Maximaldifferenz mit Schwellen, um zu bestimmen, ob der Block einen Rand enthält (216, 224).
Das Verfahren gemäß Anspruch 6, das ferner ein Zugreifen auf eine Nachschlagtabelle (312) von vorab berechneten Gruppenentropien als Funktion der Gruppenhöhe, um Entropien für Gruppen des Histogramms nachzuschlagen und die Gruppenentropien zu summieren, um die Entropie des Histogramms zu bestimmen (220, 222), umfasst.
Das Verfahren gemäß Anspruch 7, das ferner ein Identifizieren eines Blockes, der eine geringe Entropie und eine hohe Maximaldifferenz aufweist, als Block, der zumindest einen Rand enthält (218, 220, 222, 224, 226), umfasst.
Das Verfahren gemäß Anspruch 7 oder 8, das ferner ein Berechnen der Entropie gemäß der Funktion
wobei: n = 0 ... C und einen Satz von nicht-negativen Zahlen umfasst, die Gruppennummern des Histogramms entsprechen; h_n ein Satz von nicht-negativen Zahlen ist, die Höhen (Auftretensfrequenzen) der Gruppen entsprechen; und
umfasst.
Das Verfahren gemäß Anspruch 9, das ferner ein Verwenden einer normierten Version der Entropiefunktion, um zu erfassen, ob der Block zumindest einen Rand enthält, umfasst.