DE60111756T2

DE60111756T2 - Verfahren zum verbessern der kompressionsfähigkeit und der bildqualität von abgetasteten dokumenten

Info

Publication number: DE60111756T2
Application number: DE60111756T
Authority: DE
Inventors: P. Ron MAURER; Danny Barash
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2000-09-29
Filing date: 2001-10-01
Publication date: 2006-03-16
Anticipated expiration: 2021-10-02
Also published as: AU2002210786A1; DE60111756D1; US20050041883A1; EP1320987B1; WO2002028087A1; EP1320987A1; US6731821B1

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Verarbeitung von Bilddaten und insbesondere auf ein Verbessern von Qualität und Komprimierbarkeit digitaler Bilder, die Kombinationen aus Text, Graphiken und natürlichen Bildern umfassen, durch ein selektives Glätten/Rauschbeseitigen und ein selektives Schärfen.
Hintergrund der Erfindung
Digitale Bilddaten werden oft verarbeitet, um die visuelle Qualität des Bildes zu verbessern. Übliche Bildverarbeitungstechniken umfassen ein Bildglätten und ein Bildschärfen. Das Glätten ist eine Technik, die hauptsächlich zum Reduzieren bestimmter Typen eines Rauchens durchgeführt wird. Nicht-selektive (oder lineare) Glättungsalgorithmen glätten alle Merkmale in einem Bild (d. h. Flächen in dem Bild, die als flache Regionen charakterisiert werden können, und Flächen innerhalb des Bildes, die als Ränder charakterisiert werden können). Es ist jedoch unerwünscht, Ränder zu glätten, da geglättete Ränder dem Bild ein „verschwommenes" Erscheinungsbild verleihen. Ferner ist, obwohl ein Glätten wirksam für ein Entfernen eines Großteils eines Gaußschen Rauschens ist, es weniger wirksam für ein Entfernen eines Rauschens mit hoher Amplitude, wie z. B. eines Granulationsrauschens. Das Granulationsrauschen kann als ein einzelner unbeabsichtigter schwarzer Punkt in einer weißen Region oder ein einzelner unbeabsichtigter weißer Punkt in einer schwarzen Region charakterisiert werden.
Allgemein ist das Schärfen eine Technik, bei der die Ränder innerhalb des Bildes geschärft werden, um die visuelle Qualität eines Bildes zu verbessern. Diese Technik wird oft durchgeführt, um die visuelle Qualität von Text oder Graphiken innerhalb eines Bildes zu verbessern. Ein Nachteil nicht-selektiver Schärfungstechniken besteht darin, dass sie auch dazu neigen, ein Rauschen zu verstärken.
Selektive (oder nicht-lineare) Filter, wie z. B. selektive Glättungs- oder selektive Schärfungsfilter, überwinden die Nachteile nicht-selektiver Filter durch ein Anwenden der Filterungsfunktion auf nur die Merkmale, die geglättet/geschärft werden sollen, während die nicht-ausgewählten Merkmale erhalten bleiben. Selektive Filter umfassen eine bestimmte Einrichtung zum Identifizieren oder Unterscheiden zwischen Merkmalen, so dass das Filter nur auf das erwünschte Merkmal angewendet wird. Ein Beispiel eines randbewahrenden selektiven Glättungsfilters ist ein anisotropes Diffusionsfilter.
Aufgrund ihrer Rauschentfernungsnatur ist die anisotrope Diffusionsfilterungstechnik in jüngster Zeit für das Verbessern einer Komprimierbarkeit betrachtet worden. Insbesondere wurde ein anisotropes Diffusionsfilter iterativ zwischen 10 und 20 Mal auf Bilddaten angewendet, um ein optimales Verhältnis zwischen einem visuellen Qualitätsmaß und der Bit-pro-Pixel-(bpp-)Komprimierungsrate zu erhalten. Es hat sich herausgestellt, dass ein Anwenden von fünf Iterationen Bilder erzeugt hat, die wahrnehmungsmäßig äquivalent zu den ursprünglichen Bildern waren, und dass die Komprimierungsbitrate um 5% bis 17,5% verbessert wurde. Obwohl diese Technik zeigt, dass eine anisotrope Diffusion verwendet werden kann, um eine Bildkomprimierbarkeit zu verbessern, ist es für Echtzeit-Bildverarbeitungsanwendungen, wie z. B. ein Bildscannen, unpraktisch, da viele zeitaufwändige Iterationen erforderlich sind, um die erwünschte Bildqualität und -komprimierbarkeit zu erhalten. Zusätzlich reinigt die herkömmliche anisotrope Diffusionstechnik Granulationsrauschen und andere Typen eines Rauschens mit hoher Amplitude nicht heraus und ist so nicht ausreichend für eine Vorverarbeitung gescannter Dokumentenbilder.
Eine weitere Rauschentfernungs-/Glättungsfilterungstechnik, die für Komprimierungsverbesserungsanwendungen vorgeschlagen wurde, ist ein Sigma-Filter, das rechenmäßig noch aufwändiger pro Iteration ist als ein anisotropes Diffusionsfiltern (obwohl es weniger Iterationen zum Erzielen der gleichen Rauschreduzierung benötigt). Diese Technik ist jedoch noch nicht schnell genug für Anwendungen für ein Verarbeiten von Vollseitenbildern oder eine Echtzeit-Bildverarbeitung. Wie das anisotrope Diffusionsfilter, entfernt auch das Sigma-Filter ein Rauschen mit hoher Amplitude nicht.
Schließlich wurden in dem Fall der beiden Rauschentfernungstechniken (d. h. anisotropes Diffusionsfiltern und Sigma-Vorverarbeitung) beide nur zur Verarbeitung natürlicher Bilder in Betracht gezogen. Eine Anwendung dieser Techniken auf Dokumentenbilder jedoch, die Text, Graphiken und natürliche Bilder enthalten, wurde nicht in Betracht gezogen, da bekannt ist, dass Rauschentfernungsfilter (insbesondere in vielen Iterationen angewendet) die Qualität von Text- und Graphikbildern verschlechtern. Insbesondere wird die Randscharfheit von Textmerkmalen verschlechtert.
Die US-A-5,446,502 offenbart ein Verfahren und eine Vorrichtung zum Filtern von Signalen, durch die Signalamplituden einer quantisierten zweidimensionalen Referenzebene zugewiesen werden können. Zum Intensivieren eines nützlichen Signalteils kann ein gefiltertes Signal zu einem ungefilterten Eingangssignal hinzugefügt werden, nachdem konstante Teile, sowie Hochfrequenzanteile herausgefiltert wurden. Nach einem frequenzabhängigen Filtern des zu filternden Signalteils werden Komponenten des zu filternden Signalteils, die eine Amplitude oberhalb einer vorgeschriebenen Schwelle aufweisen, in zumindest einer Konturfilterstufe beseitigt. Die Schwelle wird adaptiv abhängig von einer Amplitude des Eingangssignals eingestellt. Darüber hinaus wird das Ausgangssignal der Konturfilterstufe von dem Ausgangssignal des frequenzabhängigen Filters zum Erzeugen des Gesamtfiltersignals subtrahiert.
Benötigt wird eine Bildverarbeitungstechnik, die auf Kombinationstyp-(d. h. Text, Graphik, natürlich)Dokumentenbilder angewendet werden kann und die eine Komprimierbarkeit erhöht, während eine Bildqualität verbessert wird, mit niedriger Rechenkomplexität für Echtzeitanwendungen.
Zusammenfassung der Erfindung
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Verarbeiten von Bilddaten gemäß Anspruch 1 geschaffen.
Ein System und ein Verfahren zum Verbessern von Bilddaten und Erhöhen einer Komprimierbarkeit von Daten durch ein selektives Glätten der Bilddaten, während Ränder bewahrt werden, und ein selektives Schärfen von Bilddaten unter Verwendung eines variablen Kontrastdehnens. Bei einem Ausführungsbeispiel wird ein variables Kontrastdehnen durch ein Abschneiden derjenigen Pixelintensitätswerte außerhalb eines variablen Bereichs und durch ein Abbilden dieser Pixelintensitätswerte innerhalb des variablen Bereichs durchgeführt. Bei einem weiteren Ausführungsbeispiel wird ein selektives Glätten unter Verwendung eines robusten anisotropen Diffusions-(RAD-)Filters durchgeführt.
Kurze Beschreibung der Zeichnungen
1 stellt ein erstes Ausführungsbeispiel des Bildverarbeitungsverfahrens der vorliegenden Erfindung dar;
2 stellt ein Ausführungsbeispiel der variablen Kontrastdehnfunktion dar;
3 stellt eine hohle 3 × 3-Umgebung dar;
4 stellt ein zweites Ausführungsbeispiel des Bildverarbeitungsverfahrens der vorliegenden Erfindung dar;
5 stellt eine Technik zum Anwenden des in 4 gezeigten Verfahrens auf Bilddaten dar;
6 stellt eine weitere Technik zum Anwenden des in 4 gezeigten Verfahrens auf Bilddaten dar;
7 stellt ein Ausführungsbeispiel des Systems zur Bildverarbeitung der vorliegenden Erfindung dar.
Detaillierte Beschreibung der Erfindung
Allgemein ist die vorliegende Erfindung ein Bildverarbeitungsverfahren und ein System zum Durchführen sowohl eines selektiven Bildglättens/Rauschentfernens als auch eines selektiven Bildschärfens unter Verwendung eines variablen Kontrastdehnens, derart, dass, wenn ein selektives Bildglätten durchgeführt wird, Flächen innerhalb des Bildes, die als flache Regionen charakterisiert sind, geglättet oder einer Rauschentfernung unterzogen werden, während Flächen innerhalb des Bildes, die als Ränder charakterisiert sind, im Wesentlichen beibehalten werden, und, wenn ein selektives Bildschärfen unter Verwendung eines variablen Kontrastdehnens durchgeführt wird, Ränder innerhalb des Bildes geschärft werden, ohne dass die Glättung/Rauschentfernungswirkungen auf die flachen Regionen, die während eines selektiven Glättens erhalten werden, aufgehoben werden und außerdem ohne ein Einführen eines Überschreitungs- bzw. Overshoot-Rauschens an Rändern. Das variable Kontrastdehnen wird durch ein dynamisches Abschneiden von Pixelwerten durchgeführt, was neben dem Schärfen auch wirksam für ein Entfernen eines Granulationsrauschens ist, das während des selektiven Glättens nicht entfernt wird.
Die Kombination aus Rauschentfernung (d. h. Rauschbeseitigung), die aus einem selektiven Glätten erhalten wird, und einer Granulationsentfernung (d. h. Granulationsbeseitigung), die aus einem selektiven Schärfen erhalten wird, führt zu einer wesentlichen Rauschreduzierung. Das Reduzieren eines Bildrauschens erlaubt eine erhöhte Komprimierbarkeit. So sind das System und das Verfahren zur Bildverarbeitung der vorliegenden Erfindung insbesondere auf ein Vorverarbeiten von Bilddaten vor einer Komprimierung anpassbar, um so eine Bildkomprimierbarkeit zu verbessern, während eine Bildqualität erhalten bleibt oder verbessert wird. Bei einem Komprimierungsverfahren z. B., das auf einer Bitebenendarstellung basiert, das eine verlustfreie Komprimierung auf einen abgeschnittenen Satz von Bitebenen anwendet, wie in der WO-02/30104 mit dem Titel „Method Including Lossless Compression of Luminance Channel and Lossy Compression of Chrominance Channels" (Verfahren mit verlustfreier Komprimierung eines Leuchtdichtekanals und verlustfreier Komprimierung von Farbwertkanälen) beschrieben ist, wird das Komprimierungsverhältnis in einem Bereich von etwa 30–50% erhöht.
Da ein selektives Schärfen gemäß der vorliegenden Erfindung Glättungs-/Rauschentfernungseffekte von dem selektiven Glätten erhält, kann das Bild zu Beginn während eines selektiven Glättens übermäßig geglättet werden, um ein erhöhtes Rauschentfernen zu erhalten, und kann dann selektiv geschärft werden, um Ränder erneut zu schärfen, die durch den Glättungsalgorithmus unter Umständen beeinflusst wurden, wodurch eine wesentliche Rauschentfernungsfähigkeit geschaffen wird.
Das System und das Verfahren der vorliegenden Erfindung erfordern minimale Berechnungsschritte, da eine einzelne Iteration jeder selektiven Glättungs- und Schärfungstechnik eine annehmbare Bildqualität und -komprimierbarkeit erzielt.
1 zeigt ein erstes verallgemeinertes Ausführungsbeispiel des Verfahrens der vorliegenden Erfindung, bei dem ein selektives Glätten unter Verwendung einer Randerhaltungs-Bildglättungs-/Rauschentfernungstechnik (10) durchgeführt wird und ein selektives Schärfen an den selektiv geglätteten Bilddaten unter Verwendung eines variablen Kontrastdehnens (11) durchgeführt wird. Wie gezeigt ist, werden Eingangsbilddaten I zu dem Eingang der selektiven Glättungsstufe gekoppelt, die selektiv geglättete Bilddaten I' erzeugt, wobei Flächen innerhalb des Bildes, die als flache Regionen charakterisiert sind, geglättet oder einer Rauschentfernung unterzogen werden, und Flächen innerhalb des Bildes, die als Ränder charakterisiert sind, im Wesentlichen erhalten werden. Die selektiv geglätteten Daten I' sowie die ursprünglichen Bilddaten I werden zu der selektiven Schärfungsstufe gekoppelt. Die geglätteten Bilddaten I' werden abhängig von dynamischen Kontrastinformationen, die aus den ursprünglichen Bilddaten I erhalten werden, geschärft, während Ränder derart geschärft werden, dass Rauschentfernungsvorteile, die während des Glättens erhalten werden, unbeeinflusst bleiben. Bei einem Ausführungsbeispiel wird das Verfahren zur Bildverarbeitung in einer einzelnen Iteration durchgeführt.
Randerhaltende Bildglättungs-/Rauschentfernungstechniken können durch ein Anisotrop-Typ-Diffusionsfiltern, ein nicht-lineares Glättungs-/Rauschentfernungsfiltern, ein Bilateral-Typ-Filtern, ein Sigma-Filtern, ein Rangwerte-Filtern, wie z. B. ein Mittelwert-Filtern, oder jeden anderen Typ eines randerhaltenden Glättungsfilters durchgeführt werden. Bei einem Typ randerhaltenden Glättungsfilters werden Pixeldaten, die Rändern innerhalb der Bilddaten ent sprechen, identifiziert und die Glättungsfilterfunktion wird auf flache Regionen angewendet und wird nicht auf die identifizierten Ränder angewendet. Im Allgemeinen ist ein lineares Glätten eine Operation, bei der der Pixelwert durch einen gewichteten Durchschnitt seiner Nachbarn ersetzt wird. Dies dämpft Hochfrequenzkomponenten, nämlich abrupte Veränderungen der Pixelintensität. Es sollte angemerkt werden, dass das Maß einer Randerhaltung, die erhalten wird, wenn selektiv geglättet wird, teilweise von der Zuverlässigkeit/Robustheit dessen abhängt, wie Ränder von flachen Regionen durch das randerhaltende Glättungsfilter unterschieden werden, sowie von der Stärke des Glättungsfilters. Als ein Ergebnis könnten sich einige Ränder einem bestimmten Glätten aussetzen.
Ein selektives Schärfen wird unter Verwendung eines variablen Kontrastdehnens durchgeführt. Ein selektives Schärfen unter Verwendung eines variablen Kontrastdehnens ist in der WO-02/27657 mit dem Titel „Image Sharpening by Variable Contrast Stretching" (Bildschärfung durch variables Kontrastdehnen) beschrieben. Das variable Kontrastdehnen reduziert eine Raumskala großer Graupegel-Übergänge, was zu einem wesentlichen Schärfen von Merkmalen in computererzeugten Bildern (z. B. Text, CAD-Zeichnungen) führt. Das variable Kontrastdehnen reduziert die Raumskala milder Graupegel-Übergänge nur leicht, was zu einem leichteren Schärfen von Merkmalen in „natürlichen" Bildern (z. B. photographierte Merkmale, Merkmale, die durch eine Bilderfassungsvorrichtung erfasst werden) führt. So wendet das variable Kontrastdehnen ein starkes Schärfen auf computererzeugte Merkmale und ein leichtes Schärfen auf Ränder in natürlichen Merkmalen an. Das variable Kontrastdehnen verbessert das Erscheinungsbild und die Leserlichkeit zusammengesetzter Dokumente, die sowohl natürliche als auch computererzeugte Merkmale beinhalten. Das variable Kontrastdehnen jedoch verändert die Raumskala für schwache Graupegel-Übergänge nicht und verstärkt so ein Niederamplitudenrauschen nicht.
Einer der Vorteile des ersten Ausführungsbeispiels des Verfahrens zur Bilderzeugung, in 1 gezeigt, besteht darin, dass der Schritt des selektiven Glättens wirksam für ein Entfernen eines Großteils von Rauschtypen ist, die ein Gauß-Typ-Rauschen umfassen, jedoch nicht wirksam für ein Entfernen von Granulationstyp-Rauschen (z. B. weiße Punkte auf schwarz oder schwarze Punkte auf weiß) ist, da Granulationen für selektive Glättungsfilter oft wie Ränder erscheinen, während der selektive Schärfungsschritt unter Verwendung des variablen Kontrastdehnens wirksam für ein Entfernen des Granulationstyp-Rauschens ist. Als ein Ergebnis entfernen das System und das Verfahren zur Bildverarbeitung eine wesentliche Menge an Rauschen aus dem Bild.
Eine Entfernung von Rauschen aus Bilddaten erlaubt eine erhöhte Komprimierbarkeit der Bilddaten. Entsprechend ist eine Anwendung des Bildverarbeitungsverfahrens der vorliegenden Erfindung die Vorverarbeitung von Bilddaten gemäß den Verfahren, die in den 1 und 4 gezeigt sind, vor einem Komprimieren der Bilddaten.
Es sollte angemerkt werden, dass die Wirksamkeit der Rauschentfernung davon abhängig ist, welcher Typ selektiven Glättens durchgeführt wird, sowie wie das variable Kontrastdehnen zum Filtern bestimmter Typen von Bilddaten eingestellt ist. So ist die erhöhte Komprimierbarkeit abhängig davon, wie effektiv ein Rauschen entfernt wird, wenn selektiv geglättet und unter Verwendung des variablen Kontrastdehnens selektiv geschärft wird.
Variables Kontrastdehnen
Das selektive Schärfen geglätteter digitaler Bilddaten unter Verwendung des variablen Kontrastdehnens wird wie folgt durchgeführt. Das geglättete digitale Bild I' besteht aus einer Mehrzahl selektiv geglätteter Pixel P'. Jedes selektiv geglättete Pixel P' entspricht einem ursprünglichen vorgeglätteten Pixel P mit dem gleichen Ort innerhalb des digitalen Bildes. Eine punktweise Kontrastdehnfunktion g(·) wird an jedem selektiv geglätteten Pixel von Interesse P₀' wie in Gleichung 1 folgt durchgeführt:
2 stellt die graphische Darstellung der variablen Kontrastdehnfunktion g(P₀') dar. Das Pixel von Interesse P₀' wird in Bezug auf eine Umgebung von Pixeln gefiltert. Die Umgebung von Pixeln entspricht der hohlen (d. h. Mittelpixel fehlt) Umgebung der vorgeglätteten Pixel in Bezug auf das vorgeglättete Pixel von Interesse P₀. 3 stellt ein Beispiel einer hohlen Umgebung vorgeglätteter Pixel dar. Die hohle Umgebung, abgegrenzt durch ein Fenster, das in gestrichelten Linien angezeigt ist, umfasst ein 3 × 3-Array von Pixeln minus einem Mittelpixel. Der Mittelpixelblock, der durch ein „X" bezeichnet ist, entspricht dem geglätteten Pixel von Interesse P₀', auf das der Schärfungsalgorithmus wirken soll.
Da die vorgeglättete Umgebung verwendet wird, werden Ränder abhängig von dynamischen Kontrastinformationen eines vorgeglätteten Bildes geschärft, was zu einem zuverlässigeren Randschärfen führt. Der maximale Grauwert der Umgebung ist durch den Großbuchstaben M bezeichnet und der minimale Grauwert der Umgebung ist durch den Kleinbuchstaben m bezeichnet. Der lokale Dynamikbereich der Umgebung, durch den Buchstaben D bezeichnet, ist die Differenz zwischen dem minimalen und dem maximalen Wert der Umgebung (d. h. D = M – m). Wenn z. B. die Pixelintensitätswerte durch 8-Bit-Wörter dargestellt werden, beträgt der niedrigste Intensitätswert der Pixel in der Umgebung m = 5 und der höchste Intensitätswert der Pixel in der Umgebung beträgt M = 250, der Dynamikbereich für diese Umgebung ist D = 245.
Ein „Kontrastbereich" weist eine Breite von 2W auf. Der Kontrastbereich ist mittig um die Mitte (A) des Dynamikbereichs, A = (M + m)/2. So weist der Kontrastbereich einen Anfangspunkt bei A – W und einen Endpunkt bei A + W auf.
Wenn der Intensitätswert des Pixels von Interesse P₀' außerhalb des Kontrastbereichs liegt, wird der Intensitätswert auf entweder m oder M abgeschnitten. Wenn der Intensitätswert des Pixels von Interesse innerhalb des Kontrastbereichs liegt, wird die Menge, um die der lokale Kontrast verändert wird, durch den Gradienten der Steigung eines Liniensegments 10 (2) innerhalb des Kontrastbereichs bestimmt.
Die Steigung des Liniensegments 10 ist eine Funktion des Dynamikbereichs. Im Allgemeinen erfüllt die Steigung, angegeben durch S(D), folgendes:

– die Steigung nähert sich Eins an, wenn der Dynamikbereich D sich Null annähert (d. h. S → 1, wenn D → 0);
– die Steigung ist größer als Eins, wenn der Dynamikbereich größer als Null ist (d. h. S > 1, wenn D ≠ 0); und
– die Steigung ist eine nicht abnehmende Funktion des Dynamikbereichs (d. h. mit ansteigendem Dynamikbereich wird die Steigung größer und die Schärfung nimmt zu).

So ist die Steigung eine Funktion des Dynamikbereichs und des Kontrastbereichs einer bestimmten Pixelumgebung. Da eine Umgebung für jedes Pixel bestimmt wird, sind der Dynamikbereich, der Kontrastbereich und die Steigung auf einer Pixel-um-Pixel-Basis variabel.
Es gibt viele unterschiedliche Arten zum Ausdrücken der Steigung des Liniensegments 10 (2). Die Steigung könnte z. B. wie in Gleichung 2 folgt ausgedrückt sein:
wobei die Konstante R ein einzelner globaler Parameter ist, der der Dynamikskala zum Schärfen entspricht. So könnte die variable Kontrastdehnoperation innerhalb des variablen Kontrastbereichs wie in Gleichung 3 folgt ausgedrückt sein:
Wenn D >> als R gilt, wird die Abbildung äquivalent zu einer Umschaltabbildung, wodurch Ränder übermäßig geschärft werden. Eine ordnungsgemäße Auswahl der Konstante R verhindert ein derartiges Problem. Für Umgebungen mit kleinen Dynamikbereichen gilt D << R und 1 + D/R ≈ 1. Deshalb tritt keine effektive Kontraständerung für D << als R auf.
Die Konstante R könnte zur Recheneffizienz auf Potenzen von Zwei eingeschränkt sein. Da die Menge 1 + D/R eine Teilung durch die Konstante R beinhaltet, erlaubt ein Beschränken der Konstante R auf eine Potenz von Zwei, dass die Teilung durch ein einfaches Bitverschieben durchgeführt werden kann. So gilt R = 2^L, wobei Ganzzahl L > 0 gilt. Mit abnehmender Konstante R nimmt die Schärfungswirkung zu, da die Kontrastregion 2W kleiner ist und die Steigung S(D) des Kontrastdehnens größer wird.
Für Pixelintensitätswerte, die durch 8-Bit-Wörter dargestellt werden, liegt der bevorzugte Wert von R zwischen 64 und 512 (d. h. 6 ≤ L ≤ 9). Allgemeiner ist, wenn der Dynamikbereich des gesamten Bildes genormt wird, um den vollständigen Dynamikbereich der Erfassungsvorrichtung (z. B. Scanner) abzudecken, der bevorzugte Wert von R zwischen einem Viertel des Dynamikbereichs und zweimal dem Dynamikbereich.
Es sollte angemerkt werden, dass das variable Kontrastdehnen auch ein Überschreiten bzw. Overshoot vermeidet. So erscheinen keine überschreitungsbezogene Artefakte als das Ergebnis einer Interpolation digitaler Bilder, die durch ein variables Kontrastdehnen geschärft wurden.
Das variable Kontrastdehnen vergrößert ein Niederamplitudenrauschen nicht und kann in einigen Fällen ein Niederamplitudenrauschen leicht reduzieren. Da das variable Kontrastdehnen ein Niederamplitudenrauschen nicht erhöht und ein Überschreiten verhindert, wird die Komprimierbarkeit des geschärften Bildes nicht reduziert. Folglich könnte ein digitales Bild nur einmal vor der Komprimierung geschärft werden, wobei so der Bedarf, dass das Bild jedes Mal nach einer Dekomprimierung geschärft werden muss, vermieden wird.
Das variable Kontrastdehnen ist nicht auf ein lineares Abbilden innerhalb des Kontrastbereichs eingeschränkt. Obwohl ein lineares Abbilden bevorzugt wird, könnte ein nicht-lineares Abbilden innerhalb des Kontrastbereichs durchgeführt werden.
4 zeigt ein zweites Ausführungsbeispiel des Verfahrens zur Bildverarbeitung, bei dem Bilddaten zu Beginn selektiv unter Verwendung einer randerhaltenden Filterungstechnik, die als robustes anisotropes Diffusions-(RAD-)Filtern bekannt ist, selektiv geglättet werden (12) und dann die geglätteten Daten selektiv unter Verwendung des variablen Kontrastdehnens (13) geschärft werden.
Das RAD-Filter ist ein Typ von Filter, das ein selektives Glätten durch ein Simulieren eines Diffusionsvorgangs an dem Bild durchführt, wobei das Diffusionsvermögen lokal von der Stärke eines Merkmalstyps, d. h. eines Rands, abhängt. Der Selektivitätsmechanismus basiert auf robusten Statistiken und insbesondere auf einer Einflussfunktion Ψ einer robusten Fehlernorm. Bei diesem Ausführungsbeispiel wird das RAD-Filtern in einer einzelnen Iteration auf eine 3 × 3-Umgebung (d. h. Kern) jedes Pixels von Interesse P₀ in den Eingangsbilddaten I angewendet, um ein geglättetes Pixel P₀' zu erzeugen.
Für jedes Pixel von Interesse P₀ wird die folgende RAD-Filterungsgleichung (Gleichung 4) angewendet:
wobei P_j einer der Nachbarn in der hohlen 3 × 3-Umgebung ist, Ψ die Einflussfunktion einer robusten Fehlernorm ist, T eine charakteristische Skale von Ψ ist, C_j Raumgewichte sind und Δt eine willkürliche Zeitstufe für das Diffusionsfilter ist. Bei diesem Ausführungsbeispiel bezieht sich die willkürliche Zeitstufe Δt auf einen Wärmediffusionsmodellparameter und ist auf Δt = 1 gesetzt, um so ein angemessenes Filterrauschentfernen und eine vereinfachte Berechnung zu schaffen. Andere Werte von Δt könnten ausgewählt werden. Der Parameter C_j liefert eine Raumgewichtung. Bei einem Ausführungsbeispiel entsprechen die C_j-Faktoren einem 3 × 3-Binomfilter, das wie folgt gesetzt ist:
wobei die Tiefstellung j dem Pixelort innerhalb der 3 × 3-Umgebung (in 3 gezeigt) entspricht, einschließlich des Mittelpixels von Interesse P₀ (in 3 nicht gezeigt).
Die Einflussfunktion Ψ entspricht einer photometrischen Gewichtungsfunktion und ist bei diesem Ausführungsbeispiel folgendermaßen gegeben:
wobei ΔP = P_j – P₀ gilt. Die obige Einflussfunktion ist ausgewählt, um einen guten Kompromiss zwischen Rauschentfernungswirksamkeit und Bildqualität bereitzustellen. Bei einem Ausführungsbeispiel ist die bevorzugte charakteristische Skale in dem Fall als T ~ 32 ausgewählt, bei dem das Eingangsbild ein Dokumentenbild ist, das Text, Graphiken und natürliche Bilder umfasst.
Es sollte angemerkt werden, dass andere Einflussfunktionen verwendet werden könnten, um ein RAD-Bildfiltern durchzuführen. Spezifische Einflussfunktionen bestimmen den Grad von Glättung abhängig von dem Pixel von Interesse und seinem Umgebungstyp. So könnten unterschiedliche Funktionen abhängig von dem Typ von Eingangsbilddaten ausgewählt werden.
Die geglätteten Bilddaten werden selektiv unter Verwendung des variablen Kontrastdehnens, wie oben beschrieben ist, geschärft (13, 4). Insbesondere ist die Eingabe in das selektive Schärfungsfilter die Ausgabe des RAD-Filters (d. h. die selektiv geglätteten Bilddaten I'). Die selektiv geglätteten Bilddaten werden dann selektiv auf einer Pixel-nach-Pixel-Basis geschärft.
Zwei Parameter, T und R, die bei dem Verfahren zur Bildverarbeitung, wie in 4 gezeigt, verwendet werden, liefern eine wesentliche Kontrolle über die Menge an Glätten und Schärfen, die aus dem Verfahren erhalten werden, und beeinflussen so auch sowohl Bildqualität als auch -komprimierbarkeit. Diese Werte können empirisch ausgewählt werden, um die beste Komprimierbarkeit zu erhalten, während eine annehmbare Bildqualität beibehalten wird, die wiederum von dem Typ von Bild, das gerade verarbeitet wird, abhängt (d. h. natürlich, graphisch, Text oder Kombination dieser Bildtypen).
Mit zunehmendem R z. B. nimmt die Bildschärfung ab und das Komprimierungsverhältnis nimmt leicht zu, bis es einen maximalen Wert erreicht. So könnte R gesetzt sein, um die am stärksten erwünschte visuelle Schärfe und das annehmbarste Komprimierungsverhältnis zu erzielen. Ähnlich nimmt mit zunehmendem T auch das Komprimierungsverhältnis zu, jedoch auch ein Bildverschwimmen. So könnte T gesetzt sein, um die am stärksten erwünschte visuelle Glattheit mit dem annehmbarsten Komprimierungsverhältnis zu erhalten. Es hat sich herausgestellt, dass ein Setzen von T = 32 und R = 128 eine annehmbare visuelle Qualität und eine wesentlich erhöhte Komprimierbarkeit für Dokumentenbilder ergab, die Text umfassen, der gemäß dem Komprimierungsverfahren komprimiert wurde, wie in der WO-02/30104 mit dem Titel „Method Including Lossless Compression of Luminance Channel and Lossy Compression of Chrominance Channels" beschrieben ist.
Bei einem Ausführungsbeispiel können das selektive Glätten und das selektive Schärfen des Verfahrens aus 4 in einen einzelnen Reihen-Pixel-nach-Pixel-Vorgang kombiniert werden. Durch ein Kombinieren der Pixelverarbeitungsschritte eines selektiven Glättens und selektiven Schärfens wird die Rechenzeit durch ein Reduzieren der Anzahl von Malen reduziert, die auf Datenelemente (Intensitätswerte, Kontrastwerte, usw.) zugegriffen wird und die dieselben verarbeitet werden. 5 zeigt eine Technik zum Anwenden des in 4 gezeigten Verfahrens in einem einzelnen Reihenvorgang, bei dem Bilddaten auf einer Pixel-nach-Pixel-Basis geglättet und dann geschärft werden.
Auf ein digitales Bild I_in wird zugegriffen oder dasselbe wird empfangen (Block 102). Auf das digitale Bild könnte von einer digitalen Bilddatei zugegriffen werden, das digitale Bild könnte mit einer oder mehreren Linien zu einer Zeit empfangen und in Echtzeit verarbeitet werden, usw.
Für jedes Pixel von Interesse P0 (Block 104, 120, 122) aus digitalen Bilddaten I_in wird eine Umgebung von Pixeln bestimmt (Block 106), ein Einflussfunktionswert Ψ wird für jedes Pixel in Bezug auf jedes Pixel j in der Umgebung bestimmt (Block 108), ein Gewichtungswert C_j wird für jedes Pixel in der Umgebung bestimmt (Block 110) und die RAD-Filterfunktion (Gleichung 4) wird auf das Pixel von Interesse P₀ angewendet (Block 112), um ein geglättetes Pixel von Interesse P₀' zu erzeugen. Als nächstes wird die hohle Umgebung der Pixel bestimmt (Block 114), ein Dynamikbereich und Kontrastbereich der hohlen Umgebung werden bestimmt (Block 116) und die Kontrastdehnoperation g(P₀') wird auf das Pixel von Interesse P₀' angewendet (Block 118), um einen geglätteten und geschärften Pixelwert P₀'' zu erzeugen. Pixel, die an den Grenzen des digitalen Bildes liegen, weisen Teilumgebungen auf. Diese Grenzpixel könnten in Bezug auf ihre Teilumgebungen verarbeitet werden oder die Filterung könnte ignoriert werden und die Grenzpixel könnten ohne Modifizierung gespeichert werden. Nach einem Glätten und Schärfen jedes Pixels könnten die resultierenden Digitalbilddaten I_out komprimiert werden (Block 124). In dem Fall, in dem die Umgebungsgröße und -geometrie für jeden der Glättungs- und Schärfungsverarbeitungsschritte gleich ist, können der Schritt des Bestimmens der Umgebung für das n-te Pixel (Block 106) und der Schritt des Bestimmens der hohlen Umgebung für das n-te Pixel (Block 114) in einem einzelnen Schritt durch Block 106 durchgeführt werden.
6 zeigt ein alternatives Ausführungsbeispiel zum Anwenden des in 4 gezeigten Verfahrens auf ein digitales Bild, bei dem Bilddaten I geglättet werden, um geglättete Daten I' zu erzeugen, wobei dann die geglätteten Bilddaten I' geschärft werden, um verarbeitete Daten I'' zu erzeugen. Ein digitales Bild wird empfangen (Block 202) und für jedes Pixel von Interesse (Block 204, 214, 216) aus den Digitalbilddaten I wird eine Umgebung von Pixeln bestimmt (Block 206), ein Einflussfunktionswert Ψ wird für jedes Pixel in Bezug auf jedes Pixel j in der Umgebung bestimmt (Block 208), ein Gewichtungswert C_j wird für jedes Pixel in der Umgebung bestimmt (Block 210) und die RAD-Filterfunktion (Gleichung 4) wird auf das Pixel von Interesse P₀ angewendet (Block 212), um geglättete Digitalbilddaten I' zu erzeugen.
Für jedes geglättete Pixel von Interesse (Block 218, 226, 228) in den geglätteten Digitalbilddaten I' wird die hohle Umgebung von Pixeln bestimmt (Block 220), ein Dynamikbereich und ein Kontrastbereich der hohlen Umgebung werden bestimmt (Block 222) und die Kontrastdehnoperation g(P₀') wird auf das Pixel von Interesse P₀' angewendet (Block 224). Nachdem das Schärfungsfilter auf das Digitalbild angewendet wurde, könnte das geschärfte Bild komprimiert werden (Block 230).
Das System zum Durchführen des Verfahrens zur Bildverarbeitung, in den 1 und 4 gezeigt, könnte in Hardware, Software oder einer Kombination der beiden implementiert sein. Bei einem Ausführungsbeispiel könnte das System in zwei Stufen implementiert sein: einer ersten Stufe zum Durchführen des selektiven Glättens und einer zweiten Stufe zum Durchführen des selektiven Schärfens unter Verwendung der variablen Kontrastdehnung. 7 zeigt eine Implementierung eines Systems zum Durchführen des Verfahrens zur Bildverarbeitung gemäß den 1 und 4, einschließlich einer Selektivglättungsstufe 14, die mit einer Selektiv schärfungsstufe 15 gekoppelt ist. Eine Eingangsvorrichtung 16, wie z. B. ein Scanner oder eine Digitalkamera, liefert Bilddaten I an die Selektivglättungsstufe 14, die die Bilddaten verarbeitet und geglättete Daten I' an die Selektivschärfungsstufe 15 liefert, um die verarbeiteten Bilddaten I'' zu erzeugen. Bei diesem Ausführungsbeispiel könnten die Stufen 14 und 15 als Hardware, Software oder eine Kombination der beiden implementiert sein. Bei einem alternativen Ausführungsbeispiel sind die Stufen 14 und 15 durch ein Verarbeitungssystem, das einen Prozess und einen Speicher umfasst, implementiert. Bei dieser Implementierung verarbeitet der Prozessor die von einer Eingangsvorrichtung empfangenen Bilddaten durch ein Durchführen der Schritte, wie in 1 und 4 gezeigt ist, gemäß Programmierungsinstruktionen.
Es sollte angemerkt werden, dass, obwohl eine quadratförmige 3 × 3-Umgebung verwendet wird, wenn sowohl das selektive Bildglätten als auch das -schärfen durchgeführt werden, das System und das Verfahren zur Bildverarbeitung gemäß der vorliegenden Erfindung nicht auf eine derartige Umgebung eingeschränkt sind. Die Umgebung ist auf keine bestimmte Größe eingeschränkt. Die Anzahl von Pixeln ist nicht auf Neun begrenzt. Obwohl eine feste Anzahl von Pixeln in der Umgebung für alle Pixel von Interesse bevorzugt wird, könnte die Größe der Umgebung dynamisch verändert werden, um eine bestimmte Klasse von Bildregion (z. B. Text, Graphiken, natürliche Merkmale) unterzubringen.
Die Umgebung ist auf keine bestimmte Geometrie eingeschränkt, obwohl quadratische Fenster für Durchführungsregionen bevorzugt werden. Die Form der Umgebung könnte z. B. diamantförmig sein. Zusätzlich muss die Umgebung für sowohl die selektive Glättungsfilterungsoperation als auch die selektive Schärfungsoperation nicht die gleiche Größe besitzen.
Obwohl das Verfahren zur Bildverarbeitung in einer einzelnen Iteration/Anwendung des Verfahrens auf die Bilddaten eine annehmbare Verbesserung und erhöhte Komprimierbarkeit schaffen kann, sollte angemerkt werden, dass das Verfahren zur Bildverarbeitung in mehreren Iterationen an den Bilddaten durchgeführt werden kann.
Die Verfahren zur Bildverarbeitung, die in den 1 und 4 gezeigt sind, sind nicht auf Dokumente eingeschränkt, die sowohl Text als auch natürliche Bilder umfassen. Es ist jedoch besonders anpassungsfähig an eine Bildverbesserung und Komprimierbarkeit von Textbildern oder Kombinationen von Textbildern mit Graphiken und natürlichen Bildern.
Obwohl das Verfahren und das System zur Bildverarbeitung in Verbindung mit Grauskalawerten beschrieben wurden, sind dieselben nicht so eingeschränkt. Die Bildverarbeitungstechnik könnte auf Farbbilder, z. B. Bilder in einem RGB-Farbraum, angewendet werden. In diesem Fall wird das Farbbild in einen Farbraum des menschlichen Sichtsystems, wie z. B. einen YCbCr-Farbraum, umgewandelt. Das selektive Glätten und das selektive Schärfen werden dann nur auf den Leuchtdichtekanal (Y) angewendet und das resultierende Farbbild kann entweder in dem YCbCr-Farbraum oder in dem RGB-Farbraum komprimiert werden. Wenn dasselbe in dem YCbCr-Farbraum komprimiert wird, wird die Umwandlung von YCbCr zurück zu RGB vermieden.
In der vorangegangenen Beschreibung sind zahlreiche spezifische Details dargelegt, wie z. B. spezifische Parameterwerte oder Einflussfunktionen, um ein gründliches Verständnis der vorliegenden Erfindung zu liefern. Es ist jedoch für einen Fachmann auf diesem Gebiet ersichtlich, dass diese spezifischen Details nicht zur Praktizierung der vorliegenden Erfindung eingesetzt werden müssen. In anderen Fällen wurden bekannte Filterungsoperationen nicht detailliert beschrieben, um ein unnötiges Verschleiern der vorliegenden Erfindung zu vermeiden.
Zusätzlich ist, obwohl Elemente der vorliegenden Erfindung in Verbindung mit bestimmten Ausführungsbeispielen beschrieben wurden, zu erkennen, dass die Erfindung in einer Vielzahl anderer Weisen implementiert sein kann. Folglich wird angemerkt, dass die bestimmten darstellend gezeigten und beschriebenen Ausführungsbeispiele keinesfalls als Einschränkung aufgefasst werden sollen. Eine Bezugnahme auf die Details dieser Ausführungsbeispiele soll den Schutzbereich der Ansprüche, die selbst nur diejenigen Merkmale, die als wesentlich für die Erfindung erachtet werden, genannt haben, nicht einschränken.

Claims

Ein Verfahren zum Verarbeiten von Bilddaten, die Pixelintensitätswerte umfassen, wobei das Verfahren folgende Schritte aufweist: selektives Glätten (10, 12) der Bilddaten, um selektiv glattere Bilddaten zu erzeugen, wobei Flächen, die als Ränder charakterisiert sind, innerhalb der selektiv glatteren Bilddaten im Wesentlichen erhalten bleiben; Anwenden einer variablen Kontrastdehnfunktion (11, 13), um ein selektives Schärfen der selektiv geglätteten Bilddaten bereitzustellen, indem eine räumliche Skala von Graupegelübergängen um einen Pegel reduziert wird, der von der Größe der Übergänge abhängt.
Ein Verfahren gemäß Anspruch 1, bei dem das variable Kontrastdehnen gemäß der folgenden Funktion durchgeführt wird:
wobei g(Po') die punktweise Kontrastdehnfunktion darstellt, die bei jedem selektiv geglätteten Pixel von Interesse durchgeführt wird, Po' das geglättete Pixel von Interesse darstellt, M den maximalen Grauwert der Umgebung darstellt, m den minimalen Grauwert der Umgebung darstellt, D den lokalen Dynamikbereich der Umgebung darstellt, A die Mitte des Dynamikbereichs dar stellt und 2W den Kontrastbereich zwischen dem maximalen und dem minimalen Grauwert darstellt.
Ein Verfahren gemäß Anspruch 2, bei dem ein Pixelintensitätswert in Bezug auf eine Umgebung von Pixeln vor der variablen Kontrastdehnoperation gefiltert wird, um ein Rauschen zu reduzieren.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das Verfahren für jedes Pixel von Interesse folgende Schritte umfasst: Bestimmen einer Umgebung von Pixeln; Bestimmen eines Einflussfunktionswerts für jedes Pixel in Bezug auf das Mittelpixel der Umgebung; Bestimmen eines Gewichtungswerts für jedes Pixel in der Umgebung; und Filtern des Pixels von Interesse, um ein geglättetes Pixel von Interesse (Po') zu erzeugen.
Ein Verfahren gemäß Anspruch 4, das folgende Schritte umfasst: Bestimmen der hohlen Umgebung von Pixeln; Bestimmen eines Dynamikbereichs und eines Kontrastbereichs der hohlen Umgebung; und Anwenden der variablen Kontrastdehnfunktion auf das Pixel von Interesse, um einen geglätteten und geschärften Pixelwert (Po'') zu erzeugen.
Ein Verfahren gemäß Anspruch 3, 4 oder 5, bei dem die Umgebung von Pixeln (P1–P8) einer Umgebung vorgeglätteter Pixel um ein zu schärfendes Pixel (P0) herum und ausschließlich des zu schärfenden Pixels entspricht.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das variable Kontrastdehnen durch folgende Schritte durchgeführt wird: Abschneiden der Pixelintensitätswerte außerhalb eines variablen Bereichs; und Abbilden der Pixelintensitätswerte innerhalb des variablen Bereichs.
Ein Verfahren gemäß Anspruch 7, bei dem bei dem Abbildungsschritt die Menge, um die der Kontrast des Pixelintensitätswerts verändert wird, durch den Gradienten der Steigung eines Liniensegments innerhalb des variablen. Bereichs bestimmt wird, wobei die Steigung eine Funktion des Dynamikbereichs ist.
Ein Verfahren gemäß Anspruch 8, bei dem die Steigung gemäß der folgenden Gleichung bestimmt wird:
wobei D den lokalen Dynamikbereich der Umgebung darstellt und R einen einzelnen globalen Parameter darstellt, der der Dynamikskala zum Schärfen entspricht.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren in einer einzelnen Iteration durchgeführt wird.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem der Schritt des selektiven Glättens unter Verwendung eines robusten anisotropen Diffusions-(RAD-)Filterns durchgeführt wird.