-
Die
vorliegende Erfindung betrifft die Minimierung von Farbwechsel-Artefakten
in digitalen Farbbildern.
-
Eine
Art Rauschen, das in Farbbildern von Digitalkameras bei niedrigen
Frequenzen zu finden ist, tritt in Form farbintensiver Muster in
Bereichen von hoher Raumfrequenz auf, beispielsweise bei Tweedmustern
von Bekleidung. Diese als Farbmoirémuster oder einfach als Farbmoiré bezeichneten Muster
erzeugen große,
langsam wechselnde farbige Wellenmuster in ansonsten räumlich unruhigen Bereichen.
Farbmoirémuster
werden auch als Chrominanz-Aliasingmuster
oder einfach als Chrominanz-Aliasing oder Chrominanzverfremdung
bezeichnet.
-
Nach
dem Stand der Technik gibt es zahlreiche Möglichkeiten, um Farbmoirémuster
in Digitalbildern zu verringern. Darunter fallen zahlreiche Patente,
die Verfahren zur Verringerung des Farbmoirémusters unter Verwendung
von optischen Unschärfefiltern
in Digitalkameras beschreiben, um vor allem durch Aliasing induziertes
Farbmoiré zu
vermeiden. Diese Unschärfefilter
bewirken jedoch auch eine Unschärfe
wichtiger räumlicher
Details in dem Bild, die durch nachfolgende Bildverarbeitungsverfahren
nicht wiederherstellbar sind.
-
Einige
Ansätze
betreffen Digitalbild-Verarbeitungsverfahren zur Reduzierung oder
Beseitigung von Chrominanzrauschartefakten. Eine Klasse von Patenten
für Digitalkameras
(US-A-5,280,347)
beschreibt Verbesserungen der CFA-Interpolation (Color Filter Array/Farbfilteranordnung)
zur Reduzierung oder Beseitigung hochfrequenter Chrominanzrauschartefakte.
Eine weitere Klasse von Patenten (EP Patent 072927B1) beschreibt
die Verwendung unterschiedlicher Pixelformen (d.h. Rechtecke statt
Quadrate) und Anordnungen (beispielsweise ist jede Reihe um eine
halbe Pixelbreite zur vorausgehenden Reihe versetzt) mit begleitenden CFA-Interpolationsoperationen
zur Reduzierung oder Beseitigung von Chrominanzrauschartefakten.
Aber auch diese Techniken betreffen nur hochfrequentes Chrominanzrauschen
und sind im Allgemeinen gegenüber
niederfrequentem Farbmoiré unwirksam.
-
Ein
weiterer Weg wird in einem Artikel von Ching-Yu Yang J. et al mit
dem Titel: "Document image
segmentation and quality improvement by moiré pattern analysis" beschrieben, veröffentlicht
in SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS,
AMSTERDAM, NL, Band 15, Nr. 9, im Juli 2000 (2000-07), Seite 781–797, ISSN:
0923-5965, in dem eine Technik beschrieben wird, die eine Verbesserung
in der Frequenzdomäne
des Moirémusters
in bestimmten Bereichen von Graustufen oder Farbbildern betreffen, deren
Erkennung durch ein logisches Kammfilter und deren Unterdrückung in
der Raumdomäne
durch Neuabtastung und logische Filterung umfasst.
-
In
der freien Literatur wird eine bekannte Technik beschrieben, bei
der ein Digitalbild mit Chrominanzrauschartefakten in einen Luminanz-/Chrominanzraum
umgewandelt wird, beispielsweise CIELAB (CIE International Standard),
um dann die Chrominanzkanäle
unscharf zu machen und das Bild zurück in den Originalfarbraum
umzusetzen. Diese Operation gilt als Standardtechnik zur Bekämpfung von
Chrominanzrauschen. Ein. Nachteil dieses Ansatzes besteht darin,
dass während
des Unschärfeschritts
nicht zwischen Chrominanzrauschartefakten und eigentlichen Chrominanzszenendetails
unterschieden wird. Mit zunehmender Unschärfebildung beginnt daher ein
Farbbluten der eigentlich scharfen, farbigen Kanten des Bildes.
Normalerweise wird das Farbbluten inakzeptabel, bevor der Großteil des
niederfrequenten Farbmoirés
aus dem Bild beseitigt ist. Wenn das Bild einer nachfolgenden Bildverarbeitung unterzogen
wird, besteht die Möglichkeit,
dass das Farbbluten noch deutlicher erkennbar ist. Ein zweiter Nachteil
dieses Ansatzes besteht darin, dass nahezu immer ein kleiner, fester
Unschärfekern
erforderlich ist, um das Problem des Farbblutens in den Griff zu bekommen.
Um allerdings das niederfrequente chromatische Farbmoiré zu verarbeiten,
wären große Unschärfekerne
zur gewünschten
Rauschbeseitigung erforderlich.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, ein wirksames
Verfahren zur Minimierung von Farbwechsel- oder Aliasing-Artefakten
in digitalen Farbbildern bereitzustellen. Diese Aufgabe wird mit
einem Verfahren zum Minimieren von Farbwechsel-Artefakten eines
digitalen Farbbildes mit Farbpixeln mit den folgenden Schritten
gelöst:
- a) Bereitstellen von Luminanz- und Chrominanzsignalen
des digitalen Farbbildes;
- b) Einsetzen der Luminanz- und Chrominanzsignale zum Berechnen
von zu verarbeitenden benachbarten Pixeln, worin die benachbarten
Pixel keine Kanten bildenden Pixel aufweisen;
- c) Erzeugen von Chrominanzsignalen niedriger Frequenz in Abhängigkeit
von den Chrominanzsignalen;
- d) Verwenden der Chrominanzsignale niedriger Frequenz und der
berechneten benachbarten Pixel zum Erzeugen rauschbereinigter Chrominanzsignale;
- e) Auflasten (Upsampling) der rauschbereinigten Chrominanzsignale
zum Erzeugen aufgetasteter rauschbereinigter Chrominanzsignale;
und
- f) Verwenden der Luminanzsignale und der aufgetasteten rauschbereinigten
Chrominanzsignale zum Bereitstellen eines digitalen Farbbildes mit reduzierten
Farbwechsel-Artefakten.
-
Die
vorliegende Erfindung weist den Vorteil auf, dass Luminanz- und
Chrominanzsignale verwendet werden, die nicht nur Aliasing-Artefakte
reduzieren, sondern auch rauschbereinigte Chrominanzsignale produzieren.
-
Weitere
Vorteile sind u.a.:
Die Berechnungszeit wird aufgrund einer
geringeren Zahl von Berechnungen insgesamt deutlich reduziert.
-
Eine
hochwirksame Rauschbereinigung mit großen effektiven benachbarten
Bereichen lässt
sich durchführen,
ohne dass große
Teile des Bildes im Computerspeicher resident sein müssten.
-
Kantendetails
in dem Bild werden während der
Verarbeitung geschützt
und bleiben erhalten.
-
Die
Erfindung ist gegenüber
der ursprünglichen
Farbraumdarstellung des Bildes nicht empfindlich, d.h. sie arbeitet
gleichermaßen
gut im RGB-, CMY-, CMYG- oder in anderen Farbräumen, die zur Definition von
Bildern verwendet werden.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele näher erläutert.
-
Es
zeigen
-
1 ein
Blockdiagramm zur Darstellung eines bevorzugten Verfahrens gemäß der vorliegenden
Erfindung;
-
2 ein
Blockdiagramm zur detaillierten Darstellung von Block 14 aus 1;
-
3 ein
Blockdiagramm zur detaillierten Darstellung von Block 18 aus 1;
-
4a und 4b zwei
in Block 14 aus 1 verwendete niederfrequente
Kantenerkennungskerne; und
-
5 Richtungen,
wie anhand der Pfeile gezeigt, die herangezogen werden können, um
zu verarbeitende Nachbarschaften von Pixeln zu ermitteln, die in
Block 14 erzeugt und in Block 18 aus 1 verwendet
werden.
-
Block 10 in 1 zeigt
die Berechnung von Luminanzwerten aus digitalen Farbbilddaten, bei
denen es sich um RGB-Bilddaten handeln kann. Eine geeignete Umwandlung
wäre: L = (R + 2·G
+ B)/4
-
Block 12 zeigt
die Berechnungen der Chrominanzwerte aus RGB-Bilddaten. Eine geeignete Umwandlung
wäre: C1 = (–R + 2·G – B)/4 C2 = (–R + B)/2
-
Die
Berechnung der Luminanz- und Chrominanzwerte eines digitalen Farbbildes
ist Fachleuten bekannt und braucht an dieser Stelle nicht beschrieben
zu werden.
-
Block 14 zeigt
die Berechnung von zu verarbeitenden benachbarten Pixeln, worin
die benachbarten Pixel im Wesentlichen keine kantenbildenden Pixel
aufweisen. Diese Berechnung ermittelt Nachbarschaften von niedriger
Aktivität.
Sobald eine derartige Nachbarschaft für jede Pixellage in der 3× heruntergetasteten
Bildebene erzeugt worden ist, wird die Nachbarschaft von beiden
Chrominanzebenen verwendet. Eine typische Nachbarschaft wird durch ein
Mehrfaches von Nachbarschaften mit Richtungsaktivität dargestellt
(8 ist ein typischer Wert). Block 14 wird in 2 als
Folge von vier Schritten dargestellt.
-
Block 16 zeigt
die Berechnung von niederfrequenten Chrominanzen. Ein effektives
Verfahren besteht darin, jede Chrominanzdatenebene mit Quadraten
aus drei Pixeln an einer Seite zu tesselieren (auszulegen). Ein
3faches Downsampling jeder Chrominanzdatenebene wird dann durchgeführt, indem
die neun Pixel in jedem Quadrat durch ein einzelnes Pixel ersetzt
werden, dessen Wert ein gewichtetes Mittel der neun Chrominanzwerte
ist. Eine typische Wahl für
die Matrix an Gewichten ist:
-
-
In 1 zeigt
Block 18 die Produktion rauschbereinigter, niederfrequenter
Chrominanzsignale gemäß der vorliegenden
Erfindung. Für
jedes Pixel in jeder der niederfrequenten Chrominanzdatenebenen
werden die niederfrequenten Chrominanzwerte innerhalb der Nachbarschaft
von niedriger Aktivität
kombiniert, um einen rauschbereinigten niederfrequenten Chrominanzwert
zu erzeugen. Block 18 wird in 3 als Folge
von drei Schritten dargestellt.
-
Block 20 zeigt
das Herauftasten (Upsampling) rauschbereinigter Chrominanzwerte.
Jede rauschbereinigte niederfrequente Chrominanzdatenebene wird
mittels bilinearer Interpolation dreimal heraufgetastet. Diese rauschbereinigten
Chrominanzdatenebenen und die Luminanzdatenebene aus Block 10 haben
dieselben Abmessungen.
-
Block 22 (1)
zeigt die Umwandlung von luminanz- und rauschbereinigten Chrominanzen
in rauschbereinigte RGB-Bilddaten unter Verwendung der inversen
Werte der in Block 10 und 12 durchgeführten Transformationen: R = L – C1 – C2 G = L + C1 B = L – C1 + C2
-
2 zeigt
Block 14 detaillierter, worin Block 30 die Berechnung
der Aktivitätswerte
darstellt. In diesem Beispiel werden Kanteninformationen verwendet,
um eine berechnete Nachbarschaft aus Pixeln zu bilden. Für jedes
Pixel gibt es einen Aktivitätswert,
der von den nächsten
Luminanz- und Chrominanzwerten abhängt. Für jede der drei Datenebenen wird
ein horizontaler und vertikaler Aktivitätswert berechnet, indem die
gewichtete Datensumme herangezogen wird. Die horizontal und vertikal
gewichteten Kerne werden in 4a bzw. 4b gezeigt.
Die Absolutwerte der resultierenden sechs Werte werden addiert,
und das Ergebnis ist der Aktivitätswert
des aktuellen Pixels. Einschlägige
Fachleute werden erkennen, dass 4a und 4b niederfrequente Kantenerkennungskerne
sind, die in Block 30 zur Berechnung der Aktivitätswerte
herangezogen werden.
-
In 2 zeigt
Block 32 die Berechnung von Aktivitätsvektoren niedriger Frequenz.
Der Prozess beginnt damit, dass die Datenebene der Aktivitätswerte
mit Quadraten ausgelegt wird, die drei Pixel an einer Seite aufweisen.
Für jedes
3 × 3-Quadrat
wird ein Aktivitätsvektor
aus drei Komponenten erzeugt. Die erste Komponente ist der in der
Mitte des 3 × 3-Quadrats
gefundene Aktivitätswert.
Die zweite Komponente ist der zweitkleinste der neun in dem 3 × 3-Quadrat gefundenen
Aktivitätswerte.
Die dritte Komponente ist der zweitgrößte der neun in dem 3 × 3-Quadrat
gefundenen Aktivitätswerte.
Die drei Komponenten der niederfrequenten Aktivitätsvektoren können als
Trendzahlen betrachtet werden. Diese Trendzahlen werden in Block 34 verwendet,
um die Pixelnachbarschaft zu ermitteln. In diesem Beispiel besteht
eine gewünschte
Eigenschaft der benachbarten Pixel darin, dass sie von Kanten begrenzt sind.
Wie nachstehend erläutert
wird, sind auch andere Bildeigenschaften erfindungsgemäß verwendbar,
um eine Nachbarschaft aus Pixeln zu bilden. Insbesondere werden
die Trendzahlen verwendet, um die maximale Anzahl von Pixeln in
einer Vielzahl von Richtungen, ausgehend von dem Pixel von Interesse zu
definieren. Dies führt
zur Bestimmung der Nachbarschaft aus Pixeln, die die maximale Zahl
identifizierter Pixel einschließt.
-
Dies
ist in 5 dargestellt.
-
Block 34 zeigt
die Berechnung von Nachbarschaften aus niederfrequenten Richtungsaktivitäten. Das
gezeigte bevorzugte Ausführungsbeispiel
verwendet 8 Richtungen, wie in 5 gezeigt,
obwohl stattdessen selbstverständlich
eine andere Anzahl von Richtungen verwendet werden könnte. Für jedes gewählte Pixel
steht A0 für die erste Komponente von dessen
Aktivitätsvektor.
Aus dem gewählten
Pixel werden 8 Nachbarschaften aus niederfrequenten Richtungsaktivitäten wie
folgt erzeugt. Beginnend an dem gewählten Pixel und in einer bestimmten
Richtung fortschreitend, wird das nächste Pixel inspiziert, wobei
Alo und Ahi die
zweite bzw. dritte Komponente des Aktivitätsvektors bezeichnen. Wenn
beide absoluten Werte ABS(A0 – Alo) und ABS(A0 – Ahi) kleiner oder gleich einem vorbestimmten
Schwellenwert T sind (beispielsweise 60 für ein 12-Bit-Bild), wird dieses
Pixel als Mitglied der Nachbarschaft aus niederfrequenten Richtungsaktivitäten akzeptiert,
worauf der Prozess mit dem nächsten
Pixel in derselben Richtung fortfährt.
-
Wenn
einer der absoluten Werte den Wert T übersteigt, wird das Pixel zurückgewiesen,
und der Prozess für
diese Richtung stoppt. Der Prozess wird ebenfalls gestoppt, wenn
die Nachbarschaft eine vorbestimmte maximale Zahl von Mitgliedern
erreicht (z.B. 10 Pixel). Weil Nachbarschaften aus niederfrequenten
Richtungsaktivitäten
nicht das ursprünglich ausgewählte Pixel
enthalten, ist es möglich,
dass diese leer sind.
-
Block 36 in 2 zeigt
schließlich
die Berechnung von Nachbarschaften aus niederfrequenten Richtungsaktivitäten. Das
ausgewählte
Pixel zusammen mit allen Nachbarschaften aus niederfrequenten Richtungsaktivitäten umfasst
die Nachbarschaft des gewählten
Pixels mit niedriger Frequenz.
-
Block 14 ist
insbesondere geeignet, um zu gewährleisten,
dass die Nachbarschaft von Pixeln keine Kanten enthält. Die
Nachbarschaft aus Pixeln kann nicht nur auf den Ausschluss von Kanten
begründet
werden, sondern auch dazu dienen, nur wichtige Farben, wie Haut,
Himmel, Laubwerk und Gras einzuschließen. Außerdem kann die Nachbarschaft
aus Pixeln benutzt werden, um Schraffuren oder unschraffierte Bereiche
einzuschließen,
wie Kleidung, Haar und Mauerwerk oder Lichter und Schatten. Außerdem können besondere
Objekte von Interesse verwendet werden, wie menschliche Gesichter,
Fahrzeuge und Text.
-
Block 40 aus 3 zeigt
die Berechnung gewichteter Chrominanzwerte für die Nachbarschaften aus niederfrequenten
Richtungsaktivitäten.
Für jede Richtung
sind die Pixel in der entsprechenden Nachbarschaft aus Aktivitäten zu berücksichtigen.
Jedes Pixel hat einen niederfrequenten Chrominanzwert, der mit einem
Gewicht multipliziert wird, das anhand der Position des Pixels in
der Nachbarschaft ermittelt wird. Wenn Cjk der kte Chrominanzwert
in der jten Nachbarschaft aus Richtungsaktivitäten ist,
und wenn Wk das Gewicht ist, das der kten Position
entspricht, ist Cj der gewichtete mittlere Chrominanzwert für die jte Nachbarschaft aus Richtungsaktivitäten, wobei
dessen Wert wie folgt berechnet wird:
-
-
Eine
typische Wahl für
die Gewichte ist:
1, 1,..., 1, 0
-
Diese
Menge an Gewichten zeigt alle Punkte in der Nachbarschaft aus Richtungsaktivitäten, die ein
Gewicht von eins erhalten, ausgenommen das am weitesten entfernte
Pixel, das ein Gewicht von null erhält. Es sei darauf hingewiesen,
dass andere Gewichtszuweisungen möglich sind.
-
Block 42 in 3 zeigt
die Filtration gewichteter Chrominanzwerte. Für jede Chrominanzdatenebene
werden die gewichteten Chrominanzwerte aus Block 42 nach
Größe sortiert.
Die größten und
kleinsten Werte werden verworfen, die übrigen Chrominanzwerte werden
zusammen mit den Summen ihrer Gewichte an Block 44 übergeben.
Wenn weniger als drei nicht leere Richtungsnachbarschaften vorhanden
sind, übergibt
der Filtrationsprozess gar keine gefilterten Chrominanzwerte. Der
Filtrationsprozess wird für
jede Chrominanzdatenebene separat durchgeführt.
-
Abschließend zeigt
Block 44 in 3 die Kombination aus Pixelchrominanzen
mit den gefilterten Chrominanzwerten aus Block 42. Die
gefilterten Chrominanzwerte werden nach ihrer individuellen Summe
an Gewichten gewichtet und mit den Chrominanzwerten der ausgewählten Pixel
mit einem Gewicht von eins kombiniert. Das Ergebnis ist ein rauschberei nigter
niederfrequenter Chrominanzwert für das gewählte Pixel. Der Prozess wird
für beide Chrominanzdatenebenen
getrennt durchgeführt. Wenn
keine gefilterten Chrominanzwerte aus Block 42 übergeben
werden, erfolgt keine Änderung
an den Chrominanzwerten an dem ausgewählten Pixel.
-
Selbstverständlich werden
Fachleute erkennen, dass die vorliegende Erfindung als Teil einer
digitalen Bildverarbeitungskette verwendbar ist und dass sie in
Reihe mit anderen Bildverarbeitungsschritten angeordnet werden kann.
