DE10346348A1

DE10346348A1 - Verfahren und Vorrichtung zur Farbkorrektur von Bildern

Info

Publication number: DE10346348A1
Application number: DE2003146348
Authority: DE
Inventors: Marc Ebner
Original assignee: Individual
Current assignee: Ebner Marc Dr 72639 Neuffen De
Priority date: 2003-10-06
Filing date: 2003-10-06
Publication date: 2005-05-19
Anticipated expiration: 2023-10-07
Also published as: DE10346348B4

Abstract

Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten. Dazu werden folgende Schritte ausgeführt: Ermitteln mindestens der ursprünglichen Farbe von jeweils mehreren zu untersuchenden Bildpunkten des ursprünglichen Bildes, Mitteln der ermittelten Farbe von benachbarten Bildpunkten zu jedem untersuchten Bildpunkt, Hinzufügen der ursprünglichen Farbe jedes Bildpunktes zu der gemittelten Farbe von benachbarten Bildpunkten, um die durchschnittliche Farbe mindestens dieses Bildpunktes zu erhalten, und Korrigieren der Farbe eines untersuchten Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der erhaltenen durchschnittlichen Farbe des Bildpunktes. Die Erfindung wird bevorzugt in CCD-Einrichtungen, Digitalkameras, Flachbildschirmen, Flachbildfernsehgeräten und/oder TFT-Displays eingesetzt.

Description

Die Erfindung betrifft insbesondere ein Verfahren und eine Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten.
Das visuelle System des Menschen ist in der Lage, die Farbe eines Gegenstands unabhängig von der Lichtquelle, die es beleuchtet, zu bestimmen. Wird ein Raum mit gelblichem Licht beleuchtet, so können wir dennoch sagen, welche Farbe die Gegenstände im Raum haben. Ist die Wand des Raums weiß und das Licht gelblich, dann wird mehr Licht im rötlichen und grünlichen Spektrum als im blauen Spektrum reflektiert. Trotzdem erscheint die Wand für uns weiß. Wenn wir aber die Wand fotographieren, dann ist die Wand auf dem Foto gelblich. Die Wand erscheint in diesem Fall gelblich, weil die Kamera das von der Wand reflektierte Licht mißt. Das von der Wand reflektierte Licht einer bestimmten Wellenlänge ist proportional zu der Reflektanz des Gegenstands und zur Intensität des Lichts für diese Wellenlänge. Die Reflektanz definiert für jeden Objektpunkt, den Prozentsatz des eingestrahlten Lichts, der von der Oberfläche reflektiert wird. Das visuelle System des Menschen kann, sofern die betrachtete Szene ausreichend komplex ist, den Einfluß der Lichtquelle eliminieren und Deskriptoren berechnen, die konstant sind, unabhängig von der Art der Lichtquelle. Diese Fähigkeit wird als Farbkonstanz bezeichnet. In anderen Worten, das visuelle System des Menschen ist in der Lage, die Reflektanz, d.h. die Farbe des Gegenstands, zu berechnen. Die Farbe, die vom Menschen wahrgenommen wird, bleibt konstant, unabhängig von der Lichtquelle, die zur Beleuchtung der Szene verwendet wird.

Land, einer der bekanntesten Wissenschaftler auf dem Gebiet der Farbkonstanz, hat die sog. Retinex Theorie entwickelt (Land 1974, Land 1986). Andere Wissenschaftler haben die Arbeiten von Land ergänzt und Varianten der Retinex Theorie vorgeschlagen (Brainard & Wandell 1992, Brill & West 1981, Funt & Drew 1988, Horn 1974, Horn 1986, Rahman et al., 1999). Weitere Algorithmen für Farbkonstanz sind sog. Gamut-Constraint Methoden (Barnard et al. 1997, Forsyth 1988, Forsyth 1992), Perspektivische Farbkonstanz (Finlayson 1996), Farbe durch Korrelation (Barnard et al. 2000, Finlayson et al. 1997), die Annahme, daß die Welt im Mittel grau ist (Buchsbaum 1980, Gershon et al. 1987), Bestimmung von Koeffizienten von Basis-Funktionen (Funt et al. 1991, Ho et al. 1992, Maloney & Wandell 1986), Helligkeitsadaption in Verbindung mit Augenbewegungen (D'Zmura & Lennie 1992), Neuronale Netzwerke (Courtney et al. 1995, Dufort & Lumsden 1991, Funt et al. 1996, Herault 1996, Moore et al. 1991, Novak & Shafer 1992), Minimierung einer Energiefunktion (Usui & Nakauchi 1997), Umfassende Farbnormierung (Finlayson et al. 1998), Komitee-basierte Methoden, die die Berechnungen mehrerer Algorithmen zur Farbkonstanz zusammenfassen (Cardei & Funt: 1999) oder die Verwendung von genetischer Programmierung (Ebner 2000). Von Digital Arts GmbH, Köln wird eine Software zur Farbkorrektur von Bildern vertrieben (Xe847). Risson (Risson 2003) beschreibt ein Verfahren zur Berechnung der Farbe der Lichtquelle, die eine Szene beleuchtet, durch Segmentierung des Bildes und anschließender Filterung von Regionen, die mit dem angenommenen Farbmodell nicht in Einklang stehen.

Der Offenbargungsgehalt der genannten Druckschriften bzw. Veröffentlichungen ist hiermit in den Offenbarungsgehalt dieser Beschreibung einbezogen.

Es ist die Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren, eine verbesserte Vorrichtung, ein verbessertes System, ein verbessertes Computerprogrammen mit einer Programmcode Einrichtung, ein verbessertes Computerprogrammenprodukt, ein verbessertes Datenverarbeitungssystem und/oder entsprechende Verwendungen, Einrichtungen, wie einen CCD-Chip, eine Digitalkamera, einen Flachbildschirm, ein Flachbildfernsehgerät, ein TFT-Display usw. zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren oder gar naturgetreuen Farbe des Objekts zu erhalten, bereitzustellen.

Diese Aufgabe wird mit den Merkmalen der entsprechenden Ansprüche gelöst.

Die Erfindung betrifft insbesondere ein Verfahren und eine entsprechende Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren Farbe des Objekts zu erhalten, insbesondere mit den folgenden Schritten:
Ermitteln mindestens der ursprünglichen Farbe von jeweils mehreren zu untersuchenden Bildpunkten des ursprünglichen Bildes,
Mitteln der ermittelten Farbe von benachbarten Bildpunkten zu jedem untersuchten Bildpunkt,
Hinzufügen der ermittelten urprünglichen Farbe jedes Bildpunktes zu der gemittelten Farbe von benachbarten Bildpunkten, um die durchschnittliche Farbe mindestens dieses Bildpunktes zu erhalten, und
Korrigieren der Farbe eines untersuchten Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der erhaltenen durchschnittlichen Farbe des Bildpunktes.

Vorzugsweise wird dann im wesentlichen die senkrecht auf dem Grauvektor stehende Komponente der durchschnittlichen Farbe eines Bildpunktes von der ursprünglichen Farbe des Bildpunktes subtrahiert, um die Farbe des Bildpunktes zu korrigieren.

Weiter bevorzugt erfolgt das Korrigieren der Farbe eines Bildpunktes im wesentlichen durch die folgenden Schritte:
Skalieren der ursprünglichen Farbe eines Bildpunktes und der durchschnittlichen Farbe eines Bildpunktes auf die Ebene r + g + b = 1 des RGB-Farbraumes,
Subtrahieren der Komponente der durchschnittlichen Farbe eines Bildpunktes, die senkrecht auf dem Grauvektor steht, von der ursprünglichen Farbe des Bildpunktes zum Erhalten der korrigierten Farbe des Bildpunktes und
Skalieren der korrigierten Farbe eines Bildpunktes auf die Länge der ursprünglichen Farbe des Bildpunktes.

Weiter bevorzugt wird erfindungsgemäß ein Gitter aus Prozessorelementen bereitgestellt, besonders bevorzugt für jeden Bildpunkt ein Prozessorelement. Dabei ist jedes Prozessorelement derart ausgebildet, dass es die Farbe des dazugehörigen Bildpunktes speichern kann und auf den Speicherinhalt der benachbarten vier Prozessorelemente zugreifen kann. Es ist auch ein alternativer oder zusätzlicher Zugriff auf die schräg benachbarten Prozessorelemente möglich.

Es ist ebenfalls eine Unterkombination der genannten Merkmale oder Schritte der Erfindung zur Verwirklichung der Farbkorrektur möglich.

Der Gegenstand der Erfindung betrifft vorzugsweise ein paralleles Verfahren zur Lösung des Problems der Farbkonstanz. Das Verfahren berechnet die durchschnittliche lokale Farbe mit Hilfe eines Gitters aus einfachen Prozessorelementen. Die durchschnittliche lokale Farbe muß nicht unbedingt der globalen durchschnittlichen Farbe entsprechen. Verfahren, die auf der Berechnung der globalen durchschnittlichen Farbe basieren, gehen davon aus, daß die Szene mit einer einzigen Lichtquelle beleuchtet wird, und die Beleuchtung gleichmäßig über die Szene verteilt ist. Im Gegensatz hierzu, wird nicht von einer homogenen Beleuchtung ausgegangen. Stattdessen wird die durchschnittliche lokale Farbe für jeden Bildpunkt berechnet. Diese durchschnittliche lokale Farbe wird zur Berechnung der ursprünglichen Farben der Gegenstände bzw. Objekte berechnet. Der Gegenstand der Erfindung kann auf alle Bilder angewandt werden, die in elektronischer Form vorliegen. Bilder (z.B. Abzüge) können ebenfalls verarbeitet werden, wenn sie zuvor digitalisiert werden.

Die meisten Verfahren zur Farbkonstanz gehen davon aus, daß das zu verarbeitende Bild im Speicher (RAM) abgelegt ist, und eine CPU existiert, auf dem das Verfahren ausgeführt wird. Das hier beschriebene Verfahren kommt dagegen ohne eine CPU aus. Es kann vollständig aus einfachen Komponenten aufgebaut werden. Die erste Ausführungsform der Erfindung kommt mit Elementen aus, die eine Addition bzw. Multiplikation realisieren. Die zweite Ausführungsform benötigt noch zusätzlich ein Divisions-Element. Da das Verfahren mit wenigen Elementen auskommt, besteht die Möglichkeit, es direkt in den CCD-Chip zu integrieren, der beispielsweise bei Digital-Kameras die Bilder aufnimmt. Die Erfindung kann auch in einem Flachbildschirm, einem Flachbildfernsehgerät oder einem TFT-Display eingesetzt werden. Ein weiterer wesentlicher Vorteil des hier beschriebenen Verfahrens ist, daß es auch bei mehreren Lichtquellen eingesetzt werden kann, die für eine nicht-uniforme Beleuchtung der betrachteten Szene sorgen. Andere Verfahren gehen in der Regel von nur einer Lichtquelle und uniformer Beleuchtung aus. Nachfolgend werden weitere Vorteile bzw. Ausführungsformen der Erfindung diskutiert. Diese Ausführungsformen verarbeiten auch eine nicht-uniforme Beleuchtung und die Datenverarbeitung erfolgt ebenfalls parallel.

Das Verfahren von Horn (Horn 1974, Horn 1986) verarbeitet ebenfalls die einzelnen Farbkanäle getrennt. Es besteht aus einer Kette von Verarbeitungsschritten. Als erstes wird der Logarithmus der Intensität berechnet. Danach wird der Laplace-Operator angewandt. Als nächstes werden mit einem Schwellwert-Verfahren Diskontinuitäten detektiert. Die Ausgabe nach Anwendung des Schwellwerts wird integriert und schließlich wird durch Exponentiation die Anwendung des Logarithmus rückgängig gemacht. Zum Schluß werden die Farbkanäle noch auf den Bereich [0,1] normiert. Im Vergleich zu dem von Horn beschriebenen Verfahren ist das erfindungsgemäße Verfahren bzw. eine entsprechende bevorzugte Ausführungsform wesentlich einfacher. Es sind weniger Verarbeitungsschritte erforderlich. Außerdem muß kein Schwellwert definiert werden. Die Wahl eines geeigneten Schwellwerts des von Horn beschriebenen Verfahrens ist in der Praxis nicht einfach.

Land (Land 1986) beschreibt ein Verfahren, das mit verteilten Rezeptoren die durchschnittliche Helligkeit berechnet. Für jeden einzelnen Bildpunkt werden Rezeptoren benötigt, die nicht-uniform verteilt sind. Die Dichte der Rezeptoren fällt mit 1/r², wobei r die Entfernung von jedem Bildpunkt darstellt, ab. Die Ausgabe wird durch Anwendung des Logarithmus auf das Verhältnis zwischen der Farbe des Pixels und der durchschnittlichen Helligkeit um den Bildpunkt berechnet. Moore et al. (Moore et al. 1991) haben eine Variante dieses Verfahrens in Hardware realisiert. Die durchschnittliche Helligkeit wird mit Hilfe eines Gitters aus Widerständen berechnet. Moore et al. haben bei der Hardware-Implementierung auf die Anwendung des Logarithmus verzichtet. Sie subtrahieren die durchschnittliche Helligkeit von der Helligkeit des Pixels. Anschließend führen Sie einen Normalisierungsschritt über alle Farbkanäle durch. Zusätzlich haben Moore et al. das Verfahren noch erweitert. Bei dieser Erweiterung wird eine Kantendetektion durchgeführt. Die detektierten Kannten werden geglättet und das Signal dazu verwendet, um die durchschnittliche Helligkeit vor der Subtraktion zu modulieren. Mit dieser Erweiterung soll die Farbinduktion entlang von Kanten reduziert werden.

Rahman et al. (Rahman et al. 1999) haben das Verfahren verallgemeinert. Sie berechnen die durchschnittliche Helligkeit des Bildes durch Faltung des Eingabebildes mit einer oder mehrerer Gaußfunktionen von unterschiedlicher Ausdehnung. Im Gegensatz zum Verfahren von Moore et al. wird der Logarithmus auf das Ergebnis der Faltung angewendet und nicht schon vorher. Außerdem wird durch ein Gitter aus Widerständen das Eingabebild nicht mit einer Gaußfunktion gefaltet. Bei der Verwendung eines Widerstandsgitters fällt die Funktion exponentiell mit dem Abstand vom Bildpunkt ab. Rahman et al. verwenden also mehrere Gaußfunktionen unterschiedlicher Ausdehnung für die Farbkorrektur. Um das Ausgabebild zu berechnen, werden die einzelnen Korrekturen gemittelt. Alternativ kann auch eine oder mehrere der Korrekturen durch stärkere Gewichtung besonders hervorgehoben werden. Am Ende der Verarbeitungskette kann jeder Farbkanal noch mit dem Faktor ln((BI_i/x,y))/∑_iI_i(x,y)) skaliert werden, wobei 8 eine Konstante ist und I_i(x,y) die Intensität am Punkt (x,y) für den Farbkanal i angibt.

Nach der Verarbeitung der Bildinformation muß bei den Verfahren von Horn (Horn 1974, Horn 1986), Land (Land 1986), Moore et al. (Moore et al. 1991) und Rahman et al. (Rahman et al. 1999) ein Normalisierungsschritt folgen, der die Ausgabedaten auf den gewünschten Ausgabebereich z.B. [0,1] oder [0,255] linear transformiert. Hierfür wird das Maximum und das Minimum über alle Pixel eines Farbkanals oder wie beim Verfahren von Moore et al. über mehrere Farbkanäle bestimmt. Die vorliegende Erfindung bzw. eine entsprechende beforzugte Ausführungsform benötigt keinen solchen Normalisierungsschritt, der nochmals die Ausgabedaten über alle Bildpunkte betrachtet. Statt desssen werden die Ausgabedaten lediglich auf den Bereich zwischen [0,1] bzw. [0,255] begrenzt. Kleinere oder größere Werte werden bevorzugt einfach abgeschnitten.

Die von Horn (Horn 1974, Horn 1986), Land (Land 1986), Moore et al. (Moore et al. 1991) und Rahman et al. (Rahman et al. 1999) beschriebenen Verfahren entsprechen nicht der menschlichen Farbwahrnehmung. Helson (Helson 1938) untersuchte die Farbwahrnehmung eines grauen Stimulus vor einem ebenfalls grauen Hintergrund beleuchtet mit einer farbigen Lichtquelle. Hat der Stimulus eine größere Reflektanz als der Hintergrund, so erscheint er für einen menschlichen Betrachter die Farbe der Lichtquelle zu haben. Falls Stimulus und Hintergrund die gleiche Reflektanz aufweisen, erscheint der Stimulus achromatisch. Hat der Stimulus eine kleinere Reflektanz als der Hintergrund, so scheint der Stimulus die komplementäre Farbe der Lichtquelle zu haben. Die Verfahren von Horn (Horn 1974, Horn 1986), Land (Land 1986), Rahman et al. (Rahman et al. 1999) und Moore et al. (Moore et al. 1991) zeigen nicht dieses Verhalten. Die sog. Xe847 Technologie (Xe847) zeigt ebenfalls nicht dieses Verhalten.

Die Berechnung der durchschnittlichen lokalen Farbe mit Hilfe eines Gitters aus Prozessorelementen wird von Ebner (Ebner 2002, 2002b) ausführlich beschrieben. Im Gegensatz zu der Erfindung wird in (Ebner 2002, 2002b) die Intensität für jeden Farbkanal durch die durchschnittliche Intensität dividiert. Diese Art der Farbkorrektur entspricht nicht der menschlichen Wahrnehmung. Ebner (Ebner 2003) subtrahiert die durchschnittliche Farbe an jedem Bildpunkt von der Farbe des Punktes für jeden Farbkanal. Anschließend folgt eine Skalierung. Dieses Verfahren entspricht ebenfalls nicht der menschlichen Wahrnehmung, wenn man das Verhalten anhand der Experimente von Helson überprüft.

Die vorliegende Erfindung berechnet die korrigierte Farbe in einem Farbwürfel. Der Farbwürfel wird als Euklidischer Raum aufgefaßt. Die Farbkorrektur wird durch Verschiebung der Farbe in Richtung des Grauvektors vorgenommen. Das erste der hier beschriebenen Verfahren zeigt in diesem Fall in vorteilhafter Weise das gleiche Verhalten wie die menschliche Wahrnehmung im Bezug auf die Experimente von Helson. Im folgenden wird das Verfahren detailliert beschrieben.

Die Erfindung bzw. bevorzugte Ausführungsformen werden nachfolgend anhand der beiliegenden Figuren beispielhaft beschriebenen. Es zeigen:
1 den RGB Farbraum, der durch die drei Farbvektoren Rot, Grün und Blau aufgespannt wird. Der Grauvektor verläuft durch das Innere des Würfels von Schwarz nach Weiß.
2a eine Darstellung einer Prozessorelement-Matrix, wobei jedes Prozessorelement auf die Information Zugriff hat, die in benachbarten Prozessorelementen gespeichert ist.
2b eine Matrix aus Prozessorelementen, wobei für jedes Pixel ein Prozessorelement bereitgestellt ist.
3 die Projektion der durchschnittlichen lokalen Farbe a auf den Grauvektor w. Die Projektion wird von der durchschnittlichen lokalen Farbe a abgezogen. Es wird ein Vektor a_⊥ erhalten, der orthogonal auf dem Grauvektor w steht. Dieser Vektor wird von der ursprünglichen Farbe c subtrahiert, um eine realistischere Farbe bzw. die tatsächliche Farbe des Bildpunktes zu erhalten.
4 die Realisation eines Verfahrens zur Farbkonstanz. Die Realisation besteht aus drei Schichten. Eingabedaten werden in der ersten Schicht zur Verfügung gestellt. In der zweiten Schicht wird die durchschnittliche lokale Farbe berechnet. Die korrigierte Farbwerte werden in der dritten Schicht berechnet. Die Buchstaben 'R', 'G' und '8' bezeichnen jeweils die rote, die grüne und die blaue Komponente der Farben eines Prozessorelements. Der Buchstabe 'I' bezeichnet den durchschnittlichen Wert aller drei Komponenten, Rot, Grün und Blau einer Farbe eines Prozessorelements, d. h. I = (R + G + B)/3.
5 die Projektion der Vektoren c und a auf die Ebene, die durch r + g + b = 1 definiert ist. Die normalisierten Vektoren seien ĉ und â. Anschließend wird der Vektor â auf den Grauvektor w projiziert. Dieser Vektor wiederum wird von der normalisierten durchschnittlichen lokalen Farbe â abgezogen. Es wird der Vektor a_⊥ erhalten, die Komponente der normalisierten durchschnittlichen lokalen Farbe, die senkrecht auf den Grauvektor w steht. Dieser Vektor wird anschließend von der normalisierten ursprünglichen Farbe ĉ subtrahiert. Zum Schluss wird der Vektor auf die Länge des Vektors der ursprünglichen Farbe skaliert. Dies ist die korrigierte Farbe.
6 die Realisation eines Verfahrens zur Farbkonstanz, bei dem die Farben zunächst normalisierten werden, bevor die korrigierten Farben berechnet werden. Nach der Farbkorrektur wird die Farbe auf die Intensität der ursprünglichen Farbe skaliert.
Den RGB Farbraum kann man sich als Würfel vorstellen (Gonzalez & Woods 1992, Hanbury and Serra 2003), vgl. 1. Es sei r = [1,0,0]^T, g = [0,1,0]^T und b = [0,0,1]^T drei Farbvektoren Rot, Grün und Blau, die den Würfel aufspannen. Die Komponenten einer Farbe seien auf den Bereich [0,1] beschränkt. Es wird davon ausgegangen, daß alle möglichen Farben in dem Einheitswürfel enthalten sind. Die acht Ecken des Würfels können mit den Farben Schwarz, Rot, Grün, Blau, Magenta, Cyan, Gelb und Weiß bezeichnet werden. Der Grauvektor verläuft in diesem Würfel von [0,0,0]^T bis [1,1,1]^T, also von Schwarz nach Weiß.
Das erfindungsgemäße Verfahren wird vorzugsweise mit Hilfe eines Gitters aus Prozessorelementen realisiert. Jedes Prozessorelement kann auf die Farbe eines Bildpunktes zugreifen. Außerdem kann es auf die Daten, die in den vier benachbarten Prozessorelementen gespeichert sind, zugreifen (2a, 2b), d.h., es existiert ein Prozessorelement je Bildpunkt. Das Verfahren berechnet die durchschnittliche lokale Farbe, um damit die tatsächliche Farbe des zu einem Bildpunkt gehörenden Objektpunktes zu berechnen. Die durchschnittliche lokale Farbe wird iterativ berechnet. Die bisher ermittelte durchschnittliche lokale Farbe benachbarter Prozessorelemente wird zunächst gemittelt. Es sei a_i(x,y) mit i ∊ {r, g, b} der bisher berechnete durchschnittliche Farbwert für den Farbkanal i an der Position (x,y) im Bild. Es sei c_i(x,y) die Intensität des Farbkanals i an der Position (x,y) im Bild, d.h. c(x,y) = [c_r(x,y),c_g(x,y),c_b(x,y)] ist der gemessene Farbwert an der Position (x,y). Ferner sei p ein kleiner Wert größer Null. Die folgenden Schritte werden vorzugsweise in ausreichender Zahl, weiter bevorzugt quasi endlos (permanente Verarbeitung solange die entsprechende Vorrichtung im Betrieb ist), wiederholt:

1.) a'i(x,y) = (ai(x – 1,y) + ai(x + 1,y) + ai(x,y + 1) + ai(x,y + 1))/4.0
2.) ai(x,y) = ci(x,y)·p + a'i(x,y)·(1 – p)

Der erste Schritt mittelt vorzugsweise die berechneten Werte der vier benachbarten Prozessorelemente, d.h. die Werte des linken, des rechten, des oberen und des unteren Nachbarn werden gemittelt. Im zweiten Schritt wird bevorzugt die gemessene Farbe des Bildpunktes c_i(x,y) zu dem berechneten Wert der durchschnittlichen lokalen Farbe vorzugsweise langsam (da p einen kleinen Wert hat) hinzugefügt. Wird oft genug iteriert, so wird die durchschnittliche lokale Farbe für jeden Bildpunkt erhalten. Die durchschnittliche lokale Farbe kann mit Hilfe eines Gitters aus Widerständen berechnet werden (Horn 1986, Moore et al. 1991). Dies entspricht der Faltung des Bildes mit der Funktion
d.h.
mit der Randbedingung
Alternativ kann auch das Bild z.B. mit der Grauß-Funktion
gefaltet werden. Da die Intensitäten der Farbkanäle gemittelt werden, ist es unbedingt erforderlich, daß diese in linearer Form vorliegen. Falls notwendig, müssen die Eingabedaten mit einer Gamma-Korrektur linearisiert werden.
Nach der sog. Graue-Welt Hypothese ist die Welt im Mittel Grau, d.h., wenn die durchschnittliche lokale Farbe eines jeden Bildpunktes von Grau abweicht, dann muß sie korrigiert werden.
Die durchschnittliche lokale Farbe wird bevorzugt verwendet, um den Farbvektor, der die gemessene Farbe an einem Bildpunkt beschreibt, in Richtung des Grauvektors zu verschieben. Der Abstand zwischen der durchschnittlichen lokalen Farbe und dem Grauvektor gibt an, wie stark die durchschnittliche lokale Farbe von der Annahme, daß im Mittel die Welt Grau ist, abweicht. Es sei
der normalisierte Grauvektor. Ferner sei a = [c_r, c_g, c_b]^T die gemessene Farbe an einem Bildpunkt. Es sei a = [a_r, a_g, a_b]^T die durchschnittliche lokale Farbe. Zunächst wird die Komponente der durchschnittlichen lokalen Farbe berechnet, die parallel zum Grauvektor verläuft. Hierzu wird die durchschnittliche lokale Farbe auf den Grauvektor projiziert. Der resultierende Vektor wird von der durchschnittlichen lokalen Farbe abgezogen. Es wird dann ein Vektor erhalten, der orthogonal zum Grauvektor verläuft. Dieser Vektor weist vom Grauvektor in Richtung der durchschnittlichen lokalen Farbe. Die Länge dieses Vektors ist gleich der Entfernung zwischen der durchschnittlichen lokalen Farbe und dem Grauvektor. a⊥ = a – (a·w)w
Dieser Vektor, der senkrecht auf dem Grauvektor steht, wird nun von der gemessenen Farbe eines Bildpunktes subtrahiert. Dies verschiebt den Farbraum in Richtung des Grauvektors und macht den Einfluß einer oder mehrerer farbigen Lichtquellen rückgängig. Der korrigierte Farbwert wird also wie folgt berechnet. o = c – a⊥
Dies kann auch als
mit i ∊ {r, g, b} schreiben. Es wird dann definiert
Dann erhält man oi = ci – ai + ā
Falls o_i < 0, wird o_i = 0 gesetzt. Falls o_i > 1, wird o_i = 1 gesetzt. Die Farbkanäle werden also auf den Bereich [0,1] begrenzt. Alternativ kann man davon ausgehen, daß alle Variablen nur Werte zwischen 0 und 1 annehmen können. Falls notwendig, kann jeder Farbkanal noch mit 255 multipliziert werden, um die Farbkanäle auf den Bereich [0,255] zu bringen. Das gesamte Verfahren ist graphisch in 3 für zwei Vektoren c und a dargestellt.
Aufgrund der Einfachheit der erforderlichen Berechnungen, kann das Verfahren leicht in Hardware realisiert werden. Koosh (Koosh 2001) beschreibt detailliert, wie analoge Berechnungen unter Verwendung von Transistoren in VLSI realisiert werden können. Der Vorteil des hier beschriebenen Verfahrens ist, daß nur lokale Verbindungen und keine globalen Verbindungen notwendig sind. Daher ist das Verfahren auch für beliebige Bildgrößen anwendbar.
Eine mögliche Realisierung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist in 4 dargestellt. Diese Realisierung besteht aus drei Schichten von Prozessorelementen. Die oberste Schicht ist die Eingabeschicht. Die durchschnittliche lokale Farbe wird in der darunterliegenden Schicht berechnet. Die Ausgabedaten werden in der dritten Schicht berechnet.
Anstatt die Komponente der durchschnittlichen lokalen Farbe, die senkrecht auf dem Grauvektor steht, von der gemessenen Farbe abzuziehen, können vorzugsweise auch beide Vektoren normalisiert werden, bevor die Subtraktion durchgeführt wird. Es seien â und ĉ die normalisierten Vektoren der durchschnittlichen lokalen Farbe und der gemessenen Farbe.
Es wird also die durchschnittliche lokale Farbe und die gemessene Farbe auf die HSI Ebene projiziert, die durch r + g + b = 1 definiert ist (Gonzalez & Woods 1992, Jain et al. 1995). Wir berechnen nun wie zuvor die Komponente der durchschnittlichen lokalen Farbe â parallel zum Grauvektor w.
Diese Komponente subtrahieren wir dann von dem normalisierten Farbvektor ĉ. Als Ergebnis erhalten wir einen korrigierten, normalisierten Farbwert ô ô = ĉ – â⊥
Dies kann auch als
mit i ∊ {r, g, b} geschrieben werden. Dieser korrigierte und normalisierte Farbwert wird anschließend auf die ursprüngliche Helligkeit des gemessenen Farbwerts skaliert.
Die berechnete Ausgabe wird wie oben auf den Bereich [0,1] begrenzt. Diese Berechnungen sind graphisch in 5 für zwei Vektoren c und a dargestellt. Eine mögliche Ausführungsform dieses Verfahrens ist in 6 dargestellt.
Mit dem Übergang von analogen zu digitalen Kameras, ist es möglich, die aufgenommenen Bilder nachzubearbeiten, bevor diese auf Fotopapier ausgedruckt werden. Somit können vor dem Ausdruck die Farben des Bildes korrigiert werden. Die Nachbearbeitung kann z. B. mit Hilfe des in der Kamera enthaltenen Prozessors erfolgen, noch bevor die Bilder auf einer Speicherkarte abgespeichert werden. Alternativ können die Bilder auch extern mit Hilfe eines weiteren Rechners bearbeitet werden. Eine korrekte Reproduktion der Farben ist unter anderem für den Bereich der maschinellen Objekterkennung wichtig. Die vorliegende Erfindung ist vor allem im Bereich der Digitalkameras, bei Flachbildschirmen, bei Flachbildfernsehgeräten, bei TFT-Displays und beim Fotodruck vorteilhaft, da sie eine einfache bzw. schnelle, aber effiziente Korrektur von Bildern erlaubt.
Die Erfindung betrifft insbesondere ein Farbkonstanz-Verfahren. Das Verfahren besteht in einer bevorzugten Ausführungsform aus zwei Teilen: (a) einem Gitter aus Prozessorelementen, das zur Bestimmung der durchschnittlichen lokalen Farbe verwendet wird, und (b) einem Verfahren zur Berechnung der korrigierten Farbwerte, das auf der Verwendung der durchschnittlichen lokalen Farbe basiert. Anstatt die Rot-, Grün- und Blau-Kanäle mit Hilfe der durchschnittlichen lokalen Farbe zu skalieren, wird der Farbvektor in Richtung des Grauvektors verschoben.
Einige Vorteile der Erfindung bzw. ihrer bevorzugten Ausführungsformen sind:
es sind lediglich einfache bzw. schnell durchführbare Berechnungen erforderlich (die erste beschriebene Ausführungsform verwendet lediglich Addition und Subtraktion),
es sind nur eine sehr kleine Zahl an Berechnungsschritten je Bildpunkt erforderlich,
es werden nur lokale Berechnungen durchgeführt. Ein Informationsaustausch erfolgt nur lokal und nicht global,
es ist keine Transformation der Pixel auf den Ausgabebereich erforderlich und/oder das erste Verfahren zeigt das gleiche Verhalten wie die menschliche Wahrnehmung im Bezug auf die Experimente von Helson.
Das Verfahren ist auf beliebige Bildgrößen skalierbar. Aufgrund seiner Merkmale läßt sich das Verfahren direkt in CCD-Chips integrieren, die in heutigen Digitalkameras verwendet werden. Die Erfindung ist ebenfalls in vorteilhafter Weise für Flachbildschirme, Flachbildfernsehgeräte, TFT-Displays usw. geeignet.
Zitierter in die Offenbarung einbezogener Stand der Technik bzw. Literatur

K. Barnard, G. Finlayson, and B. Funt. Color constancy for scenes with varying illumination. Computer Vision and Image Understanding, 65(2):311–321, February 1997.
K. Barnard, L. Martin, and B. Funt. Colour by correlation in a three dimensional colour space. In Proceedings of the 6th European Conference on Computer Vision, pages 275–289, 2000.
D. H. Brainard and B. A. Wandell. Analysis of the retinex theory of color vision. In G. E. Healey, S. A. Shafer, and L. B. Wolff, editors, Color, pages 208–218, Boston, 1992. Jones and Bartlett Publishers.
M. Brill and G. West. Contributions to the theory of invariance of color under the condition of varying illumination. Journal of Mathematical Biology, 11:337–350, 1981.
G. Buchsbaum. A spatial processor model for object colour perception. Journal of the Franklin Institute, 310(1):337–350, July 1980.
V. C. Cardei and B. Funt. Committee-based color constancy. In Proceedings of the IS&T/SID Seventh Color Imaging Conference: Color Science, Systems and Applications, pages 311–313, 1999.
S. M. Courtney, L. H. Finkel, and G. Buchsbaum. A multistage neural network for color constancy and color induction. IEEE Transactions on Neural Networks, 6(4):972–985, July 1995.
P. A. Dufort and C. J. Lumsden. Color categorization and color constancy in a neural network model of V4. Biological Cybernetics, 65:293–303, 1991.
M. D'Zmura and P. Lennie. Mechanisms of color constancy. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 224–234, Boston, 1992. Jones and Bartlett Publishers.
M. Ebner. Evolving color constancy for an artificial retina. In J. Miller, M. Tomassini, P. Luca Lanzi, C. Ryan, A. G. B. Tettamanzi, and W. B. Langdon, editors, Genetic Programming: Proceedings of the Fourth European Conference, EuroGP 2001, Lake Como, Italy, April 18–20, pages 11–22, Berlin, 2001. Springer-Verlag.
M. Ebner. A parallel algorithm for color constancy. Technical Report 296, Universität Würzburg, Lehrstuhl für Informatik 11, Am Hubland, 97074 Würzburg, Germany, April 2002.
M. Ebner. A parallel algorithm for color constancy. Journal of Parallel and Distributed Computing (submitted), 2002.
M. Ebner. Combining white-patch retinex and the gray world assumption to achieve color constancy for multiple illuminants. In B. Michaelis and G. Krell, editors, Pattern Recognition, Proceedings of the 25th DAGM Symposium, Magdeburg, Germany, pages 60–67, Berlin, 2003. Springer- Verlag.
G. D. Finlayson. Color in perspective. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(10):1034–1038, October 1996.
G. D. Finlayson, P. M. Hubel, and S. Hordley. Color by correlation. In Proceedings of IS&T/SID. The Fifth Color Imaging Conference: Color Science, Systems, and Applications, Nov 17–20, The Radisson Resort, Scottsdale, AZ, pages 6–11, 1997.
G. D. Finlayson, B. Schiele, and J. L. Crowley. Comprehensive colour image normalization. In Fifth European Conference on Computer Vision (ECCV '98), 1998.
D. A. Forsyth. A novel approach to colour constancy. In Second International Conference on Computer Vision (Tampa, FL, Dec. 5–8), pages 9–18. IEEE Press, 1988.
D. A. Forsyth. A novel algorithm for color constancy. In G. E. Healey, S. A. Shafer, and L. B. Wolff, editors, Color, pages 241–271, Boston, 1992. Jones and Bartlett Publishers.
B. Funt, V. Cardei, and K. Barnard. Learning color constancy. In Proceedings of the IS&T/SID Fourth Color Imaging Conference, pages 58–60, Scottsdale, 19-22 November 1996.
B. V. Funt and M. S. Drew. Color constancy computation in near-mondrian scenes using a finite dimensional linear model. In Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition, pages 544–549. Computer Society Press, 5–9 June 1988.
B. V. Funt, M. S. Drew, and J. Ho. Color constancy from mutual reflection. International Journal of Computer Vision, 6(1):5–24, 1991.
R. Gershon, A. D. Jepson, and J. K. Tsotsos. From [r,g,b] to surface reflectance: Computing color constant descriptors in images. In Proceedings of the Tenth International Joint Conference on Artificial Intelligence, volume 2, pages 755–758, 1987.
Digital Arts GmbH. Xe847.com. http://www.xe847.com, 2003.
R. C. Gonzalez and R. E. Woods. Digital Image Processing. Addison-Wesley Publishing Company, Reading, Massachusetts, 1992.
A. Hanbury and J. Serra. Colour image analysis in 3d-polar coordinates. In Bernd Michaelis and Gerald Krell, editors, Pattern Recognition. Proceedings of the 25th DAGM Symposium, Madgeburg, Germany, September 10–12, pages 124–131, Berlin, 2003. Springer-Verlag.
H. Helson. Fundamental problems in color vision. I. the principle governing changes in hue, saturation, and lightness of non-selective samples in chromatic illumination. Journal of Experimental Psychology, 23(5):439–476, November 1938.
J. Herault. A model of colour processing in the retina of vertebrates: From photoreceptors to colour opposition and colour constancy phenomena. Neurocomputing, 12:113–129, 1996.
J. Ho, B. V. Funt, and M. S. Drew. Separating a color signal into illumination and surface reflectance components: Theory and applications. In G. E. Healey, S. A. Shafer, and L. B. Wolff, editors, Color, pages 272–283, Boston, 1992. Jones and Bartlett Publishers.
B. K. P. Horn. Determining lightness from an image. Computer Graphics and Image Processing, 3:277–299, 1974.
B. K. P. Horn. Robot Vision. The MIT Press, Cambridge, Massachusetts, 1986.
R. Jain, R. Kasturi, and B. G. Schunck. Machine Vision. McGraw-Hill, Inc., New York, 1995.
V. F. Koosh. Analog Computation and Learning in VLSI. PhD thesis, California Institute of Technology Pasadena, California, 2001.
E. H. Land. The retinex theory of colour vision. Proc. Royal Inst. Great Britain, 47:23–58, 1974.
E. H. Land. An alternative technique for the computation of the designator in the retinex theory of color vision. Proc. Natl. Acad. Sci. USA, 83:3078–3080, May 1986.
L. T. Maloney and B. A. Wandell. Color constancy: a method for recovering surface spectral reflectance. Journal of the Optical Society of America A3, 3(1):29–33, January 1986.
A. Moore, J. Allman, and R. M. Goodman. A real-time neural system for color constancy. IEEE Transactions on Neural Networks, 2(2):237–247, March 1991.
C. L. Novak and S. A. Shafer. Supervised color constancy for machine vision. In Glenn E. Healey, Steven A. Shafer, and Lawrence B. Wolff, editors, Color, pages 284–299, Boston, 1992. Jones and Bartlett Publishers.
V. J. Risson. Determination of an illuminant of digital color image by segmentation and filtering. United States Patent Application, Pub. No. US 2003/0095704 A1, May 2003.
Z. Rahman, D. J. Jobson, and G. A. Woodell. Method of improving a digital image. United States Patent No. 5,991,456, November 1999.
S. Usui and S. Nakauchi. A neurocomputational model for colour constancy. In C. Dickinson, I. Murray, and D. Carden, editors, John Dalton's Colour Vision Legacy. Selected Proceedings of the International Conference, pages 475–482, London, 1997. Taylor & Francis.

Claims

Verfahren zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren Farbe des Objekts zu erhalten, mit den folgenden Schritten: (a) Ermitteln mindestens der ursprünglichen Farbe von jeweils mehreren zu untersuchenden Bildpunkten des ursprünglichen Bildes, (b) Mitteln der ermittelten Farbe von benachbarten Bildpunkten zu jedem untersuchten Bildpunkt, (c) Hinzufügen der ursprünglichen Farbe jedes Bildpunktes zu der gemittelten Farbe von benachbarten Bildpunkten, um die durchschnittliche Farbe mindestens dieses Bildpunktes zu erhalten, und (d) Korrigieren der Farbe eines untersuchten Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der erhaltenen durchschnittlichen Farbe des Bildpunktes.
Verfahren nach Anspruch 1, wobei im Schritt (d) im wesentlichen die senkrecht auf dem Grauvektor stehende Komponente der durchschnittlichen Farbe eines Bildpunktes von der ursprünglichen Farbe des Bildpunktes subtrahiert wird, um die Farbe des Bildpunktes zu korrigieren.
Verfahren nach Anspruch 1 oder 2, wobei das Korrigieren der Farbe eines Bildpunktes im wesentlichen durch die folgenden Schritte erfolgt: (a) Skalieren der ursprünglichen Farbe eines Bildpunktes und der durchschnittlichen Farbe eines Bildpunktes auf die Ebene r + g + b = 1 des RGB-Farbraumes, (b) Subtrahieren der Komponente der durchschnittlichen Farbe eines Bildpunktes, die senkrecht auf dem Grauvektor steht, von der ursprünglichen Farbe des Bildpunktes zum Erhalten der korrigierten Farbe des Bildpunktes und (c) Skalieren der korrigierten Farbe eines Bildpunktes auf die Länge der ursprünglichen Farbe des Bildpunktes.
Verfahren nach einem der vorstehenden Ansprüche, wobei insbesondere vor dem Schritt 1(a) ein Gitter aus Prozessorelementen bereitgestellt wird.
Verfahren nach Anspruch 4, wobei für jeden Bildpunkt ein Prozessorelement bereitgestellt wird.
Verfahren nach Anspruch 4 oder 5, wobei jedes Prozessorelement derart ausgebildet ist, daß es die Farbe des dazugehörigen Bildpunktes speichern kann und auf den Speicherinhalt der benachbarten Prozessorelemente oben, unten, rechts, links und/oder schräg oben links, schräg oben rechts, schräg unten links, schräg unten rechts zugreifen kann.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Schritte 1(b) und 1(c) mit folgenden Berechnungen wiederholt werden: a'i(x,y) = (ai(x – 1,y) + ai(x + 1,y) + ai(x,y – 1) + ai(x,y + 1))/4.0 ai(x,y) = ci(x,y)·p + a'i(x,y)·(1 – p) wobei folgendes gilt: a_i(x,y) mit i ∊ {r, g, b} ist der bisher berechnete durchschnittliche Farbwert für den Farbkanal i an der Position (x,y), c_i(x,y) ist die Intensität des Farbkanals i an der Position (x,y) im Bild, d.h. c(x,y) = [c_r,(x,y), c_g(x,y), c_b(x,y)] ist der gemessene Farbwert an der Position (x,y) und p ist ein kleiner Wert größer Null.
Verfahren nach Anspruch 7, wobei die Schritte 1(b) und 1(c) quasi endlos durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren mit Hilfe eines Gitters aus Widerständen durchgeführt wird bzw. gefaltet wird, insbesondere mit der Funktion
d.h.
mit der Randbedingung
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Verfahren mit Hilfe einer Faltung des Bildes, insbesondere mit folgender Gauß-Funktion durchgeführt wird:
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren für mehrere Bildpunkte, vorzugsweise alle Bildpunkte, eines ursprünglichen Bildes durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren mittels Transistoren in VLSI durchgeführt wird.
Verfahren nach Anspruch 12, wobei das Verfahren mittels drei Schichten von Prozessorelementen durchgeführt wird, wobei eine Schicht eine Eingabeschicht, eine nachfolgende Schicht eine Berechnungsschicht zum Berechnen der durchschnittlichen Farbe eines Bildpunktes und eine weitere nachfolgende Schicht eine Ausgabeschicht darstellt.
Vorrichtung zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild mit zumindest einer realistischeren Farbe des Objekts zu erhalten, insbesondere zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche mit: (a) einer Einrichtung zum Ermitteln mindestens der ursprünglichen Farbe von jeweils mehreren zu untersuchenden Bildpunkten des ursprünglichen Bildes, (b) einer Einrichtung zum Mitteln der ermittelten Farbe von benachbarten Bildpunkten zu jedem untersuchten Bildpunkt, (c) einer Einrichtung zum Hinzufügen der ursprünglichen Farbe jedes Bildpunktes zu der gemittelten Farbe von benachbarten Bildpunkten, um die durchschnittliche Farbe mindestens dieses Bildpunktes zu erhalten, und (d) einer Einrichtung zum Korrigieren der Farbe eines untersuchten Bildpunktes anhand der ursprünglichen Farbe des Bildpunktes und der erhaltenen durchschnittlichen Farbe des Bildpunktes.
Computerprogramm mit einer Programmcode-Einrichtung, um ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Computerprogrammprodukt mit einer Programmcode-Einrichtung, die auf einem computerlesbaren Datenträger gespeichert ist, um ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird.
Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 13, einer Vorrichtung nach Anspruch 14, eines Computerprogramms nach Anspruch 15 und/oder eines Computerprogrammprodukts nach Anspruch 16 zum Korrigieren der ursprünglichen Farbe eines digitalen, digitalisierten bzw. elektronischen ursprünglichen Bildes, das mehrere Bildpunkte aufweist und mindestens ein Objekt abbildet, um ein erzeugtes Bild zumindest mit einer realistischeren Farbe des Objekts zu erhalten.
CCD-Einrichtung, Digitalkamera, Flachbildschirm, Flachbildfernsehgerät und/oder TFT-Display zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 13, mit einer Vorrichtung nach Anspruch 14, mit einem Computerprogramm nach Anspruch 15 und/oder mit einem Computerprogrammprodukt nach Anspruch 16.
Digitalkamera, Flachbildschirm und/oder Flachbildfernsehgerät zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 13, mit einer Vorrichtung nach Anspruch 14, mit einem Computerprogramm nach Anspruch 15 und/oder mit einem Computerprogrammprodukt nach Anspruch 16, wobei ein aufgenommenes bzw. dargestelltes Bild vor dem Speichern bzw. vor der Darstellung korrigiert wird.