DE102018106873B3

DE102018106873B3 - Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten

Info

Publication number: DE102018106873B3
Application number: DE102018106873.5A
Authority: DE
Inventors: Jörg Kunze
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2018-03-22
Filing date: 2018-03-22
Publication date: 2019-07-04
Anticipated expiration: 2038-03-23
Also published as: CN110300291A; CN110300291B

Abstract

Die Erfindung betrifft eine Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten (r, g, b) eines mit einem Bildsensor (31) einer digitalen Kamera (10) aufgenommenen Bildes (1) einer Farbkarte (2), wobei die Einrichtung umfasst: Mittel zum Bereitstellen von Farbwerten (r, g, b) von Pixeln (P) des Bildes (1), die zu Abbildungen einer Anzahl von Farbfeldern (3bis 3) der Farbkarte (2) in dem Bild (1) korrespondieren; und Mittel zum Bestimmen der korrigierten Farbwerte (r, g, b) aus den Farbwerten (r, g, b) unter Verwendung des Modells (L), das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte (r, g, b) als eine ortsabhängige, zweidimensionale Helligkeitsverteilung (L) modelliert, wobei das Bestimmen der korrigierten Farbwerte (r, g, b) ein Logrithmieren der Farbwerte (r, g, b) umfasst und das Modell für alle logarithmierten Farbwerte (ln r, In g, In b) jeweils einen Offsetwert, der für Pixel (P), die zu der Abbildung eines selben Farbfeldes (3bis 3) korrespondieren, jeweils gleich ist, und einen ortsabhängigen Wert einer additiven Helligkeitsverteilung, die der Anzahl von Farbfeldern (3o bis 3) überlagert ist und durch eine Funktion angenähert ist, liefert.

Description

Die Erfindung betrifft eine Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten eines mit einem Bildsensor einer digitalen Kamera aufgenommenen Bildes einer Farbkarte. Die Erfindung betrifft ferner ein entsprechendes Verfahren, eine Verwendung von korrigierten Farbwerten, die mittels des erfindungsgemäßen Verfahrens bestimmt worden sind, zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor aufgenommenen Bildes und/oder zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor aufgenommenen Bildes, sowie eine Computervorrichtung und ein Computerprogram-Produkt. Schließlich betrifft die Erfindung eine digitale Kamera, die die erfindungsgemäße Einrichtung umfasst.
HINTERGRUND DER ERFINDUNG
Es gibt im industriellen Umfeld, wie etwa in der Qualitätskontrolle, und in artverwandten Einsatzgebieten, wie etwa in der Medizintechnik, eine Vielzahl verschiedener Anwendungen digitaler Kameras. Bei der Auswahl einer passenden Kamera spielen neben Parametern wie der Bildauflösung, der Bildübertragungsrate, dem Dynamikbereich, usw. oft auch die Farbwiedergabe und die Farbtreue eine wichtige Rolle. Damit ist letztlich gemeint, dass die Kamera in der Lage ist, den farblichen Eindruck einer Szene möglichst originalgetreu wiederzugeben. Bei der Produktion einer Kamera oder zur Anpassung an die spezifische Beleuchtungssituation vor Ort kann dies beispielsweise dadurch erreicht werden, dass ein mit der Kamera aufgenommenes Bild einer Szene mit bekannten Farben analysiert wird und die von dem Bildsensor der Kamera gemessenen Farben in einer Recheneinheit der Kamera so korrigiert werden, dass sie möglichst gut, z.B. im Sinne eines mittleren quadratischen Fehlers, den bekannten Farben der Szene entsprechen. Hierzu wird oft eine sogenannte Farbkarte, z.B. der bekannte Macbeth Color Checker oder der neuere X-Rite Color Checker Digital SG, eingesetzt.
Wie in der 1 gezeigt, ist der Macbeth Color Checker eine planare Farbkarte oder -tafel mit vier (senkrecht) x sechs (horizontal) quadratischen Farbfeldern, die in einem Rechteck angeordnet sind. Die untersten sechs Farbfelder sind unbunt und bilden eine gleichförmige Helligkeitsskala von Weiß bis Schwarz. Weitere sechs Farbfelder umfassen die Primärfarben typischer chemischer fotografischer Prozesse - Rot (R), Grün (G), Blau (B), Cyan (C), Magenta (M) und Gelb (Y). Die übrigen zwölf Farbfelder umfassen Approximationen mittelheller und mitteldunkler menschlicher Haut, eines blauen Himmels, des Grün eines Blattes, usw. Die Farb- bzw. Helligkeitswerte (in Folgenden auch „Referenzfarbwerte“ genannt) der 24 Farbfelder des Macbeth Color Checker sind sehr genau bestimmt und bieten somit die Voraussetzung für eine hochwertige Farbkorrektur (vgl. auch Pascale D., „RGB Coordinates of the Macbeth ColorChecker“, Juni 2006).
Ein Problem besteht jedoch darin, dass die Erscheinung der Farben auch von der Beleuchtung abhängig ist, und dass selbst unter Laborbedingungen die Helligkeit und/oder Farbe der Beleuchtung selten homogen ist und es daher zu Verläufen innerhalb der Farbkarte kommen kann, die bei der Berechnung der Farbkorrektur stören.
STAND DER TECHNIK
Einflüsse der Beleuchtung auf die Korrektur der Farben können vermieden bzw. zumindest vermindert werden, indem zusätzlich zu der Aufnahme der Farbkarte noch ein Bild einer weißen Referenzkarte mit der Kamera aufgenommen wird. Dabei werden die Bedingungen hinsichtlich der Beleuchtung und der Einstellung, Positionierung und Orientierung der Kamera konstant gehalten und die weiße Referenzkarte wird an derselben Stelle platziert wie zuvor die Farbkarte. (Selbstverständlich kann auch zunächst das Bild der weißen Referenzkarte aufgenommen werden und danach das Bild der Farbkarte.) Der Helligkeits- und/oder Farbverlauf innerhalb der weißen Referenzkarte kann dann ermittelt werden, und die aufgenommenen Farbwerte der Farbkarte können entsprechend helligkeitskorrigiert werden. Dies kann beispielsweise für jedes Farbfeld der Farbkarte im Mittel über alle Pixel des Farbfeldes erfolgen. Bei diesem Vorgang hilft insbesondere die Tatsache, dass die Farbkarte und die weiße Referenzkarte an der derselben Stelle platziert wurden, so dass die Positionen der Farbfelder aus dem aufgenommenen Bild der Farbkarte unmittelbar in das aufgenommene Bild der weißen Referenzkarte übernommen werden können. Die Bestimmung der Messfeldpositionen im Farbkarten-Bild selbst kann von Hand erfolgen, beispielsweise über eine entsprechende Schnittstelle, mit der ein Nutzer z.B. quadratische Ausschnitte des Bildes manuell markieren kann. Bevorzugt können die Farbfelder aber auch automatisch oder zumindest semi-automatisch detektiert werden; hierzu existieren in der Literatur eine Reihe von Ansätzen (siehe z.B. EP 2 940 626 A2 , US 9,064,314 B2 , oder A. Minagawa et al., „A color chart detection method for automatic color correction“, 21^st International Conference on Pattern Recognition, 11.-15. November 2012, Tsukuba, Japan).
Der vorstehend beschriebene Prozess ermöglicht eine hochwertige, helligkeitskorrigierte Farbkorrektur. Er hat jedoch den Nachteil, dass er die Aufnahme von zwei Bildern (ein Bild der Farbkarte und ein Bild der weißen Referenzkarte) unter ansonsten konstanten Bedingungen erforderlich macht. Dies ist aufwendig und birgt zudem die Möglichkeit von Fehlern, etwa, wenn sich zwischen den Aufnahmen Änderungen der Bedingungen, z.B. der Beleuchtung, ergeben. Darüber hinaus ist es in der Praxis nicht immer möglich die Farbkorrektur unter wohldefinierten Laborbedingungen durchzuführen.
Die EP 2 134 099 A1 offenbart ein Verfahren zum Kompensieren von örtlichen Ungleichförmigkeiten bei Bildgebungsgeräten. Gemäß diesem Verfahren werden Farbkalibrierkarten mit Farbfeldern in bevorzugt zwei Dimensionen vorgesehen. Auf gemessenen XYZ-Bildern der Karten wird lokal eine erste Ableitung der Messwerte berechnet. Durch Kombinieren der lokalen ersten Ableitungen werden dann eine Reihe von mono-dimensionalen Gleichförmigkeits-Korrektur-Funktionen bestimmt. Diese werden kombiniert und, falls notwendig, interpoliert, um eine zweidimensionale Korrektur-Funktion zur Kompensation der Ungleichförmigkeit zu erhalten.
Die WO 2012/047805 A1 offenbart ein Verfahren zum Bewerten einer Farbe einer Probe. Das Verfahren beinhaltet das Erfassen eines Bildes mit einer Vielzahl von Pixeln aus einer Probe und einer Vielzahl von Pixeln aus bekannten Farbkalibrierungsfeldern. Das Bild wird mit den bekannten Farbfeldern farbkalibriert, um die Farbqualität zu verbessern.
Die WO 00/37903 A1 offenbart ein Verfahren zum Bestimmen der Erscheinung eines zu replizierenden Objekts. Das Verfahren besteht darin, eine kontrollierte Beleuchtung bereitzustellen, um eine Oberfläche des Objekts zu beleuchten, das Objekt mit einer CCD-Kamera zu messen, um eine Bildkarte einer Vielzahl von Punkten auf der Oberfläche zu sammeln, und diese Informationen zu verarbeiten, um eine Zuordnung der Erscheinung des Objekts zu erzeugen.
Die US 2006/0098894 A1 offenbart ein System zum Korrigieren des Effekts einer ungleichförmigen Beleuchtung auf einem wiedergegebenen Bild eines 2D-Objekts. Ein Bild einer Referenzkarte in einer beleuchteten Umgebung wird von einem Bilderfassungsgerät erfasst. Ein 2D-Objekt befindet sich in der gleichen beleuchteten Umgebung und ein Bild des Objekts wird erfasst. Als nächstes wird eine Glättungsfunktion für das Referenzkartenbild erzeugt. Die Glättungsfunktion wird verwendet, um ein geglättetes Referenzkartenbild zu erzeugen. Das geglättete Referenzkartenbild wird verarbeitet, um inverse Korrekturwerte, die mathematisch umgekehrt zu den Pixelwerten im geglätteten Referenzkartenbild sind, zu berechnen. Eine pixelweise Korrektur wird dann auf das aufgenommene Bild des 2D-Objekts unter Verwendung der inversen Korrekturwerte angewendet.
ZUSAMMENFASSUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, eine Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten eines mit einem Bildsensor einer digitalen Kamera aufgenommenen Bildes einer Farbkarte bereitzustellen, das weniger aufwändig ist als der vorstehend beschriebene Prozess. Des Weiteren liegt der Erfindung die Aufgabe zugrunde, ein entsprechendes Verfahren, eine Verwendung von korrigierten Farbwerten, die mittels des erfindungsgemäßen Verfahrens bestimmt worden sind, zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor aufgenommenen Bildes und/oder zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor aufgenommenen Bildes, sowie eine Computervorrichtung und ein Computerprogram-Produkt bereitzustellen. Schließlich liegt der Erfindung die Aufgabe zugrunde, eine digitale Kamera, die die erfindungsgemäße Einrichtung umfasst, bereitzustellen.
Gemäß einem Aspekt der Erfindung wird eine Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten eines mit einem Bildsensor einer digitalen Kamera aufgenommenen Bildes einer Farbkarte bereitgestellt, wobei die Einrichtung umfasst:

- Mittel zum Bereitstellen von Farbwerten von Pixeln des Bildes, die zu Abbildungen einer Anzahl von Farbfeldern der Farbkarte in dem Bild korrespondieren; und
- Mittel zum Bestimmen der korrigierten Farbwerte aus den Farbwerten unter Verwendung eines Modells, das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte als eine ortsabhängige, zweidimensionale Helligkeitsverteilung modelliert, wobei das Bestimmen der korrigierten Farbwerte ein Logarithmieren der Farbwerte umfasst und das Modell für alle logarithmierten Farbwerte jeweils einen Offsetwert, der für Pixel, die zu der Abbildung eines selben Farbfeldes korrespondieren, jeweils gleich ist, und einen ortsabhängigen Wert einer additiven Helligkeitsverteilung, die der Anzahl von Farbfeldern überlagert ist und durch eine Funktion angenähert ist, liefert.

Der Erfindung liegt die Erkenntnis des Erfinders zugrunde, dass die aufwändige Aufnahme von zwei Bildern (ein Bild der Farbkarte und ein Bild der weißen Referenzkarte) unter ansonsten konstanten Bedingungen vermieden werden kann, indem der durch die Aufnahme mit der inhomogenen Helligkeit verursachte Fehler der Farbwerte von Pixeln, die zu Abbildungen einer Anzahl von Farbfeldern einer Farbkarte in einem mit dem Bildsensor der digitalen Kamera aufgenommenen Bild der Farbkarte korrespondieren, als eine ortsabhängige, zweidimensionale Helligkeitsverteilung modelliert wird und die korrigierten Farbwerte aus den Farbwerten unter Verwendung des Modells in der beanspruchten Weise bestimmt werden.
Die Funktion, durch die die additive Helligkeitsverteilung angenähert ist, kann vorzugsweise eine zweidimensionale Funktion sein. Dies ist z.B. vorteilhaft wenn die digitale Kamera eine Flächenkamera ist. Alternativ kann die Funktion aber auch eine eindimensionale Funktion sein. Dies ist beispielsweise dann von Vorteil, wenn die digitale Kamera eine Zeilenkamera ist.
Gemäß einer vorteilhaften Weiterbildung ist die ortsabhängige, zweidimensionale Helligkeitsverteilung als eine zweidimensionale Gaußverteilung der Helligkeit modelliert. Dies beruht auf der Annahme, die für unterschiedliche Arten von Lichtquellen zumindest näherungsweise zutrifft, dass die Lichtquelle ein grob gaußförmiges Strahlungsprofil aufweist. Dabei wird hier bevorzugt zugelassen, dass die Breite der Gaußverteilung in x- und y-Richtung unterschiedlich ist und dass auch die Hauptachsen der Verteilung möglicherweise schief stehen können.
Gemäß einer weiteren vorteilhaften Weiterbildung umfasst das Bestimmen der korrigierten Farbwerte das Bestimmen einer näherungsweisen Lösung eines überbestimmten linearen Gleichungssystems. Dies bietet eine sehr einfache und robuste Lösung, die sich vorteilhafterweise auch mit begrenzten Ressourcen in einer Kamera implementieren lässt.
Gemäß noch einer vorteilhaften Weiterbildung erfolgt das Bestimmen der näherungsweisen Lösung des überbestimmten linearen Gleichungssystems durch Anwendung einer Pseudo-Inversen, insbesondere, der Moore-Penrose-Pseudo-Inversen. Auf diese Weise lässt sich eine Lösung finden, die optimal im Sinne eines mittleren quadratischen Fehlers ist.
Gemäß einer vorteilhaften Weiterbildung werden die korrigierten Farbwerte aus den Offsetwerten durch Anwenden der Exponentialfunktion bestimmt. Auf diese Weise wird die anfängliche Logarithmierung zurückgedreht und die korrigierten Farbwerte werden in einem gewünschten, nicht-logarithmischen Format erhalten.
Gemäß einer weiteren vorteilhaften Weiterbildung ist die Funktion, durch die die additive Helligkeitsverteilung angenähert ist, ein Polynom. Mit Hilfe eines jeweils geeigneten Polynoms lassen sich die Strahlungsprofile verschiedenster Arten von Lichtquellen gut modellieren.
Gemäß einer vorteilhaften Weiterbildung ist das Polynom, vorzugsweise, das ein- oder zweidimensionale Polynom, ein Polynom zweiten Grades. Mit Hilfe eines Polynoms zweiten Grades lässt sich eine ortsabhängige, zweidimensionale Helligkeitsverteilung, die näherungsweise einer zweidimensionalen Gaußverteilung der Helligkeit entspricht, mathematisch modellieren.
Gemäß einer weiteren vorteilhaften Weiterbildung ist in dem Polynom, vorzugsweise, dem ein- oder zweidimensionalen Polynom, das Absolutglied zu Null gesetzt. Auf diese Weise brauchen eine gegebene Grundhelligkeit und die üblichen Vorfaktoren der zweidimensionalen Gaußverteilung nicht weiter beachtet werden. Dies kann die Bestimmung der korrigierten Farbwerte merklich vereinfachen.
Gemäß einer vorteilhaften Weiterbildung umfasst das Bestimmen der korrigierten Farbwerte des Weiteren eine gemeinsame Normierung auf eine vorbestimmte Helligkeit. Dies ist hilfreich, da die nach dem Anwenden der Exponentialfunktion erhaltenen korrigierten Farbwerte noch nicht normiert sind. Sie können also sehr groß oder auch sehr klein sein; lediglich die Farbverhältnisse stimmen zueinander.
Gemäß einer weiteren vorteilhaften Weiterbildung umfasst die Einrichtung des Weiteren:

- Mittel zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor aufgenommenen Bildes, wobei die Weißabgleichsparameter basierend auf den korrigierten Farbwerten bestimmt werden.

Dadurch, dass die Weißabgleichsparameter basierend auf den korrigierten Farbwerten bestimmt werden, können Fehler in den weißabgeglichenen Farbwerten, die auf die durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler zurückzuführen sind, vermieden bzw. zumindest reduziert werden.
Gemäß noch einer weiteren vorteilhaften Weiterbildung umfasst die Einrichtung des Weiteren:

- Mittel zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor aufgenommenen Bildes, wobei die Farbkorrekturparameter basierend auf den korrigierten Farbwerten bestimmt werden.

Dadurch, dass die Farbkorrekturparameter basierend auf den korrigierten Farbwerten bestimmt werden, können Fehler in den farbkorrigierten Farbwerten, die auf die durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler zurückzuführen sind, vermieden bzw. zumindest reduziert werden.
Gemäß einem weiteren Aspekt der Erfindung wird eine digitale Kamera bereitgestellt, wobei die digitale Kamera umfasst:

- einen Bildsensor zum Aufnehmen eines Bildes einer Farbkarte; und
- die Einrichtung nach einem der Ansprüche 1 bis 11 zum Bestimmen der hinsichtlich der Aufnahme mit der inhomogenen Helligkeit korrigierten Farbwerte des aufgenommenen Bildes der Farbkarte.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten eines mit einem Bildsensor einer digitalen Kamera aufgenommenen Bildes einer Farbkarte bereitgestellt, wobei das Verfahren umfasst:

- Bereitstellen von Farbwerten von Pixeln des Bildes, die zu Abbildungen einer Anzahl von Farbfeldern der Farbkarte in dem Bild korrespondieren; und
- Bestimmen der korrigierten Farbwerte aus den Farbwerten unter Verwendung eines Modells, das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte als eine ortsabhängige, zweidimensionale Helligkeitsverteilung modelliert,

Gemäß einem weiteren Aspekt der Erfindung wird eine Verwendung von korrigierten Farbwerten, die mittels des Verfahrens nach Anspruch 13 bestimmt worden sind, zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor aufgenommenen Bildes und/oder zum Bestimmen von Farbkorrekturparametem zur Farbkorrektur eines mit dem Bildsensor aufgenommenen Bildes bereitgestellt.
Gemäß einem weiteren Aspekt der Erfindung wird eine Computervorrichtung bereitgestellt, wobei die Computervorrichtung eine Recheneinheit umfasst, die zur Durchführung des Verfahrens nach Anspruch 13 ausgestaltet ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm-Produkt bereitgestellt, wobei das Computerprogramm-Produkt Programmcodemittel umfasst zum Veranlassen einer Computervorrichtung zum Ausführen des Verfahrens nach Anspruch 13, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.
Es versteht sich, dass die Einrichtung nach Anspruch 1, die digitale Kamera nach Anspruch 12, das Verfahren nach Anspruch 13, die Verwendung nach Anspruch 14, die Computervorrichtung nach Anspruch 15 und das Computerprogramm-Produkt nach Anspruch 16 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
Figurenliste
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 den bekannten Macbeth Color Checker mit den 24 Farbfeldern 0 bis 23 zeigt,
2 ein mit einer Kamera unter einer gegebenen Beleuchtung aufgenommenes Bild des Color Checkers aus der 1 zeigt,
3 schematisch und exemplarisch die Helligkeit der drei Farbkanäle Rot, Grün und Blau der Pixel des Color-Checker-Bildes entlang einer horizontalen Linie durch die oberen sechs Farbfelder des Color Checkers zeigt, und
4 schematisch und exemplarisch den Aufbau einer Digitalkamera zeigt.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
Wie beschrieben wird gemäß der Erfindung die aufwändige Aufnahme von zwei Bildern (ein Bild der Farbkarte und ein Bild der weißen Referenzkarte) unter ansonsten konstanten Bedingungen vermieden, indem der durch die Aufnahme mit der inhomogenen Helligkeit verursachte Fehler der Farbwerte von Pixeln, die zu Abbildungen einer Anzahl von Farbfeldern einer Farbkarte in einem mit dem Bildsensor der digitalen Kamera aufgenommenen Bild der Farbkarte korrespondieren, als eine ortsabhängige, zweidimensionale Helligkeitsverteilung modelliert wird und die korrigierten Farbwerte aus den Farbwerten unter Verwendung des Modells in der beanspruchten Weise bestimmt werden.
Wie dies erfolgen kann, wird im Folgenden beispielhaft erläutert:
2 zeigt ein mit einer Kamera unter einer gegebenen Beleuchtung aufgenommenes Bild 1 einer Farbkarte 2. Die Farbkarte 2 ist in diesem Fall der bekannte Macbeth Color Checker, wie er vorstehend bereits beschrieben wurde (siehe auch 1). Wie man im oberen Teil (a) der Figur gut erkennt, ist der Color Checker 2 hier zusammen mit einigen weiteren Objekten in einer Szene angeordnet. Die Szene wird in diesem Beispiel von einem LED-Scheinwerfer inhomogen beleuchtet. Der untere Teil (b) der Figur zeigt das Ergebnis der Bestimmung der Positionen der Farbfelder 3₀ bis 3₂₃ im Color Checker-Bild 1, die hier mit einem automatischen Verfahren erfolgt ist. Wie man erkennt, sind alle 24 Farbfelder 3₀ bis 3₂₃ des Color Checkers 2 korrekt detektiert worden.
Dazu zeigt 3 schematisch und exemplarisch das Helligkeitsprofil (in DN = Digital Number) der drei Farbkanäle Rot 4, Grün 5 und Blau 6 der Pixel des Color-Checker-Bildes 1 entlang einer horizontalen Linie durch die oberen sechs Farbfelder 3₀ bis 3₅ des Color Checkers 2. In den Helligkeitsprofilen sind die sechs Farbfelder 3₀ bis 3₅ klar zu erkennen. Zudem erkennt man, dass die Helligkeiten in den rechten Farbfeldern (z.B. dem Farbfeld 3₅ ) nach rechts hin absinken, während sie in den linken Farbfeldern (z.B. dem Farbfeld 3₀ ) eher konstant sind bzw. vielleicht sogar noch zur linken Seite hin ganz sanft abfallen. Dieser Effekt wird erfindungsgemäß genutzt, um die Helligkeitsverteilung im Color Checker-Bild 1 abzuschätzen.
Hierzu wird untergestellt, dass die Helligkeitsverteilung einem mathematischen Modell folgt. Die von der Kamera aufgenommen Farben des Color Checker-Farbfelds i für ∀i ∈ {0..23} bei einer angenommenen homogenen Beleuchtungsverteilung seien hier als r_cc.i, g_cc.i und b_cc.i bezeichnet. Die zu ermittelnde Helligkeitsverteilung sei L_x.y, wobei x und y die Pixelposition (x|y) im Color Checker-Bild 1 beschreiben. Dann ergeben sich die gemessenen RGB-Farbwerte eines Pixels r_x.y, g_x.y und b_x.y im Farbfeld i zu: $[\begin{matrix} r_{k . y} \\ g_{k . y} \\ b_{x . y} \end{matrix}] = L_{x . y} \cdot [\begin{matrix} r_{c c . i} \\ g_{c c . i} \\ b_{c c . i} \end{matrix}] .$
Nun braucht man weitere Annahmen über die Helligkeitsverteilung. Eine Annahme, die für unterschiedliche Arten von Lichtquellen zumindest näherungsweise zutrifft, ist, dass die Lichtquelle ein grob gaußförmiges Strahlungsprofil aufweist. Dabei wird hier zugelassen, dass die Breite der Gaußverteilung in x- und y-Richtung unterschiedlich ist und dass auch die Hauptachsen der Verteilung möglicherweise schief stehen können.
Bekanntermaßen ergibt sich die Gaußverteilung als e hoch eine quadratische Funktion f. Die Funktion f ist dabei zweidimensional und weißt die entsprechenden, hier lokal definierten Polynomkoeffizienten a auf: $f (x, y) = \sum (\begin{matrix} a_{00} & a_{01} x & a_{02} x^{2} \\ a_{10} y & a_{11} x y & a_{12} x^{2} y \\ a_{20} y^{2} & a_{21} x y^{2} & a_{22} x^{2} y^{2} \end{matrix}) .$
Dieses zweidimensionale Polynom zweiten Grades hat insgesamt neun Freiheitsgrade. Allerdings hat der Erfinder anhand von Experimenten herausgefunden, dass in der Praxis vorteilhafterweise ein oder mehrere der Koeffizienten zu Null gesetzt werden können. Setzt man beispielsweise den Koeffizienten a₀₀, a₁₂, a₂₁ und a₂₂ zu Null, so vereinfacht sich die obige Gleichung (1.2) wie folgt: $f (x, y) = \sum (\begin{matrix} 0 & a_{01} x & a_{02} x^{2} \\ a_{10} y & a_{11} x y & 0 \\ a_{20} y^{2} & 0 & 0 \end{matrix}) .$
Mit diesem Polynom lässt sich die ortsabhängige, zweidimensionale Helligkeitsverteilung L_x.y wie folgt beschreiben: $L_{x . y} = e^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2}}$
Die Grundhelligkeit sowie alle üblichen Vorfaktoren der Gaußverteilung stecken in dem nicht berücksichtigten e^a
00. Durch Einsetzen von Gleichung (1.4) in Gleichung (1.1) erhält man dann: $[\begin{matrix} r_{x . y} \\ g_{x . y} \\ b_{x . y} \end{matrix}] = [\begin{matrix} e^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2} \cdot} r_{c c . i} \\ e^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2} \cdot} g_{c c . i} \\ e^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2} \cdot b_{c c . i}} \end{matrix}] .$
Wie beschrieben umfasst der Color Checker 2 insgesamt 24 Farbfelder 3₀ bis 3₂₃, d.h., i ∈ {0..23}. Die Anzahl der Pixel (x|y) pro Farbfeld hängt sowohl von der Auflösung der Kamera ab als auch davon, welcher Anteil / Prozentsatz des Color Checker-Bildes 1 durch die Abbildung des Color Checkers 2 ausgefüllt ist. Nimmt man alle 24 Farbfelder 3₀ bis 3₂₃ zusammen, so können dies gerne ein paar zehntausend oder sogar hunderttausend Pixel (x|y) sein. Damit ergibt sich ein stark überbestimmtes nichtlineares Gleichungssystem. Dieses nichtlineare Gleichungssystem wird erfindungsgemäß linearisiert, indem die Gleichung (1.5) logarithmiert wird: $[\begin{matrix} ln r_{x . y} \\ ln g_{x . y} \\ ln b_{x . y} \end{matrix}] = [\begin{matrix} ^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2} + ln r_{c c . i}} \\ ^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2} + ln g_{c c . i}} \\ ^{a_{01} x + a_{02} x^{2} + a_{10} y + a_{11} x y + a_{20} y^{2}} + ln b_{c c . i} \end{matrix}] .$
Definiert man nun In r_cc.i, In g_cc.i und In b_cc.i als gesuchte Variablen, so ist das Gleichungssystem linear und der Einfluss des Helligkeitsverlaufs macht sich für jeden Pixel eines Farbfelds 3₀ bis 3₂₃ als ortsabhängiger Wert einer additiven Helligkeitsverteilung a₀₁x + a₀₂x² + a₁₀y + a₁₁xy + a₂₀y² auf diesen Werten, die jeweils einen ortskonstanten Offsetwert, d.h., einen Offsetwert der für Pixel, die zu der Abbildung eines selben Farbfelds 3₀ bis 3₂₃ korrespondieren, jeweils gleich ist, angeben, bemerkbar. Das kann man für alle Pixel mit Koordinaten (x|y) hinschreiben, die zu einem der Color Checker-Farbfelder mit der Feldnummer i_x.y gehören, d.h., für alle Pixel in einem der 24 Color Checker-Farbfelder 3₀ bis 3₂₃ .
Um dies mathematisch zu beschreiben, sei hier die Menge aller Pixel P in detektieren Color Checker-Farbfeldern als P_CC bezeichnet. Aus diesen entsteht ein großes überbestimmtes lineares Gleichungssystem der Form: $\hat{E} \hat{x} = \hat{y} .$
Dabei sind Ê die Matrix, x̂ der gesuchte Vektor und y der vorgegebenene Vektor des linearen Gleichungssystems. Den Vektor x̂ erhält man, indem alle Unbekannten der Reihe nach in eine Spalte geschrieben werden. Der Vektor y besteht aus den logarithmierten Farbwerten aller Pixel (x|y), die zu einem der 24 Farbfelder 3₀ bis 3₂₃ gehören. Dabei kann beispielsweise mit dem Farbfeld 3₀ mit der Feldnummer 0 begonnen werden. Dieses besteht aus den Pixeln P_0.0, P_0.1, usw. mit den Positionen (x_0.0|y_0.0), (x_0.1|y_0.1), usw. Danach folgen die Pixel P_1.0, P_1.1, usw. des Farbfeldes 3₁ mit der Feldnummer 1 mit den Positionen (x_1.0|y_1.0), (x_1.1|y_1.1), usw., dann die Pixel P_2.0, P_2.1, usw. des Farbfeldes 3₂ mit der Feldnummer 2 mit den Positionen (x_2.0|y_2.0), (x_2.1|y_2.1), usw. usw. Ausgeschrieben sehen die Vektoren x̂ und y dann wie folgt aus: $\hat{x} = [\begin{matrix} ln r_{c c .0} \\ ln g_{c c .0} \\ ln b_{c c .0} \\ ln r_{c c .1} \\ ln g_{c c .1} \\ ln b_{c c .1} \\ ⋮ \\ ln r_{c c .23} \\ ln g_{c c .23} \\ ln b_{c c .23} \\ a_{01} \\ a_{10} \\ a_{02} \\ a_{20} \\ a_{11} \end{matrix}], \hat{y} = [\begin{matrix} ln r_{x_{0.0} \cdot y_{0.0}} \\ ln g_{x_{0.0} \cdot y_{0.0}} \\ ln b_{x_{0.0} \cdot y_{0.0}} \\ ln r_{x_{0.1} \cdot y_{0.1}} \\ ln g_{x_{0.1} \cdot y_{0.1}} \\ ln b_{x_{0.1} \cdot y_{0.1}} \\ ⋮ \\ ln r_{x_{1.0} \cdot y_{1.0}} \\ ln g_{x_{1.0} \cdot y_{1.0}} \\ ln b_{x_{1.0} \cdot y_{1.0}} \\ ln r_{x_{1.1} \cdot y_{1.1}} \\ ln g_{x_{1.1} \cdot y_{1.1}} \\ ln b_{x_{1.1} \cdot y_{1.1}} \\ ⋮ \end{matrix}],$
$\hat{E} = [\begin{matrix} 1 & 0 & 0 & \dots & 0 & 0 & 0 & x_{0.0} & y_{0.0} & x_{0.0}^{2} & y_{0.0}^{2} & x_{0.0} \cdot y_{0.0} \\ 0 & 1 & 0 & \dots & 0 & 0 & 0 & x_{0.0} & y_{0.0} & x_{0.0}^{2} & y_{0.0}^{2} & x_{0.0} \cdot y_{0.0} \\ 0 & 0 & 1 & \dots & 0 & 0 & 0 & x_{0.0} & y_{0.0} & x_{0.0}^{2} & y_{0.0}^{2} & x_{0.0} \cdot y_{0.0} \\ 1 & 0 & 0 & \dots & 0 & 0 & 0 & x_{0.1} & y_{0.1} & x_{0.1}^{2} & y_{0.1}^{2} & x_{0.1} \cdot y_{0.1} \\ 0 & 1 & 0 & \dots & 0 & 0 & 0 & x_{0.1} & y_{0.1} & x_{0.1}^{2} & y_{0.1}^{2} & x_{0.1} \cdot y_{0.1} \\ 0 & 0 & 1 & \dots & 0 & 0 & 0 & x_{0.1} & y_{0.1} & x_{0.1}^{2} & y_{0.1}^{2} & x_{0.1} \cdot y_{0.1} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 0 & 0 & \dots & 1 & 0 & 0 & x_{23.0} & y_{23.0} & x_{23.0}^{2} & y_{23.0}^{2} & x_{23.0} \cdot y_{23.0} \\ 0 & 0 & 0 & \dots & 0 & 1 & 0 & x_{23.0} & y_{23.0} & x_{23.0}^{2} & y_{23.0}^{2} & x_{23.0} \cdot y_{23.0} \\ 0 & 0 & 0 & \dots & 0 & 0 & 1 & x_{23.0} & y_{23.0} & x_{23.0}^{2} & y_{23.0}^{2} & x_{23.0} \cdot y_{23.0} \\ 0 & 0 & 0 & \dots & 1 & 0 & 0 & x_{23.1} & y_{23.1} & x_{23.1}^{2} & y_{23.1}^{2} & x_{23.1} \cdot y_{23.1} \\ 0 & 0 & 0 & \dots & 0 & 1 & 0 & x_{23.1} & y_{23.1} & x_{23.1}^{2} & y_{23.1}^{2} & x_{23.1} \cdot y_{23.1} \\ 0 & 0 & 0 & \dots & 0 & 0 & 1 & x_{23.1} & y_{23.1} & x_{23.1}^{2} & y_{23.1}^{2} & x_{23.1} \cdot y_{23.1} \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \end{matrix}]$
Das Gleichungssystem hat dreimal so viele Zeilen wie Pixel P ∈ P_CC und ist typischerweise deutlich überbestimmt. Die quadratisch beste Lösung findet sich vorzugsweise durch Anwendung einer Pseudo-Inversen, insbesondere der Moore-Penrose-Pseudo-Inversen: $\hat{x} = {({\hat{E}}^{T} \cdot \hat{E})}^{- 1} \cdot {\hat{E}}^{T} \cdot \hat{y} .$
Aus dem gesuchten Vektor x̂ brauchen die letzten fünf Elemente, d.h., die Koeffizienten des zweidimensionalen Polynoms, nicht weiter berücksichtigt zu werden. Diese beinhalten nämlich nur die Helligkeitsverteilung, die nicht notwendigerweise explizit bestimmt werden muss, da es für die spätere Farbkorrektur lediglich notwendig ist, die korrigierten Farbwerte r_cc.i, g_cc.i und b_cc.i zu kennen. Sie können durch ein Anwenden der Exponentialfunktion, durch welche die anfängliche Logarithmierung zurückgedreht wird, wie folgt berechnet werden: $[\begin{matrix} r_{c c .0} \\ g_{c c .0} \\ b_{c c .0} \\ r_{c c .1} \\ g_{c c .1} \\ b_{c c .1} \\ ⋮ \\ r_{c c .23} \\ g_{c c .23} \\ b_{c c .23} \end{matrix}] = [\begin{matrix} e^{ln r_{c c .0}} \\ e^{ln g_{c c .0}} \\ e^{ln b_{c c .0}} \\ e^{ln r_{c c .1}} \\ e^{ln g_{c c .1}} \\ e^{ln b_{c c .1}} \\ ⋮ \\ e^{ln r_{c c .23}} \\ e^{ln g_{c c .23}} \\ e^{ln b_{c c .23}} \end{matrix}] .$
Im Ergebnis erhält man somit eine Schätzung der von der Kamera aufgenommen Farben der Color Checker-Farbfelder i für Vi ∈ {0..23} bei einer angenommenen homogenen Beleuchtungsverteilung, d.h., die inhomogene Helligkeitsverteilung wurde herausgerechnet. Hierbei sei allerdings erwähnt, dass die Farbwerte r_cc.i, g_cc.i und b_cc.i noch nicht normiert sind. Sie können also sehr groß oder auch sehr klein sein; lediglich die Farbverhältnisse stimmen zueinander.
Die wie vorstehend beschrieben bestimmten Farbwerte r_cc.i, g_cc.i und b_cc.i können in nachfolgenden Verarbeitungsschritten zum Weißabgleich und zum Bestimmen einer Farbkorrekturmatrix M, welche die nach dem Weißabgleich erhaltenen Farbwerte so transformiert, dass sie so gut wie möglich den tatsächlichen Farben der Farbfelder 3₀ bis 3₂₃ des Color Checkers 2 entsprechen, herangezogen werden.
Hierbei kann der Weißabgleich vorzugsweise auf Basis der unbunten Farbfelder 3₁₈ bis 3₂₃ (die untersten sechs Farbfelder) des Color Checkers 2 erfolgen. In einer möglichen Variante können die Mittelwerte r _cc.i, g _cc.i und b _cc.i der Farbwerte r_cc.i, g_cc.i und b_cc.i für i ∈ {18..23} bestimmt werden und zu den entsprechenden Mittelwerten der bekannten Helligkeiten der unbunten Farbfelder 3₁₈ bis 3₂₃ des Color Checkers 2 ins Verhältnis gesetzt werden. Im Ergebnis erhält man dann drei Weißabgleichsparameter oder Skalierungsfaktoren a_wb.r, a_wb.g und a_wb.b (wobei „wb“ für „white balanced“, also Weißabgleich steht) mit denen das von der Kamera aufgenommene Bild so abgeglichen werden kann, dass es die richtige Helligkeit aufweist, auch wenn das Eingangsbild grundsätzlich zu dunkel oder zu hell ist. Dabei findet auch gleich die erforderliche Normierung der Farbwerte r_cc.i, g_cc.i und b_cc.i statt.
Zum Bestimmen der Farbkorrekturmatrix M schließlich finden sich in der Literatur eine Reihe von Ansätzen auf die zurückgegriffen werden kann (siehe z.B. das US-Patent US 5,668,596 ).
4 zeigt schematisch und exemplarisch den Aufbau einer digitalen Kamera 10 mit einem Objektiv 22. Eine Bildszene 30, hier der vorstehend beschriebene Macbeth Color Checker, wird über das Objektiv 22 auf einen Bildsensor 31 abgebildet, welcher eine regelmäßige Anordnung lichtempfindlicher Elemente, sogenannter Pixel, aufweist. Der Bildsensor 31 übermittelt elektronische Daten an eine zumeist in der Kamera 10 befindliche Recheneinheit 32, die beispielsweise einen Prozessor, einen digitalen Signalprozessor (DSP) oder auch ein sogenanntes Field-Programmable-Gate-Array (FPGA) umfasst. Es kann dabei erforderlich sein, analoge Bilddaten in digitale Bilddaten, z.B. mittels eines Analog-Digital-Konverters (in der Figur nicht gezeigt), zu konvertieren. In der Recheneinheit 32 werden gegebenenfalls noch gewünschte mathematische Operationen, beispielsweise eine Farbkorrektur oder eine Umrechnung in ein anderes Bildformat, auf den Bilddaten ausgeführt bevor diese anschließend über eine Schnittstelle (Interface) 33 als elektronisches Signal 34 ausgegeben werden. Alternativ kann das Ausgangsbild auch außerhalb der digitalen Kamera 10 berechnet werden, werden, z.B. mit Hilfe eines Computers.
Die Erfindung kann in der Kamera 10 implementiert sein. In diesem Fall ist es beispielsweise möglich, dass die Recheneinheit 32 die Abbildungen einer Anzahl von Farbfeldern 3₀ bis 3₂₃ des Color Checkers 2 in dem von dem Bildsensor 31 aufgenommenen Bild 1 automatisch oder zumindest semi-automatisch detektiert und die Farbwerten r_x.y, g_x.y und b_x.y von Pixeln P des Bildes 1, die zu den Abbildungen korrespondieren, bereitstellt. Das Modellieren des durch die inhomogene Beleuchtung verursachten Fehlers der Farbwerte r_x.y, g_x.y und b_x.y als eine ortsabhängige, zweidimensionale Helligkeitsverteilung L_x.y, insbesondere als eine zweidimensionale Gaußverteilung der Helligkeit, und das Bestimmen der korrigierten Farbwerte r_cc.i, g_cc.i und b_cc.i aus den Farbwerten r_x.y, g_x.y und b_x.y unter Verwendung des Modells L_x.y kann dann ebenfalls von der Recheneinheit 32 durchgeführt werden.
Alternativ kann das Bestimmen der hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerte r_cc.i, g_cc.i und b_cc.i auch außerhalb der Kamera 10, beispielsweise in einer geeigneten Computervorrichtung, die eine entsprechende Recheneinheit umfasst, durchgeführt werden. In diesem Fall ist es beispielsweise möglich, dass ein von dem Bildsensor 31 aufgenommenes Bild 1 des Color Checkers 2 über das Interface 33 ausgeben und von der Computervorrichtung eingelesen wird. Die weiteren Verarbeitungsschritte können dann den vorstehend für die Kamera 10 beschriebenen Schritten entsprechen. Die so bestimmten korrigierten Farbwerten r_cc.i, g_cc.i und b_cc.i können von der Computereinrichtung zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor 31 aufgenommenen Bildes 1 und/oder zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor 31 aufgenommenen Bildes 1 verwendet werden. Die so bestimmten Weißabgleichsparameter und/oder Farbkorrekturparameter können dann über die Schnittstelle in die Kamera 10 eingespeist werden und zum Weißabgleich und/oder zur Farbkorrektur eines mit dem Bildsensor 31 aufgenommen Bildes 1 verwendet werden. Andere Aufteilungen der notwendigen Verarbeitungsschritte zwischen der Kamera 10 und einer externen Vorrichtung sind natürlich ebenfalls denkbar.
Während die Erfindung vorstehend unter Bezugnahme auf den bekannten Macbeth Color Checker beschrieben wurde, kann diese auch unter Verwendung einer anderen Farbkarte realisiert sein. Beispielsweise kann die Farbkarte anstatt 24 Farbfelder eine größere oder kleinere Anzahl von Farbfeldern aufweisen, die Farbfelder können anders angeordnet sein und/oder eine andere als eine quadratische Form aufweisen, oder die Farbkarte kann andere Farben und/oder andere Graustufen verwenden.
In der vorstehend beschriebenen Herleitung wurden alle 24 Farbfelder des Macbeth Color Checkers zur Ermittlung der Korrekturdaten verwendet. Auch diese ist nicht notwendigerweise erforderlich und es kann in anderen Ausführungsformen der Erfindung auch eine kleinere Anzahl Farbfelder, z.B. nur die 16 äußeren Farbfelder 3₀ bis 3₆ , 3₁₁ , 3₁₂ , und 3₁₇ bis 3₂₃ , verwendet werden. Auch ist es gemäß der Erfindung möglich, dass verschiedene Bereiche des Bildes 1 jeweils mit einer eigenen ortsabhängigen, zweidimensionale Helligkeitsverteilung (L_x.y) beschrieben werden. Zur Korrektur der Farbwerte r_x.y, g_x.y, b_x.y in einem jeweiligen Bereich kann dann die in diesem Bereich abgebildete Anzahl von Farbfeldern (oder eine Untermenge derselben) herangezogen werden.
Zudem wurden in der Herleitung die Koeffizienten a₀₀, a₁₂, a₂₁ und a₂₂ des zweidimensionalen Polynoms zweiten Grades zu Null gesetzt. In anderen Ausführungsformen ist es auch möglich, dass stattdessen z.B. nur der Koeffizient a₀₀ oder der Koeffizient a₀₀ und ein oder mehrere weitere Koeffizienten auf Null gesetzt werden, so lange das verbleibende Polynom die Helligkeitsverteilung ausreichend gut approximiert. Darüber hinaus ist die Erfindung auch nicht auf Polynome zweiten Grades beschränkt, sondern es können auch höhergradige Polynome, z.B. Polynome dritten oder vierten Grades verwendet werden.
Während in der vorstehend beschriebenen Herleitung die digitale Kamera eine Flächenkamera ist und das Polynom, durch das die additive Helligkeitsverteilung angenähert ist, ein zweidimensionales Polynom ist, kann das Polynom in anderen Ausführungsformen z.B. auch ein eindimensionales Polynom sein. Dies ist beispielsweise dann vorteilhaft, wenn die digitale Kamera eine Zeilenkamera ist. Darüber hinaus muss die Funktion, durch die die additive Helligkeitsverteilung angenähert ist, auch nicht notwendigerweise ein Polynom sein. Beispielsweise kann diese Funktion in anderen Ausführungsformen auch eine Cosinus-förmige Funktion oder eine andere geeignete Funktion sein, wenn diese Funktion dem Strahlungsprofil der betrachteten Lichtquelle zumindest näherungsweise entspricht.
Während die Erfindung vorstehend für den Fall beschrieben wurde, dass Ursache für die Aufnahme mit einer inhomogenen Helligkeit in einer inhomogenen Beleuchtung der Farbkarte, hier des bekannten Macbeth Color Checkers, liegt, kann die Ursache in anderen Fällen auch z.B. in Vignettierungseffekten oder anderen durch die Optik der Kamera hervorgerufenen Effekten liegen. Die Erfindung ist also nicht auf ein Bestimmen von hinsichtlich einer inhomogenen Beleuchtung korrigierten Farbwerten beschränkt, sondern sie umfasst beispielsweise auch ein Bestimmen von hinsichtlich Vignettierungseffekten korrigierten Farbwerten.
Weitere Variationen der offenbarten Ausführungsformen können von einem die beanspruchte Erfindung praktizierenden Fachmann aus einer Betrachtung der Zeichnungen, der Beschreibung und der beigefügten Ansprüche verstanden und ausgeführt werden.
In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.
Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
Zusammengefasst wurde eine Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten eines mit einem Bildsensor einer digitalen Kamera aufgenommenen Bildes einer Farbkarte bereitgestellt, wobei die Einrichtung umfasst: Mittel zum Bereitstellen von Farbwerten von Pixeln des Bildes, die zu Abbildungen einer Anzahl von Farbfeldern der Farbkarte in dem Bild korrespondieren; und Mittel zum Bestimmen der korrigierten Farbwerte aus den Farbwerten unter Verwendung des Modells, das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte als eine ortsabhängige, zweidimensionale Helligkeitsverteilung modelliert, wobei das Bestimmen der korrigierten Farbwerte ein Logarithmieren der Farbwerte umfasst und das Modell für alle logarithmierten Farbwerte jeweils einen Offsetwert, der für Pixel, die zu der Abbildung eines selben Farbfeldes korrespondieren, jeweils gleich ist, und einen ortsabhängigen Wert einer additiven Helligkeitsverteilung, die der Anzahl von Farbfeldern überlagert ist und durch eine Funktion angenähert ist, liefert.

Claims

Einrichtung zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten (r_cc.i, g_cc.i, b_cc.i) eines mit einem Bildsensor (31) einer digitalen Kamera (10) aufgenommenen Bildes (1) einer Farbkarte (2), wobei die Einrichtung umfasst: - Mittel zum Bereitstellen von Farbwerten (r_x.y, g_x.y, b_x.y) von Pixeln (P) des Bildes (1), die zu Abbildungen einer Anzahl von Farbfeldern (3₀ bis 3₂₃) der Farbkarte (2) in dem Bild (1) korrespondieren; und - Mittel zum Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) aus den Farbwerten (r_x.y, g_x.y, b_x.y) unter Verwendung eines Modells (L_x.y), das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte (r_x.y, g_x.y, b_x.y) als eine ortsabhängige, zweidimensionale Helligkeitsverteilung (L_x.y) modelliert; wobei das Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) ein Logarithmieren der Farbwerte (r_x.y, g_x.y, b_x.y) umfasst und das Modell für alle logarithmierten Farbwerte (ln r_x.y, ln g_x.y, ln b_x.y) jeweils einen Offsetwert, der für Pixel (P), die zu der Abbildung eines selben Farbfeldes (3₀ bis 3₂₃) korrespondieren, jeweils gleich ist, und einen ortsabhängigen Wert einer additiven Helligkeitsverteilung, die der Anzahl von Farbfeldern (3₀ bis 3₂₃) überlagert ist und durch eine Funktion angenähert ist, liefert.
Einrichtung nach Anspruch 1, wobei die ortsabhängige, zweidimensionale Helligkeitsverteilung (L_x.y) als eine zweidimensionale Gaußverteilung der Helligkeit modelliert ist.
Einrichtung nach Anspruch 1 oder 2, wobei das Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) das Bestimmen einer näherungsweisen Lösung eines überbestimmten linearen Gleichungssystems umfasst.
Einrichtung nach Anspruch 3, wobei das Bestimmen der näherungsweisen Lösung des überbestimmten linearen Gleichungssystems durch Anwendung einer Pseudo-Inversen, insbesondere der Moore-Penrose-Pseudo-Inversen, erfolgt.
Einrichtung nach einem der Ansprüche 1 bis 4, wobei die korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) aus den Offsetwerten durch Anwenden der Exponentialfunktion bestimmt werden.
Einrichtung nach einem der Ansprüche 1 bis 5, wobei die Funktion, durch die die additive Helligkeitsverteilung angenähert ist, ein Polynom ist.
Einrichtung nach Anspruch 6, wobei das Polynom ein Polynom zweiten Grades ist.
Einrichtung nach Anspruch 6 oder 7, wobei in dem Polynom das Absolutglied (a₀₀) zu Null gesetzt ist.
Einrichtung nach einem der Ansprüche 1 bis 8, wobei das Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) des Weiteren eine gemeinsame Normierung auf eine vorbestimmte Helligkeit umfasst.
Einrichtung nach einem der Ansprüche 1 bis 9, wobei die Einrichtung des Weiteren umfasst: - Mittel zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor (31) aufgenommenen Bildes (1), wobei die Weißabgleichsparameter basierend auf den korrigierten Farbwerten (r_cc.i, g_cc.i, b_cc.i) bestimmt werden.
Einrichtung nach einem der Ansprüche 1 bis 10, wobei die Einrichtung des Weiteren umfasst: - Mittel zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor (31) aufgenommenen Bildes (1), wobei die Farbkorrekturparameter basierend auf den korrigierten Farbwerten (r_cc.i, g_cc.i, b_cc.i) bestimmt werden.
Digitale Kamera (10), umfassend: - einen Bildsensor (31) zum Aufnehmen eines Bildes (1) einer Farbkarte (2); und - die Einrichtung nach einem der Anspruche 1 bis 11 zum Bestimmen der hinsichtlich der Aufnahme mit der inhomogenen Helligkeit korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) des aufgenommenen Bildes (1) der Farbkarte (2).
Verfahren zum Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten (r_cc.i, g_cc.i, b_cc.i) eines mit einem Bildsensor (31) einer digitalen Kamera (10) aufgenommenen Bildes (1) einer Farbkarte (2), wobei das Verfahren umfasst: - Bereitstellen von Farbwerten (r_x.y, g_x.y, b_x.y) von Pixeln (P) des Bildes (1), die zu Abbildungen einer Anzahl von Farbfeldern (3o bis 3₂₃) der Farbkarte (2) in dem Bild (1) korrespondieren; und - Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) aus den Farbwerten (r_x.y, g_x.y, b_x.y) unter Verwendung eines Modells (L_x.y), das einen durch die Aufnahme mit der inhomogenen Helligkeit verursachten Fehler der Farbwerte (r_x.y, g_x.y, b_x.y) als eine ortsabhängige, zweidimensionale Helligkeitsverteilung (L_x.y) modelliert, wobei das Bestimmen der korrigierten Farbwerte (r_cc.i, g_cc.i, b_cc.i) ein Logarithmieren der Farbwerte (r_x.y, g_x.y, b_x.y) umfasst und das Modell für alle logarithmierten Farbwerte (lnr_x.y, In g_x.y, In b_x.y) jeweils einen Offsetwert, der für Pixel (P), die zu der Abbildung eines selben Farbfeldes (3₀ bis 3₂₃) korrespondieren, jeweils gleich ist, und einen ortsabhängigen Wert einer additiven Helligkeitsverteilung, die der Anzahl von Farbfeldern (3₀ bis 3₂₃) überlagert ist und durch eine Funktion angenähert ist, liefert.
Verwendung von korrigierten Farbwerten (r_cc.i, g_cc.i, b_cc.i), die mittels des Verfahrens nach Anspruch 13 bestimmt worden sind, zum Bestimmen von Weißabgleichsparametern zum Weißabgleich eines mit dem Bildsensor (31) aufgenommenen Bildes (1) und/oder zum Bestimmen von Farbkorrekturparametern zur Farbkorrektur eines mit dem Bildsensor (31) aufgenommenen Bildes (1).
Computervorrichtung, umfassend eine Recheneinheit, die zur Durchführung des Verfahrens nach Anspruch 13 ausgestaltet ist.
Computerprogramm-Produkt, umfassend Programmcodemittel zum Veranlassen einer Computervorrichtung zum Ausführen des Verfahrens nach Anspruch 13, wenn das Computerprogramm-Produkt auf der Computervorrichtung ausgeführt wird.