DE102019106252A1

DE102019106252A1 - Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung

Info

Publication number: DE102019106252A1
Application number: DE102019106252.7A
Authority: DE
Inventors: Evgeny Krestyannikov; Dmytro Paliy
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2018-04-10
Filing date: 2019-03-12
Publication date: 2019-10-10
Also published as: US20190045162A1; US10542243B2

Abstract

Ein System, Gegenstand und Verfahren zur Durchführung von Lichtquellenschätzung zur Bildverarbeitung umfasst das Messen einer Kompaktheit der Verteilung der Bilddaten, um eine Lichtquelle auszuwählen.

Description

HINTERGRUNG
Elektronische Vorrichtungen wie z. B. Smartphones, Tablets und tragbare Rechner werden aus Gründen des Benutzerkomforts miniaturisiert, was wiederum die Miniaturisierung von elektronischen Komponenten in solchen Vorrichtungen mit sich bringt. Dies umfasst digitale Kameras, die in der Lage sind, digitale Bilder herzustellen. Obwohl das Reduzieren von Formfaktoren den Benutzerkomfort erhöhen kann, geschieht dies oftmals zum Nachteil der Leistungsfähigkeit oder der Qualität.
Bei Digitalkameras ordnen schlankere Formfaktoren die Linsen und Filter so nahe an den Kamerasensoren an, dass die resultierenden digitalen Bilder oftmals Bildfehler und Verfärbungen aufweisen. Die Haupttechniken zur Farbwiederherstellung, um solche Effekte abzuschwächen und um die Originalfarben wiederherzustellen, sind die Linsenabschattungskorrektur (LSC), der automatische Weißabgleich (AWB) und die Sensor-zu-Standard-Farbraumumwandlung. Die Linsenabschattung bezieht sich auf die Abschwächung des Bilds, wenn das Bild nahe der Mitte des Bilds heller und nahe dem Rand des Bilds dunkler ist. Diese Abschwächung variiert unter Bildgebungssensorfarbkanälen und wird hauptsächlich durch optische Systemkomponenten bewirkt, wenn das Licht aufgrund des geringen Abstands zwischen den optischen Komponenten und dem Sensor in einem steilen (großen) Winkel auf einem Kamerasensor auftrifft. LSC ist eine Technik, die verwendet wird, um eine solche Signalverschlechterung zu kompensieren. Da das Abschwächungsausmaß sowie eine Weißpunkt- und eine Farbraumumwandlungsmatrix (CCM) eine Funktion des auftretenden Lichtspektrums sind, profitiert die Farbwiederherstellung von dem Wissen über das wahre Leuchtmittel, um die Abschwächung ausreichend zu eliminieren, um die Weißpunkt- und Farbumwandlung zu berechnen um damit einhergehend ein qualitativ gutes Bild bereitzustellen. Ist die Lichtquelle unbekannt oder wird sie falsch geschätzt (d. h. die falsche Lichtquelle wird ausgewählt), kann die Abschwächung nicht adäquat entfernt werden und andere auffällige, starke Verfärbungen können auf dem Bild sichtbar sein.
Figurenliste
Das hierin beschriebene Material wird in den beiliegenden Figuren als Beispiel veranschaulicht und nicht zum Zweck der Einschränkung. Zum Zweck der Einfachheit und Klarheit der Veranschaulichung sind in den Figuren veranschaulichte Elemente nicht notwendigerweise maßstabsgerecht gezeichnet. Beispielsweise können die Maße mancher Elemente in Bezug auf andere Elemente zum Zweck der Klarheit überzeichnet sein. Ferner wurden Bezugsmarkierungen unter den Figuren wiederholt, um entsprechende oder analoge Elemente anzugeben. In den Figuren ist bzw. sind:

1 eine Veranschaulichung eines Bilds mit Lichtabschwächung;
2 eine Kurve, die die Intensitätsvariation für die Lichtabschwächung des Bilds aus 1 zeigt;
3 ein Graph, der die Pixelintensitätswerte für unterschiedliche Farbkanäle zeigt, und die unter Verwendung der korrekten Lichtquellenschätzung korrigiert wurden, um eine Linsenabschattungskorrektur vorzunehmen;
4 ein Graph, der die Pixelintensitätswerte für unterschiedliche Farbkanäle zeigt, und die unter Verwendung der falschen Lichtquellenschätzung korrigiert wurden, um eine Linsenabschattungskorrektur vorzunehmen;
5 ein Polardiagramm, das eine Datenverteilung in Farbtonsättigungswert(HSV)-Farbraum eines mit einer inkorrekten Lichtquellenschätzung korrigierten Bilds zeigt;
6 ein Polardiagramm, das eine Datenverteilung in HSV-Farbraum eines mit einer korrekten Lichtquellenschätzung korrigierten Bilds zeigt;
7 ein schematisches Diagramm einer Bildverarbeitungsvorrichtung, um eine Lichtquellenschätzung entsprechend zumindest einer der hierin genannten Implementierungen durchzuführen;
8 ein Flussdiagramm eines Verfahrens der Lichtquellenschätzung zur Bildverarbeitung gemäß zumindest einer der hierin genannten Implementierungen;
9 ein schematisches Diagramm einer Bildverarbeitungsvorrichtung um 3A Operationen gemäß zumindest einer hierin genannten Implementierung durchzuführen;
9A ein schematisches Diagramm einer Lichtquellenschätzung der Vorrichtung von 9 und die eine Lichtquellenschätzung gemäß zumindest einer der hierin genannten Implementierungen durchführt;
9B ein schematisches Diagramm einer Farbvariationsschätzungseinheit der Lichtquellenschätzungseinheit von 9A;
10 ein schematisches Diagramm einer alternativen beispielhaften Bildverarbeitungsvorrichtung, um 3A-Operationen einschließlich LSC mit Lichtquellenschätzung gemäß zumindest einer der hierin genannten Implementierungen vorzunehmen;
11A-11C ein detailliertes Flussdiagramm eines Verfahrens zur Lichtquellenschätzung zur Bildverarbeitung gemäß zumindest einer der hierin genannten Implementierungen;
12A ein Farbraumdiagramm eines CIE 1976-Farbdiagramms mit überlagerten MacAdam-Ellipsen, die gerade erkennbare Farbunterschiede, wie sie von dem menschlichen visuellen System wahrgenommen werden, zeigen;
12B ein Graph der Datenverteilung in dem Farbartraum R/G, B/G von einem Beispielbild und zeigt die Hauptachsen der Datenvariabilität, die gemeinsam mit der Kompaktheit gemäß zumindest einer hierin genannten Implementierung gemessen werden kann;
13A ein Flussdiagramm eines Verfahrens zur Linsenabschattungskorrektur unter Verwendung der Lichtquellenschätzung gemäß zumindest einer der hierin genannten Implementierungen;
13B ein Flussdiagramm eines Verfahrens zum automatischen Weißabgleich unter Verwendung der Ergebnisse des Lichtquellenschätzungsverfahrens gemäß einer der hierin genannten Implementierungen;
13C ein Flussdiagramm eines Verfahrens der Farbumwandlung unter Verwendung des Lichtquellenschätzungsverfahrens gemäß zumindest einer der hierin genannten Implementierungen;
14A-14D Graphen bezüglich Lichtquellenschätzungsergebnissen mit einem konventionellen Ansatz im HSV-Raum;
14E-14H Graphen bezüglich Lichtquellenschätzungsergebnissen gemäß zumindest einer der hierin genannten Implementierungen;
15 ein Testbild, das eine Region von Interesse zeigt, die zum Testen des hierin genannten Verfahrens verwendet wird, wenn die eigentliche Lichtquelle nicht durch verfügbare Linsenabschattungskorrekturraster dargestellt wird;
16A ein Polardiagramm, das eine Farbdatenverteilung in einem HSV-Raum für standardmäßige, weißglühende A-Lichtquelle zeigt;
16B ein Polardiagramm, das eine Farbdatenverteilung in einem HSV-Raum für eine standardmäßige, fluoreszierende F12-Lichtquelle zeigt;
17 ein Graph, der die Farbverhältnisverteilung zweier unterschiedlicher Lichtquellen und gemäß dem durchgeführten Test zeigt;
18 ein Beispielbild einer Szene im Freien bei korrelierter Farbtemperatur (CCT) 6000K;
19 ein Beispielbild einer Szene im Freien bei CCT 3600K um mit 18 Bilder zu zeigen, die von Bild zu Bild eine Änderung des Weißpunkts aufweisen und wo die geschätzte Lichtquelle nicht für den automatischen Weiß ab gleich gemäß den hierin genannten Implementierungen verfügbar ist;
20 ein Beispielbild einer Szene in geschlossenen Räumen unter CCT 3600K, um mit 18 Bilder zu zeigen, die eine Änderung des Weißpunkts von Bild zu Bild aufweisen und wo die korrekte geschätzte Lichtquelle für einen automatischen Weißabgleich gemäß zumindest einer der hierin genannten Implementierungen bereitgestellt ist;
21 ein veranschaulichendes Diagramm eines Beispielsystems;
22 ein veranschaulichendes Diagramm eines anderen Beispielsystems; und
23 veranschaulicht eine andere Beispielvorrichtung, die in Übereinstimmung mit zumindest manchen Implementierungen der vorliegenden Offenbarung angeordnet ist.

DETAILLIERTE BESCHREIBUNG
Eine oder mehrere Implementierungen werden nun in Bezug auf die beiliegenden Figuren beschrieben. Obwohl spezifische Konfigurationen und Anordnungen diskutiert werden, geschieht dies lediglich zu veranschaulichenden Zwecken. Fachleute auf dem Gebiet der Erfindung verstehen, dass andere Konfigurationen und Anordnungen eingesetzt werden können, ohne von der Absicht und dem Schutzumfang der Beschreibung abzuweichen. Fachleuten auf dem betreffenden Gebiet der Erfindung ist klar, dass hierin beschriebene Techniken und/oder Anordnungen auch in einer Vielzahl von anderen Systemen und Anwendungen eingesetzt werden können, die von den hierin beschriebenen abweichen.
Obwohl die folgende Beschreibung unterschiedliche Implementierungen angibt, die beispielsweise in Architekturen wie den Ein-Chip-System- (SoC-) Architekturen aufscheinen können, sind die hierin beschriebenen Implementierungen der Techniken und/oder der Anordnungen nicht auf bestimmte Architekturen und/oder Rechnersysteme beschränkt und können durch eine beliebige Architektur und/oder Rechnersystemen zu ähnlichen Zwecken implementiert werden. Beispielsweise können unterschiedliche Architekturen, die beispielsweise mehrere integrierte Schaltungs- (IC-) Chips und/oder Pakete und/oder verschiedene Rechnervorrichtungen und/oder elektronische Verbraucher(CE)-Vorrichtungen wie z. B. Bildgebungsvorrichtungen, Digitalkameras, Smartphones, Webcams, Videokameras, Videospielpanele oder -konsolen, Set-Top-Boxen und so weiter einsetzen, die hierin beschriebenen Techniken und/oder Anordnungen implementieren. Ferner kann der beanspruchte Gegenstand ohne solch spezifische Details umgesetzt werden, obwohl die folgende Beschreibung zahlreiche spezifische Details wie z. B. logische Implementierungen, Typen und Wechselbeziehungen von Systemkomponenten, logische Unterteilungs-/Integrationswahlen und so weiter angeben kann. In anderen Fällen kann manches Material wie z. B. Kontrollstrukturen und vollständige Software-Anweisungssequenzen nicht detailliert gezeigt werden, um nicht das hierin offenbarte Material zu verschleiern. Das hierin beschriebene Material kann in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden.
Das hierin beschriebene Material kann auch als Anweisungen implementiert werden, die auf einem maschinenlesbaren Medium oder Speicher gespeichert sind, das bzw. der von einem oder mehreren Prozessoren gelesen und ausgeführt werden kann. Ein maschinenlesbares Medium kann ein beliebiges Medium und/oder einen Mechanismus zum Speichern oder Übertragen von Informationen in einer Form umfassen, die von einer Maschine (z. B. einer Rechenvorrichtung) gelesen werden kann. Beispielsweise kann ein maschinenlesbares Medium einen Festwertspeicher (ROM), Direktzugriffsspeicher (RAM); Magnetplattenspeichermedien; optische Speichermedien; Flash-Speichergeräte; elektrische, optische, akustische oder andere Formen von sich ausbreitenden Signalen (z. B. Trägerwellen, Infrarotsignale, digitale Signale usw.) und andere umfassen. Auf andere Weise kann ein nichttransitorischer Gegenstand, wie z. B. ein nichttransitorisches, computerlesbares Medium mit einem beliebigen der zuvor erwähnten Beispiele oder anderen Beispielen verwendet werden, außer dass es kein transitorisches Signal per se umfasst. Es umfasst diese Elemente abgesehen von einem Signal per se, das Daten temporär auf „transitorische“ Weise, wie z. B. als RAM und so weiter, speichern kann.
Bezugnahmen in der Beschreibung auf „eine Implementierung“ „eine beispielhafte Implementierung“ und so weiter zeigen an, dass die beschriebene Implementierung eine bestimmte Eigenschaft, Struktur oder ein bestimmtes Kennzeichen umfassen kann, aber jede Implementierung muss nicht notwendigerweise die bestimmte Eigenschaft, Struktur oder ein bestimmtes Kennzeichen umfassen. Darüber hinaus beziehen sich solche Phrasen nicht notwendigerweise auf dieselbe Implementierung. Ferner wird geltend gemacht, dass, wenn eine bestimmte Eigenschaft, Struktur oder ein bestimmtes Kennzeichen in Verbindung mit einer Implementierung beschrieben wird, dies im Rahmen des Wissenshorizonts von Fachleuten auf dem Gebiet der Erfindung liegt, um eine solche Eigenschaft, Struktur oder ein solches Kennzeichen in Verbindung mit anderen Implementierungen zu beeinflussen, ungeachtet dessen, ob sie bzw. es hierin explizit beschrieben ist oder nicht.
Systeme, Gegenstände und Verfahren der Lichtquellenschätzung zur Bildverarbeitung
Eine multifunktionale elektronische Vorrichtung, die Bilder aufnehmen kann, wie z. B. ein Smartphone, Mobiltelefon, ein Tablet, Laptop, und so weiter mit einem mobilen Kameramodul kann oft einen Formfaktor aufweisen, wobei die Maße so dimensioniert sind, dass sie leicht in die Handfläche einer durchschnittlichen Hand eines Benutzers passt. In solchen Fällen kann die kleine elektronische Vorrichtung eine Tiefe aufweisen, die so gering ist, dass sie in Millimetern (mm) gemessen werden kann. Beispielsweise können konventionelle Smartphones leicht eine repräsentative Tiefe von 7,6 mm oder weniger aufweisen. Umfasst eine Vorrichtung von solch geringer Tiefe ein Bildaufnahmemodul wie z. B. eine Digitalkamera, verringert dies notwendigerweise einen Abstand zwischen den optischen Elementen der Kamera und einem Bildsensor. Der verringerte Abstand bewirkt, dass Licht in steilen Winkeln auf den Bildsensor auftrifft, wie z. B. beim Konzentrieren von Licht in Richtung eines Mittelpunkts des Bildsensors, was eine ungleiche Abschwächung bewirkt, die in einer Abschwächung von Licht in Richtung der äußeren Ränder des Bildsensors resultiert, wie auf dem Bild (oder der Sensorebene) 10 (1) gezeigt, das mit einem Sensor und unter Verwendung eines flachen Testbereichs aufgenommen wurde. Je näher sich die optischen Elemente zu dem Sensor befinden, umso größer ist der Strahlwinkel und umso stärker ist die Verschlechterung. Der reduzierte Abstand zwischen optischen Elementen und Sensor bewirkt, dass das Licht auf unterschiedliche Teile des Bildsensors auf ungleichmäßige Weise auftrifft, beispielsweise konzentriert sich das Licht in Richtung eines Mittelpunkts des Bildsensors und das Licht ist in Richtung der äußeren Ränder des Bildsensors abgeschwächt, wie auf dem Bild 10 (1) gezeigt ist, das mit einem Sensor und einem flachen Testbereich aufgenommen wurde. Wie in 1 gezeigt, sind die Eckenbereiche 12 von Bild 10 dunkler als ein mittlerer Bereich 14 von Bild 10. Dies legt nahe, dass die Lichtabschwächung (auch als Signalabschwächung bezeichnet) aufgrund von optischer Linsenabschattung oder Eckenabschattung in Bezug auf die Eckenbereiche 12 größer ist als in Bezug auf den mittleren Bereich 14.
Diese Abschwächung kann nicht über die Farbebenen hinweg gleichmäßig sein, was in starken Farbverzerrungen resultiert. Insbesondere das Ausmaß an Abschwächung, oder das Ausmaß dessen, wie viel Licht abgeschwächt ist, ist je nach den Farbkanälen unterschiedlich und hängt von einem Lichtspektrum des eintretenden Lichts ab (Lichtspektrum kann hierin auch als eine Spektralempfindlichkeit bezeichnet werden). Die Abschwächung ist in dem optischen Mittelpunkt minimal, während sie mit dem Abstand von dem optischen Mittelpunkt zunimmt. Jedoch fühlen die Sensoren unterschiedliche Farbteile des Lichtspektrums wie rot, grün und blau an unterschiedlichen Teilen des Bilds ab und registrieren diese, da ein Großteil der digitalen Bildgebungssensoren mit Farbfilteranordnungen (CFAs) ausgestattet ist, um die Farbinformationen in digitalen Bildern nachzubilden oder wiederherzustellen. Daher variiert die Abschwächung in unterschiedlichen Farbkanälen (beispielsweise Teilbereichen des vollständigen sichtbaren Spektrums) zusätzlich zu der ungleichmäßigen Abschwächung von einem Mittelpunkt zu den Ecken eines Bilds. Als Ergebnis variiert eine solche Abschwächung in unterschiedlichen Farbkanälen, was in schweren Farbfehlern und Farbabbau resultiert, wenn das Bild unsachgemäß wiederhergestellt wird.
Zusätzlich zu der Geometrie (z. B. Hauptstrahlwinkel) einer Modulkonfiguration und des Lichtspektrums von eintretendem Licht kann die Abschwächung auch auf den optischen Elementen (z. B. Linsen, IR-Sperr(Infrarot)-Filter, Sensordesign und so weiter) basieren und möglicherweise anderen Faktoren variieren. Typische Ergebnisse sind digitale Bilder, die, wie erwähnt, in der Mitte heller sind und nahe den Rändern dunkler sind, sowie künstliche Farben und andere Farbfehler und Verfärbungen und eine Abschwächung in Bezug auf die Originalszene. 2 zeigt eine Farbebene von 1, wo die Vertikalachse die Helligkeit ist und die Basis die Pixelkoordinaten zeigt. Das Licht ist in der Mitte am hellsten und reduziert sich signifikant in Richtung der äußeren Ecken während Farbverzerrungen (nicht abgebildet) nicht regelmäßig über das ganze Bild auftreten können. Daher kann eine objektive Eigenschaft des optischen Systems, die Schätzung des Leuchtmittels, das verwendet wird, um eine aufgenommene Szene zu beleuchten, Verschlechterungen bewirken, in Abhängigkeit von der Genauigkeit der Schätzung. Dies kann ausgenutzt werden, indem die Schätzung, zu wissen, was die Lichtquelle ist, verbessert wird, und damit einhergehend Anwendungen wie AWB, CCM und andere, die von der Lichtquellenschätzung abhängig sind, verbessert werden.
Um solche Unregelmäßigkeiten zu verbessern, kann eine Bildaufnahmevorrichtung unterschiedliche Linsenabschattungskorrektur-(LSC-) Algorithmen implementieren, um zu kompensieren. Ein LSC-Algorithmus kann eine oder mehrere Korrektur-LCS-Tabellen (hierin auch als Korrekturraster bezeichnet) mit korrelierten Farbtemperatur- (CCT-) Faktoren, die mit ihnen in Verbindung stehen, verwendet werden, um eine solche Korrektur vorzunehmen. Wurde einmal eine LSC-Tabelle gebildet (oder, genauer, aus vorgespeicherten LSC-Tabellen ausgewählt) wird sie auf vorverarbeitete Bilddaten angewandt, um die Korrekturen vorzunehmen, bevor die Daten an einen Codierer bereitgestellt werden oder bevor das Bild beispielsweise angezeigt wird. Frühere Lösungen basierten auf der Verwendung von Verteilungen von Farbton- und Sättigungswerten (globale Statistikanalyse). Andere Lösungen verwenden eine blockbasierte lokale oder globale Farbabweichungsanalyse (lokale oder nicht lokale Statistikanalyse), die in dem US-Patent Nr. 9.361.537 , veröffentlicht am 7. Juni 2016 und dem US-Patent Nr. 9.186.909 , herausgegeben am 17. November 2015, offenbart sind, die beide in ihrer Gesamtheit für alle Zwecke hierin eingeschlossen sind.
Die herkömmlichen Korrekturvorgänge, die verwendet werden, um die LSC-Tabellen auszuwählen, ist jedoch immer noch zu ungenau. Insbesondere die Hauptfarbenwiederherstellungsalgorithmen in einer Bildverarbeitungspipeline, nämlich der Linsenabschattungskorrektur (LSC) und dem automatischen Weißabgleich (AWB), der einen Weißpunkt für ein Bild schätzt, sind auf eine Schätzung der Lichtquelle angewiesen (auch austauschbar hierin als Leuchtmittel verwendet), die das Licht der aufgenommenen Szene durch die Kamerasensoren bereitstellt und korrigiert wird. Zusätzlich dazu kann die nachfolgende Farbumwandlung durchgeführt werden, um Sensor-RGB-Bilddaten in andere standardmäßige Farbräume wie z. B. IEC sRGB, ITU-R BT.2100, und so weiter umzuwandeln, die verwendet werden, um die Bilder auf einer Anzeige darzustellen. Solch eine Farbumwandlung ist auch auf die Lichtquellenschätzung angewiesen.
Ein Leuchtmittel kann als eine mathematisch beschreibbare und technisch nachbildbare Lichtquelle gesehen werden, die für kolorimetrische Berechnungen verwendet wird. Unter einem Index von standardmäßigen Leuchtmitteln, der von einer Internationalen Kommission der Beleuchtung (CIE) geführt wird, finden sich beispielsweise ein Leuchtmittel A, das eine weißglühende Glühlampe, ein Leuchtmittel F, das unterschiedliche Arten von Fluoreszenzbeleuchtung darstellt oder eine Serie von Leuchtmitteln D für natürliches Tageslicht, um einige wenige Beispiele zu nennen. Die Lichtquelle wird gängigerweise ausgewählt, indem eine korrelierte Farbtemperatur (CCT) eines Bilds bestimmt wird (oder eines Teils eines Bilds wie z. B. ein Block von Pixeln) und indem dann die Lichtquelle und damit einhergehend eine Menge von LSC-Umwandlungstabellen ausgewählt wird, die mit der Lichtquelle in Verbindung stehen, sowie eine Weißpunkt- und eine Farbumwandlungsmatrix, die alle von der CCT abhängen.
Die Auswahl der falschen Lichtquelle kann eine unregelmäßige Abschwächung und damit einhergehend sichtbare Farbverzerrungen bewirken, da sich die Farbabstufungen als eine Funktion des Beleuchtungsspektrums ändern. Daher wird die richtige Schätzung der korrekten Lichtquelle sehr wichtig für die erfolgreiche Eliminierung von Farbabstufungsfehlern und den nachfolgenden Weißabgleich und Farbumwandlungen des wiederhergestellten Bilds. Manche Lichtquellen weisen jedoch sehr nah liegende CCTS auf, sodass die Lichtquellen verwechselt werden können, obwohl die Lichtquellen Licht mit sehr unterschiedlichen Lichtspektren abgeben. Solch ein Fehler kann die Farbabstufung auf unerwünschte Weise beeinflussen, wenn die falsche Lichtquelle ausgewählt wird, um die LSC-Tabellen einem aufgenommenen Bild mit einer anderen Lichtquelle bereitzustellen.
Bezugnehmend auf beispielsweise 3-4 werden die Pixelwerte der wiederhergestellten Bilder in den Diagrammen 300 und 400 gezeigt und zeigen die Pixelwerte entlang einer Diagonale eines flachen achromatischen Bilds beispielsweise von der oberen linken Ecke hin zu der unteren rechten Ecke, um das maximale Ausmaß einer beliebigen übrigen Abschwächung zu zeigen. Die Vertikalachse sind die Lichtintensitätswerte und die Horizontalachse ist die Pixelposition auf dem Bild. Die Bilder werden eigentlich unter Verwendung von weißglühendem Licht aufgenommen und Diagramm 300 zeigt die Ergebnisse eines unter Verwendung der LSC-Tabellen der korrekten weißglühenden Lichtquelle wiederhergestellten Bilds. Diagramm 400 zeigt das Ergebnis, wenn die LSC-Tabellen der falschen (fluoreszierenden) Lichtquelle verwendet werden. Ein ähnliches Ergebnis tritt auf, wenn die Abschattung überhaupt nicht korrekt korrigiert wird. Es kann beobachtet werden, dass die Unterschiede zwischen Farbkanälen, und damit einhergehend die Verhältnisse zwischen den Farbkanälen gewissermaßen gleichmäßig in Diagramm 300 (das eine flache graue/achromatische Szene auf dem Bild darstellt) mit dem korrekten Leuchtmittel sind, aber die Unterschiede in den Farbkanälen und daher die Farbverhältnisse variieren stark von Ecke zu Ecke des Bilds, das von Diagramm 400 dargestellt wird. Dies resultiert in einem bunten Bild mit unterschiedlichen Farben in unterschiedlichen Teilen des Bilds. Anders gesagt, erscheint das wiederhergestellte Bild, da die Farbverhältnisse zwischen rot und grün und blau und grün, Proben des wiederhergestellten Bilds nicht konstant entlang den Pixelpositionen (entlang der Horizontalachse) sind, mit räumlich variierenden Farbfehlern, die nicht genau mit der Originalszene im Bild übereinstimmen.
Diese Schwierigkeiten werden verschärft, wenn das Bild komplexe Szene mit kleinen flachen Bereichen bereitstellt, die eine kleine Datenmenge als Basis für die Lichtquellenschätzung bereitstellt, oder wenn die eigentliche Lichtquelle, die die Szene erhellt, nicht von den Linsenabschattungstabellen dargestellt wird.
In Bezug auf den automatischen Weißabgleich (AWB) umfasst dieser Korrekturvorgang das Lösen eines Farbkonsistenzproblems, das nach der räumlichen Farbkorrektur für eine genaue Wiederherstellung von Farben in dem wiederhergestellten Bild angewandt wird. Der Weißabgleich ahmt die einzigartige Fähigkeit des menschlichen visuellen Systems nach, die Erscheinungsform der Objekte mit derselben Farbe unter unterschiedlichen Beleuchtungsbedingungen wahrzunehmen. Der AWB-Algorithmus versucht, Farbartkoordinaten zu finden, die das farbneutrale „weiße“ Objekt auf dem Bild oder den weißen Punkt bestimmen. Wurde die Farbart der Lichtquelle bestimmt, werden verschiedene Farbkanäle des eingegebenen Bilds mit den Weißabgleichsverstärkungen korrigiert, um das Aussehen der weißen Farbe in dem ausgegebenen Bild konstant zu halten. Da der AWB LSC-korrigierte Bilddaten verwendet, kann dies jedoch in Verfärbungen resultieren, wenn die Linsenabschattungskorrektur auf der falschen Lichtquelle basierte.
Zusätzlich dazu ist der Weißpunkt auf monochromatischen und einfarbigen Szenen oftmals nicht mit gängigen Farbkonsistenzansätzen identifizierbar und kann stärkere Farbstiche in unterschiedlichen Einzelbildern in dynamischen Szenen produzieren. Ein Ansatz, um dies zu lösen, verwendet eine zeitliche Stabilisierung der Szene, die effektiv die Weißabgleichsfehler unter einem Leuchtmittel stabilisieren kann, indem ein vorher erzieltes über eine Anzahl an Bildern verwendet wird. Siehe beispielsweise die US-Patentanmeldung Nr. 15/857.455 , eingereicht am 28. Dezember 2017, und veröffentlicht als , am , und die in ihrer Gesamtheit und für alle Zwecke hierin umfasst ist. Diese Lösung ist jedoch oft nicht in der Lage, große einfarbige Objekte beim Vorliegen von Beleuchtungsveränderungen korrekt zu unterscheiden, wenn die Lichtquelle sich von Bild zu Bild ändert, wie z. B. wenn eine Kamera zuerst draußen Bilder aufnimmt und dann während derselben andauernden Videosequenz nach drinnen gebracht wird. Ein robuster und genauer Lichtquellenschätzungsalgorithmus wird oft verwendet, um die Änderung der Beleuchtungsbedingungen zu verfolgen und richtig zu handhaben.
In Bezug auf die Farbumwandlung ist die Kameraausgabe nach dem Weißabgleich normalerweise spezifisch in Bezug auf einen gegebenen Sensor. Die Umwandlung von einem Sensor-RGB-Farbraum in einen ZielsRGB-Raum kann durchgeführt werden, indem eine 3x3-Farbumwandlungsmatrix (CCM) verwendet wird, um ein konsistentes und sensorunabhängiges Ausgabeergebnis zu erhalten. Genaue Farbumwandlungsmatrizen werden normalerweise optimalerweise für unterschiedliche Lichtquellen vorbestimmt und werden dynamisch in der Bildgebungsvorrichtung, basierend auf der aktuellen Ausgabe eines AWB-Algorithmus ausgewählt. Insbesondere verwendet die Farbumwandlung eine CCT von einer Weißpunktschätzung, die von dem AWB bereitgestellt wird, um eine vorberechnete Farbumwandlungsmatrix auszuwählen. Dieser Ansatz basiert auf der Annahme, dass die Farbart von Beleuchtung, der von dem AWB-Algorithmus gegeben ist, genau ist und helfen kann, explizit die Auswahl der finalen CCM zu bestimmen. In der Praxis erweist sich dies jedoch nur selten als wahr, da viele Lichtquellen mit komplett unterschiedlichen Spektralempfindlichkeitscharakteristika und unterschiedlichen CCMs eine ähnliche Farbart wie der Weißpunkt aufweisen. Es ist möglich, jedoch nicht notwendigerweise immer wahr, dass die zwei Lichtquellen (beispielsweise A und F12) eine ähnliche Farbart wie der Weißpunkt und eine sehr ähnliche korrelierte Farbtemperatur aufweisen und daher verwechselt werden können, obwohl sie sehr unterschiedliche Lichtspektren aufweisen und damit einhergehend sehr unterschiedliche CCMs aufweisen. Die inkorrekte Auswahl der Lichtquelle von dem AWB und damit einhergehend eine inkorrekte CCM kann die Farbwiederherstellungsfehler verschärfen und die gesamte wahrgenommene Bildqualität reduzieren. Daher kann dies, wenn Leuchtmittel, die in Bezug auf die CCT nahe beieinander liegen, nicht genau und klar voneinander abgegrenzt werden können, die genaue Farbwiederherstellung einschränken und zeitliche Instabilitäten und Farbfehler für dynamische Szenen bewirken.
Um diese Probleme zu lösen, umfassen das hierin erwähnte Verfahren und das System einen Berechnungsansatz für Lichtquellenschätzung (LSE), der die messbaren Eigenschaften des optischen Bildgebungssystems und das Wissen über objektive Beschränkungen auf dem Leuchtmittel nützt. Insbesondere kann eine Sensor-RGB-Ausgabe erhalten werden, die eine nicht korrigierte räumliche Datenabschwächung umfassen kann. Bilddaten werden durch vorbestimmte Linsenabschattungskorrekturtabellen, die jeweils ein anderes Leuchtmittel einer endlichen Menge von verfügbaren Leuchtmitteln darstellen, die Linsenabschattungskorrekturtabellen für die Bildverarbeitung bereitstellen. Die modifizierten Bilddaten bilden Datenverteilungen für jedes verfügbare Leuchtmittel, das dann auf einen Farbartraum abgebildet ist, um die Farbvariationen (oder die Farbverteilung) der Datenverteilung für jedes Leuchtmittel auf dem Farbartraum zu messen. Um dies zu erzielen, berechnet das Verfahren Farbvariationen direkt in dem Farbartraum, indem eine lineare Transformation auf die Bilddaten angewandt wird, um herauszufinden (oder um zu messen), welche der Lichtquellen ein Korrekturraster (oder eine Lichtabschattungskorrekturtabelle) aufweist, die in der kleinsten Farbvariation (oder Farbverteilung oder Datenverteilung) resultiert und die hierin als die Kompaktheit der Datenverteilung bezeichnet wird. Dies wird in den 5-6 gezeigt, wo ein Polardiagramm 500 eines Farbartraums eine relativ große Farbverteilung zeigt, da ein inkorrektes Leuchtmittel für die Linsenabschattungskorrektur verwendet wird, während ein Polardiagramm 600 eine kompakte Farbverteilung zeigt, die wahrscheinlich aus der Verwendung eines inkorrekten Leuchtmittels für die Linsenabschattungskorrekturtabelle und damit einhergehend aus der Auswahl des korrekten Leuchtmittels gebildet wird. Die Graphen sind im HSV-Raum, wobei der Radius die Sättigung und der Winkel den Farbton misst. Daher wurde herausgefunden, dass eine geringere Farbabweichung (wie in 6 gezeigt) als Parameter einer solchen Verteilung eine größere Wahrscheinlichkeit ergibt, dass eine getestete Lichtquelle eine wahre Lichtquelle ist.
Diese Operationen berücksichtigen auch das menschliche visuelle System. Wie im Folgenden erklärt, wurde herausgefunden, dass Datenverteilungen, die sich allgemein zu MacAdam-Ellipsen und allgemein parallel zu einem mittleren Planckschen Farbart-Kurvenzug erstrecken, eine größere Plausibilität aufweisen, wahre Lichtquellen zu sein. Die lineare Transformation der Farbverteilung kann durchgeführt werden, indem eine Kovarianzmatrix für die Datenverteilung bestimmt wird, einschließlich des Gebrauchs einer Singulärwertzerlegung oder Hauptkomponentenanalysen- (PCA-) Zerlegung, um die Kovarianzkoeffizienten zu bestimmen und dann die Eigenwerte der Kovarianzmatrix zu bestimmen, um die Größe der Haupt- und Nebenachsen der Datenverteilungen zu bestimmen. Die Eigenwerte werden dann verwendet, um eine einzelne Größe der Datenverteilung und damit einhergehend eine Plausibilität zu bestimmen, dass das zur Bildung der Datenverteilung verwendete Leuchtmittel die wahre Lichtquelle ist. Dies kann für jede Datenverteilung durchgeführt werden, sodass jedes Leuchtmittel eine Wahrscheinlichkeit oder Plausibilität aufweist, das wahre Leuchtmittel zu sein.
Bezugnehmend auf 7 kann eine Bildverarbeitungsvorrichtung 700, die das hierin durchgeführte Lichtquellenschätzungsverfahren durchführt, ein Kameramodul 702, um Bilder aufzunehmen und um Rohbilddaten für jedes Bild bereitzustellen, ein oder mehrere Bildsignalprozessoren (ISP) 704, um die Verarbeitung für die Bildverarbeitungsvorrichtung durchzuführen und eine 3A-Einheit 706, die automatische Kameraanpassungen sowie Bilddatenmodifikationen durchführt, um die Qualität der resultierenden Bilder zu verbessern, umfassen.
Das Kameramodul 702 empfängt Licht von einer Szene, die von einem Leuchtmittel beleuchtet wird. Bei einer im Folgenden erklärten Form kann ein Sensor 703 bereitgestellt werden, um das eigentliche zur Beleuchtung der Szene verwendete Leuchtmittel zu identifizieren. Bei anderen Formen muss das Leuchtmittel geschätzt werden. Das Licht passiert durch die optischen Elemente 718 der Kamera und wird dann auf den Bildgebungssensoren 716 fokussiert. Jeder der Bildsensoren 716 kann auf einer beliebigen aus einer Vielzahl von Technologien zum Aufnehmen eines Bilds einer Szene basieren, einschließlich und nicht eingeschränkt auf ladungsgekoppelte Vorrichtung- (CCD-) Halbleitertechnologie. Jedes der optischen Elemente 718 kann aus einer oder mehreren Linsen, Spiegeln, Prismen, Blendenverschlüssen, Filtern etc. bestehen, die eingesetzt werden, um Bilder einer Szene zu übertragen und um das Sichtfeld der entsprechenden der Bildsensoren 716 zumindest teilweise zu bestimmen. Die Bildsensoren 716 und die optischen Elemente 718 (unabhängig von ihrer Menge) sind relativ zu einer auf solch eine Weise positioniert und ausgerichtet, dass sie dazu vorgesehen sind, jedem Paar von Bildsensoren und optischen Elementen ein Sichtfeld bereitzustellen, das sich mit den Sichtfeldern eines oder mehrere der Paare von Bildsensoren und optischen Elementen überlappt.
Eine digitale Ausgabe von Sensor 716 kann in der Form von Rohdaten vorliegen und wird dann von dem Bildsignalprozessor (ISP) 704 verarbeitet. Die Ausgabe des ISP 704 sind Bilddaten von verbesserter Qualität in einem vom Menschen wahrnehmbaren Format.
Farbinformationen sind ein Hauptfaktor, der zur Bildqualität beiträgt, der von der Szene und von beleuchtungsspezifischen Parametern abhängt. Farbkorrekturparameter können während der Kameralaufzeit dynamisch geschätzt werden, indem eine Szene aufgenommen und beispielsweise durch die 3A-Einheit 706 verarbeitet wird. Die Farbkorrekturparameter können dann dem ISP 704 für die Farbkorrektur und die Nachbildung der Bilder bereitgestellt werden. Die 3A-Einheit 706 kann eine Linsenabschattungskorrektur- (LSC-) Einheit 708, eine automatische Weißabgleichs- (AWB-) Einheit 710, eine Autofokus- (AF-) Einheit 712 und eine automatische Belichtungssteuerungs- (AEC-) Einheit 714 umfassen. Eine Farbumwandlungsmatrix- (CCM-) Einheit 715 kann auch bereitgestellt sein und kann als Teil der 3A-Einheit 706 gelten, um den Farbraum der verarbeiteten Bilder in einen standardmäßigen Farbraum zum Rendern oder Anzeigen der Bilder umzuwandeln. Die CCM-Einheit 716 kann Bilddaten verwenden, die schon von der LSC-Einheit 708 und der AWB-Einheit 710 korrigiert wurden, aber das ist nicht notwendigerweise immer so mit der hierin verwendeten Lichtquellenschätzungs- (LSE-) Technik und wie im Folgenden erklärt. Eine Lichtquellenschätzungseinheit 718 führt die hierin erwähnten LSE-Verfahren oder Techniken durch.
Normalerweise wurde die Farbkorrektur sequentiell durchgeführt, sodass die Daten erst gegen die Linsenabschattung korrigiert wird, um die Unregelmäßigkeit in den Farben zu entfernen, die dann als Eingabe für die Weißabgleichkorrektur gegeben ist, wonach die Sensorfarben durch eine CCM in standardmäßige Farbraumfarben umgewandelt werden. Die Lichtquellenschätzung war ein Teil der LSC-Einheit und beeinflusste nur Entscheidungen für die Linsenabschattungsanpassung. Nun führt in Vorrichtung 700 jedoch die Lichtquellenschätzungs- (LSE-) Einheit 718 die zuvor erwähnten Operationen durch, um die Plausibilitäten (oder Wahrscheinlichkeiten) zu erzeugen, dass jedes oder ein einzelnes Leuchtmittel das wahre Leuchtmittel ist, und kann dann die Plausibilitäten einzeln an die Lichtabschattungskorrektur- (LSC-) Einheit 708, die AWB-Einheit 710 und/oder die CCM-Einheit 716 weitergeben, um die Berechnung von entsprechenden Ausgabekorrekturparametern zu erleichtern und um spezifisch entsprechend ein finales zusammengesetztes LSC-Korrekturraster (oder -Tabelle), eine Weißpunkt- und/oder Farbumwandlungsmatrix zu erstellen.
In Bezug auf die LSC-Einheit 708 vereinfacht das hierin erwähnte LSE-Verfahren signifikant den LSC-Vorgang. Wurden die LSE-Plausibilitäten für jedes Leuchtmittel gebildet, wird die LSC-Tabelle, die der größten Plausibilität zugeordnet ist, als die finale LSC-Tabelle ausgewählt. Mit einer anderen Option können die Plausibilitäten als Gewichtungen für die LSC-Tabellen verwendet werden, um eine einzelne gewichtete mittlere finale zusammengesetzte LSC-Tabelle zu bilden, um die Bilddaten für die Anzeige zu modifizieren. Mit wiederum einer anderen möglichen Option können die LSE-Plausibilitäten als anfängliche Plausibilitäten gelten, die verwendet werden, um eine CCT-Wahrscheinlichkeit P_CCT (im Folgenden diskutiert) von jedem LSC-Tabellenkandidaten zu ersetzen oder zu verfeinern, um blockbasierte, AWB-angepasste und HSV-Raum-Fehler und Konfidenzwerte zu bestimmen, um die zusammengesetzten finalen LSC-Tabellen zu bilden. Noch eine andere Implementierung kann sein, die CCT-Wahrscheinlichkeit P_CCT von einem vorangegangenen Durchlauf als Ausgabe von einer LSE-Einheit zu verfeinern, um die Stabilität und Genauigkeit zu verbessern. Die Details werden im Folgenden erklärt.
Die AWB-Einheit 710 kann eine Eingabe einschließlich Bilddaten mit räumlichen Farbinvarianzen erhalten, die durch die Anwendung von LSC-Tabellen und anderen Kameracharakterisierungsinformationen korrigiert werden, um die Beleuchtungsfarbarten für die Farbtreue in einzelnen Einzelbildern oder temporär über dynamische Szenen in mehreren Einzelbildern zu schätzen. Wird der AWB auf Bilddaten angewandt, die basierend auf den korrekten Linsenabschattungskorrekturtabellen angepasst sind, weist das resultierende Bild weniger Abschwächung und Verfärbung auf. Zusätzlich dazu und spezifisch in Bezug auf den AWB kann ein genaues Wissen über das korrekte Szenenleuchtmittel wie von der LSE-Einheit bereitgestellt, helfen, die Leistung der AWB-Operationen für schwierige dynamische Szenen, die eine Änderung der Beleuchtungsbedingungen und/oder einen uneindeutigen Bildinhalt aufweisen, wie z. B. monochromatische Szenen, die von manchen einfarbigen Objekten dominiert werden, die durch AWB ununterscheidbar sind, die z. B. weiß, hellbraun oder hellblau sind und nicht für herkömmliche AWB-Algorithmen identifizierbar sind, zu stabilisieren und zu verbessern.
Zusätzlich dazu definiert der geschätzte Weißpunkt kein bestimmtes Leuchtmittel eindeutig, die Hilfsinformationen über das wahre Leuchtmittel, das für die Bildaufnahme verwendet wird, können die Weißpunktschätzungsaufgabe signifikant vereinfachen. Anders gesagt kann die AWB-Operation die Angabe des korrekten Leuchtmittels von den Linsenabschattungskorrekturtabellen verwenden, um beispielsweise den Suchbereich für den Weißpunkt in dem Farbraum einzuschränken, indem die AWB-Ergebnisse, die zu weit von dem wahren Leuchtmittel entfernt sind, ignoriert werden. Beispielsweise hat ein Lichtquellenschätzungsalgorithmus eine fluoreszierende F11-Lichtquelle mit korrelierter Farbtemperatur (CCT) 3840K detektiert, während der AWB den Weißpunkt mit der entsprechenden CCT 3200K festgestellt hat. Diese Informationen können ausreichend sein, um festzustellen, dass die AWB möglicherweise einen inkorrekten Weißpunkt festgestellt hat und dass der AWB den Weißpunkt stattdessen in Bezug auf die F11-Lichtquelle (z. B. Verschieben der Weißpunkt-Schätzung auf einen höheren CCT im Farbartraum) stabilisieren sollte.
Mit einer genaueren AWB-Bestimmung kann die CCM-Einheit 716 auch die CCM für die Farbumwandlung genauer auswählen, da eine korrelierte Farbtemperatur des genauen Weißpunkts verwendet werden kann, um eine CCM zu berechnen, die spezifisch für eine gegebene Szene als ein gewichteter Mittelwert von CCMs verwendet wird, der für eine Menge von unterschiedlichen Lichtquellen vorberechnet wurde. Ist das Lichtquellenschätzungsverfahren ausreichend genau, kann die CCM-Bestimmung auch von dem AWB entkoppelt werden, indem die Farbraumumwandlung direkt von der LSC-Einheit erhalten wird, indem unter Verwendung der LSC-Tabellen-Plausibilitäten die korrekte CCM bestimmt wird.
Daher steht das vorliegende Verfahren nicht in Verbindung mit der bloßen Farbart von Beleuchtungsschätzungsaufgaben, wie sie beispielsweise in einem automatischen Weißabgleich durchgeführt wird und die oftmals uneindeutige Lichtquellenerkennungen hervorbringen können. Stattdessen stellt die Verwendung der messbaren Eigenschaften einschließlich der Messung der Kompaktheit einer Datenverteilung in dem Farbartraum und während des Einbeziehens des menschlichen visuellen Systems (HVS) signifikant genauere Ergebnisse bereit. Daher verbessert das vorliegende Verfahren signifikant die Qualität der Farbwiederherstellung und der Farbnachbildung in einer Bildwiederherstellungspipeline durch bessere Leistung und verbesserte Genauigkeit von Linsenabschattung, automatischem Weißabgleich und Farbum wandlungsalgorithmen.
Insbesondere verbessert das Verfahren die Robustheit und die Genauigkeit des herkömmlichen Lichtquellenschätzungsalgorithmus und verlängert den Gebrauch der Lichtquellenschätzung, um den automatischen Weißabgleich und die Farbkorrektur zu unterstützen. Die Berechnungskomplexität der vorgeschlagenen Lösung ist niedriger als eine Komplexität der herkömmlichen Lösung, da sie die Messung im Sensor-Farbartraum ohne den Bedarf durchführt, eine Datenumwandlung in einen HSV-Raum durchzuführen, wie sie in einer herkömmlichen LSC verwendet wird. Wird das vorliegende Verfahren statt konventioneller LSC verwendet, kann dies eine Fähigkeit für weitere Verbesserungen bereitstellen, z. B. schnellere und robustere Anpassungen an eine neue Lichtquelle. Das hierin erwähnte LSE-Verfahren führt, wenn es mit einem temporären AWB-Stabilisierungszugang kombiniert wird, zu einer Steigerung der Robustheit der Weißpunktschätzung und zu einer signifikanten Reduktion der Farbtreuefehler in der Gegenwart von Änderungen der Beleuchtungsbedingungen. Das Verfahren erlaubt auch das Entkoppeln von CCM von AWB-Ergebnissen durch das Erlauben von CCM-Operationen, die Plausibilitäten von der vorliegenden Lichtquellenschätzung direkt zu verwenden. Die Verwendung von verlässlichen von diesem Verfahren bereitgestellten Lichtquelleninformationen liefern eine genauere Farbraumumwandlung und Verbesserungen in der wahrgenommenen Farbbildqualität. Bei einer anderen Option kann das vorliegende LSE-Verfahren verwendet werden, um die Wahrscheinlichkeiten von den herkömmlichen CCT-basierten LSC-Auswahloperationen zu verfeinern, was in einer erhöhten Genauigkeit der Leuchtmittelauswahl und damit einhergehend der Qualität der Bilder resultiert.
Bezugnehmend auf 8 ist ein beispielhafter Vorgang 800 ein rechnerimplementiertes Verfahren zur Lichtquellenschätzung für Bildbearbeitung. In der veranschaulichten Implementierung kann Vorgang 800 eine oder mehrere Operationen, Funktionen oder Aktionen umfassen, wie von einer oder mehreren der mit geraden Zahlen nummerierten Operationen 802 bis 810. Als nicht einschränkendes Beispiel kann Vorgang 800 hierin mit Bezug auf beispielhafte Bildverarbeitungsvorrichtungen 700, 800, 900, 1100 und 2100 der 7, 9, 11 bzw. 21 und wo er relevant ist, beschrieben werden
Vorgang 800 kann „Erhalten von Bilddaten von zumindest einem Bild“ 802 umfassen. Dies kann das Erhalten von Daten von einem gesamten Bild oder Daten eines kleineren Teils des Bilds, wie z. B. einen Block umfassen, um die korrekte Linsenabschattungskorrekturtabelle Block-für-Block zu bestimmen. Bei einer anderen Form können die Bilddaten in einer späteren Operation, wie im Folgenden beschrieben, in Blöcke geteilt werden. Bei einer Form kann das Bild als ein Beispiel in 6 x 4 für 24 Blöcke geteilt werden. Die Bilddaten können auch durch ausreichendes Vorverarbeiten erhalten werden, um die Lichtquellenschätzung durchzuführen. Bei einer Form liegen die Bilddaten in der Form eines Statistikrasters vor, das die Farbverhältnisse von Blau/Grün und Rot/Grün in dem RGB-Farbraum für Pixelorte vor, die in einem Block oder einem gesamten Bild analysiert werden. Dies kann bereitgestellt sein, um den Einheiten des Farbartraums zu entsprechen, die verwendet werden. Daher können stattdessen andere Einheiten oder Statistiken verwendet werden, die von dem Farbartraum abhängen. Bei einer Form wird den Bilddaten anfänglich eine Schwarzwertkorrektur bereitgestellt, aber noch wird keine Linsenabschattungskorrektur angewandt. Die Bilddaten können auch abwärts abgetastet werden.
Vorgang 800 kann das „Bilden einer Vielzahl von separaten Datenverteilungen einschließlich separatem Anwenden von Linsenabschattungskorrekturtabellen jeweils eines anderen Leuchtmittels einer Menge von verfügbaren Leuchtmitteln“ 804 umfassen. Hier verwendet das System vorbestimmte Linsenabschattungskorrekturtabellen (die zuvor erwähnten „objektiven Einschränkungen“) einer während einer Kennzeichnungsphase gebildeten Bibliothek, jeweils für ein anderes Leuchtmittel und gemäß entsprechenden korrelierenden Farbtemperaturen (CCTs) indexiert. Die LSC-Tabelle kann auf die Bilddaten angewandt werden, in Abhängigkeit von einer anfänglichen korrelierten Farbtemperatur (CCT). Spezifisch kann diese anfängliche CCT auf eine Anzahl von unterschiedlichen Weisen bestimmt werden, wie z. B. unter Verwendung der von dem AWB eines vorangegangenen Einzelbilds bestimmten CCT, Analyse der Bilddaten und anderen im Folgenden beschriebenen Weisen. Ferner kann das System eine Teilmenge von LSC-Tabellen und damit einhergehend Leuchtmittel verwenden, die CCTs haben, die ausreichend nahe an der anfänglichen CCT liegen. Die LSC-Tabellen passen die Farbartwerte der Bilddaten an, um eine Anzahl von Farbdatenverteilungen zu bilden, eine für jedes verfügbare Leuchtmittel und wenn die blockbasierte Analyse verwendet wird, kann das Bild in Blöcke geteilt werden, wenn dies noch nicht durchgeführt wurde, und jeder Block kann seine eigene Datenverteilung aufweisen. Die Menge von verfügbaren Leuchtmitteln kann endlich sein und kann eventuell keine LSC-Tabellen für alle möglichen Leuchtmittel umfassen und kann lediglich eine kleine Menge der am meisten verwendeten Leuchtmittel einschließlich Tageslicht und Innenbeleuchtung wie z. B. Glühlampen, Leuchtstoffröhren, LED und so weiter umfassen.
Vorgang 800 kann „Abbilden der Datenverteilungen auf einen Farbartraum“ 806 umfassen, sodass jede der Datenverteilungen dann auf eine Farbartraumabbildung oder einen Graphen abgebildet wird. Dies kann beispielsweise das Umwandeln der RGB-Daten in die Einheiten des Farbartraums wie z. B. R/G- und B/G-Verhältnisse umfassen, wie zuvor erwähnt und wenn noch nicht durchgeführt. Jede Datenverteilung wird dann separat analysiert. Wie erwähnt, könnte jede Datenverteilung ein gesamtes Bild oder einen kleineren Teil eines Bilds wie z. B. einen Block darstellen.
Vorgang 800 kann das „Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum“ 808 umfassen. Bei einem Ansatz kann eine Hauptkomponentenanalyse(PCA)-Technik verwendet werden, um eine lineare Transformation anzuwenden, die die Datenverteilung auf einer 2-D-Ebene behandelt und kann das Bestimmen der Hauptkomponenten einer Datenverteilung durch Projizieren der Datenverteilung auf eine Prinzipal- (oder Haupt)-Ache und eine Nebenachse der Datenverteilung umfassen. Die Eigenwerte und/oder Eigenvektoren der Kovarianzmatrix kann für die Datenverteilung bestimmt werden und die Eigenwerte können als die von entsprechenden Eigenvektoren bestimmten Größen der zwei Hauptachsen verwendet werden. Bei einem beispielhaften Ansatz können die Größen und damit einhergehend ein Kompaktheitswert als die L1-Norm des Vektors von Eigenwerten berechnet werden. In einer anderen Implementierung kann die Datenkompaktheit als die L2-Norm des Vektors von Eigenwerten berechnet werden. Andere Kombinationen der Eigenwerte oder Eigenvektoren könnten verwendet werden, um auch die Datenkompaktheit zu bestimmen.
Bei einem Ansatz ist der Kompaktheitswert ein anfänglicher Wert, der dann angepasst wird, um das menschliche visuelle System zu reflektieren. Es wurde herausgefunden, dass die Datenverteilungen, die in Position und Ausrichtung näher der Farbe eines schwarzen Strahlers, auch bekannt als Planckscher Farbart-Kurvenzug, sind, allgemein eine genauere Quantifizierung von Farbunterschieden bereitstellen können, während hochchromatische Objekte, die weit weg von dem Farbart-Kurvenzug positioniert sind, uneindeutiger und schwieriger zu quantifizieren sind. Daher kann ein Unsicherheitswert auf den anfänglichen Kompaktheitswert angewandt werden, um die Position der Datenverteilung in Bezug auf den mittleren Planckschen Farbart-Kurvenzug zu reflektieren. Genauer gesagt bevorzugt der Skalierungsfaktor eine Datenverteilung, wenn der Mittelwert einer Datenverteilung näher zu einem mittleren Planckschen Farbart-Kurvenzug ist; und pönalisiert die Datenverteilungen, deren Mittelwert weiter weg von dem mittleren Planckschen Farbart-Kurvenzug verschoben ist.
Ebenso kann dies auch oder alternativ dazu umfassen, dass das System den anfänglichen Kompaktheitswert aufweist, der von dem Winkel der Hauptachse der Datenverteilung in Bezug den Winkel einer Hauptachse der MacAdam-Ellipsen in dem Farbartraum abhängt. Insbesondere je kleiner der Winkel zwischen Hauptachse einer Datenverteilung und der Winkel einer Tangente an dem nächsten Punkt des mittleren Planckschen Farbart-Kurvenzugs, der die MacAdam-Ellipsen repräsentiert, sind, gibt dies an, dass die Datenverteilung eine höhere Plausibilität aufweist, das wahre Leuchtmittel zu sein. Das Ergebnis ist ein Kompaktheitswert, angepasst durch Faktorisieren des menschlichen visuellen Systems. Bei einer Form gibt der kleinste Kompaktheitswert die Datenverteilung an, die am wahrscheinlichsten mit dem wahren Leuchtmittel assoziiert ist.
Vorgang 800 kann das „Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, umfassend das Verwenden von Kompaktheitsmessungen der einzelnen Datenverteilungen“ 810 umfassen. Hier wird eine Plausibilität für jede LSC-Tabelle und damit einhergehend ein entsprechendes Leuchtmittel bereitgestellt. Bei einer Form ist der resultierende Kompaktheitswert für eine Datenverteilung die Plausibilität für die LSC-Tabelle. Bei einer anderen Form wird jede Plausibilität verwendet, um einen weiteren Wahrscheinlichkeitswert zu bilden, dass die entsprechende LSC-Tabelle das wahre Leuchtmittel darstellt. Beispielsweise werden die ähnlichen Plausibilitäten, wenn ein Bild in Blöcke geteilt wird und jeder Block separat analysiert wird und eine Plausibilität (oder einen Kompaktheitswert) aufweist, gruppiert oder kombiniert (oder fusioniert), wie z. B. gemittelt, um eine einzelne Plausibilität für ein Leuchtmittel zu bilden. Bei diesem Beispiel können die Plausibilitäten für jedes Leuchtmittel dann normalisiert werden, sodass all die Plausibilitäten für ein Bild proportional zu dem Gesamtwert sind und zusammen 1 ergeben.
Vorgang 800 kann das „Verwenden der Plausibilitäten zum Korrigieren von Farbe auf zumindest einem Bild“ 812 umfassen. Bei einer Option, wie in 7 und 9 gezeigt, kann die LSC-Einheit, die AWB-Einheit und die CCM-Einheit die Plausibilitäten der korrekten Lichtquelle unabhängig voneinander erhalten. Die LSC-Einheit kann die Plausibilitäten verwenden, um eine gewichtete mittlere finale oder zusammengesetzte LSC-Tabelle zu finden, die verwendet werden kann, um die Farbabschattungsfehler in den wiederhergestellten Bildern zu korrigieren. Ebenso können die CCM-Operationen die Plausibilitäten verwenden, um eine gewichtete mittlere CCM zu bestimmen. Die AWB-Einheit kann die Plausibilitäten verwenden, um vorher einen Szenenbeleuchtungs-Prior einzustellen, der als eine temporäre Invariante dient. Ansonsten können die Plausibilitäten verwendet werden, um zu bestimmen, ob der AWB-Weißpunkt auf einer CCT basiert, die beispielsweise ausreichend nahe zu der CCT der größten Plausibilität ist, und wenn nicht, kann der AWB den Weißpunkt anpassen. Bei anderen Optionen kann der AWB die CCT verwenden, die unter Verwendung der Plausibilitäten verwendet wurde, um den Suchbereich nach der Weißpunkt-CCT zu reduzieren. Bei wieder einer anderen Option könnte die LSC-Einheit die Plausibilitäten als anfängliche Plausibilitäten behandeln, um eine Wahrscheinlichkeit CCT (P_CCT) zu modifizieren oder zu ersetzen, die dann verwendet wird, um AWB-korrigierte HSV-Raum-Fehler und Konfidenzwerte zu bilden, um die zusammengesetzte LSC-Tabelle zu bilden. Wiederum eine andere Implementierung kann es sein, die CCT-Wahrscheinlichkeit P_CCT von einer früheren Iteration als Ausgabe von der LSE-Einheit zu verfeinern, um die Stabilität oder Genauigkeit zu verbessern. Die Details sind im Folgenden bereitgestellt.
Bezugnehmend auf 9 kann eine Bildverarbeitungsvorrichtung oder ein Bildverarbeitungssystem 900 verwendet werden, um die hierin beschriebenen Lichtquellenschätzungsverfahren durchzuführen. Die Vorrichtung 900 kann eine Bildvorverarbeitungseinheit 904, eine Hinunterskalierungs- und Statistik(DS)-Einheit 906, eine Post-3A-Korrekturverarbeitungseinheit 908, einen Codierer 910 und eine 3A-Einheit 912 aufweisen. Die 3A-Einheit 912 kann eine automatische Belichtungskorrektur(AEC)-Einheit 914, eine Autofokus(AF)-Einheit 916, eine automatische Weißabgleich(AWB)-Einheit 918, eine Farbumwandlungsmatrix(CCM)-Einheit 920, ein Leuchtmittelanalysesystem 922 mit einer LSC-Tabellenbibliothek 924 und eine Lichtquellenschätzungseinheit 932 unter anderen Komponenten, und eine Linsenabschattungskorrektur- (LSC-) Einheit 936 umfassen.
Die Vorverarbeitungseinheit 904 erhält rohe Bilddaten 902 von einem Kameramodul, wie beispielsweise in 7 beschrieben, und kann eine Schwarzwertkorrektur auf den Rohbilddaten durchführen, ein(e) zusammengesetzte(s) LSC-Korrekturraster (oder Tabelle), das von der im Folgenden beschriebenen Linsenabschattungskorrektur- (LSC-) Einheit 936 erhalten wird, hinunterskalieren und skaliert das Raster auf die Größe der Bilddaten hinauf und multipliziert es punktuell.
Die Hinunterskalierungs- und Statistik(DS)-Einheit 906 verwendet dann die LSC-korrigierten Bilddaten, um Statistiken für 3A zu erzeugen, die LSC-korrigierten AF-Statistiken für Autofokus und Schwarzwertkorrigierte Rohstatistiken umfasst. Daher kann die DS-Einheit 906 sowohl die LSC-korrigierten Daten für 3A-Korrekturen und die Schwarzwert (oder nicht-LSC)-korrigierten Rohdaten an eine Leuchtmittel-CCT-Schätzungseinheit 926 bereitstellen, um eine anfängliche CCT zu bestimmen, um die Anzahl von LSC-Tabellenkandidaten auf eine Teilmenge für die Analyse und Lichtquellenschätzung zu reduzieren. In Systemen, die nicht die Schwarzwert-angepassten Daten an die 3A-Einheit 912 bereitstellen, können die LSC-korrigierten Daten von der Hinunterskalierungseinheit 906 rückgängig gemacht werden, bevor sie bei der Linsenabschattungsschätzung verwendet werden. Die DS-Einheit 906 ist auch bereitgestellt, um den Rohdaten-Stream (oder Rohdateninformationen) von dem Kameramodul herunterzuskalieren. Die DS-Einheit 906 analysiert auch die hinunterskalierten Bilddaten, um Statistiken zu bilden, die von der 3A-Einheit 912 verwendet werden können. Allermindestens sollten die vorverarbeiteten Bilddaten schon für eine Schwarzwertkorrektur verarbeitet sein, bevor die Lichtquellenschätzungsoperationen beginnen können. Daher soll diese Korrektur, wenn die DS-Einheit 906 nur einen Typ von Statistik als eine Ausgabe, die LSC-korrigiert ist, annimmt, rückgängig gemacht werden und, wie erwähnt, als Eingabe in das Leuchtmittelanalysesystem 922 verwendet werden. Andere 3A-Einheiten können LSC-korrigierte oder AF-Statistiken oder beides verwenden. Das vorverarbeitete Bild kann ein Einzelbild oder eine Bildsequenz sein, wie z. B. aus einer Videosequenz. Das vorverarbeitete Bild kann von dem Leuchtmittelanalysesystem 922 in Echtzeit oder in Nicht-Echtzeit von einer Speichereinheit erhalten werden. Die Implementierungen sind in diesem Kontext nicht eingeschränkt. Es ist zu beachten, dass das hierin diskutierte Vorverarbeiten und Nachverarbeiten in Relation zu der 3A-Analyse steht, einschließlich der hierin beschriebenen Lichtquellenschätzung.
Das Leuchtmittelanalysesystem 922 kann eine anfängliche CCT bestimmen oder erhalten, um die Anzahl von Leuchtmitteln und damit einhergehend von LSC-Tabellen für die Analyse zu reduzieren, und um somit die Rechenbelastung zu reduzieren. Diese Teilmenge von LSC-Tabellen wird dann an eine anfängliche Abschattungskorrektureinheit 930 bereitgestellt, die die Teilmenge von LSC-Tabellen separat auf die Nicht-LSC-korrigierten Bilddaten anwendet, um eine Menge von alternativen Datenmengen zu bilden. Diese werden der Lichtquellenschätzungseinheit 932 bereitgestellt, um Datenverteilungen zu bilden, die auf einen Farbartraum abgebildet werden und wie hierin beschrieben gemessen werden, um die Kompaktheitswerte oder Plausibilitäten zu bestimmen, dass eine Datenverteilung und damit einhergehend eine entsprechende LSC-Tabelle mit einem wahren Leuchtmittel in Verbindung steht.
Spezifisch wird eine Kennzeichnungsphase während des Designs und der Anordnung der Bildverarbeitungseinheit 900 vor einer Korrekturphase durchgeführt. In der Kennzeichnungsphase werden LSC-Tabellen 924 erstellt, um die meisten CCT-Wertbereiche für gemeinhin verwendete Lichtleuchtmittel abzudecken, wie z. B. ein weißglühendes „A“-Leuchtmittel, ein fluoreszierendes F11- oder F12-Leuchtmittel, ein Tageslicht-D55- oder D65-Leuchtmittel und so weiter. Die LSC-Tabellen 924 werden in einem Speicher wie z. B. einem dauerhaften Speicher gespeichert, wodurch eine Bibliothek zur späteren Verwendung während der Schätzungs- und Korrekturphase gebildet wird.
Die Korrekturphase kann in Echtzeit- oder Laufzeit-Ausführung während der Verwendung der Bildverarbeitungseinheit 900 durchgeführt werden und wenn die Daten von dem Kameramodul gestreamt werden. Während der Korrekturphase kann die 3A-Einheit 912 über die DS-Einheit 906 den Inhalt der gestreamten Bilddaten und ergänzende Metadaten analysieren. Beispiele für Metadaten können ohne Einschränkung Autofokuswerte, gegebenenfalls eine CCT-Schätzung des aktuellen Bilds, Zeitwerte und so weiter umfassen. Die relevanten zuvor erwähnten Daten werden von der DS-Einheit 906 von der 3A-Einheit 912 bereitgestellt.
Bei einer Form erhält das Leuchtmittelanalysesystem 922 eine LSC-Tabelle für jedes Leuchtmittel in der LSC-Tabellenbibliothek 924, die dargestellt sind, um LSC-Tabellenkandidaten für eine Lichtquellenschätzungsanalyse zu sein. Bei einem anderen Zugang wird die Anzahl an Leuchtmitteln jedoch auf eine Teilmenge von LSC-Tabellen für die Analyse reduziert, um die Rechenlast, die auf die Prozessoren wirkt, zu reduzieren und um Verzögerungen zu reduzieren. Eine Leuchtmittel-CCT-Schätzungseinheit 926 kann die Teilmenge von LSC-Tabellen auswählen, indem eine anfängliche CCT bestimmt wird. Dies kann auf eine Vielzahl von Wegen erzielt werden. Bei einer Form wird die CCT, die von der AWB-Einheit 918 für ein vorangegangenes Einzelbild ermittelt wurde, verwendet. Bei einer anderen Form kann die CCT aus Metadaten erhalten werden, denen die Bilddaten bereitgestellt werden. Bei wiederum einer anderen Form berechnet die Leuchtmittel-CCT-Schätzungseinheit 926 die anfängliche CCT unter Verwendung der Nicht-LSC-Bilddaten und der empfangenen Statistiken unter Verwendung bekannter Verfahren, wie z. B. Berechnen einer CCT-Wahrscheinlichkeit für jede LSC-Tabelle. Diese LSC-Tabellen von Leuchtmitteln mit einer CCT, die ausreichend nahe (oder einer Wahrscheinlichkeit, die ausreichend hoch) zu der anfänglichen CCT liegt, werden für die Aufnahme in die Teilmenge für die Analyse ausgewählt. Andere Details für die Auswahl von LSC-Tabellenkandidaten werden im Folgenden beschrieben. Bei wiederum einer anderen Option können Sensoren 928, wie z. B. ein Umgebungslichtsensor, verwendet werden, um das wahre Leuchtmittel zu detektieren und um die CCT für das detektierte Leuchtmittel bereitzustellen.
Die anfängliche Abschattungskorrektureinheit 930 wendet dann jede der LSC-Tabellen aus der Teilmenge auf Bilddaten eines Bilds an, um alternative Datenmengen zu bilden, die von einer unterschiedlichen LSC-Tabelle gebildet und damit einhergehend für ein anderes Leuchtmittel modifiziert werden. Diese modifizierten Bilddaten werden dann einer Lichtquellenschätzungs- (LSE-) Einheit 932 bereitgestellt, um Plausibilitäten für jede LSC-Tabelle zu erhalten.
Bezugnehmend auf 9A führt die LSE-Einheit 932 die hierin beschriebenen Lichtquellenoperationen durch und kann eine Farbartblockteilungseinheit 950 aufweisen, die jedes Bild und damit einhergehend die modifizierten Bilddaten jeder alternativen Datenmenge in Blöcke teilt und die Lichtquellenschätzung wird dann auf einem einzelnen oder jedem Block für Block durchgeführt. Daher weist die LSE-Einheit 932 eine Datenverteilungsabbildungseinheit 952 auf, die jede Datenmenge als eine Datenverteilung auf einem Farbartdiagramm (oder Farbraum oder Farbartraum) abbildet, einschließlich der Umwandlung von Einheiten der Datenverteilung in Einheiten des Graphen wie z. B. als R/G- und B/G-Farbverhältnisse. Eine Farbvariationsschätzungseinheit 954 misst die Datenverteilungen und stellt Messungen in Form von Plausibilitäten für jede Datenverteilung bereit.
Bezugnehmend auf 9B kann insbesondere die Farbvariationsschätzungseinheit 952 die Farbartdaten (in der Form der Datenverteilungen) erhalten und kann eine Datenverteilungsmittelwerteinheit 962 aufweisen, um den Mittelwert der Datenverteilung zu bestimmen; eine Hauptkomponentenanalyse(PCA)-Einheit 964, die eine lineare Transformationstechnik durchführt. Dies kann das Erstellen einer Kovarianzmatrix für eine Datenverteilung und das Erstellen von zwei Hauptachsen der Datenverteilung umfassen. Eine Gesamtfarbvariationseinheit 966 bestimmt dann Eigenwerte und Eigenvektoren von der Kovarianzmatrix, um die Größe und Ausrichtung der Datenverteilung darzustellen und stellt eine anfängliche Messung der Datenverteilung und bei einer Form als eine Norm des Vektors von Eigenwerten bereit, wodurch ein anfänglicher Kompaktheitswert der Datenverteilung bereitgestellt wird. Eine menschliche Wahrnehmungseinheit 968 kann dann verwendet werden, um Datenverteilungsformen und/oder Positionen zu bevorzugen, die den Eigenschaften des menschlichen visuellen Systems ähnlicher sind. Daher kann die menschliche Wahrnehmungseinheit 968 den Kompaktheitswert einstellen, indem sowohl die Position der Datenverteilung in dem Farbartraum, als auch die Orientierung der Datenverteilung relativ zu der Ausrichtung der MacAdam-Ellipsen in Betracht gezogen wird. Bei einer Form werden die Position und die Orientierung der Datenverteilung in Bezug auf den mittleren Planckschen Farbart-Kurvenzug verglichen, der die Ausrichtungen von MacAdam-Ellipsen in einem Farbartraum darstellt. Diese Analyse wird für jede Datenverteilung (oder jeden Block und jedes Leuchtmittel, das in der Teilmenge von LSC-Tabellen dargestellt wird) wiederholt und das Ergebnis ist ein Kompaktheitswert von jeder analysierten Datenverteilung und pro Block. Plausibilitäten werden basierend auf dem relativen Unterschied in den Kompaktheitswerten für Lichtquellen, die getestet werden, zugewiesen. Das bedeutet, Blöcken mit kompakterer Datenverteilung wird eine größere Plausibilität zugewiesen, eine wahre Lichtquelle zu sein, während breiter verteilte Datenfarbarten eine geringere Plausibilität bekommen.
Diese Plausibilitäten werden einer Leuchtmittelplausibilitäteneinheit 956 bereitgestellt, die die Plausibilitäten finalisiert, um eine einzelne Plausibilität für jedes Leuchtmittel und für das gesamte Bild bereitzustellen. Daher kann dies das Fusionieren von all den Blöcken eines Bilds zu einer finalen Plausibilität für jedes Leuchtmittel umfassen, sodass die Plausibilitäten bei einem Beispiel zusammen 1 ergeben. Das Fusionieren wird durchgeführt, indem zuerst eine Teilmenge von Blöcken ausgewählt wird, die relativ homogene Bereiche in dem Bild darstellen (das heißt mit den geringsten Kompaktheitswerten), indem die Plausibilitäten für diese Blöcke summiert werden und ferner das Ergebnis normalisiert wird, sodass die Plausibilitäten für all die Lichtquellen zusammen 1 ergeben, und indem dann ein Vektor von Plausibilitäten für jede bekannte Lichtquelle erstellt wird, die mit einer Abschattungskorrekturtabelle mit einer Plausibilität pro Leuchtmittel in Verbindung steht.
Bezugnehmend auf 9 werden dann die Plausibilitäten 934 den anderen Anwendungen bereitgestellt, um die Farbe eines Bilds anzupassen. Daher werden die Plausibilitäten 934 beispielsweise an die LSC-Einheit 936, die AWB-Einheit 918 und die CCM-Einheit 920 bereitgestellt. Bei diesem Beispiel kann die LSC-Einheit 936 eine gewichtete Durchschnittseinheit 938 aufweisen, um die Abschattungskorrekturraster gemäß den Leuchtmittelplausibilitäten zu gewichten. Dieses zusammengesetzte oder gewichtete Linsenabschattungskorrekturraster kann dann der vorverarbeitenden Einheit 904 bereitgestellt werden, um Farben auf einem oder mehreren Bildern zu korrigieren.
Die AWB-Einheit 918 kann die Plausibilitäten erhalten und kann eine finale Weißpunktberechnung anpassen, die von den Plausibilitäten abhängt. Dies kann die Berechnung eines zeitinvarianten Priors umfassen, der die Lichtquelleninformationen für solch eine Berechnung verwendet und der genauer gemacht werden kann, wenn die Lichtquellenplausibilitäten von der LSE-Einheit 932 erhalten werden.
Die CCM-Einheit 920, die auch im Folgenden detailliert beschrieben wird, wandelt die Bilddaten in standardmäßige Farbräume zum Rendern um und kann die von einem Bild verwendende CCT beispielsweise von der AWB-Einheit 918 oder direkt von der Lichtquellenschätzungseinheit 932 erhalten. Bei einer anderen Form, wie bei der AWB-Einheit, kann die CCM-Einheit die Plausibilitäten erhalten, sodass die CCM-Einheit die Plausibilitäten als Gewichtungen verwenden kann, um eine gewichtete mittlere CCM zu bilden, die verwendet werden sollte, um die Bilddaten für die Wiedergabe umzuwandeln. Diese und andere Optionen werden detailliert im Folgenden mit den Vorgängen 11 und 13A-13C erklärt.
Die Nachverarbeitungseinheit 908 kann dann Aufgaben ausführen, wie z. B. eine weitere Rauschverminderung, Pixellinearisierung, Auflösungsreduktion, Bayer-Demosaicing und/oder weitere nachbearbeitende Vignetteneliminierung, sofern notwendig, sowie andere Aufgaben. Ein Codierer 910 kann auch bereitgestellt werden, um die Daten für die Übertragung in einen Bitstrom oder für die Speicherung auf einem computerlesbaren Medium zu komprimieren.
Bezugnehmend auf 10 wird eine alternative Bildaufnahmevorrichtung oder ein System 100 zum Verarbeiten von aufgenommenen Bildern und zum Anwenden des hierin beschriebenen Lichtquellenschätzungsverfahrens beschrieben und es fügt eine andere Lichtquellenschätzungstechnik zu den in den zuvor zitierten US-Patenten Nr. US-Patent Nr. 9.361.537 und US-Patent Nr. 9.186.909 hinzu. Viel von der Beschreibung der Bildverarbeitungsvorrichtung 900 trifft auf die Vorrichtung 1000 hierin zu, sodass die Beschreibung nicht wiederholt wird, wenn sie redundant ist.
Eine 3A-Einheit 1011 auf der Vorrichtung 1000 kann eine LSC-Schätzungseinheit 1018 aufweisen, die eine korrelierte Farbtemperatur-(CCT-) Schätzungseinheit 1020 in Verbindung mit einer Lichtquellenschätzungs- (LSE-) Einheit 1021 verwendet, um zu bestimmen, welche von einer Menge von LSC-Tabellen 1022 für die Linsenabschattungsfarbkorrektur eines aktuellen Bilds zu verwenden ist. Bei anderen Beispielen kann die Lichtquellenschätzungseinheit 1021 die Verwendung der CCT-Schätzungseinheit 1020 ersetzen. Die Lichtquellenschätzungseinheit ist dieselbe wie oder ähnlich der LSE-Einheit 718 von 7 oder der LSE-Einheit 950 von 9A. Die Kennzeichnungsphase und die Bibliothek von LSC-Tabellen 1022 wird vorangehend bei Vorrichtung 900 beschrieben. Während der Korrekturphase kann die Lichtquellenschätzungseinheit 1021 alleine oder zusammen mit der CCT-Schätzungseinheit 1020 verwendet werden, um eine oder mehrere originale Lichtquellentypen und eine anfängliche Auswahl von LSC-Tabellenkandidaten zu schätzen. Die 3A-Einheit 1011 kann auch eine Blockauswahleinheit 1026 umfassen, um Blöcke oder Blockcluster zu verwenden, die glatte Bereiche eines Bilds darstellen.
Eine anfängliche (oder mögliche) LSC-Tabelleneinheit 1024 kann für die Identifizierung von Tabellen, die anfänglich von der Lichtschätzungseinheit 1021 und/oder CCT-Schätzungseinheit 1020 ausgewählt wurden, und für die weitere Verarbeitung bereitgestellt werden. In einem Ansatz verarbeiten ein GW-WB-Modul 1027, RGB-zu-HSV-Wandler 1028 und eine Fehlereinheit 1030 Blockdaten von eingegebenen Statistiken und geben einen Fehlerwert für jeden Block (und für jedes Leuchtmittel) aus. Davon getrennt empfängt die Wahrscheinlichkeits- und Konfidenzeinheit 1032 in einem Beispiel ebenfalls die Blockdaten von der Blockauswahleinheit 1026 und berechnet einen Konfidenzwert für jeden Block. Dann nutzt die Fehlereinheit 1030 die Fehlerwerte und entsprechenden Konfidenzwerte, um ein Gewicht (wl bis wL) für jede anfängliche (oder mögliche) LSC-Tabelle, die jedem Leuchtmittel zugeordnet ist, zu erzeugen. Eine Fusionseinheit 1034 passt dann die anfänglichen LSC-Tabellendaten an, indem das Gewicht für die Tabelle genutzt wird und dann alle LSC-Tabellen von allen Leuchtmitteln in eine einzige zusammengesetzte LSC-Tabelle zusammengefasst (oder fusioniert) werden. Die Fusionseinheit 1034 kann dann eine finale LSC-Tabelle an die Vorverarbeitungseinheit 1036 ausgeben, um die vorverarbeiteten Bilddaten für eine Linsenabschattungsfarbkorrektur anzupassen.
Die Lichtquellenschätzungseinheit 1021 stellt jedoch eine Reihe von Alternativen bereit, um die korrekte LSC-Tabellen zu bestimmen, die genutzt werden soll. Wie angemerkt kann die LSE-Einheit 1021 die Ergebnisse der CCT-Schätzung von der CCT-Schätzungseinheit 1020 anpassen. Bei diesem Ansatz können die anfänglichen möglichen LSC-Tabellen ausgewählt werden, indem erst der Bildinhalt analysiert wird und dann eine CCT-Gegenwartswahrscheinlichkeit (P_CCT) eines Leuchtmittels von einer Charakterisierungsdatenbank unter Verwendung von vorabgetasteten Eingabebilddaten berechnet wird. Somit kann eine entsprechende CCT-Gegenwartswahrscheinlichkeit für jede aus einer Vielzahl von LSC-Tabellen berechnet werden, und die Menge möglicher LSC-Tabellen, die weiter genutzt werden soll, kann jede LSC-Tabelle aus der Vielzahl umfassen, bei der die Gegenwartwahrscheinlichkeit größer als null ist. Jede ausgewählte LSC-Tabelle kann einem unterschiedlichen entsprechenden Leuchtmittel entsprechen.
Sobald die P_CCTS bestimmt wurden, können sie jedoch beispielsweise von den Kompaktheitswerten oder Wahrscheinlichkeiten von der Lichtschätzungseinheit 1021 angepasst werden. In einer Ausführungsform können die Wahrscheinlichkeiten der LSE-Einheit 1021 nach Bedarf einfach die P_CCTS ersetzen, wie in einem Modus hoher Qualität, der von einem Benutzer ausgewählt werden kann, oder sie können gemittelt werden oder es kann eine andere Kombination genutzt werden. Andererseits können die P_CCTS und die Wahrscheinlichkeiten der LSE-Einheit 1021 durch das Gewichten der Plausibilitäten unterschiedlicher Leuchtmittel, um 1 zu ergeben, kombiniert und diese Plausibilitäten oder Gewichte dann auf die P_CCTS angewendet werden. P_CCT-Berechnung kann LSE-Ergebnisse von vorherigen Einzelbildern in einer Videosequenz oder externe Sensoren, wie beispielsweise einen Umgebungslichtsensor nutzen. Die Fusionseinheit 1034 kann dann der Bildvorverarbeitungseinheit 1004 und anderen 3A-Einheiten, wie an anderer Stelle hierin beschrieben, LSC-Tabellen bereitstellen.
In 11A-11B ist ein detaillierterer Lichtquellenschätzungsvorgang 1100 zur Bildverarbeitung gemäß zumindest manchen Implementierungen der vorliegenden Offenbarung angeordnet. In der dargestellten Implementierung kann Vorgang 1100 eine oder mehrere Operationen, Funktionen oder Aktionen umfassen, wie durch eine oder mehrere der geradzahlig nummerierten Operationen 1102 bis 1146. Als nichteinschränkendes Beispiel wird Vorgang 800 hierin in Bezug auf die beispielhaften Bilderfassungsvorrichtungen 700, 900, 1100 und 2100 aus 7, 9, 11, bzw. 21 und relevanten Stellen beschrieben.
Vorgang 1100 kann „Bilddaten erhalten“ 1102 umfassen, und wie vorstehend erläutert, das Erhalten von Rohbilddaten umfassen, die von einem Kameramodul oder einem anderen Bilderfassungsmodul gestreamt werden. Das Kameramodul, wie z. B. Kameramodul 902 (9) kann Teil einer Einzelbilderfassungsvorrichtung sein, die das offenbarte Linsenabschattungsfarbkorrektursystem umfasst oder es kann entfernt vom offenbarten System liegen.
Vorgang 1100 kann „Vorverarbeitung durchführen“ 1104 umfassen. Das kann Schwarzwert- und Linsenabschattungskorrekturen sowie andere Operationen, wie vorstehend beschrieben, umfassen. Wie bereits angemerkt, werden bei einem Ansatz die nicht-LSC-korrigierten Bilddaten für die Lichtquellenschätzungsverarbeitung bereitgestellt.
Der Vorgang 1100 kann außerdem das Hinunterskalieren der Bilddaten umfassen, sei es als Teil der Vorverarbeitung oder als separate Operation, um die Bilddatenmenge auf eine einheitliche, kontrollierbare Menge, wie ein Raster von Daten (die Pixelstellen entsprechen), zu verringern, um beispielsweise ein Bild 51 x 39 für ein Smartphone zu erzeugen. Ein solches Hinunterskalieren kann unter Verwendung von standardmäßigen Abtastverfahren durchgeführt werden.
Vorgang 1100 kann „vorbestimmte LSC-Tabellen von mehreren verfügbaren Leuchtmitteln erhalten“ 1106 umfassen. Das umfasst das Erhalten der LSC-Tabellendaten für die Leuchtmittel, die in einer Menge verfügbarer Leuchtmittel umfasst sind, und aus einer Bibliothek der LSC-Tabellen, wie vorstehend beschrieben. Die Tabellen werden erzeugt und während einer Charakterisierungsphase gespeichert, bevor sie die Bildverarbeitungsvorrichtung nutzt, um Bilder zu verarbeiten. Jede einzelne LSC-Tabelle kann mehrere Tabellen umfassen, wobei eine Tabelle für jeden Bildgebungssensorfarbkanal genutzt wird, und jede Kanaltabelle Koeffizienten umfasst, um Signal- (Bilddaten-) Abschwächung auszugleichen.
Wie vorstehend angemerkt, können alle verfügbaren Leuchtmittel (als alle vorcharakterisierten Leuchtmittel bezeichnet) im Hinblick auf Lichtquellenschätzung analysiert werden. Ein effizienterer Weg ist jedoch die Verringerung der Leuchtmittelanzahl und dadurch die der LSC-Tabellen, die analysiert werden müssen. Bei diesem Ansatz kann der Vorgang 1100 gegebenenfalls „anfängliche CCT erhalten“ 1108 umfassen. Die anfängliche CCT kann auf unterschiedliche Weise erhalten oder berechnet werden. In dieser Ausführungsform kann die Operation „CCT von AWB eines vorherigen Einzelbilds verwenden“ 1110 umfassen, wobei diese Option im vorliegenden Beispiel genutzt wird. Es gilt jedoch zu verstehen, dass die CCT eine geschätzte CCT sein kann, die in mit den Bilddaten empfangenen Metadaten erhalten wurde. Andererseits kann die anfängliche CCT unter Verwendung der nicht-LSC-korrigierten Bilddaten und Statistiken, die für das Bild mittels bekannter Verfahren generiert wurden, berechnet werden.
Der Vorgang 1100 kann „Teilmenge von Leuchtmitteln, abhängig von der anfänglichen CCT auswählen“ 1112 umfassen, wobei die anfängliche CCT mit den CCTs, die die LSC-Tabellen indexieren, vergleichen. Jene CCTs, die ausreichend nahe an der anfänglichen CCT sind, sind die ausgewählten Leuchtmittel und ihre entsprechenden LSC-Tabellen der Teilmenge, die analysiert werden soll. Dabei handelt es sich um die Lichtquellen, die mit größter Plausibilität in dem Bild vorkommen.
Während einer Korrekturphase kann Vorgang 1100 „Bilddaten modifizieren, indem jede LSC-Tabelle der ausgewählten Leuchtmittel separat angewendet wird, um Datenverteilungen zu bilden“ 1114. Das umfasst daher das Anwenden des Linsenabschattungskorrekturrasters (oder -tabelle) der möglichen Lichtquelle auf die rohen, nicht-LSC-korrigierten RGB-Bilddaten. Das kann für jede verfügbare LDC-Tabelle, die einem anderen Leuchtmittel in der Teilmenge entspricht, wiederholt werden. In einer Ausführungsform modifiziert diese Operation die in den Bilddaten umfassten RGB-Pixelwerte. Bei einem Ansatz können die Bilddaten bereits in Form eines herunterskalierten Statistikrasters in R/G- und B/G-Farbarten sein, und die Anwendung der LSC-Tabellen erfolgt auf dem Statistikraster, um die Anteile zu modifizieren.
In 12B kann Vorgang 1100 „Datenverteilungen auf dem Farbartraum für einzelne Leuchtmittel abbilden“ 1116 umfassen. Ursprünglich kann die Abbildungsoperation „Bilddaten zu Farbartraumeinheiten umwandeln“ 1118 umfassen und zwar, wie bereits angemerkt, falls die Datenverteilung noch nicht zu den Einheiten des Farbartraums umgewandelt wurde. Im vorliegenden Beispiel kann das System das Linsenabschattungs-korrigierte RGB-Raster (oder die modifizierten Bilddaten) in das Farbartraster (R/B, B/G) umwandeln, wie im Farbartgraphen 1201 gezeigt.
Die Abbildungsoperation 1116 kann außerdem „Bilddaten in Blöcke teilen“ 1120 umfassen. Das kann beispielsweise das Unterteilen des Bilds in überlappende rechteckige Blöcke umfassen. Die Ergebnisse der Teilung bilden eine separate Datenverteilung für jeden oder einzelne Blöcke, sodass ein einzelner Block seine eigene Datenverteilung für jede LSC-Tabelle und das entsprechende zu analysierende Leuchtmittel aufweist. In einer Ausführungsform wird 6 x 4 für 24 Blöcke genutzt und überlappt, um die Auslassung von Bereichen auf dem Bild zu vermeiden.
Dann wird jede Datenverteilung, sei es für das gesamte Bild oder für einzelne Blöcke des Bilds, auf einen Farbartraum abgebildet. Ein Farbartraumgraph 1201 zeigt einen mittleren Planckschen Farbart-Kurvenzug 1202 und eine Datenverteilung 1204, die auf dem Graphen 1201 abgebildet sind. Wie zu sehen ist, erstreckt oder verlängert sich die Datenverteilung 1204 in diagonaler Richtung nach rechts oben und entlang einer Hauptachse 1206. Die zweitgrößte Achse 1208 der Datenverteilung ist orthogonal zur Hauptachse 1206. Eine Kurvenzugtangente 1210, die eine Tangente des Kurvenzugs 1201 darstellt, wurde zu einem Mittelwert 1214 der Datenverteilung bewegt und wird genutzt, um die Kompaktheitswertanpassungen zu bestimmen, wie im Folgenden erläutert wird.
Dann kann Vorgang 1100 „die Farbvariation der Datenverteilung messen“ 1122 umfassen. Wie angemerkt, kann das eine Zerlegung der Hauptkomponentenanalyse (PCA) umfassen, die auf die Farbartdaten jedes Blocks angewendet wird und das Anwenden einer linearen Transformation umfasst: $y = Vx$
wobei x der Vektor von Originaldatenfarbarten in einem Block ist, V die Matrix der Eigenvektoren oder Hauptkomponenten ist, die den größten Eigenwerten von x entsprechen, und y die Datendarstellung von Hauptkomponenten ist. Eigenvektoren in V definieren die zwei Hauptachsen des Datenellipsoids und enthalten einen Großteil der Informationen über die Farbvariationen im Block. Daher sind die Hauptkomponenten der Datenverteilung hierin eine Haupt- (oder Prinzipal-) Achse (1206 in 12B) und eine Neben- (oder Sekundär-) Achse (1208 in 12B) der Datenverteilung, die auf diese Achsen projiziert wird. Die Eigenwerte sind dann die Größen der Achsen 1206 und 1208 und die Eigenvektoren die Richtungen der Achsen.
Um die Größen der Hauptkomponenten zu berechnen, kann Vorgang 1100 erst „eine Kovarianzmatrix für die Datenverteilung bestimmen“ 1124 umfassen. PCA beginnt bei der Berechnung einer 2x2-Datenkovarianzmatrix aus den Daten x in Gleichung (1) und der Kovarianzmatrix.
Vorgang 1100 kann „die Größen einer Haupt- und Sekundärachse der Datenverteilung bestimmen“ 1126 umfassen. Das kann das Bestimmen von Eigenwerten und Eigenvektoren der 2x2-Kovarianzmatrix umfassen. Insbesondere sobald die Kovarianzmatrix bestimmt wurde, können die Eigenwerte und Eigenvektoren unter Verwendung von beispielsweise einer Standardzerlegung der linearen Algebra berechnet werden. Wie bereits angemerkt, definieren die Eigenwerte die Größe der Datenvarianz entlang der entsprechenden Hauptrichtungen. Die Eigenvektoren zeigen die Orientierung der Hauptrichtungen der Datenfarbartverteilungen an.
Sobald die Eigenwerte und Eigenvektoren für eine Datenverteilung berechnet sind, kann Vorgang 1100 „einen anfänglichen Kompaktheitswert der Datenverteilungen bestimmen“ 1128 umfassen. Klarerweise kann die unbekannte Lichtquelle aus den vorberechneten möglichen Korrekturrastern als jene ausgewählt werden, die die Kompaktheit der Datenverteilung in einem Farbartraum minimiert. Das Messen der Datenkompaktheit kann durch die Berechnung der Gesamtvariation entlang der Hauptrichtungen der Farbartverteilung bestimmt werden. In einer Implementierung kann die Datenkompaktheit als L2-Norm des Vektors von Eigenwerten folgendermaßen berechnet werden: $l = \sqrt{d_{11}^{2} + d_{22}^{2}}$
wobei d₁₁ und d₂₂ die Eigenwerte der 2×2-Datenkovarianzmatrix sind. Bei einem anderen Ansatz kann die Datenkompaktheit stattdessen als eine L1-Norm des Vektors von Eigenvektoren berechnet werden. Andere Wege zur Annäherung an die Gesamtvariation der Datenverteilung unter Verwendung eines Vektors von Eigenwerten, einschließlich anderer p-Normen können ebenfalls genutzt werden.
In 12A kann Vorgang 1100 „den anfänglichen Kompaktheitswert, abhängig von Parametern, die das menschliche visuelle System faktorisieren, anpassen“ 1130 umfassen. Das Lichtquellenschätzungsverfahren nutzt die Eigenschaften des menschlichen visuellen Systems, um besser zwischen ähnlich geformten Farbartverteilungen unterscheiden zu können.
Es wurde bereits genauer herausgefunden, dass Farbvariationen im Farbartraum nicht linear skaliert werden. Stattdessen erscheinen die wahrnehmbar verschiedenen Farben in ellipsoiden Formen, wie im MacAdam-Diagramm 1200 gezeigt. Diese sind als MacAdam-Ellipsen bekannt. Siehe, D. L. MacAdam, „Visual sensitivities to color differences in daylight", Journal of the Optical Society of America, 32(5), 247-274 (1942). Gemäß den Erkenntnissen von MacAdam können die Eigenschaften des menschlichen visuellen Systems in die Schätzungsaufgabe aufgenommen werden, indem Informationen über Position und Orientierung der Datenverteilung im Farbartraum hinzugefügt wird. Anders ausgedrückt, kann der anfängliche Kompaktheitswert l angepasst werden, um die Verteilungen mit maximaler Abweichung entlang der Richtungen mit maximaler Variabilität der MacAdam-Ellipsen zu begünstigen. Es wurde herausgefunden, dass die Haupt- (Prinzipal-) Achse dieser Ellipsen der Tangentenrichtung zum mittleren Planckschen Farbart-Kurvenzug und orthogonal zur Isotemperaturlinie, d.h. der Linie mit der gleichen korrelierten Farbtemperatur (CCT) dicht folgt. Aus dieser Theorie der Farbwahrnehmung kann gezeigt werden, dass Blau und Gelb, die tangential zum Kurvenzug liegen, Erinnerungsfarben sind, während Lila/Purpur und Grün keine Erinnerungsfarben sind. Blau- und Gelbschimmer im Bild können daher vom menschlichen Auge mit einem viel höheren Akzeptanzgrad erhöht werden als Lila- oder Grünschimmer, z. B. wird leicht gelblicher Schnee im Bild im Allgemeinen vom normalen Beobachter akzeptiert, während lilafarbener Schnee kaum akzeptiert wird.
Daher kann der anfängliche Kompaktheitswert l durch folgende Gleichung angepasst werden, um das menschliche visuelle System widerzuspiegeln. Die Pönalisierung der Datenorientierung und des Kurvenzugs kann in die Kompaktheitsbestimmung mitaufgenommen werden, indem der Kompaktheitswert l aus Gleichung (2) mit folgender Gleichung (3) modifiziert wird: $\hat{l} = (1 + \frac{| {tan}^{- 1} (sin (θ^{l o c u s} - θ^{m a j o r})) |}{k}) * l * k,$
wobei 1^∧ die modifizierte Kompaktheit des Datensatzes ist, der die nicht einheitlich wahrnehmbaren Farbtoleranzen des menschlichen visuellen Systems berücksichtigt, θ^locus der Winkel der Tangente 1210 ist, die durch einen Punkt 1216 am mittleren Planckschen Farbart-Kurvenzug (oder nur Kurvenzug) 1202 am nächsten zum Mittelwert 1214 der Eingabedaten x verläuft (hier wurde stattdessen die Tangente 1210 weg von Punkt 1216 von Kurvenzug 1202 verschoben und bei Mittelwert 1214 platziert, um den Kurvenzugwinkel θ^locus besser zeigen zu können, ein Winkel θ^major der Winkel ist, der der Richtung der Hauptachse 1206 der Verteilung (oder Cloud) von Farbarten in Vektor x ist, wobei beide Winkel zu einer horizontalen Achse 1212 relativ sind, und k der Unsicherheitswert ist, der proportional zur Distanz zwischen dem Kurvenzug 1202 und Mittelwert 1214 der Datenfarbarten im analysierten Datenblock liegt. Die Distanz kann zwischen dem Mittelwert 1214 und der Tangente, die durch einen Punkt am Kurvenzug verläuft, der zum Mittelwert 1214 am nächsten ist, gemessen werden. Gleichung (3) zeigt, dass keine zusätzliche Pönale erteilt wird, wenn die maximale Variabilität des Datensatzes mit einer Tangente zum Kurvenzug übereinstimmt (d.h. θ^locus ist gleich θ^major), während eine maximale Pönale erteilt wird, wenn sich θ^locus von θ^major durch rr/2 unterscheidet. Der Term k in Gleichung (3) spiegelt die Unsicherheit der Farbfehlerschätzung für hochchromatische Objekte wider und schränkt das Schätzungsproblem für jene Blöcke ein, die nahe genug beim Kurvenzug sind. Das kann erneut leicht durch eine Studie von MacAdam begründet werden. Wie aus 12A ersichtlich, nutzt das Lichtquellenschätzungsverfahren die Eigenschaften des visuellen menschlichen Systems für eine bessere Unterscheidung zwischen ähnlich geformten Farbartverteilungen.
Es wurde bereits genauer herausgefunden, dass Farbvariationen im Farbartraum nicht linear skaliert werden. Stattdessen erscheinen die wahrnehmbar verschiedenen Farben in ellipsoiden Formen, wie im MacAdam-Diagramm 1200 gezeigt. Diese sind als MacAdam-Ellipsen bekannt. Siehe, das Quantifizieren des Farbfehlers wird mehrdeutiger und schwieriger, wenn die Größe der Ellipsoiden, die nur bemerkbare Farbunterschiede anzeigen, zunimmt (was der Fall bei Objekten ist, die weit vom mittleren Planckschen Farbart-Kurvenzug entfernt sind).
Wenn Gleichung (3) aufgestellt ist, kann Vorgang 1100 „einen Unsicherheitswert auf den anfänglichen Kompaktheitswert anwenden, der eine Position der Datenverteilung in Bezug auf Positionen der Ellipsen des menschlichen visuellen Systems anzeigt“ 1132 umfassen. Diese Operation kann „einen Unsicherheitswert, der von der Distanz zwischen dem Mittelwert der Datenverteilung und dem mittleren Planckschen Farbart-Kurvenzug abhängt, anwenden“ 1134 umfassen, und wie vorstehend beschrieben ist, um die Distanz von Mittelwert 1214 der Datenverteilung zum nächsten Punkt auf Kurvenzug 1302 zu nutzen. Dadurch wird die Gesamtkompaktheit von der Distanz der Datenverteilung vom mittleren Farbart-Kurvenzug gewichtet. Je größer die Distanz, desto größer ist die Unsicherheit der Farbfehlerschätzung. Wie durch die MacAdams-Studien begründet, ist die Messung der Farbunterschiede für hochchromatische Objekte wesentlich mehrdeutiger als die Messung der Farbunterschiede von achromatischen Objekten (die Datenverteilungen näher am Ort darstellen).
Vorgang 1100 kann dann außerdem „den anfänglichen Kompaktheitswert, abhängig von einer generellen Richtung der Datenverteilung in Bezug auf eine Hauptachse von Ellipsen des menschlichen visuellen Systems anpassen“ 1136 umfassen. Das kann „den anfänglichen Kompaktheitswert, abhängig von einem Winkel der Hauptachse der Datenverteilung in Bezug auf einen Winkel des mittleren Planckschen Farbart-Kurvenzugs, anpassen“ 1138 umfassen und wie vorstehend beschrieben, den Winkel zwischen der Hauptachse der Datenverteilung und dem Winkel der Kurvenzugtangente nutzen. Dadurch wird der Gesamtkompaktheitswert von der Orientierung der Datenhauptrichtung, wie in Gleichung (3) gezeigt, gewichtet. Verteilungen entlang der Richtungen tangential zum mittleren Farbart-Kurvenzug gehören mit größerer Plausibilität zum wahren Leuchtmittel, während Verteilungen orthogonal zum mittleren Farbart-Kurvenzug mit geringerer Plausibilität zum wahren Leuchtmittel gehören.
Vorgang 1100 kann „die finalen Kompaktheitswerte dazu nutzen, um jedem Leuchtmittel eine Plausibilität, das wahre Leuchtmittel zu sein, bereitzustellen“ 1140 umfassen. Die Werte werden so berechnet, dass das System „die größte Plausibilität als Leuchtmittel mit der kleinsten Farbartvariation auswählt“ 1142, und der Vorgang 1100 kann „eine Plausibilität für jeden Block eines Bilds bestimmen“ 1144 umfassen. Somit werden die Operationen 1116 bis 1140 für jede mögliche LSC-Tabelle und für jeden Block wiederholt, sodass jeder Block eine Menge von Plausibilitäten aufweist, wobei die größte Plausibilität des Blocks die kleinste Farbartvariation anzeigt und somit das wahrscheinlichste Leuchtmittel und eine entsprechende mögliche LSC-Tabelle. Manche Blöcke können die gleichen wahrscheinlichsten Leuchtmittel anzeigen, während andere unterschiedliche Leuchtmittel anzeigen.
Danach kann der Vorgang 1100 „die Plausibilitäten von allen Blöcken eines einzelnen Bilds mit einer Plausibilität pro Leuchtmittel fusionieren, sodass die Plausibilitäten 1 ergeben“ 1146 umfassen. Bei diesem Ansatz wird daher eine Teilmenge von Blöcken mit dem kleinsten Kompaktheitswert 1^ ausgewählt. Alternativ dazu kann das als Auswählen der Blöcke, die die homogenen Bereiche in einer Szene darstellen, betrachtet werden. Die Plausibilitäten aus diesen Blöcken werden weiter addiert und normalisiert, sodass sie 1 ergeben. Diese Plausibilitäten können dann anderen 3A-Anwendungen bereitgestellt werden.
Vorgang 1100 kann „die Plausibilitäten bereitstellen, um Farbe auf einem Bild zu korrigieren“ 1148 umfassen. In einer Ausführungsform werden die Plausibilitäten separat einer LSC-Einheit, einer AWB-Einheit und einer CCM-Einheit bereitgestellt. In einer anderen Ausführungsform werden die Plausibilitäten nur der LSC-Einheit bereitgestellt und die AWB-Einheit und die CCM-Einheit erhalten die CCT des plausibelsten Leuchtmittels des Bilds. Andererseits profitieren AWB und CCM indirekt von den genaueren finalen Linsenabschattungskorrekturtabellen, die erzeugt werden. Diese und weitere Optionen werden im Folgenden erläutert.
In 13A wird ein Verfahren 1300 der Linsenabschattungskorrektur beschrieben und entspricht der Operation „eine finale zusammengesetzte LSC-Tabelle bestimmen, die zumindest teilweise auf der Verwendung der Plausibilitäten als Gewichte basiert“ 1150 von Vorgang 1100 und wie vorstehend erwähnt. Vorgang 1300 kann „Statistik erhalten“ 1302, „Abschattungskorrektur erhalten (Leuchtmittel 1 ... N)“ 1304 und „Lichtquellenschätzung (LSE) durchführen“ 1306 umfassen, die alle wie vorstehend beschrieben sind. Vorgang 1300 kann dann „Leuchtmittelplausibilitätsvektor (TV) erhalten“ 1308 umfassen, das das Erhalten von LSC-Tabellen umfasst, die Plausibilitäten für jedes vorhandenes Leuchtmittel entsprechen und als Vektor betrachtet werden können und auf die nicht-LSC-korrigierten Bilddaten angewendet werden sollen, um überarbeitete LSC-Raster zu erzeugen. Somit kann Vorgang 1300 dann „gewichtete mittlere Abschattungskorrektur berechnen“ 1310 umfassen und die Plausibilitäten nutzen, um eine mittlere gewichtete LSC-Tabelle aus den in Operation 1308 erzeugten LSC-Rastern zu erzeugen, oder anders ausgedrückt, kann eine finale zusammengesetzte LSC-Tabelle zur Farbkorrektur eines Bilds bereitgestellt werden.
Im Beispiel von Vorrichtung 1000 operiert die LSC-Einheit wie vorstehend beschrieben, wobei die Plausibilitäten nur als Vorläufer- oder Verfeinerungsplausibilitäten genutzt werden und die finale fusionierte, zusammengesetzte LSC-Tabelle immer noch auf AWB-korrigierten HSV-Raumfehlern basiert. Somit können die Plausibilitäten hierin anstelle der P_CCT-Wahrscheinhehkeiten von der CCT-Schätzungseinheit genutzt werden. Zweitens können die Plausibilitäten genutzt werden, um die P_CCT beispielsweise durch deren Kombination oder Mittlung der Wahrscheinlichkeiten zu überarbeiten. Die ersten zwei Optionen können immer auftreten oder dann auftreten, wenn manche Kriterien bestimmt werden, wie beispielsweise, dass die LSE-Einheit-Wahrscheinlichkeiten nur dann verwendet werden, wenn es um eine komplexere Bildbestimmung geht oder eine höhere Qualität benötigt wird. Viele andere Kriterien können ebenfalls genutzt werden.
Bei einer dritten Option werden die LSE-Einheit-Wahrscheinlichkeiten bereitgestellt, um die LSC-Tabellen auszuwählen, die dann für die GW-AWB-Korrekturen bereitgestellt werden. Danach werden jedoch die Umwandlung zu HSV-Raum und Konfidenz- und Fehlerberechnungen ausgelassen und die LSC-Tabellen direkt für die Fusion an eine einzelne finale korrigierte LSC-Tabelle mittels der üblichen Fusionsoperation bereitgestellt. Dabei wird angenommen, dass die LSE-Einheit-Wahrscheinlichkeiten sehr genau sind. Bei einer vierten Option werden die GW-AWB-Anpassungen ebenfalls ausgelassen und die ausgewählten LSC-Tabellen aus den LSE-Einheit-Wahrscheinlichkeiten (oder Kompaktheitswerten) der Fusionseinheit direkt bereitgestellt.
In 13B und in einem Ansatz getrennt von LSC-Operationen kann der Vorgang 1100 „AWB unter Verwendung der Plausibilitäten durchführen, um den Weißpunkt zu modifizieren“ 1152 umfassen. In dieser Ausführungsform nutzt ein Vorgang 1320 die Plausibilitäten der gegenwärtigen Lichtquellenschätzung in einem szenenunveränderlichen (oder zeitlichen Prior-) Weißpunktschätzungsverfahren der AWB-Einheit. Insbesondere wurde herausgefunden, dass die Leuchtmittelfarbartschätzung für eine aufeinanderfolgende Sequenz von Einzelbildern, wie ein Stream von Videoeinzelbildern, in Gegenwart von willkürlichen Veränderungen der Szene und Beleuchtungsbedingung genutzt werden kann, um die Rechenfarbkonstanz zu verbessern und dadurch genauere Bilder mit guter Qualität bereitzustellen. In einem Ansatz nutzt der AWB ein zeitliches AWB-Verfahren, das zuvor eine Szenenbeleuchtung nutzt, die als zeitlich unveränderliche Darstellung des aktuellen Szenenleuchtmittels dient und außerdem die Informationen in den Weißpunktschätzungsvorgang aufnimmt. Dieser Ansatz hilft dabei, die Durchführung von AWB bei schwierigen dynamischen Szenen zu stabilisieren und zu verbessern. Siehe beispielsweise die vorstehend angeführte US-Patentanmeldung Nr. 15/857.455 . Wenn die zeitliche Szene jedoch eine Veränderung des Szenenleuchtmittels umfasst, kann die bei diesem Verfahren vorgeschlagene zeitliche Stabilisierung den Weißpunkt der aktuellen Szene nicht ordentlich umstellen und an das neue Lichtmittel anpassen, da der AWB-Algorithmus die zugrunde liegende Lichtquelle üblicherweise nicht erkennt. Die Integration des gegenwärtigen Lichtquellenschätzungsvorgangs in den automatischen Weißabgleich, wie vorstehend beschrieben, hilft jedoch dabei, auf die Veränderungen der Beleuchtungsbedingungen einzugehen, wodurch Farbnachbildungsfehler verringert werden.
Daher kann Vorgang 1320 in einer Ausführungsform „Lichtquellenplausibilitäten erhalten“ 1324, dabei nutzend das vorstehend beschriebene Verfahren, das ebenfalls vorstehend beschriebene „Statistik erhalten“ 1322 und „szenenunveränderlichen AWB durchführen“ 1324, wie in der vorstehend angeführten US-Patentanmeldung Nr. 15/857.455 beschrieben, umfassen.
Danach kann Vorgang 1320 „Weißpunkt durch Adaptieren der Lichtquelle abhängig von Plausibilitäten modifizieren“ 1328. Wenn die Plausibilitäten der AWB-Adaptierungseinheit 1328 bereitgestellt werden, berechnet die AWB-Einheit die CCT und die Referenzfarbart des Leuchtmittels.
Die Plausibilitäten und Bestimmung der CCT, die dem aktuellen Leuchtmittel entspricht, kann den AWB-Vorgang durch das Verringern des Suchbereichs für den korrekten Weißpunkt vereinfachen. Da die mittels Schätzung berechnete Lichtquellen-CCT auf Basis der Plausibilitäten von der LSE-Einheit genau sein sollte, kann die AWB-Weißpunktsuche für die Weißpunkt-CCT jene CCTs eliminieren, die als zu weit entfernt von der CCT betrachtet werden, die als wahrscheinlichstes Leuchtmittel bestimmt. Der Grenzwert für solche Entfernungen kann von heuristischen Verfahren bestimmt werden.
Außerdem erhält der AWB, wie erwähnt, LSC-korrigierte Bilddaten, um die AWB-Operationen durchzuführen. Da die Bilddaten unter Verwendung der LSE-Einheit korrigiert wurden, sollte die AWB-Weißpunktbestimmung zumindest genauer sein, wodurch Bilder mit besserer Qualität bereitgestellt werden.
In 13C kann Vorgang 1100 „eine Farbumwandlungsmatrix unter Verwendung der Plausibilitäten bestimmen“ 1154 umfassen. Das kann Vorgang 1340 zur Bestimmung einer Farbumwandlungsmatrix und „Statistik erhalten“ 1342, „Abschattungskorrektur erhalten (Leuchtmittel 1...N)“ 1344 und „Lichtquellenschätzung (LSE) durchführen“ 1346 umfassen, die alle vorstehend beschrieben wurden. Vorgang 1340 kann außerdem „Leuchtmittelplausibilitätsvektor (N) erhalten“ 1348, umfassen, das sich wie vorstehend erwähnt auf das Erhalten der resultierenden Plausibilitäten für jedes gegenwärtige Leuchtmittel und von der LSE-Einheit bezieht. Hierin kann der Vorgang 1340 außerdem „CCM erhalten CCM (Leuchtmittel 1...N)“ 1350 umfassen, das sich auf das Erhalten von vorbestimmten CCMs für jedes Leuchtmittel, das von den Plausibilitäten dargestellt wird, bezieht.
Im Allgemeinen wandelt die Farbkorrekturmatrix die Kameraausgabe von sensorspezifischem Farbraum zu Zielfarbraum um, der in den meisten Fällen Standard- (sRGB-) Farbraum ist, um durchgängige und sensorunabhängige Ausgabeergebnisse zu erhalten. Genaue Farbumwandlungsmatrizen (CCMs) werden üblicherweise für unterschiedliche Lichtquellen optimal vorbestimmt und werden außerdem in der Bildgebungsvorrichtung auf Basis der aktuellen Ausgabe vom AWB-Algorithmus dynamisch ausgewählt. Da AWB den Weißpunkt und CCT ausgibt, die die Farbart der Beleuchtung, aber nicht die Beleuchtung selbst darstellen, kann die Wahl der finalen CCM oft ungenau und fehleranfällig sein, da unterschiedliche Lichtquellen mit vollkommen unterschiedlichen Spektralantworteigenschaften und unterschiedlichen CCMs eine ähnliche Farbart des Weißpunkts haben.
Um diesen Nachteil zu vermeiden, kann der Vorgang 1340 „gewichtete mittlere CCM berechnen“ 1352 umfassen. Das kann das Durchführen einer gewichteten mittleren Berechnung über alle CCMs mit einem dargestellten Leuchtmittel umfassen. Somit wird die resultierende CCM als gewichtetes Mittel von Farbkorrekturmatrizen, die für bekannte Lichtquellen vorberechnet wurden, berechnet. Da die CCM-Einheit die Leuchtmittelplausibilitäten von der LSE-Einheit erhalten kann, können diese außerdem die CCM-Einheit von der AWB-Einheit abkoppeln, sodass Fehler vom AWB nicht unbedingt auf die CCM-Einheit übertragen werden.
Wenn andererseits nur die LSC-Einheit die Plausibilitäten erhält, ist die CCM immer noch verbessert und genauer, da die erhaltene CCT mit größerer Plausibilität eine genaue Anzeige des wahren Leuchtmittels ist. Die CCT für CCM kann von der AWB-Einheit erhalten werden, aber die CCM könnte die CCT direkt von der Lichtquellenschätzungseinheit erhalten, da die CCT ausreichend genau sein sollte.
In 14A-14H werden Versuchsergebnisse bereitgestellt, die eine Datenbankverifikation der Farbabschattungskorrektur betreffen. Insbesondere wurde das vorliegende Lichtquellenschätzungsverfahren getestet und auf einer Datenbank bestehend aus 267 Testbildern verifiziert, die mit vier verschiedenen Leuchtmitteln aufgenommen wurden, nämlich einer weißglühenden Lichtquelle A, zwei fluoreszierenden Lichtquellen: F11 und F12 und dem Tageslichtleuchtmittel D55. Eine Trennung zwischen diesen Leuchtmitteln bezüglich Farbabschattung ist schwierig, da die Abschattungsprofile dieser Lichtquellen sehr unterschiedlich sind und die Verwendung der falschen Lichtquelle und dadurch der falschen Linsenabschattungskorrekturtabelle zu einer bemerkbaren Verschlechterung der Bildqualität führen kann. Ein Schätzfehler für diese zwei getesteten Ansätze pro Lichtquelle wird in den geradzahligen Diagrammen 1400 bis 1414 bereitgestellt. Der Fehler (auf der vertikalen Achse des Diagramms) wurde auf den Bereich zwischen 0 und 1 normalisiert, wobei 0 Fehler erhalten wurde, wenn ein finales Gewicht vollständig der wahren Lichtquelle zugeordnet wurde, und Fehler 1 eingestellt wird, wenn das Gewicht vollständig der falschen Lichtquelle zugeordnet wurde. Die horizontale Achse der Diagramme sind Bildnummern für eine Sequenz getesteter Bilder. Die Ergebnisse zeigen eine deutliche Verbesserung der Lichtquellentrennung durch das vorliegende LSE-Verfahren, wobei die Verbesserung der Trennung bei den Fluoreszenzlichtquellen F11 und F12 besonders beeindruckend ist.

Die Lichtquellenschätzungsergebnisse für die Datenbank mit 267 Testbildern umfasst Folgendes. Die Diagramme der oberen Reihe (1400 bis 1406) zeigen eine Lichtquellenschätzung durch einen herkömmlichen Algorithmus im HSV-Raum. Die Diagramme der unteren Reihe (1408 bis 1414) zeigen eine Lichtquellenschätzung durch das vorliegenden LSE-Verfahren unter Verwendung von PCA:

Diagramm 1400: Lichtquelle „F12“. Kumulierter Fehler:
13.422
Diagramm 1402: Lichtquelle „F 1 l“. Kumulierter Fehler:
9.984
Diagramm 1404: Lichtquelle „A“. Kumulierter Fehler:
3.023
Diagramm 1406: Lichtquelle „D“. Kumulierter Fehler:
12.707
Diagramm 1408: Lichtquelle „F12“. Kumulierter Fehler:
2.125
Diagramm 1410: Lichtquelle „F11“. Kumulierter Fehler:
1.027
Diagramm 1412: Lichtquelle „A“. Kumulierter Fehler:
1.145
Diagramm 1414: Lichtquelle „D“. Kumulierter Fehler:
1.977

Es gilt anzumerken, dass das vorliegende LSE-Verfahren eine 6-bis 10-fache Verbesserung der Genauigkeit der Lichtquellentrennung mit 30 bis 40 % geringeren Rechenkosten erzielte (wie ersichtlich aus
Eine signifikante Zunahme der Schätzungsrobustheit ermöglicht die Wiederverwendung von Schätzungsergebnissen in einer Vielzahl von Farbkorrekturverfahren, sei es für 3A-Verfahren oder andere Bildkorrekturverfahren.
Tabelle 1 Rechnerkomplexitätsschätzung zur Simulation, die für die Datenbank mit 267 Bildern für 10 Durchläufe und vier Leuchtmittel ausgeführt wurde.

Tabelle 1 herkömmlich offenbart Abnahme der Rechenmenge %

Anzahl von Befehlen 1530443235 96966579 1 -36 %

Taktzyklen 925304607 51441573 -44 %
In 15 wird eine Beispielszene in einem Bild 1500 von fluoreszierendem U30-Licht beleuchtet und weist einen Interessensbereich (ROI) 1502 einer einheitlichen grauen Farbe auf, der für einen Test und eine Analyse verwendet wurde. Der Versuch hierin testet die Schätzung der Lichtquellen, deren Korrekturraster die genau mit den vordefinierten Korrekturrastern, die während der Abstimmungs- (oder Charakterisierungs-) Phase erzeugt wurden, übereinstimmen. Daher gibt es in diesem Fall keine LSC-Tabellen (oder Raster) für ein fluoreszierendes U30-Licht in der Menge vorcharakterisierter Lichtquellen.
In den 16A-16B sind Farbvariationen in einem HSV-Raum auf dem polaren Graphen 1600, das die Farbvariation für eine weißglühende Lichtquelle A zeigt, und dem polaren Diagramm 1650 gezeigt, das die Farbvariation für eine fluoreszierende Lichtquelle F12 zeigt. Die Graphen 1600 und 1650 zeigen sehr kleine Unterschiede zwischen den möglichen Lichtquellen A und F12, die für das Kameramodul vorcharakterisiert wurden, wodurch es mit herkömmlicher Lichtquellenschätzung sehr schwierig wird, die dominante Lichtquelle zu schätzen. In einer realen Vorrichtung wird diese Situation weiter aufgrund von zeitlichen Farbinstabilitäten zwischen angrenzenden Einzelbildern verschlechtert, wenn zwei Lichtquellen austauschbar von einem Lichtquellenschätzungsalgorithmus ausgewählt werden.
In 17 werden die Ergebnisse, die durch die Verwendung des Lichtquellenschätzungsverfahrens hierin erhalten wurden, auf einem Farbartraumgraphen gezeigt. Daten vom Bild 1500, die von einer F12-Lichtquelle korrigiert wurden, sind wesentlich kompakter als die Daten, die mit einer A-Lichtquelle korrigiert wurden. Die Hauptachsen für die gezeigten Daten wurden zum Zwecke der Veranschaulichung vergrößert. Die Eigenwerte für die weißglühende Lichtquelle A lauten wie folgt: $d_{11}^{A} = 32.9 \times 10^{- 5}, d_{22}^{A} = 1.54 \times 10^{- 5},$
während bei der fluoreszierenden F12-Lichtquelle eine Zerlegung der Hauptkomponentenanalyse (PCA) folgende Eigenwerte hervorbringt: $d_{11}^{F 12} = 2.85 \times 10^{- 5}, d_{22}^{F 12} = 1.45 \times 10^{- 5}$
Das führt zu einem über 10-fachen Unterschied der Datenkompaktheit der zwei Lichtquellen, wie mittels der vorstehenden Gleichung (3) berechnet wurde, und deutlich zeigt, dass die eine kein guter Ersatz für die andere ist.
In 18 wurde ein Test durchgeführt, um zu bestimmen, wie der vorliegende Lichtquellenschätzungsvorgang die Ergebnisse von AWB verbessern könnten, wenn sich die Beleuchtungsbedingungen ändern und das zeitlich davor durchgeführte Verfahren genutzt wird, wie beispielsweise beim Wechsel von einer Außen- zu einer Innenszene. Eine beispielhafte Videosequenz weist ein Einzelbild 1800 von einer Außenszene auf, das eine CCT von 6000K aufweist, die in diesem Versuch genutzt wurde.
Insbesondere wurde das vorliegende LSE-Verfahren mit einer typischen Testsequenz getestet, die ein Benutzer mit einer Bildgebungsvorrichtung erfassen kann. Wie in 18-20 gezeigt, simuliert ein Testszenario eine Kamerabewegung von Außenbedingungen bei CCT um etwa 6000K bei Bild 1800 zu einer Büroszene mit fluoreszierendem Innenlicht bei CCT um etwa 3600K bei Bild 1900 oder 2000. Die Innenszene ist im Hinblick auf die Farbkonstanz mehrdeutig, da sie in erster Linie eine einfarbige weiße Wand aufweist. Bei einer solchen Szene kann das erwähnte zeitliche AWB-Verfahren (szenenunveränderliches AWB-Verfahren) das Weiß unerwünschterweise wie ein hellbraunes Objekt unter dem Außenlichtleuchtmittel behandeln, wenn es nicht korrekt zu einem Innenleuchtmittel umgestellt wird. Das kann zu einem starken Gelbschimmer der Szene in Bild 1900 führen und auftreten, wenn die richtige Lichtquelle nicht verfügbar ist. Die Aufnahme der Leuchtmittelinformationen in den vorliegenden Lichtquellenschätzungsvorgang hilft bei der Detektion der Beleuchtungsveränderung von einem D65-Leuchtmittel-Außenkorrekturraster zu einem F11- Leuchtmittelkorrekturraster, wodurch die Außenszene nach der Änderung der Lichtquelle ordentlich umgestellt wird, was in Bild 2000 gezeigt wird.
Zusätzlich dazu können eine beliebige oder mehrere Operationen von 8 und 11A-11C als Reaktion auf Befehle durchgeführt werden, die von einem oder mehreren Computerprogrammprodukten bereitgestellt werden. Solche Programmprodukte können signaltragende Medien umfassen, die Befehle bereitstellen, die bei ihrer Ausführung durch beispielsweise einen Prozessor die hierin beschriebene Funktionalität bereitstellen. Die Computerprogrammprodukte können in einer beliebigen eines oder mehrerer maschinenlesbarer Medien bereitgestellt sein. Somit kann beispielsweise ein Prozessor, der einen oder mehrere Prozessorkern(e) umfasst, eine oder mehrere der Operationen der Beispielprozesse hierin als Reaktion auf Programmcode und/oder Befehle oder Befehlssätze ausführen, die von einem oder mehreren Computern oder maschinenlesbaren Medien an den Prozessor übertragen wurden. Im Allgemeinen kann ein maschinenlesbares Medium Software in Form von Programmcode und/oder Befehlen oder Befehlssätzen übertragen werden, die beliebige der Vorrichtungen und/oder Systeme dazu veranlassen können, wie hierin beschrieben zu arbeiten. Das maschinen- oder computerlesbare Medium kann ein nichttransitorisches Element oder Medium sein, wie beispielsweise ein nichttransitorisches computerlesbares Medium, und kann in Zusammenhang mit einem der vorstehend beschriebenen Beispiele oder anderen Beispielen genutzt werden, mit der Ausnahme, dass es kein transitorisches Signal per se umfasst. Es umfasst jene Elemente, außer ein Signal per se, die vorübergehend Daten auf „transitorische“ Weise speichern können, wie RAM usw.
Wie in beliebigen der hierin beschriebenen Implementierungen verwendet, bezieht sich der Begriff „Modul“ auf eine beliebige Kombination aus Softwarelogik, Firmwarelogik und/oder Hardwarelogik, die konfiguriert ist, um die hierin beschriebene Funktionalität bereitzustellen. Die Software kann in Form eines Softwarepakets, Code und/oder eines Befehlssatzes oder Befehle sein und „Hardware“, wie in einer beliebigen Implementierung hierin verwendet, kann beispielsweise allein oder in beliebiger Kombination festverdrahtete Schaltungen, programmierbare Schaltungen, Automatenschaltungen und/oder Firmware umfassen, die Befehle speichert, die von einer programmierbaren Schaltung ausgeführt werden können. Die Logikeinheiten können kollektiv oder einzeln als Schaltung ausgeführt sein, die einen Teil eines größeren Systems ausmacht, wie beispielsweise ein integrierter Schaltkreis (IC), ein System-on-Chip (SoC) usw. Beispielsweise kann ein Modul in einer Logikschaltung für die Implementierung über Software, Firmware oder Hardware des hierin besprochenen Codiersystems ausgeführt sein.
Wie in beliebigen der hierin beschriebenen Implementierungen verwendet, bezieht sich der Begriff „Logikeinheit“ auf eine beliebige Kombination aus Firmwarelogik und/oder Hardwarelogik, die konfiguriert ist, um die hierin beschriebene Funktionalität bereitzustellen. Die „Hardware“, wie in beliebigen hierin beschriebenen Implementierungen verwendet, kann beispielsweise allein oder in beliebiger Kombination festverdrahtete Schaltungen, programmierbare Schaltungen, Automatenschaltungen und/oder Firmware umfassen, die Befehle speichert, die von einer programmierbaren Schaltung ausgeführt werden können. Die Logikeinheiten können kollektiv oder einzeln als Schaltung ausgeführt sein, die einen Teil eines größeren Systems ausmacht, wie beispielsweise ein integrierter Schaltkreis (IC), ein System-on-Chip (SoC) usw. Beispielsweise kann eine Logikeinheit in einer Logikschaltung für die Implementierung über Software, Firmware oder Hardware des hierin besprochenen Codiersystems ausgeführt sein. Fachleute auf dem Gebiet der Erfindung werden erkennen, dass Operationen, die von Hardware und/oder Firmware durchgeführt werden, alternativ dazu über ein Softwaremodul implementiert sein können, das als Softwarepaket, Code und/oder Befehlssatz ausgeführt sein kann, und sie werden außerdem erkennen, dass eine Logikeinheit außerdem einen Teil von Software nutzen kann, um dessen Funktionalität zu implementieren.
Wie in einer beliebigen hierin beschriebenen Implementierung kann sich der Begriff „Komponente“ auf ein Modul oder eine Logikeinheit, wie vorstehend beschrieben, beziehen. Dementsprechend kann sich der Begriff „Komponente“ auf eine beliebige Kombination aus Softwarelogik, Firmwarelogik und/oder Hardwarelogik beziehen, die konfiguriert ist, um die hierin beschriebene Funktionalität bereitzustellen. Beispielsweise werden Fachleute auf dem Gebiet der Erfindung erkennen, dass Operationen, die von Hardware und/oder Firmware durchgeführt werden, alternativ dazu über ein Softwaremodul implementiert sein können, das als Softwarepaket, Code und/oder Befehlssatz ausgeführt sein kann, und sie werden außerdem erkennen, dass eine Logikeinheit außerdem einen Teil von Software nutzen kann, um dessen Funktionalität zu implementieren.
In 21 ist ein beispielhaftes Bildverarbeitungssystem 2100 gemäß zumindest manchen Implementierungen der vorliegenden Offenbarung angeordnet. In zahlreichen Implementierungen kann das beispielhafte Bildverarbeitungssystem 2100 eine Bildgebungsvorrichtung 2102 aufweisen, um erfasste Bilddaten zu bilden oder zu erhalten. Dieses kann auf verschieden Arten implementiert werden. Daher kann das Bildverarbeitungssystem 2100 in einer Ausführungsform eine Digitalkamera oder eine andere Bilderfassungsvorrichtung sein und Bildgebungsvorrichtung 2102 in diesem Fall die Kamerahardware und Kamerasensorsoftware, -modul oder -komponente sein. In weiteren Beispielen kann das Bildverarbeitungssystem 2100 eine Bildgebungsvorrichtung 2102, die eine Kamera umfasst oder sein kann, und Logikmodule 2104 aufweisen, die aus der Ferne mit der Bildgebungsvorrichtung 2102 für eine weitere Verarbeitung der Bilddaten kommunizieren oder damit anderweitig kommunikativ gekoppelt sein können.
In beiden Fällen können solche Technologien eine Kamera, wie ein Digitalkamerasystem, eine dedizierte Kameravorrichtung oder ein Bildgebungstelefon, sei es eine Standbildkamera, eine Videokamera oder eine Kombination aus beiden, umfassen. Daher kann die Bildgebungsvorrichtung 2102 in einer Ausführungsform Kamerahardware und -optik umfassen, wie beispielsweise einen oder mehrere Sensoren, Autofokus, Zoom, Blende, ND-Filter, Belichtungsautomatik, Blitz und Auslösersteuerungen. Diese Steuerungen können Teil von Sensormodul oder -komponente 2106 sein, um den Sensor zu betreiben. Die Sensorkomponente 2106 kann Teil der Bildgebungsvorrichtung 2102 oder Teil der Logikmodule 2104 oder beides sein. Eine solche Sensorkomponente kann genutzt werden, um Bilder für einen Sucher zu erzeugen und ein Standbild oder Video aufzunehmen. Die Bildgebungsvorrichtung 2102 kann außerdem eine Linse, einen Bildsensor mit einem RGB-Bayer-Farbfilter, einen analogen Verstärker, einen A/D-Wandler, andere Komponenten, um einfallendes Licht in ein digitales Signal umzuwandeln und dergleichen und/oder Kombinationen davon umfassen. Das digitale Signal kann hierin außerdem als Rohbilddaten bezeichnet werden.
Weitere Ausführungsform umfassen eine Bildgebungsvorrichtung des Kamerasensortyps oder dergleichen (beispielsweise eine Webcam oder einen Webcam-Sensor oder einen anderen komplementären Bildsensor des Metalloxidhalbleitertyps (CMOS)), ohne die Verwendung einer Rot-Grün-Blau- (RGB-) Tiefenkamera und/oder einer Mikrofonanordnung, um einen Sprecher zu lokalisieren. Der Kamerasensor kann außerdem andere Arten von elektronischen Verschlüssen unterstützen, wie globale Verschlüsse, zusätzlich zu oder anstelle von Rollläden und vielen anderen Verschlusstypen. In anderen Beispielen können die RGB-Tiefenkamera und/oder Mikrofonanordnung zusätzlich oder alternativ zu einem Kamerasensor genutzt werden. In manchen Beispielen kann die Bildgebungsvorrichtung 2102 mit einer Eye-Tracking-Kamera bereitgestellt sein. Die Bildgebungsvorrichtung 2102 kann außerdem eine/n Linsenauslöser oder -steuerung 2108 aufweisen, der/die eine Linse und einen Linsentreiber oder eine Treiberlogik aufweist, die Befehle empfängt, um die Linse zu bewegen, und einen elektrischen Strom anlegt, um die Linse zu bewegen.
In dem veranschaulichten Beispiel können die Logikmodule 2104 die 3A-Komponente umfassen, die wiederum eine AF-Komponente 2118, eine automatische Weißabgleich- (AWB-) Komponente 2116 und eine Belichtungsautomatik- (AEC-) Komponente 2117 umfassen. Die 3A-Komponenteneinheit 2110 kann außerdem eine Lichtabschattungskorrektur- (LSC-) Tabellenschätzungskomponente 2114 und eine Lichtquellenschätzungseinheit 2112 aufweisen, die viele der hierin beschriebenen Operationen durchführt. Eine Vorverarbeitungseinheit 2119 wird ebenfalls bereitgestellt. Die Aufgaben, die von diesen Einheiten ausgeführt werden, sind vorstehend beschrieben, wobei die Beschreibung der Aufgabe dem Namen der Einheit entspricht. Die 3A-Komponeneneinheit 2110 kann von Prozessor(en) 2120 betrieben werden oder sich sogar vollständig oder teilweise dort befinden, die einen ISP 2122 umfassen können, um die Operationen durchzuführen. Die Logikmodule können kommunikativ mit den Komponenten der Bildgebungsvorrichtung 2102 gekoppelt sein, um die Rohbilddaten zu erhalten. In diesen Fällen wird angenommen, dass die Logikmodule 2104 als getrennt von der Bildgebungsvorrichtung betrachtet werden. Das muss nicht zwingenderweise so sein, und die Logikmodule können genauso gut als Teil der Bildgebungsvorrichtung betrachtet werden.
Das Bildverarbeitungssystem 2100 kann einen oder mehrere Prozessoren 2120 aufweisen, die einen dedizierten Bildsignalprozessor (ISP) 2122, wie Intel Atom, Arbeitsspeicher 2124, die die LSC-Tabellen und andere Lichtquellenschätzungs- und 3A-Korrekturdaten enthalten können, eine oder mehrere Anzeigen 2128, um Bilder 2130 bereitzustellen, Codierer 2132 und Antenne 2134 umfassen können. Bei einer beispielhaften Implementierung kann das Bildverarbeitungssystem 2100 die Anzeige 2128, zumindest einen Prozessor 2120, der mit der Anzeige kommunikativ gekoppelt ist, und zumindest einen Arbeitsspeicher 2124 umfassen, der mit dem Prozessor kommunikativ gekoppelt ist, um die hierin beschriebenen Operationen, wie vorstehend erklärt, durchzuführen. Codierer 2132 und Antenne 2134 können bereitgestellt werden, um die modifizierten Bilddaten für die Übertragung an andere Vorrichtungen zu komprimieren, die das Bild anzeigen oder speichern können und die Bewegungsdaten für die Blockübereinstimmung bereitstellen. Es gilt zu verstehen, dass das Bildverarbeitungssystem 2100 außerdem einen Decodierer umfassen kann (oder der Codierer 2132 kann einen Decodierer umfassen), um Bilddaten zu empfangen und für die Verarbeitung durch System 2100 zu decodieren. Andererseits kann das verarbeitete Bild 2130 auf Anzeige 2128 angezeigt oder in einem Arbeitsspeicher 2124 gespeichert werden. Wie gezeigt, können beliebige dieser Komponenten in der Lage sein, miteinander und/oder mit Teilen der Logikmodule 2104 und/oder Bildgebungsvorrichtung 2102 zu kommunizieren. Daher können die Prozessoren 2120 kommunikativ mit sowohl der Bildgebungsvorrichtung 2102 als auch den Logikmodulen 2104 gekoppelt sein, um diese Komponenten auszuführen. In einem Ansatz können, obwohl das Bildverarbeitungssystem 2100, wie in 21 gezeigt, eine bestimmte Menge von Blöcken oder Aktionen umfassen kann, die bestimmten Komponenten oder Modulen zugeordnet sind, diese Blöcke oder Aktionen anderen Komponenten oder Modulen zugeordnet sein als den bestimmten hierin dargestellten Komponenten oder Modulen.
In 22 betreibt ein Beispielsystem 2200 gemäß der vorliegenden Offenbarung einen oder mehrere Aspekte des hierin beschriebenen Bildverarbeitungssystems. Aufgrund der Art der nachstehend beschriebenen Systemkomponenten versteht es sich, dass solche Komponenten einem bestimmten Teil oder Teilen des vorstehend beschriebenen Bildverarbeitungssystems zugeordnet sein können oder zu dessen Betrieb genutzt werden können. In verschiedenen Implementierungen kann es sich bei System 2200 um ein Mediensystem handeln, obwohl System 2200 nicht auf diesen Kontext beschränkt ist. Beispielsweise kann System 2200 in einer digitalen Standbildkamera, einer digitalen Videokamera, einer mobilen Vorrichtung mit Kamera- oder Videofunktionen wie ein Bildgebungstelefon, eine Webcam, einen Personal Computer (PC), einen Laptop-Computer, einen Ultralaptop-Computer, ein Tablet, ein Touchpad, einen tragbaren Computer, einen Handheld-Computer, einen Palmtop-Computer, einen Personal Digital Assistant (PDA), ein Mobiltelefon, eine Kombination aus Mobiltelefon/PDA, einen Fernseher, eine Smart-Vorrichtung (z. B. Smartphone, Smart-Tablet oder Smart-TV), eine mobile Internetvorrichtung (MID), eine Benachrichtigungsvorrichtung, eine Datenkommunikationsvorrichtung usw. aufgenommen sein.
In zahlreichen Implementierungen umfasst System 2200 eine Plattform 2202, die mit einer Anzeige 2220 gekoppelt ist. Die Plattform 2202 kann Inhalte von einer Inhaltsvorrichtung, wie Inhaltsservicevorrichtung(en) 2230 oder Inhaltsliefervorrichtung(en) 2240 oder ähnlichen Inhaltsquellen bereitstellen. Eine Navigationssteuerung 2250, die eine oder mehrere Navigationsfunktionen umfasst, kann genutzt werden, um beispielsweise mit Plattform 2202 und/oder Anzeige 2220 zu interagieren. Jede dieser Komponenten wird im Folgenden genauer beschrieben.
In zahlreichen Implementierungen kann Plattform 2202 eine beliebige Kombination aus einem Chipsatz 2205, einem Prozessor 2210, einem Arbeitsspeicher 2212, einem Speicher 2214, einem Grafiksubsystem 2215, Anwendungen 2216 und/oder Funk 2218 umfassen. Chipsatz 2205 kann eine Kommunikation zwischen dem Prozessor 2210, Arbeitsspeicher 2212, Speicher 2214, Grafiksubsystem 2215, Anwendungen 2216 und/oder Funk 2218 bereitstellen. Beispielsweise kann Chipsatz 2205 einen Speicheradapter (nicht gezeigt) umfassen, der in der Lage ist eine Kommunikation mit Speicher 2214 bereitstellen kann.
Prozessor 2210 kann als Prozessor eines Rechners mit komplexem Befehlssatz (CISC) oder eines Rechners mit reduziertem Befehlssatz (RISC); x86-Befehlssatz-kompatible Prozessoren, Multicore- oder beliebige andere Mikroprozessoren oder zentrale Verarbeitungseinheit (CPU) implementiert sein. In zahlreichen Implementierungen kann es sich bei Prozessor 2210 um Dualcore-Prozessor(en), mobile Dualcore-Prozessor(en) usw. handeln.
Arbeitsspeicher 2212 kann als flüchtige Arbeitsspeichervorrichtung implementiert sein, wie zum Beispiel, jedoch ohne Einschränkung ein Direktzugriffsspeicher (RAM), dynamischer Direktzugriffsspeicher (DRAM) oder statischer RAM (SRAM).
Speicher 2214 kann als nichtflüchtige Speichervorrichtung implementiert werden, wie beispielsweise, jedoch ohne Einschränkung eine magnetische Festplatte, eine optische Festplatte, ein Bandlaufwerk, eine interne Speichervorrichtung, eine angeschlossene Speichervorrichtung, Flash-Speicher, batteriegestützter SDRAM (synchroner DRAM) und/oder eine über Netzwerk verfügbare Speichervorrichtung. In zahlreichen Implementierungen kann Speicher 2214 Technologie umfassen, um den Speicherleistung-erhöhten Schutz für wertvolle digitale Medien zu erhöhen, beispielsweise wenn mehrere Festplatten umfasst sind.
Grafiksubsystem 2215 kann das Verarbeiten von Bildern wie Standbildern oder Videos zur Anzeige durchführen. Grafiksubsystem 2215 kann beispielsweise eine Grafikverarbeitungseinheit (GPU) oder eine visuelle Verarbeitungseinheit (VPU) sein. Eine analoge oder digitale Schnittstelle kann genutzt werden, um Grafiksubsystem 2215 und Anzeige 2220 kommunikativ zu koppeln. Beispielsweise kann die Schnittstelle eine High-Definition-Multimedia-Schnittstelle, ein DisplayPort, drahtlose HDMI, und/oder mit drahtlosem HD konforme Techniken sein. Grafiksubsystem 2215 kann in Prozessor 2210 oder Chipsatz 2205 integriert sein. In manchen Implementierungen kann Grafiksubsystem 2215 eine eigenständige Karte sein, die mit Chipsatz 2205 kommunikativ gekoppelt ist.
Die hierin beschriebenen Grafik- und/oder Videoverarbeitungsverfahren können in zahlreichen Hardware-Architekturen implementiert sein. Beispielsweise können Grafik- und/oder Videofunktionalitäten in einen Chipsatz integriert sein. Alternativ dazu kann ein eigenständiger Grafik- und/oder Videoprozessor genutzt werden. In einer wiederum weiteren Implementierung können die Grafik- und/oder Videofunktionen von einem Allzweckprozessor, einschließlich eines Multicore-Prozessors, bereitgestellt werden. In weiteren Implementierungen können die Funktionen in einer Verbraucherelektronikvorrichtung implementiert sein.
Funk 2218 kann ein oder mehrere Funkelemente umfassen, die in der Lage sind, Signale unter Verwendung von zahlreichen geeigneten, drahtlosen Kommunikationsverfahren zu senden und zu empfangen. Solche Verfahren können Kommunikationen über ein oder mehrere drahtlose Netzwerke umfassen. Beispielhafte drahtlose Netzwerke umfassen (aber beschränken sich nicht auf) drahtlose lokale Netzwerke (WLANs), drahtlose persönliche Netzwerke (WPANs), drahtlose Großstadtnetzwerke (WMANs), Mobilfunknetze und Satellitennetzwerke. Bei der Kommunikation über solche Netzwerke kann Funk 2218 in Übereinstimmung mit einem oder mehreren anwendbaren Standards in einer beliebigen Version betrieben werden.
In zahlreichen Implementierungen kann Anzeige 2220 einen beliebigen Fernseher-artigen Bildschirm oder eine Anzeige umfassen. Anzeige 2220 kann beispielsweise einen Computeranzeigeschirm, eine Touchscreen-Anzeige, einen Videomonitor, eine Fernseher-ähnliche Vorrichtung und/oder einen Fernseher umfassen. Anzeige 2220 kann digital und/oder analog sein. In zahlreichen Implementierungen kann Anzeige 2220 eine holografische Anzeige sein. Außerdem kann Anzeige 2220 eine transparente Fläche sein, die eine visuelle Projektion empfangen kann. Solche Projektionen können zahlreiche Formen an Informationen, Bildern und/oder Objekten übertragen. Beispielsweise können solche Projektionen eine visuelle Überlagerung für eine Anwendung einer mobilen erweiterten Realität (MAR) sein. Unter der Steuerung von einer oder mehreren Softwareanwendungen 2216 kann Plattform 2202 Benutzerschnittstelle 2222 auf Anzeige 2220 anzeigen.
In zahlreichen Implementierungen können Inhaltsservicevorrichtung(en) 2230 von einem beliebigen nationalen, internationalen und/oder unabhängigen Service gehostet werden und daher für Plattform 2202 beispielsweise über das Internet zugänglich sein. Inhaltsservicevorrichtung(en) 2230 können mit Plattform 2202 und/oder Anzeige 2220 gekoppelt sein. Plattform 2202 und/oder Inhaltsservicevorrichtung(en) 2230 können mit einem Netzwerk 2260 gekoppelt sein, um Medieninformationen von und zu Netzwerk 2260 zu kommunizieren (z. B. senden und/oder empfangen). Inhaltsliefervorrichtung(en) 2240 können außerdem mit Plattform 2202 und/oder Anzeige 2220 gekoppelt sein.
In zahlreichen Implementierungen können Inhaltsservicevorrichtung(en) 2230 eine Kabelfernsehbox, einen Personal Computer, ein Netzwerk, ein Telefon, Internet-aktivierte Vorrichtungen oder Vorrichtungen, die in der Lage sind, digitale Informationen und/oder Inhalt zu liefern, und beliebige andere ähnliche Vorrichtungen umfassen, die in der Lage sind, Inhalte unidirektional oder bidirektional zwischen Inhaltsanbietern und Plattform 2202 und/oder Anzeige 2220 über Netzwerk 2260 oder direkt zu kommunizieren. Es versteht sich, dass die Inhalte unidirektional und/oder bidirektional zu und von beliebigen der Komponenten in System 2200 und einem Inhaltsanbieter über Netzwerk 2260 kommuniziert werden können. Beispiele für Inhalte können beliebige Medieninformationen einschließlich Video-, Musik-, medizinischer und Spieleinformationen usw. umfassen.
Inhaltsservicevorrichtung(en) 2230 können Inhalte empfangen, wie beispielsweise Kabelfernsehprogrammierungen einschließlich Medieninformationen, digitaler Informationen und/oder andere Inhalte. Beispiele für Inhaltsanbieter können beliebige Kabel- oder Satellitenfernsehen- oder Radio- oder Internet-Inhaltsanbieter sein. Die bereitgestellten Beispiele sind nicht dazu intendiert, die Implementierungen gemäß der vorliegenden Offenbarung in irgendeiner Weise einzuschränken.
In zahlreichen Implementierungen kann Plattform 2202 Steuersignale von Navigationssteuerung 2250 empfangen, die eine oder mehrere Navigationsfunktionen aufweist. Die Navigationsfunktionen von Steuerung 2250 können genutzt werden, um beispielsweise mit Benutzerschnittstelle 2222 zu interagieren. In Implementierungen kann Navigationssteuerung 2250 eine Zeigevorrichtung sein, bei der es sich um eine Computerhardware-Komponente (insbesondere eine menschliche Schnittstellenvorrichtung) handeln kann, die es einem Benutzer ermöglicht, räumliche (z. B. fortlaufende und multidimensionale) Daten in einen Computer einzugeben. Viele Systeme wie grafische Benutzerschnittstellen (GUI) und Fernseher und Bildschirme ermöglichen dem Benutzer, Daten mittels physischer Gesten zu steuern und dem Computer oder Fernseher bereitzustellen.
Bewegungen der Navigationsfunktionen von Steuerung 2250 können auf einer Anzeige (z. B. Anzeige 2220) durch Bewegungen eines Zeigers, Cursors, Fokussierrings oder anderen visuellen Anzeigen, die auf der Anzeige angezeigt werden, repliziert werden. Beispielsweise können die Navigationsfunktionen, die sich auf Navigationssteuerung 2250 befinden, unter der Steuerung von Softwareanwendungen 2216 beispielsweise auf virtuellen Navigationsfunktionen, die auf Benutzerschnittstelle 2222 angezeigt werden, abgebildet werden. In manchen Implementierungen kann Steuerung 2250 keine eigenständige Komponente, sondern in Plattform 2202 und/oder Anzeige 2220 integriert sein. Die vorliegende Offenbarung ist jedoch nicht auf die hierin gezeigten oder beschriebenen Elemente oder Inhalte beschränkt.
In zahlreichen Implementierungen können Treiber (nicht gezeigt) Technologien umfassen, um es beispielsweise Benutzern zu ermöglichen, Plattform 2202 wie einen Fernseher auf Knopfdruck nach einem anfänglichen Hochfahren sofort ein- und auszuschalten, wenn das aktiviert ist. Programmlogik kann es Plattform 2202 ermöglichen, Inhalte zu Medienadaptern oder anderen Inhaltsservicevorrichtung(en) 2230 oder Inhaltsliefervorrichtung(en) 2240 zu streamen, selbst wenn die Plattform „ausgeschaltet“ ist. Zusätzlich dazu kann Chipsatz 2205 Hardware- und/oder Softwareunterstützung für beispielsweise Surround Sound Audio 8.1 und/oder High Definition (7.1) Surround Sound Audio umfassen. Treiber können einen Grafiktreiber für integrierte Grafikplattformen umfassen. In manchen Implementierungen kann der Grafiktreiber eine Peripheral-Component-Interconnect- (PCI-) Express-Grafikkarte umfassen.
In zahlreichen Implementierungen können eine beliebige oder mehrere der in System 2200 gezeigten Komponenten integriert sein. Beispielsweise können Plattform 2202 und Inhaltsservicevorrichtung(en) 2230 integriert sein, oder es können Plattform 2202 und Inhaltsliefervorrichtung(en) 2240 integriert sein, oder es können beispielsweise Plattform 2202, Inhaltsservicevorrichtung(en) 2230 und Inhaltsliefervorrichtung(en) 2240 integriert sein. In zahlreichen Implementierungen können Plattform 2202 und Anzeige 2220 eine integrierte Einheit sein. Beispielsweise können Anzeige 2220 und Inhaltsservicevorrichtung(en) 2230 integriert sein, oder es können Anzeige 2220 und Inhaltsliefervorrichtung(en) 2240 integriert sein. Diese Beispiele sollen die vorliegende Offenbarung nicht einschränken.
In zahlreichen Implementierungen kann System 2200 als drahtloses System, drahtgebundenes System oder eine Kombination aus beiden implementiert sein. Bei einer Implementierung als drahtloses System kann System 2200 Komponenten und Schnittstellen umfassen, die zur Kommunikation über ein drahtloses geteiltes Medium geeignet sind, wie beispielsweise eine oder mehrere Antennen, Sender, Empfänger, Sendeempfängern Verstärker, Filter, Steuerlogik usw. Ein Beispiel für ein drahtloses geteiltes Medium kann Abschnitte eines drahtlosen Spektrums, wie das HF-Spektrum usw. umfassen. Bei einer Implementierung als drahtgebundenes System kann System 1900 Komponenten und Schnittstellen umfassen, die zur Kommunikation über drahtgebundene Kommunikationsmedien geeignet sind, wie Eingabe/Ausgabe- (I/O-) Adapter, physische Verbinder, um den I/O-Adapter mit einem entsprechenden drahtgebundenen Kommunikationsmedium zu verbinden, eine Netzwerkschnittstellenkarte (NIC), Disksteuerung, Videosteuerung, Audiosteuerung und dergleichen. Beispiele für drahtgebundene Kommunikationsmedien können einen Draht, ein Kabel, Metallanschlüsse, eine Grundplatine (PCB), eine Rückwandplatine, Switch-Fabric, Halbleitermaterial, Twisted-Pair-Kabel, Koaxialkabel, Glasfaserkabel usw. sein.
Plattform 2202 kann einen oder mehrere logische oder physische Kanäle aufbauen, um Informationen zu kommunizieren. Die Informationen können Medieninformationen und Steuerinformationen umfassen. Medieninformationen können sich auf beliebige Daten beziehen, die für einen Benutzer bestimmte Inhalte darstellen. Beispiele für Inhalte können beispielsweise Daten von einer gesprochenen Unterhaltung, einer Videokonferenz, einem Streaming-Video, einer elektronischen Post-(„Email“-) Nachricht, einer Sprachnachricht, alphanumerischen Symbolen, Grafik, Bilder, Videos, Text usw. umfassen. Daten von einer gesprochenen Unterhaltung können beispielsweise Sprachinformationen, Sprechpausen, Hintergrundgeräusche, Komfortrauschen, Töne usw. umfassen. Steuerinformationen können sich auf beliebige Daten beziehen, die Befehle, Anweisungen oder Steuerwörter darstellen, die für ein automatisiertes System gedacht sind. Beispielsweise können Steuerinformationen genutzt werden, um Medieninformationen durch ein System zu leiten oder um einen Knoten anzuweisen, die Medieninformationen auf vorbestimmte Weise zu verarbeiten. Die Implementierungen beschränken sich jedoch nicht auf die in 23 gezeigten oder beschriebenen Elemente oder Kontexte.
In 23 ist eine Vorrichtung für kleine Formfaktoren 2300 ein Beispiel der unterschiedlichen physischen Stile oder Formfaktoren, in denen die Systeme 2100 oder 2200 ausgeführt sein können. In diesem Ansatz kann Vorrichtung 2300 als mobile Rechnervorrichtung mit drahtlosen Funktionalitäten implementiert sein. Eine mobile Rechnervorrichtung kann sich auf eine beliebige Vorrichtung mit einem Verarbeitungssystem und einer mobilen Leistungsquelle oder -versorgung beziehen wie beispielsweise eine oder mehrere Batterien.
Wie vorstehend beschrieben, können Beispiele für eine mobile Rechnervorrichtung eine digitale Standbildkamera, eine digitale Videokamera, mobile Vorrichtungen mit Kamera- oder Videofunktionen, wie Bildgebungstelefone, Webcam, Personal Computer (PC), Laptop-Computer, Ultralaptop-Computer, Tablet, Touchpad, tragbarer Computer, Handheld-Computer, Palmtop-Computer, Personal Digital Assistant (PDA), Mobiltelefon, Kombination aus Mobiltelefon/PDA, Fernseher, Smart-Vorrichtung (z. B. Smartphone, Smart-Tablet oder Smart-TV), eine mobile Internetvorrichtung (MID), eine Benachrichtigungsvorrichtung, eine Datenkommunikationsvorrichtung usw. umfassen.
Beispiele für eine mobile Rechnervorrichtung können ebenfalls Computer umfassen, die so ausgebildet sind, um von einer Person getragen zu werden, wie ein Handgelenk-Computer, ein Finger-Computer, ein Ring-Computer, Brillen-Computer, Gürtelclip-Computer, Armband-Computer, Schuh-Computer, Kleidungscomputer und andere tragbare Computer. In zahlreichen Ausführungsformen kann eine mobile Rechnervorrichtung beispielsweise als Smartphone implementiert sein, das in der Lage ist, Computeranwendungen sowie Sprachkommunikationen und/oder Datenkommunikationen auszuführen. Obwohl manche Ausführungsformen beispielsweise mit einer als Smartphone implementierten Rechnervorrichtung beschrieben werden können, gilt es zu verstehen, dass andere Ausführungsformen genauso unter Verwendung anderer drahtloser mobiler Rechnervorrichtungen implementiert sein können. Die Implementierungen sind in diesem Kontext nicht eingeschränkt.
Wie in 23 gezeigt, kann Vorrichtung 2300 ein Gehäuse mit einer Vorderseite 2301 und einer Rückseite 2302 umfassen. Vorrichtung 2300 umfasst eine Anzeige 2304, eine Eingabe/Ausgabe- (I/O-) Vorrichtung 2306 und eine integrierte Antenne 2308. Vorrichtung 2300 kann außerdem die Navigationsfunktionen 2312 umfassen. I/O-Vorrichtung 2306 kann eine beliebige I/O-Vorrichtung umfassen, die zur Eingabe von Informationen in eine mobile Rechnervorrichtung geeignet ist. Beispiele für I/O-Vorrichtung 2306 können eine alphanumerische Tastatur, eine numerische Tastatur, ein Touchpad, Eingabetasten, Knöpfe, Schalter, Mikrofone, Lautsprecher, Spracherkennungsvorrichtung und -software usw. umfassen. Informationen können außerdem mittels eines Mikrofons 2314 in Vorrichtung 2300 eingegeben werden oder von einer Spracherkennungsvorrichtung digitalisiert werden. Wie gezeigt, kann Vorrichtung 2300 eine Kamera 2305 (z. B. einschließlich zumindest einer Linse, Blendenöffnung und eines Bildgebungssensors) und einen Beleuchter 2310, wie jene, die hierin beschrieben wurden, umfassen, die in die Rückseite 2302 (oder an anderer Stelle) von Vorrichtung 2300 integriert sind. Die Implementierungen sind in diesem Kontext nicht eingeschränkt.
Zahlreiche Formen der hierin beschriebenen Vorrichtungen und Prozesse können unter Verwendung von Hardware-Elementen, Software-Elementen oder einer Kombination aus beiden implementiert werden. Beispiele für Hardware-Elemente können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktoren usw.), integrierte Schaltkreise, anwendungsspezifische integrierte Schaltkreise (ASIC), programmierbare Logikvorrichtungen (PLD), digitale Signalprozessoren (DSP), Field Programmable Gate Array (FPGA), Logik-Gates, Register, Halbleitervorrichtungen, Chips, Mikrochips, Chipsätze usw. umfassen. Beispiele für Software können Software-Komponenten, Programme, Anwendungen, Computerprogramme, Anwendungsprogramme, Systemprogramme, Maschinenprogramme, Betriebssystem-Software, Middleware, Firmware, Software-Module, Routinen, Subroutinen, Funktionen, Verfahren, Vorgänge, Software-Schnittstellen, Programmierschnittstellen (API), Befehlssätze, Rechnercode, Computercode, Codesegmente, Computercodesegmente, Wörter, Werte, Symbole oder eine beliebige Kombination davon umfassen. Das Bestimmen, ob eine Ausführungsform unter Verwendung von Hardware-Elementen und/oder Software-Elementen implementiert wird, kann gemäß manchen Faktoren variieren, wie gewünschte Rechnerrate, Leistungspegel, Wärmetoleranzen, Verarbeitungszyklus-Budget, Eingabedatenraten, Ausgabedatenraten, Arbeitsspeicherressourcen, Datenbusgeschwindigkeiten und andere Einschränkungen bezüglich Aufbau und Leistung.
Ein oder mehrere Aspekte von zumindest einer Implementierung können durch repräsentative Anweisungen implementiert werden, die auf einem maschinenlesbaren Medium gespeichert sind, das für diverse Logik im Prozessor steht, die bei einer Auslesung durch eine Maschine die Maschine dazu veranlasst, Logik herzustellen, um die hierin beschriebenen Verfahren durchzuführen. Solche Repräsentationen, die als „IP-Kerne“ bekannt sind, können auf einem fassbaren, maschinenlesbaren Medium gespeichert sein und zahlreichen Verbrauchern oder Herstellungseinrichtungen zur Verfügung gestellt werden, um in Herstellungsmaschinen geladen zu werden, die die Logik oder den Prozessor tatsächlich herstellen.
Während bestimmte hierin erläuterte Funktionen in Bezug auf zahlreiche Implementierungen beschrieben wurden, soll diese Beschreibung nicht als Einschränkung ausgelegt werden. Daher gelten zahlreiche Modifikationen der hierin beschriebenen Implementierungen oder andere Implementierungen, die für Fachleute auf dem Gebiet der Erfindung, an die sich die vorliegende Offenbarung richtet, ersichtlich sind, als vom Geist und Schutzumfang der vorliegenden Offenbarung umfasst.
Die folgenden Beispiele betreffen weitere Implementierungen.
In einem Beispiel umfasst ein computerimplementiertes Verfahren einer Lichtquellenschätzung zur Bildverarbeitung das Erhalten von Bilddaten zumindest eines Bilds, das Ausbilden einer Vielzahl von separaten Datenverteilungen, welches das separate Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfasst, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel, das Abbilden der Datenverteilungen in einem Farbartraum, das Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum, das Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, welches das Verwenden der Kompaktheitsmessungen der einzelnen Datenverteilungen umfasst, und das Verwenden der Plausibilitäten, um Farbe auf zumindest einem Bild zu korrigieren.
Eine weitere Implementierung kann das Verfahren umfassen, wobei das Leuchtmittel, das der kleinsten Datenverteilung zugeordnet ist, das Leuchtmittel ist, das am wahrscheinlichsten das wahre Leuchtmittel ist, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung umfasst, die eine Hauptachse und eine Nebenachse auf dem Farbartraum umfasst, wobei das Messen der Kompaktheit das Bestimmen der Größe der Achsen umfasst. Das Verfahren umfasst das Bestimmen von Eigenwerten einer Kovarianzmatrix der Datenverteilung, die die Größen der Hauptachsen darstellen; das Bestimmen einer Norm der Eigenwerte, um einen einzelnen Kompaktheitswert der Datenverteilung zu bilden, und die die Richtungen der Hauptachsen darstellen, und das Bestimmen von Eigenvektoren einer Kovarianzmatrix der Datenverteilung, die die Richtung der Hauptachsen darstellen.
Außerdem kann das Verfahren umfasst sein, wobei das Messen der Kompaktheit das Faktorisieren des menschlichen visuellen Systems (HVS) umfasst, das das Favorisieren von Datenverteilungen umfasst, die näher zu der Position oder Orientierung oder beidem einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen System (HVS) sind, wobei das Messen der Kompaktheit das Favorisieren von Datenverteilungen umfasst, wenn eine Hauptachse der Datenverteilung sich in eine Richtung erstreckt, die näher zu einer Parallele einer Tangente eines mittleren Planckschen Farbart-Kurvenzugs liegt, wobei das Messen der Kompaktheit das Faktorisieren eines Unsicherheitswerts umfasst, der eine Position der Datenverteilung angibt, die relativ zu einer Position zumindest einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen Systems ist, und wobei das Messen der Kompaktheit das Faktorisieren eines Unsicherheitswerts umfasst, der proportional zu dem Abstand zwischen einem mittleren Planckschen Farbart-Kurvenzug und einem Punkt, der der Datenverteilung zugeordnet ist, ist.
In einer weiteren Implementierung umfasst ein computerimplementiertes System von Lichtquellenschätzung eine Anzeige; zumindest einen Prozessor, der kommunikativ mit der Anzeige gekoppelt ist; zumindest einen Arbeitsspeicher, der kommunikativ mit dem zumindest einen Prozessor gekoppelt ist, und Speichern von Bilddaten zumindest eines Bilds einer Videosequenz oder zumindest einer Standaufnahme, die ein Bild bildet; und zumindest eine Lichtschätzungseinheit, die kommunikativ mit dem Prozessor gekoppelt ist und durch Folgendes betrieben wird: das Erhalten von Bilddaten zumindest eines von einer Kamera aufgenommenen Bilds; das Ausbilden einer Vielzahl von separaten Datenverteilungen, die separates Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfassen, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel; das Abbilden der Datenverteilungen in einem Farbartraum; das Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum; das Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, unter Verwendung von Kompaktheitsmessungen der einzelnen Datenverteilungen; und das Bereitstellen der Plausibilitäten, um Farbe auf zumindest einem Bild zu korrigieren.
In einem weiteren Beispiel ist ein System umfasst, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung umfasst, umfassend eine Hauptachse und eine Nebenachse, die orthogonal auf die Hauptachse auf dem Farbartraum stehen und das Bestimmen der Größe der zum Bestimmen der Kompaktheit einer Datenverteilung zu verwendenden Achsen, wobei das Messen der Kompaktheit das Faktorisieren des menschlichen visuellen Systems (HVS) umfasst, das das Favorisieren von Datenverteilungen umfasst, wenn eine Position oder Orientierung oder beides der Datenverteilung näher an der Position oder Orientierung oder beidem einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen Systems (HVS) ist, wie sie durch einen mittleren Planckschen Farbart-Kurvenzug dargestellt wird, wobei das Bereitstellen der Plausibilitäten das bestimmen einer finalen Plausibilität mehrerer Plausibilitäten jedes Blocks von mehreren Blöcken des Bilds und das Angeben desselben Leuchtmittels und das Fusionieren der finalen Plausibilitäten aller unterschiedlichen Leuchtmittel umfasst, und wobei das Bereitstellen der Plausibilitäten das Bereitstellen einer Menge von Plausibilitäten mit einer für jedes Leuchtmittel und das separate Bereitstellen der Plausibilitäten an eine Linsenabschattungskorrektureinheit, eine automatische Weißabgleicheinheit und eine Farbumwandlungsmatrixeinheit umfasst, um eine Farbkorrektur an einem Bild vorzunehmen.
Das System kann außerdem eine Linsenabschattungskorrektureinheit, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine gewichtete, mittlere, zur Farbkorrektur eines Bilds zu verwendende Linsenabschattungskorrekturtabelle zu bestimmen; eine automatische Weiß ab gleich einheit, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine korrelierte Farbtemperatur (CCT) und Referenzfarbart eines Leuchtmittels zu berechnen; und eine Farbumwandlungseinheit umfassen, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine gewichtete Farbumwandlungsmatrixeinheit zu berechnen, um Farben in einen Anzeigenfarbraum umzuwandeln.
In einem Ansatz umfasst zumindest ein computerlesbares Medium eine Vielzahl von Anweisungen, die als Reaktion auf die Ausführung auf einer Rechnervorrichtung bewirkt, dass die Rechnervorrichtung durch Folgendes arbeitet: das Erhalten von Bilddaten von zumindest einem Bild; das Ausbilden einer Vielzahl von separaten Datenverteilungen, die das separate Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfassen, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel; das Abbilden der Datenverteilungen in einem Farbartraum; das Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum; das Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, was das Verwenden von Kompaktheitsmessungen der einzelnen Datenverteilungen umfasst; und das Verwenden der Plausibilitäten, um eine Farbkorrektur an zumindest einem Bild vorzunehmen.
In anderen Ansätzen veranlassen die Anweisungen die Rechnervorrichtung zu weiterem, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung, die eine Hauptachse und eine Nebenachse umfasst, und das Bestimmen der Größe der zur Bestimmung einer Kompaktheit einer Datenverteilung zu verwendende Achsen umfasst, wobei das Messen der Kompaktheit das Bestimmen einer Norm von Eigenwerten einer Kovarianzmatrix als Größen der Achsen umfasst, wobei das Messen der Kompaktheit das Faktorisieren des menschlichen visuellen Systems (HVS), umfassend das Favorisieren von Datenverteilungen, abhängig von einer Position oder Orientierung oder beidem der Datenverteilung in Bezug auf einen mittleren Planckschen Farbart-Kurvenzug umfasst, und wobei das Messen der Kompaktheit das Faktorisieren von zumindest einem aus Folgendem umfasst: (1) einem Winkel zwischen einer Hauptachse der Datenverteilung und einer Tangente eines mittleren Planckschen Farbart-Kurvenzugs, und (2) einem Abstand zwischen einem Punkt der Datenverteilung und einem Punkt auf dem mittleren Planckschen Farbart-Kurvenzug.
In einem weiteren Beispiel kann ein maschinenlesbares Medium eine Vielzahl von Anweisungen umfassen, die als Reaktion auf die Ausführung auf einer Rechnervorrichtung bewirken, dass die Rechnervorrichtung das Verfahren gemäß einem beliebigen der vorstehenden Beispiele durchführt.
In einem weiteren Beispiel kann ein Gerät Mittel umfassen, um die Verfahren gemäß einem beliebigen der vorstehenden Beispiele durchzuführen.
Die vorstehenden Beispiele können spezifische Kombinationen von Merkmalen umfassen. Allerdings sind die vorstehenden Beispiele in dieser Hinsicht nicht eingeschränkt und die vorstehenden Beispiele können in zahlreichen Implementierungen die Ausführung von nur einer Teilmenge solcher Merkmale, die Ausführung einer anderen Reihenfolge dieser Merkmale, die Ausführung einer anderen Kombination dieser Merkmale und/oder die Ausführung zusätzlicher Merkmale zu den explizit angeführten Merkmalen umfassen. Beispielsweise können alle Merkmale, die in Bezug auf beliebige Beispielverfahren hierin beschrieben wurden, in Bezug auf beliebige Beispielgeräte, Beispielsysteme und/oder Beispielelemente und umgekehrt implementiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9361537 [0012, 0058]
US 9186909 [0012, 0058]
US 15857455 [0019, 0091, 0092]

Zitierte Nicht-Patentliteratur

D. L. MacAdam, „Visual sensitivities to color differences in daylight“, Journal of the Optical Society of America, 32(5), 247-274 (1942) [0079]

Claims

Rechnerimplementiertes Verfahren zur Lichtquellenschätzung für Bildbearbeitung, umfassend: Erhalten von Bilddaten zumindest eines Bilds; Ausbilden einer Vielzahl von separaten Datenverteilungen, welches das separate Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfasst, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel; Abbilden der Datenverteilungen in einem Farbartraum; Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum; Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, welches das Verwenden der Kompaktheitsmessungen der einzelnen Datenverteilungen umfasst; und Verwenden der Plausibilitäten, um Farbe auf zumindest einem Bild zu korrigieren.
Verfahren nach Anspruch 1, wobei das Leuchtmittel, das der kleinsten Datenverteilung zugeordnet ist, das Leuchtmittel ist, das am wahrscheinlichsten das wahre Leuchtmittel ist.
Verfahren nach Anspruch 1, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung umfasst, umfassend eine Hauptachse und eine Nebenachse auf dem Farbartraum.
Verfahren nach Anspruch 3, wobei das Messen der Kompaktheit das Bestimmen der Größe der Achsen umfasst.
Verfahren nach Anspruch 4, umfassend das Bestimmen von Eigenwerten einer Kovarianzmatrix der Datenverteilung und die die Größen der Achsen darstellen.
Verfahren nach Anspruch 5, umfassend das Bestimmen einer Norm der Eigenwerte, um einen einzelnen Kompaktheitswert der Datenverteilung zu bilden.
Verfahren nach Anspruch 3, umfassend das Bestimmen von Eigenvektoren einer Kovarianzmatrix der Datenverteilung und die die Richtung der Achsen darstellen.
Verfahren nach Anspruch 1, wobei das Messen der Kompaktheit das Faktorisieren des menschlichen visuellen Systems (HVS) umfasst, das das Favorisieren von Datenverteilungen umfasst, die näher zu der Position oder Orientierung oder beidem einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen Systems (HVS) sind.
Verfahren nach Anspruch 1, wobei das Messen der Kompaktheit das Favorisieren von Datenverteilungen umfasst, wenn eine Hauptachse der Datenverteilung sich in eine Richtung erstreckt, die näher zu einer Parallele einer Tangente eines mittleren Planckschen Farbart-Kurvenzugs liegt.
Verfahren nach Anspruch 1, wobei das Messen der Kompaktheit das Faktorisieren eines Unsicherheitswerts umfasst, der eine Position der Datenverteilung angibt, die relativ zu einer Position zumindest einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen Systems ist.
Verfahren nach Anspruch 1, wobei das Messen der Kompaktheit das Faktorisieren eines Unsicherheitswerts umfasst, der proportional zu dem Abstand zwischen einem mittleren Planckschen Farbart-Kurvenzug und einem Punkt, der der Datenverteilung zugeordnet ist, ist.
Verfahren nach Anspruch 11, wobei der Unsicherheitswert Datenverteilungen favorisiert, die näher zu dem mittleren Planckschen Farbart-Kurvenzug liegen.
Rechnerimplementiertes System zur Lichtquellenschätzung, umfassend: eine Anzeige; zumindest einen Prozessor, der kommunikativ mit der Anzeige gekoppelt ist; zumindest einen Speicher, der kommunikativ mit zumindest einem Prozessor gekoppelt ist und Bilddaten zumindest eines Bilds einer Videosequenz oder zumindest einer Standaufnahme, die ein Bild bildet, speichert; und zumindest eine Lichtschätzungseinheit, die kommunikativ mit dem Prozessor gekoppelt ist und durch Folgendes betrieben wird: Erhalten von Bilddaten zumindest eines von einer Kamera aufgenommenen Bilds; Ausbilden einer Vielzahl von separaten Datenverteilungen, welches separates Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfasst, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel; Abbilden der Datenverteilungen in einem Farbartraum; Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum; Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, welches das Verwenden von Kompaktheitsmessungen der einzelnen Datenverteilungen umfasst; und Bereitstellen der Plausibilitäten, um Farbe auf zumindest einem Bild zu korrigieren.
System nach Anspruch 13, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung umfasst, umfassend eine Hauptachse und eine Nebenachse, die orthogonal auf die Hauptachse auf dem Farbartraum steht, und Bestimmen der Größe der zum Bestimmen einer Kompaktheit einer Datenverteilung zu verwendenden Achsen.
System nach Anspruch 13, wobei das Messen der Kompaktheit das Faktorisieren des menschlichen visuellen Systems (HVS) umfasst, das das Favorisieren von Datenverteilungen umfasst, wenn eine Position oder Orientierung oder beides Datenverteilung näher an der Position oder Orientierung oder beidem einer Ellipse von ununterscheidbarer Farbe des menschlichen visuellen Systems (HVS) ist, wie sie durch einen mittleren Planckschen Farbart-Kurvenzug dargestellt wird.
System nach Anspruch 13, wobei das Bereitstellen der Plausibilitäten das Bestimmen einer finalen Plausibilität mehrerer Plausibilitäten jedes Blocks von mehreren Blöcken des Bilds und das Angeben desselben Leuchtmittels und das Fusionieren der finalen Plausibilitäten aller unterschiedlichen Leuchtmittel umfasst.
System nach Anspruch 13, wobei das Bereitstellen der Plausibilitäten das Bereitstellen einer Menge von Plausibilitäten mit einer für jedes Leuchtmittel und das separate Bereitstellen der Plausibilitäten an eine Linsenabschattungskorrektureinheit, eine automatische Weißabgleicheinheit und eine Farbumwandlungsmatrixeinheit umfasst, um eine Farbkorrektur an einem Bild vorzunehmen.
System nach Anspruch 13, das eine Linsenabschattungskorrektureinheit umfasst, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine gewichtete, mittlere, zur Farbkorrektur eines Bilds zu verwendende Linsenabschattungskorrekturtabelle zu bestimmen.
System nach Anspruch 13, umfassend eine automatische Weiß ab gleich einheit, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine korrelierte Farbtemperatur (CCT) und Referenzfarbart eines Leuchtmittels zu berechnen.
System nach Anspruch 13, das eine Farbumwandlungseinheit umfasst, die angeordnet ist, um die Plausibilitäten zu verwenden, um eine gewichtete mittlere Farbumwandlungsmatrix zu berechnen, um Farben in einen Anzeigenfarbraum umzuwandeln.
Computerlesbares Medium bzw. computerlesbare Medien, umfassend eine Vielzahl von Anweisungen, die als Reaktion auf die Ausführung auf einer Rechnervorrichtung bewirkt, dass die Rechnervorrichtung durch Folgendes arbeitet: Erhalten von Bilddaten von zumindest einem Bild; Ausbilden einer Vielzahl von separaten Datenverteilungen, welches das separate Anwenden von Linsenabschattungskorrekturtabellen auf die Bilddaten umfasst, für jeweils ein anderes Leuchtmittel aus einer Menge verfügbarer Leuchtmittel; Abbilden der Datenverteilungen in einem Farbartraum; Messen der Kompaktheit der einzelnen Datenverteilungen auf dem Farbartraum; Erzeugen von Plausibilitäten, dass die einzelnen Datenverteilungen dem wahren Leuchtmittel des Bilds zugeordnet sind, was das Verwenden von Kompaktheitsmessungen der einzelnen Datenverteilungen umfasst; und Verwenden der Plausibilitäten, um Farbe auf zumindest einem Bild zu korrigieren.
Medium nach Anspruch 21, wobei das Messen der Kompaktheit das Bestimmen von Hauptkomponenten der Datenverteilung, umfassend eine Hauptachse und eine Nebenachse, und das Bestimmen der Größen der zum Bestimmen einer Kompaktheit einer Datenverteilung zu verwendenden Achsen umfasst.
Medium nach Anspruch 21, wobei das Messen der Kompaktheit das Faktorisieren von zumindest einem aus Folgendem umfasst: (1) einem Winkel zwischen einer Hauptachse der Datenverteilung und einer Tangente eines mittleren Planckschen Farbart-Kurvenzugs, und (2) einem Abstand zwischen einem Punkt auf der Datenverteilung und einem Punkt auf dem mittleren Planckschen Farbart-Kurvenzug.
Maschinenlesbares Medium bzw. maschinenlesbare Medien, umfassend eine Vielzahl von Anweisungen, die als Reaktion auf die Ausführung auf einer Rechnervorrichtung bewirkt, dass die Rechnervorrichtung das Verfahren gemäß einem der Ansprüche 1 bis 12 durchführt.
Gerät, umfassend Mittel zum Durchführen des Verfahrens gemäß einem der Ansprüche 1 bis 12.