DE102015006984A1

DE102015006984A1 - Bildaufnahmevorrichtung mit Weißabgleichsteuerung und Steuerverfahren für diese

Info

Publication number: DE102015006984A1
Application number: DE102015006984.5A
Authority: DE
Inventors: Hiroaki Kuchiki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-30
Filing date: 2015-05-29
Publication date: 2015-12-03
Also published as: CN105306916B; GB201509171D0; GB2527674B; GB2527674A; GB201719751D0; KR101830202B1; JP6494181B2; CN105306916A; US20150350620A1; KR20150138082A; JP2015228546A; US9402063B2

Abstract

Eine Bildaufnahmevorrichtung, die in der Lage ist, eine Weißabgleichsteuerung an einem Bild korrekt durchzuführen. Ein fotografiertes Bild wird in Gebiete aufgeteilt und aus jedem Gebiet wird ein Farbbeurteilungswert erfasst. Von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts wird Infrarotlicht detektiert. Am Bild wird eine Weißabgleichkorrektur durchgeführt mittels eines gemischten WA-Korrekturwerts, der berechnet wird durch Mischen eines ersten WA-Korrekturwerts, der mittels der in einem in einem Farbraum eingestellten Weiß-Detektionsbereich enthaltenen Farbbeurteilungswerte berechnet wird, und eines zweiten WA-Korrekturwerts, der mittels der Farbbeurteilungswerte berechnet wird, die aus Gebieten mit jeweils einer Infrarotlichtmenge, die größer als eine vorbestimmte Menge ist, erfasst werden und in einem im Farbraum eingestellten Detektionsbereich für eine von Weiß verschiedene vorbestimmte Farbe enthalten sind.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildaufnahmevorrichtung, die eine Weißabgleichsteuerung durchführt, und ein Verfahren zum Steuern derselben, und insbesondere auf eine von der Bildaufnahmevorrichtung durchgeführte Weißabgleichverarbeitung.
Beschreibung des Standes der Technik
In letzter Zeit wird weithin bei durch eine Bildaufnahmevorrichtung durchgeführter automatischer Weißabgleichverarbeitung ein sogenanntes TTL(durch das Objektiv, engl. Through The Lens)-Verfahren verwendet. Bei automatischer Weißabgleichverarbeitung mittels des TTL-Verfahrens wird die Farbe von Licht aus einer Lichtquelle gemäß einem durch Fotografieren erhaltenen Bild geschätzt. Weiterhin ist es notwendig, auf dem Bild genau zwischen der Farbe von Licht aus der Lichtquelle und der Farbe des Objekts zu unterscheiden, um einen Weißabgleich-Korrekturwert (nachstehend als WA-Korrekturwert bezeichnet) zu berechnen.
Zum Beispiel ist eine Bildaufnahmevorrichtung vorgeschlagen worden, die konfiguriert ist einen Weiß-Änderungsbereich zum Bestimmen eines Beurteilungswerts eines Farbsignals gemäß einer Fotografierbedingung und einer Objektbedingung zu ändern, um dadurch unabhängig von einem Luminanzsignalniveau genaue Farbtemperaturdetektion und Weißabgleichsteuerung durchzuführen (siehe japanische Patentoffenlegungsschrift JP H11-262029 ).
Weiterhin ist eine Bildaufnahmevorrichtung vorgeschlagen worden, die konfiguriert ist eine geeignete Weißabgleichsteuerung bezüglich eines in einem Weiß-Extraktionsbereich enthaltenen grünen Objekts durchzuführen, wobei eine Maßnahme zum Umwandeln von Grün in eine achromatische Farbe eingesetzt wird (z. B. in einem Fall, in dem grüne Bäume oder Gräser an einem dunklen Ort, etwa einem Ort im Schatten, fotografiert werden) (siehe japanische Patentoffenlegungsschrift JP 2006-174281 ). In dieser Bildaufnahmevorrichtung wird der Weißabgleich gesteuert, indem basierend auf einer Verteilung von Daten in einem dreidimensionalen Koordinatensystem, das eine Luminanz, eine Menge an Grün, und einen R-Verstärkungswert (R-Gain) als Koordinatenachsen aufweist, bestimmt wird, ob ein Bild innen unter Verwendung von Innenraum-Leuchtstofflampen als Lichtquelle fotografiert worden ist, oder außen in der Sonne/im Schatten fotografiert worden ist.
Nun sei angenommen, dass die Farbe von Licht aus einer Lichtquelle selbst wie etwa einer Quecksilberlampe Grün ist, und eine Szene fotografiert wird, in der ein durch Fotografieren erhaltenes Gesamtbild durch das Licht grünlich gemacht ist (erste Szene). Weiterhin sei angenommen, dass eine Szene, in der es viele grüne Bäume oder Gräser gibt (zweite Szene), an einem dunklen Ort, etwa einem Ort im Schatten, fotografiert wird. In solchen Fällen ist es für die in der japanischen Patentoffenlegungsschrift JP H11-262029 und der japanischen Patentoffenlegungsschrift JP 2006-174281 beschriebenen Bildaufnahmevorrichtungen schwierig zwischen der ersten Szene und der zweiten Szene zu unterscheiden.
Mit anderen Worten: In der in der japanischen Patentoffenlegungsschrift JP H11-262029 beschriebenen Bildaufnahmevorrichtung weisen die erste Szene und die zweite Szene beide ähnliche Beurteilungswerte der Helligkeit und der Farbe des Objekts bezüglich der zwei Szenen auf, und somit besteht eine hohe Wahrscheinlichkeit, dass die WA-Korrekturwerte für die erste Szene und die zweite Szene einander auch ähnlich sind.
Weiterhin wird auch in der in der japanischen Patentoffenlegungsschrift JP 2006-174281 beschriebenen Bildaufnahmevorrichtung aufgrund des Einflusses der Farbe von Licht aus der Lichtquelle das Gesamtbild grünlich gemacht, und somit ist es selbst mit der Verwendung der Menge an Grün und des R-Verstärkungswerts schwierig, zwischen der ersten Szene und der zweiten Szene zu unterscheiden.
Es ist wünschenswert, dass das durch das Licht aus der Lichtquelle gefärbte Grün in der ersten Szene in eine achromatische Farbe umgewandelt wird, aber ist es wünschenswert, dass das Grün des Objekts in der zweiten Szene intensiv (brilliant) gemacht wird. Daher ist es wünschenswert zwischen der ersten Szene und der zweiten Szene zu unterscheiden, und den WA-Korrekturwert gemäß der Szene zu ändern.
OFFENBARUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine Bildaufnahmevorrichtung bereit, die in der Lage ist, eine Weißabgleichsteuerung an einem Bild, aus dem eine große Menge einer ähnlichen Farbe detektiert wird, durch Bestimmen, ob die detektierte Farbe eine Farbe von Licht aus einer Lichtquelle oder eine Farbe des Objekts ist, auf geeignete Weise durchzuführen.
In einem ersten Aspekt der vorliegenden Erfindung wird eine Bildaufnahmevorrichtung bereitgestellt, die umfasst: eine Bildaufnahmeeinrichtung, eine Erfassungseinheit, die konfiguriert ist ein durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenes Bild in mehrere Gebiete aufzuteilen, und aus jedem Gebiet einen Farbbeurteilungswert zu erfassen, einen Infrarotlichtsensor, der konfiguriert ist jeweils Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts zu detektieren, eine Berechnungseinheit, die konfiguriert ist mittels mehrerer aus dem Bild erfasster Farbbeurteilungswerte einen Weißabgleich-Korrekturwert zu berechnen, sowie eine Verarbeitungseinheit, die konfiguriert ist mittels eines von der Berechnungseinheit berechneten gemischten Weißabgleich-Korrekturwerts eine Weißabgleich-Korrekturverarbeitung am Bild durchzuführen, wobei die Berechnungseinheit beinhaltet: einen ersten Berechnungsabschnitt für einen Weißabgleich-Korrekturwert, der konfiguriert ist einen ersten Weißabgleich-Korrekturwert mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die in einem in einem Farbraum eingestellten Weiß-Detektionsbereich enthalten sind, zu berechnen, einen Berechnungsabschnitt für einen zweiten Weißabgleich-Korrekturwert, der konfiguriert ist einen zweiten Weißabgleich-Korrekturwert mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten zu berechnen, die aus Gebieten mit jeweils einer Infrarotlichtmenge, die größer als eine vorbestimmte Menge ist, erfasst sind, und die in einem im Farbraum eingestellten Detektionsbereich für eine von Weiß verschiedene vorbestimmte Farbe enthalten sind, sowie einen Berechnungsabschnitt für einen gemischten Weißabgleich-Korrekturwert, der konfiguriert ist durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts einen gemischten Weißabgleich-Korrekturwert zu berechnen.
In einem zweiten Aspekt der vorliegenden Erfindung wird eine Bildaufnahmevorrichtung bereitgestellt, die umfasst: eine Bildaufnahmeeinrichtung, eine Erfassungseinheit, die konfiguriert ist ein durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenes Bild in mehrere Gebiete aufzuteilen, und aus jedem Gebiet einen Farbbeurteilungswert zu erfassen, einen Infrarotlichtsensor, der konfiguriert ist jeweils Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts zu detektieren, eine Berechnungseinheit, die konfiguriert ist mittels mehrerer aus dem Bild erfasster Farbbeurteilungswerte einen Weißabgleich-Korrekturwert zu berechnen, und zwar basierend auf einem Ergebnis einer Detektion einer Infrarotlichtmenge, die vom Infrarotlichtsensor auf gebietsweiser Basis durchgeführt wird, sowie eine Verarbeitungseinheit, die konfiguriert ist mittels des von der Berechnungseinheit berechneten Weißabgleich-Korrekturwerts eine Weißabgleich-Korrekturverarbeitung am Bild durchzuführen.
In einem dritten Aspekt der vorliegenden Erfindung wird ein Verfahren bereitgestellt zum Steuern einer eine Bildaufnahmeeinrichtung beinhaltenden Bildaufnahmevorrichtung, das die folgenden Schritte beinhaltet: Aufteilen eines durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenen Bilds in mehrere Gebiete, und Erfassen eines Farbbeurteilungswerts aus jedem Gebiet, jeweils Detektieren von Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts, Berechnen eines Weißabgleich-Korrekturwerts mittels mehrerer aus dem Bild erfassten Farbbeurteilungswerte, sowie Durchführen einer Weißabgleich-Korrekturverarbeitung am Bild mittels eines von der Berechnungseinheit berechneten gemischten Weißabgleich-Korrekturwerts, wobei der Berechnungsschritt umfasst: Berechnen eines ersten Weißabgleich-Korrekturwerts mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die in einem in einem Farbraum eingestellten Weiß-Detektionsbereich enthalten sind, Berechnen eines zweiten Weißabgleich-Korrekturwerts mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die aus Gebieten mit jeweils einer Infrarotlichtmenge, die größer als eine vorbestimmte Menge ist, erfasst werden, und die in einem im Farbraum eingestellten Detektionsbereich für eine von Weiß verschiedene vorbestimmte Farbe enthalten sind, sowie Berechnen eines gemischten Weißabgleich-Korrekturwerts durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts.
Gemäß der vorliegenden Erfindung ist es möglich, eine Weißabgleichsteuerung durch Bestimmen, ob die Farbe im Bild die Farbe von Licht aus der Lichtquelle oder die Farbe des Objekts ist, korrekt durchzuführen.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen (unter Bezugnahme auf die beigefügten Zeichnungen) deutlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm einer digitalen Kamera als Bildaufnahmevorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
2 ist ein Blockdiagramm einer in der Bildaufnahmevorrichtung enthaltenen Weißabgleich-Steuerungseinrichtung, die in 1 erscheint.
3 ist ein Flussdiagramm eines durch die in 1 gezeigte digitale Kamera durchgeführten Fotografiervorgangs.
4 ist ein Flussdiagramm eines Berechnungsvorgangs für einen WA-Korrekturwert, der in einem Schritt des Fotografiervorgangs in 3 durchgeführt wird.
5 ist ein zum Erklären einer Bestimmungsverarbeitung, die durch einen in 2 erscheinenden Weiß-Bestimmungsabschnitt durchgeführt wird, verwendbares Diagramm.
6 ist ein Flussdiagramm eines Berechnungsvorgangs für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts, die in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
7A bis 7H sind zum Erklären von zur Berechnung einer Zuverlässigkeit verwendeten Tabellen, die durch die in 2 erscheinende Weißabgleich-Steuerungseinrichtung durchgeführt wird, verwendbare Diagramme, in denen 7A eine Tabelle zur Verwendung beim Berechnen einer verhältnisbasierten Zuverlässigkeit zeigt, 7B eine Tabelle zur Verwendung beim Berechnen einer abstandbasierten Zuverlässigkeit zeigt, 7C eine Tabelle zur Verwendung beim Berechnen einer Farbzuverlässigkeit zeigt, 7D eine Tabelle zur Verwendung beim Berechnen einer luminanzbasierten Zuverlässigkeit zeigt, 7E ein Beispiel für eine Tabelle zur Verwendung beim Berechnen einer infrarotlichtbasierten Zuverlässigkeit zeigt, 7F ein anderes Beispiel für die Tabelle zur Verwendung beim Berechnen der infrarotlichtbasierten Zuverlässigkeit zeigt, 7G eine Tabelle zur Verwendung beim Berechnen einer Grün-Zuverlässigkeit zeigt, und 7H eine Tabelle zur Verwendung beim Berechnen einer Abendszenenfarbzuverlässigkeit zeigt.
8A und 8B sind zum Erklären einer infrarotlichtbestimmungsbasierten Grün-Detektion, die in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird, verwendbare Diagramme, in denen 8A ein Beispiel für ein durch Rohdaten dargestelltes Bild zeigt, und 8B einen Zustand zeigt, in dem das in 8A gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist.
9 ist ein Flussdiagramm eines infrarotlichtbestimmungsbasierten Grün-Detektionsvorgangs, der im Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
10A bis 10D sind zum Erklären einer Berechnung des WA-Korrekturwerts, die durch die in 2 erscheinende Weißabgleich-Steuerungseinrichtung durchgeführt wird, verwendbare Diagramme, in denen 10A ein Diagramm verwendbar zum Erklären einer auf Infrarotlichtbestimmung basierenden Grün-Detektion ist, 10B ein zum Erklären einer auf Grün-Detektion basierenden Farbtemperaturschätzung verwendbares Diagramm ist, 10C ein zum Erklären einer auf Farbtemperaturschätzung basierenden WA-Korrekturwertberechnung verwendbares Diagramm ist, und 10D ein zum Erklären einer auf dem weißbasierten WA-Korrekturwert und einem infrarotlichtbasierten WA-Korrekturwert basierenden Berechnung eines endgültigen WA-Korrekturwerts verwendbares Diagramm ist.
11 ist ein Flussdiagramm eines gründetektionsbasierten Farbtemperatur-Schätzungsvorgangs, der in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
12 ist ein Flussdiagramm eines Vorgangs zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts, der in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
13 ist ein Flussdiagramm eines Berechnungsvorgangs für einen WA-Korrekturwert, der durch eine Bildaufnahmevorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
14A bis 14D sind zum Erklären eines in 13 gezeigten Abendszenenfarbdetektionsvorgangs verwendbare Diagramme, in denen 14A ein Beispiel für ein durch Fotografieren einer Abendszene erhaltenes Bild zeigt, 14B einen Zustand zeigt, in dem das in 14A gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist, 14C ein Beispiel für ein durch Fotografieren des Inneren einer Turnhalle erhaltenes Bild zeigt, und 14D einen Zustand zeigt, in dem das in 14C gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist.
15 ist ein Flussdiagramm des Abendszenenfarbdetektionsvorgangs, der in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 13 durchgeführt wird.
16A bis 16D sind zum Erklären einer Berechnung des WA-Korrekturwerts, die durch eine Weißabgleich-Steuerungseinrichtung der Bildaufnahmevorrichtung gemäß der zweiten Ausführungsform durchgeführt wird, verwendbare Diagramme, in denen 16A ein zum Erklären einer auf Infrarotlichtbestimmung basierenden Abendszenenfarbdetektion verwendbares Diagramm ist, 16B ein zum Erklären einer auf Abendszenenfarbdetektion basierenden Farbtemperaturschätzung verwendbares Diagramm ist, 16C ein zum Erklären einer auf Farbtemperaturschätzung basierenden WA-Korrekturwertberechnung verwendbares Diagramm ist, und 16D ein zum Erklären einer auf dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert basierenden Berechnung des endgültigen WA-Korrekturwert verwendbares Diagramm ist.
17 ist ein Flussdiagramm eines Vorgangs zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts, der in einem Schritt des Berechnungsvorgangs für einen WA-Korrekturwert in 13 durchgeführt wird.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die vorliegende Erfindung wird nun unten im Detail unter Bezugnahme auf die begleitenden, Ausführungsformen davon zeigenden Zeichnungen beschrieben.
1 ist ein Blockdiagramm einer Bildaufnahmevorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
Die Bildaufnahmevorrichtung ist z. B. eine digitale Kamera (nachstehend einfach als die Kamera bezeichnet), kann aber z. B. eine digitale Videokamera sein. Weiterhin kann die Bildaufnahmevorrichtung ein elektronisches Gerät mit einer Kamerafunktion sein, wie etwa ein Mobiltelefon mit der Kamerafunktion oder ein Computer mit einer Kamera.
Die mit Bezugszeichen 100 in 1 bezeichnete Kamera besitzt ein optisches System 101 einschließlich einem Objektiv, einem Verschluss, und einer Blende. Ein Objektbild (optisches Bild) wird über das optische System 101 auf einer Bildaufnahmeeinrichtung 102 gebildet. Zu diesem Zeitpunkt wird Information zum optischen System wie etwa eine Brennweite, eine Verschlusszeit, und ein Blendenwert vom optischen System 101 zu einer zentralen Verarbeitungseinheit (CPU) 103 gesendet.
Die Bildaufnahmeeinrichtung 102 ist z. B. ein CCD-Bildsensor oder ein CMOS-Bildsensor, in dem mehrere Pixel in einer zweidimensionalen Matrix angeordnet sind. Weiterhin sind Farbfilter zum Trennen von einfallendem Licht in Farbkomponenten der Farben R (rot), G (grün) und B (blau) in einem Bayer-Array auf den Pixeln angeordnet. Die Bildaufnahmeeinrichtung 102 wandelt ein optisches Bild in Analogsignale um, die Luminanzinformation jedes Pixels angeben.
Ein Analogsignal als Ausgabe der Bildaufnahmeeinrichtung 102 wird durch einen Analog-Digital-Wandler (nicht gezeigt) in ein digitales Bildsignal umgewandelt. Dieses digitale Bildsignal stellt Rohdaten (RAW-Daten) vor Anwendung einer Entwicklungsverarbeitung dar, und wird durch die CPU 103 in einer Primärspeichereinrichtung 104 gespeichert. Man beachte, dass elektrische Verstärkungswerte (nachstehend als die ISO-Empfindlichkeit bezeichnet) der Bildaufnahmeeinrichtung 102 durch die CPU 103 eingestellt werden.
Ein Photometrie-Sensor 105 besitzt mehrere Photometrie-Gebiete (zum Beispiel eine Gesamtheit von 96 Photometrie-Gebieten, gebildet aus 12 (horizontalen) × 8 (vertikalen) Gebieten), und detektiert eine Objektluminanz jedes Photometrie-Gebiets gemäß einer Menge an durch das optische System 101 hindurch einfallendem Licht. Dann werden die detektierten Objektluminanzwerte durch einen Analog-Digital-Wandler (nicht gezeigt) in digitale Luminanzsignale umgewandelt und werden zur CPU 103 gesendet.
Man beachte, dass die Anzahl der Photometrie-Gebiete des Photometrie-Sensors 105 nur eine positive Zahl zu sein braucht, und nicht auf das obige Beispiel beschränkt ist.
Ein Infrarotlichtsensor 106 ist in dieselbe Anzahl an Gebieten wie die Photometrie-Gebiete des Photometrie-Sensors 105 aufgeteilt, und detektiert eine Menge an Infrarotlicht aus jedem Gebiet gemäß einer Menge an durch das optische System 101 hindurch einfallendem Licht. Dann werden die detektierten Infrarotlichtmengen durch einen Analog-Digital-Wandler (nicht gezeigt) in digitale Infrarotlichtsignale umgewandelt und werden zur CPU 103 gesendet.
Die CPU 103 steuert den Gesamtbetrieb der Kamera 100, und steuert die Kamera 100 gemäß im Voraus gespeicherten Programmen. Zumindest ein Teil von Funktionen, die in der folgenden Beschreibung durch die assoziierte Programme ausführende CPU 103 verwirklicht werden, kann durch zweckbestimmte Hardware wie etwa ein ASIC (anwendungsspezifische integrierte Schaltung) verwirklicht werden.
Die Primärspeichereinrichtung 104 ist eine nichtflüchtige Speichereinrichtung wie etwa ein RAM, und wird von der CPU 103 als Arbeitsbereich verwendet. Weiterhin werden in der Primärspeichereinrichtung 104 gespeicherte Daten und Information durch die mit Bezugszeichen 107 bezeichnete Bildverarbeitungseinrichtung verwendet, und werden weiterhin in einem in einer Aufzeichnungsmedium-Betriebseinrichtung 108 eingeführten Aufzeichnungsmedium 108M aufgezeichnet.
Eine Sekundärspeichereinrichtung 109 ist eine nichtflüchtige Speichereinrichtung wie etwa ein EEPROM. Die Sekundärspeichereinrichtung 109 speichert Programme (Firmware) zum Steuern der Kamera 100 und Information zu verschiedenen Einstellungen, die durch die CPU 103 verwendet werden.
Das in der Aufzeichnungsmedium-Betriebseinrichtung 108 entfernbar eingeführte Aufzeichnungsmedium 108M zeichnet in der Primärspeichereinrichtung 104 gespeicherte Bilddaten und dergleichen auf. Das Aufzeichnungsmedium 108M ist z. B. eine Halbleiterspeicherkarte. Weiterhin können die im Aufzeichnungsmedium 108M aufgezeichneten Bilddaten und dergleichen durch andere Geräte wie etwa einen Computer ausgelesen werden.
Ein Anzeigeabschnitt 110 zeigt ein Sucherbild vor dem Fotografieren an, und zeigt ein durch Fotografieren erhaltenes fotografiertes Bild an. Weiterhin zeigt der Anzeigeabschnitt 110 ein GUI-Bild für eine interaktive Bedienung an.
Ein Bedienungsabschnitt 111 ist eine Eingabeeinrichtungsgruppe, die durch eine Benutzerbedienung eingegebene Information empfängt und die eingegebene Information zur CPU 103 sendet. Der Bedienungsabschnitt 111 ist mit Knöpfen, einem Hebel, einem Touchpanel, usw. versehen. Weiterhin kann der Bedienungsabschnitt 111 eine Stimme und Blickrichtung verwendende Eingabeeinrichtung sein. Weiterhin ist der Bedienungsabschnitt 111 mit einem Auslöseknopf zum Starten des Fotografierens versehen.
Die in 1 gezeigte Kamera 100 besitzt mehrere durch die Bildverarbeitungseinrichtung 107 durchgeführte Modi zur Bildverarbeitung, und einer dieser Modi zur Bildverarbeitung kann auf dem Bedienungsabschnitt 111 als Fotografiermodus ausgewählt und eingestellt werden.
Die Bildverarbeitungseinrichtung 107 führt eine vorbestimmte Bildverarbeitung an durch Fotografieren erhaltenen Bilddaten durch. Zum Beispiel führt die Bildverarbeitungseinrichtung 107 eine Entwicklungsverarbeitung genannte Bildverarbeitung durch, wie etwa Weißabgleichverarbeitung, Farbinterpolationsverarbeitung zum Umwandeln eines RGB-Bayersignals in drei Ebenen-Signale rot, grün und schwarz, Gammakorrektur-Verarbeitung, Chromakorrektur-Verarbeitung, und Farbphasenkorrektur-Verarbeitung.
Obwohl im veranschaulichten Beispiel wie nachstehend beschrieben die Bildverarbeitungseinrichtung 107 arithmetische Operationen für die Weißabgleichsteuerung durchführt, können zumindest eine oder manche dieser Funktionen der Bildverarbeitungseinrichtung 107 durch die CPU 103 über Software verwirklicht werden.
2 ist ein Blockdiagramm einer in der in 1 erscheinenden Bildverarbeitungseinrichtung 107 enthaltenen Weißabgleich-Steuerungseinrichtung 200 (nachstehend als die WA-Steuerungseinrichtung 200 bezeichnet).
Die WA-Steuerungseinrichtung 200 führt eine Weißabgleichverarbeitung durch. Die WA-Steuerungseinrichtung 200 berechnet einen gemischten WA-Korrekturwert gemäß einem basierend auf als weiß geschätzten Pixeln berechneten WA-Korrekturwert (nachstehend als der weißbasierte WA-Korrekturwert bezeichnet) und einem basierend auf einer Infrarotlichtmenge berechneten WA-Korrekturwert (nachstehend als der infrarotlichtbasierte WA-Korrekturwert bezeichnet).
Wie in 2 gezeigt, beinhaltet die WA-Steuerungseinrichtung 200 einen Blockaufteilungsabschnitt 201, einen Weiß-Bestimmungsabschnitt 202, einen Berechnungsabschnitt für einen weißbasierten WA-Korrekturwert 203, einen Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204, einen Farbbestimmungsabschnitt 205, einen Luminanz-Bestimmungsabschnitt 206, einen Infrarotlichtmenge-Bestimmungsabschnitt 207, einen RGB-Wert-Additionsabschnitt 208, einen Lichtquellenfarbe-Schätzungsabschnitt 209, einen Berechnungsabschnitt für einen infrarotlichtbasierten WA-Korrekturwert 210, einen Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211, einen Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212, und einen Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213. Die durch jeden Block ausgeführte Verarbeitung wird nachstehend beschrieben.
3 ist ein Flussdiagramm eines durch die in 1 gezeigte Kamera 100 durchgeführten Fotografiervorgangs.
Man beachte, dass der oben erwähnte Auslöseknopf in zwei Schritten bedient wird. In der folgenden Beschreibung steht SW1 des Bedienungsabschnitts 111 für einen Schalter, der eingeschaltet wird, wenn der Auslöseknopf halb gedrückt wird, und SW2 des Bedienungsabschnitts 111 steht für einen Schalter, der eingeschaltet wird, wenn der Auslöseknopf vollständig gedrückt wird. Weiterhin wird der Fotografiervorgang in 3 unter der Steuerung der CPU 103 durchgeführt.
Wenn der Fotografiervorgang angefangen wird, empfängt die CPU 103 eine Benutzerbedienung vom Bedienungsabschnitt 111 (Schritt S301: Steuerung von Bedienungsabschnitt). Dann passt die CPU 103 die Einstellungen für eine Brennweite, eine Verschlusszeit, einen Blendenwert, usw. des optischen Systems 101 gemäß der Benutzerbedienung an (Schritt S302: Steuerung von optischem System).
Dann passt die CPU 103 die Photometrie-Gebiete des Photometrie-Sensors 105 gemäß der Benutzerbedienung an (Schritt S303: Steuerung von Photometrie-Sensor). Weiterhin passt die CPU 103 die Photometrie-Gebiete des Infrarotlichtsensors 106 gemäß der Benutzerbedienung an (Schritt S304: Steuerung von Infrarotlichtsensor). Dann passt die CPU 103 die Einstellungen für die ISO-Empfindlichkeit usw. der Bildaufnahmeeinrichtung 102 gemäß der Benutzerbedienung an (Schritt S305: Steuerung von Bildaufnahmeeinrichtung).
Dann zeigt die CPU 103 Information zu Änderungen in den in den Schritten S302 bis S305 geänderten Einstellungen auf dem Anzeigeabschnitt 109 an (Schritt S306: Steuerung von Anzeigeabschnitt). Man beachte, dass die Verarbeitungsreihenfolge der Schritte S302 bis S305 nicht auf das veranschaulichte Beispiel beschränkt ist, sondern geändert werden kann.
Als nächstes bestimmt die CPU 103, ob der SW1 des Bedienungsabschnitts 111 an oder aus ist (Schritt S307). Falls der SW1 aus ist (AUS im Schritt S307), kehrt die CPU 103 zum Schritt S301 zurück. Falls andererseits der SW1 an ist (AN im Schritt S307), misst die CPU 103 mittels des Photometrie-Sensors 105 die Helligkeit des Objekts (Schritt S308). In einem Autobelichtung(engl. auto-exposure)(AE)-Modus passt die CPU 103 weiterhin die Belichtung basierend auf der Verschlusszeit, dem Blendenwert, und der ISO-Empfindlichkeit an.
Dann detektiert die CPU 103 mittels des Infrarotlichtsensors 106 die Infrarotlichtmenge aus jedem derselben Gebiete wie jene des Photometrie-Sensors 105 (Schritt S309). Falls ein Autofokus(AF)-Modus eingestellt ist, dann passt die CPU 103 den Fokus mittels eines Abstandsmesssensors (nicht gezeigt) an (Schritt S310). Man beachte, dass die Verarbeitungsreihenfolge der Schritte S308 bis S310 nicht auf das veranschaulichte Beispiel beschränkt ist, sondern geändert werden kann.
Als nächstes bestimmt die CPU 103, ob der SW2 des Bedienungsabschnitts 111 an oder aus ist (Schritt S311). Falls der SW2 aus ist (AUS im Schritt S311), kehrt die CPU 103 zum Schritt S301 zurück. Falls andererseits der SW2 an ist (AN im Schritt S311), steuert die CPU 103 den Verschluss, um die Bildaufnahmeeinrichtung 102 zu belichten, und speichert Rohdaten in der Primärspeichereinrichtung 104 (Schritt S312).
Dann steuert die CPU 103 die Bildverarbeitungseinrichtung 107, um einen WA-Korrekturwert für die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten zu berechnen wie nachstehend beschrieben (Schritt S313). Dann korrigiert (d. h. entwickelt) die CPU 103 die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten unter Verwendung des WA-Korrekturwerts (gemischter WA-Korrekturwert), um dadurch Bilddaten zu erhalten (Schritt S314).
Danach zeigt die CPU 103 ein zu den entwickelten Bilddaten entsprechendes Bild auf dem Anzeigeabschnitt 110 an (Schritt S315). Die CPU 103 zeichnet die entwickelten Bilddaten im Aufzeichnungsmedium 108M auf (Schritt S316), gefolgt vom Beenden des Fotografiervorgangs. Man beachte, dass die Verarbeitungsreihenfolge der Schritte S315 und S316 nicht auf das veranschaulichte Beispiel beschränkt ist, sondern geändert werden kann.
4 ist ein Flussdiagramm eines Berechnungsvorgangs für einen WA-Korrekturwert, der im Schritt S313 des Fotografiervorgangs in 3 durchgeführt wird.
Bezugnehmend auf 2 und 4 empfängt der Blockaufteilungsabschnitt 201 die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten, und teilt ein durch die Rohdaten dargestelltes Bild in eine vorbestimmte Anzahl Blockgebiete (nachstehend einfach als Blöcke bezeichnet) auf (zum Beispiel eine Gesamtheit von 96 Blockgebieten gebildet aus 12 (horizontalen) × 8 (vertikalen) Blockgebieten). Dann berechnet der Blockaufteilungsabschnitt 201 für jeden Block integrierte Werte von R-, G- und B-Signalwerten.
Man beachte, dass die Anzahl Aufteilungsblöcke nicht auf das oben erwähnte Beispiel beschränkt ist, sondern nur eine positive Zahl zu sein braucht. Weiterhin entsprechen die Anzahl Aufteilungsblöcke und die Aufteilungsblockgebiete in diesem Beispiel jeweils der Anzahl Aufteilungsgebiete und den Aufteilungsgebieten des Photometrie-Sensors 105 und des Infrarotlichtsensors 106.
Dann berechnet der Blockaufteilungsabschnitt 201 ein Verhältnis R/G und ein Verhältnis B/G basierend auf den jeweiligen integrierten Werten der R-, G- und B-Signalwerte jedes Blocks. Dann bestimmt der Weiß-Bestimmungsabschnitt 202 Blöcke, die in einem weißen Gebiet enthalten sind, das auf einer R/G-B/G-Koordinatenebene, definiert durch die das Verhältnis R/G darstellende horizontale Achse und die das Verhältnis B/G darstellende vertikale Achse, eingestellt ist, und integriert jeden der R-, G- und B-Signalwerte von jedem der Blöcke, um dadurch integrierte Werte Rinteg, Ginteg und Binteg zu erhalten wie nachstehend beschrieben (Schritt S401: Weiß-Detektion).
5 ist ein zum Erklären einer Bestimmungsverarbeitung, die durch den in 2 erscheinenden Weiß-Bestimmungsabschnitt 202 durchgeführt wird, verwendbares Diagramm.
Bezugnehmend auf 5 steht die horizontale Achse für das Verhältnis R/G, und die vertikale Achse steht für das Verhältnis B/G. In 5 wird ein Schwarzkörperstrahlungskurvenzug mit Bezugszeichen 501 bezeichnet. Ein weißes Gebiet 502 wird so eingestellt, dass im Gebiet(R/G, B/G)-Koordinaten (d. h. ein Paar aus einem R/G-Wert und einem B/G-Wert) von jeder von allen Farben eines achromatischen Objekts existieren, das fotografiert wird mittels jeder von verschiedenen Lichtarten wie etwa Sonnenlicht (in den jeweiligen Fällen eines sonnigen Orts und eines schattigen Orts), Kunstlicht, Quecksilberlampenlicht, Leuchtstofflampenlicht, und Blitzlicht.
Obwohl in 5 der WA-Korrekturwert durch Extrahieren eines scheinbar achromatischen Pixels vom Objekt mittels der R/G-B/G-Koordinatenebene und Schätzen einer Farbe von Licht aus der Lichtquelle berechnet wird, kann der WA-Korrekturwert durch Extrahieren eines scheinbar achromatischen Pixels vom Objekt mittels irgendeines anderen geeigneten Verfahrens berechnet werden.
Wieder bezugnehmend auf 2 und 4 berechnet der Berechnungsabschnitt für einen weißbasierten WA-Korrekturwert 203 den WA-Korrekturwert (weißbasierter WA-Korrekturwert) gemäß der R-, G- und B-integrierten Werte Rinteg, Ginteg und Binteg, die innerhalb des weißen Gebiets 502 bezüglich der Blöcke berechnet werden, durch die folgenden Gleichungen (1A) bis (1C) (Schritt S402):
R-Verstärkungswert des weißbasierten WA-Korrekturwerts W_WA_Rgain = Ginteg/Rinteg (1A) G-Verstärkungswert des weißbasierten WA-Korrekturwerts W_WA_Ggain = Ginteg/Ginteg (1B) B-Verstärkungswert des weißbasierten WA-Korrekturwerts W_WA_Bgain = Ginteg/Binteg (10)
Dann berechnet der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts wie nachstehend beschrieben (Schritt S403).
6 ist ein Flussdiagramm eines Berechnungsvorgangs für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts, der im Schritt S403 des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
Der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 berechnet eine verhältnisbasierte Zuverlässigkeit Tverhältnis gemäß einem Verhältnis der Anzahl weißer Blöcke, extrahiert im Schritt S401 in 4, zur Anzahl aller Blöcke (d. h. die Anzahl Blöcke des Gesamtbilds) (Anteil hinsichtlich des Gesamtbilds von Gebieten mit jeweils einem im Weiß-Detektionsbereich enthaltenen Farbbeurteilungswert) (Schritt S601).
7A bis 7H sind zum Erklären von zur Zuverlässigkeitsberechnung verwendeter Tabellen, die durch die in 2 gezeigte WA-Steuerungseinrichtung 200 durchgeführt wird, verwendbare Diagramme, in denen 7A eine Tabelle zur Verwendung beim Berechnen der verhältnisbasierten Zuverlässigkeit zeigt, 7B eine Tabelle zur Verwendung beim Berechnen einer abstandbasierten Zuverlässigkeit zeigt, 7C eine Tabelle zur Verwendung beim Berechnen einer Farbzuverlässigkeit zeigt, 7D eine Tabelle zur Verwendung beim Berechnen einer luminanzbasierten Zuverlässigkeit zeigt, 7E ein Beispiel für eine Tabelle zur Verwendung beim Berechnen einer infrarotlichtbasierten Zuverlässigkeit zeigt, und 7F ein anderes Beispiel für die Tabelle zur Verwendung beim Berechnen der infrarotlichtbasierten Zuverlässigkeit zeigt. Außerdem zeigt 7G eine Tabelle zur Verwendung beim Berechnen einer Grün-Zuverlässigkeit, und 7H zeigt eine Tabelle zur Verwendung beim Berechnen einer Abendszenenfarbzuverlässigkeit.
Beim Berechnen der verhältnisbasierten Zuverlässigkeit Tverhältnis bezieht sich der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 auf die in 7A gezeigte Tabelle (Tabelle für verhältnisbasierte Zuverlässigkeit), um dadurch die verhältnisbasierte Zuverlässigkeit Tverhältnis (%) zu berechnen.
In 7A steht die horizontale Achse für die Anzahl weißer Blöcke, und die vertikale Achse steht für die verhältnisbasierte Zuverlässigkeit Tverhältnis (%). Man beachte, dass im veranschaulichten Beispiel die Gesamtanzahl Blöcke 96 Blöcke beträgt, die nur als Beispiel gegeben wird, aber die Gesamtanzahl Blöcke ist nicht auf das veranschaulichte Beispiel beschränkt. D. h. die Tabelle für verhältnisbasierte Zuverlässigkeit braucht nur so konfiguriert zu sein, dass die verhältnisbasierte Zuverlässigkeit Tverhältnis (%) höher wird, wenn das Verhältnis vom weißen Block größer wird.
Dann bestimmt der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 einen Punkt von Koordinaten 503 in der in 5 gezeigten R/G-B/G-Koordinatenebene gemäß dem R-Verstärkungswert W_WA_Rgain und dem B-Verstärkungswert W_WA_Bgain des im Schritt S402 berechneten weißbasierten WA-Korrekturwerts durch die folgenden Gleichungen (2A) und (2B): R/G entsprechend dem weißbasierten WA-Korrekturwert = 1/W_WA_Rgain (2A) B/G entsprechend dem weißbasierten WA-Korrekturwert = 1/W_WA_Bgain (2B)
Dann berechnet der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 eine abstandbasierte Zuverlässigkeit Tdist (%) basierend auf der in 7B gezeigten Tabelle (Tabelle für abstandbasierte Zuverlässigkeit) gemäß einem kürzesten Abstand 504 zwischen dem zum weißbasierten WA-Korrekturwert entsprechenden Punkt der (R/G, B/G)-Koordinaten 503 und dem Schwarzkörperstrahlungskurvenzug 501 (Schritt S602).
In 7B steht die horizontale Achse für den kürzesten Abstand 504 zwischen dem zum weißbasierten WA-Korrekturwert entsprechenden Punkt der (R/G, B/G)-Koordinaten 503 und dem Schwarzkörperstrahlungskurvenzug 501, und die vertikale Achse steht für die von einem Abstand vom Schwarzkörperstrahlungskurvenzug 501 abhängige abstandbasierte Zuverlässigkeit Tdist. Die Tabelle für abstandbasierte Zuverlässigkeit braucht nur so konfiguriert zu sein, dass die abstandbasierte Zuverlässigkeit Tdist höher wird, wenn der kürzeste Abstand zwischen dem zum weißbasierten WA-Korrekturwert entsprechenden Punkt der (R/G, B/G)-Koordinaten 503 und dem Schwarzkörperstrahlungskurvenzug 501 kleiner wird. Der Minimalabstand Dmin und der Maximalabstand Dmax in 7B werden wie gewünscht eingestellt. Wenn der Punkt der (R/G, B/G)-Koordinaten 503 näher beim Schwarzkörperstrahlungskurvenzug 501 liegt, zeigt dies an, dass eine höhere Wahrscheinlichkeit besteht, dass eine achromatische Farbe nicht unter dem Licht aus einer Quecksilberlampe sondern unter natürlichem Licht detektiert wird.
Als nächstes berechnet der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 durch Multiplizieren der verhältnisbasierten Zuverlässigkeit Tverhältnis mit der abstandbasierten Zuverlässigkeit Tdist eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts Tweiß durch die folgende Gleichung (3) (Schritt S603): Tweiß = Tverhältnis × Tdist/100 (3)
Dann beendet der Berechnungsabschnitt für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts 204 den Berechnungsvorgang für eine Zuverlässigkeit des weißbasierten WA-Korrekturwerts, und die CPU 103 kehrt zum Berechnungsvorgang für einen WA-Korrekturwert in 4 zurück.
Als nächstes führt die CPU 103 eine Bestimmung der Zuverlässigkeit des weißbasierten WA-Korrekturwerts Tweiß durch (Schritt S404). In diesem Schritt bestimmt die CPU 103, falls die Zuverlässigkeit des weißbasierten WA-Korrekturwerts Tweiß nicht niedriger als ein vorbestimmter Schwellenwert ist, dass eine achromatische Farbe unter natürlichem Licht detektiert wird und die Zuverlässigkeit Tweiß hoch ist. Falls andererseits die Zuverlässigkeit des weißbasierten WA-Korrekturwerts Tweiß niedriger als der vorbestimmte Schwellenwert ist, bestimmt die CPU 103, dass die Zuverlässigkeit Tweiß niedrig ist.
Falls die Zuverlässigkeit Tweiß hoch ist (hohe Zuverlässigkeit im Schritt S404), beendet die CPU 103 den Berechnungsvorgang für einen WA-Korrekturwert, und fährt mit Schritt S314 in 3 fort. Dann steuert die CPU 103 die Bildverarbeitungseinrichtung 107, um die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten gemäß dem weißbasierten WA-Korrekturwert umzuwandeln.
Falls andererseits die Zuverlässigkeit Tweiß niedrig ist (niedrige Zuverlässigkeit im Schritt S404), steuert die CPU 103 den Farbbestimmungsabschnitt 205, den Luminanz-Bestimmungsabschnitt 206, den Infrarotlichtmenge-Bestimmungsabschnitt 207, den RGB-Wert-Additionsabschnitt 208, und den Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211, um nachstehend beschriebene Vorgänge durchzuführen.
In diesen Vorgängen wird zuerst eine Grün-Detektion durchgeführt, basierend auf einer Infrarotlichtbestimmung unter der Steuerung der CPU 103 (Schritt S405). Genauer gesagt wird das durch die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten dargestellte Bild in derselben Art und Weise wie durch den Blockaufteilungsabschnitt 201 durchgeführt in eine vorbestimmte Anzahl Blöcke aufgeteilt. Als nächstes wird bestimmt, ob die Farbe eines als grün bestimmten Blocks eine von der Lichtquelle, etwa einer Quecksilberlampe, beeinflusste Farbe oder eine Farbe des Objekts ist, basierend auf der vom Infrarotlichtsensor 106 aus demselben Gebiet (d. h. Block) detektierten Infrarotlichtmenge. Dann wird nur das als eine Farbe des Objekts bestimmte Grün auf ein Objekt eingestellt, das einer Berechnung von integrierten Werten für Grün-Detektion RintegA, GintegA und RintegA unterzogen werden soll, auf die nachstehend Bezug genommen wird.
8A und 8B sind zum Erklären der infrarotlichtbestimmungsbasierten Grün-Detektion, die im Schritt S405 des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird, verwendbare Diagramme. 8A zeigt ein Beispiel für ein durch Rohdaten dargestelltes Bild, und 8B zeigt einen Zustand, in dem das in 8A gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist.
Bezugnehmend auf 8B bezeichnet Bezugszeichen 801 einen Block von grünem Gras, und Bezugszeichen 802 bezeichnet einen Block blauen Himmels. Weiterhin bezeichnet Bezugszeichen 803 einen Block von einem weißen Schild. Nun wird unter der Annahme, dass das in 8A gezeigte Bild durch Fotografieren unter natürlichem Licht erhalten ist, da das Sonnenlicht Infrarotlicht beinhaltet, bestimmt, dass der Block mit grünem Gras 801 eine Farbe des Objekts zeigt, weil das Infrarotlicht vom Block reflektiert wird, und somit wird der Block 801 als ein Objekt eingestellt, das der Berechnung der integrierten Werte für Grün-Detektion RintegA, GintegA und RintegA unterzogen werden soll. Der Block mit blauem Himmel 802 und der Block mit weißem Schild 803 sind nicht grün, und somit werden diese Blöcke nicht als Objekte eingestellt, die der Berechnung der integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA unterzogen werden sollen.
Andererseits wird unter der Annahme, dass das in 8A gezeigte Bild durch Fotografieren unter einer Quecksilberlampe in der Nacht erhalten ist, der Block mit weißem Schild 803 durch die Farbe von Licht aus der Quecksilberlampe beeinflusst, und wird manchmal als grün bestimmt. Weiterhin wird der Block mit grünem Gras 801 auch durch die Farbe von Licht aus der Quecksilberlampe beeinflusst, und somit erhält der Block 801 eine vom ursprünglichen (originalen) Grün verschiedene Farbe. In diesem Fall wird bestimmt, dass, da das Licht aus der Quecksilberlampe nicht Infrarotlicht enthält, die jeweiligen Farben des Blocks mit grünem Gras 801 und des Blocks mit weißem Schild 803 vom Licht aus der Quecksilberlampe beeinflusst sind. Als Ergebnis werden, obwohl diese Blöcke grün sind, sie nicht als Objekte eingestellt, die der Berechnung der integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA unterzogen werden sollen.
9 ist ein Flussdiagramm eines infrarotlichtbestimmungsbasierten Grün-Detektionsvorgangs, der im Schritt S405 des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
Der Farbbestimmungsabschnitt 205 extrahiert eine Farbe, enthalten in einem im Voraus eingestellten Grün-Detektionsgebiet (Farbdetektionsrahmen), und berechnet durch Bezugnehmen auf die in 7C gezeigte Tabelle (Tabelle für Farbzuverlässigkeit) eine Farbzuverlässigkeit Tfarbe (Schritt S901).
In 7C steht die horizontale Achse für zur Farbe jedes Blocks entsprechende (R/G, B/G)-Koordinaten, und die vertikale Achse steht für die Farbzuverlässigkeit Tfarbe. In 7C wird, wie nachstehend beschrieben, ein Gebiet 1002 (siehe 10A), in dem die Farbzuverlässigkeit 100% beträgt, innerhalb des mit Bezugszeichen 1001 (siehe auch 10A) bezeichneten Grün-Detektionsgebiets bereitgestellt, und wenn ein Block nicht im Grün-Detektionsgebiet 1001 enthalten ist, wird die Farbzuverlässigkeit des Blocks auf 0% eingestellt. Weiterhin wird, wenn ein Block im Grün-Detektionsgebiet 1001 enthalten ist, und auch im Gebiet 1002 enthalten ist, in dem die Farbzuverlässigkeit 100% beträgt, die Farbzuverlässigkeit des Blocks auf 100% eingestellt. Weiterhin wird in einem Fall, in dem ein Block im Grün-Detektionsgebiet 1001 enthalten ist, aber nicht im Gebiet 1002 enthalten ist, in dem die Farbzuverlässigkeit 100% beträgt, die Farbzuverlässigkeit Tfarbe so durch lineare Interpolation berechnet, dass sie allmählich gemäß der Infrarotlichtmenge geändert wird.
Man beachte, dass beispielsweise das Gebiet 1002, in dem die Farbzuverlässigkeit 100% beträgt, innerhalb des Grün-Detektionsgebiets 1001 eingestellt wird, aber dies ist nicht einschränkend. D. h. die Farbzuverlässigkeit Tfarbe kann eingestellt werden, höher zu sein, wenn der Block näher zum zentralen Teil des Grün-Detektionsgebiets 1001 liegt. Durch derartiges Berücksichtigen der Farbzuverlässigkeit Tfarbe ist es möglich, einen durch Farbvariation verursachten sehr großen Unterschied im WA-Korrekturwert zu reduzieren.
Als nächstes berechnet der Luminanz-Bestimmungsabschnitt 206 eine luminanzbasierte Zuverlässigkeit Tlumi basierend auf der durch den Photometrie-Sensor 105 detektierten Objektluminanz durch Bezugnehmen auf die in 7D gezeigte Tabelle (Tabelle für luminanzbasierte Zuverlässigkeit), um zu bestimmen, ob die Farbe des Objekts hell genug ist oder nicht, um die Farbzuverlässigkeit Tfarbe zu berechnen (Schritt S902).
In 7D steht die horizontale Achse für zur Objektluminanz jedes Blocks entsprechende (R/G, B/G)-Koordinaten, und die vertikale Achse steht für die luminanzbasierte Zuverlässigkeit Tlumi. Die Tabelle für luminanzbasierte Zuverlässigkeit in 7D ist so konfiguriert, dass die luminanzbasierte Zuverlässigkeit Tlumi höher wird, wenn die Objektluminanz höher wird. Durch derartiges Berücksichtigen der luminanzbasierten Zuverlässigkeit Tlumi ist es möglich, eine solche fehlerhafte Bestimmung sicher zu verhindern, dass ein Bild einer Nachtszene oder dergleichen, die sehr dunkel ist, als unter natürlichem Licht fotografiert bestimmt wird.
Dann berechnet der Infrarotlichtmenge-Bestimmungsabschnitt 207 eine infrarotlichtbasierte Zuverlässigkeit Tir basierend auf der durch den Infrarotlichtsensor 106 detektierten Infrarotlichtmenge durch Bezugnehmen auf die in 7E gezeigte Tabelle (Tabelle für infrarotlichtbasierte Zuverlässigkeit) (Schritt S903). Die infrarotlichtbasierte Zuverlässigkeit Tir ist eine Zuverlässigkeit, die zum Beispiel anzeigt, welche aus einer Wahrscheinlichkeit, dass ein achromatisches Objekt unter dem grünen Licht aus einer Lichtquelle wie etwa eine Quecksilberlampe fotografiert worden ist, und einer Wahrscheinlichkeit, dass eine grüne Pflanze unter natürlichem Licht fotografiert worden ist, höher ist.
Man beachte, dass eine durch Helligkeitsänderungen verursachte Infrarotlichtmengenvariation durch Normalisieren der Infrarotlichtmenge mit der durch den Photometrie-Sensor 105 detektierten Objektluminanz und damit Verwenden eines Verhältnisses der Infrarotlichtmenge zur Objektluminanz unterdrückt werden kann.
Bezugnehmend auf 7E wird, falls die Infrarotlichtmenge kleiner als der Minimalwert Imin ist, die Farbe des Blocks als vom Licht aus der Lichtquelle beeinflusst angesehen, wohingegen falls die Infrarotlichtmenge größer als der Maximalwert Imax ist, die Farbe des Blocks als die Farbe des Objekts angesehen wird. Weiterhin wird in einem Fall, in dem die Infrarotlichtmenge zwischen dem Minimalwert Imin und dem Maximalwert Imax liegt, die infrarotlichtbasierte Zuverlässigkeit Tir so durch lineare Interpolation eingestellt, dass sie gemäß der Infrarotlichtmenge fortschreitend geändert wird.
Als nächstes führt der RGB-Wert-Additionsabschnitt 208 eine gewichtete Integration bezüglich jedem der R-, G- und B-Signalwerte eines Blocks als Verarbeitungsziel durch, gemäß der Farbzuverlässigkeit Tfarbe, der luminanzbasierten Zuverlässigkeit Tlumi, und der infrarotlichtbasierten Zuverlässigkeit Tir durch die folgenden Gleichungen (4A) bis (4C) (Schritt S904): RintegA = RintegA + Rij × (Tfarbe/100 × Tlumi/100 × Tir/100) (4A) GintegA = GintegA + Gij × (Tfarbe/100 × Tlumi/100 × Tir/100) (4B) RintegA = RintegA + Bij × (Tfarbe/100 × Tlumi/100 × Tir/100) (4C) wobei Rij für den integrierten Wert eines R-Signalwerts in einem i-ten/j-ten Block steht, Gij für den integrierten Wert eines G-Signalwerts in einem i-ten/j-ten Block steht, und Bij für den integrierten Wert eines B-Signalwerts in einem i-ten/j-ten Block steht. Man beachte, dass i für eine Blocknummer jedes Blocks in der horizontalen Richtung steht (irgendeine aus 0 bis 11), und j für eine Blocknummer desselben in der vertikalen Richtung steht (irgendeine aus 0 bis 7).
Die somit durch gewichtete Integration berechneten integrierten Werte (d. h. addierte Werte) sind die vorher erwähnten integrierten Werte für Grün-Detektion RintegA, GintegA bzw. BintegA. Man beachte, dass die integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA nur einmal vor Verarbeiten eines ersten Blocks auf 0 initialisiert werden.
10A bis 10D sind zum Erklären einer Berechnung des WA-Korrekturwerts, die durch die in 2 gezeigte WA-Steuerungseinrichtung 200 durchgeführt wird, verwendbare Diagramme, in denen 10A ein zum Erklären einer auf Infrarotlichtbestimmung basierenden Grün-Detektion verwendbares Diagramm ist, 10B ein zum Erklären einer auf Grün-Detektion basierenden Farbtemperaturschätzung verwendbares Diagramm ist, 10C ein zum Erklären einer auf Farbtemperaturschätzung basierenden WA-Korrekturwertberechnung verwendbares Diagramm ist, und 10D ein zum Erklären einer auf dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert basierenden Berechnung eines endgültigen WA-Korrekturwerts verwendbares Diagramm ist.
Bezugnehmend auf 10A ist dort eine (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Ein Beispiel für die Position in der (R/G, B/G)-Koordinatenebene einer Farbe, für die alle Zuverlässigkeiten hoch sind, ist mit Bezugszeichen 1003 bezeichnet. Ein Beispiel für die Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die im Grün-Detektionsgebiet 1001 enthalten ist, aber nicht im Gebiet 1002 enthalten ist, wo die Farbzuverlässigkeit 100% beträgt, d. h. die eine niedrigere Farbzuverlässigkeit Tfarbe aufweist, ist mit Bezugszeichen 1004 bezeichnet. Weiterhin ist ein Beispiel für die Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die eine niedrigere luminanzbasierte Zuverlässigkeit Tlumi oder infrarotlichtbasierte Zuverlässigkeit Tir aufweist, mit Bezugszeichen 1005 bezeichnet, und ein Beispiel für die Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die nicht im Grün-Detektionsgebiet 1001 enthalten ist, ist mit Bezugszeichen 1006 bezeichnet. Weiterhin ist eine Position der (R/G, B/G)-Koordinaten, die den integrierten Werten für Grün-Detektion RintegA, GintegA und BintegA entspricht, d. h. eine Position von (RintegA/GintegA, BintegA/GintegA)-Koordinaten mit Bezugszeichen 1007 bezeichnet.
Zunächst erfüllt die Farbe an der Position 1003, für die alle Zuverlässigkeiten hoch sind, alle erforderlichen Bedingungen, und somit wird der Wert der Farbe wie er ist addiert. Andererseits weist die Farbe an der Position 1004 eine niedrigere Farbzuverlässigkeit Tfarbe auf, und somit wird ein durch Multiplizieren des Werts der Farbe mit einem Additionsverhältnis von z. B. 0,5 erhaltener Wert addiert. Man beachte, dass das Additionsverhältnis einer Farbe bestimmt wird gemäß einer Position in der (R/G, B/G)-Koordinatenebene der Farbe in einem Gebiet, das innerhalb des Grün-Detektionsgebiets 1001, aber außerhalb des Gebiets 1002 liegt, in dem die Farbzuverlässigkeit 100% beträgt.
Als nächstes wird, was die zur Position 1005 entsprechende Farbe betrifft, die eine niedrige luminanzbasierte Zuverlässigkeit Tlumi oder infrarotlichtbasierte Zuverlässigkeit Tir aufweist, falls die luminanzbasierte Zuverlässigkeit Tlumi und infrarotlichtbasierte Zuverlässigkeit Tir beide nicht niedriger als ein vorbestimmter Schwellenwert sind, ein durch Multiplizieren des Werts der Farbe mit einem vorbestimmten Additionsverhältnis erhaltener Wert addiert, aber falls mindestens eine dieser Zuverlässigkeiten niedriger als der vorbestimmte Schwellenwert ist, wird der Wert der Farbe nicht addiert, selbst wenn die Farbe 1005 im Grün-Detektionsgebiet 1001 enthalten ist. Schließlich wird, was die zur Position 1006 entsprechende Farbe betrifft, die nicht im Grün-Detektionsgebiet 1001 enthalten ist, selbst falls sowohl die luminanzbasierte Zuverlässigkeit Tlumi als auch die infrarotlichtbasierte Zuverlässigkeit Tir hoch sind, der Wert der Farbe nicht addiert, d. h. nicht integriert.
Wieder bezugnehmend auf 9 bestimmt die CPU 103, ob zumindest einer der integrierten Werte für Grün-Detektion RintegA, GintegA und GintegA aktualisiert worden ist oder nicht (Schritt S905). Falls zumindest einer der integrierten Werte für Grün-Detektion RintegA, GintegA und GintegA aktualisiert worden ist (JA im Schritt S905), bestimmt die CPU 103, dass die Farbe des Blocks die Farbe des Objekts ist. Dann addiert, um eine gemittelte Infrarotlichtmenge in Blöcken zu berechnen, aus denen die Farbe des Objekts detektiert wird, der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 eine Infrarotlichtmenge IRij nach Normalisieren mit einer Luminanz des Blocks zu einer Gesamtinfrarotlichtmenge IRgesamt durch die folgende Gleichung (5) (Schritt S906): IRgesamt = IRgesamt + IRij (5) wobei IRij für eine Infrarotlichtmenge in einem i-ten und j-ten Block nach Normalisieren mit einem für den Block detektierten Luminanzwert steht. Man beachte, dass, wie vorstehendend erwähnt, i für eine Blocknummer jedes Blocks in der horizontalen Richtung steht (irgendeine aus 0 bis 11), und j für eine Blocknummer desselben in der vertikalen Richtung steht (irgendeine aus 0 bis 7).
Man beachte, dass eine in diesem Schritt durchgeführte Normalisierungsverarbeitung eine Verarbeitung zum Teilen der Infrarotlichtmenge im Block durch einen für den Block vom Photometrie-Sensor 105 detektierten Luminanzwert ist. Weiterhin wird die Gesamtinfrarotlichtmenge IRgesamt nur einmal vor Verarbeiten des ersten Blocks auf 0 initialisiert.
Als nächstes zählt, um ein Verhältnis Nverhältnis (auf das nachstehend Bezug genommen wird) der Anzahl Blöcke, aus denen die Farbe des Objekts detektiert wird, zur Anzahl Blöcke des Gesamtbilds zu berechnen, der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 eine Gesamtanzahl grüner Blöcke Ngesamt durch die folgende Gleichung (6) hoch (Schritt S907): Ngesamt = Ngesamt + 1 (6)
Man beachte, dass die Gesamtanzahl grüner Blöcke Ngesamt nur einmal vor Verarbeiten des ersten Blocks auf 0 initialisiert wird.
Dann bestimmt die CPU 103, ob alle Aufteilungsblöcke überprüft worden sind oder nicht (Schritt S908). Man beachte, dass, außer wenn mindestens einer der integrierten Werte für Grün-Detektion RintegA, GintegA und GintegA aktualisiert worden ist (NEIN im Schritt S905), die CPU 103 bestimmt, dass die Farbe des Objekts nicht detektiert wird, und mit Schritt S908 fortfährt.
Falls nicht alle Blöcke überprüft worden sind (NEIN im Schritt S908), verlagert die CPU 103 die Verarbeitung zum nächsten Block (Schritt S909), und kehrt zum Schritt S901 zurück. Falls andererseits alle Blöcke überprüft worden sind (JA im Schritt S908), berechnet der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 eine gemittelte Infrarotlichtmenge IRave der Blöcke, aus denen die Farbe des Objekts detektiert wird, durch die folgende Gleichung (7) gemäß der Gesamtinfrarotlichtmenge IRgesamt und der Gesamtanzahl grüner Blöcke Ngesamt (Schritt S910). Dann kehrt die CPU 103 zum Berechnungsvorgang für einen WA-Korrekturwert in 4 zurück. IRave = IRgesamt/Ngesamt (7)
Ein Vorgang zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts wird, wie nachstehend mit Bezug auf 12 beschrieben, durchgeführt unter Verwendung der durch die oben beschriebene Verarbeitung berechneten R-, G- und B-integrierten Werte RintegA, GintegA und BintegA der Blöcke, von denen bestimmt wurde, dass sie die Farbe des Objekts besitzen, des durch die folgende Gleichung (8) berechneten Verhältnisses Nverhältnis der Anzahl Blöcke, von denen bestimmt wurde, dass sie die Farbe des Objekts besitzen, zur Anzahl Blöcke des Gesamtbilds, und der gemittelten Infrarotlichtmenge IRave der Blöcke, von denen bestimmt wurde, dass sie die Farbe des Objekts besitzen. Nverhältnis = Ngesamt/Gesamtanzahl Blöcke × 100 (8) wobei im veranschaulichten Beispiel die Gesamtanzahl Blöcke gleich 12 × 8 = 96 ist.
Wieder bezugnehmend auf 4 schätzt der Lichtquellenfarbe-Schätzungsabschnitt 209 die Farbtemperatur von beim Fotografieren verwendeten Licht aus der Lichtquelle, d. h. natürliches Licht, basierend auf den Koordinaten der Position 1007 in 10B, die den integrierten Werten für Grün-Detektion RintegA, GintegA und BintegA entspricht (Schritt S406).
11 ist ein Flussdiagramm eines gründetektionsbasierten Farbtemperatur-Schätzungsvorgangs, der im Schritt S406 des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
Bezugnehmend auf 10B und 11 ist in 10B ähnlich zu 10A die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Es wird angenommen, dass mit Bezugszeichen 1008 bis 1011 bezeichnete Punkte an den Ecken des Grün-Detektionsgebiets 1001 jeweils eine reziproke Farbtemperatur von Licht aus einer Lichtquelle aufweisen. Weiterhin liegen die Punkte 1008 und 1010 in einem Gebiet niedriger Farbtemperatur, und die Punkte 1009 und 1011 liegen in einem Gebiet hoher Farbtemperatur.
Wenn der Farbtemperatur-Schätzungsvorgang gestartet wird, berechnet der Lichtquellenfarbe-Schätzungsabschnitt 209 eine reziproke Farbtemperatur von Licht aus der Lichtquelle an einem Punkt 1012, die der R/G-Komponente der integrierten Werte für Grün-Detektion RintegA, GintegA und GintegA entspricht, durch Durchführen von linearer Interpolation mittels der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1008 in dem Gebiet niedriger Farbtemperatur entspricht, und der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1009 in dem Gebiet hoher Farbtemperatur entspricht (Schritt S1101).
Dann berechnet der Lichtquellenfarbe-Schätzungsabschnitt 209 eine reziproke Farbtemperatur von Licht aus der Lichtquelle an einem Punkt 1013, die der R/G-Komponente der integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA entspricht, durch Durchführen von linearer Interpolation mittels der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1010 in dem Gebiet niedriger Farbtemperatur entspricht, und der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1011 in dem Gebiet hoher Farbtemperatur entspricht (Schritt S1102).
Der Lichtquellenfarbe-Schätzungsabschnitt 209 berechnet eine reziproke Farbtemperatur von Licht aus der Lichtquelle, die der B/G-Komponente der integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA entspricht, durch Durchführen von linearer Interpolation mittels der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1012 entspricht, und der reziproken Farbtemperatur von Licht aus der Lichtquelle, die dem Punkt 1013 entspricht (Schritt S1103).
Dann wandelt der Lichtquellenfarbe-Schätzungsabschnitt 209 die im Schritt S1103 berechnete reziproke Farbtemperatur von Licht aus der Lichtquelle in eine Farbtemperatur um (Schritt S1104). Dann beendet der Lichtquellenfarbe-Schätzungsabschnitt 209 den Farbtemperatur-Schätzungsvorgang, und die CPU 103 kehrt zum Berechnungsvorgang für einen WA-Korrekturwert in 4 zurück.
Unter Verwendung der durch den oben beschriebenen Farbtemperatur-Schätzungsvorgang erhaltenen Farbtemperatur von Licht aus der Lichtquelle am Punkt 1007 der Koordinaten, die den integrierten Werten für Grün-Detektion RintegA, GintegA und BintegA entsprechen, wird eine nachstehend beschriebene Verarbeitung durchgeführt.
Bezugnehmend auf 4 und 10C berechnet der Berechnungsabschnitt für einen infrarotlichtbasierten WA-Korrekturwert 210 einen WA-Korrekturwert (infrarotlichtbasierter WA-Korrekturwert), der der im Schritt S406 geschätzten Farbtemperatur von Licht aus der Lichtquelle entspricht (Schritt S407).
In 10C ist ähnlich zu 10A und 10B die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Hier berechnet der Berechnungsabschnitt für einen infrarotlichtbasierten WA-Korrekturwert 210 unter der Annahme, dass ein Infrarotlicht beinhaltendes grünes Objekt detektiert wird und somit bestimmt werden kann, dass das Objekt unter natürlichem Licht fotografiert worden ist, die (RGg, BGg)-Koordinaten eines Punkts, der der Farbtemperatur auf dem Schwarzkörperstrahlungskurvenzug 501 entspricht. Dann berechnet der Berechnungsabschnitt für einen infrarotlichtbasierten WA-Korrekturwert 210 einen zu den berechneten Koordinaten entsprechenden infrarotlichtbasierten WA-Korrekturwert 1014 durch die folgenden Gleichungen (9A) bis (9C):
infrarotlichtbasierter WA-Korrekturwert-R-Verstärkungswert IR_WA_Rgain = 1/RGg (9A) infrarotlichtbasierter WA-Korrekturwert-G-Verstärkungswert IR_WA_Ggain = 1 (9B) infrarotlichtbasierter WA-Korrekturwert-B-Verstärkungswert IR_WA_Bgain = 1/BGg (9C)
Unter Verwendung des wie oben berechneten infrarotlichtbasierten WA-Korrekturwerts 1014 und des weißbasierten WA-Korrekturwerts wird der folgende Vorgang zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts durchgeführt. Hier addieren der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 und der Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213 den weißbasierten WA-Korrekturwert und den infrarotlichtbasierten WA-Korrekturwert mit einem vorbestimmten Verhältnis, um dadurch den endgültigen WA-Korrekturwert (gemischter WA-Korrekturwert) zu berechnen (Schritt S408).
12 ist ein Flussdiagramm des Vorgangs zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts, der im Schritt S408 des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durchgeführt wird.
Bezugnehmend auf 10D und 12 ist in 10D ähnlich zu 10A bis 10C die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Wenn der Additionsvorgang gestartet wird, berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 eine infrarotlichtbasierte Zuverlässigkeit Tir2 basierend auf der gemittelten Infrarotlichtmenge IRave der Blöcke, für die im Schritt S405 bestimmt wurde, dass die die Farbe (grün) des Objekts besitzen (Schritt S1201).
Man beachte, dass die infrarotlichtbasierte Zuverlässigkeit Tir2 durch Bezugnehmen auf die in 7F gezeigte Tabelle (Tabelle für infrarotlichtbasierte Zuverlässigkeit) berechnet wird. Da jedoch diese Tabelle ähnlich zur in 7E gezeigten Tabelle ist, ist eine Beschreibung davon ausgelassen.
Dann berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 eine Grün-Zuverlässigkeit Tgrün basierend auf dem Verhältnis Nverhältnis der Anzahl der Blöcke, für die im Schritt S405 bestimmt wurde, dass sie die Farbe (grün) des Objekts besitzen, zur Anzahl aller Blöcke (Schritt S1202).
Man beachte, dass die Grün-Zuverlässigkeit Tgrün durch Bezugnehmen auf die in 7G gezeigte Tabelle (Tabelle für Grün-Zuverlässigkeit) berechnet wird. Da jedoch diese Tabelle ähnlich zur in 7A gezeigten Tabelle ist, ist eine Beschreibung davon ausgelassen. Weiterhin sind in der in 7G gezeigten Tabelle als Beispiel die Werte auf der horizontalen Achse angegeben, aber die Anzahlen grüner Blöcke sind nicht darauf beschränkt. D. h. die Tabelle für Grün-Zuverlässigkeit braucht nur so konfiguriert zu sein, dass die Grün-Zuverlässigkeit Tgrün höher wird, wenn ein Verhältnis der Anzahl Blöcke, für die bestimmt wurde, dass die die Farbe (grün) des Objekts besitzen, größer wird.
Als nächstes berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 ein Additionsverhältnis Verhältnis_W_IR zwischen dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert basierend auf der infrarotlichtbasierten Zuverlässigkeit Tir2 und der Grün-Zuverlässigkeit Tgrün durch die folgende Gleichung (10) (Schritt S1203): Verhältnis_W_IR = Tir2 × Tgrün/100 (10)
Man beachte, dass im Schritt S1203 das Additionsverhältnis Verhältnis_W_IR durch Berücksichtigen der im oben beschriebenen Schritt S403 berechneten Zuverlässigkeit des weißbasierten WA-Korrekturwerts berechnet werden kann. Weiterhin kann das Additionsverhältnis Verhältnis_W_IR so eingestellt werden, dass einer aus dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert abhängig von der Zuverlässigkeit verwendet wird.
Als nächstes berechnet der Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213 einen WA-Korrekturwert (gemischter WA-Korrekturwert) WA_Rmisch durch Aufaddieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts durch die folgende Gleichung (11) unter Verwendung des Additionsverhältnisses Verhältnis_W_IR (Schritt S1204): WA_Rmisch = (WA_Rw × (100 – Verhältnis_W_IR) + WA_Rir × Verhältnis_W_IR)/100 (11) wobei WA_Rw für den R-Verstärkungswert des weißbasierten WA-Korrekturwerts steht, WA_Rir für den R-Verstärkungswert des infrarotlichtbasierten WA-Korrekturwerts steht, und WA_Rmisch für den R-Verstärkungswert des gemischten WA-Korrekturwerts steht.
Man beachte, dass der G-Verstärkungswert und der B-Verstärkungswert des gemischten WA-Korrekturwerts auch durch eine zur Gleichung zum Berechnen des R-Verstärkungswerts ähnliche Gleichung berechnet werden. Dann kehrt die CPU 103 zum Berechnungsvorgang für einen WA-Korrekturwert in 4 zurück.
In 10D ist ein Punkt von (R/G, B/G)-Koordinaten, der dem infrarotlichtbasierten WA-Korrekturwert entspricht, mit Bezugszeichen 1014 bezeichnet, und ein Punkt von (R/G, B/G)-Koordinaten, der dem weißbasierten WA-Korrekturwert entspricht, ist mit Bezugszeichen 1015 bezeichnet. Weiterhin ist ein Punkt von (R/G, B/G)-Koordinaten, der dem gemischten WA-Korrekturwert entspricht, mit Bezugszeichen 1016 bezeichnet.
Die Koordinaten eines Punkts, der durch Aufteilen einer den Punkt 1014 und den Punkt 1015 verbindenden geraden Linie gemäß dem Additionsverhältnis Verhältnis_W_IR erhalten wird, werden auf die (R/G, B/G)-Koordinaten des Punkts 1016 eingestellt, der dem gemischten WA-Korrekturwert entspricht. Mit dieser Verarbeitung ist es möglich, gleichmäßig einen Wert zwischen dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert zu verschieben.
Dann werden die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten unter Verwendung des wie oben erhaltenen gemischten WA-Korrekturwerts in Bilddaten umgewandelt.
Wie oben beschrieben, wird in der ersten Ausführungsform der vorliegenden Erfindung an einem Bild, aus dem eine große Menge einer ähnlichen Farbe detektiert wird, bestimmt, ob die Farbe des Bilds die Farbe von Licht aus einer Lichtquelle oder die Farbe eines Objekts ist. Dies ermöglicht es, die Weißabgleichsteuerung richtig durchzuführen.
Als nächstes wird eine Beschreibung einer Kamera als Bildaufnahmevorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung gegeben.
Die Kamera als Bildaufnahmevorrichtung gemäß der zweiten Ausführungsform besitzt dieselbe Konfiguration wie jene der in 1 gezeigten Kamera, und die in der Bildverarbeitungseinrichtung enthaltene Weißabgleich-Steuerungseinrichtung besitzt dieselbe Konfiguration wie in 2 gezeigt. Weiterhin ist der durch die Kamera gemäß der zweiten Ausführungsform durchgeführte Fotografiervorgang derselbe wie der Fotografiervorgang in 3, bis auf den Berechnungsvorgang für einen WA-Korrekturwert.
Die zweite Ausführungsform wird beschrieben durch Nennen eines Beispiels, in dem die Weißabgleichsteuerung durch Unterscheiden zwischen einem roten Objekt unter Leuchtstofflampenlicht und einer Abendszene durchgeführt wird.
13 ist ein Flussdiagramm des Berechnungsvorgangs für einen WA-Korrekturwert, der von der Bildaufnahmevorrichtung gemäß der zweiten Ausführungsform durchgeführt wird.
Man beachte, dass der Berechnungsvorgang für einen WA-Korrekturwert in 13 unter der Steuerung der CPU 103 durchgeführt wird. Weiterhin werden im Berechnungsvorgang für einen WA-Korrekturwert in 13 dieselben Schritte wie jene des Berechnungsvorgangs für einen WA-Korrekturwert in 4 durch dieselben Schrittnummern bezeichnet, und eine Beschreibung davon ist ausgelassen.
Falls im Schritt S404 bestimmt wird, dass die Zuverlässigkeit Tweiß niedrig ist, steuert die CPU 103 den Farbbestimmungsabschnitt 205, den Luminanz-Bestimmungsabschnitt 206, den Infrarotlichtmenge-Bestimmungsabschnitt 207, den RGB-Wert-Bestimmungsabschnitt 208, und den Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211, um eine auf Infrarotlichtbestimmung basierende Abendszenenfarbdetektion durchzuführen (Schritt S1305). In diesem Schritt wird ein durch in der Primärspeichereinrichtung 104 gespeicherte Rohdaten dargestelltes Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt. Dann wird bestimmt, ob ein Block, für den bestimmt wird, dass er dieselbe Farbe wie jene einer Abendszene (nachstehend als die Abendszenenfarbe bezeichnet) besitzt, eine Farbe eines roten Objekts oder eine Farbe des durch die untergehende Sonne geröteten Himmels besitzt. Dann werden nur Signalwerte von Blöcken der Abendszenenfarbe integriert, für die bestimmt wurde, dass sie die Farbe des durch die untergehende Sonne geröteten Himmels besitzen.
14A bis 14D sind zum Erklären des in 13 gezeigten Abendszenenfarbdetektionsvorgangs verwendbare Diagramme. 14A zeigt ein Beispiel für ein durch Fotografieren einer Abendszene erhaltenes Bild, und 14B zeigt einen Zustand, in dem das in 14A gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist. 14C zeigt ein Beispiel für ein durch Fotografieren des Inneren einer Turnhalle erhaltenes Bild, und 14D zeigt einen Zustand, in dem das in 14C gezeigte Bild in eine vorbestimmte Anzahl Blöcke aufgeteilt ist.
Bezugnehmend auf 14B wird ein Block des durch die untergehende Sonne geröteten Himmels mit Bezugszeichen 1401 bezeichnet, und ein Block des durch die untergehende Sonne beleuchteten blauen Meers wird mit Bezugszeichen 1402 bezeichnet. Im veranschaulichten Beispiel in 14A beinhaltet der Block 1401 des durch die untergehende Sonne geröteten Himmels eine Infrarotlichtkomponente, da die untergehende Sonne Infrarotlicht emittiert. Daher wird für den Block 1401 bestimmt, dass er die Abendszenenfarbe besitzt, und der Signalwert davon ist ein Wert, der integriert werden soll. Der Block 1402 des durch die untergehende Sonne beleuchteten blauen Meers besitzt nicht die Abendszenenfarbe, und der Signalwert davon soll nicht integriert werden.
Bezugnehmend auf 14D wird ein Holzboden der Turnhalle mit Bezugszeichen 1403 bezeichnet. Im veranschaulichten Beispiel in 14C wird in einem Fall, in dem die Farbe des Holzbodens der durch Leuchtstofflampen beleuchten Turnhalle ähnlich zur Abendszenenfarbe ist, manchmal fehlerhaft eine Abendszenenfarbe ermittelt. Jedoch emittieren Leuchtstofflampen und ähnliche Lichtquellen nicht Infrarotlicht, und somit wird in der vorliegenden Ausführungsform der Holzboden der Turnhalle als rotes Objekt bestimmt, und der Signalwert des Bodenbelags ist ein Wert, der nicht integriert werden soll.
15 ist ein Flussdiagramm des Abendszenenfarbdetektionsvorgangs, der im Schritt S1305 des Berechnungsvorgangs für einen WA-Korrekturwert in 13 durchgeführt wird.
Wenn der Abendszenenfarbdetektionsvorgang gestartet wird, extrahiert der Farbbestimmungsabschnitt 205 in derselben Art und Weise wie im Schritt S901 des in 9 gezeigten infrarotlichtbestimmungsbasierten Grün-Detektionsvorgangs eine in einem im Voraus eingestellten Abendszenenfarbdetektionsgebiet enthaltene Farbe. Dann berechnet der Farbbestimmungsabschnitt 205 eine Farbzuverlässigkeit Tfarbe durch Bezugnehmen auf die in 7C gezeigte Tabelle (Schritt S1501).
Dann berechnet der Luminanz-Bestimmungsabschnitt 206 ähnlich zum Schritt S902 in 9 die luminanzbasierte Zuverlässigkeit Tlumi basierend auf der durch den Photometrie-Sensor 105 detektierten Objektluminanz durch Bezugnehmen auf die in 7D gezeigte Tabelle (Schritt S1502). Dann berechnet der Infrarotlichtmenge-Bestimmungsabschnitt 207 die infrarotlichtbasierte Zuverlässigkeit Tir basierend auf der durch den Infrarotlichtsensor 106 detektierten Infrarotlichtmenge (Schritt S1503). Hier ist die infrarotlichtbasierte Zuverlässigkeit Tir eine Zuverlässigkeit, die zum Beispiel angibt, welche aus einer Wahrscheinlichkeit, dass ein rotes Objekt innen z. B. in einer Turnhalle fotografiert worden ist, und einer Wahrscheinlichkeit, dass der durch die untergehende Sonne gerötete Himmel fotografiert worden ist, höher ist.
Man beachte, dass, was die Infrarotlichtmenge betrifft, ähnlich zur ersten Ausführungsform eine durch Helligkeitsänderungen verursachte Infrarotlichtmengenvariation durch Normalisieren der Infrarotlichtmenge mit der durch den Photometrie-Sensor 105 detektierten Objektluminanz und damit Verwenden eines Verhältnisses der Infrarotlichtmenge zur Objektluminanz unterdrückt werden kann.
Obwohl die in 7E gezeigte Tabelle beim Berechnen der infrarotlichtbasierten Zuverlässigkeit Tir verwendet wird, wird im Unterschied zur ersten Ausführungsform in der vorliegenden Ausführungsform für den Block bestimmt, dass er die Farbe des Objekts besitzt, wenn die Infrarotlichtmenge kleiner als der Minimalwert Imin ist. Weiterhin wird für den Block bestimmt, dass er die durch das Licht aus der Lichtquelle beeinflusste Farbe aufweist, wenn die Infrarotlichtmenge größer als der Maximalwert Imax ist.
Obwohl in einem weiten Sinn die Abendszenenfarbe auch eine Farbe des Objekts ist, wenn die Sonne herabsinkt, tritt das Sonnenlicht durch die lange Luftschicht hindurch, wodurch bläuliches Licht mit hoher Frequenz mehr zerstreut wird, und als Ergebnis wird die Abendszene gerötet. Daher wird in der vorliegenden Ausführungsform die Abendszenenfarbe als eine von Licht aus einer Lichtquelle beeinflusste Farbe bestimmt, um zwischen der Farbe eines roten Objekts und der Abendszenenfarbe zu unterscheiden.
Man beachte, dass in einem Fall, in dem die Infrarotlichtmenge zwischen dem Minimalwert Imin und dem Maximalwert Imax liegt, die infrarotlichtbasierte Zuverlässigkeit Tir so durch lineare Interpolation eingestellt wird, dass sie gemäß der Infrarotlichtmenge fortschreitend geändert wird.
Dann berechnet der RGB-Wert-Additionsabschnitt 208 in derselben Art und Weise wie im Schritt S904 in 9 integrierte Werte für Abendszenenfarbdetektion RintegA, GintegA und BintegA basierend auf den in den Schritten S1501 bis S1503 berechneten Zuverlässigkeiten durch die oben beschriebenen Gleichungen (4A) bis (4B) (Schritt S1504).
16A bis 16D sind zum Erklären einer Berechnung des WA-Korrekturwerts, die durch die WA-Steuerungseinrichtung in der zweiten Ausführungsform durchgeführt wird, verwendbare Diagramme. 16A ist ein zum Erklären einer auf Infrarotlichtbestimmung basierenden Abendszenenfarbdetektion verwendbares Diagramm, und 16B ist ein zum Erklären einer auf Abendszenenfarbdetektion basierenden Farbtemperaturschätzung verwendbares Diagramm. Weiterhin ist 16C ein zum Erklären einer auf Farbtemperaturschätzung basierenden WA-Korrekturwertberechnung verwendbares Diagramm, und 16D ist ein zum Erklären einer auf dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert basierenden Berechnung des endgültigen WA-Korrekturwerts verwendbares Diagramm.
Bezugnehmend auf 16A ist dort ähnlich zu 10A bis 10D die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Ein Gebiet 1602, in dem die Farbzuverlässigkeit 100% beträgt, ist innerhalb eines Abendszenenfarbdetektionsgebiets 1601 eingestellt, und dieses Gebiet 1602 ist dasselbe wie das Gebiet 1002, in dem die Farbzuverlässigkeit 100% beträgt und das innerhalb des in 10A erscheinenden Grün-Detektionsgebiets 1001 eingestellt ist.
Ein Beispiel für eine Position in der (R/G, B/G)-Koordinatenebene einer Farbe, für die alle Zuverlässigkeiten hoch sind, ist mit Bezugszeichen 1603 bezeichnet. Ein Beispiel für eine Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die im Abendszenenfarbdetektionsgebiet 1601 enthalten ist, aber nicht in einem Gebiet 1602 enthalten ist, wo die Farbzuverlässigkeit 100% beträgt, d. h. die niedrigere Farbzuverlässigkeit Tfarbe aufweist, ist mit Bezugszeichen 1604 bezeichnet. Weiterhin ist ein Beispiel für eine Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die eine niedrigere luminanzbasierte Zuverlässigkeit Tlumi oder infrarotlichtbasierte Zuverlässigkeit Tir aufweist, mit Bezugszeichen 1605 bezeichnet, und ein Beispiel für eine Position in der (R/G, B/G)-Koordinatenebene einer Farbe, die nicht im Abendszenenfarbdetektionsgebiet 1601 enthalten ist, ist mit Bezugszeichen 1006 bezeichnet. Weiterhin ist eine Position der (R/G, B/G)-Koordinaten, die den integrierten Werten für Abendszenenfarbdetektion RintegA, GintegA und BintegA entspricht, d. h. eine Position von (RintegA/GintegA, BintegA/GintegA)-Koordinaten mit Bezugszeichen 1607 bezeichnet.
Die Positionen 1603 bis 1606 der Farben und die Position 1607 der (RintegA/GintegA, BintegA/GintegA)-Koordinaten in der (R/G, B/G)-Koordinatenebene sind ähnlich zu den Positionen 1003 bis 1006 der Farben und der Position 1007 der (RintegA/GintegA, BintegA/GintegA)-Koordinaten in der (R/G, B/G)-Koordinatenebene gezeigt in 10A, und somit ist eine Beschreibung davon ausgelassen.
Dann bestimmt die CPU 103 in derselben Art und Weise wie im Schritt S905 in 9, ob zumindest einer der integrierten Werte für Abendszenenfarbdetektion RintegA, GintegA und BintegA aktualisiert worden ist oder nicht (Schritt S1505). Falls zumindest einer der integrierten Werte für Grün-Detektion RintegA, GintegA und BintegA aktualisiert worden ist (JA im Schritt S1505), d. h. falls für den Block bestimmt wird, dass er die Abendszenenfarbe besitzt, dann addiert, um eine gemittelte Infrarotlichtmenge in Blöcken zu berechnen, aus denen die Abendszenenfarbe detektiert wird, der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 ähnlich zum Schritt S906 in 9 eine Infrarotlichtmenge IRij nach Normalisieren mit einer Luminanz des Blocks zu einer Gesamtinfrarotlichtmenge IRgesamt durch die Gleichung (5) (Schritt S1506). Man beachte, dass eine in diesem Schritt durchgeführte Normalisierungsverarbeitung eine Verarbeitung zum Teilen der Infrarotlichtmenge im Block durch einen für den Block vom Photometrie-Sensor 105 detektierten Luminanzwert ist.
Dann zählt der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 ähnlich zum Schritt S907 in 9 eine Gesamtanzahl Abendszenenblöcke Ngesamt durch die Gleichung (6) hoch, um ein Verhältnis Nverhältnis der Anzahl Blöcke, aus denen die Abendszenenfarbe detektiert wird, zur Anzahl Blöcke des Gesamtbilds zu berechnen (Schritt S1507). Dann bestimmt die CPU 103 ähnlich zum Schritt S908 in 9, ob alle Blöcke überprüft worden sind oder nicht (Schritt S1508).
Falls nicht alle Blöcke überprüft worden sind (NEIN im Schritt S1508), bewegt die CPU 103 die Verarbeitung zum nächsten Block (Schritt S1509), und kehrt zum Schritt S1501 zurück. Man beachte, dass falls die integrierten Werte für Abendszenenfarbdetektion RintegA, GintegA und RintegA nicht aktualisiert worden sind (NEIN im Schritt S1505), die CPU 103 mit Schritt S1508 fortfährt.
Falls alle Blöcke überprüft worden sind (JA im Schritt S1508), berechnet der Berechnungsabschnitt für eine Zuverlässigkeit des infrarotlichtbasierten WA-Korrekturwerts 211 ähnlich zum Schritt S910 in 9 die gemittelte Infrarotlichtmenge IRave der Blöcke, aus denen die Abendszenenfarbe detektiert wird, durch die Gleichung (7) gemäß der Gesamtinfrarotlichtmenge IRgesamt und der Gesamtanzahl Abendszenenblöcke Ngesamt (Schritt S1510). Dann kehrt die CPU 103 zum Berechnungsvorgang für einen WA-Korrekturwert in 13 zurück.
Ein Vorgang zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts wird, wie nachstehend mit Bezug auf 17 beschrieben, durchgeführt unter Verwendung der durch die oben beschriebene Verarbeitung berechneten R-, G- und B-integrierten Werte RintegA, GintegA und BinteA der Blöcke, für die bestimmt wurde, dass sie die Abendszenenfarbe besitzen, des durch die Gleichung (8) berechneten Verhältnisses Nverhältnis der Anzahl Blöcke, für die bestimmt wurde, dass sie die die Abendszenenfarbe besitzen, zur Anzahl Blöcke des Gesamtbilds, und der gemittelten Infrarotlichtmenge IRave der Blöcke, für die bestimmt wurde, dass sie die Abendszenenfarbe besitzen.
Wieder bezugnehmend auf 13, schätzt der Lichtquellenfarbe-Schätzungsabschnitt 209 ähnlich zum Schritt S406 in 4 die Farbtemperatur der Abendszenenfarbe basierend auf den Koordinaten der Position 1607, die den integrierten Werten für Abendszenenfarbdetektion RintegA, GintegA und BintegA entsprechen (Schritt S1306).
Eine auf der Abendszenenfarbdetektion im Schritt S1306 basierende Farbtemperaturschätzung wird in derselben Art und Weise wie im Farbtemperatur-Schätzungsvorgang in 11 durchgeführt, und somit ist eine Beschreibung davon ausgelassen.
In 16B ist ähnlich zu 16A die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Das veranschaulichte Beispiel in 16B ist ähnlich zum in 10B gezeigten Beispiel, und Positionen 1608 bis 1613 von Farben in der (R/G, B/G)-Koordinatenebene entsprechen den Positionen 1008 bis 1013 der Farben in der (R/G, B/G)-Koordinatenebene in 10B, und somit ist eine Beschreibung davon ausgelassen.
Dann berechnet der Berechnungsabschnitt für einen infrarotlichtbasierten WA-Korrekturwert 210 ähnlich zum Schritt S407 in 4 den WA-Korrekturwert (infrarotlichtbasierter WA-Korrekturwert), der der im Schritt S1306 geschätzten Farbtemperatur der Abendszenenfarbe entspricht (Schritt S1307).
In 16C ist ähnlich zu 16A und 16B die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Das veranschaulichte Beispiel in 16C ist ähnlich zum in 10C gezeigten Beispiel, und der mit Bezugszeichen 1614 bezeichnete infrarotlichtbasierte WA-Korrekturwert entspricht dem infrarotlichtbasierten WA-Korrekturwert 1014, und somit ist eine Beschreibung davon ausgelassen.
Als nächstes addiert der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 und der Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213 den weißbasierten WA-Korrekturwert und den infrarotlichtbasierten WA-Korrekturwert mit einem vorbestimmten Verhältnis (Schritt S1308). Dann wird der durch Addition erhaltene WA-Korrekturwert um einen vorbestimmten Wert verschoben, wodurch der endgültige WA-Korrekturwert berechnet wird.
17 ist ein Flussdiagramm des Vorgangs zum Addieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts, der im Schritt S1308 des Berechnungsvorgangs für einen WA-Korrekturwert in 13 ausgeführt wird.
Bezugnehmend auf 16D und 17 ist in 16D ähnlich zu 16A bis 16C die (R/G, B/G)-Koordinatenebene gezeigt, in der die horizontale Achse für das Verhältnis R/G steht und die vertikale Achse für das Verhältnis B/G steht, und der Schwarzkörperstrahlungskurvenzug 501 ist veranschaulicht, um es zu erleichtern, eine Positionsbeziehung zwischen Farben auf der Koordinatenebene zu verstehen. Wenn der Additionsvorgang gestartet wird, berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 die infrarotlichtbasierte Zuverlässigkeit Tir2 basierend auf der gemittelten Infrarotlichtmenge IRave der Blöcke, für die im Schritt S1305 bestimmt wurde, dass sie die Abendszenenfarbe besitzen (Schritt S1701).
Obwohl die infrarotlichtbasierte Zuverlässigkeit Tir2 durch Bezugnehmen auf die in 7F gezeigte Tabelle (Tabelle für infrarotlichtbasierte Zuverlässigkeit) berechnet wird, ist diese Tabelle ähnlich zur in 7E gezeigten Tabelle, und somit ist eine Beschreibung davon ausgelassen.
Dann berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 eine Abendszenenfarbzuverlässigkeit Tabend basierend auf dem Verhältnis Nverhältnis der Anzahl Blöcke, für die im Schritt S1305 bestimmt wurde, dass sie die Abendszenenfarbe besitzen, zur Anzahl aller Blöcke (Schritt S1702).
Obwohl die Abendszenenfarbzuverlässigkeit Tabend durch Bezugnehmen auf die in 7H gezeigte Tabelle (Tabelle für Abendszenenfarbzuverlässigkeit) berechnet wird, ist diese Tabelle ähnlich zur in 7A gezeigten Tabelle, und somit ist eine Beschreibung davon ausgelassen. Weiterhin sind in der in 7H gezeigten Tabelle als Beispiel die Werte auf der horizontalen Achse angegeben, aber die Anzahlen Abendszenenfarbblöcke sind nicht darauf beschränkt. D. h. die Tabelle für Abendszenenfarbzuverlässigkeit braucht nur so eingestellt konfiguriert zu sein, dass die Abendszenenfarbzuverlässigkeit Tgrün höher wird, wenn das Verhältnis der Anzahl Blöcke, für die bestimmt wurde, dass sie die Abendszenenfarbe besitzen, größer wird.
Als nächstes berechnet der Berechnungsabschnitt für ein WA-Korrekturwert-Additionsverhältnis 212 ein Additionsverhältnis Verhältnis_W_IR zwischen dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert basierend auf der infrarotlichtbasierten Zuverlässigkeit Tir2 und der Abendszenenfarbzuverlässigkeit Tabend durch die folgende Gleichung (12) (Schritt S1703): Verhältnis_W_IR = Tir2 × Tabend/100 (12)
Man beachte, dass im Schritt S1703 das Additionsverhältnis Verhältnis_W_IR durch Berücksichtigen der im oben beschriebenen Schritt S1303 berechneten Zuverlässigkeit des weißbasierten WA-Korrekturwerts berechnet werden kann. Weiterhin kann das Additionsverhältnis Verhältnis_W_IR so eingestellt werden, dass abhängig von der Zuverlässigkeit der weißbasierte WA-Korrekturwert oder der infrarotlichtbasierte WA-Korrekturwert verwendet wird.
Als nächstes berechnet der Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213 einen WA-Korrekturwert (gemischter WA-Korrekturwert) WA_Rmisch durch Aufaddieren des weißbasierten WA-Korrekturwerts und des infrarotlichtbasierten WA-Korrekturwerts durch die oben beschriebene Gleichung (11) unter Verwendung des Additionsverhältnisses Verhältnis_W_IR (Schritt S1704). Danach verschiebt der Berechnungsabschnitt für einen gemischten WA-Korrekturwert 213 den berechneten gemischten WA-Korrekturwert um einen im Voraus eingestellten vorbestimmten Wert in eine Röte betonende Richtung, um dadurch einen WA-Korrekturwert zu berechnen, der Röte betont (abendszenenfarbbasierter WA-Korrekturwert) (Schritt S1705). Dann kehrt die CPU 103 zum Berechnungsvorgang für einen WA-Korrekturwert in 13 zurück.
In 16D ist ein Punkt von (R/G, B/G)-Koordinaten, der dem infrarotlichtbasierten WA-Korrekturwert entspricht, mit Bezugszeichen 1614 bezeichnet, und ein Punkt von (R/G, B/G)-Koordinaten, der dem weißbasierten WA-Korrekturwert entspricht, ist mit Bezugszeichen 1615 bezeichnet. Weiterhin ist ein Punkt von (R/G, B/G)-Koordinaten, der dem gemischten WA-Korrekturwert entspricht, mit Bezugszeichen 1616 bezeichnet, und ein Punkt von (R/G, B/G)-Koordinaten, der dem abendszenenfarbbasierten WA-Korrekturwert entspricht, ist mit Bezugszeichen 1617 bezeichnet.
Die Koordinaten eines Punkts, der durch Aufteilen einer den Punkt 1614 und den Punkt 1615 verbindenden geraden Linie gemäß dem Additionsverhältnis Verhältnis_W_IR erhalten wird, werden auf die (R/G, B/G)-Koordinaten des Punkts 1616 eingestellt, der dem gemischten WA-Korrekturwert entspricht. Und die Koordinaten eines Punkts, der durch Verschieben des Punkts 1616 um einen vorbestimmten Wert zur Seite hoher Temperatur hin entlang dem Schwarzkörperstrahlungskurvenzug 501 erreicht wird, werden auf die (R/G, B/G)-Koordinaten des Punkts 1617 eingestellt, der dem abendszenenfarbbasierten WA-Korrekturwert entspricht.
Mit der oben beschriebenen Verarbeitung ist es möglich, gleichmäßig einen Wert zwischen dem weißbasierten WA-Korrekturwert und dem infrarotlichtbasierten WA-Korrekturwert zu verschieben, und ein Bild mit einem in Röte betonten Farbton zu erhalten, was eine Abendszene wird.
Dann werden die in der Primärspeichereinrichtung 104 gespeicherten Rohdaten unter Verwendung des wie oben erhaltenen abendszenenfarbbasierten WA-Korrekturwerts in Bilddaten umgewandelt.
Andere Ausführungsformen
Ausführungsform(en) der vorliegenden Erfindung können auch durch einen Computer eines Systems oder Vorrichtung realisiert werden, der auf einem Speichermedium (das vollständiger auch als ein 'nichtflüchtiges computerlesbares Speichermedium' bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (z. B. ein oder mehrere Programm(e)) ausliest und ausführt, um die Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder der eine oder mehrere Schaltung(en) (z. B. eine anwendungsspezifische integrierte Schaltung (ASIC)) zum Durchführen der Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) beinhaltet, sowie durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren durch zum Beispiel Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder Steuern der einen oder mehreren Schaltung(en), um die Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) durchzuführen. Der Computer kann einen oder mehrere Prozessoren (z. B. eine zentrale Verarbeitungseinheit (CPU), eine Mikroprozessoreinheit (MPU)) umfassen, und kann ein Netz von separaten Computern oder separaten Prozessoren enthalten, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer zum Beispiel von einem Netz oder dem Speichermedium zur Verfügung gestellt werden. Das Speichermedium kann zum Beispiel eine(n) oder mehrere Festplatt(en), Speicher mit wahlfreiem Zugriff (RAM), Nur-Lese-Speicher (ROM), Speicher vermittels verteilter Computersysteme, optische(n) Datenträger (wie etwa eine Compact Disc (CD), Digital Versatile Disc (DVD) oder Blu-ray Disc (BD)^TM), Flashspeichervorrichtung(en), Speicherkarte(n), und/oder dergleichen enthalten.
Obwohl die vorliegende Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben worden ist, ist selbstverständlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele begrenzt ist. Dem Umfang der folgenden Ansprüche soll die weitestgehende Interpretation zugestanden werden, sodass alle solchen Modifikationen und äquivalenten Strukturen und Funktionen erfasst sind.
Diese Anmeldung beansprucht die Priorität der Japanischen Patentanmeldung JP 2014-112589 , eingereicht am 30. Mai 2014, die hiermit durch Bezugnahme hierin in ihrer Gesamtheit aufgenommen wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 11-262029 [0003, 0005, 0006]
JP 2006-174281 [0004, 0005, 0007]
JP 2014-112589 [0181]

Claims

Bildaufnahmevorrichtung umfassend: eine Bildaufnahmeeinrichtung; eine Erfassungseinheit, die konfiguriert ist ein durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenes Bild in mehrere Gebiete aufzuteilen, und aus jedem Gebiet einen Farbbeurteilungswert zu erfassen; einen Infrarotlichtsensor, der konfiguriert ist Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts zu detektieren; eine Berechnungseinheit, die konfiguriert ist mittels mehrerer aus dem Bild erfasster Farbbeurteilungswerte einen Weißabgleich-Korrekturwert zu berechnen; sowie eine Verarbeitungseinheit, die konfiguriert ist mittels eines von der Berechnungseinheit berechneten gemischten Weißabgleich-Korrekturwerts eine Weißabgleich-Korrekturverarbeitung am Bild durchzuführen, wobei die Berechnungseinheit beinhaltet: einen Berechnungsabschnitt für einen ersten Weißabgleich-Korrekturwert, der konfiguriert ist einen ersten Weißabgleich-Korrekturwert mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die in einem in einem Farbraum eingestellten Weiß-Detektionsbereich enthalten sind, zu berechnen, einen Berechnungsabschnitt für einen zweiten Weißabgleich-Korrekturwert, der konfiguriert ist einen zweiten Weißabgleich-Korrekturwert mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten zu berechnen, die aus Gebieten mit jeweils einer Infrarotlichtmenge, die größer als eine vorbestimmte Menge ist, erfasst sind, und die in einem im Farbraum eingestellten Detektionsbereich für eine von Weiß verschiedene vorbestimmte Farbe enthalten sind, sowie einen Berechnungsabschnitt für einen gemischten Weißabgleich-Korrekturwert, der konfiguriert ist durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts einen gemischten Weißabgleich-Korrekturwert zu berechnen.
Bildaufnahmevorrichtung nach Anspruch 1, weiterhin umfassend eine Zuverlässigkeitsberechnungseinheit, die konfiguriert ist eine Zuverlässigkeit des von der Berechnungseinheit berechneten ersten Weißabgleich-Korrekturwerts zu berechnen, und wobei in einem Fall, in dem die Zuverlässigkeit des ersten Weißabgleich-Korrekturwerts höher als ein vorbestimmter Wert ist, die Verarbeitungseinheit eine Weißabgleichkorrektur am Bild mittels des ersten Weißabgleich-Korrekturwerts anstelle des gemischten Weißabgleich-Korrekturwerts durchführt.
Bildaufnahmevorrichtung nach Anspruch 2, wobei die Zuverlässigkeitsberechnungseinheit die Zuverlässigkeit des ersten Weißabgleich-Korrekturwerts basierend auf einem Anteil hinsichtlich des Gesamtbilds von Gebieten mit jeweils einem im Weiß-Detektionsbereich enthaltenen Farbbeurteilungswert berechnet.
Bildaufnahmevorrichtung nach Anspruch 2, wobei die Zuverlässigkeitsberechnungseinheit die Zuverlässigkeit des ersten Weißabgleich-Korrekturwerts basierend auf einem Abstand zwischen einer dem ersten Weißabgleich-Korrekturwert entsprechenden Position im Farbraum und einem Schwarzkörperstrahlungskurvenzug berechnet.
Bildaufnahmevorrichtung nach Anspruch 1, wobei, wenn der zweite Weißabgleich-Korrekturwert berechnet wird, die Berechnungseinheit Farbbeurteilungswerte, die im Bereich zum Detektieren der vorbestimmten Farbe enthalten sind, durch Gewichten jedes Farbbeurteilungswerts gemäß der Infrarotlichtmenge in einem Gebiet, aus dem der Farbbeurteilungswert detektiert wird, integriert, und den zweiten Weißabgleich-Korrekturwert mittels des integrierten Farbbeurteilungswerts berechnet.
Bildaufnahmevorrichtung nach Anspruch 5, wobei die Berechnungseinheit die Farbbeurteilungswerte durch Durchführen von Gewichten derart, dass, wenn ein Gebiet eine größere Infrarotlichtmenge aufweist, ein Gewicht des Gebiets vergrößert wird, integriert, und den zweiten Weißabgleich-Korrekturwert mittels des integrierten Farbbeurteilungswerts berechnet.
Bildaufnahmevorrichtung nach Anspruch 1, weiterhin umfassend eine Luminanz-Detektionseinheit, die konfiguriert ist jeweils eine Luminanz von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten des Objekts zu detektieren, und wobei die Berechnungseinheit die Farbbeurteilungswerte durch Durchführen von Gewichten derart, dass, wenn ein Gebiet einen höheren Luminanzwert aufweist, ein Gewicht des Gebiets vergrößert wird, integriert, und den zweiten Weißabgleich-Korrekturwert mittels des integrierten Farbbeurteilungswerts berechnet.
Bildaufnahmevorrichtung nach Anspruch 1, weiterhin umfassend eine Bestimmungseinheit, die konfiguriert ist zu bestimmen, ob die Farbe jedes Gebiets des Bilds eine Farbe von Licht aus einer Lichtquelle oder eine Farbe eines Objekts ist, und zwar basierend auf der aus dem Gebiet detektierten Infrarotlichtmenge.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Berechnungseinheit den gemischten Weißabgleich-Korrekturwert durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts so berechnet, dass ein Verhältnis vom zweiten Weißabgleich-Korrekturwert zum ersten Weißabgleich-Korrekturwert größer wird, wenn ein Anteil hinsichtlich des Gesamtbilds von Gebieten mit jeweils einer Infrarotlichtmenge, die größer als die vorbestimmte Menge ist, größer wird.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Berechnungseinheit den gemischten Weißabgleich-Korrekturwert durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts so berechnet, dass ein Verhältnis des zweiten Weißabgleich-Korrekturwerts zum ersten Weißabgleich-Korrekturwert größer wird, wenn eine gemittelte Infrarotlichtmenge in Gebieten mit jeweils einer Infrarotlichtmenge, die größer als die vorbestimmte Menge ist, größer wird.
Bildaufnahmevorrichtung umfassend: eine Bildaufnahmeeinrichtung; eine Erfassungseinheit, die konfiguriert ist ein durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenes Bild in mehrere Gebiete aufzuteilen, und aus jedem Gebiet einen Farbbeurteilungswert zu erfassen; einen Infrarotlichtsensor, der konfiguriert ist Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts zu detektieren; eine Berechnungseinheit, die konfiguriert ist mittels mehrerer aus dem Bild erfasster Farbbeurteilungswerte einen Weißabgleich-Korrekturwert zu berechnen, und zwar basierend auf einem Ergebnis einer Detektion einer Infrarotlichtmenge, die vom Infrarotlichtsensor auf gebietsweiser Basis durchgeführt wird; sowie eine Verarbeitungseinheit, die konfiguriert ist mittels des von der Berechnungseinheit berechneten Weißabgleich-Korrekturwerts eine Weißabgleich-Korrekturverarbeitung am Bild durchzuführen.
Verfahren zum Steuern einer eine Bildaufnahmeeinrichtung beinhaltenden Bildaufnahmevorrichtung, das die folgenden Schritte beinhaltet: Aufteilen eines durch eine von der Bildaufnahmeeinrichtung durchgeführte Bildaufnahme erhaltenen Bilds in mehrere Gebiete, und Erfassen eines Farbbeurteilungswerts aus jedem Gebiet, Detektieren von Infrarotlicht von jedem von in Verbindung mit den Gebieten des Bilds definierten Gebieten eines Objekts, Berechnen eines Weißabgleich-Korrekturwerts mittels mehrerer aus dem Bild erfassten Farbbeurteilungswerte, sowie Durchführen einer Weißabgleich-Korrekturverarbeitung am Bild mittels eines von der Berechnungseinheit berechneten gemischten Weißabgleich-Korrekturwerts, wobei der Berechnungsschritt umfasst: Berechnen eines ersten Weißabgleich-Korrekturwerts mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die in einem in einem Farbraum eingestellten Weiß-Detektionsbereich enthalten sind; Berechnen eines zweiten Weißabgleich-Korrekturwerts mittels Farbbeurteilungswerten aus den mehreren Farbbeurteilungswerten, die aus Gebieten mit jeweils einer Infrarotlichtmenge, die größer als eine vorbestimmte Menge ist, erfasst werden, und die in einem im Farbraum eingestellten Detektionsbereich für eine von Weiß verschiedene vorbestimmte Farbe enthalten sind; sowie Berechnen eines gemischten Weißabgleich-Korrekturwerts durch Mischen des ersten Weißabgleich-Korrekturwerts und des zweiten Weißabgleich-Korrekturwerts.