DE102019003567A1

DE102019003567A1 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, und Programm

Info

Publication number: DE102019003567A1
Application number: DE102019003567.4A
Authority: DE
Inventors: Yoshitaka Sasaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-06-12
Filing date: 2019-05-20
Publication date: 2019-12-12
Also published as: US11138761B2; US20190378302A1; CN110599551A; CN110599551B

Abstract

Eine Bildverarbeitungsvorrichtung zum Messen einer Farbe eines Objekts basierend auf einem durch Abbilden des Objekts erhaltenen Messzielbild enthält eine Erfassungseinheit, eine Ableitungseinheit und eine Berechnungseinheit. Die Erfassungseinheit erfasst das Messzielbild und ein vom Messzielbild verschiedenes Referenzbild. Die Ableitungseinheit leitet eine Referenzfarbe ab, basierend auf einem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter, einem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter und einem Pixelwert von zumindest einem Pixel im Referenzbild. Die Berechnungseinheit berechnet unter Bezugnahme auf die Referenzfarbe einen Farbbeurteilungswert von zumindest einem dem Objekt im Messzielbild entsprechenden Pixel.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Offenbarung betrifft eine Bildverarbeitung zum Messen einer Farbe eines Objekts unter Verwendung eines von einer Bildgebungsvorrichtung aufgenommenen Farbbilds.
Beschreibung des Standes der Technik
Messungen eines Objekts wurden schon oft durch eine digitale Bildgebungsvorrichtung wie etwa eine digitale Standbildkamera oder eine digitale Videokamera durchgeführt. Beispiele für die Messungen beinhalten die Kolometrie eines Produkts. Die japanische Patentanmeldung Nr. 2006 - 303783 diskutiert ein Verfahren, in dem ein optionales Objekt, das eine weiße Tafel enthält, in einer blocksequentiellen Weise abgebildet wird, um Farbbilder von drei Primärfarben zu erfassen, wobei die Farbbilder des Objekts durch RGB-Werte, die der weißen Tafel entsprechen, standardisiert werden, und ein RGB-Bild des Objekts in ein XYZ-Bild umgewandelt wird, basierend auf in dieser Weise standardisierten Farbbildern des Objekts und berechneten Umwandlungsparametern.
Um eine Farbe des Objekts zu messen, ist es notwendig eine weiße Referenzfarbe einzustellen. Daher wird beispielsweise ein Bild aufgenommen, um einen weißen Bereich wie etwa eine weiße Tafel in einem Teil des Objekts zu enthalten, und die weiße Referenzfarbe wird basierend auf Pixelwerten von Pixeln im weißen Bereich eingestellt. Falls eine Farbe des Objekts beispielsweise an einem dunklen Ort in der Nacht mit wenigen Lichtquellen gemessen wird, ist es jedoch schwierig, einen Bereich zu spezifizieren, der der weißen Referenzfarbe entspricht, weil das Bild ganz dunkel ist. Im Ergebnis kann die Farbe des Objekts am dunklen Ort nicht geeignet gemessen werden.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Offenbarung richtet sich auf eine Bildverarbeitungstechnik, um eine Referenzfarbe geeignet einzustellen, selbst in einem Fall, in dem eine Farbe eines Objekts an einem dunklen Ort gemessen wird.
Gemäß einem Aspekt der vorliegenden Offenbarung enthält eine Bildverarbeitungsvorrichtung zum Messen einer Farbe eines Objekts basierend auf einem Messzielbild, das durch Abbilden des Objekts erhalten wird, eine Erfassungseinheit, die konfiguriert ist, das Messzielbild und ein vom Messzielbild verschiedenes Referenzbild zu erfassen, eine Ableitungseinheit, die konfiguriert ist eine Referenzfarbe basierend auf einem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter, einem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter, und einem Pixelwert von zumindest einem Pixel im Referenzbild abzuleiten, und einer Berechnungseinheit, die konfiguriert ist, unter Bezugnahme auf die Referenzfarbe einen Farbbeurteilungswert von zumindest einem dem Objekt im Messzielbild entsprechenden Pixel zu berechnen.
Weitere Merkmale der vorliegenden Offenbarung ergeben sich aus der folgenden Beschreibung der beispielhaften Ausführungsformen unter Bezugnahme auf beigefügte Zeichnungen.
Figurenliste

1 ist ein Blockdiagramm, das eine Hardwarekonfiguration einer Bildverarbeitungsvorrichtung veranschaulicht.
2 ist ein Blockdiagramm, das eine logische Konfiguration der Bildverarbeitungsvorrichtung veranschaulicht.
3 ist ein Flussdiagramm, das den Verarbeitungsablauf durch die Bildverarbeitungsvorrichtung illustriert.
4A ist ein Diagramm, das ein Beispiel für ein Referenzbild illustriert, und 4B ist ein Diagramm, das ein Beispiel für ein Messzielbild illustriert.
5 ist ein Diagramm, das ein Beispiel einer graphischen Benutzerschnittstelle (GUI) zum Einstellen einer Referenzfarbe veranschaulicht.
6 ist ein Diagramm, das ein Beispiel einer GUI zur Farbmessung veranschaulicht.
7 ist ein Diagramm, das die Referenzfarbe und eine korrigierte Referenzfarbe veranschaulicht.
8 ist ein Diagramm, das eine Modifikation der Referenzfarbe und der korrigierten Referenzfarbe veranschaulicht.
9 ist ein Flussdiagramm, das den Verarbeitungsablauf durch die Bildverarbeitungsvorrichtung in einer Modifikation illustriert.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden werden unter Bezugnahme auf die begleitenden Zeichnungen einige beispielhafte Ausführungsformen der vorliegenden Offenbarung beschrieben. Konfigurationen, die in den folgenden beispielhaften Ausführungsformen beschrieben werden, sind lediglich Beispiele, und die vorliegende Offenbarung ist nicht notwendigerweise auf die veranschaulichten Konfigurationen eingeschränkt.
In einer ersten beispielhaften Ausführungsform wird ein Verfahren zum Messen von Farben von Rücklichtern (hinteren Lampen) eines Automobils als Beispiel beschrieben. Ein vierrädriges Automobil wird üblicherweise mit roten Lichtern an rechten und linken Positionen auf einer rückseitigen Oberfläche bestückt. Die Rücklichter des Automobils haben die Rolle ein nachfolgendes Automobil über einen Antriebsvorgang, wie z.B. einen Verzögerungsvorgang oder einen Anhaltevorgang des eigenen Automobils zu informieren. Das Automobil wird manchmal nachts an einem Ort mit wenigen Lichtquellen in der Umgebung betrieben. Daher ist es notwendig, oder kann durch die Rücklichter des Automobils adressiert werden, Licht selbst in einer Umgebung gleichmäßig zu emittieren, in der es keine Lichtquelle neben den Rücklichtern selbst gibt. Entsprechend wird in der vorliegenden beispielhaften Ausführungsform die Messung der Rücklichter des Automobils tagsüber und nachts erreicht. Eine Bildverarbeitungsvorrichtung gemäß der vorliegenden beispielhaften Ausführungsform führt eine Bildverarbeitung durch, um Farben der auf der rechten und linken rückseitigen Oberfläche des Automobils angebrachten Rücklichter bei Betrachtung am hellen Tag zu messen und Farben der Rücklichter bei Betrachtung in der Nacht ohne Lichtquellen neben den Rücklichtern in der Umgebung zu messen, basierend auf einem Bild der rückseitigen Oberfläche des Automobils. Die Bildverarbeitung, falls ein Messzielobjekt (Automobil) basierend auf einem am Tag aufgenommenen Bild gemessen wird und die Bildverarbeitung, falls das Messzielobjekt basierend auf einem in der Nacht aufgenommenen Bild gemessen wird, sind voneinander verschieden. Entsprechend wird in der vorliegenden beispielhaften Ausführungsform die Verarbeitung durchgeführt durch Umschalten eines Tag-Messmodus, in dem das Messzielobjekt basierend auf einem am Tag aufgenommenen Bild gemessen wird, und eines Nacht-Messmodus, in dem das Messzielobjekt basierend auf einem in der Nacht aufgenommenen Bild gemessen wird.
1 ist ein Diagramm, das eine Hardwarekonfiguration der Bildverarbeitungsvorrichtung gemäß der vorliegenden beispielhaften Ausführungsform veranschaulicht. In 1 enthält die Bildverarbeitungsvorrichtung eine Hauptprozessoreinheit (CPU) 101, einen Arbeitsspeicher (RAM) 102, eine Festplatte (HDD) 103, eine Universal-Schnittstelle (I/F) 104, einen Monitor 108 und einen Hauptbus 109. Das Universal I/F 104 verbindet eine Bildgebungsvorrichtung 105 wie etwa eine Kamera, eine Eingabeeinrichtung 106 wie etwa eine Maus und eine Tastatur, sowie einen externen Speicher 107 wie etwa eine Speicherkarte mit dem Hauptbus 109.
Im Folgenden betreibt die CPU 101 verschiedene Arten von Software (Computer-Programme), die im HDD 103 gespeichert sind, um verschiedene Verarbeitungsarten zu erreichen. Die CPU 101 aktiviert zuerst eine im HDD 103 gespeicherte Bildverarbeitungsanwendung und lädt die Bildverarbeitungsanwendung in den RAM 102, und zeigt eine Benutzerschnittstelle (UI) auf dem Monitor 108 an. Anschließend, werden verschiedene Arten von im HDD 103 und im externen Speicher 107 gespeicherten Daten, durch die Bildgebungsvorrichtung 105 aufgenommene Bilddaten, eine Anweisung von der Eingabeeinrichtung 106, usw. in das RAM 102 übertragen. Ferner werden verschiedene Berechnungsarten an den im RAM 102 gespeicherten Bilddaten basierend auf der Verarbeitung der Bildverarbeitungsanwendung, in Reaktion auf eine Anweisung von der CPU 101, durchgeführt. Ein Ergebnis der Berechnung wird auf dem Monitor 108 angezeigt, oder in dem HDD 103 und dem externen Speicher 107 gespeichert.
In der oben beschriebenen Konfiguration werden Details der durch die Bildverarbeitungsanwendung in Reaktion auf den Befehl von der CPU erreichten Bildverarbeitung 101 beschrieben. 2 ist ein Blockdiagramm, das eine detaillierte logische Konfiguration der Bildverarbeitungsvorrichtung gemäß der vorliegenden beispielhaften Ausführungsform veranschaulicht. Die Bildverarbeitungsvorrichtung enthält eine Bilderfassungseinheit 201, eine Abbildungsparameter-Erfassungseinheit 202, eine Referenzfarben-Ableitungseinheit 203, eine Korrekturkoeffizienten-Ableitungseinheit 204, eine Referenzfarben-Korrektureinheit 205, eine Farbmesseinheit 206, eine Anzeigeeinheit 207 und eine Farbprofil-Halteeinheit 208.
Die Bilderfassungseinheit 201 erfasst ein zu messendes Bild in Reaktion auf eine Anweisung von der CPU 101. Im Tag-Messmodus erfasst die Bilderfassungseinheit 201 ein aufgenommenes Messzielbild mit dem Messzielobjekt und eine weiße Tafel zum Einstellen einer Referenzfarbe. Im Nacht-Messmodus hingegen, erfasst die Bilderfassungseinheit 201 ein durch Abbilden des Messzielobjekts in der Nacht erhaltenes Bild als Messzielbild, und erfasst ein durch Abbilden der weißen Tafel am Tag erhaltenes Bild als Referenzbild. In der vorliegenden beispielhaften Ausführungsform werden das Messzielbild und das Referenzbild mit Ausnahme der Bildaufnahmezeit in derselben Umgebung aufgenommen. In der vorliegenden beispielhaften Ausführungsform erfasst die Bilderfassungseinheit 201 das im Tag-Messmodus als Messzielbild verwendete Bild auch als Referenzbild im Nacht-Messmodus. Das Referenzbild wird von der Bildgebungsvorrichtung 105, dem HDD 103 oder dem externen Speicher 107 erfasst. Das von der Bildgebungsvorrichtung 105 durch Abbilden erhaltene Bild kann erfasst werden, nachdem das Bild einmal in einer Speichereinrichtung wie der HDD 103 gespeichert ist. Außerdem werden mehrere erfasste Bilder im RAM 102 und der HDD 103 gespeichert.
Die Abbildungsparameter-Erfassungseinheit 202 erfasst Abbildungsparameter beim Abbilden des Messzielbilds und Abbildungsparameter beim Abbilden des Referenzbilds, in Reaktion auf eine Anweisung von der CPU 101. Zu diesem Zeitpunkt werden eine Verschlussgeschwindigkeit, ein Blendenwert, und eine Empfindlichkeit gemäß einer internationalen Standardisierungsorganisation (ISO) als Abbildungsparameter erfasst. Die Abbildungsparameter-Erfassungseinheit 202 kann die Abbildungsparameter beim Abbilden unter Bezugnahme auf am jeweiligen Bild angehängte Metadaten erfassen.
Die Referenzfarben-Ableitungseinheit 203 leitet die Referenzfarbe anhand des Bilds der weißen Tafel ab. Die Referenzfarben-Ableitungseinheit 203 leitet die Referenzfarbe vom Messzielbild imTag-Messmodus, und von dem vom Messzielbild verschiedenen Referenzbild im Nacht-Messmodus ab. Daten, die die abgeleitete Referenzfarbe repräsentieren, werden im RAM 102 und der HDD 103 gespeichert. Details des Verfahrens zum Ableiten der Referenzfarbe werden nachstehend beschrieben.
Die Korrekturkoeffizienten-Ableitungseinheit 204 leitet einen Korrekturkoeffizienten zum Korrigieren der Referenzfarbe, anhand der beim Abbilden des Referenzbilds verwendeten Abbildungsparameter und der beim Abbilden des Messzielbilds verwendeten Abbildungsparameter ab, in Reaktion auf eine Anweisung von der CPU 101. Zu diesem Zeitpunkt wird der Korrekturkoeffizient basierend auf einer Differenz von Belichtungsbedingungen und einer Differenz der ISO-Empfindlichkeit abgeleitet. Der abgeleitete Korrekturkoeffizient wird im RAM 102 und der HDD 103 gespeichert. Details des Verfahrens zum Ableiten des Korrekturkoeffizienten werden nachstehend beschrieben.
Die Referenzfarben-Korrektureinheit 205 korrigiert die Referenzfarbe, die durch die Referenzfarben-Ableitungseinheit 203 abgeleitet ist, unter Verwendung des durch die Korrekturkoeffizienten-Ableitungseinheit 204 abgeleiteten Korrekturkoeffizienten, wodurch eine korrigierte Referenzfarbe abgeleitet wird, in Reaktion auf eine Anweisung von der CPU 101. Die abgeleitete korrigierte Referenzfarbe wird im RAM 102 und der HDD 103 gespeichert. Details des Verfahrens zum Ableiten der korrigierten Referenzfarbe werden nachstehend beschrieben.
Die Farbmesseinheit 206 misst eine Farbe des Messzielbilds basierend auf der durch die Referenzfarben-Korrektureinheit 205 abgeleiteten korrigierten Referenzfarbe, in Reaktion auf eine Anweisung von der CPU 101. Ein Ergebnis der Farbmessung wird im RAM 102 und der HDD 103 gespeichert. Details des Farbmessverfahrens werden nachstehend beschrieben.
Die Anzeigeeinheit 207 zeigt das Ergebnis der Farbmessung durch die Farbmesseinheit 206 auf dem Monitor 108 in Reaktion auf eine Anweisung von der CPU 101 an. Die das abgeleitete Farbmessergebnis darstellenden Farbmessdaten können an den mit dem Universal-I/F 104 verbundenen externen Speicher 107 ausgegeben werden, oder sie können durch Verbindung eines Druckers oder dergleichen ausgegeben werden.
Im Folgenden wird der Ablauf der Bildverarbeitung in der logischen Konfiguration der unter Bezugnahme auf 2 beschriebenen Bildverarbeitungsvorrichtung im Detail beschrieben. 3 ist ein Flussdiagramm der Bildverarbeitung gemäß der vorliegenden beispielhaften Ausführungsform. Die CPU 101 liest ein Programm, das das in 3 illustrierte Flussdiagramm erreicht, und führt es aus, wodurch die Konfigurationen (Funktionen) erreicht werden. Im Folgenden wird jeder Schritt unter Verwendung von „S“ bezeichnet.
Zuerst bestimmt die Bildverarbeitungsvorrichtung den Farbmessungsmodus in Schritt S301. Falls der Modus der Tag-Messmodus zum Messen des Erscheinungsbilds der Farbe des Objekts am Tag ist (Tag-Messmodus in Schritt S301), fährt die Verarbeitung mit Schritt S302 fort. Falls der Modus der Nacht-Messmodus zum Messen des Erscheinungsbilds der Farbe des Objekts in der Nacht ist (Nacht-Messmodus in Schritt S301), fährt die Verarbeitung mit Schritt S308 fort. Der Modus kann durch Eingabe einer Anweisung vom Benutzer bestimmt werden, oder kann durch Analyse des Messzielbilds bestimmt werden.
Der Ablauf der Verarbeitung im Tag-Messmodus wird nachstehend beschrieben. In Schritt S302 erfasst die Bilderfassungseinheit 201 als das Messzielbild ein Bild, das am Tag aufgenommen wurde, um das Messzielobjekt zu enthalten. 4A und 4B illustrieren jeweils ein Beispiel für ein in der Farbmessung verwendetes Bild. 4A illustriert ein Bild 403, das am Tag außen aufgenommen worden ist, um ein Messzielobjekt 401 zu enthalten. Das Bild 403 wird durch Abbilden eines gestoppten Automobils erfasst, das unter Verwendung der Bildgebungsvorrichtung zu messen ist, von einem Standpunkt zum Betrachten von Rücklichtern auf der hinteren Oberfläche des Automobils. Zu diesem Zeitpunkt sind die Rücklichter angeschaltet. Ferner wird auch eine weiße Tafel 402 zum Einstellen der Referenzfarbe so angeordnet, dass sie im Bildgebungsbereich enthalten ist. In diesem Beispiel ist die weiße Tafel 402 ein von dem Automobil getrennt bereitgestelltes Plattenelement und eine Farbe innerhalb eines Kreises der weißen Tafel 402 ist weiß. Die weiße Tafel 402 ist durch ein nicht dargestelltes Trägerelement angeordnet, um senkrecht zu einer optischen Achse der Bildgebungsvorrichtung zu sein. Eine Größe, ein Material und eine Position der weißen Tafel sind nicht auf jene in dem in 4A illustrierten Beispiel beschränkt, zum Beispiel kann eine weiße Tafel eines Elements, das an dem Objekt 401 angebracht ist, verwendet werden. Im Tag-Messmodus wird das Bild verwendet, das so aufgenommen ist, dass eine Luminanz (Helligkeit) der Rücklichter, die Licht mit hoher Luminanz emittieren und eine Luminanz eines Bereichs der weißen Tafel, die Umgebungslicht empfängt um eine Farbe zu entwickeln, beide in einen Dynamikbereich fallen. Mit anderen Worten werden in dem Bild 403 die Luminanz der Bereiche der Rücklichter, die Licht mit hoher Luminanz emittieren, und die Luminanz des Bereichs der weißen Tafel beide Ausgabewerten geeignet zugeordnet, ohne Überbelichtung der Bereiche der Rücklichter und Unterbelichtung des Bereichs der weißen Tafel. In Schritt S303 leitet die Referenzfarben-Ableitungseinheit 203 die Referenzfarbe von dem in Schritt S302 erfassten Messzielbild ab.
5 ist ein schematisches Diagramm, das ein Beispiel für eine graphische Benutzerschnittstelle (GUI) für den Benutzer veranschaulicht, um eine Anweisung für die Referenzfarbe zu geben. Das Messzielbild wird in einem Bereich 501 angezeigt. Der Benutzer kann eine Anweisung für die Referenzfarbe durch Bestimmen einer gewünschten oder vorbestimmten Position im Messzielbild geben (in diesem Beispiel ein weißer Punkt in der weißen Tafel). Die Referenzfarben-Ableitungseinheit 203 erfasst Pixelwerte eines Pixels an der durch den Benutzer angegebenen Position. In diesem Beispiel ist das Messzielbild ein Farbbild, das Rot (R), Grün (G) und Blau (B) enthält. Daher sind die Pixelwerte des Pixels an der durch den Benutzer benannten Position Pixelwerte jeweiliger RGB-Farben. Die Pixelwerte des als die Referenzfarbe benannten Pixels werden mit Rw, Gw und Bw bezeichnet. Die Referenzfarben-Ableitungseinheit 203 wandelt die Pixelwerte (Rw, Gw und Bw) des Pixels, das als die Referenzfarbe bezeichnet ist, in kolorimetrische Werte (XYZ Werte) um, unter Bezugnahme auf ein vorbestimmtes Farbprofil, das durch die Farbprofil-Halteeinheit 208 gehalten wird. Zum Beispiel, falls eine 3 x 3 Transformationsmatrix M als das Farbprofil gehalten wird, steuert die Referenzfarben-Ableitungseinheit 203 kolorimetrische Werte der Referenzfarbe anhand von Gleichungen (1) und (2): $M = [\begin{matrix} m_{00} & m_{01} & m_{02} \\ m_{10} & m_{11} & m_{12} \\ m_{20} & m_{21} & m_{22} \end{matrix}],$
$[\begin{array}{l} X_{w} \\ Y_{w} \\ Z_{w} \end{array}] = M [\begin{array}{l} R_{w} \\ G_{w} \\ B_{w} \end{array}] .$
Die kolorimetrischen Werte Xw, Yw, und Zw stellen kolorimetrische Werte der Referenzfarbe dar. Das Verfahren zum Berechnen der kolorimetrischen Werte unter Verwendung des Farbprofils ist nicht auf dieses Verfahren beschränkt. Zum Beispiel, falls das Messzielbild ein 8-Bit-RGB-Bild ist, werden die Pixelwerte jedes Pixels auf ganzzahlige Werte von 0 bis 255 begrenzt. Entsprechend können die XYZ-Werte für alle Kombinationen basierend auf der Gleichung (2) zuvor berechnet werden und Paare entsprechender RGB-Werte und XYZ-Werte können im Profil als eine Look-Up-Tabelle (LUT) gespeichert werden. Im Fall der Verwendung der LUT, führt die Referenzfarben-Ableitungseinheit 203 keine Matrixberechnung durch, weil die Referenzfarben-Ableitungseinheit 203 die RGB-Werte in die XYZ-Werte unter Bezugnahme auf die LUT umwandeln kann. Das Verfahren zum Erzeugen der LUT ist nicht auf dieses Verfahren beschränkt, und jedes Verfahren kann verwendet werden, solange die LUT eine Entsprechungsbeziehung zwischen den RGB-Werten und den XYZ-Werten speichert. Zum Beispiel können nicht die Kombinationen aller Farben, sondern nur repräsentative Kombinationen als die LUT gespeichert werden, und die anderen Farben können durch Interpolation aus den repräsentativen Kombinationen abgeleitet werden.
In Schritt S304 erfasst die Farbmesseinheit 206 einen Referenzpunkt im Messzielbild, um als Farbmessergebnis ein Farbdifferenzbild auszugeben, das die Differenz von kolorimetrischen Werten zwischen dem Pixel (Referenzpunkt) als Referenz im Messzielbild und jeweiligen Pixeln darstellt. In der vorliegenden beispielhaften Ausführungsform wird die Position des Referenzpunkts durch den Benutzer in der in 5 veranschaulichten GUI bestimmt. Alternativ kann die Farbmesseinheit 206 automatisch den Referenzpunkt einstellen. Zum Beispiel kann die Farbmesseinheit 206 die Bereiche der Rücklichter erkennen und kann eine optionale Position in den detektierten Bereichen der Rücklichter als Referenzpunkt bestimmen.
In Schritt S305 wandelt die Farbmesseinheit 206 die Pixelwerte von jedem der Pixel im Messzielbild unter Verwendung der Gleichungen (1) und (2) in kolorimetrische Werte um, und wandelt weiterhin die kolorimetrischen Werte in Lab-Werte in einen Farbraum um, der konform ist mit der „Commission Internationale de l'Éclairage“ (CIE)-Lab, der internationalen Zuständigkeitsstelle für Licht, Beleuchtung, Farbe und Farbräume, die in Wien, Österreich ansässig und auch als internationale Kommission für Beleuchtung bekannt ist. In Schritt S306 berechnet die Farbmesseinheit 206 die Farbdifferenz zwischen den Lab-Werten von jedem der Pixel und den Lab-Werten des Referenzpunkts unter Verwendung von Gleichungen (3) bis (7) und einem nachstehend beschriebenen Ausdruck (8), um dadurch das Farbdifferenzbild zu erzeugen.
In Schritt S307 zeigt die Anzeigeeinheit 207 das von der Farbmesseinheit 206 ausgegebene Farbdifferenzbild an. Die obige Beschreibung entspricht der Verarbeitung im Tag-Messmodus. Im Tag-Messmodus führen die Abbildungsparameter-Erfassungseinheit 202, die Korrekturkoeffizienten-Ableitungseinheit 204, und die Referenzfarben-Korrektureinheit 205 keine Verarbeitung aus. Als nächstes wird die Verarbeitung im Nacht-Messmodus beschrieben.
In Schritt S308 erfasst die Bilderfassungseinheit 201 ein Referenzbild zum Einstellen der Referenzfarbe. Wie oben beschrieben, wird das Bild 403 als das Referenzbild erfasst. In Schritt S309 erfasst die Bilderfassungseinheit 201 ein durch Abbilden des Objekts in der Nacht erhaltenes Bild als Messzielbild.
Das Referenzbild und das Messzielbild werden beschrieben im Nacht-Messmodus. 4B illustriert ein Bild 404, das in der Nacht außen aufgenommen wurde, um so das Messzielobjekt 401 zu enthalten. Das Bild 404 wird durch Abbilden eines gestoppten Automobils erfasst, das unter Verwendung der Bildgebungsvorrichtung zu messen ist, von einem Standpunkt zum Betrachten von Rücklichtern auf der hinteren Oberfläche des Automobils. Wie bei der Abbildung des Referenzbilds sind die Rücklichter des Automobils im Bild 404 angeschaltet. Ferner wird das Bild 404 durch Durchführen von Abbilden erfasst, während das Automobil und die Bildgebungsvorrichtung sich an den gleichen Positionen wie jene beim Abbilden des Bilds 403 befinden. Mit anderen Worten sind der Abstand und die Positionsbeziehung zwischen der Bildgebungsvorrichtung und dem Automobil zwischen dem Bild 403 und dem Bild 404 im Wesentlichen die gleichen. Im Bild 404 ist eine weiße Tafel an einer Position angeordnet, die ähnlich zu der Position der weißen Tafel im Bild 403 ist. Die weiße Tafel weist eine durch Reflektieren von Licht sichtbare Objektfarbe auf. Daher entwickelt, obwohl der Bereich der weißen Tafel in 4B durch eine graue Farbe dargestellt wird, die weiße Tafel tatsächlich im Wesentlichen keine Farbe bei dunkler Nacht mit wenigen Lichtquellen um die weiße Tafel. Entsprechend, selbst wenn die Abbildungsparameter eingestellt sind, die der weißen Tafel in einer Umgebung ohne Lichtquelle um die weiße Tafel entsprechen, wird der Bereich der weißen Tafel einer Unterbelichtung im aufgenommenen Bild unterzogen und ist nicht erkennbar. Im Ergebnis ist es für den Benutzer schwierig, eine Anweisung für die Referenzfarbe bezüglich dem Messzielbild zu geben.
Daher wird in der vorliegenden beispielhaften Ausführungsform das durch Abbilden der weißen Tafel in der hellen Umgebung erhaltene Bild 403 als das Referenzbild zum Einstellen der Referenzfarbe erfasst, zusätzlich zum Messzielbild, das in der dunklen Umgebung aufgenommen wird. Die bezüglich Farbe zu messenden Rücklichter weisen eine Lichtquellenfarbe auf und sind selbst nachts extrem hell. Daher ist es notwendig, um das Objekt in der Nacht abzubilden, die Abbildung nach Anpassung der Abbildungsparameter durchzuführen, um zu verhindern, dass die Rücklichter überbelichtet werden, oder das Problem kann mittels Durchführens eines Abbildens nach einer Anpassung der Abbildungsparameter adressiert werden.
In Schritt S310 leitet die Referenzfarben-Ableitungseinheit 203 die Referenzfarbe aus dem in Schritt S308 erfassten Referenzbild ab. Die Verarbeitung in Schritt S310 ist ähnlich zur Verarbeitung in Schritt S303. Das Referenzbild wird in dem Bereich 501 in der in 5 veranschaulichten GUI angezeigt. Die Pixelwerte des Pixels, an der durch den Benutzer angewiesenen Position, werden unter Verwendung der Gleichungen (1) und (2) in kolorimetrische Werte umgewandelt. Falls die Referenzfarbe des Bilds 403 schon im Tag-Messmodus berechnet wurde, kann die Referenzfarbe, die im Tag-Messmodus berechnet wurde gehalten werden, und die kolorimetrischen Werte Xw, Yw und Zw können auch im Nacht-Messmodus als die Referenzfarbe verwendet werden.
In Schritt S311 leitet die Korrekturkoeffizienten-Ableitungseinheit 204 einen Korrekturkoeffizienten zum Korrigieren der Referenzfarbe basierend auf den Abbildungsparametern beim Abbilden des Referenzbilds und den Abbildungsparametern beim Abbilden des Messzielbilds ab. Genauer gesagt erfasst die Korrekturkoeffizienten-Ableitungseinheit 204 zuerst von der Abbildungsparameter-Erfassungseinheit 202 eine Verschlussgeschwindigkeit (TV), einen Blendenwert (AV), und eine Empfindlichkeit (ISO) entsprechend dem Referenzbild, sowie eine Verschlussgeschwindigkeit (TV), einen Blendenwert (AV), und eine Empfindlichkeit (ISO) entsprechend dem Messzielbild. Zum Beispiel wird ein Korrekturkoeffizient α entsprechend der Verschlussgeschwindigkeit aus einer Gleichung (3) berechnet: $α = T V_{p r f} / T V_{i m g},$
wobei TVprf die Verschlussgeschwindigkeit für das Referenzbild und TVimg die Verschlussgeschwindigkeit für das Messzielbild ist.
Ähnlich wird jeweils ein Korrekturkoeffizient β entsprechend dem Blendenwert und ein Korrekturkoeffizient γ entsprechend der ISO-Empfindlichkeit aus den Gleichungen (4) und (5) berechnet: $β = {(A V_{i m g} / A V_{p r f})}^{2},$
$γ = I S O_{p r f} / I S O_{i m g} .$
Der Blendenwert des Referenzbilds wird mit AVprf bezeichnet, und die ISO-Empfindlichkeit des Referenzbilds wird mit ISOprf bezeichnet. Der Blendenwert des Messzielbilds wird mit AVimg bezeichnet, und die ISO-Empfindlichkeit des Messzielbilds wird mit ISOimg bezeichnet. In der vorliegenden beispielhaften Ausführungsform berechnet die Korrekturkoeffizienten-Ableitungseinheit 204 einen Korrekturkoeffizienten δ aus einer Gleichung (6) anhand der Verschlussgeschwindigkeit (TV), dem Blendenwert (AV), und der Empfindlichkeit (ISO): $δ = α \times β \times γ .$
Eine Beschreibung mit spezifischen numerischen Werten wird im Folgenden erläutert. Das Bild 404 ist ein Bild, das vermittels Durchführen von Abbilden so erhalten ist, dass die Pixelwerte nicht in einem Bereich mit einer Lichtquellenfarbe hoher Luminanz (Rücklicht) gesättigt sind. Verglichen mit einer hellen Umgebung wie etwa außen bei Tag wird beim Abbilden in einer dunklen Umgebung wie etwa bei Nacht eine kurze Belichtungszeit eingestellt. Entsprechend wird angenommen, dass die Verschlussgeschwindigkeit TVprf des Referenzbilds auf 1 / 50 eingestellt wird, der Blendenwert AVprf auf F8 eingestellt wird, und die ISO-Empfindlichkeit ISOprf auf 200 eingestellt wird. Dagegen wird, als die Abbildungsbedingung, die Verschlussgeschwindigkeit TVimg des Messzielbilds auf 1/200, der Blendenwert AVimg auf F8, und die ISO-Empfindlichkeit ISOimg auf 200 eingestellt. In diesem Fall ist der aus den Gleichungen (3) bis (6) abgeleitete Korrekturkoeffizient gleich vier.
In Schritt S312 korrigiert die Referenzfarben-Korrektureinheit 205 die in Schritt S310 abgeleitete Referenzfarbe unter Verwendung des Korrekturkoeffizienten δ. Die Referenzfarben-Korrektureinheit 205 korrigiert die Referenzfarbe (Xw, Yw, Zw) unter Verwendung einer Gleichung (7): $[\begin{array}{l} X_{w}' \\ Y_{w}' \\ Z_{w}' \end{array}] = δ [\begin{array}{l} X_{w} \\ Y_{w} \\ Z_{w} \end{array}] .$
Die Referenzfarben-Korrektureinheit 205 gibt Werte (Xw', Yw', Zw') einer korrigierten Referenzfarbe als eine Referenzfarbe zur Berechnung der kolorimetrischen Werte jeweiliger Pixel im Messzielbild aus.
In Schritt S313 erfasst die Farbmesseinheit 206 den Referenzpunkt im Messzielbild, um, als ein Ergebnis der Farbmessung, ein Farbdifferenzbild auszugeben, das die Differenz von kolorimetrischen Werten zwischen dem Pixel (Referenzpunkt) als die Referenz im Messzielbild und jedem der Pixel repräsentiert. Die Verarbeitung in Schritt S313 ist ähnlich zur Verarbeitung in Schritt S304.
In Schritt S314 wandelt die Farbmesseinheit 206 die Pixelwerte von jedem der Pixel im Messzielbild unter Verwendung der Gleichungen (1) und (2) in XYZ-Werte um. In Schritt S315 berechnet die Farbmesseinheit 206 die Farbdifferenz zwischen einer Farbe jeweiliger Pixel im Messzielbild und der Farbe des Referenzpunkts. Zu diesem Zeitpunkt führt die Farbmesseinheit 206 eine Farbbeurteilung basierend auf der Farbdifferenz in einem Farbraum gleichmäßiger Wahrnehmung wie dem CIELAB-Farbraum durch. Zu diesem Zeitpunkt berechnet die Farbmesseinheit 206 CIELAB-Werte (nachstehend als Lab-Werte bezeichnet) jedes der Pixel im Messzielbild unter Verwendung von Ausdrücken (8) bis (11) und einer Gleichung (12): $\begin{matrix} X R a t e = {(X / X w')}^{\frac{1}{3}}, w h e n X / X w' > 0.00856 \\ X R a t e = 7.787 \times (X / X w') = 16.0 / 116.0, w h e n X / X w' \leq 0.00856 \end{matrix}}$
$\begin{matrix} Y R a t e = {(Y / Y w')}^{\frac{1}{3}}, w h e n Y / Y w' > 0.00856 \\ Y R a t e = 7.787 \times (Y / Y w') = 16.0 / 116.0, w h e n Y / Y w' \leq 0.00856 \end{matrix}}$
$\begin{matrix} Z R a t e = {(Z / Z w')}^{\frac{1}{3}}, w h e n Z / Z w' > 0.00856 \\ Z R a t e = 7.787 \times (Z / Z w') = 16.0 / 116.0, w h e n Z / Z w' \leq 0.00856 \end{matrix}}$
$\begin{matrix} L = 116.0 \times {(Y / Y w')}^{\frac{1}{3}} - 16.0, w h e n Y / Y w' > 0.00856 \\ L = 903.29 \times (Y / Y w'), w h e n Y / Y w' \leq 0.00856 \end{matrix}}$
$\begin{array}{l} a = 500 \times (X R a t e - Y R a t e) \\ b = 200 \times (Y R a t e - Z R a t e) \end{array}}$
wobei X, Y, Z die kolorimetrischen Werte jedes der in Schritt S314 abgeleiteten Pixel sind und Xw', Yw', Zw' die Werte der korrigierten Referenzfarbe sind.
Ferner berechnet die Farbmesseinheit 206 die Farbdifferenz unter Verwendung einer Gleichung (13): $Δ E = \sqrt{{(L_{1} - L_{2})}^{2} + {(a_{1} - a_{2})}^{2} + {(b_{1} - b_{2})}^{2}},$
wobei L1, a1, und b1 die Lab-Werte des Pixels entsprechend dem Referenzpunkt sind, und L2, a2, und b2 die Lab-Werte des Pixels sind, das ein Ziel der Farbdifferenz-Berechnung im Messzielbild ist.
Die Farbmesseinheit 206 gibt das die Farbdifferenz jedes der Pixel beinhaltende Farbdifferenzbild aus.
In Schritt S316 zeigt die Anzeigeeinheit 207 das von der Farbmesseinheit 206 ausgegebene Farbdifferenzbild an. 6 illustriert ein Beispiel einer GUI, um das Farbdifferenzbild anzuzeigen, das das Ergebnis der Farbbeurteilung ist. Ein Bereich 601 ist ein Bereich, in dem das Messzielbild angezeigt wird. Die Anzeigeeinheit 207 zeigt zuerst das Farbdifferenzbild in einem Bereich 606 an. Im Farbdifferenzbild wird das Pixel mit einer kleineren Farbdifferenz zum Referenzpunkt dunkler angezeigt, und das Pixel mit einer größeren Farbdifferenz wird heller angezeigt. In diesem Fall wird ein Beispiel dargestellt, in dem ein Pixel in einem Bereich 604 als Referenz betrachtet wird. Das Farbdifferenzbild beschränkt sich nicht darauf, und es ist ausreichend, eine Anzeige mit einer Farbe durchzuführen, die es dem Benutzer erlaubt, die Farbdifferenz leicht zu unterscheiden. Außerdem kann der Benutzer einen Punkt oder einen zu bewertenden Bereich im Messzielbild 601 auswählen. In diesem Beispiel werden ein Punkt im Bereich 604 und ein Punkt in einem Bereich 605 auf den beiden Rücklichtern im Messzielbild angegeben. Die Lab-Werte an den bezeichneten Punkten werden in einem Farbwert-Anzeigebereich 602 angezeigt. Ferner wird die Farbdifferenz zwischen den ausgewählten zwei Punkten in einem Farbdifferenz-Anzeigebereich 603 angezeigt.
Die Bildverarbeitung gemäß der vorliegenden beispielhaften Ausführungsform endet dann. Wie oben beschrieben, wird, wenn die extrem hellen Bereiche der Rücklichter daran gehindert werden, bei dunkler Nacht überbelichtet zu werden, der andere Bereich im Wesentlichen einer Unterbelichtung unterzogen. Um die Lab-Werte zu berechnen, die die Farbe darstellen, wird ein Pixel in einem Bereich eines weißen Objekts in einem durch Abbilden des weißen Objekts erhaltenen Bild allgemein als die Referenzfarbe bezeichnet. Entsprechend, um die Referenzfarbe einzustellen, bezeichnet der Benutzer den dem weißen Objekt entsprechenden Bereich, um eine Anweisung für die Referenzfarbe zu geben. Das weiße Objekt bildet jedoch keine Farbe, weil es im Wesentlichen kein Licht aus seiner Umgebung gibt. Als ein Ergebnis, in dem durch Abbilden der hinteren Oberfläche des Automobils in dunkler Umgebung erhaltenen Bild, ist der vom Bereich der roten Rücklichter verschiedene Bereich wie in 4B dargestellt schwarz. Falls das Messzielbild mit Ausnahme eines Teilbereichs im Wesentlichen einer Unterbelichtung unterzogen wird, kann der Benutzer die als die Referenzfarbe zu bezeichnende Position nicht erkennen. Entsprechend ermöglicht, in der vorliegenden beispielhaften Ausführungsform, das Präsentieren eines Bildes gegenüber einem Benutzer, das durch Abbilden desselben Objekts und der weißen Tafel in der hellen Umgebung erhalten wurde und das von dem Messzielbild verschieden ist, es dem Benutzer, die Referenzfarbe leicht einzustellen, und zwar durch einen Vorgang ähnlich zum Vorgang, falls der Benutzer eine normale Farbmessung durchführt (im Tag-Messmodus). Insbesondere wird in der vorliegenden beispielhaften Ausführungsform ein Bild als das Referenz.bild auf der GUI angezeigt, das durch Abbilden des Automobils genauso wie das Messzielbild und die weiße Tafel von einem ähnlichen Standpunkt mit einem ähnlichen Betrachtungswinkel erhalten wird. Dies ermöglicht es dem Benutzer, intuitiv das Einstellen der Referenzfarbe zur Messung des Messzielbilds zu betreiben, selbst im vom Messzielbild verschiedenen Bild.
Ferner können, wie mit dem oben beschriebenen Nacht-Messmodus, mehr geeignete Farbwerte unter Verwendung der korrigierten Referenzfarbe berechnet werden. In der bestehenden Technik wird ein Farbraum anhand eines Weißpunkts (Referenzfarbe) definiert, um die Lab-Werte zu berechnen. Die weiße Tafel entwickelt jedoch keine Farbe beim Abbilden in der dunklen Umgebung, weil die weiße Tafel eine Objektfarbe aufweist, und die dem Weißpunkt entsprechende Referenzfarbe nicht dementsprechend erfasst werden kann. In der vorliegenden beispielhaften Ausführungsform werden daher die XYZ-Werte des Objekts, das weiße Farbe in der dunklen Umgebung entwickelt, basierend auf den Pixelwerten der weißen Tafel abgeschätzt, die in der hellen Umgebung abgebildet wird.
7 ist ein Diagramm, das Eingabe-/Ausgabe-Charakteristika des Messzielbilds und Eingabe-/Ausgabe-Charakteristika des Referenzbilds im Nacht-Messmodus veranschaulicht. Die laterale Achse gibt die Luminanz einer Szene an, und die vertikale Achse gibt einen Pixelwert an. Eine Linie 701 stellt die Eingabe-/Ausgabe-Charakteristika des Referenzbilds dar, d.h. die Eingabe-/Ausgabe-Charakteristika des Bilds 403. Im Referenzbild entsprechen sowohl Luminanz der Lampe als auch Luminanz der weißen Farbe als die Referenzfarbe dem Pixelwert linear. Dagegen stellt die gerade Linie 702 die Eingabe-/ Ausgabe-Charakteristika des Messzielbilds dar. Die Abbildungsparameter des Messzielbilds werden derart eingestellt, dass der Bereich der Lichtquellenfarbe (Rücklicht 703) nicht gesättigt ist. Folglich entspricht im Messzielbild die Luminanz in der Nähe der Lampenluminanz linear dem Pixelwert. Die Luminanz einer weißen Tafel 704 ist ursprünglich extrem niedrig, weil die weiße Tafel keine Farbe entwickelt, und der Bereich der weißen Tafel ist daher schwierig zu erkennen. Dementsprechend wird ein Wert, falls die weiße Tafel eine weiße Farbe in der dunklen Umgebung entwickelt, als die korrigierte Referenzfarbe geschätzt, indem die Werte einer Referenzfarbe 705 mit dem Korrekturkoeffizienten multipliziert werden. Die Farbwerte von jedem der Pixel in der dunklen Umgebung werden unter Verwendung der korrigierten Referenzfarbe berechnet, was es ermöglicht die Farbwerte mit höherer Genauigkeit selbst in der dunklen Umgebung zu berechnen.
Eine Beschreibung mit spezifischen numerischen Werten wird im Folgenden erläutert. Wenn die Werte Xw, Yw und Zw der in Schritt S303 abgeleiteten Referenzfarbe 971, 1000 und 805 betragen und der in Schritt S304 abgeleitete Korrekturkoeffizient gleich vier ist, ergeben die Werte Xw', Yw' und Zw' der korrigierten Referenzfarbe 3884, 4000,0 und 3220. Falls die kolorimetrischen Werte X, Y und Z eines interessierenden Pixels im Rücklichter-Bereich im Messzielbild 4926, 2414 und 736 betragen, und wenn die kolorimetrischen Werte unter Verwendung einer nicht korrigierten Referenzfarbe in Lab-Werte umgewandelt werden, ergeben die Lab-Werte L, a und b 140, 188 und 74, und die Helligkeit L übersteigt 100. Da die Helligkeit L im CIELAB-Farbraum im Bereich von 0 bis 100 definiert ist, kann die Farbdifferenz im CIELAB-Farbraum nicht gemessen werden. Dagegen ergeben die Lab-Werte L, a und b, die jeweils aus den kolorimetrischen Werten des interessierenden Pixels unter Verwendung der korrigierten Referenzfarbe, die durch Korrigieren der Referenzfarbe basierend auf einer Belichtungszeitdifferenz zwischen dem Referenzbild und dem Messzielbild erhalten wird, abgeleitet werden 82, 119 und 47. Dies ermöglicht eine Messung der Farbdifferenz.
Wie oben beschrieben, werden gemäß der vorliegenden beispielhaften Ausführungsform die Farbwerte jedes der Pixel basierend auf der in der hellen Umgebung abgebildeten Referenzfarbe berechnet, wenn die Farbmessung des Objekts in der hellen Umgebung durchgeführt wird. Dies ermöglicht es die Farbwerte selbst in der dunklen Umgebung zu berechnen. Ferner kann der Benutzer die Referenzfarbe durch einen einfachen Vorgang selbst mit Bezug auf das einer Unterbelichtung unterzogene Messzielbild mit Ausnahme der Lichtquellenfarbe einstellen.
< Modifikationen >
Falls die kolorimetrischen Werte X, Y und Z des interessierenden Pixels im Rücklicht-Bereich im Messzielbild 9852, 4828 und 1472 betragen, ist die Helligkeit höher als die korrigierte Referenzfarbe mit den Werten Xw', Yw' und Zw' von 3884, 4000,0 und 3220. Daher überschreitet die Helligkeit L auf ähnliche Weise 100. Entsprechend kann, falls die Werte der korrigierten Referenzfarbe kleiner als die kolorimetrischen Werte des interessierenden Pixels sind, eine hellere Referenzfarbe aus dem Referenzbild neu gewählt werden, oder die korrigierte Referenzfarbe kann weiter korrigiert werden.
8 ist ein schematisches Diagramm, das ein Beispiel veranschaulicht, falls die korrigierte Referenzfarbe weiter korrigiert wird. Eine Linie 801 stellt Eingabe-/Ausgabe-Charakteristika des Referenzbilds dar. Eine gerade Linie 802 stellt Eingabe-/Ausgabe-Charakteristika des Messzielbilds dar. Die Abbildungsparameter des Messzielbilds werden derart eingestellt, dass der Bereich der Lichtquellenfarbe (Bewertungsfarbe 803) nicht gesättigt ist. Wenn eine Referenzfarbe 804 im Referenzbild basierend auf einer Belichtung des Messzielbilds korrigiert wird, wird eine Farbe 805 erhalten. Wenn die Lab-Werte unter Bezugnahme auf die Farbe 805 berechnet werden, falls die Bewertungsfarbe 803 heller ist, überschreitet die Helligkeit L 100. Entsprechend wird die Farbe 805 wieder korrigiert, so dass eine Farbe, die heller ist als die Bewertungsfarbe, z. B. eine Farbe 806 die korrigierte Referenzfarbe wird. Unterschiede gegenüber 3, falls die korrigierte Referenzfarbe weiter korrigiert wird, werden unter Bezugnahme auf ein Flussdiagramm von 9 beschrieben.
In Schritt S901 wird die Bewertungsfarbe aus dem Messzielbild erfasst. In Schritt S902 vergleicht die Referenzfarben-Korrektureinheit 205 die Bewertungsfarbe und die korrigierte Referenzfarbe. Falls die Bewertungsfarbe heller als die Referenzfarbe ist (JA in Schritt S902), schreitet die Verarbeitung mit Schritt S903 fort. Falls die Bewertungsfarbe dunkler als die Referenzfarbe ist (NEIN in Schritt S902), schreitet die Verarbeitung mit Schritt S313 fort. In Schritt S903 korrigiert die Referenzfarben-Korrektureinheit 205 die Referenzfarbe erneut, so dass sie heller als die Bewertungsfarbe wird. Die Referenzfarbe kann durch ein gewünschtes oder vorbestimmtes Verstärkungskorrekturverfahren korrigiert werden, solange die Luminanz Y der Referenzfarbe höher als die Luminanz der Bewertungsfarbe wird. Wenn zum Beispiel der Korrekturkoeffizient auf 5 eingestellt ist, werden die Werte Xw, Yw und Zw der Referenzfarbe 4855, 5000 und 4025, und die Referenzfarbe ist heller als die Bewertungsfarbe. Ferner kann die gewünschte oder vorbestimmte Luminanz der Referenzfarbe bestimmt werden, und die Korrektur kann basierend auf der gewünschten Luminanz durchgeführt werden. Falls zum Beispiel die gewünschte Luminanz Yw gleich 5500 ist, werden die Werte Xw, Yw und Zw der Referenzfarbe 5341, 5500 und 4428.
In der vorliegenden beispielhaften Ausführungsform wurde das Verfahren zum Einstellen der Weiß-Referenz aus dem Referenzbild beschrieben, jedoch kann die Weiß-Referenz auch aus der Abbildungsbedingung eingestellt werden. Zum Beispiel können die Werte Xw, Yw und Zw der Referenzfarbe auf 6109, 6336 und 5227 eingestellt werden, und zwar aus einem Verhältnis von XYZ (X : Y : Z = 0,9642 : 1 : 0,8249) bei einer Farbtemperatur von 5000K und einer geeigneten Luminanz 6336 bei einem Belichtungswert von 14.
In der oben beschriebenen beispielhaften Ausführungsform wurde der Fall beschrieben, in dem der Tag-Messmodus und der Nacht-Messmodus umgeschaltet werden. Die Bildverarbeitungsvorrichtung muss jedoch keinen Modus umschalten. Zum Beispiel kann die Bildverarbeitungsvorrichtung das Bild 403 und das Bild 404 empfangen, um sowohl ein Farbdifferenzbild am Tag als auch ein Farbdifferenzbild in der Nacht zu erzeugen und beide Farbdifferenzbilder anzuzeigen. In diesem Fall kann das Bestimmen in Schritt S301 eliminiert werden. In diesem Fall führt die Bildverarbeitungsvorrichtung im Flussdiagramm eine Verarbeitung in den Schritten S302 bis S307 am Bild 403 durch, und führt dann Schritte S308 bis S316 unter Verwendung des Bilds 403 und des Bilds 404 durch.
Ferner liegen in der oben beschriebenen beispielhaften Ausführungsform, in dem Bild, das durch Abbilden der Rücklichter und der weißen Tafel am Tag erhalten wird, die Luminanz der Bereiche der Rücklichter und die Luminanz des Bereichs der weißen Tafel beide im Dynamikbereich. Selbst am Tag kann jedoch der Bereich der weißen Tafel unterbelichtet sein, wenn das Abbilden anhand der Luminanz der Bereiche der Rücklichter durchgeführt wird, wohingegen die Bereiche der Rücklichter überbelichtet sein können, wenn das Abbilden anhand der Luminanz des Bereichs der weißen Tafel durchgeführt wird. In diesem Fall werden selbst im Tag-Messmodus das Messzielbild und das Referenzbild erfasst. Genauer gesagt wird als das Messzielbild ein Bild erfasst, das mit Abbildungsparametern aufgenommen wird, die derart eingestellt sind, dass Überbelichtung der Bereiche der Rücklichter vermieden wird. Außerdem wird als Referenzbild ein Bild erfasst, das mit Abbildungsparametern aufgenommen wird, die derart eingestellt sind, dass Unterbelichtung des Bereichs der weißen Tafel vermieden wird. Zu diesem Zeitpunkt werden auch die dem Referenzbild entsprechenden Abbildungsparameter und die die dem Messzielbild entsprechenden Abbildungsparameter erfasst.
Der Benutzer wird veranlasst, den Bereich der weißen Tafel im Referenzbild zu benennen und die Pixelwerte Rw, Gw und Bw des Pixels an der durch den Benutzer benannten Position werden erfasst. Die Referenzfarbe wird aus den Pixelwerten in einer Weise ähnlich zu den Schritten S303 und S310 berechnet. Die Referenzfarbe wird basierend auf den dem Referenzbild entsprechenden Abbildungsparametern und den dem Messzielbild entsprechenden Abbildungsparametern korrigiert. Zum Beispiel wird, falls die Referenzfarbe basierend auf einer Belichtungsdifferenz zwischen dem Referenzbild und dem Messzielbild korrigiert wird, der Korrekturkoeffizient unter Verwendung der oben beschriebenen Gleichungen (3) bis (6) berechnet, und die Referenzfarbe unter Verwendung der Gleichung (7) korrigiert, um die korrigierte Referenzfarbe zu bestimmen. Die kolorimetrischen Werte werden unter Verwendung der korrigierten Referenzfarbe basierend auf den Ausdrücken (8) bis (11) und der Gleichung (12) berechnet. Die nachfolgende Verarbeitung ist ähnlich zur Verarbeitung in den Schritten S306 und S307. Dies macht es möglich, das Farbdifferenzbild geeignet zu erzeugen, selbst wenn die Rücklichter und die weiße Tafel nicht mal am Tag innerhalb des Dynamikbereichs der Bildgebungsvorrichtung abgebildet werden können.
Im Tag-Messmodus wie in der Modifikation ist die Luminanz der Lampen in manchen Fällen höher als die Luminanz der Referenzfarbe, die durch den Benutzer bezeichnet wird. In diesem Fall kann die Referenzfarbe korrigiert werden, um heller zu werden als die Lampen.
Ferner sind in der oben beschriebenen beispielhaften Ausführungsform das Bild 403 und das Bild 404, abgesehen von der Aufnahmezeit, in der gleichen Umgebung aufgenommen; jedoch sind die Bilder nicht darauf beschränkt. Zum Beispiel kann ein in einem hellen Raum erfasstes Bild und ein bei dunkler Nacht, mit wenigen Lichtquellen neben den auf dem Automobil befestigten Lichtquellen, aufgenommenes Bild verwendet werden. Auch in diesem Fall ist der Abstand zwischen der Bildgebungsvorrichtung und dem Automobil sowie eine Stellungsrichtung der Bildgebungsvorrichtung zum Automobil vorzugsweise gleich bei den Bildern.
Das Farbmessverfahren ist nicht darauf beschränkt. Zum Beispiel kann nicht die Farbdifferenz sondern eine Helligkeitsdifferenz, eine Chromatizitätsdifferenz, eine Farbsättigungsdifferenz oder eine Farbton-Differenz verwendet werden, oder es kann eine andere Farbdifferenz wie etwa ΔE94 oder ΔE00 verwendet werden. Außerdem kann die Messung in einem Farbraum wie etwa CIELUV (CIE L*, u*, v* Farbraum) oder CIECAM der internationalen Kommission für Beleuchtung (CIE) durchgeführt werden.
In der oben beschriebenen beispielhaften Ausführungsform wird die vom Referenzbild extrahierte Referenzfarbe basierend auf den Differenzen der Verschlussgeschwindigkeiten, der Blendenwerte und den ISO-Empfindlichkeiten zwischen dem Referenzbild und dem Messzielbild korrigiert. Zum Beispiel kann der Korrekturkoeffizient δ basierend auf einer oder zwei aus der Verschlussgeschwindigkeit, dem Blendenwert und der ISO-Empfindlichkeit abgeleitet werden. Weiter kann, obwohl das Verfahren zum Berechnen des Korrekturkoeffizienten δ aus der Gleichung (6) als Beispiel beschrieben worden ist, die Entsprechungsbeziehung zwischen den Abbildungsparametern und dem Korrekturkoeffizienten als LUT aufgezeichnet werden und die Korrekturkoeffizienten-Ableitungseinheit 204 kann den Korrekturkoeffizienten unter Bezugnahme auf die LUT ableiten. Außerdem ist das Beispiel, in dem die Referenzfarbe vom Referenzbild erfasst wird und die Referenzfarbe basierend auf der Belichtungsbedingung und der ISO-Empfindlichkeit korrigiert wird in der vorliegenden beispielhaften Ausführungsform beschrieben worden. Alternativ kann eine Referenzfarbe in einer spezifischen Belichtungsbedingung oder eine Referenzfarbe für jede ISO-Empfindlichkeit durch die XYZ-Werte einer Standardlichtquelle (D65) bezeichnet werden, und die Referenzfarbe kann basierend auf der Belichtungsbedingung und der ISO-Empfindlichkeit des Messzielbilds korrigiert werden.
Zusätzlich ist in der oben beschriebenen beispielhaften Ausführungsform das Beispiel beschrieben worden, in dem die Anzeigeeinheit 207 die Benutzerschnittstelle anzeigt, um die Farbdifferenz zwischen den beiden Rücklichtern des Automobils anzuzeigen; allerdings ist die Konfiguration nicht darauf beschränkt. Zum Beispiel kann die Farbdifferenz zwischen zwei Punkten in einem Rücklicht-Bereich beurteilt werden, oder es können zwei oder mehr Farbdifferenzen von Rücklichtern und Bremslampen gleichzeitig verglichen werden. Ferner kann eine Farbverteilung angezeigt werden, da die Lab-Werte für ein jeweiliges Pixel in der oben beschriebenen beispielhaften Ausführungsform berechnet werden können.
Die vorliegende Offenbarung ist erreichbar, indem ein Programm, das eine oder mehrere Funktionen der oben beschriebenen beispielhaften Ausführungsform erzielt, einem System oder einer Vorrichtung über ein Netzwerk oder ein Speichermedium zugeführt wird, und indem einer oder mehrere Prozessoren in einem Computer des Systems oder der Vorrichtung veranlasst werden, das Programm auszulesen und auszuführen. Außerdem ist die vorliegende Offenbarung erreichbar durch eine Schaltung (z. B. anwendungsspezifische integrierte Schaltung (ASIC)), die eine oder mehrere Funktionen erreicht.
Andere Ausführungsformen
Ausführungsform(en) der vorliegenden Offenbarung können auch durch einen Computer eines Systems oder Vorrichtung realisiert werden, der auf einem Speichermedium (das vollständiger auch als ein ‚nichtflüchtiges computerlesbares Speichermedium‘ bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (z.B. ein oder mehr Programme) ausliest und ausführt, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder der eine oder mehrere Schaltungen (z.B. eine anwendungsspezifische integrierte Schaltung (ASIC)) beinhaltet zum Durchführen der Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en), sowie durch ein durch den Computer des Systems oder Vorrichtung durchgeführtes Verfahren durch, zum Beispiel, Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) durchzuführen, und/oder Steuern der einen oder mehreren Schaltungen, um die Funktionen von einer oder mehreren der oben beschriebenen Ausführungsform(en) durchzuführen. Der Computer kann einen oder mehrere Prozessoren (z.B. eine Hauptprozessoreinheit (CPU), eine Mikroprozessoreinheit (MPU)) enthalten, und kann ein Netzwerk von separaten Computern oder separaten Computerprozessoren enthalten, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer zum Beispiel von einem Netzwerk oder einem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eine oder mehrere Festplatten, einen RAM (random-access memory), einen ROM (read only memory), einen Speicher aus verteilten Rechnersystemen, einen optischen Datenträger (wie eine CD (compact disc), DVD (digital versatile disc) oder eine BD (Blu-ray Disc)™), ein Flashspeichergerät, eine Speicherkarte oder ähnliches enthalten.
Während die vorliegende Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, versteht sich, dass die Offenbarung nicht auf die offenbarten beispielhaften Ausführungsformen beschränkt ist. Dem Umfang der folgenden Ansprüche soll die weitestgehende Interpretation zugestanden werden, sodass all solche Modifikationen und äquivalenten Strukturen und Funktionen erfasst sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2006 [0002]
JP 303783 [0002]

Claims

Bildverarbeitungsvorrichtung zum Messen einer Farbe eines Objekts basierend auf einem durch Abbilden des Objekts erhaltenen Messzielbild, wobei die Bildverarbeitungsvorrichtung umfasst: eine Erfassungseinheit, die konfiguriert ist, das Messzielbild und ein vom Messzielbild verschiedenes Referenzbild zu erfassen; eine Ableitungseinheit, die konfiguriert ist, eine Referenzfarbe basierend auf einem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter, einem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter, und einem Pixelwert von zumindest einem Pixel im Referenzbild abzuleiten; und eine Berechnungseinheit, die konfiguriert ist, unter Bezugnahme auf die Referenzfarbe einen Farbbeurteilungswert von zumindest einem dem Objekt im Messzielbild entsprechenden Pixel zu berechnen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Ableitungseinheit konfiguriert ist, den Pixelwert des mindestens einen Pixels im Referenzbild in einen kolorimetrischen Wert umzuwandeln, und ferner konfiguriert ist, als die Referenzfarbe, ein Ergebnis abzuleiten, das durch Korrigieren des kolorimetrischen Werts basierend auf dem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter, und dem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter erhalten wird.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, wobei das Referenzbild ein Bild ist, das durch Abbilden einer weißen Tafel erhalten wird, und wobei, falls das Bild durch Abbilden der weißen Tafel erhalten wird, die Ableitungseinheit einen Pixelwert eines Pixels, das der weißen Tafel entspricht, in den kolorimetrischen Wert umwandelt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei das Messzielbild ein Bild ist, das durch Abbilden des Objekts in einer Umgebung erhalten wird, die dunkler als eine Umgebung ist, in der das Referenzbild aufgenommen wird.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Ableitungseinheit einen kolorimetrischen Wert unter Verwendung eines Korrekturkoeffizienten entsprechend einem Verhältnis des beim Abbilden des Messzielbilds verwendeten Abbildungsparameters und des beim Abbilden des Referenzbilds verwendeten Abbildungsparameters korrigiert.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Abbildungsparameter zumindest eines der folgenden einschließt: eine Belichtungszeit, einen Blendenwert und eine Empfindlichkeit gemäß einer internationalen Standardisierungsorganisation (ISO).
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei die Berechnungseinheit konfiguriert ist, eine Position eines Referenzpunkts im Messzielbild zu erfassen, und konfiguriert ist, eine Differenz des Beurteilungswerts zwischen dem Referenzpunkt und jeweiligen Pixeln im Messzielbild zu berechnen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei, falls die Ableitungseinheit den Pixelwert des zumindest einen Pixels im Referenzbild ableitet, die Ableitungseinheit ferner den Pixelwert des mindestens einen Pixels im Referenzbild in einen kolorimetrischen Wert umwandelt, einen ersten korrigierten Wert durch Durchführen einer ersten Korrekturverarbeitung am kolorimetrischen Wert, basierend auf dem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter und dem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter berechnet, und einen zweiten korrigierten Wert berechnet, indem sie eine zweite Korrekturverarbeitung am ersten korrigierten Wert durchführt, und wobei sich die Berechnungseinheit auf den zweiten korrigierten Wert als die Referenzfarbe bezieht.
Bildverarbeitungsvorrichtung nach Anspruch 8, wobei die zweite Korrekturverarbeitung eine Verarbeitung ist, um eine Luminanz des ersten korrigierten Werts zu korrigieren, um höher zu sein als eine Luminanz, die dem Objekt entspricht, und die durch die Berechnungseinheit berechnet wird, und wobei die Ableitungseinheit den ersten korrigierten Wert und zumindest einen Beurteilungswert vergleicht, der durch die Berechnungseinheit berechnet wird, um zu bestimmen, ob die zweite Korrekturverarbeitung durchzuführen ist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 9, ferner umfassend eine Eingabeeinheit, die konfiguriert ist, eine Anweisung von einem Benutzer einzugeben, wobei die Ableitungseinheit in Reaktion auf die Anweisung vom Benutzer ein Pixel zur Berechnung der Referenzfarbe im Referenzbild bestimmt.
Verfahren für eine Bildverarbeitungsvorrichtung zum Messen einer Farbe eines Objekts basierend auf einem durch Abbilden des Objekts erhaltenen Messzielbild, wobei das Verfahren umfasst: Erfassen des Messzielbilds und eines vom Messzielbild verschiedenen Referenzbilds; Ableiten einer Referenzfarbe basierend auf einem beim Abbilden des Messzielbilds verwendeten Abbildungsparameter, einem beim Abbilden des Referenzbilds verwendeten Abbildungsparameter und eines Pixelwerts von zumindest einem Pixel im Referenzbild; und Berechnen, unter Bezugnahme auf die Referenzfarbe, eines Farbbeurteilungswerts von zumindest einem dem Objekt im Messzielbild entsprechenden Pixel.
Programm, das einen Computer veranlasst, als die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10 zu fungieren.