DE102013001644A1 - Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug - Google Patents

Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug Download PDF

Info

Publication number
DE102013001644A1
DE102013001644A1 DE102013001644.4A DE102013001644A DE102013001644A1 DE 102013001644 A1 DE102013001644 A1 DE 102013001644A1 DE 102013001644 A DE102013001644 A DE 102013001644A DE 102013001644 A1 DE102013001644 A1 DE 102013001644A1
Authority
DE
Germany
Prior art keywords
color space
pixels
color
values
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102013001644.4A
Other languages
English (en)
Inventor
Patrick Eoghan Denny
Vladimir Zlokolica
Brian Michael Thomas Deegan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102013001644.4A priority Critical patent/DE102013001644A1/de
Priority to PCT/EP2014/051614 priority patent/WO2014118167A1/en
Publication of DE102013001644A1 publication Critical patent/DE102013001644A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Weißabgleich eines mittels einer Kamera eines Kraftfahrzeugs bereitgestellten Bilds durch: Bestimmen von Farbwerten (U, V) der Bildpunkte in einem Farbraum (U, V); Auswählen einer Untermenge der Bildpunkte nach einem vorgegebenen Auswahlkriterium; Bestimmen einer Farbtemperatur des Bilds anhand der Farbwerte (U, V) der ausgewählten Untermenge der Bildpunkte; und Durchführen des Weißabgleichs abhängig von der Farbtemperatur, wobei in dem vorgegebenen Farbraum (U, V) ein Hauptfarbraumbereich um einen Ursprung (21) des Farbraums (U, V) und zumindest ein von dem Hauptfarbraumbereich verschiedener weiterer Farbraumbereich (22, 23, 24, 25) definiert wird, wobei überprüft wird, ob innerhalb des Hauptfarbraumbereichs eine für die Bestimmung der Farbtemperatur benötigte vorgegebene Mindestanzahl der Bildpunkte liegt, und in diesem Fall gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb des Hauptfarbraumbereichs liegen, und andernfalls gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb eines weiteren Farbraumbereichs (22, 23, 24, 25) liegen.

Description

  • Die Erfindung betrifft ein Verfahren zum Weißabgleich einer Bilddarstellung, welche auf einer Anzeigeeinrichtung eines Kraftfahrzeugs angezeigt wird, wobei mittels zumindest einer Kamera des Kraftfahrzeugs ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt wird und die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung aus zumindest einem Bereich des Bildes erzeugt wird. Es werden Bildpunkte des Bildes in einen vorbestimmten Farbraum eingeordnet und hierbei Farbwerte der Bildpunkte in diesem Farbraum bestimmt. Es wird eine Untermenge der Bildpunkte nach einem vorgegebenen Auswahlkriterium ausgewählt, und eine Farbtemperatur des Bildes wird anhand der Farbwerte der ausgewählten Untermenge der Bildpunkte bestimmt. Der Weißabgleich wird dann abhängig von der Farbtemperatur durchgeführt. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, welches zum Durchführen eines derartigen Verfahrens ausgebildet ist.
  • Verfahren zum Durchführen des Weißabgleichs eines Bilds, d. h. einer Farbkorrektur des Bilds, sind bereits Stand der Technik. Es ist außerdem bereits bekannt, an einem Kraftfahrzeug eine Vielzahl von Kameras anzubringen, welche die Umgebung um das Kraftfahrzeug herum erfassen. Auf einem Display des Kraftfahrzeugs kann dann eine Bilddarstellung angezeigt werden, welche auf den Bildern der Kameras beruht. Beispielsweise kann hier das so genannte „Bird-Eye View” aus den Bildern aller Kameras bereitgestellt werden, d. h. eine Draufsichtdarstellung, welche das Kraftfahrzeug und seine Umgebung aus einer Vogelperspektive zeigt. Diese Draufsichtdarstellung wird aus jeweiligen Teilbereichen der Bilder aller Kameras erzeugt, wobei jeweils derjenige Teilbereich des Bildes verwendet wird, welcher den jeweiligen Umgebungsbereich bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug abbildet. Die Erfindung ist jedoch nicht auf die Bereitstellung einer solchen Draufsicht als Bilddarstellung beschränkt. Es können auch andere Arten von Bilddarstellungen aus jeweils einem Teilbereich der Bilder erzeugt werden. An dieser Stelle seien beispielhaft dreidimensionale Ansichten genannt, welche eine Projektion auf eine konkave Oberfläche beinhalten können, wie zum Beispiel auf die Fläche einer Halbkugel, eines Paraboloids, eines Hyperboloids oder eine ähnliche konkave Fläche.
  • Die Erzeugung einer Draufsicht aus Bildern mehrerer Kameras ist beispielsweise aus dem Dokument US 2011/0156887 A1 bekannt. Auch das Dokument EP 2 012 271 A2 beschreibt ein Verfahren, welches zur Bereitstellung einer Draufsichtdarstellung aus Bildern mehrerer Kameras dient.
  • Dass eine Bilddarstellung zur Anzeige auf einem Display aus Bildern mehrerer Kameras erzeugt werden kann, ist außerdem aus dem Dokument US 7 139 412 B2 bekannt. Hier wird vorgeschlagen, die Unterschiede in den Farbwerten der Bilder zu kompensieren, indem beispielsweise die Farbwerte der Bilder gemittelt werden.
  • Ein Verfahren zum Durchführen des Weißabgleichs bei einer aus mehreren Bildern gewonnenen Bilddarstellung ist des Weiteren aus dem Dokument WO 2011/082716 A1 bekannt.
  • Farbkorrekturverfahren, d. h. Weißabgleichsverfahren, dienen im Allgemeinen zur Korrektur von Farbstichen (color cast), welche in den Bildern durch unterschiedliche, in der abgebildeten Umgebung befindliche Beleuchtungsquellen verursacht werden. Die bekannten Methoden zum automatischen Weißabgleich beinhalten üblicherweise zwei verschiedene Schritte: Zunächst wird die Farbtemperatur des Bildes ermittelt, und dann wird die Farbkorrektur anhand der ermittelten Farbtemperatur durchgeführt. Dabei sind aus dem Stand der Technik verschiedenste Methoden bekannt, wie die Farbtemperatur und somit die Farbstiche in den Bildern bestimmt werden können. Eine der bekannten Methoden geht dahin, zur Bestimmung der Farbtemperatur des Bilds ausschließlich eine Untermenge von Bildpunkten zu verwenden, deren Farbwerte (zum Beispiel im UV-Farbraum) einem vorbestimmten Auswahlkriterium genügen. So können bei der Berechnung der Farbtemperatur ausschließlich diejenigen Bildpunkte berücksichtigt werden, welche in dem UV-Farbraum um den Ursprung dieses Farbraums und somit um den Nullwert liegen. In diesem Farbraumbereich werden nämlich graue Bildpunkte erwartet, welche eine zuverlässige Basis für die Berechnung der Farbtemperatur darstellen. Diese Methode ist jedoch bei Kamerasystemen von Kraftfahrzeugen nicht ausreichend, weil sich die abgebildete Umgebung des Kraftfahrzeugs relativ schnell ändert und außerdem in der Umgebung des Kraftfahrzeugs häufig Objekte zu finden sind, welche einerseits relativ groß sind (zum Beispiel andere Fahrzeuge) und andererseits auch eine besonders starke bzw. deutliche und monochromatische Farbgebung (z. B. rot, blau, gelb, weiß oder grün) aufweisen, welche dann Farbstiche in den Bildern verursachen kann. Beispielsweise kann ein rotes Objekt, das sich in der Umgebung des Kraftfahrzeugs befindet, einen blauen Farbstich in der angezeigten Bilddarstellung verursachen, weil die monochromatische Farbgebung dieses Objekts eine Erhöhung des roten Farbmittelwerts des Bildes bewirkt. Ein interner Weißabgleichsalgorithmus der Kamera versucht dann, diese Erhöhung des roten Farbmittelwerts durch Erhöhung eines Verstärkungsfaktors des blauen Farbkanals zu kompensieren und verursacht somit den blauen Farbstich.
  • Dieser Problematik kann beispielsweise durch entsprechende Anpassung der Verstärkungsfaktoren der jeweiligen Farbkanäle der Kamera begegnet werden, wenn die Farbtemperatur des Bildes korrekt ermittelt wird. Dies setzt jedoch voraus, dass zur Bestimmung der Farbtemperatur Bildpunkte ausgewählt werden, welche möglichst grauen Bildpunkten entsprechen und nicht zu monochromatischen künstlichen Objekten gehören. Dies können beispielsweise diejenigen Bildpunkte sein, welche einen Bereich der grauen Straße abbilden. Eine besondere Herausforderung besteht jedoch darin, diese grauen Bildpunkte in dem entsprechenden Farbraum aufzufinden.
  • Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Weißabgleich der Bilddarstellung im Vergleich zum Stand der Technik verbessert werden kann, sodass insbesondere dem Fahrer eine realitätsgetreue Darstellung der Umgebung auf der Anzeigeeinrichtung im Kraftfahrzeug bereitgestellt werden kann.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren sowie durch ein Kamerasystem mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
  • Ein erfindungsgemäßes Verfahren dient zum Weißabgleich einer Bilddarstellung, welche auf einer Anzeigeeinrichtung eines Kraftfahrzeugs angezeigt wird, wobei mittels zumindest einer Kamera des Kraftfahrzeugs ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt wird und die Bilddarstellung aus zumindest einem Bereich des Bildes erzeugt wird. Es werden Bildpunkte des Bildes in einen vorbestimmten Farbraum eingeordnet, indem Farbwerte der Bildpunkte in dem Farbraum bestimmt werden. Es wird eine Untermenge der Bildpunkte nach einem vorgegebenen Auswahlkriterium ausgewählt, und eine Farbtemperatur des Bildes wird dann anhand der Farbwerte ausschließlich der ausgewählten Untermenge der Bildpunkte bestimmt. Der Weißabgleich wird abhängig von der Farbtemperatur durchgeführt. In dem vorgegebenen Farbraum wird ein Hauptfarbraumbereich um einen Ursprung, d. h. insbesondere den Nullpunkt, des Farbraums definiert. Zusätzlich wird auch ein von diesem Hauptfarbraumbereich verschiedener weiterer Farbraumbereich definiert. Es wird überprüft, ob innerhalb des Hauptfarbraumbereichs eine für die Bestimmung der Farbtemperatur benötigte vorgegebene Mindestanzahl der Bildpunkte liegt. Ist dieses Kriterium erfüllt, werden gemäß dem Auswahlkriterium diejenigen Bildpunkte zur Bestimmung der Farbtemperatur ausgewählt, welche innerhalb des Hauptfarbraumbereichs liegen. Andernfalls, wenn die Anzahl der Bildpunkte innerhalb des Hauptfarbraumbereichs geringer als die vorgegebene Mindestanzahl ist, werden gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt, welche innerhalb des weiteren Farbraumbereichs liegen, oder – wenn bestimmte Voraussetzungen erfüllt sind – der Weißabgleich wird unabhängig von der Farbtemperatur durchgeführt.
  • Neben dem Hauptfarbraumbereich, welcher um den Ursprung des Farbraums definiert wird und in welchem üblicherweise graue Bildpunkte bei einem Bild ohne Farbstiche erwartet werden, wird somit mindestens ein zusätzlicher Farbraumbereich definiert, in den gegebenenfalls die gesuchten grauen Bildpunkte aufgrund von Farbstichen in dem Bild verschoben worden sein können. Es wird somit zunächst überprüft, ob in dem Hauptfarbraumbereich, in welchem normalerweise graue Bildpunkte erwartet werden, eine vorgegebene Mindestanzahl von Bildpunkten liegt, und falls dieses Kriterium erfüllt ist, werden diese Bildpunkte zur Bestimmung der Farbtemperatur herangezogen. Es kann jedoch aufgrund von stärkeren Farbstichen in dem Bild vorkommen, dass die grauen Bildpunkte von dem Ursprung des Farbraums verschoben worden sind und sich somit in anderen Farbraumbereichen des Farbraums befinden. Dies kann daran erkannt werden, dass innerhalb des Hauptfarbraumbereichs nur wenige Bildpunkte liegen und die Anzahl dieser Punkte geringer als die vorgegebene Mindestanzahl ist. In diesem Falle werden zur Bestimmung der Farbtemperatur die Bildpunkte herangezogen, welche in dem weiteren Farbraumbereich liegen. Das erfindungsgemäße Verfahren „sucht” somit nach den grauen Bildpunkten, welche normalerweise in dem Hauptfarbraumbereich um den Ursprung des Farbraums liegen, die jedoch durch Farbstiche in dem Bild bezüglich des Ursprungs des Farbraums verschoben worden sein können. Auf diese Weise lässt sich die Farbtemperatur des Bildes stets mit großer Genauigkeit und zuverlässig bestimmen, sodass auch der Weißabgleich wirkungsvoll durchgeführt werden kann und auf der Anzeigeeinrichtung eine Bilddarstellung angezeigt werden kann, welche die Umgebung des Kraftfahrzeugs realitätsgetreu abbildet.
  • Bevorzugt werden die Bildpunkte in einen UV-Farbraum oder einen zum UV-Raum isometrischen Farbraum (z. B. HSV-Raum) eingeordnet und als Farbwerte die Chrominanzwerte der Bildpunkte bestimmt, d. h. die U-Werte sowie die V-Werte. Als die Farbtemperatur kann dann ein Mittelwert von U-Werten der ausgewählten Bildpunkte und/oder ein Mittelwert von V-Werten der ausgewählten Bildpunkte bestimmt werden. Dies kann so aussehen, dass die Farbtemperatur des Bildes einerseits durch den Mittelwert von U-Werten der ausgewählten Bildpunkte und andererseits durch den Mittelwert von V-Werten der ausgewählten Bildpunkte repräsentiert wird. Durch eine solche Bestimmung der Farbtemperatur lässt sich zuverlässig erkennen, ob in dem Bild Farbstiche vorhanden sind oder nicht. Ist der Mittelwert von U-Werten der ausgewählten Bildpunkte relativ hoch, so deutet dies auf einen Blaustich in dem Bild hin, während ein hoher Mittelwert der V-Werte der ausgewählten Bildpunkte auf einen roten Farbstich hindeutet. Außerdem hat diese Ausführungsform den Vorteil, dass in dem UV-Farbraum diejenigen Bildpunkte ohne viel Aufwand aufgefunden werden können, welche graue Bildpunkte repräsentieren.
  • In einer Ausführungsform ist vorgesehen, dass beim Durchführen des Weißabgleichs ein Verstärkungsfaktor zumindest eines Farbkanals der Kamera abhängig von der ermittelten Farbtemperatur eingestellt wird. Bevorzugt wird dabei der Verstärkungsfaktor des roten Farbkanals und/oder der Verstärkungsfaktor des blauen Farbkanals der Kamera eingestellt. Insbesondere ist dabei vorgesehen, dass ausschließlich der Verstärkungsfaktor des roten Farbkanals und/oder der Verstärkungsfaktor des blauen Farbkanals abhängig von der Farbtemperatur eingestellt wird, während der grüne Farbkanal der Kamera nicht korrigiert wird. Diese Ausführungsform macht sich die Tatsache zunutze, dass rote Objekte üblicherweise blaue Farbstiche und blaue Objekte rote Farbstiche verursachen, während der grüne Farbkanal nicht so stark durch monochromatische Objekte beeinflusst wird. Der rote Farbkanal der Kamera wird bevorzugt abhängig von den V-Werten der ausgewählten Bildpunkte korrigiert, während der blaue Farbkanal der Kamera vorzugsweise abhängig von den U-Werten der ausgewählten Bildpunkte angepasst wird.
  • Die Kamera ist bevorzugt eine Video-Kamera, mittels welcher eine zeitliche Sequenz von Einzelbildern (so genannten Frames) bereitgestellt wird. Der Weißabgleich kann dann durch iteratives Anpassen des Verstärkungsfaktors zumindest eines Farbkanals über die Einzelbilder hinweg abhängig von der Farbtemperatur des jeweils vorhergehenden Bildes durchgeführt werden. Es erfolgt somit eine Regelung der Farbtemperatur über die Einzelbilder hinweg in einer geschlossenen Regelschleife unter Berücksichtigung der aktuellen Farbtemperatur. Die Einstellung des Verstärkungsfaktors des zumindest einen Farbkanals der Kamera kann beispielsweise so aussehen, dass der Verstärkungsfaktor des jeweiligen Farbkanals, welcher üblicherweise durch die Kamera selbst eingestellt wird, mit einem Anpassungsfaktor korrigiert wird, welcher dem Verstärkungsfaktor beispielsweise aufaddiert wird. Eine von der Kamera separate Steuereinrichtung (beispielsweise ein zentrales Steuergerät) kann diesen Anpassungsfaktor iterativ erhöhen oder verringern, abhängig davon, ob der aktuelle Verstärkungsfaktor zu hoch oder zu gering ist. Dazu kann die Kamera einen Register umfassen, in welchen zu jedem Bild ein Änderungswert (beispielsweise +1 oder –1 oder 0) eingegeben werden kann, um welchen der Anpassungsfaktor geändert werden soll. Der aktuelle Verstärkungsfaktor ergibt sich somit als eine Summe aus dem bisherigen Verstärkungsfaktor einerseits und dem Anpassungsfaktor andererseits, der seinerseits über die Einzelbilder hinweg erhöht oder verringert werden kann.
  • Das iterative Anpassen des Verstärkungsfaktors hat den Vorteil, dass sprunghafte Änderungen der Farbgebung der angezeigten Bilddarstellung verhindert werden und die Farbgebung sehr sanft und gleichmäßig verändert wird.
  • Der Weißabgleich kann mittels einer von der Kamera separaten Steuereinrichtung gesteuert werden, mittels welcher die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung erzeugt wird. Diese Steuereinrichtung kann auch Bilder mehrerer Kameras empfangen und die Bilddarstellung aus den Bildern mehrerer Kameras bereitstellen. Von der Steuereinrichtung können an die Kamera Steuersignale übermittelt werden, aufgrund welcher der Weißabgleich innerhalb der Kamera durchgeführt wird, insbesondere der genannte Verstärkungsfaktor zumindest eines Farbkanals eingestellt wird. Diese Steuerung kann so aussehen, dass von der Steuereinrichtung an die Kamera der aktuelle Änderungswert (+1 oder –1 oder 0) übermittelt wird, um welchen der genannte Anpassungsfaktor des jeweiligen Farbkanalverstärkungsfaktors geändert werden soll. Eine separate Steuereinrichtung verfügt üblicherweise über eine deutlich größere Rechenleistung als die Kamera selbst, sodass die Farbtemperatur des Bildes mit höchster Genauigkeit und sehr schnell ermittelt werden kann.
  • Die Kamera selbst kann ihrerseits auch über einen zusätzlichen Weißabgleichsalgorithmus verfügen, der beispielsweise auf der so genannten Graue-Welt-Hypothese („grey world assumption”) basieren kann. Diese Hypothese besagt, dass die Mittelwerte aller Farbkanäle im Durchschnitt einen grauen Wert ergeben sollen. Innerhalb der Kamera können somit die roten, die grünen und die blauen Farbkomponenten derart beeinflusst werden, dass die Farbmittelwerte aller drei Farbkanäle gleich sind. Innerhalb der Kamera wird jedoch nicht berücksichtigt, dass sich in der abgebildeten Umgebung ein monochromatisches Objekt befinden kann, welches die Farbmittelwerte und somit den Weißabgleichsalgorithmus innerhalb der Kamera beeinflussen kann. Aus diesem Grund erweist es sich als vorteilhaft, wenn die Verstärkungsfaktoren der Farbkanäle zusätzlich durch die externe Steuereinrichtung beeinflusst bzw. angepasst werden, welche die Farbtemperatur des Bildes anhand von grauen Bildpunkten ermittelt und den internen Weißabgleich der Kamera beeinflussen kann.
  • Vorzugsweise wird als Hauptfarbraumbereich ein Bereich definiert, welcher ausschließlich Bildpunkte umfasst, deren Chrominanzwerte folgende Bedingung erfüllen: |U| + |V| < T1, wobei U und V die Chrominanzwerte eines Bildpunkts und T1 einen ersten Grenzwert bezeichnen. Der Hauptfarbraumbereich beinhaltet somit Bildpunkte, deren Chrominanzwerte nach oben begrenzt sind. Innerhalb dieses Bereichs können nämlich üblicherweise graue Bildpunkte erwartet werden.
  • Die obige Bedingung kann alternativ auch folgendermaßen aussehen: -T1 < U < T1 und –T1 < V < T1. Diese vereinfachte Bedingung bedeutet, dass der Hauptfarbraumbereich lediglich Bildpunkte umfasst, deren Chrominanzwerte innerhalb eines um den Ursprung des Farbraums definierten Quadrats liegen.
  • Zusätzlich oder alternativ kann der Hauptfarbraumbereich so eingeschränkt werden, dass er ausschließlich Bildpunkte umfasst, deren Chrominanzwerte folgende Bedingung erfüllen: (U > –T2; V < T2) oder (U < T2; V > –T2).
  • Diese Bedingung bedeutet, dass der Hauptfarbraumbereich ausschließlich Bildpunkte enthält, welche im Wesentlichen in dem zweiten Quadranten oder in dem vierten Quadranten des Farbraums liegen. T2 bezeichnet dabei einen zweiten Grenzwert, welcher ein relativ geringer positiver Wert sein kann oder im Spezialfall auch auf null gesetzt werden kann. Ist T2 gleich null, so wird als Hauptfarbraumbereich ein Bereich definiert, in welchem die Chrominanzwerte eines Bildpunkts entgegengesetzte Vorzeichen aufweisen. Dies bedeutet, dass der U-Wert eines Bildpunkts ein zu seinem V-Wert entgegengesetztes Vorzeichen aufweist. Der Hauptfarbraumbereich liegt somit ausschließlich in dem zweiten und dem vierten Quadranten des Farbraums, nicht jedoch in dem ersten und dem dritten. Diese Ausführungsform basiert auf der Erkenntnis, dass die Bildpunkte, welche in dem ersten oder dem dritten Quadranten des Farbraums liegen, mit sehr hoher Wahrscheinlichkeit zu farbigen Objekten (beispielsweise monochromatischen Objekten) gehören und somit uninteressant für die Bestimmung der Farbtemperatur sind. Mit anderen Worten sind in dem ersten und dem dritten Quadranten mit hoher Wahrscheinlichkeit keine Bildpunkte enthalten, welche durch einen Farbstich verschobenen grauen Bildpunkten entsprechen würden, die zur Bestimmung der Farbtemperatur gesucht werden.
  • Der zumindest eine weitere Farbraumbereich kann ausschließlich innerhalb eines Quadranten des Farbraums liegen. Dieser weitere Farbraumbereich kann beispielsweise durch Achsen des Farbraums einerseits und zusätzlich durch eine vorgegebene Grenzfunktion andererseits begrenzt sein. Somit lassen sich graue Bildpunkte auffinden, welche möglicherweise in dem Farbraum durch Farbstiche in dem Bild verschoben worden sein könnten.
  • Die genannte Grenzfunktion kann beispielsweise so aussehen, dass der weitere Farbraumbereich einerseits durch die Achsen des Farbraums und andererseits durch eine Gerade begrenzt ist, welche die beiden Achsen schneidet. In diesem Falle ist der Farbraumbereich ein dreieckiger Bereich. Alternativ kann die Grenzfunktion auch durch zwei Geraden definiert werden, von denen eine senkrecht zur U-Achse und die andere senkrecht zur V-Achse des Farbraums verläuft. Hier ist der weitere Farbraumbereich ein rechteckiger Bereich.
  • In einer Ausführungsform ist vorgesehen, dass zusätzlich zu dem Hauptfarbraumbereich mindestens zwei voneinander verschiedene weitere Farbraumbereiche definiert werden, von denen einer innerhalb des zweiten Quadranten des Farbraums und der andere innerhalb des vierten Quadranten des Farbraums liegt. Zu jedem dieser Farbraumbereiche kann dann jeweils der maximale Wert aus Beträgen aller Farbwerte (insbesondere aller Chrominanzwerte) des jeweiligen Farbraumbereichs bestimmt werden. Ist die Anzahl der innerhalb des Hauptfarbraumbereichs liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl, so kann abhängig von einem Vergleich der maximalen Werte der weiteren Farbraumbereiche bestimmt werden, welcher der weiteren Farbraumbereiche ausgewählt wird, dessen Bildpunkte der Bestimmung der Farbtemperatur zugrunde gelegt werden. Insbesondere wird dabei derjenige Farbraumbereich ausgewählt, dessen maximaler Farbwert geringer ist als der maximale Farbwert des anderen Farbraumbereichs. Diese Ausführungsform basiert auf der Erkenntnis, dass farbige, beispielsweise monochromatische Objekte üblicherweise höhere Farbwerte verursachen, während die durch Farbstiche beeinflussten grauen Bildpunkte in der Regel geringere Farbwerte aufweisen. Für die Bestimmung der Farbtemperatur ist somit derjenige Quadrant zuverlässiger, welcher relativ geringe Farbwerte aufweist. Sind hingegen hohe Farbwerte vorhanden, so deuten diese eher auf. ein monochromatisches Objekt hin, sodass die Bildpunkte dieses Quadranten nicht für die Bestimmung der Farbtemperatur herangezogen werden können.
  • Es können beispielsweise insgesamt vier voneinander verschiedene weitere Farbraumbereiche definiert werden, welche zusätzlich zu dem Hauptfarbraumbereich dem Algorithmus zugrunde gelegt werden:
    • – ein erster weiterer Farbraumbereich innerhalb des ersten Quadranten des Farbraums, welcher ausschließlich positive U-Werte und positive V-Werte umfasst, ein zweiter weiterer Farbraumbereich innerhalb des zweiten Quadranten, welcher ausschließlich negative U-Werte und positive V-Werte umfasst,
    • – ein dritter weiterer Farbraumbereich innerhalb des dritten Quadranten, welcher ausschließlich negative U-Werte und negative V-Werte umfasst, und
    • – ein vierter weiterer Farbraumbereich innerhalb des vierten Quadranten, welcher ausschließlich positive U-Werte und negative V-Werte umfasst.
  • Ist die Anzahl der innerhalb des Hauptfarbraumbereichs liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl, so kann einer dieser vier weiteren Farbraumbereiche ausgewählt werden, um anhand der Bildpunkte dieses ausgewählten Farbraumbereichs die Farbtemperatur des Bildes zu bestimmen. Abhängig von den momentan herrschenden Bedingungen kann somit der jeweils optimale Farbraumbereich ausgewählt werden, dessen Bildpunkte zur Bestimmung der Farbtemperatur herangezogen werden.
  • Falls innerhalb des Hauptfarbraumbereichs die vorgegebene Mindestanzahl von Bildpunkten liegt, jedoch eine Zeitdauer, für welche die Farbtemperatur außerhalb eines vorgegebenen Sollwertebereichs liegt, einen vorgegebenen Schwellwert überschreitet und/oder sich die Farbtemperatur von dem vorgegebenen Sollwertebereich entfernt, kann vorgesehen sein, dass nicht mehr der Hauptfarbraumbereich zur Bestimmung der Farbtemperatur, sondern der zweite oder der vierte weitere Farbraumbereich ausgewählt wird. Es kann nämlich vorkommen, dass, obwohl innerhalb des Hauptfarbraumbereichs die benötigte Mindestanzahl von Bildpunkten zur Verfügung steht, die Farbtemperatur trotzdem nicht auf den Sollwertebereich geregelt werden kann, weil beispielsweise die grauen Bildpunkte aufgrund eines relativ starken Farbstiches von dem Ursprung des Farbraums in einen der Quadranten verschoben wurden. Dies kann entsprechend erkannt werden, und die Bestimmung der Farbtemperatur kann anhand des zweiten oder des vierten Farbraumbereichs durchgeführt werden.
  • Um zu erkennen, ob das Ergebnis des Weißabgleichs anhand des Hauptfarbraumbereichs befriedigend ist oder nicht, können unterschiedliche Algorithmen angewendet werden: Zum einen kann beispielsweise ein Zähler definiert werden, mit welchem die Anzahl von Iterationen (Anzahl von Einzelbildern) gezählt wird, bei denen die Farbtemperatur außerhalb eines vorgegebenen Sollwertebereichs liegt und somit nicht konvergieren kann. Falls der Zähler einen vorgegebenen Zählergrenzwert überschreitet, kann statt des Hauptfarbraumbereichs der zweite oder der vierte weitere Farbraumbereich ausgewählt und die Bildpunkte dieses ausgewählten Farbraumbereichs der Bestimmung der Farbtemperatur zugrunde gelegt werden. Zum anderen kann auch vorgesehen sein, dass ein Scheinparameter definiert wird, welcher dem genannten Anpassungsfaktor gleichgesetzt wird, jedoch – anders als der Anpassungsfaktor – nicht begrenzt und somit künstlich auch über einen Grenzwert des Anpassungsfaktors hinaus iterativ erhöht bzw. reduziert werden kann. Erreicht dieser Scheinparameter einen vorgegebenen Parametergrenzwert, so kann statt des Hauptfarbraumbereichs der zweite oder der vierte weitere Farbraumbereich ausgewählt und die Bildpunkte dieses ausgewählten Farbraumbereichs der Bestimmung der Farbtemperatur zugrunde gelegt werden.
  • Falls die Anzahl der innerhalb des Hauptfarbraumbereichs liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl ist, kann bestimmt werden, welcher der vier weiteren Farbraumbereiche die größte Anzahl von Bildpunkten beinhaltet. Beinhaltet der zweite oder vierte Farbraumbereich die größte Anzahl von Bildpunkten, so kann einer dieser Farbraumbereiche zur Bestimmung der Farbtemperatur herangezogen werden. Falls jedoch der erste oder der dritte Farbraumbereich die größte Anzahl von Bildpunkten beinhaltet, so kann angenommen werden, dass die Anzahl der grauen Bildpunkte zu gering ist, um zuverlässig die Farbtemperatur zu ermitteln. In diesem Falle unterbleibt bevorzugt die Auswahl eines der Farbraumbereiche für die Bestimmung der Farbtemperatur, und der Weißabgleich wird unabhängig von der Farbtemperatur durchgeführt. In diesem Falle kann auf den Verstärkungsfaktor zumindest eines Farbkanals der Kamera beispielsweise ein Offset-Wert angewendet werden, um dem internen Weißabgleich der Kamera entgegen zu steuern.
  • In einer Ausführungsform ist vorgesehen, dass die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung aus einem Teilbereich des Bildes erzeugt wird und der Bestimmung der Farbtemperatur ausschließlich Bildpunkte des angezeigten Teilbereichs zugrunde gelegt werden. Für die Bestimmung der Farbtemperatur werden somit ausschließlich diejenigen Bildpunkte in Betracht gezogen, welche auf der Anzeigeeinrichtung angezeigt werden und somit zur Erzeugung der Bilddarstellung beitragen. Es können somit Farbstiche in der Bilddarstellung verhindert werden, welche sonst durch hohe Farbwerte von Bildpunkten verursacht werden könnten, die außerhalb des verwendeten Teilbereichs des Bildes liegen.
  • Es kann auch vorgesehen sein, dass zumindest zwei Kameras des Kraftfahrzeugs jeweils ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen und die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung aus jeweiligen Teilbereichen der Bilder erzeugt wird. Dann kann der Weißabgleich der jeweiligen Teilbereiche individuell für jede Kamera durchgeführt werden.
  • Es kann auch vorgesehen sein, dass sich die Teilbereiche der Bilder in einem Überlappungsbereich gegenseitig überlappen. In diesem Fall können zum Durchführen des Weißabgleichs des jeweiligen Teilbereichs die Luminanzwerte des Teilbereichs in dem Überlappungsbereich erfasst werden. Die Größe des Hauptfarbraumbereichs kann dann abhängig von den Luminanzwerten in dem Überlappungsbereich bestimmt werden, insbesondere abhängig von einem Mittelwert der Luminanzwerte in dem Überlappungsbereich. Auf diese Weise wird die Größe des Hauptfarbraumbereichs abhängig von der Helligkeit des Überlappungsbereichs eingestellt und kann somit für unterschiedliche Helligkeitsgrade jeweils optimal festgelegt werden.
  • Alternativ kann auch vorgesehen sein, dass der Hauptfarbraumbereich eine feste, vorgegebene Größe aufweist, welche im Betrieb nicht verändert wird.
  • Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst zumindest eine Kamera zum Bereitstellen von Bildern eines Umgebungsbereichs des Kraftfahrzeugs sowie eine elektronische Steuereinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist. Die Steuereinrichtung kann eine von der Kamera separate Komponente sein oder sie kann alternativ in die Kamera integriert und somit eine interne Steuereinheit der Kamera sein.
  • Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.
  • Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
  • Es zeigen:
  • 1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
  • 2 in schematischer Darstellung ein Blockdiagramm des Kamerasystems, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
  • 3 bis 7 jeweils einen Farbraum, wobei unterschiedliche Farbraumbereiche näher erläutert werden; und
  • 8 bis 10 Flussdiagramme zur Erläuterung eines Verfahrens gemäß einer Ausführungsform der Erfindung.
  • Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3, 4, 5, 6 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind vier Kameras 3, 4, 5, 6 vorgesehen, wobei die Erfindung nicht auf eine solche Anzahl und Anordnung der Kameras 3, 4, 5, 6 beschränkt ist. Es kann grundsätzlich eine beliebige Anzahl von Kameras verwendet werden, welche an unterschiedlichen Stellen des Kraftfahrzeugs 1 angebracht werden können. Alternativ zu einem solchen Multikamerasystem 2 kann auch eine einzige Kamera verwendet werden.
  • Eine erste Kamera 3 ist beispielsweise am vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet. Eine zweite Kamera 4 ist zum Beispiel im Heckbereich angeordnet, etwa am hinteren Stoßfänger oder an einer Heckklappe. Die beiden seitlichen Kameras 5, 6 können zum Beispiel in die jeweiligen Außenspiegel integriert sein. Die Kameras 3, 4, 5, 6 sind mit einer Steuereinrichtung 7 elektrisch gekoppelt, welche wiederum mit einer Anzeigeeinrichtung 8 gekoppelt ist. Die Anzeigeeinrichtung 8 kann ein LCD-Display sein.
  • Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Sequenz von Bildern pro Zeiteinheit aufnehmen und an die Steuereinrichtung 7 übermitteln können. Die Kameras 3, 4, 5, 6 weisen einen großen Öffnungswinkel auf, etwa in einem Wertebereich von 150° bis 200°. Sie können auch so genannte Fischaugenkameras sein.
  • Die Kamera 3 erfasst einen Umgebungsbereich 9 vor dem Kraftfahrzeug 1. Die Kamera 4 erfasst einen Umgebungsbereich 10 hinter dem Kraftfahrzeug 1. Die Kamera 5 erfasst einen seitlichen Umgebungsbereich 11 links neben dem Kraftfahrzeug 1, während die Kamera 6 einen Umgebungsbereich 12 auf der rechten Seite des Kraftfahrzeugs 1 erfasst. Die Kameras 3, 4, 5, 6 stellen Bilder der jeweiligen Umgebungsbereiche 9, 10, 11, 12 bereit und übermitteln diese Bilder an die Steuereinrichtung 7. Wie aus 1 hervorgeht, überlappen sich die abgebildeten Umgebungsbereiche 9, 10, 11, 12 paarweise gegenseitig.
  • Aus den Bildern der Kameras 3, 4, 5, 6 erzeugt die Steuereinrichtung 7 eine Bilddarstellung, welche dann auf der Anzeigeeinrichtung 8 angezeigt wird.
  • In 2 ist in höchst abstrakter Darstellung ein Blockschaltbild des Kamerasystems 2 dargestellt. Die Kameras 3, 4, 5, 6 übermitteln Bilder I3, I4, I5, I6 an die Steuereinrichtung 7. Die Steuereinrichtung 7 erzeugt dann aus jeweiligen Teilbereichen I3', I4', I5'. I6' der Bilder I3, I4, I5, I6 die Bilddarstellung 13, welche auf der Anzeigeeinrichtung 8 dargestellt wird. Diese Bilddarstellung 13 kann beispielsweise eine Draufsichtdarstellung sein, welche das Kraftfahrzeug 1 und seine Umgebung 9, 10, 11, 12 aus einer Vogelperspektive zeigt. Diese Bilddarstellung 13 wird aus den jeweiligen Teilbereichen I3', I4', I5', I6' erzeugt, welche den jeweiligen Umgebungsbereich 9, 10, 11, 12 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigen und welche zu der Bilddarstellung 13 zusammen verarbeitet werden. Das Bild des Kraftfahrzeugs 1 selbst kann dabei in einem Speicher der Steuereinrichtung 7 abgelegt sein.
  • Alternativ können die Kameras 3, 4, 5, 6 an die Steuereinrichtung 7 ausschließlich die Teilbereiche I3', I4', I5', I6' übermitteln, sodass das „Ausschneiden” der Teilbereiche in den Kameras 3, 4, 5, 6 intern durchgeführt wird.
  • Die Steuereinrichtung 7 steuert auch den Weißabgleich der Bilder I3, I4, I5, I6. Der Weißabgleich wird dabei individuell für jede Kamera 3, 4, 5, 6 durchgeführt, sodass die Bilder I3, I4, I5, I6 unabhängig voneinander dem Weißabgleich unterzogen werden. Die Steuerung des Weißabgleichs erfolgt dabei mittels der Steuereinrichtung 7, welche über in 2 dargestellte Steuerleitungen mit den einzelnen Kameras 3, 4, 5, 6 kommuniziert. Diese Datenkommunikation kann auch bidirektional erfolgen.
  • Der Weißabgleich innerhalb der jeweiligen Kamera 3, 4, 5, 6 erfolgt durch Einstellung von Verstärkungsfaktoren der Farbkanäle. Zu jedem Farbkanal, d. h. zum roten Farbkanal, zum grünen Farbkanal sowie zum blauen Farbkanal, ist jeweils ein Verstärkungsfaktor FR, FG, FB definiert, welcher beliebig variiert werden kann. Wie aus 2 hervorgeht, erfolgt die Einstellung der Farbkanäle innerhalb der Kamera 3 mittels Verstärkungsfaktoren FR3, FG3, FB3. Die entsprechenden Verstärkungsfaktoren der anderen Kameras 4, 5, 6 sind in 2 analog bezeichnet.
  • Obwohl nachfolgend ausschließlich der Weißabgleich der Kamera 3 näher erläutert wird, sei an dieser Stelle angemerkt, dass der Weißabgleich der anderen Kameras 4, 5, 6 in analoger Weise durchgeführt wird.
  • Innerhalb der Kamera 3 wird einerseits ein interner Weißabgleich durchgeführt, indem die Kamera 3 selbst die entsprechenden Verstärkungsfaktoren FR3, FG3, FB3 in Abhängigkeit von Farbwerten der Bilder I3 verändert. Dieser lokale Weißabgleich hat sich jedoch als ungenügend erwiesen, sodass ein zusätzlicher Weißabgleich mittels der Steuereinrichtung 7 vorgeschlagen wird. Und zwar ist die Steuereinrichtung 7 dazu ausgelegt, die Farbkanäle der Kamera 3 zu beeinflussen. Im Ausführungsbeispiel ist dabei vorgesehen, dass die Steuereinrichtung 7 ausschließlich den Verstärkungsfaktor FR3 des roten Farbkanals sowie den Verstärkungsfaktor FB3 des blauen Farbkanals beeinflussen kann, nicht jedoch den Verstärkungsfaktor FG3 des grünen Farbkanals.
  • Die Beeinflussung der Verstärkungsfaktoren FR3, FB3 durch die Steuereinrichtung 7 erfolgt derart, dass diesen Verstärkungsfaktoren jeweils ein Anpassungsfaktor aufaddiert wird: FR3 + FRA3 sowie FB3 + FBA3. FRA3, FBA3 bezeichnen dabei die jeweiligen Anpassungsfaktoren. Diese können mittels der Steuereinrichtung 7 variiert werden. Dazu werden in einen Register der Kamera 3 Änderungswerte eingegeben (über die Steuerleitungen), um welche der jeweilige Anpassungsfaktor FRA3, FBA3 geändert werden soll. Die Änderung der Anpassungsfaktoren FRA3, FBA3 kann beispielsweise schrittweise um ±1 oder ±2 erfolgen. Die Änderung der Anpassungsfaktoren FRA3, FBA3 erfolgt dabei mit der gleichen Frequenz, mit welcher auch die Bilder I3 aufgenommen werden. Dies bedeutet, dass zu jedem Einzelbild I3 der Register mit neuen Änderungswerten gespeist werden kann.
  • Die Steuerungseinrichtung 7 kann über die Steuerleitungen die aktuellen Werte der Verstärkungsfaktoren FR3, FB3 sowie die aktuellen Anpassungsfaktoren FRA3, FBA3 auslesen.
  • Die Einstellung der Verstärkungsfaktoren FR3, FB3 erfolgt im Ausführungsbeispiel in Abhängigkeit von einer Farbtemperatur des aktuellen Bildes I3 oder des Teilbereichs I3'. Die Farbtemperatur wird dabei auf der Grundlage von Chrominanzwerten U und V des Bildes I3 bestimmt. insbesondere ist dabei vorgesehen, dass ausschließlich Bildpunkte berücksichtigt werden, die innerhalb des Teilbereichs I3' liegen. Allerdings werden nicht alle Bildpunkte dieses Teilbereichs I3' zur Bestimmung der Farbtemperatur verwendet, sondern lediglich Bildpunkte, die nach einem bestimmten Auswahlkriterium ausgewählt werden und somit zu einem bestimmten Farbraumbereich gehören.
  • In dem beschriebenen Weißabgleichsalgorithmus wird der YUV-Farbraum verwendet. Die Erfindung ist jedoch nicht auf die Verarbeitung der Bildpunkte in diesem Farbraum beschränkt und kann auch in anderen Farbräumen implementiert werden. Insbesondere kann die Erfindung in einem beliebigen, zum YUV-Raum isometrischen Farbraum genutzt werden, beispielsweise dem HSV-Raum.
  • Die Grundidee bei der Durchführung des Weißabgleichs besteht vorliegend darin, dass die Farbtemperatur des Bildes und somit der gegebenenfalls vorhandene Farbstich auf der Basis von grauen Bildpunkten bestimmt werden kann, welche im Idealfall (d. h. ohne Farbstiche) im Bereich des Ursprungs des UV-Farbraums liegen sollten. Als Beispiel von grauen Bildpunkten sei an dieser Stelle beispielsweise eine Abbildung der grauen Straßenoberfläche genannt, welche üblicherweise eine graue Farbgebung aufweist. Im Normalfall sollten somit stets graue Bildpunkte im Bereich des Ursprungs des UV-Farbraums vorliegen. Aufgrund eines Farbstichs kann es jedoch dazu kommen, dass die Farbgebung der grauen Bildpunkte künstlich durch die Kamera 3 verändert wird und diese Bildpunkte in dem UV-Farbraum von dem Ursprung weg verschoben werden. Dies kann beispielsweise dann der Fall sein, wenn in dem Bild I3 eine größere Fläche mit einer monochromatischen Farbgebung abgebildet ist, wie beispielsweise eine größere Rasenfläche oder aber ein größeres monochromatisches Objekt. In diesem Falle verursacht diese monochromatische Oberfläche einen Farbstich und somit eine Verschiebung der grauen Bildpunkte im UV-Farbraum. Im vorliegenden Verfahren wird somit vorgeschlagen, die grauen Bildpunkte im UV-Farbraum aufzufinden und anhand dieser grauen Bildpunkte dann die Farbtemperatur des Bildes I3 zu bestimmen.
  • Weil, wie oben beschrieben, die grauen Bildpunkte grundsätzlich im Bereich des Ursprungs des UV-Farbraums liegen sollten, wird zunächst ein Hauptfarbraumbereich um den Ursprung des UV-Farbraums definiert, in welchem normalerweise graue Bildpunkte bei einem Bild ohne Farbstiche erwartet werden sollen.
  • Bezug nehmend nun auf 3 wird ein Hauptfarbraumbereich 20 um den Ursprung 21 des UV-Farbraums definiert. Dieser Hauptfarbraumbereich 20 wird so definiert, dass zu diesem Bereich alle Bildpunkte gehören, welche folgende Bedingungen erfüllen: |U| + |V| < T1 sowie (U > –T2; V < T2) oder (U < T2; V > –T2), wobei U, V die Chrominanzwerte der Bildpunkte, T1 einen ersten Grenzwert und T2 einen zweiten Grenzwert bezeichnen, wobei vorzugsweise gilt: T2 < T1. Der zweite Grenzwert T2 wird dabei vorzugsweise auf einen relativ geringen Wert eingestellt, wobei im Spezialfall gilt: T2 = 0. Dies bedeutet dann, dass zu dem Hauptfarbraumbereich 20 nur diejenigen Bildpunkte gehören, deren Chrominanzwerte entgegengesetzte Vorzeichen aufweisen. Dies beruht auf der Erkenntnis, dass graue Bildpunkte üblicherweise in dem zweiten und dem vierten Quadranten Q2, Q4 liegen sollten, während die im ersten und dritten Quadranten Q1, Q3 liegenden Bildpunkte in der Regel zu echten, farbigen Objekten gehören.
  • Alternativ kann der Hauptfarbraumbereich 20 auch entsprechend der 4 definiert werden. Die oben genannte erste Bedingung wird dabei durch folgende Bedingung ersetzt: –T1 < U < T1 sowie –T1 < V < T1. Die oben genannte zweite Bedingung bleibt dabei gleich, wie dies in 4 mit dem zweiten Grenzwert T2 angedeutet ist.
  • Der erste Grenzwert T1 kann dabei beispielsweise 10 betragen. Es ist aber auch möglich, diesen ersten Grenzwert T1 in Abhängigkeit von den Luminanzwerten der Bildpunkte des Bildes I3 in den Überlappungsbereichen 9/11 sowie 9/12 festzulegen, wie sie in 1 dargestellt sind. Ist beispielsweise Y1 der Mittelwert von Luminanzwerten des Bildes I3 in dem Überlappungsbereich 9/11 und Y2 der Mittelwert der Luminanzwerte des Bildes I3 im Überlappungsbereich 9/12, so kann der erste Grenzwert T1 gemäß der folgenden Gleichung eingestellt werden: T1 = k(Y1 + Y2), wobei k einen zu bestimmenden Parameter bezeichnet, der in einem Wertebereich von 0,1 bis 0,3 liegen kann.
  • Zusätzlich zu dem Hauptfarbraumbereich 20 werden auch vier weitere Farbraumbereiche 22, 23, 24, 25 definiert, wie sie zum Beispiel in 5 dargestellt sind. Der erste weitere Farbraumbereich 22 liegt dabei ausschließlich im ersten Quadranten Q1, während der zweite Farbraumbereich 23 im zweiten Quadranten Q2, der dritte Farbraumbereich 24 im dritten Quadranten Q3 und vierte weitere Farbraumbereich 25 im vierten Quadranten Q4 liegen. Die weiteren Farbraumbereiche 22, 23, 24, 25 sind somit einerseits durch die beiden Achsen des UV-Farbraums und andererseits jeweils durch eine Grenzfunktion 26 begrenzt. Diese Grenzfunktion 26 kann nun auf unterschiedliche Weise definiert werden.
  • Ein Beispiel der Grenzfunktion 26 ist in 5 dargestellt. Der erste weitere Farbraumbereich 22 ist dabei so definiert, dass dieser Farbraumbereich 22 ausschließlich Bildpunkte beinhaltet, die folgende Bedingungen erfüllen: U > 0 und V > 0 sowie |U| + |V| < T3 wobei T3 einen dritten Grenzwert bezeichnet, der größer als T2 ist.
  • Entsprechend gehören zum zweiten weiteren Farbraumbereich 23 ausschließlich diejenigen Bildpunkte, welche folgende Bedingungen erfüllen: U < 0 und V > 0 sowie |U| + |V| < T3.
  • Zum dritten weiteren Farbraumbereich 24 gehören ausschließlich Bildpunkte, welche folgende Bedingungen erfüllen: U < 0 und V < 0 sowie |U| + |V| < T3.
  • Schließlich gehören zum vierten weiteren Farbraumbereich 25 ausschließlich Bildpunkte, welche folgende Bedingungen erfüllen: U > 0 und V < 0 sowie |U| + |V| < T3.
  • Ein weiteres Beispiel für die weiteren vier Farbraumbereiche 22 bis 25 ist in 6 dargestellt. Die weiteren Farbraumbereiche 22 bis 25 sind hier quadratische Bereiche, welche in dem jeweiligen Quadranten Q1, Q2, Q3, Q4 liegen.
  • Ein noch weiteres Beispiel ist in 7 dargestellt. Hier sind die weiteren Farbraumbereiche 22 bis 25 durch eine gemeinsame Grenzfunktion 26 begrenzt, welche die Form eines Kreises aufweist. Das Zentrum dieses Kreises 26 befindet sich im Ursprung 21 des UV-Farbraums, während der Radius gleich T3 ist.
  • Nun wird entschieden, welcher der Farbraumbereiche 20, 22, 23, 24, 25 zur Bestimmung der Farbtemperatur ausgewählt wird. Die in diesem ausgewählten Farbraumbereich liegenden Bildpunkte werden dann der Bestimmung der Farbtemperatur zur Durchführung des Weißabgleichs zugrunde gelegt. Dabei ist insbesondere vorgesehen, dass die Farbtemperatur entweder anhand des Hauptfarbraumbereichs 20 oder anhand der Farbraumbereiche 23 oder 25 bestimmt wird, während die Farbraumbereiche 22, 24 nur dazu genutzt werden, um bestimmte Kriterien zu überprüfen, wie weiter unten näher beschrieben wird.
  • Wird einer der Farbraumbereiche 20, 22 bis 25 ausgewählt, so werden seine Bildpunkte zur Bestimmung der Farbtemperatur verwendet. Die Bestimmung der Farbtemperatur erfolgt derart, dass aus allen U-Werten des ausgewählten Farbraumbereiches ein Mittelwert berechnet wird, der nachfolgend mit UC bezeichnet wird. Des Weiteren wird aus allen V-Werten des ausgewählten Farbraumbereiches ein Mittelwert berechnet, der nachfolgend mit VC bezeichnet wird. Die Farbtemperatur wird somit durch ein Wertepaar UC, VC repräsentiert.
  • Wird der Hauptfarbraumbereich 20 ausgewählt, so wird der Weißabgleich folgendermaßen durchgeführt:
    Falls UC größer als ein vorgegebener Grenzwert TBL ist, wird der Anpassungsfaktor FBA3 des blauen Farbkanals der Kamera 3 beispielsweise um 2 verringert. Falls jedoch der Wert UC größer als ein Grenzwert TBS ist, der wiederum kleiner als der obige Grenzwert TBL ist, sodass TBS < UC < TBL, dann wird der Anpassungsfaktor FBA3 des blauen Farbkanals nur um 1 verringert. Ansonsten wird der Anpassungsfaktor konstant gehalten.
  • Falls andererseits der Wert UC geringer als –TBL ist, dann wird der Anpassungsfaktor FBA3 um 2 erhöht. Entsprechend wird der Anpassungsfaktor FBA3 nur um 1 erhöht, wenn gilt: –TBL < UC < –TBS.
  • Entsprechendes kann auch für den Anpassungsfaktor FRA3 des roten Farbkanals gelten: Falls der Wert VC größer als ein Grenzwert TRL ist, kann der Anpassungsfaktor FRA3 um 2 verringert werden. Ist der Wert VC kleiner als TRL, jedoch größer als ein geringerer Grenzwert TRS, dann wird der Anpassungsfaktor FBA3 um 1 reduziert. Ansonsten wird der Anpassungsfaktor konstant gehalten.
  • In analoger Weise wird der Anpassungsfaktor FRA3 um 2 erhöht, falls VC < –TRL. Schließlich wird der Anpassungsfaktor FRA3 um 1 erhöht, falls –TRL < VC < –TRS.
  • Die genannten Grenzwerte können wie folgt eingestellt werden: TBL = TRL = 4 und TBS = TRS = 1,5.
  • Die oben genannte Anpassung beruht darauf, dass die U-Werte der Bildpunkte proportional zum blauen Farbkanal (im RGB-Farbraum) sind, während die V-Werte proportional zum roten Farbkanal sind.
  • Für die weiteren Farbräume 22 bis 25 – falls einer dieser Farbräume ausgewählt wird – können die Grenzwerte TBL, TRL, TBS, TRS entsprechend angepasst werden.
  • Für die Anpassungsfaktoren FRA3, FBA3 können auch Grenzwerte definiert werden, welche nicht überschritten/unterschritten werden dürfen. Maximal zulässige Anpassungswerte können beispielsweise 16 und –16 für positive respektive negative Werte betragen. Der Grund hierfür ist, dass starke Änderungen der Verstärkungsfaktoren FR3, FB3 vermieden werden sollen. Dies wird als Kompromiss zwischen der Stabilität des gesamten Algorithmus einerseits und der Leistung des Algorithmus andererseits betrachtet.
  • Um den Farbstich des Bildes I3 zu verhindern, werden die Anpassungsfaktoren FRA3, FBA3 iterativ über die Einzelbilder hinweg geändert, bis die ermittelte Farbtemperatur UC, VC in einem vorgegebenen Sollwertebereich um den Nullwert liegt. Dieser Sollwertebereich kann beispielsweise zwischen –1,5 und 1,5 liegen.
  • Jedoch können auch Fälle auftreten, in denen die Anpassungsfaktoren FRA3, FBA3 bereits die maximal zulässigen Werte 16 oder –16 erreicht haben und die Farbtemperatur UC, VC immer noch außerhalb des Sollwertebereichs liegt, was bedeutet, dass immer noch ein deutlicher Farbstich gegeben ist. Um dies festzustellen, wird zusätzlich ein Scheinparameter (quasi als Zähler) definiert, der gleich dem Anpassungsfaktor ist, jedoch auch die oben genannten maximal zulässigen Werte 16 und –16 überschreiten respektive unterschreiten kann. Für den Anpassungsfaktor FRA3 wird ein Scheinparameter FRAS3 definiert; für den Anpassungsfaktor FBA3 wird ein Scheinparameter FBAS3 definiert. Die Bedeutung dieser Scheinparameter wird weiter unten näher beschrieben.
  • Es kann auch vorkommen, dass in dem Hauptfarbraumbereich 20 nicht genügend graue Bildpunkte vorliegen, weil diese in einen anderen Farbraumbereich verschoben wurden oder einfach gar nicht vorhanden sind, weil zum Beispiel in dem Bild I3 ausschließlich ein sehr großes Rasenfeld abgebildet ist.
  • Um eine Abhilfe in den beiden genannten Fällen zu schaffen, werden die genannten weiteren Farbraumbereiche 22 bis 25 definiert.
  • Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf die Flussdiagramme in den 8 bis 10 näher erläutert.
  • Es werden besondere Kriterien eingeführt, anhand welcher einer der Farbraumbereiche 20, 22, 23, 24, 25 für die Bestimmung der Farbtemperatur ausgewählt wird. Da, wie oben beschrieben, davon ausgegangen wird, dass in den Quadranten Q1 und Q3 höchstwahrscheinlich Bildpunkte vorhanden sind, die zu farbigen Objekten gehören und keine verschobenen grauen Bildpunkte darstellen, wird vorgeschlagen, diese Farbraumbereiche 22, 24 von der Bestimmung der Farbtemperatur auszuschließen und, falls die Mehrheit der Bildpunkte zu einem dieser beiden Farbraumbereiche 22 oder 24 gehört, einen vorgegebenen Offset-Wert auf den entsprechenden Verstärkungsfaktor FR3 oder FB3 anzuwenden.
  • Gemäß 8 beginnt das Verfahren in einem ersten Schritt S1, in welchem für jeden Farbraumbereich 20, 22, 23, 24, 25 jeweils ein Mittelwert aus allen U-Werten sowie ein Mittelwert aus allen V-Werten des jeweiligen Farbraumbereichs 20, 22, 23, 24, 25 berechnet wird. Für jeden Farbraumbereich 20, 22, 23, 24, 25 werden somit die Werte UC und VC berechnet.
  • In einem weiteren Schritt S2 wird dann überprüft, ob innerhalb des Hauptfarbraumbereichs 20 eine für die Bestimmung der Farbtemperatur benötigte Mindestanzahl TN0 von Bildpunkten gegeben sind oder nicht. Mit anderen Worten wird überprüft, ob eine tatsächliche Anzahl N0 der Bildpunkte innerhalb des Hauptfarbraumbereichs 20 größer als oder gleich einer Mindestanzahl TN0 ist oder nicht. Ist dies der Fall, so geht das Verfahren zu einem Schritt S3 über; andernfalls geht das Verfahren zu einem Schritt S4 über.
  • Im Rahmen des Schritts S3 werden weitere Schritte durchgeführt, welche anhand des Flussdiagramms gemäß 9 beschrieben werden. Ist das Kriterium gemäß Schritt S2 erfüllt, so wird zunächst gemäß Schritt S301 überprüft, ob der Betrag des Scheinparameters FRAS3 kleiner als ein vorgegebener Grenzwert (beispielsweise 24) und der Betrag des Scheinparameters FBAS3 kleiner als ein Grenzwert (beispielsweise 24) ist. Sind beide Kriterien erfüllt, so bedeutet dies, dass eine ausreichende Anzahl von Bildpunkten in dem Hauptfarbraumbereich 20 vorliegt, und es wird angenommen, dass der Farbstich UC und VC wieder in seine normale (reguläre) Grenzen innerhalb des Hauptfarbraumbereichs 20 verschoben wurde. In diesem Falle wird die Schätzung der Farbtemperatur gemäß Schritt S303 ausschließlich unter Verwendung der Bildpunkte aus dem Hauptfarbraumbereich 20 durchgeführt, und die Parameter FBAS3 und FRAS3 werden auf Nullwerte zurückgesetzt.
  • Andernfalls, wenn einer der Scheinparameter FRAS3 oder FBAS3 den Grenzwert in Schritt S301 überschreitet, wird angenommen, dass UC und VC nicht auf der Grundlage der Bildpunkte aus dem Hauptfarbraumbereich 20 korrigiert werden können. Dies bedeutet mit anderen Worten, dass eine vorgegebene Zeit verstrichen ist, für welche die Farbtemperatur UC, VC außerhalb des Sollwertbereichs bleibt, und das Verfahren geht zu einem Schritt S302 und danach entweder zu einem Schritt S305 oder Schritt S306 abhängig vom Schritt S304 über.
  • Wird der Hauptfarbraumbereich 20 nicht zum Weißabgleich verwendet, so werden in dem Schritt S302 die Scheinparameter FRAS3 und FBAS3 auf den jeweiligen Anpassungsfaktor FRA3 respektive FBA3 gesetzt. Dies wird nur dann vorgenommen, falls folgendes Kriterium erfüllt ist: (|VC2 + VC4| + |UC2 + UC4|) < TL, wobei VC2 den Mittelwert der V-Werte innerhalb des zweiten weiteren Farbraumbereichs 23, VC4 den Mittelwert der V-Werte innerhalb des vierten weiteren Farbraumbereichs 25, UC2 den Mittelwert der U-Werte innerhalb des zweiten weiteren Farbraumbereichs 23, UC4 den Mittelwert der U-Werte innerhalb des vierten weiteren Farbraumbereichs 25 und TL einen vorgegebenen Grenzwert bezeichnen.
  • Dann geht das Verfahren zu einem weiteren Schritt S304 über, in welchem entschieden wird, ob die Bildpunkte des zweiten weiteren Farbraumbereichs 23 oder aber die Bildpunkte des vierten weiteren Farbraumbereichs 25 der Bestimmung der Farbtemperatur und somit dem Weißabgleich zugrunde gelegt werden. Dabei wird der maximale Wert aus den Beträgen aller U-Werte (U2) und aller V-Werte (V2) innerhalb des zweiten weiteren Farbraumbereichs 23 bestimmt: Max(|U2|; |V2|). Entsprechend wird auch der maximale Wert aus den Beträgen aller U-Werte (U4) und aller V-Werte (V4) innerhalb des vierten weiteren Farbraumbereichs 25 bestimmt: Max(|U4|; |V4|). Die maximalen Werte werden miteinander verglichen, und es wird derjenige Farbraumbereich 23 oder 25 der Bestimmung der Farbtemperatur zugrunde gelegt, welcher den kleineren maximalen Wert aufweist. Ist das Kriterium gemäß Schritt S304 in 9 erfüllt, so geht das Verfahren zu einem Schritt S305 über, in welchem die Bildpunkte des zweiten weiteren Farbraumbereichs 23 der Bestimmung der Farbtemperatur zugrunde gelegt werden. Andernfalls geht das Verfahren zu einem Schritt 306 über, in welchem der Bestimmung der Farbtemperatur für den Weißabgleich die Bildpunkte des vierten weiteren Farbraumbereichs 25 zugrunde gelegt werden. Dies basiert auf der Tatsache, dass graue Bildpunkte in der Regel geringere Farbwerte als die Bildpunkte von farbigen Objekten aufweisen sollen. Zusätzlich werden die jeweiligen Korrekturen gemäß den Schritten S305 und S306 nur dann durchgeführt, wenn die Anzahl von „grauen Bildpunkten” innerhalb der Bereiche 23 bzw. 25 größer als eine vordefinierte Schwelle TN2 für den Bereich 23 und TN4 für den Bereich 25 ist, wobei bevorzugt gilt: TN2 = TN4. Diese Schwelle TN2, TN4 ist bevorzugt ein wenig kleiner als die Mindestanzahl TN0. Ist dies nicht erfüllt, wird keine Korrektur durchgeführt, damit eine hohe Zuverlässigkeit dieses Korrekturschrittes gewährleistet werden kann.
  • Falls in Schritt S2 gemäß 8 detektiert wird, dass die tatsächliche Anzahl N0 der Bildpunkte innerhalb des Hauptfarbraums 20 kleiner als die Mindestanzahl TN0 ist, geht das Verfahren zum Schritt S4 über, innerhalb dessen mehrere Schritte durchgeführt werden, die anhand des Flussdiagramms gemäß 10 erläutert werden. Gemäß Schritt S401 wird zunächst überprüft, ob der erste oder der dritte Farbraumbereich 22 oder 24 die größte Anzahl von Bildpunkten relativ zu den anderen Farbraumbereichen 23 und 25 beinhaltet. Falls der erste oder der dritte Farbraumbereich 22 oder 24 die größte Anzahl von Bildpunkten umfasst, geht das Verfahren zu einem Schritt S402 über, in welchem der Weißabgleich unabhängig von der Farbtemperatur und somit unabhängig von den Farbraumbereichen durchgeführt wird. Hier wird ein Offset-Wert auf zumindest einen der Verstärkungsfaktoren FR3 und/oder FB3 angewendet, nämlich derart, dass der jeweilige Verstärkungsfaktor FR3 und/oder FB3 in die entgegengesetzte Richtung gesteuert wird, als dies durch die Kamera 3 im Rahmen des internen Weißabgleichs vorgenommen würde. Mit anderen Worten wird dem internen Weißabgleich der Kamera 3 gegengesteuert.
  • Falls jedoch der zweite oder der vierte Farbraumbereich 23 oder 25 die größte Anzahl von Bildpunkten beinhaltet, geht das Verfahren zu einem Schritt S403 über, in welchem überprüft wird, ob die Anzahl N2 von Bildpunkten innerhalb des zweiten Farbraumbereichs 23 größer als oder gleich einer vorgegebenen Mindestanzahl TN2 ist, und des Weiteren, ob die Anzahl N4 von Bildpunkten innerhalb des vierten Farbraumbereichs 25 größer als oder gleich einer vorgegebenen Mindestanzahl TN4 ist, wobei auch gelten kann: TN2 = TN4. Außerdem wird gemäß Schritt S403 überprüft, ob die Beträge der Scheinparameter FRAS3 und FBAS3 nicht zu groß sind, beispielsweise einen Grenzwert von 24 überschreiten. Falls gemäß Schritt S403 festgestellt wird, dass N2 < TN2 und N4 < TN4 oder die Beträge der Scheinparameter FRAS3 oder FBAS3 zu hoch sind, dann geht das Verfahren zu einem Schritt S404 über. Hier werden die beiden Verstärkungsfaktoren FR3 und FB3 iterativ und somit schrittweise über die Einzelbilder hinweg auf den Nullwert zurückgesetzt. Dies erfolgt iterativ, sodass die Verstärkungsfaktoren FR3, FB3 schrittweise inkrementiert oder dekrementiert werden.
  • Ist jedoch zumindest einer der Werte N2, N4 gleich oder größer als die zugeordnete Mindestanzahl TN2, TN4, so geht das Verfahren zu einem Schritt S405 über, in welchem ähnlich wie gemäß Schritt S304 entschieden wird, welcher der weiteren Farbraumbereiche 22 oder 24 der Bestimmung der Farbtemperatur für den Weißabgleich zugrunde gelegt wird. Liegt der maximale Farbwert innerhalb des vierten Farbraumbereichs 25, so wird der zweite Farbraumbereich 23 ausgewählt (Schritt S406). Andernfalls wird der vierte Farbraumbereich 25 ausgewählt (Schritt S407).
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2011/0156887 A1 [0003]
    • EP 2012271 A2 [0003]
    • US 7139412 B2 [0004]
    • WO 2011/082716 A1 [0005]

Claims (18)

  1. Verfahren zum Weißabgleich einer Bilddarstellung (13), welche auf einer Anzeigeeinrichtung (8) eines Kraftfahrzeugs (1) angezeigt wird, wobei mittels zumindest einer Kamera (3, 4, 5, 6) des Kraftfahrzeugs (1) ein Bild (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitgestellt wird und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus zumindest einem Bereich (I3', I4', I5', I6') des Bilds (I3, I4, I5, I6) erzeugt wird, mit den Schritten: – Einordnen von Bildpunkten des Bilds (I3, I4, I5, I6) in einen vorbestimmten Farbraum (U, V) und hierbei Bestimmen von Farbwerten (U, V) der Bildpunkte in dem Farbraum (U, V), – Auswählen einer Untermenge der Bildpunkte nach einem vorgegebenen Auswahlkriterium, – Bestimmen einer Farbtemperatur (UC, VC) des Bilds (I3, I4, I5, I6) anhand der Farbwerte (U, V) der ausgewählten Untermenge der Bildpunkte, – Durchführen des Weißabgleichs abhängig von der Farbtemperatur (UC, VC), dadurch gekennzeichnet, dass in dem vorgegebenen Farbraum (U, V) ein Hauptfarbraumbereich (20) um einen Ursprung (21) des Farbraums (U, V) und zumindest ein von dem Hauptfarbraumbereich (20) verschiedener weiterer Farbraumbereich (22, 23, 24, 25) definiert wird, wobei überprüft wird, ob innerhalb des Hauptfarbraumbereichs (20) eine für die Bestimmung der Farbtemperatur (UC, VC) benötigte vorgegebene Mindestanzahl (TN0) der Bildpunkte liegt, und – in diesem Fall gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb des Hauptfarbraumbereichs (20) liegen, und andernfalls – gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb eines weiteren Farbraumbereichs (22, 23, 24, 25) liegen.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildpunkte in einen UV-Farbraum (U, V) eingeordnet werden und als Farbwerte (U, V) die Chrominanzwerte der Bildpunkte bestimmt werden, wobei als Farbtemperatur (UC, VC) ein Mittelwert von U-Werten der ausgewählten Bildpunkte und/oder ein Mittelwert von V-Werten der ausgewählten Bildpunkte bestimmt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Durchführen des Weißabgleichs umfasst, dass abhängig von der Farbtemperatur (UC, VC) ein Verstärkungsfaktor (FR, FG, FB) zumindest eines Farbkanals (R, G, B) der Kamera (3, 4, 5, 6), insbesondere ein Verstärkungsfaktor (FR) des roten Farbkanals (R) und/oder ein Verstärkungsfaktor (FB) des blauen Farbkanals (B), eingestellt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass mittels der Kamera (3, 4, 5, 6) eine zeitliche Sequenz von Einzelbildern (I3, I4, I5, I6) bereitgestellt wird und der Weißabgleich durch iteratives Anpassen des Verstärkungsfaktors (FR, FG, FB) über die Einzelbilder (I3, I4, I5, I6) hinweg abhängig von der Farbtemperatur (UC, VC) des jeweils vorhergehenden Bilds (I3, I4, I5, I6) durchgeführt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Weißabgleich mittels einer von der Kamera (3, 4, 5, 6) separaten Steuereinrichtung (7) gesteuert wird, mittels welcher die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) erzeugt wird, wobei von der Steuereinrichtung (7) an die Kamera (3, 4, 5, 6) Steuersignale übermittelt werden, aufgrund deren der Weißabgleich innerhalb der Kamera (3, 4, 5, 6) durchgeführt wird, insbesondere ein Verstärkungsfaktor (FR, FG, FB) zumindest eines Farbkanals (R, G, B) der Kamera (3, 4, 5, 6) eingestellt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als der Hauptfarbraumbereich (20) ein Bereich definiert wird, welcher ausschließlich Bildpunkte umfasst, deren Chrominanzwerte folgende Bedingung erfüllen: |U| + |V| < T1, wobei U und V die Chrominanzwerte eines Bildpunkts und T1 einen ersten Grenzwert bezeichnen.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als der Hauptfarbraumbereich (20) ein Bereich definiert wird, welcher ausschließlich Bildpunkte umfasst, deren Chrominanzwerte folgende Bedingung erfüllen: (U > –T2; V < T2) oder (U < T2; V > –T2), wobei U und V die Chrominanzwerte eines Bildpunkts und T2 einen zweiten Grenzwert bezeichnen.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine weitere Farbraumbereich (22, 23, 24, 25) ausschließlich innerhalb eines Quadranten (Q1, Q2, Q3, Q4) des Farbraums (U, V) liegt, insbesondere durch Achsen des Farbraums (U, V) einerseits und zusätzlich durch eine vorgegebene Grenzfunktion (26) andererseits begrenzt ist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu dem Hauptfarbraumbereich (20) zwei voneinander verschiedene weitere Farbraumbereiche (23, 25) definiert werden, von denen einer innerhalb des zweiten Quadranten (Q2) des Farbraums (U, V) und der andere innerhalb des vierten Quadranten (Q4) des Farbraums (U, V) liegt, und dass zu diesen weiteren Farbraumbereichen (23, 25) jeweils der maximale Wert aus den Beträgen aller Farbwerte (U, V) des jeweiligen weiteren Farbraumbereichs (23, 25) bestimmt wird, wobei falls die Anzahl (N0) der innerhalb des Hauptfarbraumbereichs (20) liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl (TN0) ist, abhängig von einem Vergleich der maximalen Werte der weiteren Farbraumbereiche (23, 25) bestimmt wird, welcher der weiteren Farbraumbereiche (23, 25) ausgewählt wird, dessen Bildpunkte der Bestimmung der Farbtemperatur (UC, VC) zugrunde gelegt werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu dem Hauptfarbraumbereich (20) insgesamt vier voneinander verschiedene weitere Farbraumbereiche (22, 23, 24, 25) definiert werden: – ein erster weiterer Farbraumbereich (22) innerhalb des ersten Quadranten (Q1) des Farbraums (U, V), welcher ausschließlich positive U-Werte und positive V-Werte umfasst, – ein zweiter weiterer Farbraumbereich (23) innerhalb des zweiten Quadranten (Q2) des Farbraums (U, V), welcher ausschließlich negative U-Werte und positive V-Werte umfasst, – ein dritter weiterer Farbraumbereich (24) innerhalb des dritten Quadranten (Q3) des Farbraums (U, V), welcher ausschließlich negative U-Werte und negative V-Werte umfasst, und – ein vierter weiterer Farbraumbereich (25) innerhalb des vierten Quadranten (Q4) des Farbraums (U, V), welcher ausschließlich positive U-Werte und negative V-Werte umfasst, wobei falls die Anzahl (N0) der innerhalb des Hauptfarbraumbereichs (20) liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl (TN0) ist, einer der vier weiteren Farbraumbereiche (22, 23, 24, 25) ausgewählt wird, dessen Bildpunkte der Bestimmung der Farbtemperatur (UC, VC) zugrunde gelegt werden.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass mittels der Kamera (3, 4, 5, 6) eine zeitliche Sequenz von Einzelbildern (I3, I4, I5, I6) bereitgestellt wird und der Weißabgleich iterativ über die Einzelbilder (I3, I4, I5, I6) hinweg durchgeführt wird, wobei falls innerhalb des Hauptfarbraumbereichs (20) die vorgegebene Mindestanzahl (TN0) von Bildpunkten liegt, jedoch eine Zeitdauer, für welche die Farbtemperatur (UC, VC) außerhalb eines vorgegebenen Sollwertebereichs liegt, einen vorgegebenen Schwellwert überschreitet und/oder sich die Farbtemperatur (UC, VC) von dem vorgegebenen Sollwertebereich entfernt, der zweite oder der vierte weitere Farbraumbereich (23, 25) ausgewählt wird und die Bildpunkte dieses ausgewählten Farbraumbereichs (23, 25) der Bestimmung der Farbtemperatur (UC, VC) zugrunde gelegt werden.
  12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass falls die Anzahl (N0) der innerhalb des Hauptfarbraumbereichs (20) liegenden Bildpunkte geringer als die vorgegebene Mindestanzahl (TN0) ist, bestimmt wird, welcher der vier weiteren Farbraumbereiche (22, 23, 24, 25) die größte Anzahl von Bildpunkten beinhaltet.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass falls der zweite oder der vierte weitere Farbraumbereich (23, 25) die größte Anzahl von Bildpunkten beinhaltet, einer dieser Farbraumbereiche (23, 25) ausgewählt wird und die Bildpunkte dieses ausgewählten Farbraumbereichs (23, 25) der Bestimmung der Farbtemperatur (UC, VC) zugrunde gelegt werden.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass falls der erste oder der dritte weitere Farbraumbereich (22, 24) die größte Anzahl von Bildpunkten beinhaltet, die Auswahl eines der Farbraumbereiche (22, 23, 24, 25) für die Bestimmung der Farbtemperatur (UC, VC) unterbleibt und der Weißabgleich unabhängig von der Farbtemperatur (UC, VC) durchgeführt wird.
  15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus einem Teilbereich (I3', I4', I5', I6') des Bilds (I3, I4, I5, I6) erzeugt wird und der Bestimmung der Farbtemperatur (UC, VC) ausschließlich Bildpunkte des angezeigten Teilbereichs (I3', I4', I5', I6') zugrunde gelegt werden.
  16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest zwei Kameras (3, 4, 5, 6) des Kraftfahrzeugs (1) jeweils ein Bild (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitstellen und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus jeweiligen Teilbereichen (I3', I4', I5', I6') der Bilder (I3, I4, I5, I6) erzeugt wird, wobei der Weißabgleich der jeweiligen Teilbereiche (I3', I4', I5', I6') individuell für jede Kamera (3, 4, 5, 6) durchgeführt wird.
  17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest zwei Kameras (3, 4, 5, 6) des Kraftfahrzeugs (1) jeweils ein Bild (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitstellen und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus jeweiligen Teilbereichen (I3', I4', I5', I6') der Bilder (I3, I4, I5, I6) erzeugt wird, wobei sich die Teilbereiche (I3', I4', I5', I6') der Bilder in einem Überlappungsbereich gegenseitig überlappen, und wobei zum Durchführen des Weißabgleichs des jeweiligen Teilbereichs (I3', I4', I5', I6') Luminanzwerte (Y) des Teilbereichs (I3', I4', I5', I6') in dem Überlappungsbereich erfasst werden und die Größe (T1) des Hauptfarbraumbereichs (20) abhängig von den Luminanzwerten (Y) bestimmt wird.
  18. Kamerasystem (2) für ein Kraftfahrzeug (1), mit zumindest einer Kamera (3, 4, 5, 6) zum Bereitstellen von Bildern (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1), und mit einer Steuereinrichtung (7), welche dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
DE102013001644.4A 2013-01-31 2013-01-31 Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug Pending DE102013001644A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013001644.4A DE102013001644A1 (de) 2013-01-31 2013-01-31 Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
PCT/EP2014/051614 WO2014118167A1 (en) 2013-01-31 2014-01-28 Method for white balance of an image presentation and camera system for a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013001644.4A DE102013001644A1 (de) 2013-01-31 2013-01-31 Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102013001644A1 true DE102013001644A1 (de) 2014-07-31

Family

ID=50064559

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013001644.4A Pending DE102013001644A1 (de) 2013-01-31 2013-01-31 Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug

Country Status (2)

Country Link
DE (1) DE102013001644A1 (de)
WO (1) WO2014118167A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027560A1 (en) * 2010-04-07 2013-01-31 Ulrich Seger Color mask for an image sensor of a vehicle camera
DE102014116414A1 (de) * 2014-11-11 2016-05-12 Connaught Electronics Ltd. Verfahren zum Korrigieren eines Bilds, Kamerasystem und Kraftfahrzeug
CN114584752A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 图像颜色还原方法及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742850B2 (en) * 2017-04-17 2020-08-11 Canon Kabushiki Kaisha Image processing apparatus and control method thereof for white balance adjustment
CN114630095B (zh) * 2022-03-15 2024-02-09 锐迪科创微电子(北京)有限公司 目标场景图像的自动白平衡方法及装置、终端
US11743438B1 (en) * 2022-03-24 2023-08-29 Connaught Electronics Ltd. Method for reducing a color shift of image pixels of an image for a motor vehicle captured by a camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139412B2 (en) 2001-04-24 2006-11-21 Matsushita Electric Industrial Co., Ltd. Image synthesis display method and apparatus for vehicle camera
EP2012271A2 (de) 2007-07-02 2009-01-07 Nissan Motor Co., Ltd. Bildverarbeitungssystem und -verfahren
US20100321523A1 (en) * 2006-08-24 2010-12-23 Igor Subbotin Method, apparatus, and system for selecting pixels for automatic white balance processing
US20110156887A1 (en) 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
WO2011082716A1 (en) 2010-01-08 2011-07-14 Valeo Schalter Und Sensoren Gmbh Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
WO2011124406A1 (de) * 2010-04-07 2011-10-13 Robert Bosch Gmbh Farbmaske für einen bildsensor einer fahrzeugkamera
US20120288145A1 (en) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377702B1 (en) * 1999-12-08 2002-04-23 Sony Corporation Color cast detection and removal in digital images
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
US8493514B2 (en) * 2007-07-16 2013-07-23 Lg Electronics Inc. Apparatus for controlling color temperature

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139412B2 (en) 2001-04-24 2006-11-21 Matsushita Electric Industrial Co., Ltd. Image synthesis display method and apparatus for vehicle camera
US20100321523A1 (en) * 2006-08-24 2010-12-23 Igor Subbotin Method, apparatus, and system for selecting pixels for automatic white balance processing
EP2012271A2 (de) 2007-07-02 2009-01-07 Nissan Motor Co., Ltd. Bildverarbeitungssystem und -verfahren
US20110156887A1 (en) 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
WO2011082716A1 (en) 2010-01-08 2011-07-14 Valeo Schalter Und Sensoren Gmbh Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
WO2011124406A1 (de) * 2010-04-07 2011-10-13 Robert Bosch Gmbh Farbmaske für einen bildsensor einer fahrzeugkamera
US20120288145A1 (en) * 2011-05-12 2012-11-15 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027560A1 (en) * 2010-04-07 2013-01-31 Ulrich Seger Color mask for an image sensor of a vehicle camera
US9883148B2 (en) * 2010-04-07 2018-01-30 Robert Bosch Gmbh Color mask for an image sensor of a vehicle camera
DE102014116414A1 (de) * 2014-11-11 2016-05-12 Connaught Electronics Ltd. Verfahren zum Korrigieren eines Bilds, Kamerasystem und Kraftfahrzeug
CN114584752A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 图像颜色还原方法及相关设备
CN114584752B (zh) * 2020-11-30 2024-02-02 华为技术有限公司 图像颜色还原方法及相关设备

Also Published As

Publication number Publication date
WO2014118167A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
DE102013001644A1 (de) Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
DE102015116599B4 (de) Elektronische Vorrichtung und Verfahren zum Steuern ihrer Kameras
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP2623374A1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE112010003914T5 (de) Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug
DE102013012810A1 (de) Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
DE102017201286A1 (de) Vorrichtung, system und verfahren zum steuern der belichtung einer mehrsicht-kamera
DE102012223373A1 (de) Vorrichtung und Verfahren zum Korrigieren einer Bildverzerrung von einer Heckkamera
DE102016116820A1 (de) Vorrichtung zur Korrektur einer Bildverzerrung einer Linse
EP3844943B1 (de) Verfahren zur anzeige eines modells einer umgebung, steuergerät und fahrzeug
EP3711289B1 (de) Verfahren zur automatischen wiederherstellung eines eingemessenen zustands eines projektionssystems
DE102018004829A1 (de) Ermittlung von Vorverzerrungsdaten für eine Projektion und Projektormodul
DE112017006779T5 (de) Kamerasystem einschliesslich objektiv mit vergrösserungsgradient
DE102018118996B4 (de) Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
DE102011010859B4 (de) Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug
DE112014003174T5 (de) Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und nichtflüchtiges computerlesbares Speichermedium
DE102015120967A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
DE102013011844A1 (de) Verfahren zum Anpassen einer Gammakurve eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013020952A1 (de) Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017121916A1 (de) Harmonisierung von Bildrauschen in einer Kameraeinrichtung eines Kraftfahrzeugs
DE102012016865B4 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102012007982A1 (de) Verfahren zum Weißabgleich eines Bildes unter Berücksichtigung der Farbgebung des Kraftfahrzeugs
DE102018113281A1 (de) Verfahren zur Bildharmonisierung, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed