DE102012024661A1

DE102012024661A1 - Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem

Info

Publication number: DE102012024661A1
Application number: DE102012024661.7A
Authority: DE
Inventors: Patrick Eoghan Denny; Brian Michael Thomas Deegan; Vladimir Zlokolica
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-12-17
Filing date: 2012-12-17
Publication date: 2014-06-18
Also published as: WO2014095782A1

Abstract

Die Erfindung betrifft ein Verfahren zum Weißabgleich einer Bilddarstellung (13), welche auf einer Anzeigeeinrichtung (8) eines Kraftfahrzeugs angezeigt wird, wobei mittels zumindest einer Kamera (3, 4, 5, 6) des Kraftfahrzeugs (1) ein Bild (B3, B4, B5, B6) eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt wird und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus einem Teilbereich (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6) erzeugt wird, und wobei zum Durchführen des Weißabgleichs jeweilige Farbwerte von Bildpunkten des Bilds (B3, B4, B5, B6) erfasst werden und für zumindest einen Farbkanal der Bilddarstellung (13) ein Weißabgleichsparameter für den Weißabgleich abhängig von den Farbwerten bestimmt wird, wobei zum Durchführen des Weißabgleichs eine Untermenge von Bildpunkten des Bilds (B3, B4, B5, B6) nach einem vorgegebenen Auswahlkriterium ausgewählt wird, und dass beim Bestimmen des Weißabgleichsparameters für den zumindest einen Farbkanal die Farbwerte ausschließlich der ausgewählten Untermenge von Bildpunkten berücksichtigt werden.

Description

Die Erfindung betrifft ein Verfahren zum Weißabgleich einer Bilddarstellung, welche auf einer Anzeigeeinrichtung eines Kraftfahrzeugs angezeigt wird. Die Bilddarstellung wird aus einem Teilbereich eines Bilds erzeugt, welches mittels einer Kamera des Kraftfahrzeugs bereitgestellt wird. Zum Durchführen des Weißabgleichs werden jeweilige Farbwerte von Bildpunkten des Bilds erfasst, und für zumindest einen Farbkanal der Bilddarstellung wird ein Weißabgleichsparameter für den Weißabgleich abhängig von den Farbwerten bestimmt. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines derartigen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
Verfahren zum Durchführen eines Weißabgleichs eines Bilds sind bereits Stand der Technik. Vorliegend richtet sich das Interesse auf eine Kamera eines Kraftfahrzeugs, welche einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es ist bereits bekannt, an einem Kraftfahrzeug eine Vielzahl von Kameras anzubringen, welche die Umgebung um das Kraftfahrzeug herum erfassen. Auf einem Display des Kraftfahrzeugs kann dann eine Bilddarstellung angezeigt werden, welche auf den Bildern der Kameras beruht. Beispielsweise kann hier das sogenannte „Bird-Eye View” aus den Bildern aller Kameras bereitgestellt werden, also eine Draufsichtdarstellung, welche das Kraftfahrzeug und seine Umgebung aus einer Vogelperspektive zeigt. Eine solche Draufsichtdarstellung wird aus jeweiligen Teilbereichen der Bilder aller Kameras erzeugt, wobei jeweils derjenige Teilbereich des Bildes verwendet wird, welcher den jeweiligen Umgebungsbereich bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug abbildet. Die Erfindung ist jedoch nicht auf die Bereitstellung einer solchen Draufsicht als Bilddarstellung beschränkt. Es können auch andere Arten von Bilddarstellungen aus jeweils einem Teilbereich der Bilder erzeugt werden. An dieser Stelle seien beispielhaft dreidimensionale Ansichten genannt, welche eine Projektion auf eine konkave Oberfläche beinhalten können, wie zum Beispiel auf die Fläche einer Halbkugel, eines Paraboloids, eines Hyperboloids oder eine ähnliche konkave Fläche.
Bei den bekannten Methoden zum automatischen Weißabgleich eines Bilds wird üblicherweise die sogenannte Graue-Welt-Hypothese („grey world assumption”) verwendet, welche besagt, dass die Mittelwerte aller Farbkanäle des Bilds im Durchschnitt einen grauen Wert ergeben sollen. Wird das Bild beispielsweise in dem RGB-Farbraum (rot, grün, blau) betrachtet, so können die roten, die grünen und die blauen Farbkomponenten derart beeinflusst werden, dass die Farbmittelwerte aller drei Farbkanäle gleich sind. Die Farbe des dargestellten Bildes entspricht dann eher der Realität.
Beim Durchführen des Weißabgleichs werden also zunächst die Farbmittelwerte oder Farbmedianwerte aller Farbkanäle berechnet, und die Farbkanäle des Bildes werden dann jeweils mit einem Verstärkungsfaktor (Weißabgleichsparameter) multipliziert, um die Farbmittelwerte der Farbkanäle aneinander anzugleichen. Durch entsprechende Auswahl der Verstärkungsfaktoren der Farbkanäle kann der Weißabgleich somit derart durchgeführt werden, dass die Mittelwerte aller Farbkanäle im Durchschnitt einen grauen Wert ergeben. Diese Vorgehensweise wird als Graue-Welt-Hypothese bezeichnet.
Wie bereits ausgeführt, können an einem Kraftfahrzeug mehrere Kameras angebracht werden, deren Bilder zu einer gemeinsamen Bilddarstellung zusammen verarbeitet werden, die dann auf dem Display angezeigt wird. Als Bilddarstellung kann beispielsweise das oben genannte „Bird-Eye View” erzeugt werden. Gerade in solchen Situationen, in denen lediglich ein Teilbereich des jeweiligen Bilds der Kameras auf dem Display angezeigt wird, stellt die Durchführung des Weißabgleichs eine besondere Herausforderung dar. Werden alle Bildpunkte des Bilds beim Bestimmen der Farbmittelwerte und somit beim Bestimmen der Verstärkungsfaktoren der Farbkanäle für den Weißabgleich der angezeigten Bilddarstellung berücksichtigt, so kann es vorkommen, dass in einem nicht angezeigten Bildbereich des Bilds ein monochromatisches Objekt abgebildet ist, welches dann eine Erhöhung eines der Farbmittelwerte und somit einen Farbstich in der angezeigten Bilddarstellung verursacht. Ein solcher Farbstich führt dann zu einer unnatürlichen Darstellung auf dem Display.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Weißabgleich der Bilddarstellung auf der Anzeigeeinrichtung im Vergleich zum Stand der Technik verbessert werden kann, so dass insbesondere dem Fahrer eine realistische Darstellung der Umgebung auf der Anzeigeeinrichtung im Kraftfahrzeug dargestellt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Weißabgleich einer Bilddarstellung, welche auf einer Anzeigeeinrichtung eines Kraftfahrzeugs angezeigt wird. Mittels zumindest einer Kamera des Kraftfahrzeugs wird ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitgestellt. Die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung wird ausschließlich aus einem Teilbereich des Bilds erzeugt. Zum Durchführen des Weißabgleichs werden jeweilige Farbwerte von Bildpunkten des Bilds erfasst, und für zumindest einen Farbkanal der Bilddarstellung wird ein Weißabgleichsparameter (z. B. der zugehörige Farbkanalverstärkungsfaktor) für den Weißabgleich abhängig von den Farbwerten bestimmt. Zum Durchführen des Weißabgleichs wird eine Untermenge von Bildpunkten des Bilds nach einem vorgegebenen Auswahlkriterium ausgewählt, wobei beim Bestimmen des Weißabgleichsparameters für den zumindest einen Farbkanal die Farbwerte ausschließlich der ausgewählten Untermenge von Bildpunkten berücksichtigt werden.
Zum Durchführen des Weißabgleichs der Bilddarstellung werden somit nicht alle Bildpunkte des erfassten Bilds berücksichtigt, sondern es wird eine Untermenge von Bildpunkten gemäß einem vorgegebenen Auswahlkriterium ausgewählt. Beim Bestimmen des Weißabgleichsparameters (z. B. des genannten Verstärkungsfaktors für einen Farbkanal) werden dann ausschließlich die ausgewählten Bildpunkte berücksichtigt, während die übrigen Bildpunkte unberücksichtigt bleiben. Eine solche Vorgehensweise erweist sich speziell dann als besonders vorteilhaft, wenn aus dem bereitgestellten Bild ausschließlich ein Teilbereich ausgewählt und auf der Anzeigeeinrichtung im Innenraum des Fahrzeugs angezeigt wird, optional zusammen mit anderen Teilbereichen von Bildern, die mittels weiterer Kameras bereitgestellt werden, wie dies beispielsweise bei dem „Bird-Eye View” der Fall ist. Durch das erfindungsgemäße Verfahren kann verhindert werden, dass monochromatische Objekte, die in dem nicht angezeigten Bildbereich abgebildet sind, eine zu große Erhöhung eines Farbmittelwerts oder Farbmedianwerts und somit einen Farbstich in der angezeigten Bilddarstellung verursachen. Die Auswahl der Bildpunkte für die Bestimmung des Weißabgleichsparameters kann so gezielt vorgenommen werden, dass ausschließlich Farbwerte von relevanten Bildpunkten berücksichtigt werden, welche einen zuverlässigen Weißabgleich ermöglichen. Insgesamt ermöglicht das erfindungsgemäße Verfahren einen im Vergleich zum Stand der Technik verbesserten Weißabgleich der angezeigten Bilddarstellung.
Unter dem Weißabgleichsparameter wird vorzugsweise ein Farbkanalverstärkungsfaktor verstanden, welcher für den zumindest einen Farbkanal der Bilddarstellung anhand von Farbwerten der ausgewählten Untermenge von Bildpunkten bestimmt wird. Ein solcher Verstärkungsfaktor kann auch für alle Farbkanäle der Bilddarstellung separat ermittelt werden. Mit den jeweiligen Verstärkungsfaktoren (Weißabgleichsparametern) können die jeweiligen Farbkanäle der Bilddarstellung so korrigiert werden, dass beispielsweise die jeweiligen Farbmittelwerte oder Farbmedianwerte der Farbkanäle gleich sind (Graue-Welt-Hypothese).
Zum Bestimmen des Weißabgleichsparameters für den zumindest einen Farbkanal wird vorzugsweise ein Farbmittelwert oder Farbmedianwert dieses Farbkanals bestimmt, und zwar aus den Farbwerten der ausgewählten Untermenge von Bildpunkten. Dieser Farbmittelwert/Farbmedianwert kann dann mit den Farbmittelwerten/Farbmedianwerten der anderen Farbkanäle verglichen werden, und abhängig von diesem Vergleich kann der Weißabgleichsparameter bestimmt werden, mit welchem der Farbkanal korrigiert wird. Die Bestimmung der Farbmittelwerte/Farbmedianwerte kann dabei in einem beliebigen Farbraum durchgeführt werden, so dass die Erfindung nicht auf einen bestimmten Farbraum beschränkt ist. Beispielsweise können die Farbmittelwerte/Farbmedianwert in dem YUV-Farbraum oder aber in dem RGB-Farbraum bestimmt werden.
Die zumindest eine Kamera ist vorzugsweise eine Video-Kamera, welche eine Sequenz von Bildern pro Sekunde bereitstellt. Aus diesen Bildern wird jeweils der Teilbereich „ausgeschnitten” und zur Erzeugung der Bilddarstellung für die Anzeigeeinrichtung verwendet. Die Bilddarstellung wird somit in Echtzeit in Form eines Videos aus den jeweils aktuellen Bildern erzeugt. Die Kamera kann beispielsweise eine CCD-Kamera oder eine CMOS-Kamera sein.
Die Untermenge von Bildpunkten wird gemäß einem vorgegebenen Auswahlkriterium ausgewählt. Bei diesem Auswahlkriterium wird vorzugsweise die Position der Bildpunkte in dem Bild berücksichtigt. In einer Ausführungsform ist vorgesehen, dass gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb des Teilbereichs des Bilds liegen, also ausschließlich diejenigen Bildpunkte, welche auf der Anzeigeeinrichtung angezeigt werden oder zur Erzeugung der Bilddarstellung für die Anzeigeeinrichtung beitragen. Beim Bestimmen des Weißabgleichsparameters werden somit ausschließlich die Farbwerte von Bildpunkten berücksichtigt, die innerhalb des Teilbereichs des Bilds liegen, der zur Erzeugung der Bilddarstellung für die Anzeigeeinrichtung verwendet wird. Es werden somit Farbstiche in der Bilddarstellung vermieden, welche sonst durch hohe Farbwerte von Bildpunkten verursacht werden könnten, die außerhalb des verwendeten Teilbereichs des Bilds liegen. Es kann somit eine Bilddarstellung bereitgestellt werden, welche frei von solchen Farbstichen ist und somit eine homogene und einheitliche Farbverteilung aufweist.
Ergänzend oder alternativ können bei dem Auswahlkriterium auch die jeweiligen Farbwerte der Bildpunkte berücksichtigt werden. Dies hat den Vorteil, dass bei der Bestimmung des Weißabgleichsparameters beispielsweise ausschließlich diejenigen Bildpunkte ausgewählt werden können, welche sehr nah an dem Grauwert liegen.
Vorzugsweise werden gemäß dem Auswahlkriterium dabei diejenigen Bildpunkte ausgewählt, deren Farbwerte innerhalb eines vorgegebenen Wertebereiches, insbesondere um den Nullwert, liegen. Beim Bestimmen des Weißabgleichsparameters werden somit ausschließlich Bildpunkte berücksichtigt, deren Farbwertbeträge unterhalb eines vorgegebenen Grenzwertes liegen. Zur Bestimmung des Weißabgleichsparameters bleiben somit Bildpunkte unberücksichtigt, welche relativ hohe Farbwerte aufweisen und somit den Weißabgleichsalgorithmus negativ beeinflussen können. Diese Bildpunkte könnten nämlich die Bestimmung des jeweiligen Farbmittelwerts oder Farbmedianwerts der Farbkanäle unverhältnismäßig beeinflussen und somit zu Farbstichen in der Bilddarstellung führen. Diese Bildpunkte mit zu hohen Farbwerten werden nun herausgefiltert und bleiben somit bei der Bestimmung des Weißabgleichsparameters unberücksichtigt.
In einer Ausführungsform kann vorgesehen sein, dass zumindest eine erste und eine zweite Kamera des Kraftfahrzeugs jeweils ein Bild eines Umgebungsbereiches des Kraftfahrzeugs bereitstellen. Die Bilddarstellung zur Anzeige auf der Anzeigeeinrichtung wird dann aus einem Teilbereich des Bilds der ersten Kamera sowie aus einem Teilbereich des Bilds der zweiten Kamera erzeugt. Zum Bestimmen des Weißabgleichsparameters wird die Untermenge von Bildpunkten nach dem vorgegebenen Auswahlkriterium sowohl aus Bildpunkten des Bilds der ersten Kamera als auch aus Bildpunkten des Bilds der zweiten Kamera ausgewählt. Bei der Bestimmung des Weißabgleichsparameters für die angezeigte Bilddarstellung werden somit Bildpunkte der beiden Bilder berücksichtigt, und zwar ausschließlich diejenigen Bildpunkte, welche gemäß dem genannten Auswahlkriterium aus dem Bild der ersten Kamera sowie aus dem Bild der zweiten Kamera ausgewählt werden. Es kann somit eine Bilddarstellung bereitgestellt werden, welche eine einheitliche und realitätstreue Farbverteilung ohne Farbsprünge und ohne Farbstiche aufweist.
Werden zur Bestimmung des Weißabgleichsparameters ausschließlich Bildpunkte aus dem Teilbereich des Bilds verwendet, so kann es vorkommen, dass die Anzahl der ausgewählten Bildpunkte innerhalb der Untermenge relativ gering ist. Dies ist insbesondere dann der Fall, wenn nach dem Auswahlkriterium aus dem Teilbereich des Bilds ausschließlich diejenigen Bildpunkte ausgewählt werden, deren Farbwerte innerhalb des vorgegebenen Wertebereiches um den Nullwert liegen. Ist in dem Teilbereich des Bilds ein großes monochromatisches Objekt abgebildet, so dass die meisten Bildpunkte relativ hohe Farbwerte aufweisen, so beinhaltet die ausgewählte Untermenge lediglich eine geringe Anzahl von Bildpunkten, die dem oben genannten Kriterium genügen. In diesem Falle ist ein zuverlässiger Weißabgleich anhand dieser Untermenge von wenigen Bildpunkten nicht möglich. Aus diesem Grund wird in einer Ausführungsform vorgeschlagen, die Anzahl der ausgewählten Bildpunkte innerhalb der Untermenge zu bestimmen und die Bestimmung eines neuen Werts für den Weißabgleichsparameter anhand der Untermenge von Bildpunkten und somit eine Anpassung des bisherigen Weißabgleichsparameters nur unter der Voraussetzung durchzuführen, dass die Anzahl der ausgewählten Bildpunkte über einem vorgegebenen Grenzwert liegt. Somit wird eine fehlerhafte Berechnung des Weißabgleichsparameters verhindert.
Nun kann es zu einer relativ schwierigen Situation kommen, in welcher im Rahmen des Weißabgleichs eine relativ große Korrektur der Farbkanäle (relativ große Korrektur der Farbtemperatur) durchgeführt wird und sich die abgebildete Szene plötzlich ändert, weil beispielsweise eine Lichtquelle mit einer extremen Farbtemperatur plötzlich ausgeschaltet wird. In der Bilddarstellung entstehen dann Farbstiche, und es ist möglich, dass keiner der Bildpunkte des Teilbereichs dem Auswahlkriterium genügt. In diesem Falle ist die Anzahl der Bildpunkte innerhalb der Untermenge sehr gering und liegt unterhalb des vorgegebenen Grenzwertes. Dies könnte dazu führen, dass die Farbstiche nicht mehr korrigiert werden können, weil die Anpassung des Weißabgleichsparameters unterbleibt. Um eine solche Situation zu verhindern, kann in einer Ausführungsform vorgesehen sein, dass, falls die Anzahl der Bildpunkte innerhalb der ausgewählten Untermenge unterhalb des vorgegebenen Grenzwerts liegt, der bisher eingestellte Wert des Weißabgleichsparameters aufrechterhalten wird oder der Weißabgleichsparameter auf einen vorgegebenen Standardwert (Default-Wert) eingestellt wird. Es kann dabei überprüft werden, ob der bisher eingestellte Weißabgleichsparameter aufrechterhalten werden kann oder aber eine Einstellung des Weißabgleichsparameters auf den vorgegebenen Standardwert erforderlich ist.
Liegt die Anzahl der ausgewählten Bildpunkte unter dem Grenzwert, so wird der Weißabgleichsparameter dann auf den vorgegebenen Standardwert eingestellt, wenn zumindest eine der genannten Voraussetzungen erfüllt ist, insbesondere wenn gleichzeitig die beiden folgenden Voraussetzungen erfüllt sind:

– wenn ein aus Farbwerten aller Bildpunkte des Teilbereichs bestimmter Farbmittelwert oder Farbmedianwert des zumindest einen Farbkanals außerhalb eines vorgegebenen Wertebereichs um den Nullwert liegt, sein Betrag also größer als ein vorgegebener Grenzwert ist und/oder
– wenn der bisher eingestellte Wert des Weißabgleichsparameters (also die Korrektur der Farbtemperatur) größer als ein vorgegebener Grenzwert ist.

Sind die beiden Voraussetzungen erfüllt, so deutet dies darauf hin, dass in der Bilddarstellung Farbstiche vorhanden sind, welche kompensiert werden sollen. In diesem Falle wird der Weißabgleichsparameter (also der Verstärkungsfaktor des zumindest einen Farbkanals) auf den vorgegebenen Standardwert eingestellt, und der Algorithmus kann wieder gestartet werden, weil die Anzahl der ausgewählten Bildpunkte den Grenzwert wieder überschreiten wird. Somit können Farbstiche in der Bilddarstellung kontinuierlich und ohne eine Unterbrechung verhindert werden.
Um Farbstiche in der Bilddarstellung detektieren zu können, können ergänzend oder alternativ zu den oben genannten beiden Kriterien auch andere Kriterien definiert werden. Ein Kriterium kann beispielsweise vorsehen, dass ein Verhältnis zwischen den Verstärkungsfaktoren unterschiedlicher Farbkanäle bestimmt wird. Überschreitet dieses Verhältnis dann einen vorgegebenen Grenzwert, so deutet dies auf Farbstiche in der Bilddarstellung hin. Es ist auch möglich, dass diese Detektion der Farbstiche auch durch Auswertung eines Verstärkungsoffsets der Farbkanäle vorgenommen werden kann.
Auch die Einstellung des Weißabgleichsparameters auf den vorgegebenen Standardwert kann auf unterschiedliche Arten vorgenommen werden. Diese Änderung des Weißabgleichsparameters kann z. B. stufenweise vorgenommen werden, so dass der Weißabgleichsparameter über Zwischenwerte auf den vorgegebenen Standardwert stufenweise eingestellt wird. Auch eine direkte Einstellung auf den Standardwert ist möglich, ohne dass Zwischenwerte verwendet werden.
Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug, mit zumindest einer Kamera zum Bereitstellen eines Bilds eines Umgebungsbereiches des Kraftfahrzeugs, mit einer Bildverarbeitungseinrichtung zum Erzeugen einer Bilddarstellung zur Anzeige auf einer Anzeigeeinrichtung aus einem Teilbereich des Bilds, und mit einer Korrektureinrichtung zum Durchführen eines Weißabgleichs der Bilddarstellung, wobei die Korrektureinrichtung zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
Die Erfindung betrifft des Weiteren ein Kraftfahrzeug mit einem erfindungsgemäßen Kamerasystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
2 in schematischer Darstellung ein Blockdiagramm des Kamerasystems gemäß einer Ausführungsform der Erfindung; und
3 und 4 schematische Darstellungen eines Farbraums, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3, 4, 5, 6 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind dabei vier Kameras 3, 4, 5, 6 vorgesehen, wobei die Erfindung nicht auf eine solche Anzahl und Anordnung der Kameras 3, 4, 5, 6 beschränkt ist. Es kann grundsätzlich eine beliebige Anzahl von Kameras verwendet werden, welche an unterschiedlichen Stellen des Kraftfahrzeug 1 angebracht werden können. Alternativ zu einem solchen Multikamerasystem 2 kann auch eine Stereo-Kamera verwendet werden, welche zwei Bildsensoren umfasst.
Eine erste Kamera 3 ist beispielsweise am vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet. Eine zweite Kamera 4 ist z. B. im Heckbereich angeordnet, etwa am hinteren Stoßfänger oder an einer Heckklappe. Die beiden seitlichen Kameras 5, 6 können z. B. in den jeweiligen Außenspiegel integriert sein. Die Kameras 3, 4, 5, 6 sind mit einer Bildverarbeitungseinrichtung 7 elektrisch gekoppelt, welche wiederum mit einer Anzeigeeinrichtung 8 gekoppelt ist. Die Anzeigeeinrichtung 8 kann ein LCD-Display sein.
Die Kamera 3 erfasst einen Umgebungsbereich 9 vor dem Kraftfahrzeug 1. Die Kamera 4 erfasst einen Umgebungsbereich 10 hinter dem Kraftfahrzeug 1. Die Kamera 5 erfasst einen seitlichen Umgebungsbereich 11 links neben dem Kraftfahrzeug 1, währen die Kamera 6 einen Umgebungsbereich 12 auf der rechten Seite des Kraftfahrzeugs 1 erfasst. Die Kameras 3, 4, 5, 6 stellen Bilder der jeweiligen Umgebungsbereiche 9, 10, 11, 12 bereit und übermitteln diese Bilder an die Bildverarbeitungseinrichtung 7.
Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Sequenz von Bildern pro Zeiteinheit aufnehmen können. Die Kameras 3, 4, 5, 6 können auch sogenannte Fischaugenkameras sein, welche einen relativ breiten Erfassungswinkel bzw. Öffnungswinkel aufweisen, etwa in einem Wertebereich von 150° bis 200°.
Aus den Bildern der Kameras 3, 4, 5, 6 erzeugt die Bildverarbeitungseinrichtung 7 eine Bilddarstellung, welche dann auf der Anzeigeeinrichtung 8 angezeigt wird. Es wird auch der Weißabgleich dieser Bilddarstellung durchgeführt. Der Weißabgleich kann in einer Ausführungsform intern in der Bildverarbeitungseinrichtung 7 vorgenommen werden.
Optional kann die Bildverarbeitungseinrichtung 7 auch in eine der Kameras 3, 4, 5, 6 integriert sein.
In 2 ist in höchst abstrakter Darstellung ein Blockschaltbild des Kamerasystems 2 dargestellt. Die Kameras 3, 4, 5, 6 übermitteln Bilder B3, B4, B5, B6 an die Bildverarbeitungseinrichtung 7. Die Bildverarbeitungseinrichtung 7 erzeugt dann aus jeweiligen Teilbereichen B3', B4', B5', B6' der Bilder B3, B4, B5, B6 die Bilddarstellung 13, welche auf der Anzeigeeinrichtung 8 dargestellt wird. Diese Bilddarstellung 13 kann beispielsweise eine Draufsichtdarstellung sein, welche das Kraftfahrzeug 1 und seine Umgebung 9, 10, 11, 12 aus einer Vogelperspektive zeigt. Diese Bilddarstellung 13 wird aus den jeweiligen Teilbereichen B3', B4', B5', B6' erzeugt, welche den jeweiligen Umgebungsbereich 9, 10, 11, 12 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigen und welche zu der Bilddarstellung 13 zusammen verarbeitet werden.
Alternativ können die Kameras 3, 4, 5, 6 an die Bildverarbeitungseinrichtung 7 ausschließlich die Teilbereiche B3', B4', B5', B6' übermitteln, so dass das „Ausschneiden” der Teilbereiche B3', B4', B5', B6' in den Kameras 3, 4, 5, 6 intern durchgeführt wird.
Die Bilddarstellung 13 wird dann einem Weißabgleich unterzogen. Der Weißabgleich wird mittels einer Korrektureinrichtung 14 durchgeführt, welche auch in die Bildverarbeitungseinrichtung 7 integriert sein kann. Nach Durchführen des Weißabgleichs wird die Bilddarstellung 13 dann an die Anzeigeeinrichtung 8 übermittelt. In 2 ist eine Situation gezeigt, bei welcher der Weißabgleich an der fertigen Bilddarstellung 13 durchgeführt wird. Der Weißabgleich kann jedoch bereits vor der Bereitstellung der Bilddarstellung 13 vorgenommen werden, indem die Teilbereiche B3', B4', B5', B6' dem Weißabgleich unterzogen werden.
Nachfolgend wird die Durchführung des Weißabgleichs der Bilddarstellung 13 näher erläutert. In dem beschriebenen Weißabgleichsalgorithmus wird der YUV-Farbraum verwendet. Die Erfindung ist jedoch nicht auf die Verarbeitung der Bildpunkte in diesem Farbraum beschränkt und kann auch in anderen Farbräumen implementiert werden. Insbesondere kann die Erfindung in einem beliebigen, zum YUV-Raum isometrischen Farbraum genutzt werden (beispielsweise dem HSV-Raum).
Zum Durchführen des Weißabgleichs werden ausschließlich Bildpunkte der Teilbereiche B3', B4', B5', B6' berücksichtigt, welche zur Erzeugung der Bilddarstellung 13 verwendet werden. Die Bildpunkte der restlichen Bildbereiche werden nicht berücksichtigt.
Die Farbwerte jedes Bildpunkts können durch ein Wertepaar (U, V) beschrieben werden. Aus den Bildpunkten der Teilbereiche B3', B4', B5', B6' wird nun eine Untermenge von Bildpunkten ausgewählt, welche einem vorbestimmten Kriterium genügen. Und zwar werden Bildpunkte ausgewählt, deren Farbwerte U, V innerhalb eines vorgegebenen Wertebereiches um den Nullwert liegen, also wenn die beiden folgenden Voraussetzungen erfüllt sind:: –α < U < α und –β < U < β.
Die Grenzwerte α und β können dabei gleiche Werte oder aber voneinander unterschiedliche Werte sein. Die Farbwerte der ausgewählten Bildpunkte werden dann zur Berechnung eines Farbmittelwerts oder Farbmedianwerts (nachfolgend als Farbmittelwert genannt) des jeweiligen Farbkanals verwendet. Der Farbmittelwert des U-Farbkanals wird mit U_S bezeichnet; der Farbmittelwert des V-Farbkanals wird mit V_S bezeichnet. Die Farbmittelwerte U_S und V_S stellen Farbtemperaturen der beiden Farbkanäle dar.
Das oben genannte Kriterium zur Auswahl der Untermenge von Bildpunkten kann Bezug nehmend auf 3 veranschaulicht werden. Um den Ursprung des UV-Farbraums wird einerseits der Wertebereich von –α bis α und andererseits der Werbebereich von –β bis β definiert. Es werden ausschließlich Bildpunkte ausgewählt, deren Farbwerte U, V in das in 3 dargestellte Rechteck fallen.
Zum Durchführen des Weißabgleichs wird für jeden Farbkanal U und V der jeweilige Verstärkungsfaktor G_U und G_V bestimmt. Mit diesem Verstärkungsfaktor G_U, G_V können dann die Farbkanäle korrigiert werden, indem die Farbwerte (U, V) der Bildpunkte durch den jeweiligen Verstärkungsfaktor G_U, G_V multipliziert werden. Es erfolgt somit eine Korrektur der Farbmittelwerte U_S und V_S der Farbkanäle, so dass die Farbmittelwerte U_S und V_S beispielsweise aneinander angeglichen werden. Die Verstärkungsfaktoren G_U, G_V stellen dabei Weißabgleichsparameter dar und werden in Abhängigkeit von dem jeweiligen Farbmittelwert U_S und V_S bestimmt.
Bevor die Anpassung der Verstärkungsfaktoren G_U und G_V abhängig von der aktuell ausgewählten Untermenge von Bildpunkten vorgenommen wird, wird zunächst die Anzahl der Bildpunkte bestimmt, deren Farbwerte U, V dem oben genannten Kriterium genügen (in das Rechteck gemäß 3 fallen). Ist die Anzahl der ausgewählten Bildpunkte größer als ein vorgegebener Grenzwert, werden für die aktuelle Bilddarstellung neue Verstärkungsfaktoren G_U, G_V in Abhängigkeit von den aktuellen Farbmittelwerten U_S respektive V_S bestimmt. Liegt die Anzahl der ausgewählten Bildpunkte unterhalb des Grenzwertes, wird folgender Algorithmus durchgeführt:
Es wird überprüft, ob in der aktuellen Bilddarstellung Farbstiche vorhanden sind oder nicht. Solche Farbstiche könnten beispielsweise dadurch entstehen, dass plötzlich die Helligkeit der Szene verändert wird, wenn beispielsweise eine dominante Lichtquelle mit einer hohen Farbtemperatur abgeschaltet wird. Bei eingeschalteter Lichtquelle wird dabei eine relativ starke Korrektur der Farbtemperatur der Bilddarstellung 13 vorgenommen, und diese starke Korrektur verursacht nach Abschalten der Lichtquelle Farbstiche in der Bilddarstellung 13. In diesem Falle kann es vorkommen, dass nur sehr wenige Bildpunkte in das Rechteck gemäß 3 fallen. Ist die Anzahl der ausgewählten Bildpunkte kleiner als der Grenzwert, so wird somit überprüft, ob solche Farbstiche vorhanden sind oder nicht. Für diese Überprüfung werden Farbmittelwerte U_T, V_T aus jeweiligen Farbwerten aller Bildpunkte der Teilbereiche B3', B4', B5', B6' berechnet. Einerseits werden diese Farbmittelwerte U_T, V_T überprüft; andererseits werden auch die aktuell eingestellten Verstärkungsfaktoren der Farbkanäle überprüft.
Liegen die Farbmittelwerte U_T, V_T außerhalb eines vorgegebenen Wertebereiches 15 gemäß 4 und sind zusätzlich auch die aktuellen Verstärkungsfaktoren größer als ein Grenzwert, so wird angenommen, dass Farbstiche in der Bilddarstellung 13 vorhanden sind. In diesem Falle werden die Verstärkungsfaktoren auf einen vorgegebenen Standardwert (sogenannten Default-Wert) eingestellt, nämlich entweder direkt oder stufenweise über Zwischenwerte.
Es wird also überprüft, ob: –GU < U_T < GU und –GV < V_T < GV.
Ist eines dieser Kriterien nicht erfüllt und sind die Verstärkungsfaktoren größer als der Grenzwert, erfolgt die Einstellung der Verstärkungsfaktoren auf den vorgegebenen Wert. Ansonsten können die aktuellen Verstärkungsfaktoren aufrecht erhalten werden.
Nach dem Einstellen der Verstärkungsfaktoren auf den Standardwert kann die Berechnung von neuen Verstärkungsfaktoren anhand der aktuellen Bilder wieder neu gestartet werden, weil die Anzahl der ausgewählten Bildpunkte wieder den Grenzwert überschreiten wird.

Claims

Verfahren zum Weißabgleich einer Bilddarstellung (13), welche auf einer Anzeigeeinrichtung (8) eines Kraftfahrzeugs (1) angezeigt wird, wobei mittels zumindest einer Kamera (3, 4, 5, 6) des Kraftfahrzeugs (1) ein Bild (B3, B4, B5, B6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitgestellt wird und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus einem Teilbereich (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6) erzeugt wird, und wobei zum Durchführen des Weißabgleichs jeweilige Farbwerte (U, V) von Bildpunkten des Bilds (B3, B4, B5, B6) erfasst werden und für zumindest einen Farbkanal (U, V) der Bilddarstellung (13) ein Weißabgleichsparameter (G_U, G_V) für den Weißabgleich abhängig von den Farbwerten (U, V) bestimmt wird, dadurch gekennzeichnet, dass zum Durchführen des Weißabgleichs eine Untermenge von Bildpunkten des Bilds (B3, B4, B5, B6) nach einem vorgegebenen Auswahlkriterium ausgewählt wird, und dass beim Bestimmen des Weißabgleichsparameters (G_U, G_V) für den zumindest einen Farbkanal (U, V) die Farbwerte (U, V) ausschließlich der ausgewählten Untermenge von Bildpunkten berücksichtigt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei dem Auswahlkriterium die Position der Bildpunkte in dem Bild (B3, B4, B5, B6) berücksichtigt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, welche innerhalb des Teilbereichs (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6) liegen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Auswahlkriterium die jeweiligen Farbwerte (U, V) der Bildpunkte berücksichtigt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass gemäß dem Auswahlkriterium diejenigen Bildpunkte ausgewählt werden, deren Farbwerte (U, V) innerhalb eines vorgegebenen Wertebereichs (–α bis α; –β bis β) liegen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine erste und eine zweite Kamera (3, 4, 5, 6) des Kraftfahrzeugs (1) jeweils ein Bild (B3, B4, B5, B6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitstellen und die Bilddarstellung (13) zur Anzeige auf der Anzeigeeinrichtung (8) aus einem Teilbereich (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6) der ersten Kamera (3, 4, 5, 6) und einem Teilbereich (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6) der zweiten Kamera (3, 4, 5, 6) erzeugt wird, wobei zum Bestimmen des Weißabgleichsparameters (G_U, G_V) die Untermenge von Bildpunkten nach dem vorgegebenen Auswahlkriterium sowohl aus Bildpunkten des Bilds (B3, B4, B5, B6) der ersten Kamera (3, 4, 5, 6) als auch aus Bildpunkten des Bilds (B3, B4, B5, B6) der zweiten Kamera (3, 4, 5, 6) ausgewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der ausgewählten Bildpunkte innerhalb der Untermenge bestimmt wird und die Bestimmung des Weißabgleichsparameters (G_U, G_V) anhand der Untermenge nur unter der Voraussetzung erfolgt, dass die Anzahl der ausgewählten Bildpunkte über einem vorgegebenen Grenzwert liegt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass falls die Anzahl unter dem Grenzwert liegt, der bisher eingestellte Wert des Weißabgleichsparameters (G_U, G_V) aufrechterhalten wird oder der Weißabgleichsparameter (G_U, G_V) auf einen vorgegebenen Wert eingestellt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass falls die Anzahl unter dem Grenzwert liegt, der Weißabgleichsparameter (G_U, G_V) dann auf einen vorgegebenen Wert eingestellt wird, wenn: – ein aus Farbwerten (U, V) aller Bildpunkte des Teilbereichs (B3', B4', B5', B6') bestimmter Farbmedianwert oder Farbmittelwert (U_T, V_T) des zumindest einen Farbkanals außerhalb eines vorgegebenen Wertebereichs (–GU bis GU; –GV bis GV) liegt und/oder – der bisher eingestellte Wert des Weißabgleichsparameters größer als ein vorgegebener Grenzwert ist.
Kamerasystem (2) für ein Kraftfahrzeug (1), mit zumindest einer Kamera (3, 4, 5, 6) zum Bereitstellen eines Bilds (B3, B4, B5, B6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1), mit einer Bildverarbeitungseinrichtung (7) zum Erzeugen einer Bilddarstellung (13) zur Anzeige auf einer Anzeigeeinrichtung (8) aus einem Teilbereich (B3', B4', B5', B6') des Bilds (B3, B4, B5, B6), und mit einer Korrektureinrichtung (14) zum Durchführen eines Weißabgleichs der Bilddarstellung (13), wobei die Korrektureinrichtung (14) dazu ausgelegt ist, zum Durchführen des Weißabgleichs jeweilige Farbwerte (U, V) von Bildpunkten des Bilds (B3, B4, B5, B6) zu erfassen und für zumindest einen Farbkanal (U, V) der Bilddarstellung (13) einen Weißabgleichsparameter (G_U, G_V) für den Weißabgleich abhängig von den Farbwerten (U, V) zu bestimmen, dadurch gekennzeichnet, dass die Korrektureinrichtung (14) dazu ausgelegt ist, zum Durchführen des Weißabgleichs eine Untermenge von Bildpunkten des Bilds (B3, B4, B5, B6) nach einem vorgegebenen Auswahlkriterium auszuwählen und beim Bestimmen des Weißabgleichsparameters (G_U, G_V) für den zumindest einen Farbkanal (U, V) die Farbwerte (U, V) ausschließlich der ausgewählten Untermenge von Bildpunkten zu berücksichtigen.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 10.