DE102012007982A1

DE102012007982A1 - Verfahren zum Weißabgleich eines Bildes unter Berücksichtigung der Farbgebung des Kraftfahrzeugs

Info

Publication number: DE102012007982A1
Application number: DE102012007982A
Authority: DE
Inventors: Patrick Eoghan Denny; Brian Michael Thomas Deegan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-04-20
Filing date: 2012-04-20
Publication date: 2013-10-24
Also published as: WO2013156417A1; EP2839662A1

Abstract

Die Erfindung betrifft Verfahren zum Weißabgleich eines mittels einer Kamera (3) eines Kraftfahrzeugs (1) erfassten Bildes (6) eines Umgebungsbereichs des Kraftfahrzeugs (1). In dem erfassten Bild (6) ist auch ein Bereich (7) des Kraftfahrzeugs (1) abgebildet. Der Weißabgleichs wird mittels einer elektronischen Bildverarbeitungseinrichtung unter Berücksichtigung einer auf eine Farbgebung des Kraftfahrzeugs (1) bezogenen Farbinformation (Roffset, Goffset, Boffset) durchgeführt. Zum Durchführen des Weißabgleichs wird als Farbinformation (Roffset, Goffset, Boffset) ausschließlich eine in der Bildverarbeitungseinrichtung gespeicherte Information verwendet.

Description

Die Erfindung betrifft ein Verfahren zum Weißabgleich eines mittels einer Kamera eines Kraftfahrzeugs erfassten Bildes eines Umgebungsbereichs des Kraftfahrzeugs. In dem Bild ist ein Bereich des Kraftfahrzeugs abgebildet. Der Weißabgleich wird mittels einer elektronischen Bildverarbeitungseinrichtung unter Berücksichtigung einer auf eine Farbgebung des Kraftfahrzeugs bezogenen Farbinformation durchgeführt. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Kamerasystem.
Verfahren zum Durchführen eines Weißabgleichs eines Bildes sind bereits Stand der Technik. Vorliegend richtet sich das Interesse auf eine Kamera eines Kraftfahrzeugs, welche einen Umgebungsbereich des Kraftfahrzeugs erfasst. Üblicherweise werden die Kameras am Kraftfahrzeug derart montiert, dass in den aufgenommenen Bildern auch ein Bereich des Kraftfahrzeugs abgebildet ist. Dies ist insbesondere dann der Fall, wenn Kameras mit einem breiten Erfassungswinkel (etwa 190°) verwendet werden, wie beispielsweise so genannte Fischaugenkameras. Besitzt das Kraftfahrzeug eine intensive Farbgebung, so wird nun die Durchführung des automatischen Weißabgleichs negativ beeinflusst. Beispielsweise bei einem roten Kraftfahrzeug besteht die Problematik, dass nach Durchführen des automatischen Weißabgleichs das Bild einen leicht verstärkten blauen und grünen Farbton besitzt. Ein derartiger Stich ins Blaue/Grüne beruht darauf, dass bei den bekannten automatischen Weißabgleichmethoden die so genannte Graue-Welt-Hypothese verwendet wird, welche besagt, dass die Mittelwerte aller Farbkanäle – also des roten, des grünen und des blauen Farbkanals – im Durchschnitt einen grauen Wert ergeben sollen. Die Farbkomponenten des Bildes – also die roten, grünen und blauen Komponenten – können somit derart beeinflusst werden, dass die Mittelwerte aller Farbkanäle gleich sind. Die Farbe des dargestellten Bildes entspricht dann eher der Realität.
Wird nun der Weißabgleich eines Bildes durchgeführt, in welchem das Kraftfahrzeug mit einer relativ intensiven Farbgebung bereichsweise abgebildet ist, so kommt es zu einer Verfälschung der Farbe des abgebildeten Umgebungsbereichs. Wie bereits ausgeführt, besitzt das Bild bei einer roten Farbgebung des Kraftfahrzeugs einen leichten Stich ins Blaue/Grüne, weil der ermittelte Mittelwert des roten Farbkanals des Bildes mit dem abgebildeten Fahrzeugbereich deutlich höher als der tatsächliche Mittelwert des roten Farbkanals der abgebildeten Fahrzeugumgebung ist. Bei Durchführen des automatischen Weißabgleichs nach der Grauen-Welt-Methode wird nämlich versucht, die Mittelwerte aller Farbkanäle auszugleichen, sodass bei einem hohen Mittelwert des roten Farbkanals entsprechend auch die Mittelwerte des grünen und des blauen Farbkanals automatisch erhöht werden. Deshalb werden im Stand der Technik Verfahren vorgeschlagen, bei denen die Farbgebung des Kraftfahrzeugs beim Durchführen des Weißabgleichs der Bilder berücksichtigt wird. So beschreibt beispielsweise die Druckschrift JP 2007 189 595 A ein Verfahren zum Weißabgleich eines Bildes unter Berücksichtigung der Information über die Farbe des Kraftfahrzeugs, welches bereichsweise in den aufgenommenen Bildern abgebildet ist. Bei diesem Stand der Technik wird die Farbe des Kraftfahrzeugs „online”, also im Betrieb des Kamerasystems anhand der aufgenommenen Bilder dynamisch ermittelt. Diese Art des Weißabgleichs ist jedoch insbesondere bei Kraftfahrzeugen mit wesentlichen Nachteilen verbunden. Bei einer Fahrzeugkamera wird der Weißabgleich nämlich in der Regel mittels einer elektronischen Bildverarbeitungseinrichtung durchgeführt, welche in die Kamera integriert und neben dem Bildsensor angeordnet ist. Es wird bei Fahrzeugkameras angestrebt, diese besonders kompakt auszugestalten, weil in Kraftfahrzeugen – etwa in dem Seitenspiegel – relativ wenig Bauraum zur Verfügung steht. Die Durchführung des Weißabgleichs gemäß dem Dokument JP 2007 189 595 A erfordert jedoch eine relativ hohe Rechenleistung und somit eine entsprechend große Bildverarbeitungseinrichtung. Die dynamische Ermittlung der Farbgebung des Kraftfahrzeugs anhand der aufgenommenen Bilder ist nämlich besonders Rechenintensiv und beansprucht somit viel Rechenleistung, welche in Fahrzeugkameras nicht immer zur Verfügung steht. Der Aufbau einer kompakten Kamera ist im Stand der Technik folglich nicht möglich.
Eine weitere Lösung des oben genannten Problems könnte derart aussehen, dass in dem aufgenommenen Bild der Kamera zunächst ein Bildbereich ohne einen abgebildeten Fahrzeugbereich bestimmt wird und die Parameter des Weißabgleichs ausschließlich anhand dieses Bildbereichs ermittelt werden. Hier könnten beispielsweise die Mittelwerte der Farbkanäle ausschließlich anhand des Bildbereichs ermittelt werden, und der Weißabgleich des gesamten Bildes könnte anhand dieser Mittelwerte vorgenommen werden. Diese Lösung ist jedoch auch relativ rechenintensiv. Dies insbesondere aus dem Grund, weil sich die Position und die Ausrichtung der Kamera am Kraftfahrzeug im Betrieb des Kraftfahrzeugs aufgrund mechanischer sowie thermischer Verformungen verändern können. Somit können sich auch die Position und die Größe des abgebildeten Fahrzeugbereichs im Bild verändern.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Weißabgleich des Bildes besonders wirkungsvoll ohne viel Rechenaufwand durchgeführt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Weißabgleich eines Bildes, welches mittels einer Kamera eines Kraftfahrzeugs erfasst wird. Neben einem Umgebungsbereich des Kraftfahrzeugs ist in dem Bild auch ein Bereich des Kraftfahrzeugs selbst abgebildet. Der Weißabgleich des Bildes wird mittels einer elektronischen Bildverarbeitungseinrichtung unter Berücksichtigung einer Farbinformation bezüglich einer Farbgebung des Kraftfahrzeugs durchgeführt. Erfindungsgemäß ist vorgesehen, dass zum Durchführen des Weißabgleichs als Farbinformation ausschließlich eine in der Bildverarbeitungseinrichtung gespeicherte Information verwendet wird.
Anders als im Gegenstand gemäß Dokument JP 2007 189 595 A – dort wird die Farbgebung des Kraftfahrzeugs im Betrieb der Kamera ermittelt – erfolgt der Weißabgleich bei dem erfindungsgemäßen Verfahren in Abhängigkeit von einer abgelegten Farbinformation. Dies bedeutet, dass als Farbinformation ausschließlich die abgelegte Information verwendet wird, ohne dass die Farbinformation im Betrieb der Kamera dynamisch ermittelt wird. Diese Vorgehensweise hat gegenüber dem Stand der Technik diverse Vorteile: Der Weißabgleich kann ohne viel Rechenaufwand und somit besonders rasch durchgeführt werden. Weil eine im Vergleich zum Stand der Technik geringere Rechenleistung für den Weißabgleich erforderlich ist, kann auch eine kleinere Bildverarbeitungseinrichtung verwendet werden, welche in die Kamera integriert werden kann. Auch die gesamte Kamera kann somit kompakt aufgebaut sein, was sich bei Verwendung in einem Kraftfahrzeug als besonders vorteilhaft erweist. Die Kamera kann somit ohne viel Aufwand in einen Außenspiegel integriert werden, in welchem bekanntlich nur sehr wenig Bauraum zur Verfügung steht. Nicht zuletzt hat die Verringerung der erforderlichen Rechenleistung den Vorteil, dass durch die Bildverarbeitungseinrichtung weniger Wärme abgegeben wird, welche die Funktionsweise des Bildsensors negativ beeinflussen könnte. Die Erfindung beruht folglich auf der Erkenntnis, dass ein zuverlässiger Weißabgleich des Bildes auch anhand einer abgespeicherten und somit konstanten Farbinformation bezüglich der Farbgebung des Kraftfahrzeugs durchgeführt werden kann und keine dynamische Ermittlung der Farbe des Kraftfahrzeugs im Betrieb der Kamera erforderlich ist, weil auch die tatsächliche Farbgebung des Kraftfahrzeugs im Wesentlichen über die gesamte Lebensdauer des Kraftfahrzeugs konstant bleibt. Das erfindungsgemäße Verfahren erweist sich auch bei preisgünstigeren Kamerasystemen als besonders vorteilhaft, welche nicht über die erforderliche Rechenleistung verfügen. Das erfindungsgemäße Verfahren kann auch eine reine Softwarelösung darstellen, sodass sich der Einsatz von zusätzlichen Hardwarekomponenten für den Weißabgleich mit den damit verbundenen Nachteilen erübrigt. Das erfindungsgemäße Verfahren ist somit kostengünstiger als komplexe Hardwarelösungen für den Weißabgleich.
Also ist in der Bildverarbeitungseinrichtung eine auf die Farbgebung des Kraftfahrzeugs bezogene Farbinformation abgespeichert. Diese Farbinformation wird in der Bildverarbeitungseinrichtung bevorzugt in einer Entwicklungsphase beziehungsweise einem Fertigungsprozess der Kamera oder des Kraftfahrzeugs abgelegt, nämlich insbesondere in einem nicht-flüchtigen Speicher der Bildverarbeitungseinrichtung. Vorzugsweise wird diese Farbinformation in einer Kalibrierungsphase der Kamera bestimmt und abgespeichert. Bei der Farbinformation wird dabei insbesondere ein Datenwert verstanden, bei welchem die Farbgebung des Kraftfahrzeugs berücksichtigt wird. Bei der Farbinformation kann es sich somit beispielsweise um einen Datenwert handeln, welcher die genaue Farbe des Kraftfahrzeugs angibt. Ergänzend oder alternativ kann die Farbinformation aber auch ein Datenwert sein, welcher bei dem Weißabgleich verwendet wird und lediglich mittelbar eine Information über die Farbe des Kraftfahrzeugs beinhaltet. So kann die Farbinformation beispielsweise ein Offset sein, welcher auf den Mittelwert zumindest eines der Farbkanäle des Bildes im Rahmen des Weißabgleichs angewendet wird.
Die Durchführung des Weißabgleichs des Bildes kann umfassen, dass jeweilige Farbmittelwerte von Farbkanälen des Bildes – nämlich insbesondere des gesamten Bildes – in einem vorbestimmten Farbraum bestimmt werden. Dann kann für zumindest einender Farbkanäle ein, insbesondere negativer, Offset als Farbinformation in der Bildverarbeitungseinrichtung abgelegt sein, welcher im Rahmen des Weißabgleichs auf den Farbmittelwert dieses zumindest einen Farbkanals appliziert wird. Diese Ausführungsform beruht darauf, dass zum Durchführen des Weißabgleichs üblicherweise die Graue-Welt-Hypothese verwendet wird, bei welcher angenommen wird, dass alle Farbkanäle des Bildes im Durchschnitt einen grauen Wert ergeben sollen. Wird nun diese Graue-Welt-Methode auf das Bild angewendet, welches bereichsweise auch das eigene Kraftfahrzeug zeigt, so wird der Farbmittelwert zumindest eines der Farbkanäle – je nach Farbgebung des Kraftfahrzeugs – im Vergleich zu einem Bild ohne den Fahrzeugbereich erhöht, sodass auch der Weißabgleich ein unnatürliches Ergebnis liefert. Die vorliegende Ausführungsform geht nun den Weg, den Mittelwert zumindest eines der Farbkanäle des Bildes mit einem zugeordneten Offset zu versehen und somit den ermittelten Farbmittelwert des zumindest einen Farbkanals rechnerisch zu beeinflussen. Der zumindest eine Offset stellt dabei die abgespeicherte Farbinformation dar. Diese Ausführungsform hat den Vorteil, dass der Weißabgleich somit ein natürliches Bild liefert, dessen Farben denen der realen Umgebung entsprechen, ohne dass viel Rechenleistung beansprucht werden muss. Weil der Offset auf den Farbmittelwert lediglich aufaddiert werden braucht, ist der Rechenaufwand nämlich minimal.
In einer Ausführungsform ist vorgesehen, dass ein Offset auf den Farbmittelwert desjenigen Farbkanals angewendet wird, welcher in der Farbe des abgebildeten Bereichs des Kraftfahrzeugs enthalten ist. Dies bedeutet, dass – insbesondere ausschließlich – die Farbmittelwerte derjenigen Farbkomponenten (Grundfarben) mit einem Offset versehen werden, welche auch die Farbe des Kraftfahrzeugs bilden. Beispielsweise bei einem roten Kraftfahrzeug ist dies ausschließlich der rote Farbkanal, dessen Farbmittelwert mit einem zugeordneten Offset versehen wird. Bei einem gelben Fahrzeug hingegen werden die jeweiligen Farbmittelwerte sowohl des roten Farbkanals als auch des grünen Farbkanals mit jeweils einem Offset versehen. Denn die gelbe Farbe beinhaltet sowohl rote als auch grüne Farbkomponenten. Wird nun bei einem gelben Kraftfahrzeug jeweils ein negativer Offset sowohl auf den Farbmittelwert des roten Farbkanals als auch auf den Farbmittelwert des grünen Farbkanals aufaddiert, so wird vermieden, dass zu hohe Mittelwerte des roten und des grünen Farbkanals dem Weißabgleich zugrunde gelegt werden und das endgültige Bild einen zu starken blauen Farbton besitzt. Je nach Farbgebung des Kraftfahrzeugs können die jeweiligen Offsets auch unterschiedlich groß gewählt werden. Der jeweilige Offset kann dabei beispielsweise während einer Kalibrierungsphase der Kamera – beispielsweise in der Fertigung des Kraftfahrzeugs – berechnet werden.
Eine Weiterentwicklung umfasst, dass für den zumindest einen Farbmittelwert eine Offset-Tabelle basierend auf Kalibrierungsergebnissen der Kamera bestimmt und abgespeichert wird. Dies bedeutet, dass für den zumindest einen Farbkanal eine Vielzahl von Offsetwerten abgelegt sind, aus denen jeweils ein Offset in Abhängigkeit von dem aktuellen Szenario verwendet wird. Es können also in einer Kalibrierungsphase der Kamera für unterschiedliche Bedingungen (etwa für unterschiedliche Lichtbedingungen) jeweils unterschiedliche Offsetwerte bestimmt und für zumindest einen Farbkanal abgespeichert werden. Diese Offsetwerte können in einer so genannten Lookup-Tabelle abgelegt werden. Im Betrieb der Kamera wählt dann die Bildverarbeitungseinrichtung einen der Offsetwerte aus, nämlich in Abhängigkeit von den momentanen Bedingungen.
Wie bereits ausgeführt, kann zum Durchführen des Weißabgleichs die Graue-Welt-Hypothese (also die Graue-Welt-Methode) verwendet werden. Dann werden für die Farbkanäle jeweilige Verstärkungsfaktoren bestimmt, durch welche die (gegebenenfalls) jeweils mit einem Offset versehenen Farbmittelwerte aller Farbkanäle ausgeglichen werden. Dies beruht – wie ausgeführt – auf der Annahme, dass die Farbmittelwerte aller Farbkanäle einen grauen Wert ergeben sollen. Gerade dann kann ein Bild mit natürlichen Farben erzeugt werden, welche den Farben des tatsächlichen Umgebungsszenarios entsprechen.
Es erweist sich als vorteilhaft, wenn die Mittelwerte der Farbkanäle in dem RGB-Farbraum (Rot, Grün, Blau) bestimmt und der zumindest eine Offset in dem RGB-Farbraum angewendet werden. Die Bildsensoren von Kameras erzeugen nämlich üblicherweise Bilder in dem RGB-Farbraum, sodass die Korrekturen des Farbmittelwerts zumindest eines der Farbkanäle mit dem Offset auch bereits in dem RGB-Farbraum vorgenommen werden kann. Somit kann der Weißabgleich bereits mittels der internen Bildverarbeitungseinrichtung der Kamera durchgeführt werden, sodass die Kamera bereits in der Farbe korrigierte Bilder ausgibt. Bevor die Bilder ausgegeben werden, können sie in der Kamera noch von dem RGB-Farbraum in den YUV-Farbraum umgerechnet werden.
Wird die Graue-Welt-Hypothese verwendet, so werden die oben genannten Verstärkungsfaktoren so gewählt, dass sie folgendes Kriterium erfüllen: (R_avge + R_offset)·R_gain = (G_avge + G_offset)·G_gain = (B_avge + B_offset)·B_gain, wobei:

– R_avge, G_avge und B_avge die jeweiligen Farbmittelwerte des roten, grünen respektive blauen Farbkanals des Bildes bezeichnen, die anhand des Bildes berechnet werden,
– R_gain G_gain und B_gain die jeweiligen Verstärkungsfaktoren des roten, grünen respektive blauen Farbkanals bezeichnen und
– R_offset, G_offset und B_offset die jeweiligen Offsets bezeichnen.

In der oben genannten Formel kann es auch vorkommen, dass einer oder zwei der Offsets Null beträgt/betragen. Der Offset wird nämlich auf den Farbmittelwert desjenigen Farbkanals angewendet, welcher – wie bereits ausgeführt – in der Farbe des Kraftfahrzeugs enthalten ist. Ist einer der Offsets ungleich Null, so handelt es sich insbesondere um einen negativen Wert, sodass der Betrag des Offsets von dem jeweiligen Mittelwert subtrahiert wird. Die oben genannte Formel basiert auf der Grauen-Welt-Hypothese, und durch die Verstärkungsfaktoren wird ermöglicht, dass alle Farbkanäle des Bildes im Durchschnitt einen grauen Wert ergeben und außerdem alle Farbkanäle gleich sind. Gerade dadurch kann erreicht werden, dass die Farben des auf einem Display dargestellten Bildes den natürlichen Farben der Umgebung entsprechen. Die Verstärkungsfaktoren werden dabei vorzugsweise im Betrieb der Kamera dynamisch, also in Echtzeit eingestellt, sodass die oben genannte Gleichung erfüllt ist. Diese Einstellung der Verstärkungsfaktoren wird also in Echtzeit vorgenommen, während die gleichzeitig aufgenommenen Bilder der Kamera beispielsweise auf einem Display angezeigt werden. Die Einstellung der Verstärkungsfaktoren kann beispielsweise so aussehen, dass zunächst alle Verstärkungsfaktoren auf eins gesetzt und dann über mehrere Iterationen auf die endgültigen Werte eingestellt werden.
Wie bereits ausgeführt, kann die Farbinformation, nämlich insbesondere der zumindest eine Offset, in einem Fertigungsprozess des Kraftfahrzeugs oder aber in einer Entwicklungsphase der Kamera festgelegt und in der Bildverarbeitungseinrichtung abgespeichert werden. Vorzugsweise erfolgt diese Festlegung in einer Kalibrierungssession der Kamera. Besonders bevorzugt erfolgt die Bestimmung des Offsets unter Berücksichtigung der Größe des in dem Bild der Kamera abgebildeten Bereichs des Kraftfahrzeugs. Die Größe des abgebildeten Bereichs des Kraftfahrzeugs hat nämlich Einfluss auf den Farbmittelwert des zugeordneten Farbkanals, sodass unter Berücksichtigung der Größe des abgebildeten Fahrzeugbereichs ein präziser Offset bestimmt werden kann, welcher für einen wirkungsvollen Weißabgleich des Bildes sorgt.
Wie bereits ausgeführt, kann das Bild von dem RGB-Farbraum in den YUV-Farbraum umgerechnet werden. Bildersensoren erfassen in der Regel Bilder in dem RGB-Farbraum, welche dann in den YUV-Farbraum umgerechnet und in diesem YUV-Farbraum von der Kamera ausgegeben werden. Zum Umrechnen des Bildes wird die so genannte Farbmatrix verwendet. In einer Ausführungsform ist vorgesehen, dass im Rahmen des Weißabgleichs zumindest eine Matrixkomponente der Farbmatrix in Abhängigkeit von der abgelegten Farbinformation bestimmt wird. Beispielsweise kann als Farbinformation ebenfalls ein Offset abgelegt sein, welcher auf zumindest eine Komponente der Farbmatrix appliziert wird. Durch eine solche Vorgehensweise kann der Farbstich aufgrund der intensiven Farbe des Kraftfahrzeugs kompensiert werden. Wie bereits ausgeführt, verursacht die intensive rote Farbe des Kraftfahrzeugs einen Blaustich im Bild, was einen negativen Wert des V-Farbkanals zur Folge hat. Ist der V-Wert negativ, ist die Farbe grün oder blau, während sie bei einem positiven V-Wert einen roten Farbstich verursacht. Um nun bei einem roten Fahrzeug den blauen und grünen Farbstich zu kompensieren, kann mithilfe eines entsprechenden Offsets in der Farbmatrix der V-Wert erhöht werden. Auch diese Vorgehensweise sorgt für einen natürlichen Weißabgleich ohne viel Rechenaufwand, denn es braucht lediglich ein Offset definiert und auf zumindest eine Komponente der Farbmatrix appliziert zu werden. Diese Ausführungsform kann sogar mit der oben beschriebenen Kompensation im RGB-Farbraum kombiniert werden.
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug. Das Kamerasystem umfasst eine Kamera zum Erfassen eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs, wobei in dem Bild ein Bereich des Kraftfahrzeugs selbst abgebildet ist. Das Kamerasystem beinhaltet auch eine elektronische Bildverarbeitungseinrichtung, welche zum Durchführen eines Weißabgleichs des Bildes unter Berücksichtigung einer auf eine Farbgebung des Kraftfahrzeugs bezogenen Farbinformation ausgebildet ist. Die Bildverarbeitungseinrichtung kann auch in die Kamera integriert sein. Die Farbinformation ist erfindungsgemäß in der Bildverarbeitungseinrichtung abgespeichert, und die Bildverarbeitungseinrichtung ist dazu eingerichtet, zum Durchführen des Weißabgleichs als Farbinformation alleine die gespeicherte Information zu verwenden.
Ein erfindungsgemäßes Kraftfahrzeug weist ein erfindungsgemäßes Kamerasystem auf. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. An dieser Stelle sei betont, dass das nachfolgend beschriebene Ausführungsbeispiel lediglich eine beispielhafte Ausführungsform der Erfindung darstellt und die Erfindung somit nicht auf diese beispielhafte Ausführungsform beschränkt ist.
Es zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung; und
2 in schematischer Darstellung ein mittels einer Kamera des Kamerasystems erfasstes Bild eines Umgebungsbereichs des Kraftfahrzeugs.
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Die Kameras 3 erfassen dabei jeweils einen Umgebungsbereich des Kraftfahrzeugs 1 und insgesamt beispielsweise die gesamte Umgebung um das Kraftfahrzeug 1 herum. Die Anzahl sowie die Anordnung der Kameras 3 sind in 1 lediglich beispielhaft dargestellt; die Anzahl sowie die Anordnung der Kameras 3 können je nach Ausführungsform unterschiedlich sein. Es sind beispielsweise jeweilige Kameras 3 in die beiden Außenspiegel des Kraftfahrzeugs 1 integriert. Außerdem kann eine Kamera 3 in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein, und eine Kamera 3 kann auch im Heckbereich des Kraftfahrzeugs 1 angeordnet sein.
Alle Kameras 3 sind mit einem Steuergerät 4 elektrisch gekoppelt, welches ein zentraler Signalprozessor des Kamerasystems 2 ist. Das Steuergerät 4 empfängt also die Bilder aller Kameras 3 und kann diese Bilder verarbeiten. Das Steuergerät 4 ist mit einem Display 5 elektrisch gekoppelt, welches im Innenraum des Kraftfahrzeugs 1 angeordnet ist. Auf dem Display 5 können Bilder angezeigt werden, welche auf den Bildern der Kameras 3 beruhen. Beispielsweise kann das Steuergerät 4 aus den empfangenen Bildern aller Kameras 3 ein Bild erzeugen, welches das Kraftfahrzeug 1 und seine Umgebung aus einer Vogelperspektive zeigt. Eine solche Draufsicht auf das Kraftfahrzeug 1 und seine Umgebung wird auch als Bird-Eye-View bezeichnet.
Die Kameras 3 sind Video-Kameras, welche jeweils eine Vielzahl von Bildern pro Zeiteinheit aufnehmen können. Die Kameras 3 können also jeweils eine zeitliche Sequenz von Bildern erfassen und an das Steuergerät 4 abgeben. Die Kameras 3 können auch so genannte Fischaugenkameras sein, und sie können einen relativ breiten Erfassungswinkel aufweisen, etwa in einem Wertebereich von 150° bis 200°.
Jede Kamera 3 besitzt neben einem Bildsensor auch eine interne Bildverarbeitungseinrichtung (in den Figuren nicht dargestellt), welche die erfassten Bilder aufbereitet und das Steuergerät 4 übermittelt. Beispielsweise wird mittels der internen Bildverarbeitungseinrichtung eine Umrechnung des Bildes von dem RGB-Farbraum in den YUV-Farbraum vorgenommen. Mittels der internen Bildverarbeitungseinrichtung wird außerdem ein Weißabgleich der Bilder durchgeführt, was weiter unten näher beschrieben wird. Zusätzlich kann die interne Bildverarbeitungseinrichtung auch die so genannte Black-Level_Korrektur des Bildes vornehmen. Gegebenenfalls kann die Funktion der internen Bildverarbeitungseinrichtung auch das zentrale Steuergerät 4 übernehmen.
Ein beispielhaftes Bild 6 einer der Kameras 3 (beispielsweise einer im Außenspiegel angeordneten Kamera 3) ist in 2 schematisch dargestellt. Wie aus 2 hervorgeht, ist in dem aufgenommenen Bild auch ein Bereich 7 des eigenen Kraftfahrzeugs 1 abgebildet. Außerdem sind eine Straße 8 sowie ein anderes Fahrzeug 9 abgebildet. Die interne Bildverarbeitungseinrichtung der Kamera 3 kann den Weißabgleich nach der Graue-Welt-Methode durchführen. Dies bedeutet, dass zunächst jeweilige Farbmittelwerte R_avge, G_avge und B_avge der Farbkanäle R, G, B des Bildes 6 ermittelt werden. Nach der Graue-Welt-Hypothese sollen die Farbkanäle R, G, B im Durchschnitt einen grauen Wert ergeben. Basierend darauf wird der Weißabgleich gemäß der folgenden Gleichung vorgenommen: R_avge·R_gain = G_avge·G_gain = B_avge·B_gain, wobei R_gain, G_gain und B_gain jeweilige Verstärkungsfaktoren des roten, grünen respektive blauen Farbkanals bezeichnen. Zum Durchführen des Weißabgleichs werden also die Verstärkungsfaktoren R_gain, G_gain und B_gain bestimmt, mit denen die jeweiligen Farbkanäle multipliziert werden.
Es hat sich herausgestellt, dass bei dem Weißabgleich gemäß der Graue-Welt-Hypothese das angezeigte Bild verschiedenste Farbstiche aufweisen kann, nämlich je nach der Farbgebung des Kraftfahrzeugs. Dies ist darauf zurückzuführen, dass in dem aufgenommenen Bild 6 auch der Bereich 7 des Kraftfahrzeugs 1 abgebildet ist und somit die Durchführung des Weißabgleichs negativ beeinflusst wird, weil zumindest einer der Farbmittelwerte R_avge, G_avge, B_avge durch die Farbgebung des Kraftfahrzeugs 1 geprägt wird. Beispielsweise bei einem roten Kraftfahrzeug 1 wird der Farbmittelwert R_avge des roten Farbkanals aufgrund der roten Farbgebung des Kraftfahrzeugs 1 unnatürlich erhöht, was dazu führt, dass in den dargestellten Bildern 6 ein blauer und ein grüner Farbstich zu sehen ist. Um dies zu verhindern, wird in der Bildverarbeitungseinrichtung der Kamera 3 ein Offset für die Farbmittelwerte abgelegt, welcher beim Durchführen des Weißabgleichs auf zumindest einen der Farbmittelwerte angewendet wird. Allgemein gesagt, wird die obige Gleichung wie folgt ergänzt: (R_avge + R_offset)·R_gain = (G_avge + G_offset)·G_gain = (B_avge + B_offset)·B_gain, wobei R_offset, G_offset, B_offset die jeweiligen Offsets des roten, grünen respektive blauen Farbkanals bezeichnen. Diese Offsets werden nun in Abhängigkeit von der Farbgebung des Kraftfahrzeugs 1 sowie in Abhängigkeit von der Größe des abgebildeten Bereichs 7 des Kraftfahrzeugs 1 festgelegt. Diese Festlegung erfolgt bereits in der Entwicklungsphase der Kamera 3 oder in einem Fertigungsprozess des Kraftfahrzeugs 1. Bevorzugt erfolgt die Festlegung der Offsets während einer Kalibrierung der Kamera 3.
In Abhängigkeit von der Farbgebung des Kraftfahrzeugs 1 kann zumindest einer der Offsets R_offset, G_offset, B_offset auch gleich Null sein. Maximal können jedoch zwei Offsets in der obigen Gleichung Null betragen. Dies ist, wie bereits ausgeführt, abhängig von der Farbe des Kraftfahrzeugs 1. Es werden dabei Offsets für diejenigen Farbkanäle verwendet, welche als Grundfarben in der Farbe des Kraftfahrzeugs 1 auch enthalten sind. Dies bedeutet beispielsweise, dass bei einem roten Kraftfahrzeug 1 lediglich ein Offset R_offset für den roten Farbkanal verwendet wird. Bei einer Mischung aus rot und grün (gelb) werden hingegen jeweilige Offsets R_offset, G_offset sowohl für den roten Farbkanal als auch für den grünen Farbkanal verwendet. Ist das Kraftfahrzeug 1 hingegen blau, so wird lediglich ein Offset B_gain für den blauen Farbkanal verwendet. Allgemein gesagt wird ein Offset für diejenige Farbkomponente verwendet, welche für das Entstehen der Farbe des Kraftfahrzeugs 1 erforderlich ist.
Die Offsets R_offset, G_offset, B_offset sind vorzugsweise negative Werte. Dies bedeutet, dass der Betrag des Offsets von dem jeweiligen Farbmittelwert R_avge, G_avge, B_avge abgezogen wird. Somit kann der Farbstich aufgrund der Farbgebung des eigenen Kraftfahrzeugs 1 kompensiert werden.
Die jeweiligen Farbmittelwerte R_avge, G_avge und B_avge werden aus den Bildern der Kamera 3 gewonnen und somit im Betrieb der Kamera 3 ermittelt. Auch die Verstärkungsfaktoren R_gain, G_gain und B_gain werden „online” im Betrieb der Kamera 3 bestimmt. Dies erfolgt in Echtzeit und somit auch gleichzeitig mit der Darstellung der Bilder auf dem Display 5. Um den Weißabgleich durchführen zu können, werden also die Verstärkungsfaktoren R_gain, G_gain und B_gain ermittelt. Diese Ermittlung der Verstärkungsfaktoren wird nachfolgend näher beschrieben:
Die Verstärkungsfaktoren R_gain, G_gain und B_gain werden in mehreren Iterationen ermittelt. Im ersten Schritt werden alle Verstärkungsfaktoren. auf eins gesetzt, sodass gilt: R_gain = G_gain = B_gain = 1. Dann werden die Farbmittelwerte R_avge, G_avge und B_avge aus dem Register des Bildsensors der Kamera 3 ausgelesen, und die jeweiligen Offsets R_offset, G_offset und B_offset werden appliziert. Der Weißabgleich, also die Ermittlung der Verstärkungsfaktoren erfolgt dann gemäß den folgenden Gleichungen:
wobei R'_gain, G'_gain, B'_gain die jeweiligen Verstärkungsfaktoren aus der letzten Iteration bezeichnen. Bei der ersten Iteration gilt somit: R'_gain = G'_gain = B'_gain = 1. H_max bezeichnet hingegen den maximalen Wert aus allen Farbmittelwerten R_avge, G_avge, B_avge. Ist beispielsweise der Farbmittelwert R_avge größer als die anderen Farbmittelwerte G_avge, B_avge so gilt: H_max = R_avge.
Die Iterationen werden solange durchgeführt, bis der Weißabgleich vollständig abgeschlossen ist, also bis die folgende Gleichung erfüllt ist: (R_avge + R_offset)·R_gain = (G_avge + G_offset)·G_gain = (B_avge + B_offset)·B_gain.
Die Offsets R_offset, G_offset, B_offset stellen dabei Farbinformationen im Sinne der vorliegenden Erfindung dar und sind somit in der Kamera abgespeichert.
Ergänzend oder alternativ kann als Farbinformation auch ein Offset abgespeichert werden, mit welchem eine Komponente der Farbmatrix versehen wird, mittels welcher das Bild 6 aus dem RGB-Farbraum in den YUV-Farbraum umgerechnet wird. Bei der Umrechnung des Bildes gilt:
wobei U, V die Farbkanäle (also die Farbkomponenten) des YUV-Farbraums und colour_matrix die Farbmatrix bezeichnen. Die Farbmatrix kann wie folgt dargestellt werden:
sodass: U = M4·R + M5·G + M6·B und V = M1·R + M2·G + M3·B
Durch Aufaddieren eines Offsets zu den Komponenten der Farbmatrix können die Farbstiche aufgrund der Farbgebung des Kraftfahrzeugs 1 kompensiert werden. Beispielsweise verursacht eine rote Farbgebung des Kraftfahrzeugs 1 einen blauen und grünen Farbstich in dem Bild 6. Dies korrespondiert mit einem negativen Wert des V-Farbkanals. Wenn der V-Wert negativ ist, ist der Farbstich nämlich blau oder grün, während bei einem positiven V-Wert der Farbstich eher rot ist. Somit ist es möglich, den blauen und grünen Farbstich zu kompensieren, nämlich durch Aufaddieren eines Offsets. Aus der obigen Gleichung geht hervor, dass durch Erhöhung der Komponente M1 auch der V-Wert und somit die rote Komponente erhöht werden kann. Durch Erhöhung der Komponente M1 kann somit bei einem roten Kraftfahrzeug 1 der blaue/grüne Farbstich korrigiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007189595 A [0003, 0003, 0008]

Claims

Verfahren zum Weißabgleich eines mittels einer Kamera (3) eines Kraftfahrzeugs (1) erfassten Bildes (6) eines Umgebungsbereichs des Kraftfahrzeugs (1), mit den Schritten: – Erfassen des Bildes (6) mittels der Kamera (3), wobei in dem Bild (6) ein Bereich (7) des Kraftfahrzeugs (1) abgebildet ist, und – Durchführen des Weißabgleichs mittels einer elektronischen Bildverarbeitungseinrichtung unter Berücksichtigung einer auf eine Farbgebung des Kraftfahrzeugs (1) bezogenen Farbinformation (R_offset, G_offset, B_offset), dadurch gekennzeichnet, dass zum Durchführen des Weißabgleichs als Farbinformation (R_offset, G_offset, B_offset) ausschließlich eine in der Bildverarbeitungseinrichtung gespeicherte Information verwendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Durchführen des Weißabgleichs jeweilige Farbmittelwerte (R_avge, G_avge, B_avge) von Farbkanälen des Bildes (6) in einem vorbestimmten Farbraum bestimmt werden und für zumindest einen der Farbkanäle ein, insbesondere negativer, Offset als Farbinformation (R_offset, G_offset, B_offset) in der Bildverarbeitungseinrichtung abgelegt ist, welcher im Rahmen des Weißabgleichs auf den Farbmittelwert (R_avge, G_avge, B_avge) dieses zumindest einen Farbkanals angewendet wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Offset (R_offset, G_offset, B_offset) auf den Farbmittelwert (R_avge, G_avge, B_avge) desjenigen Farbkanals angewendet wird, welcher in der Farbe des abgebildeten Bereichs des Kraftfahrzeugs (1) enthalten ist.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zum Durchführen des Weißabgleichs die Graue-Welt-Hypothese verwendet wird, indem für die Farbkanäle jeweilige Verstärkungsfaktoren (R_gain, G_gain, B_gain) bestimmt werden, durch welche die jeweils mit einem Offset (R_offset, G_offset, B_offset) versehenen Farbmittelwerte (R_avge, G_avge, B_avge) aller Farbkanäle ausgeglichen werden.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Farbmittelwerte (R_avge, G_avge, B_avge) der Farbkanäle in dem RGB-Farbraum bestimmt und der zumindest eine Offset (R_offset, G_offset, B_offset) in dem RGB-Farbraum angewendet werden.
Verfahren nach Anspruch 4 und 5, dadurch gekennzeichnet, dass die Verstärkungsfaktoren (R_gain, G_gain, B_gain) folgendes Kriterium erfüllen: (R_avge + R_offset)·R_gain = (G_avge + G_offset)·G_gain = (B_avge + B_offset)·B_gain, wobei R_avge, G_avge, B_avge die jeweiligen Farbmittelwerte (R_avge, G_avge, B_avge) des roten, grünen und blauen Farbkanals des Bildes (6) und R_gain, G_gain, B_gain die jeweiligen Verstärkungsfaktoren (R_gain, G_gain, B_gain) des roten, grünen und blauen Farbkanals sowie R_offset, G_offset, B_offset die jeweiligen Offsets bezeichnen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Farbinformation (R_offset, G_offset, B_offset), insbesondere der zumindest eine Offset (R_offset, G_offset, B_offset), in einem Fertigungsprozess des Kraftfahrzeugs (1) unter Berücksichtigung der Größe eines in dem Bild (6) der Kamera (3) abgebildeten Bereichs des Kraftfahrzeugs (1) bestimmt und in der Bildverarbeitungseinrichtung abgespeichert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (6) mithilfe einer Farbmatrix (colour_matrix) von dem RGB-Farbraum in den YUV-Farbraum umgerechnet wird und im Rahmen des Weißabgleichs zumindest eine Komponente (M1 bis M6) der Farbmatrix (colour_matrix) in Abhängigkeit von der abgelegten Farbinformation (R_offset, G_offset, B_offset) bestimmt wird.
Kamerasystem (2) für ein Kraftfahrzeug (1), mit einer Kamera (3) zum Erfassen eines Bildes (6) eines Umgebungsbereichs des Kraftfahrzeugs (1), wobei in dem Bild (6) ein Bereich (7) des Kraftfahrzeugs (1) abgebildet ist, und mit einer elektronischen Bildverarbeitungseinrichtung zum Durchführen eines Weißabgleichs des Bildes (6) unter Berücksichtigung einer auf eine Farbgebung des Kraftfahrzeugs (1) bezogenen Farbinformation (R_offset, G_offset, B_offset), dadurch gekennzeichnet, dass die Farbinformation (R_offset, G_offset, B_offset) in der Bildverarbeitungseinrichtung abgespeichert ist und die Bildverarbeitungseinrichtung dazu eingerichtet ist, zum Durchführen des Weißabgleichs als Farbinformation (R_offset, G_offset, B_offset) alleine die gespeicherte Information zu verwenden.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 9.