DE102009001122B4

DE102009001122B4 - 1 - 15Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten

Info

Publication number: DE102009001122B4
Application number: DE102009001122.6A
Authority: DE
Inventors: Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2009-02-24
Filing date: 2009-02-24
Publication date: 2019-12-12
Anticipated expiration: 2029-02-25
Also published as: DE102009001122A1; DE102009001122B8; US8817140B2; FR2942581B1; US20100214455A1; FR2942581A1

Abstract

Kameraanordnung (16), die mindestens aufweist:
eine Kamera (2) mit einer Kameraoptik (6), einem Bildsensor (7) zum Erfassen einer Umgebung (4) und Ausgeben erster Bildsignale (S1) und einer vor dem Bildsensor (7) angebrachten Farbmaske (8), und
eine Auswerteeinrichtung (9), die die von dem Bildsensor (7) ausgegebenen ersten Bildsignale (S1) aufnimmt, wobei der Bildsensor (7) mehrere Sensorpixel (bij) aufweist und die Farbmaske (8) mehrere Filterpixel (m) aufweist, die jeweils vor den Sensorpixeln(bij) angeordnet sind und erste farbige Filterpixel (r) und transparente Filterpixel (c) umfassen, und
wobei einige der Sensorpixel (bij) Licht (20) über die farbigen Filterpixel (r) aufnehmen und erste Farbwerte (R) ausgeben und weitere Sensorpixel (bij) Licht (20) über die transparenten Filterpixel (c) aufnehmen und Intensitätswerte (I) ausgeben,
dadurch gekennzeichnet, dass
die Auswerteeinrichtung (9) aus den Intensitätswerten (I) und den ersten Farbwerten (R) verschiedener Sensorpixel (bij) zweite Farbwerte (T) ermittelt und aus den ersten Farbwerten (R) und den zweiten Farbwerten (T) zweite Bildsignale (S2) ermittelt, wobei die Auswerteeinrichtung (9) den zweiten Farbwert (T) als gemittelten Komplementärwert zu dem ersten Farbwert (R) ermittelt unter Verwendung mindestens eines Intensitätswerts (I) und eines ersten Farbwerts (R) sowie einer Dämpfung (k), die durch ein Verhältnis des ersten Farbwertes (R) zu dem Intensitätswert (I) bestimmt ist.

Description

Stand der Technik
Fahrzeugkameras werden sowohl zur Darstellung einer Fahrzeugumgebung auf einem Display als für Fahrzeugassistenzfunktionen zur Gewinnung von Informationen über die Fahrzeugumgebung verwendet.
Monochrome Kameras können verschiedene Helligkeitswerte erfassen und ermöglichen eine hohe Ortsauflösung. Sie werden z.B. in Nachtsichtsystemen verwendet.
Farbkameras ermöglichen zum einen eine farbige Widergabe der Umgebung und zum anderen eine Auswertung verschiedener Farbinformationen. So sind Lichtassistenzfunktionen für Fahrzeuge bekannt, bei durch eine Fahrzeugkamera ermittelt wird, ob sich in einem relevanten Bereich vor dem Fahrzeug andere Verkehrsteilnehmer befinden und in Abhängigkeit dieser Ermittlung z.B. selbsttätig zwischen Fernlicht und Abblendlicht umgeschaltet wird. Hierzu werden im Allgemeinen Sensoren mit einer Farbmaske verwendet, die eine farbliche Differenzierung, insbesondere zwischen Rot und Weiß, ermöglichen, um die im Allgemeinen roten Rücklichter und im Allgemeinen weißen Abblendlichter und Fernlichter anderer Fahrzeuge zu erkennen und voneinander zu unterscheiden, wobei z.B. auch schwache rote Lichter von weißen Reflektionen an anderen Objekten unterschieden werden können.
Derartige Farbmasken vor den Imager-Sensoren bzw. Imager-Chips ermöglichen somit, dass auf benachbarten Pixeln unterschiedliche Farbinformationen gewonnen werden können. Die Sensorpixel liefern hierbei jeweils einen skalaren Wert, der z.B. ein Farbwert wie R, G oder B, oder bei einem transparenten Filterpixel auch ein Intensitätswert. So sind Standard Bayer-Pattern-Masken bekannt, bei den jedes zweite Filter-Pixel der Farbmaske grün ist und diese grünen Filter-Pixel schachbrettartig alternierend über die Matrixanordnung der Filter-Pixel verteilt angeordnet sind. In den anderen Matrixstellen sind blaue und rote Filter-Pixel angeordnet, wobei Zeilen mit grünen und blauen Pixeln und Zeilen mit roten und grünen Pixeln alternieren. Somit ist eine komplette Farbunterscheidung, d. h. einer Interpretation in die Farben Rot-Blau-Grün möglich. Nachteilhaft ist jedoch die Reduktion der Ortsauflösung gegenüber derjenigen eines monochromen Bildsensors um den Faktor 2. Bei reduzierten Filtermasken werden einige Farbpixel dieses Standard Bayer-Pattern weggelassen, so dass an ihrer Stelle transparente Pixel verbleiben, wodurch die Ortsauflösung erhöht wird. Die in den gewonnen Bildsignalen erhaltenen Farbinformationen können - neben dem Erkennen von roten Rückleuchten - gegebenenfalls auch zur Erkennung von Verkehrszeichen mit typischen Farben herangezogen werden.
Ein nachträgliches Einfärben bzw. Colorieren von Bildern ist z. B. aus der Grafik oder auch der nachträglichen Aufarbeitung alter Schwarz-Weiß-Filme bekannt, wobei jeweils nachträglich dem Betrachter typischerweise bekannte Farbinformationen eingesetzt und gegebenenfalls automatisiert in nachfolgende Bilder eines Films übernommen werden können. Grundsätzlich gilt, dass nicht vorhandene Farbinformationen nicht nachträglich gewonnen werden können, z. B. zum Colorieren von Schwarz-Weiß-Bildern.
Die JP 2004-304706 A zeigt einen Farbfilter mit grünen, weißen, roten und blauen Farbfiltersegmenten, von denen die für ein Luminiszenz-Signal verwendeten weißen Segmente schachbrettartig jede zweite Matrixstelle belegen und die Farbsegmente die verbleibende andere Hälfte der Matrixstellen belegen. Hierbei alternieren Zeilen mit weißen und grünen Segmenten und Zeilen mit weißen, roten und blauen Segmenten, so dass an den Ecken jedes Grünsegmentes diagonal gegenüberliegend jeweils zwei blaue Segmente und zwei rote Segmente angeordnet sind. Weiterhin wird ein Interpolationsverfahren zur Auswertung der Bildsignale, die mit einer derartigen Farbmaske aufgenommen werden, beschrieben.
Die EP 1 758 783 B1 offenbart eine Überwachungseinheit für den Außenraum in Fahrtrichtung eines Kraftfahrzeuges wenigstens umfassend ein Kamerasystem mit einem Bildaufnahmesensor, welcher in partiellen Bereichen Farbcodierungen besitzt und ansonsten monochrome Codierungen aufweist.
Die US 2007/0024879 A1 offenbart ein Verfahren zum Erstellen eines digitalen Farbbilds unter Verwendung eines Bildsensors mit panchromatischen und farbigen Pixeln.
Offenbarung der Erfindung
Erfindungsgemäß werden aus den durch die Kamera gewonnenen Intensitätswerten und Farbwerten weitere Farbinformationen abgeleitet. Dem liegt der erfindungsgemäße Gedanke zugrunde, dass der Intensitätswert Informationen über sämtliche Farbwerte enthält und somit bei Vorliegen eines Intensitätswertes und z.B. nur eines einzigen Farbwertes von nahe beieinander liegenden, insbesondere benachbarten Pixeln, die somit - bei hinreichender Auflösung - einen gemeinsamen Bereich betreffen, Informationen über die weiteren Farbwerte ermittelt werden können. Ein farbiger Filterpixel der Farbmaske führt zu einer Dämpfung des spektralen Lichtanteils der anderen Farbanteile. Bei einem Rotpixel somit zu einer Dämpfung des nicht-roten spektralen Lichtanteils. Die Intensitätspixel sind hingegen im gesamten Spektralbereich empfindlich.
Zwar können die weiteren Farbwerte nicht einzeln aufgelöst werden; erfindungsgemäß wird jedoch erkannt, dass auch bei Ansetzen eines Misch-Farbwertes für die weiteren nicht bekannten Farben, d.h. insbesondere eines Komplementärwertes zu dem bekannten Farbwert, bereits ein Farbvektor bzw. Farbtupel gewonnen werden kann, das sowohl für die Visualisierung auf einer Anzeigeinrichtung als auch für Bildverarbeitungsalgorithmen hilfreich ist. So können bei Vorliegen z.B. eines Intensitätswerts und eines Rotwerts die verbleibenden Farbanteile als gemischter Komplementärwert zu Rot, d.h. als Farbmischung aus Grün und Blau, z.B. Türkis, abgeschätzt werden, mit zunächst gleich groß angenommenem Grün-Wert und Blau-Wert, somit kann ein Farbbild zurück gewonnen werden.
Erfindungsgemäß kann somit zunächst eine Erkennung und Unterscheidung von Verkehrszeichen, Ampeln, Rück-, Front-, Brems-, Blink-, Warn-, und Umgebungslichter sowie eine Erkennung und Verfolgung von Objekten wie Verkehrsteilnehmem und Hindernissen durchgeführt werden.
So kann bei roten und transparenten Filterpixeln zunächst eine Unterscheidbarkeit von roten und weiten Lichtquellen erreicht, ohne nennenswert eine Empfindlichkeit, insbesondere für Nachtsichtfunktionen einzubüßen. Hierbei wird bereits eine Unterscheidbarkeit von roten und weißen Lichtquellen erreicht, z.B. für Fahrzeugrück- und Fahrzeugfrontieuchten bei einer Fahrerassistenzkamera.
Bei Ansetzen der Mischfarbe Türkis zeigt sich, dass es bereits bei der Bildwiedergabe zu überraschend guten Ergebnissen kommt. Weiterhin können entsprechende Fahrerassistenzfunktionen bereits mit diesem einen zusätzlichen Farbwert, d.h. z.B. dem fiktiv angesetzten Türkis, verschiedenen Funktionen erfüllen. Es zeigt sich z.B., dass einige Verkehrsschilder mit blauem Hintergrund bereits gut als Türkis-Ton angesetzt werden können.
Anstelle eines Rotfilters bzw. eines Filters mit Rotpixeln und transparenten Intensitätspixeln kann der Farbfilter auch einen anderen spektralen Anteil hervorheben, z.B. den grünen oder blauen oder auch eine beliebig spektral gewichtete Mischung, was je nach Anwendung angesetzt werden kann.
Wird ein einziger Farbfiltertyp eingesetzt, so spannen die Ergebnisse einen zweidimensionalen Farbraum auf, wobei die erste Dimension durch die Helligkeit und die zweite Dimension durch den Farbwert, z.B. auf der Rot-Türkis-Achse angegeben wird. Gegenüber der herkömmlichen einzigen Dimension einer monochromen Kamera können somit bereits bedeutend mehr Informationen gewonnen werden.
Erfindungsgemäß können auch mehrere Farbfiltertypen verwendet werden. Bei Verwendung eines zweiten Farbfiltertyps, d.h. z.B. zusätzlich zu Rot eines weiteren Farbfiltertyps, liegen somit drei verschiedene Arten von Pixeln vor, einschließlich der Pixel der transparenten Filterpixel für die Intensitätswerte. Somit lässt sich ein dreidimensionaler Farbraum aufspannen aus den Dimensionen Helligkeit, erster Farbwert, zweiter Farbwert.
Allgemein können n verschiedene Farbfiltertypen, zusätzlich zu den Pixeln ohne Farbfilter eingesetzt werden, so dass der hieraus resultierende Farbraum somit n+1-dimensional ist.
Erfindungsgemäß können einige weitere Vorteile erreicht werden. Bei einer hohen Ortsauflösung mit z.B. lediglich einem Farbfilterpixel auf drei transparente Pixel kann eine räumliche Auflösung annähernd einer monochromen Kamera erreicht werden. Erfindungsgemäß können dennoch zusätzlich zu den direkt gewonnen Farbinformationen, z.B. den Rotwerten ergänzend Farbinformationen über die weiteren Farbwerte gewonnen werden. Somit kann ein Farbraum mit ei-J ner höheren Dimension als bei Verwendung einer einfachen monochromen Kamera geschaffen werden mit zusätzlichen Informationen sowohl für die Bilddarstellung als auch für die Bildverarbeitungsalgorithmen eines Fahrzeugassistenzsystems.
Die zusätzliche Funktion bzw. das zusätzliche Verfahren können grundsätzlich bereits rein softwaremäßig ohne zusätzlichen Hardwareaufwand durch eine entsprechende Berechnung und Auswertung erreicht werden, so dass die erforderlichen Zusatzkosten bzw. der Zusatzaufwand gering bis vernachlässigbar sind und trotzdem geeignete Informationen gewonnen werden können.
Figurenliste

1 zeigt einen Bildsensor mit Farbmaske gemäß einer Ausführungsform in leicht perspektivischer Vorderansicht;
2 zeigt eine Draufsicht auf eine Straßenszene mit einem Fahrzeug;
3 zeigt eine erfindungsgemäße Kameraanordnung mit einem Bildsensor und einer Farbmaske in Seitenansicht bzw. seitlichem Schnitt;
4 zeigt ein Flussdiagramm eines erfindungsgemäßen Verfahrens;
5 zeigt eine Darstellung der Anordnung der Gewichtungsfaktoren für eine Interpolation.

Beschreibung der Ausführungsform
Gemäß 2 fährt ein Fahrzeug 1 mit einer Kamera 2 auf einer Fahrbahn 3. Die Kamera 2 ist z.B. hinter einer Fahrzeugscheibe 5, z.B. der Windschutzscheibe, oder auch im Bereich des vorderen oder hinteren Stoßfängers des Fahrzeugs 1 angebracht und nimmt eine Fahrzeugumgebung 4 auf, die z. B. im Wesentlichen die Straßenszene vor dem Fahrzeug 1 darstellt. Von der Kamera 2 wird somit Licht 20 erfasst, das von z. B. der Fahrbahn 3 mit ihrem Fahrbahnmarkierungen 11 und weiterhin Objekten 12, 13, 14 auf oder neben der Fahrbahn 3 ausgegeben wird.
Die Kamera 2 weist in an sich bekannter Weise eine Kameraoptik (Objektiv) 6, einen als Imager-Chip ausgebildeten Bildsensor 7 sowie eine Farbmaske 8 auf, die auf dem Bildsensor 7 angebracht ist. Der Bildsensor 7 gibt in an sich bekannter Weise erste Bildsignale S1 an eine Auswerteeinrichtung 9 aus, die z.B. ein Steuergerät der Kamera 2 sein kann. Die Kamera 2 und die Auswerteeinrichtung 9 bilden zusammen eine Kameraanordnung 16. Erfindungsgemäß werden die ersten Bildsignale S1 aufgearbeitet und hieraus zweite Bildsignale S2 gebildet, die zur Visualisierung der Fahrzeugumgebung 4 auf einer Anzeigeeinrichtung im Fahrzeug 1 und/oder zur Verarbeitung in Bildverarbeitungs- und Erkennungsalgorithmen dienen, um hieraus Anzeigesignale oder Signale für einen Fahrzeugeingriff zu gewinnen.
1 zeigt eine Aufsicht auf den Bildsensor 7 mit Farbmaske (Filtermaske) 8. Der Bildsensor 7 weist eine Matrixanordnung von Sensorpixeln bij auf; entsprechend weist die Farbmaske 8 eine Matrixanordnung von Filterpixeln m_ij auf, die bei diesem Farbfilter 8 transparente Filterpixel c oder rote Filterpixel r sind. Die roten Filterpixel sind insbesondere im roten Wellenlängenbereich transparent, gegebenenfalls auch bis in den Infrarotbereich hinein, und dämpfen den nicht-roten spektralen Lichtanteils, d.h. kurzwelligere Anteile des Lichts 20. Die transparenten Filterpixel c sind für einen breitbandigeren Anteil des Lichts 20 durchlässig, vorzugsweise im gesamten sichtbaren Spektralbereich einschließlich des Rotbereichs.
Die Filterpixel m_ij sind direkt vor den entsprechenden Sensorpixeln bij des Bildsensors 7 angebracht. Somit geben die hinter einem transparenten Filterpixel c liegenden Sensorpixel bij einen Intensitätswert I und die hinter einem roten Filterpixel r liegenden Sensorpixel bij einen Rotwert R aus, die jeweils eine skalare Größe darstellen.
Bei der in 1 gezeigten Anordnung ist jeder vierte Filterpixel mij rot, entsprechend sind drei von vier Filterpixeln mij transparent, wobei hier die roten Filterpixel r selbst wiederum eine Matrixanordnung bzw. Übermatrixanordnung aus Zeilen und Spalten mit jeweils einem transparentem Filterpixel c zwischen sich bilden. Anstelle der gezeigten Anordnung sind jedoch zum einen andere Anordnungen der farbigen Filterpixel bij, weiterhin auch andere Farben statt Rot, und auch Kombinationen von transparenten Filterpixeln c mit mehreren Farben, z.B. rot, grün, blau, oder auch Mischfarben möglich. Bei der gezeigten Anordnung mit lediglich einer Art von farbigen Filterpixeln r bei ansonsten transparenten Filterpixeln C ergibt sich jedoch eine hohe Ortsauflösung.
Somit wird zunächst eine Unterscheidbarkeit von roten und weißen Lichtquellen erreicht, so dass z.B. Fahrzeugrückleuchten eines vorausfahrenden Fahrzeugs 12 und Fahrzeugfrontleuchten eines entgegenkommenden Fahrzeugs 14 mit der Kamera 2 unterschieden werden können.
Erfindungsgemäß werden vorteilhafterweise mangels Trennbarkeit des grünen Farbwerts G und des blauen Farbwerts B nachfolgend G und B gleich angesetzt. Somit wird ein Mischanteil als Türkiswert T gebildet, der zunächst als T = ½ (G+B) angesetzt werden kann.
Unter Annahme einer spektral weißen Beleuchtung und einer linearen Beziehung zwischen Beleuchtung und Grauwert wird erfindungsgemäß das Verhältnis der mit den roten Filterpixeln r gemessenen Rotwerte R und der mit den transparenten Filterpixeln c gemessenen Intensitätswerte I gebildet zu $k = \frac{R}{I}$
Der Quotient k entspricht also einer Dämpfung, die durch das Rot-Filterpixel hervorgerufen wird. K kann z.B. im Bereich von 0,78 bis 0,95 liegen und schwankt insbesondere aufgrund der unterschiedlichen spektralen Zusammensetzung des Umgebungslichts.
Erfindungsgemäß werden nachfolgend Näherungsvektoren Vn als Näherung der RGB-Vektoren (RGB) ermittelt, die eine Farbkamera geliefert hätte. Es wird folgende Beziehung angesetzt: $k I = \frac{R + β (G + B)}{1 + 2 β} = \frac{R + β 2 T}{1 + 2 β}$
Hierbei steht der Faktor β für eine unterschiedliche Gewichtung der Farbbeiträge, wobei zwischen grün und blau nicht unterschieden wird und somit lediglich eine einzige Variable β anzusetzen ist.
Somit ergibt sich der Türkiswert T als $T = \frac{k I (1 + 2 β) - R}{2 β}$
Gemäß dieser Gleichung kann aus den Intensitätswerten I und Rotwerten R der Türkiswert T als erfindungsgemäßer weiterer Farbwert bestimmt werden. Somit kann erfindungsgemäß ein Näherungsvektor Vn mit drei Farbwerten, d.h. z. B. als RGB-Vektor gebildet werden, bei dem der Grünwert und Blauwert als T angesetzt sind, d.h. mit $Vn = (R,T,T)$
Dieser Näherungsvektor kann direkt verwendet werden, oder es kann hieraus ein weiterer Funktionsvektor Vv gebildet werden, z. B. ein Visualisierungsvektor Vv mit den drei RGB-Komponenten Rv, Gv, Bv zur Darstellung auf einem Display im Fahrzeug, gegebenenfalls auch für einen Erkennungsalgorithmus, mit $Vv = (Rv,Gv,Bv) = c \cdot Vn = c (R, T, T)$
Der Vorfaktor c wird vorzugsweise zu c = 1/k gesetzt, um die durch das rote Filterpixel R hervorgerufene Dämpfung wieder zu kompensieren.
Somit werden erfindungsgemäß zweite Bildsignale S2 erzeugt, die derartige Funktionsvektoren Vv mit zusätzlichen Farbinformationen, nämlich z. B. den Türkiswerten T in zwei Komponenten, enthalten.
Durch Variation von β kann in den Bildern eine unterschiedliche Farbigkeit erzeugt werden. Somit können Bilder mit farbiger Darstellung durch Rot- und Türkiswerte dargestellt sein. Es ergeben sich somit Farbtöne entlang der Rot-Türkis-Achse. Es zeigt sich, dass die hierdurch gewonnenen Bilder überraschend gut sind und der Betrachter problemlos farbliche Differenzierungen nicht nur zwischen rot und der Umgebung sondern auch bei nicht rein roten Bereichen durchführen kann.
β kann z.B. auf 1/3 gesetzt werden, also einem Wert deutlich kleiner als 1. Dies führt zu einer höheren Farbigkeit und ist sinnvoll, da das rote Filterpixel R nur eine schwache Gesamtdämpfung aufweist.
Ergänzend können zur Kontrastverbesserung Spreizungen und Mittelwertanpassungen der Helligkeit vorgenommen werden.
Erfindungsgemäß kann weiterhin berücksichtigt werden, dass Nichtlinearitäten des als Bildsensor 7 dienenden Imager-Chips vorliegen können, die zwischen der Eingangsgröße, d.h. der Beleuchtung, und der Ausgangsgröße, d.h. dem erzeugten Grauwert, entstehen. Die Nichtliriearität kann insbesondere im Fall der Übersteuerung des Bildsensors 7 auftreten. Um dies zu verhindern, kann erfindungsgemäß bei allen Ausführungsformen über die Kameraregelung die Sättigung vermieden werden. Falls dies nicht möglich ist, können bei allen Ausführungsformen Bildbereiche mit Sättigung gesondert behandelt werden. Eine Farbrekonstruktion kann dann z. B. aus dem Rand des Sättigungsbereichs, an dem gerade noch keine Sättigung vorliegt, in den Sättigungsbereich hinein propagiert werden.
Weiterhin können erfindungsgemäß Nichtlinearitäten auftreten, die durch die Kamerakennlinie, d.h. die Sensitivität des Bildsensors bzw. seiner Sensorpixel, verursacht sind. Bei einer stückweise linearen Kamerakennlinie tritt regelmäßig der Fall auf, dass die Intensitätspixel rechts eines Knickpunktes liegen, während der zugehörige Rot-Pixel links des Knickpunktes liegt. Durch die unterschiedlichen Steigungen links und rechts des Knickpunktes variiert der Abstand zwischen dem Rotwert R und dem Intensitätswert I. Hierdurch können Farbverfälschungen auftreten, die sich ähnlich auswerken wie die oben beschriebene Sättigung.
In Zusammenhang mit einer stückweise linearen Kamerakennlinie ist es demnach für die Farbrekonstruktion vorteilhaft, die Kenntnis über die Lage der Knickpunkte und Steigungen auszunutzen.
Erfindungsgemäß wird vorteilhafterweise die Farbrekonstruktion durchgeführt, bevor weitere Nichtlinearitäten eingeführt werden, d.h. insbesondere vor den Maßnahmen zur Bildverbesserung, d.h. z. B. vor Histogramm-Abbildung, Bildschärfung und Nachtsicht-Algorithmus.
Weiterhin wird erfindungsgemäß erkannt, dass durch die scharf abbildende Kamera 2 das Nyquist-Abtasttheorem verletzt werden kann und somit Aliasing- Effekte auftreten können. Hierzu kann zum einen eine Tiefpassfilterung durchgeführt werden. 5 zeigt hierfür zwei Beispiele von Interpolationen, die eine Rekonstruktion der Farbwerte in halber Auflösung gegenüber der Originalauflösung ermöglichen. Hierbei sind zusätzlich zu der Angabe des Transmissionsverhaltens der Filterpixel, d.h. wie in 1 die Angabe c für transparente Filterpixel und r für rote Filterpixel, die Gewichtungsfaktoren für die jeweiligen Pixel, hier die Werte 1, 2 und 4 eingezeichnet. Die beiden Beispiele ermöglichen somit die Rekonstruktion sowohl der roten Filterpixel r (Rotpixel) als auch der transparenten Filterpixel c (Intensitätspixel), wobei bei diesen Beispielen jeder rote Filterpixel r und jeder transparente Filterpixel c mit insgesamt gleichem Gewicht in die Endergebnisse eingeht.
Erfindungsgemäß wird jedoch auch erkannt, dass die Aliasing-Effekte durch eine nachgeschaltete Tiefpassfilterung der Bildsignale S1 verringert, jedoch gegebenenfalls nicht ganz beseitigt werden können. Dieses Aliasing kann insbesondere bei fernen, im Bild somit punktförmigen roten Rücklichtern und gegebenenfalls Ampeln auftreten, die gegebenenfalls nur von einem einzigen Filterpixel m_ij erfasst werden und somit je nach ihrer Lage mal rot und mal weiß erscheinen. Somit kann gegebenenfalls eine punktförmige rote Lichtquelle, die dauerhaft nur auf transparente Farbpixel C fällt, lange als solche unerkannt bleiben.
Erfindungsgemäß wird hierfür die Möglichkeit geschaffen, die Kamera 2 mit Kameraoptik 6 und Bildsensor 7 bewusst zu defokussieren z.B. mit einer Defokussierung der Kameraoptik 6 auf eine Entfernung jenseits von Unendlich. Somit werden alle Objekte 12, 13, 14 mit Unschärfe aufgenommen. Hierbei wirkt sich bei weit entfernten Objekten, z.B. Verkehrszeichen, Fahrbahnmarkierungen und Fußgängern die Defokussierung am geringsten aus, so dass deren Detektierbarkeit gewährt bleibt. Hierbei wird erkannt, dass bei nahen Objekten 12 eine leichte Unschärfe ohnehin unbedeutend ist.
Das erfindungsgemäße Verfahren der 4 startet somit in Schritt St1 bei Inbetriebnahme der Kamera 2. Nachfolgend werden in Schritt St2 die Fahrzeugumgebung 4 von der Kamera 2 erfasst und Bildsignale S1 an die Auswerteeinrichtung 9 ausgegeben, die gemäß Schritt St3 aus Intensitätswerten I und ersten Farbwerten, d.h. Rotwerten R, benachbarter Filterpixel m_ij gemäß der oben beschriebenen Berechnung Türkiswerte T ermittelt, woraufhin in Schritt St4 die Funktionsvektoren, z. B. Visualierungsvektoren Vv gemäß der oben beschriebenen Berechnung i ermittelt und in den zweiten Bildsignalen St2 ausgegeben werden, um gegebenenfalls nachfolgend in Schritt St5 eine Darstellung der Visualisierungsvektoren Vv auf einer Anzeigeeinrichtung und/oder eine weitere Verarbeitung durch einen Erkennungsalgorithmus durchzuführen.

Claims

Kameraanordnung (16), die mindestens aufweist: eine Kamera (2) mit einer Kameraoptik (6), einem Bildsensor (7) zum Erfassen einer Umgebung (4) und Ausgeben erster Bildsignale (S1) und einer vor dem Bildsensor (7) angebrachten Farbmaske (8), und eine Auswerteeinrichtung (9), die die von dem Bildsensor (7) ausgegebenen ersten Bildsignale (S1) aufnimmt, wobei der Bildsensor (7) mehrere Sensorpixel (bij) aufweist und die Farbmaske (8) mehrere Filterpixel (m) aufweist, die jeweils vor den Sensorpixeln(bij) angeordnet sind und erste farbige Filterpixel (r) und transparente Filterpixel (c) umfassen, und wobei einige der Sensorpixel (bij) Licht (20) über die farbigen Filterpixel (r) aufnehmen und erste Farbwerte (R) ausgeben und weitere Sensorpixel (bij) Licht (20) über die transparenten Filterpixel (c) aufnehmen und Intensitätswerte (I) ausgeben, dadurch gekennzeichnet, dass die Auswerteeinrichtung (9) aus den Intensitätswerten (I) und den ersten Farbwerten (R) verschiedener Sensorpixel (bij) zweite Farbwerte (T) ermittelt und aus den ersten Farbwerten (R) und den zweiten Farbwerten (T) zweite Bildsignale (S2) ermittelt, wobei die Auswerteeinrichtung (9) den zweiten Farbwert (T) als gemittelten Komplementärwert zu dem ersten Farbwert (R) ermittelt unter Verwendung mindestens eines Intensitätswerts (I) und eines ersten Farbwerts (R) sowie einer Dämpfung (k), die durch ein Verhältnis des ersten Farbwertes (R) zu dem Intensitätswert (I) bestimmt ist.
Kameraanordnung nach Anspruch 1, dadurch gekennzeichnet, dass die ersten farbigen Filterpixel (r) nur für einen Teilbereich des sichtbaren Lichtes, z. B. einen roten Wellenlängenbereich, transparent sind und für andere Spektralbereiche eine Dämpfung (k) aufweisen und die transparenten Filterpixel (c) für den gesamten Spektralbereich des sichtbaren Lichts transparent sind.
Kameraanordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Farbmaske (8) nur transparente Filterpixel (c) und erste farbige Filterpixel (r) einer einzigen Farbe aufweist.
Kameraanordnung nach Anspruch 3, dadurch gekennzeichnet, dass die farbigen Filterpixel rote Filterpixel (r) sind, wobei etwa jedes vierte Filterpixel rot und die weiteren Filterpixel transparent sind.
Kameraanordnung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Kameraoptik (6) auf eine Gegenstandsweite größer Unendlich defokussiert ist.
Kameraanordnung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (9) aus den ersten Farbwerten (R) und den zweiten Farbwerten (T) Näherungsvektoren (Vn) mit mindestens drei Komponenten (R, T, T) ermittelt, die aus dem ersten Farbwert (R) und dem zweiten Farbwert (T) gebildet sind, und die Auswerteeinrichtung (9) die zweiten Bildsignale (S2) unter Verwendung der Näherungsvektoren (Vn) bildet.
Kameraanordnung nach Anspruch 6, dadurch gekennzeichnet, dass die Näherungsvektoren (Vn) als eine Komponente den ersten Farbwert (R) und in mindestens zwei weiteren Komponenten den ermittelten zweiten Farbwert (T) enthalten.
Kameraanordnung nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteeinrichtung (9) einen Funktionsvektor (Vv) durch Skalierung des Näherungsvektors (Vn) mittels eines Vorfaktors (c) ermittelt, der in Abhängigkeit einer Dämpfung (k) ermittelt wird, die sich aus dem Verhältniseines ersten Farbwertes (R) zu einem Intensitätswert (I) ergibt.
Kameraanordnung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Kamera (2) eine Fahrzeugkamera (2) zur Erfassung einer Fahrzeugumgebung (4) ist und die Auswerteeinrichtung (9) die Visualisierungsvektoren (Vv) zur Darstellung auf einer fahrzeuginternen Anzeigeeinrichtung und/oder für eine Fahrzeugassistenzfunktion ausgibt.
Verfahren zum Ermitteln von Bildsignalen (S2) mit Farbwerten (R, T), das mindestens folgende Schritte aufweist: Erfassen einer Umgebung (4) mit einem Bildsensor (7) und Ermittlung eines ersten Bildsignals (S1) (St2), wobei der Bildsensor (7) mehrere Sensorpixel (bij) aufweist, die Licht (20) über Filterpixel (mij) mit unterschiedlichen Transmissionseigenschaften aufnehmen, von denen farbige Filterpixel (r) Licht (20) über einen kleinen Wellenlängenbereich und transparente Filterpixel (c) Licht (20) über einen großen Wellenlängenbereich durchlassen, der den kleinen Wellenlängenbereich zumindest teilweise umfasst, wobei einige der Sensorpixel (bij) Licht (20) über die farbigen Filterpixel (r) aufnehmen und erste Farbwerte (R) ausgeben, und weitere Sensorpixel(bij) Licht (20) über die transparenten Filterpixel (c) aufnehmen und Intensitätswerte (I) ausgeben, Ermitteln zweiter Farbwerte (T) aus den Intensitätswerten (I) und den ersten Farbwerten (R) verschiedener Sensorpixel (bij) (St3), und Ermitteln zweite Bildsignale (S2) unter Verwendung der ersten Farbwerte (R) und der zweiten Farbwerte (T) (St4), dadurch gekennzeichnet, dass der zweite Farbwert (T) als gemittelter Komplementärwert zu dem ersten Farbwert(R) ermittelt wird unter Verwendung mindestens eines Intensitätswerts (I) und eines ersten Farbwerts (R) sowie einer Dämpfung (K), die durch ein Verhältnis des ersten Farbwertes (R) zu dem Intensitätswert (I) bestimmt ist.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass aus den ersten Farbwerten (R) und den zweiten Farbwerten (T) Näherungsvektoren (Vn) mit mindestens drei Komponenten (R, T, T) ermittelt werden, die aus dem ersten Farbwert (R) und dem zweiten Farbwert (T) gebildet werden, und die zweiten Bildsignale (S2) unter Verwendung der Näherungsvektoren (Vn) gebildet werden.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Näherungsvektoren (Vn) als eine Komponente den ersten Farbwert (R) und in mindestens zwei weiteren Komponenten den ermittelten zweiten Farbwert (T) enthalten.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass ein Funktionssvektor (Vv) durch Skalierung des Näherungsvektors (Vn) mittels eines Vorfaktors (c) ermittelt wird, der in Abhängigkeit einer Dämpfung (k) ermittelt wird, die sich aus dem Verhältnis eines ersten Farbwertes (R) zu einem Intensitätswert (I) ergibt.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass der zweite Farbwert (T) ermittelt wird aus der Gleichung , $T = \frac{k I (1 + 2 β) - R}{2 β},$
mit T = zweiter Farbwert, I = Intensitätswert, k = Dämpfung, β = Gewichtungsfaktor zur Gewichtung des zweiten Farbwerts (T).
Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass zur Ermittlung des zweiten Farbwertes (T) erste Farbwerte (R) und Intensitätswerte (I) benachbarter Sensorpixel (bij) verwendet werden.