DE102014110663A1

DE102014110663A1 - Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug

Info

Publication number: DE102014110663A1
Application number: DE102014110663.6A
Authority: DE
Inventors: Patrick Eoghan Denny; Mark Patrick Griffin
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2014-07-29
Filing date: 2014-07-29
Publication date: 2016-02-04
Also published as: WO2016015965A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems (3) eines Kraftfahrzeugs (1), bei welchem mittels einer Kamera (5) des Kamerasystems (3) ein Farbbild (9) von einem Umgebungsbereich (7) des Kraftfahrzeugs (1) bereitgestellt wird und zum Erkennen von Schnee (12) in dem Farbbild (9) Bildpunkte (11) des Farbbilds (9) ausgewählt werden, welche einen Helligkeitswert (Y) aufweisen, welcher größer als ein vorbestimmter Helligkeitsgrenzwert ist, und/oder welche einen Farbwert (R, B, G) aufweisen, der einem vorbestimmten Farbwert entspricht, wobei zum Erkennen von Schnee (12) für zumindest einen der ausgewählten Bildpunkte (10) eine Gewichtungsfunktion (W_s) bestimmt wird, wobei die Gewichtungsfunktion (W_s) in Abhängigkeit einer Position (P_r) des zumindest einen ausgewählten Bildpunktes (10) in dem Farbbild (9) bestimmt wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem mittels einer Kamera des Kamerasystems ein Farbbild von einem Umgebungsbereich des Kraftfahrzeugs bereitgestellt wird und zum Erkennen von Schnee in dem Farbbild Bildpunkte des Farbbilds ausgewählt werden, welche einen Helligkeitswert aufweisen, welcher größer als ein vorbestimmter Helligkeitsgrenzwert ist und/oder welche einen Farbwert aufweisen, der einem vorbestimmten Farbwert entspricht. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchen Schnee in einem Bild erkannt wird, sind aus dem Stand der Technik bekannt. So wird in der US 8,285,059 B2 ein Verfahren beschrieben, welches in einem Bild einen Helligkeitswert eines YUV-Farbraums verwendet, um Schnee zu erkennen. Zusätzlich wird davon ausgegangen, dass die Maxima eines jeweiligen Histogramms eines R-Kanals, eines G-Kanals und eines B-Kanals von einem RGB-Farbraum nahe zusammen liegen, um Schnee zu erkennen. Zusätzlich wird eine GPS-Information genutzt, welche eine Aussage darüber ermöglichen soll, wie wahrscheinlich der Ort der Aufnahme des Bildes für Schnee ist.
Auch in der US 8,582,809 B2 wird ein Verfahren zum Erkennen von Schnee offenbart. Das Verfahren basiert auf dem Prinzip der Veränderungsdetektion, wobei untersucht wird, ob sich der Wert eines Bildpunktes in einem ersten Bild im Vergleich mit dem Wert des Bildpunktes in einem zweiten Bild, welches zeitlich später aufgenommen wurde, signifikant verändert hat. Bei Veränderung des Bildpunktes wird von einem Objekt in dem Bild wie beispielsweise Schnee in Form von fallenden Schneeflocken ausgegangen.
Nachteilig an den erwähnten Verfahren ist, dass diese Verfahren fast ausschließlich mit Techniken der Bildverarbeitung arbeiten und deren Zuverlässigkeit deshalb Beschränkungen unterliegen.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem Schnee in einem Umgebungsbereich des Kraftfahrzeugs zuverlässiger erkannt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst.
Bei einem erfindungsgemäßen Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem mittels einer Kamera des Kamerasystems ein Farbbild von einem Umgebungsbereich des Kraftfahrzeugs bereitgestellt wird und zum Erkennen von Schnee in dem Farbbild Bildpunkte des Farbbilds ausgewählt werden, welche einen Helligkeitswert aufweisen, welcher größer als ein vorbestimmter Helligkeitsgrenzwert ist und/oder welche einen Farbwert aufweisen, der einem vorbestimmten Farbwert entspricht, ist es erfindungsgemäß vorgesehen, dass zum Erkennen von Schnee für zumindest einen der ausgewählten Bildpunkte eine Gewichtungsfunktion bestimmt wird, wobei die Gewichtungsfunktion in Abhängigkeit einer Position des zumindest einen ausgewählten Bildpunkts in dem Farbbild bestimmt wird.
Durch das erfindungsgemäße Verfahren wird es also möglich, anhand der Position des ausgewählten Bildpunkts in dem Farbbild eine besonders präzise Aussage darüber zu treffen, ob es sich bei dem ausgewählten Bildpunkt um einen Bildpunkt von dem Schnee handelt oder nicht. Die ausgewählten Bildpunkte sind also Bildpunkte, welche anhand ihres Helligkeitswerts und/oder ihres Farbwertes Schnee darstellen können. Die Position in dem Farbbild wird deshalb berücksichtig, weil bei bekannter Ausrichtung der Kamera die Wahrscheinlichkeit für den Schnee an den verschiedenen Positionen in dem Farbbild unterschiedlich ist. Die Wahrscheinlichkeit kann beispielsweise empirisch ermittelt werden. Abhängig von der Wahrscheinlichkeit kann die Gewichtungsfunktion bestimmt werden. Anhand der Gewichtungsfunktion kann also eine Aussage darüber getroffen werden, wie wahrscheinlich beziehungsweise mit welcher Zuverlässigkeit der ausgewählte Bildpunkt an der jeweiligen Position Schnee in dem Umgebungsbereich beschreibt.
Weiterhin ist vorgesehen, dass die Gewichtungsfunktion in Abhängigkeit davon bestimmt wird, ob die Position des zumindest einen ausgewählten Bildpunkts in einem vorbestimmten Bereich des Farbbilds angeordnet ist. Dies hat den Vorteil, dass ausgewählte Bildpunkte in dem vorbestimmten Bereich des Farbbilds beispielsweise von dem weiteren Verfahren ausgeschlossen beziehungsweise nicht berücksichtigt werden können. So kann es beispielsweise der Fall sein, dass bei einem Bild ein Bereich Teile des Kraftfahrzeugs, beispielsweise einen Stoßfänger, darstellt. Dies kann beispielsweise bei Kameras mit einer Fischaugenlinse und/oder der Rückfahrkameras auftreten. Es kann somit vorgesehen sein, dass der vorbestimmte Bereich einen von dem Kraftfahrzeug verschieden Bereich des Farbbildes beschreibt. Somit ist es möglich, dass beispielsweise Schnee, welcher auf einem Stoßfänger oder einem anderen Teil des Kraftfahrzeuges liegt, nicht berücksichtigt wird.
Vorzugsweise wird die Gewichtungsfunktion in Abhängigkeit von einer Anzahl von weiteren ausgewählten Bildpunkten, die einen vorbestimmten Abstand zu dem zumindest einen Bildpunkt aufweisen, bestimmt. Das bedeutet, dass eine Anhäufung von den ausgewählten Bildpunkten in einem Bereich mit einer vorbestimmten Größe in die Gewichtungsfunktion einfließen kann. Es können also Cluster von den ausgewählten Bildpunkten in der Gewichtungsfunktion berücksichtigt werden. Dies hat den Vorteil, dass ein alleinstehender ausgewählter Bildpunkt mit einem niedrigeren Gewicht beurteilt werden kann, als ein ausgewählter Bildpunkt, welcher andere ausgewählte Bildpunkte in dem vorbestimmten Abstand aufweist. Dies kann weiterhin vorteilhaft sein, weil der Schnee üblicherweise nicht punktuell, sondern flächig in dem Umgebungsbereich, und somit in dem Farbbild, erscheint.
Insbesondere ist vorgesehen, dass die Gewichtungsfunktion zusätzlich in Abhängigkeit von zumindest einem Umgebungsparameter, welcher von einer kraftfahrzeugseitigen Erfassungseinrichtung bereitgestellt wird und den Umgebungsbereich des Kraftfahrzeugs beschreibt, bestimmt wird. Vorteilhaft ist, dass mit der kraftfahrzeugseitigen Erfassungseinrichtung zusätzliche Informationen über den Umgebungsbereich bereitgestellt werden kann. Das Erkennen von Schnee kann also dadurch besonders präzise und zuverlässig erfolgen. Die Erfassungseinrichtung kann vielfältige Sensoren und/oder Informationsempfänger umfassen. Die Information beziehungsweise die Umgebungsparameter können dann in die Gewichtungsfunktion einfließen und eine Aussage unterstützen, ob es sich bei dem ausgewählten Bildpunkt um Schnee handelt oder nicht. Ein weiterer Vorteil der Verwendung von Umgebungsparametern ist, dass durch die Informationsfusion, welche stattfindet mit den Umgebungsparametern und dem Farbbild, und welche die Zuverlässigkeit des Erkennens von Schnee erhöhen kann.
Vorzugsweise ist vorgesehen, dass als der zumindest eine Umgebungsparameter eine aktuelle Temperatur in dem Umgebungsbereich des Kraftfahrzeugs bereitgestellt wird. Die aktuelle Temperatur kann beispielsweise mittels eines Temperatursensors des Kraftfahrzeugs bereitgestellt werden. Die Berücksichtigung der aktuellen Temperatur ist vorteilhaft, weil dadurch ein weiterer Umgebungsparameter in die Gewichtungsfunktion einfließen kann. Üblicherweise sinkt die Wahrscheinlichkeit für Schnee aufgrund physikalischer Gesetze bei steigender Temperatur über 0 °C deutlich.
Weiterhin ist vorgesehen, dass als der zumindest eine Umgebungsparameter eine Intensität eines Infrarotsignals, welches den Umgebungsbereich beschreibt, bereitgestellt wird. Das Infrarotsignal kann beispielsweise mittels eines Infrarotsensors des Kraftfahrzeuges bereitgestellt werden. Das Infrarotsignal wird üblicherweise in einem Spektralbereich zwischen 780 Nanometer und 1 Millimeter Wellenlänge ermittelt. Anhand des Infrarotsignals kann auf eine Temperatur eines Objektes in dem Umgebungsbereich zurückgeschlossen werden. Das Reflexionsvermögen von Schnee im Bereich des nahen Infrarots, also im Bereich von 0,78 Mikrometer bis 3 Mikrometer Wellenlänge, kann allerdings aufgrund der Korngröße von Schnee im Vergleich zu dem Bereich des sichtbaren Lichtes stark nachlassen.
Weiterhin ist vorgesehen, dass als der zumindest eine Umgebungsparameter eine den Umgebungsbereich beschreibende Wetterinformation, welche mittels der Erfassungseinrichtung von einer externen Sendeeinrichtung empfangen wird, bereitgestellt wird. Die Wetterinformation kann also beispielsweise ein aktueller Wetterbericht sein, welcher von einer externen Sendeeinrichtung, beispielsweise einem Radiosender und/oder einer Quelle aus dem Internet, bereitgestellt werden. So kann diese Information aus dem Internet beispielsweise sehr komfortabel mittels eines RSS-Feeds bezogen werden. Die Wetterinformation kann also für den momentanen Aufenthaltsort des Kraftfahrzeuges abgestimmt bezogen werden. So kann dies beispielsweise mit einem GNSS- beziehungsweise einem Globalen Navigationssatelliten-System, beispielsweise GPS und/oder GLONASS, erreicht werden. Durch das GNSS-System kann also der momentane Aufenthaltsort des Kraftfahrzeugs ermittelt werden und dementsprechend die für den Umgebungsbereich angepasste Wetterinformation abgerufen beziehungsweise bezogen werden. Die Wetterinformation kann also beispielsweise beinhalten, ob Schnee vorhanden ist und/oder ob Schneefall angekündigt ist und/oder ob in den vergangenen Tagen Schnee gefallen ist. Weiterhin kann anhand der Wetterinformation auch ein Näherungswert für die Temperatur des Umgebungsbereichs berücksichtigt werden.
Vorzugsweise ist vorgesehen, dass als der zumindest eine Umgebungsparameter eine Höhe des Kraftfahrzeugs bezüglich eines bestimmten Höhenbezugspunktes bereitgestellt wird. Die Höhe des Kraftfahrzeugs kann beispielsweise mittels eines GNSS-Empfängers und/oder eines Barometers ermittelt werden. Der Höhenbezugspunkt kann beispielsweise der Amsterdamer Pegel sein oder im Fall von einer GPS-Messung das Referenzellipsoid WGS 84. Aufgrund der Höhe kann die Wahrscheinlichkeit für Schnee, welche mit zunehmender Höhe ansteigt, in die Gewichtungsfunktion eingebracht werden.
Weiterhin ist vorgesehen, dass der zumindest eine Umgebungsparameter von einer Antriebsschlupfregelung des Kraftfahrzeugs an die Erfassungseinrichtung übertragen wird. Die Antriebsschlupfregelung wird auch als Traktionskontrolle bezeichnet und sorgt dafür, dass die Räder beim Beschleunigen des Kraftfahrzeugs nicht durchdrehen. Die Antriebsschlupfregelung soll bei schlechten Fahrbahnverhältnissen wie beispielsweise Eis und/oder Schnee auf der Fahrbahn verhindern, dass ein oder mehrere Räder durchdrehen und das Kraftfahrzeug seitlich ausbricht. Es kann beispielsweise auch eine Information des automatischen Lenkeingriffs von beispielsweise einem Lenkneigungskontrollsystem (steering tilt control system) des Kraftfahrzeuges genutzt werden, welche aktiviert wird, falls die Antriebsschlupfregelung Eis oder Schnee detektiert. Bei dem Lenkneigungskontrollsystem wird eine aktive Steuerung der Vorderrad-Lenkwinkel verwendet wird, um die Stabilität des Kraftfahrzeuges aufrecht zu erhalten. Die Information von der Antriebsschlupfregelung kann beispielsweise von einem CAN-BUS des Kraftfahrzeugs abgegriffen werden.
Insbesondere ist vorgesehen, dass bei dem Erkennen von Schnee in dem Farbbild eine Anpassung von Kameraparametern der Kamera durchgeführt wird. So kann beispielsweise mittels einer Steuereinheit des Kraftfahrzeuges eine Voreinstellung von Kameraparametern gestartet werden. Das bedeutet, falls Schnee erkannt wurde, können die Kameraparameter dementsprechend an die Situation angepasst werden. Vorteilhafterweise kann dadurch eine bessere Bildqualität des Farbbildes erreicht werden. Das Farbbild kann also mit einer besonders hohen Qualität durch die Kamera aufgenommen werden, weil die Kameraparameter an die spezielle Situation, welche aufgrund von Schnee gegeben ist, angepasst werden kann. Die spezielle Situation aufgrund von Schnee ist beispielsweise eine hohe Reflexion von Licht, insbesondere Sonnenlicht, welches dazu führt, dass die Gefahr einer Überbelichtung des Farbbildes bestehen kann.
Es ist vorgesehen, dass als die Kameraparameter ein Weißabgleichswert der Kamera und/oder ein Lichtempfindlichkeitswert der Kamera und/oder ein Gammawert der Kamera und/oder ein Kontrastwert der Kamera und/oder eine Dynamikumfangkontrolleinheit der Kamera angepasst werden. Der Lichtempfindlichkeitswert kann beispielsweise ein Empfindlichkeitswert des Sensors der Kamera sein, welcher üblicherweise in ISO angegeben wird. Beispielsweise kann aber auch mittels einer Blende der Kamera der Lichteinfall auf den Sensor reduziert werden. Der Gammawert steht für einen Ausgleichsfaktor eines abbildenden Systems an das Empfinden des menschlichen Auges. Hierbei kommt die Gammakorrektur zum Einsatz, welche eine Korrekturfunktion zur Überführung einer physikalisch proportional, das heißt linear wachsenden, Größe in eine dem menschlichen Empfinden gemäß nicht linear wachsende Größe transformiert. Weiterhin kontrolliert die Dynamikumfangkontrolleinheit unter anderem den Kontrast des Farbbildes. So ist ein Hochkontrastbild beziehungsweise ein Bild mit einem hohen Dynamikumfang ein digitales Bild, das große Helligkeitsunterschiede detailreich wiedergibt. Vorteilhaft ist also, wiederum eine möglichst hohe Qualität des Farbbildes mit dem Schnee in dem Umgebungsbereich zu erhalten.
Weiterhin ist vorgesehen, dass bei dem Erkennen von Schnee in dem Farbbild eine Funktion der Kamera, insbesondere eine automatische Kalibrierung, deaktiviert wird. So gibt es bestimmte Funktionen der Kamera, welche aufgrund des Vorhandenseins von Schnee nicht korrekt ausgeführt werden können. Hierzu kann auch die automatische Kalibrierung der Kamera zählen. Es ist also vorteilhaft, wenn beispielsweise die automatische Kalibrierung während des Erkennens beziehungsweise des Vorhandenseins von Schnee deaktiviert wird beziehungsweise nicht genutzt wird, um eine falsche automatische Kalibrierung zu verhindern.
In einem weiteren Ausführungsbeispiel ist vorgesehen, dass das Erkennen von Schnee ausschließlich dann durchgeführt wird, falls die Umgebungstemperatur einen vorbestimmten Temperaturgrenzwert unterschreitet. Das bedeutet, dass das Verfahren zum Erkennen von Schnee so lange deaktiviert sein kann, bis der vorbestimmte Temperaturgrenzwert unterschritten wird. Das ist vorteilhaft, weil dadurch eine mögliche Fehldetektion beziehungsweise ein falsches Erkennen von Schnee bei höchst unwahrscheinlichen Umgebungstemperaturen, beispielsweise Umgebungstemperaturen über 5 °C oder über 10 °C oder insbesondere über 15 °C unterdrückt beziehungsweise vermieden werden kann. Weiterhin ist vorteilhaft, dass durch die zeitweise Deaktivierung des Verfahrens zum Erkennen von Schnee abhängig von der Umgebungstemperatur Ressourcen des Kraftfahrzeugs eingespart werden können.
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst zumindest eine Kamera eines Kamerasystems und eine Auswerteeinheit des Kamerasystems, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystems, welches ein Kamerasystem umfasst; und
2 ein Farbbild von einem Umgebungsbereich des Kraftfahrzeugs, welches mittels einer Kamera des Kamerasystems erfasst ist.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel ein Kamerasystem 3 und eine Erfassungseinrichtung 4. Das Kamerasystem 3 umfasst weiterhin eine Kamera 5 und eine Auswerteeinheit 6.
Die Kamera 5 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, mit welcher Farbbilder von einem Umgebungsbereich 7 des Kraftfahrzeugs 1 erfasst werden können.
Im Ausführungsbeispiel gemäß 1 ist die Kamera 5 in einem Bereich hinter einer Windschutzscheibe 8 des Kraftfahrzeugs 1 angeordnet und in Fahrtrichtung des Kraftfahrzeugs 1 nach vorne ausgerichtet. Die Anordnung der Kamera 5 an dem Kraftfahrzeug 1 ist jedoch vielfältig möglich, so kann die Kamera 5 beispielsweise auch an einer Front oder einem Heck oder seitlich an dem Kraftfahrzeug 1 angeordnet sein. Weiterhin sind auch mehrere der Kameras 5 vorzugsweise vorgesehen, welche den Umgebungsbereich 7 erfassen.
In dem vorliegenden Ausführungsbeispiel ist schematisch eine Erfassungseinrichtung 4 gezeigt. Die Erfassungseinrichtung 4 kann ebenfalls beliebig an dem Kraftfahrzeug 1 angeordnet sein. Die Erfassungseinrichtung 4 kann einen Temperatursensor umfassen, mit dem eine aktuelle Temperatur in dem Umgebungsbereich 7 des Kraftfahrzeugs 1 erfasst werden kann. Die Erfassungseinrichtung 4 kann zudem beispielsweise einen Infrarotsensor umfassen, mit dem eine Infrarotaufnahme des Umgebungsbereichs 7 aufgenommen werden kann.
Darüber hinaus kann die Erfassungseinrichtung 4 einen GNSS-Empfänger, also einen Empfänger für die Signale eines globalen Navigationssatellitensystems aufweisen. Anhand des GNSS-Empfängers kann die aktuelle Position des Kraftfahrzeugs 1 und/oder die Höhe, auf der sich das Kraftfahrzeug 1 momentan befindet erfasst werden. Des Weiteren kann die Erfassungseinrichtung 4 einen Internetempfänger und/oder einen Radioempfänger und/oder einen Fernsehsenderempfänger aufweisen. Auf diese Weise können Wetterinformationen für den Umgebungsbereich 7 empfangen werden. Zudem kann die Erfassungseinrichtung 4 dazu ausgelegt sein, Daten von einer Antriebsschlupfregelung des Kraftfahrzeugs 1 zu empfangen.
Der Ablauf des Verfahrens zum Erkennen von Schnee ist gemäß einer Ausführungsform der Erfindung wie folgt. Es wird mittels der Kamera 5 ein Farbbild 9 des Umgebungsbereichs 7 bereitgestellt. In dem Farbbild 9 werden Bildpunkte 10 ausgewählt, welche einen Helligkeitswert aufweisen, welcher größer als ein vorbestimmter Helligkeitsgrenzwert ist. Hierzu wird das Farbbild beispielsweise in einen YUV-Farbraum konvertiert, wo der Y-Kanal des YUV-Farbraums die Helligkeit des jeweiligen Bildpunktes 10 des Farbbilds 9 beschreibt. Weiterhin wird der Bildpunkt 10 ausgewählt, falls dieser einen Farbwert aufweist, der einem vorbestimmten Farbwert entspricht. Dies kann wie folgt mathematisch dargestellt werden:
Ein Bildpunkt 11 von dem Farbbild 9 ist ein ausgewählter Bildpunkt 10, falls der Wert für den Y-Kanal kleiner oder gleich als ein vorbestimmter Helligkeitsgrenzwert und sich die jeweiligen Werte für einen R-Kanal, einen G-Kanal und einen B-Kanal im Wesentlichen entsprechen. Dabei sind der R-Kanal, der G-Kanal und der B-Kanal jeweilige Kanäle des Farbbilds 9 in einem RGB-Farbraum.
Der zumindest eine ausgewählte Bildpunkt 10 wird anschließend mit einer Gewichtungsfunktion W_s zum Erkennen von Schnee 12 in dem Umgebungsbereich 7 untersucht. Die Gewichtungsfunktion W_s kann beispielsweise wie folgt dargestellt werden: W_s = A·T_v + B·P_r + C·IR_v + D·Z_v + E·TS_v, wobei T_v eine aktuelle Temperatur in dem Umgebungsbereich 7, P_r eine Position des zumindest einen ausgewählten Bildpunkts 10, IR_v eine Intensität eines Infrarotsignals, welches den Umgebungsbereich 7 beschreibt, Z_v eine Höhe des Kraftfahrzeugs 1 bezüglich eines bestimmten Höhenbezugspunkts und TS_v eine Parameter von einer Antriebsschlupfregelung des Kraftfahrzeugs 1 beziehungsweise von einem Lenkneigungskontrollsystem (steering tilt control system) ist. A ist Koeffizient der aktuellen Temperatur T_V, B ist der Koeffizient der Position P_r, C ist der Koeffizient der Intensität des Infrarotsignals IR_v, D ist der Koeffizient der Höhe Z_v und E ist der Koeffizient des Parameters von einer Antriebsschlupfregelung TS_v.
Mit den Koeffizienten A bis E können also die Umgebungsparameter T_v, IR_v, Z_v, TS_v ihrer Information entsprechend gewichtet werden. Der Wert der Koeffizienten beziehungsweise die Gewichtung kann beispielsweise empirisch festgelegt werden. So kann beispielsweise eine aussagekräftige Menge von Trainingsdaten zur Auswahl eines Wertes des jeweiligen Koeffizienten A, B, C, D, E herangezogen werden.
Anhand der Gewichtungsfunktion W_s kann also Schnee in dem Umgebungsbereich 7 bestimmt werden. So kann davon ausgegangen werden, dass der Schnee 12 gefunden beziehungsweise bestimmt werden konnte, falls die Gewichtungsfunktion W_s über einem vorbestimmten Grenzwert liegt.
Falls zumindest einer der Umgebungsparameter T_v, IR_v, Z_v, TS_v nicht bereitgestellt werden kann, so kann dieser Wert beispielsweise mit Null in die Gewichtungsfunktion W_s eingehen.
Abhängig von dem Ergebnis, ob der Schnee 12 bestimmt wurde oder nicht, können Kameraparameter der Kamera an den Umgebungsbereich 7 mit dem Schnee 11 mittels einer Steuereinheit des Kraftfahrzeuges 1 angepasst werden. Als die Kameraparameter kann beispielsweise ein Weißabgleichswert und/oder ein Lichtempfindlichkeitswert und/oder ein Gammawert und/oder ein Kontrastwert und/oder eine Dynamikumfangkontrolleinheit der Kamera angepasst werden. Durch den Weißabgleich wird die Kamera 5 auf eine jeweilige Lichtsituation eingestellt. Der Lichtempfindlichkeitswert der Kamera 5 kann beispielsweise ein ISO-Wert sein, welcher Auskunft darüber gibt, wie empfindlich ein Sensor, beispielsweise ein CCD-Array, der Kamera 5 bezüglich Licht, also dem Einfall von Photonen, ist.
Falls die Kamera 5 einen zu hohen Lichtempfindlichkeitswert aufweist, besteht das Risiko einer Überbelichtung, insbesondere dann, wenn der Schnee 12 Licht stärker reflektiert. Das optimale Anpassen des Lichtempfindlichkeitswertes ist sinnvoll, da im Fall einer zu hohen Lichtempfindlichkeit beziehungsweise eines zu hohen Lichtempfindlichkeitswerts das Rauschen in dem Farbbild erhöht beziehungsweise verstärkt werden kann. Der Gammawert kann dazu beitragen, um einen linearen Helligkeitsverlauf in einen nicht linearen Helligkeitsverlauf, welcher für das menschliche Auge angenehmer ist, umzuwandeln beziehungsweise zu transformieren. Der Kontrastwert kann beispielsweise sicherstellen, dass ein Wertebereich des Farbbildes 9 optimal genutzt wird. Die Dynamikumfangkontrolleinheit ist dafür vorgesehen, um das Farbbild 9 möglichst qualitativ hochwertig mit sämtlichen Details des Farbbildes 9 aufzunehmen.
Weiterhin kann es vorgesehen sein, dass eine automatische Kalibrierung der Kamera 5 deaktiviert wird, falls der Schnee 12 erkannt wird. Ergänzend oder alternativ ist vorgesehen, dass das Erkennen von dem Schnee 12 ausschließlich dann durchgeführt wird, falls die Umgebungstemperatur T_v einen vorbestimmten Temperaturgrenzwert unterschreitet. Hierdurch kann erreicht werden, dass beispielsweise Ressourcen des Kraftfahrzeugs 1, beispielsweise Energie und/oder Rechenkapazität, eingespart werden.
2 zeigt das Farbbild 9 mit dem Umgebungsbereich 7, in welchem sich mittig in dem Farbbild 9 der Schnee 12 befindet. Das Farbbild 9 ist eingeteilt in die Bildpunkte 11. Die von den Bildpunkten ausgewählten Bildpunkte 10, welche den Helligkeitswert aufweisen, welcher größer als der vorbestimmte Helligkeitsgrenzwert ist und den Farbwert aufweisen, der dem vorbestimmten Farbwert entspricht, sind an der Position in dem Farbbild 9 dort angegeben, wo sich der Schnee 12 befindet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8285059 B2 [0002]
US 8582809 B2 [0003]

Claims

Verfahren zum Betreiben eines Kamerasystems (3) eines Kraftfahrzeugs (1), bei welchem mittels einer Kamera (5) des Kamerasystems (3) ein Farbbild (9) von einem Umgebungsbereich (7) des Kraftfahrzeugs (1) bereitgestellt wird und zum Erkennen von Schnee (12) in dem Farbbild (9) Bildpunkte (11) des Farbbilds (9) ausgewählt werden, welche einen Helligkeitswert (Y) aufweisen, welcher größer als ein vorbestimmter Helligkeitsgrenzwert ist, und/oder welche einen Farbwert (R, G, B) aufweisen, der einem vorbestimmten Farbwert entspricht, dadurch gekennzeichnet, dass zum Erkennen von Schnee (12) für zumindest einen der ausgewählten Bildpunkte (10) eine Gewichtungsfunktion (W_s) bestimmt wird, wobei die Gewichtungsfunktion (W_s) in Abhängigkeit einer Position (P_r) des zumindest einen ausgewählten Bildpunkts (10) in dem Farbbild (9) bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gewichtungsfunktion (W_s) in Abhängigkeit davon bestimmt wird, ob die Position (P_r) des zumindest einen ausgewählten Bildpunkts (10) in einem vorbestimmten Bereich des Farbbilds (9) angeordnet ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Gewichtungsfunktion (W_s) in Abhängigkeit von einer Anzahl von weiteren ausgewählten Bildpunkten (10), die einen vorbestimmten Abstand zu dem zumindest einen Bildpunkt (10) aufweisen, bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichtungsfunktion (W_s) zusätzlich in Abhängigkeit von zumindest einem Umgebungsparameter (T_v, IR_v, Z_v, TS_v), welcher von einer kraftfahrzeugseitigen Erfassungseinrichtung (4) bereitgestellt wird und den Umgebungsbereich (7) des Kraftfahrzeugs (1) beschreibt, bestimmt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als der zumindest eine Umgebungsparameter (T_v, IR_v, Z_v, TS_v) eine aktuelle Temperatur (T_v) in dem Umgebungsbereich (7) des Kraftfahrzeugs (1) bereitgestellt wird.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass als der zumindest eine Umgebungsparameter (T_v, IR_v, Z_v, TS_v) eine Intensität eines Infrarotsignals (IR_v), welches den Umgebungsbereich (7) beschreibt, bereitgestellt wird.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass als der zumindest eine Umgebungsparameter (T_v, IR_v, Z_v, TS_v) eine den Umgebungsbereich (7) beschreibende Wetterinformation, welche mittels der Erfassungseinrichtung (4) von einer externen Sendeeinrichtung empfangen wird, bereitgestellt wird.
Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass als der zumindest eine Umgebungsparameter (T_v, IR_v, Z_v, TS_v) eine Höhe des Kraftfahrzeugs (1) bezüglich einem bestimmten Höhenbezugspunkt bereitgestellt wird.
Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass der zumindest eine Umgebungsparameter (T_v, IR_v, Z_v, TS_v) von einer Antriebsschlupfregelung des Kraftfahrzeugs (1) an die Erfassungseinrichtung (4) übertragen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Erkennen von Schnee (12) in dem Farbbild (9) eine Anpassung von Kameraparametern der Kamera (5) durchgeführt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass als die Kameraparameter ein Weißabgleichswert der Kamera (5) und/oder ein Lichtempfindlichkeitswert der Kamera (5) und/oder ein Gammawert der Kamera (5) und/oder ein Kontrastwert der Kamera (5) und/oder eine Dynamikumfangkontrolleinheit der Kamera (5) angepasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Erkennen von Schnee (12) in dem Farbbild (9) eine Funktion der Kamera (5), insbesondere eine automatische Kalibrierung, deaktiviert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennen von Schnee (12) ausschließlich dann durchgeführt wird, falls die Umgebungstemperatur (T_v) einen vorbestimmten Temperaturgrenzwert unterschreitet.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit einer Kamera (5) eines Kamerasystems (3), und einer Auswerteeinheit (6) des Kamerasystems (3), welches dazu ausgelegt ist ein Verfahren nach den vorhergehenden Ansprüchen auszuführen.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach dem Anspruch 14.