-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, das mindestens eine Kamera aufweist.
-
Moderne Fahrzeuge weisen häufig eine Kamera auf, die von Fahrerassistenzsystemen genutzt wird. So werden zum Beispiel für eine Einparkhilfe, eine Spurerkennung oder für einen Abstandsassistenten häufig Kameras verwendet.
-
Zusätzlich wird in Fahrzeugen häufig ein Regensensor verbaut, welcher Regen detektiert. Mittels des Regensensors kann beispielsweise eine automatische Scheibenwischersteuerung realisiert werden.
-
Außerdem wird häufig zum Beispiel für eine automatische Abblendlichtsteuerung ein Lichtsensor in Fahrzeugen verbaut. Der Lichtsensor detektiert die Helligkeit die von außen auf den Lichtsensor trifft.
-
Die Aufgabe, die der Erfindung zugrunde liegt, ist es gemäß einem ersten Aspekt ein Verfahren beziehungsweise eine Vorrichtung zu schaffen zum Betreiben eines Fahrzeugs, um auf einfache Weise ein erstes Messsignal zu ermitteln, das repräsentativ ist für die Helligkeit, die in Bezug auf das Fahrzeug von außen auf das Fahrzeug auftrifft und gemäß einem zweiten Aspekt ein Verfahren beziehungsweise eine Vorrichtung zu schaffen zum Betreiben eines Fahrzeugs um auf einfache Weise ein zweites Messsignal zu ermitteln, das repräsentativ ist für einen Regenzustand außerhalb des Fahrzeugs.
-
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
-
Die Erfindung zeichnet sich gemäß einem ersten Aspekt aus durch ein Verfahren beziehungsweise durch eine korrespondierende Vorrichtung zum Betreiben eines Fahrzeugs. Das Fahrzeug weist mindestens eine Kamera auf. Es wird ein Bilddatensatz bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera erfasst wird. Abhängig von dem Bilddatensatz wird ein erstes Messsignal ermittelt, das repräsentativ ist für die Helligkeit des Lichts, das in Bezug auf das Fahrzeug von außen auf das Fahrzeug auftrifft.
-
Auf diese Weise wird es ermöglicht eine Kamera zu nutzen als Lichtsensor. Es kann so auf einen Lichtsensor gegebenenfalls verzichtet werden. Darüber hinaus kann so auch eine Kamera eingesetzt werden, die für einen anderen Zweck, wie zum Beispiel zur Spurerkennung, Fußgängerschutz oder Abstandswarnung ohnehin vorhanden ist. Der Lichtsensor kann mit der Fahrzeugkamera realisiert werden, dies spart gegebenenfalls Kosten und Bauraum.
-
Gemäß einer vorteilhaften Ausgestaltung wird das erste Messsignal abhängig von mindestens einer Stellgröße und/oder mindestens einer Kenngröße der Kamera ermittelt.
-
Indem mindestens eine Stellgröße und/oder eine Kenngröße der Kamera für das Ermitteln des ersten Messsignals genutzt wird, lässt sich die Helligkeit gegebenenfalls robuster und/oder mit einem geringeren Rechenaufwand ermitteln.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird abhängig von dem ersten Messsignal eine Tunneleinfahrt und/oder eine Tunnelausfahrt erkannt.
-
Durch eine schnelle Erkennung der Tunneleinfahrt und/oder der Tunnelausfahrt ist es beispielsweise möglich, das Fahrzeuglicht im Tunnel einzuschalten.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird abhängig von dem ersten Messsignal ein Tag-/Nachtzustand und/oder ein Dämmerungszustand erkannt.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird abhängig von dem ersten Messsignal ein Steuersignal bereitgestellt. Das Steuersignal wird bereitgestellt zum Aktivieren einer Tag-Anzeige-Ansicht oder einer Nacht-Anzeige-Ansicht einer Anzeigevorrichtung und/oder zum Aktivieren oder Deaktivieren von mindestens einem Fahrzeugscheinwerfer.
-
Durch Bereitstellen eines Steuersignals ist es ohne großen Aufwand möglich die Anzeigevorrichtung und/oder Fahrzeugscheinwerfer zu steuern.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird das erste Messsignal gefiltert. Durch das Filtern können Störungen des Messsignals unterdrückt werden. So kann beispielsweise eine plötzlich auftretende Helligkeit herausgefiltert werden, die zum Beispiel von Scheinwerfern eines entgegenkommenden Fahrzeugs erzeugt wurde.
-
Gemäß einem zweiten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren beziehungsweise durch eine korrespondierende Vorrichtung zum Betreiben eines Fahrzeugs, das mindestens eine Kamera aufweist. Es wird ein Bilddatensatz bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera erfasst wird. Abhängig von dem Bilddatensatz wird ein zweites Messsignal ermittelt, das repräsentativ ist für einen Regenzustand außerhalb des Fahrzeugs.
-
Auf diese Weise wird es ermöglicht eine Kamera zu nutzen als Regensensor. Es kann so auf einen Regensensor gegebenenfalls verzichtet werden. Darüber hinaus kann so auch eine Kamera eingesetzt werden, die für einen anderen Zweck, wie zum Beispiel zur Spurerkennung, Fußgängerschutz oder Abstandswarnung ohnehin vorhanden ist. Der Regensensor kann mit der Fahrzeugkamera realisiert werden, dies spart gegebenenfalls Kosten und Bauraum.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung werden abhängig von dem Bilddatensatz Ortsfrequenzen des Bildes ermittelt. Abhängig von den ermittelten Ortsfrequenzen des Bildes wird das zweite Messsignal ermittelt. Durch Auswertung der Ortsfrequenzen können mit geringem Rechenaufwand Rückschlüsse auf den Regenzustand gezogen werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird eine Sequenz von Bilddatensätzen bereitgestellt. Der jeweilige Bilddatensatz ist einem jeweiligen Bild aus einer zugeordneten Sequenz an Bildern zugeordnet. Abhängig von dem jeweiligen Bilddatensatz eines jeweiligen Bildes der Sequenz an Bildern werden jeweilige Ortsfrequenzen des jeweiligen Bildes ermittelt. Abhängig von den Ortsfrequenzen des jeweiligen Bildes wird ein Kennwert ermittelt, der charakteristisch ist für die Schärfe des jeweiligen Bildes.
-
Abhängig von den ermittelten Kennwerten der jeweiligen Bilder wird ein Schärfeverlauf der Sequenz der Bilder ermittelt. Abhängig von dem Schärfeverlauf wird das zweite Messsignal ermittelt.
-
Durch Betrachtung des Schärfeverlaufs wird gegebenenfalls zuverlässiger der Regenzustand ermittelt.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung wird abhängig von den Ortsfrequenzen der jeweiligen Bilder ein Bildbereich ermittelt, in dem sich die Ortsfrequenzen stärker verändern als in anderen Bildbereichen. Abhängig von den Ortsfrequenzen des Bildbereichs wird der jeweilige Kennwert des Bildes ermittelt.
-
Durch die Einschränkung des Bildbereichs kann der Rechenaufwand verringert werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung ist die Kamera als Stereokamera ausgebildet. Abhängig von dem Bilddatensatz werden Tiefeninformationen ermittelt, die charakteristisch sind für eine Entfernung von einzelnen Punkten von Objekten, die auf dem Bild abgebildet sind. Abhängig von den Tiefeninformationen wird das zweite Messsignal ermittelt.
-
Falls eine Stereokamera in dem Fahrzeug verbaut ist, können die Tiefeninformationen genutzt werden um den Regenzustand robuster und gegebenenfalls mit geringerem Rechenaufwand zu ermitteln.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung handelt es sich bei der Kamera um eine Frontkamera des Fahrzeugs. Mit einer Frontkamera können gegebenenfalls Regentropfen auf der Windschutzscheibe detektiert werden.
-
Der erste Aspekt und seine Ausgestaltungen können beliebig mit dem zweiten Aspekt und dessen Ausgestaltungen kombiniert sein.
-
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:
-
1 ein Fahrzeug,
-
2 ein erstes Ablaufdiagramm,
-
3 ein zweites Ablaufdiagramm.
-
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.
-
Ein Fahrzeug 1 (1) weist zumindest eine Kamera KAM auf. Die Kamera KAM ist dazu ausgebildet und angeordnet, zumindest einen Teilbereich der Umgebung des Fahrzeugs 1 zu erfassen. Die Kamera KAM kann auch als Stereokamera ausgebildet sein. Die Kamera KAM ist beispielsweise an der Front des Fahrzeugs 1 angeordnet.
-
Das Fahrzeug 1 weist ferner eine Steuereinheit SE auf, die mit der Kamera KAM signaltechnisch derart gekoppelt ist, dass sie einen Bilddatensatz DATA und/oder eine Sequenz von Bilddatensätzen DATAS von der Kamera KAM empfangen kann.
-
Die Steuereinheit SE weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden. Darüber hinaus weist die Steuereinheit SE bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer Anzeigevorrichtung KOM.
-
Die Anzeigevorrichtung KOM ist beispielsweise dazu ausgebildet, eine Tag-Anzeige-Ansicht oder eine Nacht-Anzeige-Ansicht bereitzustellen.
-
Die Steuereinrichtung ist beispielsweise alternativ oder zusätzlich mit mindestens einem Fahrzeugscheinwerfer SW1 und/oder einer zweiten Fahrzeugscheinwerfer SW2 und/oder weiteren Fahrzeugscheinwerfern signaltechnisch gekoppelt. Zum Beispiel kann die Steuereinrichtung das Aktivieren und Deaktivieren von Tagfahrlicht und/oder Abblendlicht und/oder Fernlicht steuern.
-
Ein erstes Programm, das in der Steuereinheit SE abgearbeitet wird, wird in einem Schritt S1 gestartet (2), in dem gegebenenfalls Variablen initialisiert werden können.
-
In einem Schritt S3 wird der Bilddatensatz DATA bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera KAM erfasst wird. Der Bilddatensatz DATA umfasst Bildinformationen und/oder Kamerainformationen. Die Bildinformationen umfassen beispielsweise Pixelwerte für Pixel des Bildes, wie beispielsweise Farbwerte oder Grauwerte der Pixel. Die Kamerainformationen weisen beispielsweise Steuergrößen und/oder Kenngrößen der Kamera auf. Sie weisen zum Beispiel die Belichtungszeit und/oder die Lichtempfindlichkeit und/oder eine Blendenzahl und/oder eine Sättigung auf.
-
In einem Schritt S5 wird abhängig von dem Bilddatensatz DATA ein erstes Messsignal INT ermittelt, das repräsentativ ist für die Helligkeit des Lichts, das in Bezug auf das Fahrzeug 1 von außen auf das Fahrzeug 1 auftritt. So kann eine Tunneleinfahrt und/oder eine Tunnelausfahrt und/oder ein Tag-/Nachtzustand und/oder ein Dämmerungszustand erkannt werden abhängig von dem ersten Messsignal INT.
-
Beispielsweise werden aus den Bildinformationen des Bilddatensatzes DATA die Pixelwerte direkt ausgewertet und gegebenenfalls unter Berücksichtigung von einer oder mehreren Steuergrößen und/oder einer oder mehreren Kenngrößen der Kamera KAM, wie zum Beispiel der Belichtungszeit, wird das erste Messsignal INT ermittelt.
-
Alternativ oder zusätzlich können Pixelwerte des Bildes, die beispielsweise im R/G/B-Farbraum vorliegen, in den Y/Cb/Cr-Farbraum umgerechnet werden. Mit einer Auswertung der Grundhelligkeitswerte (Y) der Pixel und gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer Kenngröße der Kamera KAM, wie zum Beispiel der Empfindlichkeit des Sensorchips der Kamera KAM und/oder der Belichtungszeit kann beispielsweise dann das erste Messsignal INT ermittelt werden.
-
Die Pixelwerte können auch in einen anderen Farbraum oder direkt in einen Grauwert, der die Helligkeit wiedergibt, umgerechnet werden. Durch Auswertung dieser umgerechneten Pixelwerte kann gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer Kenngröße wie zum Beispiel der Belichtungszeit und/oder der Empfindlichkeit des Sensorchips der Kamera KAM beispielsweise dann das erste Messsignal INT ermittelt werden.
-
Es ist alternativ auch möglich, falls die Pixelwerte keine Farbinformationen sondern nur Grauwerte aufweisen, abhängig von einer Auswertung der Grauwertere und gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer Kenngröße wie zum Beispiel der Belichtungszeit und/oder der Empfindlichkeit des Sensorchips der Kamera KAM das erste Messsignal INT zu ermitteln, da der Grauwert die Helligkeit des Pixels wiedergibt.
-
Es ist beispielsweise alternativ oder zusätzlich möglich abhängig von der Sättigung des Sensorchips der Kamera KAM und der Belichtungszeit das erste Messsignal zu ermitteln. Beispielsweise weist in einer dunklen Umgebung der Sensorchip der Kamera KAM eine geringe Sättigung trotz langer Belichtungszeit auf.
-
In einem optionalen Schritt S7 wird das erste Messsignal INT gefiltert. Das erste Messsignal INT wird zum Beispiel mittels eines gleitenden Mittelwertfilters und/oder eines Tiefpassfilters gefiltert. Durch das Filtern können Störungen gefiltert werden. So kann zum Beispiel, falls ein Fahrzeug mit hellen Scheinwerfen entgegenkommt, diese plötzlich auftretende Änderung der Helligkeit herausgefiltert werden.
-
In einem Schritt S9 wird abhängig von dem ersten Messsignal INT und/oder abhängig von dem gefilterten ersten Messsignal ein Steuersignal S_SIG bereitgestellt. Das Steuersignal S_SIG wird beispielsweise bereitgestellt zum Aktivieren der Tag-Anzeige-Ansicht oder der Nacht-Anzeige-Ansicht der Anzeigevorrichtung KOM und/oder zum Aktiveren oder Deaktivieren von mindestens einem Fahrzeugscheinwerfer SW1.
-
Nach dem Schritt S9 wird das erste Programm in einem Schritt S11 beendet und kann gegebenenfalls wieder im Schritt S1 gestartet werden.
-
Ein zweites Programm, das in der Steuereinheit SE abgearbeitet wird, wird in einem Schritt S21 gestartet (3), in dem gegebenenfalls Variablen initialisiert werden können.
-
In einem Schritt S23 wird der Bilddatensatz DATA bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera KAM erfasst wird. Es kann zusätzlich oder alternativ eine Sequenz von Bilddatensätzen DATAS bereitgestellt werden, wobei der jeweilige Bilddatensatz DATA einem jeweiligen Bild aus einer zugeordneten Sequenz an Bildern zugeordnet ist. Die Sequenz an Bildern kann eine Sequenz von direkt zeitlich aufeinander folgenden Bildern sein. Die Sequenz an Bildern kann aber auch Bilder in einem vorgegebenen zeitlichen Abstand aufweisen.
-
In einem optionalen Schritt S25 werden abhängig von dem Bilddatensatz DATA Ortsfrequenzen FRQ des Bildes ermittelt.
-
Um die Ortsfrequenzen FRQ zu ermitteln werden beispielsweise die Pixelwerte des Bildes oder Pixelwerte von Teilbereichen des Bildes in einen anderen Farbraum transformiert wie beispielsweise, falls die Pixelwerte in dem R/G/B-Farbraum vorliegen, in den Y/Cb/Cr-Farbraum. Nach der Farbtransformation werden beispielsweise die Reihen und/oder die Spalten der Grundhelligkeitswerte (Y) der Pixel in den Frequenzbereich transformiert, beispielsweise mittels einer Diskreten Kosinustransformation (DCT) oder einer Diskreten Sinustransformation (DST) oder einer Disktreten Fouriertransformation (DFT) oder einer Schnellen Fouriertransformation (FFT). Die Frequenztransformation kann auch mit Pixelwerten aus jedem dem Fachmann sinnvoll erscheinenden Farbraum durchgeführt werden, gegebenenfalls ohne Farbtransformation oder gegebenenfalls aus Grauwerten. Aus der Frequenztransformation lassen sich die in dem Bild oder in dem Bildteil auftretenden Ortsfrequenzen FRQ entnehmen.
-
Aus den Ortsfrequenzen FRQ lässt sich auf die Schärfe des Bildes schließen, denn scharfe Kanten in den Reihen oder Spalten in einem Bild weisen hohe Ortsfrequenzen FRQ auf. Aus der Schärfe wiederum können Rückschlüsse auf einen Regenzustand gezogen werden, denn je unschärfer das Bild ist, desto wahrscheinlicher ist, dass es regnet.
-
Je mehr hohe Ortsfrequenzen FRQ im Bild vorkommen, desto wahrscheinlicher ist, dass das Bild scharf ist. Es kann aber auch sein, dass bei einem monotonen Bild keine hohen Ortsfrequenzen FRQ auftreten und das Bild trotzdem scharf ist, da das Bild keine oder nur wenige Kanten in den Reihen oder Spalten aufweist. Dies kann zum Beispiel der Fall sein, wenn eine Straße oder der Himmel abgebildet ist. Deshalb ist es oft sinnvoll einen Schärfeverlauf SH einer Sequenz an Bildern zu betrachten, wie in den Schritten S27 bis S29.
-
In dem optionalen Schritt S27 wird abhängig von dem jeweiligen Bilddatensatz DATA, dem ein jeweiliges Bild einer Sequenz von Bildern zugeordnet ist, jeweilige Ortsfrequenzen FRQ des jeweiligen Bildes ermittelt. Abhängig von den Ortsfrequenzen FRQ des jeweiligen Bildes wird jeweils ein Kennwert KW ermittelt, der charakteristisch ist für die Schärfe des jeweiligen Bildes.
-
Abhängig von den Ortsfreqenzen FRQ des jeweiligen Bildes wird zusätzlich oder alternativ zu dem Schritt S27 in dem Schritt S28 ein Bildbereich ermittelt, in dem sich die Ortsfrequenzen FRQ stärker verändern als in anderen Bildbereichen. Anschließend wird abhängig von den Orsfrequenzen FRQ des Bildbereichs der Kennwert KW ermittelt werden. Hiermit kann der benötigte Rechenaufwand minimiert werden, da nur noch ein Bildbereich oder eine sogenannte „Region Of Interest” (ROI) für die Berechnungen betrachtet wird. So kann es zum Beispiel sein, dass in einem Bereich des Bildes die Straße abgebildet ist und in einem anderen Bereich die Umgebung. Für die Betrachtung der Schärfe kann es nun nützlich sein die Straße nicht mit zu betrachten, so wird dieser Bildbereich für die Berechnung des Kennwerts KW beispielsweise nicht berücksichtigt.
-
In dem Schritt S29 wird der Schärfeverlauf SH abhängig von den in dem Schritt S27 und/oder Schritt S28 ermittelten Kennwerten KW der jeweiligen Bilder ermittelt. So lässt sich ein Rückschluss auf einen Regenzustand ermitteln. Fällt die Schärfe in dem Schärfeverlauf SH ab, so ist es wahrscheinlich dass es regnet. Nimmt die Schärfe zu, so ist es wahrscheinlich, dass der Regen nachlässt.
-
In einem Schritt S31 wird ein zweites Messsignal R_SIG ermittelt. Das zweite Messsignal R_SIG wird beispielsweise abhängig von dem im Schritt S29 ermittelten Schärfeverlauf SH ermittelt und/oder abhängig von den im Schritt S25 ermittelten Ortsfrequenzen FRQ des Bildes. Das zweite Messsignal R_SIG kann auch alternativ oder zusätzlich ermittelt werden aus Tiefeninformationen, die charakteristisch sind für die Entfernung von Punkten von Objekten, die auf dem Bild abgebildet sind. Die Tiefeninformationen werden beispielsweise aus dem Bilddatensatz DATA ermittelt, falls es sich bei der Kamera KAM um eine Stereokamera handelt. So wird beispielsweise aus dem Bilddatensatz DATA eine sogenannte Disparitätenkarte ermittelt. Die Disparitätskarte weist jedem Pixel des Bildes, der einen Punkt eines Objekts abbildet, einen Entfernungswert zu. Auf der Disparitätenkarte sind beispielsweise die Regentropfen auf der Windschutzscheibe als Störungen identifizierbar. Nicht nur der Zustand ob es regnet ist so ermittelbar, sonder auch die Intensität, zum Beispiel indem die Regentropfen gezählt werden.
-
Das zweite Messsignal R_SIG ist repräsentativ für einen Regenzustand außerhalb des Fahrzeugs 1. So kann abhängig von dem zweiten Messsignal R_SIG ermittelt werden ob es regnet, zusätzlich oder alternativ kann aber auch die Intensität des Regens ermittelt werden. Es kann alternativ zu einem Regensensor eine schon im Fahrzeug 1 verbaute Kamera KAM dazu genutzt werden Regen zu detektieren um beispielsweise Scheibenwischer des Fahrzeugs 1 zu steuern.
-
In einem Schritt S33 wird das zweite Programm beendet und kann gegebenenfalls in dem Schritt S21 wieder neu gestartet werden.
-
Das zweite Messsignal R_SIG lässt sich zusätzlich oder alternativ ermitteln abhängig von einem Erkennen von Lichtquellen. Werden die Lichtquellen verzerrt auf dem Bild dargestellt, oder ist ihre Uniformität gestört, so können daraus Rückschlüsse auf einen Regenzustand und eine Regenintensität gewonnen werden.
-
Das zweite Messsignal R_SIG lässt sich zusätzlich oder alternativ ermitteln abhängig von vorgegebenen Kantenformen und/oder Reflexionen. Verlaufen detektierte Kanten, zum Beispiel von vorausfahrenden Fahrzeugen, nicht wie vorgegeben, können daraus Rückschlüsse auf einen Regenzustand und eine Regenintensität gewonnen werden. Zusätzlich oder alternativ können Reflexionen zum Beispiel Reflexionen des Himmels auf einer nassen Fahrbahn detektiert werden und daraus Rückschlüsse auf den Regenzustand ermittelt werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- SE
- Steuereinheit
- KOM
- Anzeigevorrichtung
- KAM
- Kamera
- SW1, SW2
- Fahrzeugscheinwerfer
- DATA
- Bilddatensatz
- DATAS
- Sequenz von Bilddatensätzen
- INT
- erstes Messsignal
- S_SIG
- Steuersignal
- R_SIG
- zweites Messsignal
- SH
- Schärfeverlauf
- FRQ
- Ortsfrequenz
- KW
- Kennwert
