-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1.
-
Derartige Verfahren zum Betreiben von Kraftfahrzeugen sind aus dem allgemeinen Stand der Technik und insbesondere aus dem Serienfahrzeugbau bereits hinlänglich bekannt. Bei dem jeweiligen Verfahren wird mittels einer jeweiligen Kamera des jeweiligen Kraftfahrzeugs wenigstens ein Bild einer Umgebung des Kraftfahrzeugs erfasst. Außerdem offenbart die
DE 10 2017 001 814 A1 ein Verfahren zur Erkennung von Fahrspurmarkierungen für ein Fahrzeug.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren der eingangs genannten Art derart weiter zu entwickeln, dass Fahrzeuge besonders sicher erkannt werden können.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
-
Bei dem erfindungsgemäßen Verfahren zum Betreiben eines auch als Ego-Fahrzeug oder Ego-Kraftfahrzeug bezeichneten Kraftfahrzeugs wird mittels einer Kamera des Ego-Fahrzeugs wenigstens ein Bild einer Umgebung des Ego-Fahrzeugs erfasst. Um nun wenigstens ein sich in der Umgebung etwaig befindendes und von dem Ego-Fahrzeug unterschiedliches beziehungsweise zusätzlich zu dem Ego-Fahrzeug vorgesehenes Fahrzeug besonders sicher erkennen zu können, ist es erfindungsgemäß vorgesehen, dass bei einem ersten Schritt des Verfahrens das erfasste Bild analysiert wird. Beispielsweise wird das Bild mittels einer elektronischen Recheneinrichtung, insbesondere des Ego-Fahrzeugs, analysiert. Durch das Analysieren des Bilds wird bei dem ersten Schritt überprüft, ob sich in einem ersten Teilbereich der Umgebung ein Schatten eines sich in einem zweiten Teilbereich der Umgebung befindenden und von dem Ego-Fahrzeug unterschiedlichen Objekts befindet. Bei einem zweiten Schritt des Verfahrens wird das Bild analysiert, wobei durch das Analysieren und unter Berücksichtigung des ersten Schritts des Verfahrens überprüft wird, ob sich in der Umgebung, insbesondere in dem ersten Teilbereich der Umgebung, ein von dem Ego-Kraftfahrzeug unterschiedliches und beispielsweise dem Ego-Fahrzeug vorausfahrendes oder aber stehendes Fahrzeug befindet.
-
Mit anderen Worten wird bei dem ersten Schritt überprüft, ob es gegebenenfalls zu einem Schattenwurf des sich etwaig in der Umgebung befindenden Objekts kommt beziehungsweise gekommen ist. Dieser etwaig erkannte beziehungsweise ermittelte Schattenwurf wird bei der Überprüfung berücksichtigt, ob sich in der Umgebung, insbesondere in dem ersten Teilbereich, gegebenenfalls wenigstens ein von dem Ego-Fahrzeug unterschiedliches Fahrzeug befindet. Durch Berücksichtigung eines solchen, etwaigen Schattenwurfs können sich in der Umgebung befindende Fahrzeuge besonders sicher, das heißt besonders präzise beziehungsweise robust oder mit einer sehr hohen Wahrscheinlichkeit erkannt werden. Wird beispielsweise im Rahmen des erfindungsgemäßen Verfahrens anhand des Bilds wenigstens ein sich in der Umgebung befindendes und von dem Ego-Fahrzeug unterschiedliches Objekt erkannt und beispielsweise ermittelt, dass es sich bei dem Objekt um ein von dem Ego-Fahrzeug unterschiedliches Fahrzeug handelt, so wird bei dem Verfahren das Fahrzeug in Abhängigkeit von dem Bild und in Abhängigkeit von dem Schattenwurf, welcher, insbesondere mittels der elektronischen Recheneinrichtung, bestimmt beziehungsweise ermittelt wird beziehungsweise wurde, präzise bestimmt und erkannt. Der Erfindung liegen insbesondere die folgenden Erkenntnisse zugrunde:
-
Bei einem Fahrerassistenzsystem eines beispielsweise als Kraftwagen, insbesondere als Lastkraftwagen, ausgebildeten Kraftfahrzeugs kann beispielsweise durch eine eingebaute Kamera ein insbesondere dem Kraftfahrzeug vorausliegendes Umfeld, insbesondere Verkehrsumfeld, erfasst werden. Dies ermöglicht unter anderem die Erkennung von dem Kraftfahrzeug vorausfahrenden Fahrzeugen. Das jeweilige erkannte und vorausfahrende Kraftfahrzeug kann beispielsweise für Aktionen des Fahrerassistenzsystems berücksichtigt werden. Bei Sonnenschein und daraus resultierendem Schattenwurf von sich in der Umgebung befindenden Objekte wie beispielsweise weiteren Verkehrsteilnehmern, insbesondere weiteren Fahrzeugen, können jedoch eine Erkennung des vorausfahrenden Fahrzeugs und in der Folge davon abhängige Aktionen des Fahrerassistenzsystems beeinträchtigt sein. Dies kann gegebenenfalls daran liegen, dass das Fahrerassistenzsystem aufgrund von starkem Sonnenschein vorausfahrende Fahrzeuge unter Umständen nicht erkennen kann. Dies ist insbesondere bei Fahrzeugen mit dunkler Außenfarbe möglich, da gegebenenfalls nicht überprüft oder unterschieden wird, ob es sich bei einem dunklen Teil des Bilds um einen möglichen Schatten eines Objekts oder um ein vorausfahrendes oder stehendes Fahrzeug, insbesondere mit dunkler Außenfarbe, handelt. Dies ist nun jedoch durch das erfindungsgemäße Verfahren möglich.
-
Das zuvor beschriebene Problem kann durch die Erfindung gelöst werden, indem ein etwaiger, durch ein Objekt bewirkter Schattenwurf erkannt und bei einer etwaigen Erkennung eines beispielsweise dem Ego-Fahrzeug vorausfahrenden oder aber stehenden Fahrzeugs berücksichtigt werden kann. Um zu ermitteln, ob sich in dem ersten Teilbereich der Umgebung ein Schatten befindet, das heißt, um zu ermitteln, ob wenigstens ein erster Teil des erfassten Bilds ein Bild eines Schattens eines sich in der Umgebung befindenden Objekts ist, werden beispielsweise Informationen wie eine Uhrzeit beziehungsweise die aktuelle Uhrzeit sowie ein Datum beziehungsweise das aktuelle Datum sowie eine Position, insbesondere eine aktuelle Position, des Ego-Fahrzeugs Kraftfahrzeugs auf der Erde und/oder eine Fahrtrichtung, insbesondere eine aktuelle Fahrtrichtung, zumindest des Ego-Fahrzeugs berücksichtigt. Ferner ist es denkbar, diese Informationen auf wenigstens ein anderes, sich in der Umgebung befindendes Objekt wie beispielsweise ein Fahrzeug zu übertragen beziehungsweise zu antizipieren.
-
Durch die eingebaute Kamera können beispielsweise sich in der Umgebung befindende Fahrzeuge beispielsweise aufgrund einer definierten Grundform in einem bestimmten räumlichen Bereich mittels eines Fahrerassistenzsystems erkannt werden. Bei dem jeweiligen Fahrzeug kann es sich beispielsweise um ein vorausfahrendes oder stehendes Fahrzeug handeln, welches beispielsweise als Kraftfahrzeug oder Anhänger ausgebildet sein kann. Die Grundform kann eine Quaderform oder eine davon unterschiedliche Form sein. Bei intensiver Sonneneinstrahlung jedoch kann bei ungünstiger Ausrichtung der Sonneneinstrahlung relativ zur Fahrtrichtung des Ego-Fahrzeugs ein Schattenwurf, beispielsweise neben und/oder hinter einem sich in der Umgebung des Ego-Fahrzeugs befindenden Objekts auftreten. Eine Erkennung eines Aufbaus beziehungsweise einer Geometrie eines Aufbaus eines sich in der Umgebung des Ego-Fahrzeugs befindenden und beispielsweise dem Ego-Fahrzeug vorausfahrenden Fahrzeugs auf Basis von Kameradaten und somit auf Basis von Bildern, die mittels der Kamera des Ego-Fahrzeugs erfasst werden, kann durch den Schattenwurf des Objekts beeinträchtigt sein, da beispielweise der Schatten und das Fahrzeug verschmelzen. Hierdurch kann das gegebenenfalls vorausfahrende Fahrzeug unter Umständen nicht mehr erkannt werden.
-
Um dieses Problem zu beheben, wird erfindungsgemäß der Schattenwurf des Objekts insbesondere aufgrund der Sonneneinstrahlung bei der Erkennung von sich in der Umgebung des Ego-Fahrzeugs befindenden Fahrzeugen berücksichtigt. Hierfür wird beispielsweise ein momentaner Strahlungswinkel der Sonnenstrahlen relativ zur Erdoberfläche ermittelt. Hierzu wird beispielsweise wenigstens ein Wert ermittelt, welcher den momentanen Strahlungswinkel der Sonnenstrahlen relativ zur Erdoberfläche charakterisiert. Der Strahlungswinkel ist ein Winkel, den die Sonnenstrahlen mit der Erdoberfläche einschließen. Beispielsweise kann der Wert einer Datenbank insbesondere in Abhängigkeit von dem aktuellen Datum, der aktuellen Uhrzeit sowie dem Ort des Ego-Fahrzeugs auf der Erde entnommen werden. Der, insbesondere aktuelle, Ort des Ego-Fahrzeugs auf der Erde kann beispielsweise satellitengestützt und dabei beispielsweise durch ein Navigationsgerät des Ego-Fahrzeugs, insbesondere per GPS (global positioning system), bestimmt werden. Licht, welches zu dem beschrieben Schattenwurf führt, kann Sonnenlicht und/oder Licht einer künstlichen Lichtquelle sein. Somit können die vorigen und folgenden Ausführungen zu den Sonnenstrahlen ohne weiteres auch auf Lichtstrahlen einer künstlichen, sich in der Umgebung befindenden Lichtquelle übertragen werden und umgekehrt. Hier können dann gegebenenfalls eine Erkennung der Lichtquelle und eine Berechnung einer Position der Lichtquelle erfolgen. Wie zuvor erwähnt kann der Schatten gegebenenfalls neben und/oder hinter dem Objekt sein, was durch Berücksichtigung der Position erkannt beziehungsweise berücksichtigt werden kann.
-
Um beispielsweise den konkreten Schattenwurf des Objekts zu bestimmen, kann die aktuelle Fahrtrichtung des Ego-Fahrzeugs bestimmt werden. Aus einer Zuordnung von Strahlungswinkel, Fahrtrichtung und einer definierten Oberkante des vorausfahrenden Fahrzeugs kann der tatsächliche Schattenwurf des Objekts berechnet werden. Der Schatten und/oder ein Bereich, in welchem der Schatten liegt, kann bei einer Interpretation der Kameradaten unberücksichtigt und insbesondere ausgeblendet werden. Mit anderen Worten können bei der Erkennung des von dem Ego-Fahrzeug unterschiedlichen und sich in der Umgebung befindenden Fahrzeugs Kamerabeziehungsweise Bilddaten, die einen den Schatten umfassenden Bildteil des Bilds charakterisieren, nicht berücksichtigt beziehungsweise ausgeblendet werden.
-
Mit anderen Worten wird beispielsweise bei dem ersten Schritt erkannt, dass ein Teil des Bilds ein Bild eines Schattens des sich in der Umgebung befindenden Objekts ist. Bei der Erkennung des von dem Ego-Fahrzeug unterschiedlichen Fahrzeugs wird dann der erkannte Teil des Bilds ausgeblendet, das heißt unberücksichtigt gelassen wird. In der Folge kann das beispielsweise vorausfahrende Fahrzeug trotz des Schattenwurfs sicher und präzise beziehungsweise problemlos erkannt werden.
-
Um beispielsweise sicherzustellen, dass nur bei einer starken Sonnen- beziehungsweise Lichteinstrahlung, das heißt dann, wenn die Sonnen- beziehungsweise Lichteinstrahlung eine Schwelle überschreitet, ein etwaiger Schattenwurf bei der Erkennung eines Fahrzeugs berücksichtigt wird, wird beispielsweise mittels eines Sensors, insbesondere mittels eines Lichtsensors und/oder mittels der Kamera und/oder mittels einer Kamera, des Kraftfahrzeugs eine aktuelle Lichtintensität in der Umgebung des Ego-Fahrzeugs ermittelt beziehungsweise bewertet. Überschreitet die ermittelte Lichtintensität einen vorgebbaren oder vorgegebenen Grenzwert, so wird der Schattenwurf berücksichtigt. Unterschreitet jedoch die ermittelte Lichtintensität die Schwelle, so unterbleibt eine Berücksichtigung einer etwaigen Schattenwurfserkennung. Ebenfalls denkbar ist eine Erweiterung der Erfindung auf schattenwerfende Gegenstände wie beispielsweise sich in der Umgebung des Ego-Fahrzeugs befindende und von Fahrzeugen unterschiedliche, insbesondere stationäre beziehungsweise ortsfeste, Gegenstände beziehungsweise Objekte, sodass ebenfalls damit zusammenhängende Erkennungen verbessert werden können. Insbesondere kann das Verfahren alternativ oder zusätzlich genutzt werden, um sich in der Umgebung befindende Lebewesen wie Menschen und Tiere sicher zu erkennen.
-
Insgesamt ist erkennbar, dass durch die Erfindung ermöglicht werden kann, dass Fahrzeuge auch bei intensiver Lichteinstrahlung sicher erkannt werden können. Vorteilhaft ist hierbei die Berechnung des Schattenwurfs und des daraus resultierenden Schattens. Der aus dem Schattenwurf resultierende und dadurch entstehende Schatten kann aufgrund von Orts- und Zeitdaten sowie aufgrund der momentanen Fahrtrichtung des Fahrzeugs und/oder des Kraftfahrzeugs bestimmt und bei der Interpretation der Kameradaten beziehungsweise bei der Erkennung des Fahrzeugs berücksichtigt werden. Hierdurch können Fahrzeuge und/oder andere Objekte, welche herkömmlicherweise aufgrund von Schattenwurf nicht von Fahrerassistenzsystemen und von Kraftfahrzeugen erkannt wurden, erkannt und somit von dem jeweiligen Fahrerassistenzsystem berücksichtigt werden.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in der einzigen Fig. eine schematische Rückansicht eines einem auch als Ego-Fahrzeug bezeichneten Kraftfahrzeug vorausfahrenden Fahrzeugs, welches einen Schatten wirft.
-
Im Folgenden wird anhand der Fig. ein Verfahren zum Betreiben eines Kraftfahrzeugs beschrieben, welches auch als Ego-Fahrzeug bezeichnet wird. Bei dem Verfahren wird mittels wenigstens einer Kamera des Ego-Fahrzeugs wenigstens ein Bild einer Umgebung 10 des Ego-Fahrzeugs erfasst. Wie aus der Fig. erkennbar ist, befindet sich das Ego-Fahrzeug auf einem Boden 16, welcher eine sich auf der Erdoberfläche befindende Fahrbahn sein kann, wobei das Ego-Fahrzeug beispielsweise entlang des Bodens 16 fährt oder auf ihm steht. Außerdem ist erkennbar, dass sich in der Umgebung 10 ein von dem Ego-Fahrzeug unterschiedliches, zusätzlich dazu vorgesehenes Objekt vorliegend in Form eines weiteren Fahrzeugs 12 befindet. Das Fahrzeug 12 ist bei dem in der Fig. gezeigten Ausführungsbeispiel vor dem Ego-Fahrzeug und fährt beispielsweise vor dem Ego-Fahrzeug auf und entlang des Bodens 16, sodass das Fahrzeug 12 auch als vorausfahrendes Fahrzeug 12 bezeichnet wird. Beispielsweise ist das Fahrzeug 12 ein Nutzfahrzeug oder aber ein Anhänger. Der Boden 16 kann eine Fahrbahn einer Brücke oder eine andere Fahrbahn sein. Vorliegend fahren sowohl das Ego-Fahrzeug als auch das vorausfahrende Fahrzeug 12 in die gleiche Fahrtrichtung.
-
Bei dem Verfahren wird das Fahrzeug 12 mittels der Kamera erfasst, sodass das Fahrzeug 12 auf dem Bild abgebildet ist beziehungsweise ein Teil des Bilds ist ein Bild des Fahrzeugs 12. Das mittels der Kamera erfasste Bild wird beispielsweise durch Bilddaten charakterisiert oder definiert, wobei die Bilddaten auch als Kameradaten bezeichnet werden können. Bei einem ersten Schritt des Verfahrens werden die Bilddaten und somit das Bild, insbesondere mittels einer elektronischen Recheneinrichtung, ausgewertet und dadurch analysiert. Hierdurch wird bei dem ersten Schritt überprüft, ob sich in einem ersten Teilbereich der Umgebung 10 ein Schatten eines sich in einem zweiten Teilbereich der Umgebung 10 befindenden und von dem Ego-Fahrzeug unterschiedlichen Objekts befindet.
-
Aus der Fig. ist erkennbar, dass es zu einem Schattenwurf des Fahrzeugs 12 kommt, so dass sich auf dem Boden 16 ein Schatten 24 des Fahrzeugs 12 befindet. Bei dem ersten Schritt kann nun der Schatten 24 erkannt werden, der sich in einem beziehungsweise dem ersten Teilbereich der Umgebung 10 und vorliegend neben dem Fahrzeug 12 befindet, das sich in einem beziehungsweise dem zweiten Teilbereich der Umgebung 10 befindet.
-
Bei einem zweiten Schritt des Verfahren werden die Bilddaten und somit das Bild, insbesondere mittels der elektronischen Recheneinrichtung, analysiert, wodurch in Abhängigkeit von dem ersten Schritt, das heißt in Abhängigkeit davon, ob bei dem ersten Schritt ein Schatten erkannt wurde oder nicht, überprüft wird, ob sich in der Umgebung 10, insbesondere in dem ersten Teilbereich, ein von dem Ego-Fahrzeug und vorzugsweise auch von dem Fahrzeug 12 unterschiedliches, zusätzlich dazu vorgesehenes weiteres Fahrzeug befindet. Mit anderen Worten wird bei einer Erkennung des weiteren Fahrzeugs der Schatten 24 des Fahrzeugs 12 berücksichtigt, sodass das weitere Fahrzeug sicher und robust erkannt werden kann.
-
In der Fig. ist auch die Sonne 18 erkennbar. Am Beispiel eines mit 22 bezeichneten Sonnenstrahls der Sonne 18 ist erkennbar, dass der Sonnenstrahl 22 auf den Boden 16 fällt. Aus der Fig. ist ferner erkennbar, dass der Sonnenstrahl 22 mit dem Boden 16 einen Winkel α einschließt. Der Winkel α wird auch als Strahlungswinkel bezeichnet, wobei der Strahlungswinkel ein Winkel des Sonnenstrahls 22 relativ zu dem Boden 16 ist, auf dem sich das Ego-Fahrzeug und das Fahrzeug 12 befinden. Somit trifft Sonnenlicht der Sonne 18 auf den Boden, was auch als Sonneneinstrahlung bezeichnet wird. Durch die Sonneneinstrahlung kommt es zu einem Schattenwurf und somit zu dem Schatten 24 des Fahrzeugs 12, wobei der Schatten 24 auf den Boden 16 geworfen wird. Die Kamera erfasst dabei auch den Schatten 24, sodass auch der Schatten 24 auf dem Bild abgebildet ist beziehungsweise sodass ein zweiter Teil des Bilds ein Bild des Schattens 24 ist. Der Schattenwurf und somit der Schatten 24 können bei hoher Intensität, mit der das Sonnenlicht auf den Boden 16 fällt, die Erkennung von sich in der Umgebung 10 befindenden und beispielsweise dem Ego-Fahrzeug vorausfahrenden Fahrzeugen beeinträchtigen.
-
Um nun trotz des Schattenwurfs sicher beziehungsweise robust etwaige, sich in der Umgebung befindende und beispielsweise dem Ego-Fahrzeug vorausfahrende Fahrzeuge erfassen zu können, wird der Schatten 24 des Fahrzeugs 12 mittels der elektronischen Recheneinrichtung bestimmt und bei der Erkennung von weiteren, sich in der Umgebung 10 befindenden Fahrzeugen 12 berücksichtigt. Hierzu wird beispielsweise mittels der elektronischen Recheneinrichtung der Strahlungswinkel (Winkel α) ermittelt, wobei der Schattenwurf beziehungsweise der Schatten 24 in Abhängigkeit von dem ermittelten Strahlungswinkel bestimmt wird. Der Strahlungswinkel wird beispielsweise in Abhängigkeit von einem Datum, an welchem das Verfahren mittels der elektronischen Rechenreinrichtung durchgeführt wird, und in Abhängigkeit von einer Uhrzeit, zu welcher das Verfahren durchgeführt wird, und in Abhängigkeit von einer Position des Fahrzeugs 12 und/oder des Ego-Fahrzeugs auf der Erde ermittelt, wobei das Fahrzeug 12 beziehungsweise das Ego-Fahrzeug die Position, auf Basis derer der Strahlungswinkel ermittelt wird, beispielsweise zu einem Zeitpunkt einnimmt oder eingenommen hat, zu welchem das Bild erfasst wird beziehungsweise wurde. Ferner kann die jeweilige Fahrtrichtung berücksichtigt werden. Dadurch können der Schattenwurf und somit der Schatten 24 besonders präzise ermittelt werden. Insbesondere kann besonders präzise der zweite Teil des Bilds ermittelt werden, wobei der zweite Teil des Bilds ein Bild des Schattens 24 ist. In der Folge kann beispielsweise der zweite Teil des Bilds beziehungsweise können den zweiten Teil des Bilds und somit das Bild des Schattens 24 charakterisierende Bilddaten bei der Erkennung von weiteren, sich in der Umgebung befindenden Fahrzeugen ausgeblendet, das heißt unberücksichtigt gelassen werden. Durch Berücksichtigung des Schattenwurfs bei der Erkennung von Fahrzeugen in der Umgebung 10 können sich in der Umgebung 10 befindende und von dem Ego-Fahrzeug und von dem Fahrzeug 12 unterschiedliche, weitere Fahrzeuge auch bei besonders hoher Lichtintensität erkannt werden, sodass beispielsweise ein vorteilhafter Betrieb von Fahrerassistenzsystemen des Ego-Fahrzeugs gewährleistet werden kann. In der Folge kann mittels des Verfahrens ein komfortabler und sicherer Betrieb des Ego-Fahrzeugs gewährleistet werden.
-
Bezugszeichenliste
-
- 10
- Umgebung
- 12
- Fahrzeug
- 16
- Boden
- 18
- Sonne
- 22
- Sonnenstrahl
- 24
- Schatten
- α
- Winkel
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017001814 A1 [0002]
