-
Die Erfindung betrifft ein Verfahren zum Betrieb eines ein zur vollständig automatischen Führung des Kraftfahrzeugs ausgebildetes Fahrzeugführungssystem aufweisenden Kraftfahrzeugs, welches wenigstens eine Kamera zur Erfassung eines Umfelds des Kraftfahrzeugs aufweist. Daneben betrifft die Erfindung ein Kraftfahrzeug.
-
In modernen Kraftfahrzeugen nimmt der Einsatz von Kameras zur Umfelderfassung zu. Dabei ist es beispielsweise bekannt, verschiedene Bereiche des Umfelds erfassende Kameras als ein Kamerasystem innerhalb eines Kraftfahrzeugs zu verbauen, beispielsweise das Vorfeld und den Rückraum des Kraftfahrzeugs erfassende Kameras gemeinsam mit Seitenkameras. Die Kamerasysteme werden bei Kraftfahrzeugen zur Überwachung der Fahrzeugumgebung eingesetzt, wobei ihre Sensordaten insbesondere in Funktionen von Fahrerassistenzsystemen nutzbringend eingesetzt werden können. Beispiele für derartige Fahrerassistenzsysteme beziehungsweise deren Funktionen sind Einparkhilfen, Totwinkelüberwachungssysteme, Pre-Crash-Sicherheitssysteme sowie Stop-and-Go-Funktionen.
-
Auf den Rückraum des Kraftfahrzeugs gerichtete Kameras können dabei beispielsweise für sogenannte Rearview-Systeme eingesetzt werden, über die der Fahrer beim Rangieren, beispielsweise beim Einparken, auf einem Bildschirm den Rückraum des Kraftfahrzeugs überwachen kann. Vorgeschlagen wurden ferner auch sogenannte elektronische Rückspiegel, in denen das Spiegelglas des Rückspiegels durch ein Display ersetzt wird, auf dem Bilder einer entsprechend rückwärtig gerichteten Kamera dargestellt werden. Ein derartiges System ist beispielsweise in
DE 10 2013 020 946 A1 beschrieben. Dort wird auch das Problem diskutiert, dass bei herkömmlichen Rückspiegeln der Fahrer des vorausfahrenden Fahrzeugs eine Lichthupengabe problemlos erkennen kann, da die herkömmlichen Rückspiegel das Licht sehr gut reflektieren können. Wird nun ein Rückansichtskamerasystem mit einem Display als Ersatz für die herkömmlichen Rückspiegel eingesetzt, so kann es unter Umständen vorkommen, dass der Fahrer die Lichthupe nicht wahrnehmen kann, nachdem ein Display das Licht nicht oder nur begrenzt reflektiert. Mithin wird dort vorgeschlagen, eine Lichthupengabe eines hinter dem Kraftfahrzeug befindlichen Fahrzeugs zu detektieren und nach Detektion der Lichthupengabe ein Warnsignal zu erzeugen, durch welches der Fahrer auf die Lichthupengabe des hinterherfahrenden Fahrzeugs hingewiesen wird, um beim Führen des Kraftfahrzeugs unterstützt zu werden.
-
Ein Fokus der Entwicklung moderner Kraftfahrzeuge liegt ferner auf zur vollständig automatischen Führung des Kraftfahrzeugs ausgebildeten Fahrzeugführungssystemen. Hierbei ist die Umfeldsensorik des Kraftfahrzeugs eine wesentliche Komponente, um den Fahrbetrieb des Kraftfahrzeugs abhängig von den in der Umgebung des Kraftfahrzeugs befindlichen statischen und dynamischen Objekten unabhängig vom Fahrer steuern zu können. In diesem Zusammenhang wurde bereits vorgeschlagen, Kameras als Umfeldsensoren auch zur Detektion und Klassifizierung von statischen und dynamischen Objekten im Umfeld des Kraftfahrzeugs einzusetzen, insbesondere im Rahmen einer Sensordatenfusion, bei der beispielsweise ein Umfeldmodell beziehungsweise eine Umfeldkarte des Kraftfahrzeugs erzeugt werden kann, welche der vollständig automatischen Fahrzeugführung zugrunde gelegt wird.
-
Der Erfindung liegt die Aufgabe zugrunde, eine vollständig automatische Führung des Kraftfahrzeugs weiter im Hinblick auf die Sicherheit zu verbessern.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass bei vollautomatisch durch das Fahrzeugführungssystem betriebenem Kraftfahrzeug die Sensordaten der wenigstens einen Kamera zur Ermittlung einer Lichtsignale wenigstens eines anderen Verkehrsteilnehmers beschreibenden Lichtsignalinformation durch eine Bildverarbeitungseinheit ausgewertet werden, wobei die Lichtsignalinformation bei der vollautomatischen Führung des Kraftfahrzeugs verwendet wird.
-
Erfindungsgemäß wird mithin vorgeschlagen, kamerabasiert Lichtsignale anderer Verkehrsteilnehmer zu erkennen und zu klassifizieren, um eine entsprechende Lichtsignalinformation dem Fahrzeugführungssystem, insbesondere einem Steuergerät desselben, bereitzustellen. Die entsprechende Lichtsignalinformation wird bei der vollständig automatischen Fahrzeugführung berücksichtigt, insbesondere im Hinblick auf als Warnung fungierende Lichtsignale, beispielsweise eine aktive Warnblinkanlage und/oder eine Lichthupengabe. Auch ein Einsatzfahrzeugsignal (z. B. Blaulicht) kann als warnendes Lichtsignal eines anderen Verkehrsteilnehmers aufgefasst werden. Durch die Berücksichtigung von warnende Lichtsignale beschreibenden Lichtsignalinformationen bei der vollautomatischen Führung des Kraftfahrzeugs kann die Sicherheit dieses autonomen Betriebs erhöht werden, nachdem sich der Fahrer selbst insbesondere nicht im Loop befindet, das bedeutet, dem Fahrgeschehen nicht folgt und somit weder auf derartige Lichtsignale achtet noch bereit ist, rechtzeitig die Fahrzeugführung wieder zu übernehmen. Auf verschiedene Verkehrssituationen kann unter Verwendung der Lichtsignalinformation besser reagiert werden. Dabei stellt die vorliegende Erfindung insbesondere auf vollständig automatisierte Fahrfunktionen der Stufe drei oder höher ab.
-
Wie bereits erwähnt, können verschiedene Arten von Lichtsignalen durch die Bildverarbeitungseinheit detektiert werden, insbesondere, indem geeignete Bildverarbeitungsalgorithmen, insbesondere der künstlichen Intelligenz, eingesetzt werden. Beispiele für erfassbare Lichtsignale umfassen Fahrtrichtungsanzeigersignale („Blinker“, Warnblinkanlage) und Einsatzfahrzeugsignale, beispielsweise von Rettungswagen oder Polizeifahrzeugen. Mit besonderem Vorteil umfassen die detektierten Lichtsignale jedoch Lichthupengaben anderer Verkehrsteilnehmer, insbesondere, was den nachfolgenden und/oder kreuzenden Verkehr angeht. Lichthupensignale können über entsprechende Bildverarbeitungsalgorithmen besonders einfach detektiert werden, nachdem plötzliche, von den Scheinwerfern anderer Verkehrsteilnehmer ausgehende, starke Überlichtungen im Erfassungsbereich der Kamera auftreten, welche sich in einer Sensordatenauswertung, konkret also einer Auswertung der Bilder der Kamera, gut erkennen lassen.
-
Eine bevorzugte Ausführungsform der vorliegenden Erfindung sieht mithin vor, dass als Lichtsignal die Gabe einer Lichthupe durch einen insbesondere nachfolgenden und/oder kreuzenden Verkehrsteilnehmer detektiert wird und die zugehörige Lichtsignalinformation als Warninformation bei der vollautomatischen Führung des Kraftfahrzeugs berücksichtigt wird. Beispielsweise kann mittels einer auf den Rückraum des Kraftfahrzeugs gerichteten Kamera die Gabe der Lichthupe eines von hinten herankommenden Fremdfahrzeugs erkannt werden. Liegen auch seitliche Kameras, insbesondere bei einer kompletten 360°-Umfeld-Erfassung vor, kann die Lichthupengabe nicht nur von hinten, sondern auch zur Seite hin, insbesondere in Kreuzungssituationen, erkannt werden. Die Gabe der Lichthupe eines anderen Verkehrsteilnehmers, insbesondere eines Fremdfahrzeugs, kann als Warnsignal für automatisierte Fahrfunktionen interpretiert werden, woraufhin die Steuerungsstrategie des eigenen Kraftfahrzeugs unter Verwendung der entsprechenden Lichtsignalinformation adaptiert werden kann.
-
Eine vorteilhafte, konkrete Ausgestaltung in diesem Zusammenhang sieht vor, dass bei einer vorausliegenden Kreuzung und einer die Gabe einer Lichthupe eines sich auf der kreuzenden Straße nähernden Kraftfahrzeugs beschreibenden Lichtsignalinformation ein Befahren der Kreuzung unterdrückt wird. Nähert sich ein Verkehrsteilnehmer, beispielsweise ein Fremdfahrzeug, dessen Fahrer es eilig hat, mit hoher Geschwindigkeit auf der kreuzenden Straße, könnte er sein eiliges Beanspruchen der Vorfahrt durch eine Lichthupe kundtun, welche mittels der Kameras erkannt werden kann.
-
Eine resultierende Lichtsignalinformation kann seitens des Fahrzeugführungssystems korrekt interpretiert werden und führt zu einer Fahrstrategie, bei der das Befahren der Kreuzung (und somit der kreuzenden Straße) unterdrückt wird, bis der anderen Verkehrsteilnehmer sie passiert hat.
-
Besonders vorteilhaft lässt sich die Lichtsignalinformation auch in Situationen, die einen geplanten, sinnvollen und/oder begonnenen Spurwechselvorgang umfassen, einsetzen. Beispielsweise kann im Fall einer kamerabasierten Erkennung eines Fahrtrichtungsanzeigers eines Fremdfahrzeugs situationsabhängig ein laufender Spurwechselvorgang fortgeführt oder unterbrochen werden. Beispielsweise kann die entsprechende Entscheidung je nach Erfüllung eines die Kritikalität der aktuellen Verkehrssituation beschreibenden Kritikalitätskriteriums getroffen werden.
-
In einer konkreten, besonders vorteilhaften Anwendung der vorliegenden Erfindung kann vorgesehen sein, dass bei der Planung oder Durchführung eines Spurwechselvorgangs im Rahmen der vollständig automatischen Führung des Kraftfahrzeugs in Abhängigkeit der Lichtsignalinformation das Initiieren des Spurwechselvorgangs unterdrückt oder der Spurwechselvorgang abgebrochen wird. Insbesondere kann dann, wenn die Lichtsignalinformation ein warnendes Lichtsignal beschreibt, wobei gegebenenfalls zusätzlich noch ein die Kritikalität der aktuellen Verkehrssituation beschreibendes Kritikalitätskriterium, beispielsweise betreffend eine Kollisionswahrscheinlichkeit, ausgewertet werden kann, dazu führen, dass ein Spurwechselvorgang vermieden beziehungsweise abgebrochen wird. So sieht eine zweckmäßige Weiterbildung vor, dass bei einer eine Lichthupengabe und/oder ein Linksblinken und/oder ein Einsatzfahrzeugsignal eines nachfolgenden, auf der Zielspur des Spurwechselvorgangs befindlichen Verkehrsteilnehmers und/oder bei einem Linksblinken eines unmittelbar nachfolgenden Verkehrsteilnehmers auf der aktuell befahrenen Spur des Kraftfahrzeugs, insbesondere bei zusätzlichem Feststellen der Unterschreitung eines Mindestabstands und/oder der Überschreitung einer Mindestbeschleunigung, der Spurwechselvorgang unterdrückt oder abgebrochen wird. Wird mithin beispielsweise die Gabe der Lichthupe eines Fremdfahrzeugs erkannt, so wird ein geplanter/aktiver Spurwechselvorgang bei der vollständig automatischen Fahrzeugführung unterbrochen oder unterdrückt. Dies gilt analog, wenn beispielsweise auf der ganz linken Spur, die die Zielspur ist, sich ein Verkehrsteilnehmer, insbesondere schnell, mit nach links aktiviertem Fahrtrichtungsanzeiger nähert, anzeigend, dass er mit hoher Geschwindigkeit herannaht und es eilig hat. Wird eine Fahrtrichtungsanzeigerbetätigung eines unmittelbar nachfolgenden Verkehrsteilnehmers auf der aktuellen Spur, also der Ausgangsspur des Spurwechselvorgangs, erkannt, insbesondere verbunden mit einer Unterschreitung eines Mindestabstands und/oder einer zunehmenden Beschleunigung, die insbesondere eine Mindestbeschleunigung überschreitet, kann daraus geschlossen werden, dass dieser Verkehrsteilnehmer ein Überholmanöver plant. Dann ist es der Sicherheit zuträglich, zunächst das Abschließen dieses Überholmanövers zuzulassen.
-
Im Kontext von Spurwechselvorgängen sieht eine andere, konkrete, vorteilhafte Ausgestaltung der Erfindung vor, dass ein Spurwechselvorgang in Abhängigkeit von der Lichtsignalinformation eingeleitet wird. Beispielsweise dann, wenn die Lichtsignalinformation ein warnendes Lichtsignal auf der aktuellen Spur dem Kraftfahrzeug voraus beschreibt, kann der hierdurch angedeuteten Gefahr ausgewichen werden. Konkret kann beispielsweise vorgesehen sein, dass ein Spurwechselvorgang bei einer eine aktivierte Warnblinkanlage eines voranfahrenden Verkehrsteilnehmers anzeigenden Lichtsignalinformation und/oder einer eine Lichthupengabe und/oder ein Linksblinken und/oder ein Einsatzfahrzeugsignal eines nachfolgenden, auf der selben Spur wie das Kraftfahrzeugs befindlichen Verkehrsteilnehmers anzeigenden Lichtsignalinformation eingeleitet wird. Dabei ist es im Übrigen auch möglich, sowohl beim Unterdrücken/Abbrechen von Spurwechselvorgängen als auch beim Auslösen von Spurwechselvorgängen andere Bedingungen zuzufügen, beispielsweise Lichthupengaben entgegenkommender Fahrzeuge, starke Bremslichter der Vorderfahrzeuge und dergleichen. Neben Spurwechselvorgängen sind selbstverständlich auch andere Reaktionen im Rahmen der vorliegenden Erfindung grundsätzlich denkbar, beispielsweise Abbremsvorgänge oder dergleichen.
-
Eine zweckmäßige Weiterbildung der Erfindung sieht vor, dass mehrere das Umfeld des Kraftfahrzeugs in einem 360°-Winkelbereich abdeckende Kameras verwendet werden. Auf diese Weise können Lichtsignale anderer Verkehrsteilnehmer unabhängig von der relativen Position des Verkehrsteilnehmers erkannt werden. Entsprechende 360°-Kamerasysteme wurden im Stand der Technik bereits vorgeschlagen und können auch im Rahmen der vorliegenden Erfindung besonders vorteilhaft eingesetzt werden.
-
Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend ein zur vollständig automatischen Führung des Kraftfahrzeugs ausgebildetes Fahrzeugführungssystem, wenigstens eine Kamera zur Erfassung eines Umfelds des Kraftfahrzeugs und eine Bildverarbeitungseinheit zur Auswertung von Sensordaten der Kamera, wobei eine aus einem Steuergerät des Fahrzeugführungssystems und der Bildverarbeitungseinheit gebildete Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, mit welchem mithin ebenso die bereits genannten Vorteile erhalten werden können.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
- 1 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs,
- 2 eine erste Verkehrssituation zur Erläuterung des erfindungsgemäßen Verfahrens, und
- 3 eine zweite Verkehrssituation zur Erläuterung des erfindungsgemäßen Verfahrens.
-
1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1. Dieses weist ein zur vollständig automatischen Fahrzeugführung ausgebildetes Fahrzeugführungssystem 2 mit einem entsprechend zugeordneten Steuergerät 3 auf. Um die vollständig automatische Fahrzeugführungsfunktion zu realisieren, weist das Kraftfahrzeug 1, wie grundsätzlich bekannt, eine Vielzahl von Umfeldsensoren auf, von denen vorliegend nur vier Weitwinkel-Kameras 4 - 7 gezeigt sind, die ein 360°-Kamerasystem realisieren. Dabei sind die auf das Vorfeld des Kraftfahrzeugs 1 gerichtete Kamera 4 und die auf den Rückraum des Kraftfahrzeugs 1 gerichtete Kamera 6 jeweils in entsprechenden Scheiben 8 des Kraftfahrzeugs 1 integriert, können jedoch auch anderweitig verbaut sein. Die Seitenkameras 5, 7 können beispielsweise in einer Seitenverkleidung und/oder einer Säule verbaut sein.
-
Zur Auswertung der Sensordaten der Kameras 4 - 7 weist das Kraftfahrzeug ferner eine Bildverarbeitungseinheit 9 auf. Die Bildverarbeitungseinheit 9 kann Teil des Steuergeräts 3 und/oder eines weiteren Steuergeräts sein. Insbesondere ist die Bildverarbeitungseinheit 9 Teil eines Steuergeräts, welches durch Sensordatenfusion der Umfeldsensoren des Kraftfahrzeugs 1 ein Umfeldmodell und/oder eine Umfeldkarte ermittelt. Konkret sind in der Bildverarbeitungseinheit 9 vorliegend Bildverarbeitungsalgorithmen vorgesehen, welche Lichtsignale anderer Verkehrsteilnehmer in den Sensordaten, also Bildern, der Kameras 4 - 7 detektieren und eine entsprechende Lichtsignalinformation erzeugen, welche wie andere Umfelddaten von der vollständig automatischen Fahrzeugführungsfunktion im Steuergerät 3 genutzt wird. Insgesamt bilden mithin das Steuergerät 3 und die Bildverarbeitungseinheit 9 eine Steuereinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Bei den Bildverarbeitungsalgorithmen zur Detektion und Klassifizierung von Lichtsignalen anderer Verkehrsteilnehmer kann es sich insbesondere um Algorithmen der künstlichen Intelligenz handeln, die beispielsweise durch entsprechende Lichtsignale zeigende Bildfolgen, mithin Trainingssensordaten, trainiert wurden.
-
Vorliegend können als Lichtsignale seitens der Bildverarbeitungseinheit 9 jedenfalls Lichthupengaben anderer Verkehrsteilnehmer detektiert werden; weitere detektierbare Lichtsignale, insbesondere solche warnender Natur, umfassen Lichtsignale von Fahrtrichtungsanzeigern, insbesondere auch eine betätigte Warnblinkanlage, und Einsatzfahrzeugsignale.
-
Die Fahrzeugführungsstrategie der vollständig automatischen Fahrzeugführungsfunktion wird in Abhängigkeit der Lichtsignalinformation entsprechend adaptiert, um einen möglichst sicheren komfortablen Betrieb des Kraftfahrzeugs 1 zu gewährleisten. Beispielhafte Verkehrssituationen zeigen die 2 und 3.
-
In der ersten Verkehrssituation gemäß der 2 fährt das Kraftfahrzeug 1 auf einer zweispurigen Straße 10 auf einer ersten Fahrspur 11. Die vollständig automatische Fahrzeugführungsfunktion plant, ein langsameres vorausfahrendes Fremdfahrzeug 12 durch einen Spurwechsel auf die linke Spur 13 als Zielspur zu überholen. Zu diesem Zeitpunkt oder auch , wenn der Spurwechselvorgang bereits begonnen wurde, nähert sich von hinten ein weiterer Verkehrsteilnehmer 14 mit hoher Geschwindigkeit Lichthupe gebend, wie durch die Lichtstrahlen 15 angedeutet ist. Diese Lichthupengabe wird mittels der Bildverarbeitungseinheit 9 aufgrund der Sensordaten der auf den Rückraum gerichteten Kamera 6 erkannt und als Lichtsignalinformation an das Steuergerät 3 gegeben, welches entsprechend aufgrund der hohen Kritikalität der Verkehrssituation entscheidet, den Spurwechselvorgang zu unterdrücken beziehungsweise abzubrechen, bis der Verkehrsteilnehmer 14 vorbeigefahren ist. Stattdessen kann beispielsweise zunächst auf das Fremdfahrzeug 12 gebremst werden.
-
Es sei darauf hingewiesen, dass ein detektierter Linksblinker auf der linken Zielspur 13 zu einem ähnlichen Ergebnis führen kann, nachdem dies häufig eine Anzeige für ein schnelles, eiliges Befahren der linken Fahrspur ist.
-
Wenn in der Verkehrssituation der 2 der Verkehrsteilnehmer 14 nicht existiert und das Fremdfahrzeug 12 als Verkehrsteilnehmer beispielsweise als Lichtsignal eine aktivierte Warnblinkanlage aufweist, kann aufgrund der entsprechenden Lichtsignalinformation beispielsweise auch ein Spurwechselvorgang erst beschlossen werden, um der Gefahr auszuweichen. Ferner kann Verkehrsteilnehmern mit aktivierten Einsatzfahrzeugsignalen, beispielsweise Blaulicht, entsprechender Freiraum gewährt werden.
-
3 zeigt eine weitere, zweite Verkehrssituation, in der sich das Kraftfahrzeug 1 auf einer Straße 16 einer Kreuzung 17 mit einer kreuzenden Straße 18 nähert. Auf der kreuzenden Straße 18 nähert sich mit hoher Geschwindigkeit ein weiterer Verkehrsteilnehmer 19, der, wie wiederum durch entsprechende Lichtstrahlen 20 angezeigt, Lichthupe gibt, um anzuzeigen, dass er eilig mit hoher Geschwindigkeit die Kreuzung 17 überqueren möchte. Aufgrund der seitlichen Kamera 5 kann dieses warnende Lichtsignal im Kraftfahrzeug 1 erfasst werden und eine entsprechende Lichtsignalinformation durch die Bildverarbeitungseinheit 9 erzeugt werden, welche seitens des Steuergeräts 3 hier ausgewertet wird, um ein Überfahren der Kreuzung 17 zunächst zu verhindern, bis der Verkehrsteilnehmer 19 die Kreuzung überquert hat.
-
Während in der ersten Verkehrssituation gemäß 2 hauptsächlich die hintere Kamera 6 (und die vordere Kamera 4) relevant waren, zeigt 3 deutlich die Vorteile einer 360°-Abdeckung durch die Kameras 4 - 7, nachdem hier auch die seitlichen Kameras 5, 7 Sensordaten aufnehmen, die zu nützlichen Lichtsignalinformationen führen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013020946 A1 [0003]
