-
Stand der Technik
-
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Ein Fahrzeug kann für automatisierte oder teilautomatisierte Fahrsysteme, beispielsweise für eine Spurhalteassistenzfunktion oder eine Folgefahrtfunktion, eine monokamerabasierte Sensoreinrichtung aufweisen. Dabei können mittels einer Objekterkennung beispielsweise andere Fahrzeug und Fahrbahnspurmarkierungen erkannt werden. Die Objekterkennung kann dabei von Umweltbedingungen, wie beispielsweise Starkregen oder Gegenlicht, des fahrenden Fahrzeugs abhängig sein.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Fahrzeugsteuerung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass eine auf einer Auswertung eines optisch erfassten Bildes beruhende Fahrzeugsteuerung durch eine Auswertung des Bildes mittels semantischer Segmentierung verbessert werden kann. Die Auswertung mittels semantischer Segmentierung ermöglicht es vorteilhafterweise, anhand des Bildes einen Bereich aus inhaltlich zusammenhängenden Bildpunkten zu bestimmen, um einen befahrbaren Fahrbahnabschnitt zu erkennen. Dies ist vorteilhafterweise auch bei widrigen Umweltbedingungen schnell und zuverlässig möglich, da eine klassische Objekterkennung verzichtbar ist, die durch die Umweltbedingungen, beispielsweise bei Starkregen oder Gegenlicht, eingeschränkt sein kann. Basierend auf dem mittels semantischer Segmentierung erkannten Fahrbahnabschnitt kann dann ein Steuersignal zum Ansteuern einer Fahrt des Fahrzeugs auf dem befahrbaren Fahrbahnabschnitt ermittelt werden.
-
Es wird ein Verfahren zur Fahrzeugsteuerung vorgestellt. Das Verfahren umfasst zumindest einen Schritt des Einlesens eines Kamerasignals, einen Schritt des Ausführens einer semantischen Segmentierung und einen Schritt des Ermittelns eines Steuersignals. Das im Schritt des Einlesens eingelesene Kamerasignal repräsentiert ein optisch erfasstes Bild einer von einem Fahrzeug zu befahrenden Fahrbahn. Im Schritt des Ausführens wird die semantische Segmentierung des durch das Kamerasignal repräsentierten Bildes ausgeführt, um aus dem Bild einen freien Bereich vor dem Fahrzeug als befahrbaren Fahrbahnabschnitt zu erkennen. Zudem wird im Schritt des Ausführens ein Fahrbahnsignal bereitgestellt. Fahrbahnsignal repräsentiert ein Ergebnis der semantischen Segmentierung, den erkannten befahrbaren Fahrbahnabschnitt. Im Schritt des Ermittelns wird unter Verwendung des Fahrbahnsignals das Steuersignal zum Ansteuern zumindest einer Fahrzeugkomponente ermittelt.
-
Bei dem Fahrzeug kann es sich um ein Kraftfahrtzeug, einen LKW, einen Bus, ein Motorrad oder ein Flurförderzeug handeln. Das Fahrzeug kann einen teilautomatisierten oder vollautomatisierten Fahrbetrieb aufweisen. Das Kamerasignal kann beispielsweise von einer optischen Umfelderfassungseinrichtung des Fahrzeugs bereitgestellt werden. Bei dem Ausführen der semantischen Segmentierung können aus einer Zusammenfassung benachbarter Bildpunkte, beispielsweise Pixel, inhaltlich zusammenhängende Regionen gebildet werden, um den befahrbaren Bereich der Fahrbahn als geschlossenen Bereich zu segmentieren und als erkannten befahrbaren Fahrbahnabschnitt bereitzustellen. Dabei ist der Bereich insofern ein freier Bereich, als dass sich innerhalb dieses Bereichs kein anderes ein sicheres Fahren des Fahrzeugs potentiell beeinträchtigendes Objekt wie ein anderes Fahrzeug oder ein auf der Fahrbahn liegendes Fremdobjekt befindet. Das Steuersignal zum Ansteuern der zumindest einen Fahrzeugkomponente kann beispielsweise an ein Steuergerät des Fahrzeugs oder an die Fahrzeugkomponente bereitgestellt werden. Bei der Fahrzeugkomponente handelt es sich beispielsweise um ein Fahrassistenzsystem wie einen Spurhalteassistenten oder eine Abstandserkennung, oder um eine Bremseinrichtung, eine Beschleunigungseinrichtung oder eine Lenkeinrichtung. Das Steuersignal ist beispielsweise ausgebildet, eine Einstellung der Fahrzeugkomponente zu ändern, oder ein Fahrsystem zu aktivieren oder zu deaktivieren.
-
Gemäß einer Ausführungsform kann das Steuersignal im Schritt des Ermittelns zusätzlich unter Verwendung eines Markierungssignals ermittelt werden. Das Markierungssignal repräsentiert eine erkannte Spurmarkierung. Die erkannte Spurmarkierung basiert dabei beispielsweise auf einer Auswertung des Kamerasignals mittels einer klassischen Objekterkennung. Vorteilhafterweise ist es somit möglich, die Informationen der erkannten Spurmarkierung und des mittels der semantischen Segmentierung erkannten befahrbaren Fahrbahnabschnitts zu kombinieren, um die Fahrzeugkomponente anzusteuern.
-
Das Steuersignal kann im Schritt des Ermittelns gemäß einer Ausführungsform zusätzlich unter Verwendung eines Fahrzeugerkennungssignals ermittelt werden. Das Fahrzeugerkennungssignal repräsentiert ein erkanntes Vorausfahrerfahrzeug. Vorteilhafterweise ist es damit möglich, ein im Bereich des optischen Bildes befindliches Objekt, das den erkannten befahrbaren Fahrbahnabschnitt beispielsweise hinsichtlich einer Länge oder einer Breite einschränkt, als vorausfahrendes Fahrzeug zu erkennen, beispielsweise um eine Folgefahrzeugfunktion umzusetzen.
-
Der Schritt des Ausführens der semantischen Segmentierung kann gemäß einer Ausführungsform wiederholt ausgeführt werden, um ein Eintreten einer Veränderung einer Ausdehnung des befahrbaren Fahrbahnabschnitts zu erkennen. Dabei kann beispielsweise kontinuierlich oder in bestimmten Zeitabstände eine Länge und zusätzlich oder alternativ eine Breite von zumindest zwei erkannten befahrbaren Fahrbahnabschnitten verglichen werden, um ein eintretende Veränderung, beispielsweise eine plötzlich auftretende Veränderung wie eine Verkürzung des Fahrbahnabschnitts, die in Bezug auf eine Fahrtgeschwindigkeit des Fahrzeugs und einem Vorausfahrerfahrzeug plötzlich auftritt, zu erkennen, beispielsweise beim Einscheren eines anderen Fahrzeugs in die Fahrbahn oder beim Ausscheren des Vorausfahrerfahrzeugs. Die erkannte Veränderung der Ausdehnung des erkannten befahrbaren Fahrbahnabschnitts kann im Schritt des Ausführens in Form eines Ausdehnungssignals bereitgestellt werden. Im Schritt des Ermittelns kann das Steuersignal dann unter Verwendung des Ausdehnungssignals ermittelt werden.
-
Im Schritt des Ermittelns kann das Steuersignal gemäß einer Ausführungsform zum Ansteuern einer Querführung des Fahrzeugs innerhalb des erkannten befahrbaren Fahrbahnabschnitts ermittelt werden. Das Steuersignal kann beispielsweise ausgebildet sein, beim Befahren des erkannten befahrbaren Fahrbahnabschnitts eine Ausrichtung des Fahrzeugs auf dem Fahrbahnabschnitt einzustellen, beispielsweise mittels eines Ansteuerns einer Lenkeinrichtung des Fahrzeugs.
-
Zudem kann das Steuersignal im Schritt des Ermittelns gemäß einer Ausführungsform zum Ansteuern einer Längsführung des Fahrzeugs im Hinblick auf ein erkanntes Ende des erkannten befahrbaren Fahrbahnabschnitts ermittelt werden. Dies ermöglicht vorteilhafterweise eine Nutzung des Steuersignals beispielsweise für ein Fahrassistenzsystem zum automatischen Abstandshalten, oder für einen Abstandstempomat. Das Steuersignal kann dann beispielsweise ausgebildet sein, eine Geschwindigkeit oder Beschleunigung des Fahrzeugs anzusteuern.
-
Ferner kann das Steuersignal im Schritt des Ermittelns gemäß einer Ausführungsform abhängig von einem Schwellenwert ermittelt werden. Der Schwellenwert kann beispielsweise eine minimal erforderliche Breite oder Länge für ein sicheres Fahren des Fahrzeugs im Bereich des erkannten befahrbaren Fahrbahnabschnitts repräsentieren. Dazu kann der Schwellenwert voreingestellt sein oder eingelesen werden, um den Schwellenwert beispielsweise je nach Fahrzeugtyp oder nach einer Beschaffenheit eines zu befahrenden Untergrunds oder einer Umweltbedingung oder einer Geschwindigkeit des Fahrzeugs zu bestimmen.
-
Abhängig von dem Schwellenwert kann im Schritt des Ermittelns gemäß einer Ausführungsform zusätzlich ein Warnsignal zum Ausgeben einer akustisch und zusätzlich oder alternativ visuell wahrnehmbaren Warnung an den Fahrer ermittelt werden. Das Warnsignal kann beispielsweise bereitgestellt werden, wenn eine Verkürzung des erkannten befahrbaren Fahrbahnabschnitts eintritt, beispielsweise bei einem plötzlichen Einscheren eines anderen Fahrzeugs von einer benachbarten Fahrspur auf den erkannten befahrbaren Fahrbahnabschnitt.
-
Auch kann das Steuersignal im Schritt des Ermittelns gemäß einer Ausführungsform unter Verwendung eines eingelesenen Fahrtparameters ermittelt werden, um einen Fahrtparameter einzustellen. Der eingelesene Fahrtparameter kann beispielsweise eine Geschwindigkeit oder Lenkradstellung des Fahrzeugs repräsentieren. Das ermittelte Steuersignal kann dann ausgebildet sein, ein Verändern eines eingestellten Fahrtparameters anzusteuern, beispielsweise auch, um abhängig von dem eingelesenen Fahrtparameter eine Einstellung einer Längsführung oder einer Querführung des Fahrzeugs anzusteuern.
-
Das Verfahren kann gemäß einer Ausführungsform zudem einen Schritt eines optischen Erfassens der von dem Fahrzeug zu befahrenden Fahrbahn unter Verwendung einer Monokamera-Sensoreinrichtung umfassen, um das Kamerasignal bereitzustellen. Die Monokamera-Sensoreinrichtung kann beispielsweise ein monokulares Kamerasystem umfassen. Zum Erfassen der von dem Fahrzeug zu befahrenden Fahrbahn kann die Monokamera-Sensoreinrichtung beispielsweise einen in eine Fahrtrichtung ausgerichteten Erfassungsbereich aufweisen.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel;
- 2 ein Ablaufdiagramm eines Verfahrens zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel;
- 3 eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts;
- 4 eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts;
- 5 eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts;
- 6 eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts; und
- 7 ein Signalflussdiagramm eines Verfahrens zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 105 zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel. Die Vorrichtung 105 umfasst eine Einleseschnittstelle 110, eine Ausführungseinrichtung 115 und eine Ermittlungseinrichtung 120. Die Vorrichtung 105 ist ausgebildet, über die Einleseschnittstelle 110 ein Kamerasignal 125 einzulesen. Das Kamerasignal 125 repräsentiert ein optisch erfasstes Bild einer von dem Fahrzeug 100 zu befahrenden Fahrbahn. Hier wird das Kamerasignal 125 beispielhaft von einer Monokamera-Sensoreinrichtung 130 des Fahrzeugs 100 bereitgestellt. Die Ausführungseinrichtung 115 ist ausgebildet, eine semantische Segmentierung des durch das Kamerasignal 125 repräsentierten Bildes auszuführen, um aus dem Bild einen freien Bereich vor dem Fahrzeug 100 als befahrbaren Fahrbahnabschnitt zu erkennen. Zudem ist die Ausführungseinrichtung 115 dazu ausgebildet, ein den erkannten befahrbaren Fahrbahnabschnitt repräsentierendes Fahrbahnsignal 135 bereitzustellen. Das Fahrbahnsignal 135 wird hier an die Ermittlungseinrichtung 120 bereitgestellt. Die Ermittlungseinrichtung 120 ist ausgebildet, unter Verwendung des Fahrbahnsignals 135 zum Ansteuern zumindest einer Fahrzeugkomponente 145 des Fahrzeugs 100 ein Steuersignal 140 zu ermitteln. Die Fahrzeugkomponente 145 des Fahrzeugs ist beispielsweise ein Steuergerät, eine Lenkeinrichtung, eine Bremseinrichtung oder eine Beschleunigungseinrichtung des Fahrzeugs 100. Unter Verwendung des Steuersignals 140 ist es somit beispielsweise möglich, eine Fahrtgeschwindigkeit und zusätzlich oder alternativ eine Fahrtrichtung des Fahrzeugs 100 in dem erkannten zu befahrenden Fahrbahnabschnitt einzustellen.
-
Gemäß dem hier gezeigten Ausführungsbeispiel ist die Ermittlungseinrichtung 120 dazu ausgebildet, das Steuersignal 135 zusätzlich unter Verwendung eines Markierungssignals 150 zu ermitteln. Das Markierungssignal 150 repräsentiert eine erkannte Spurmarkierung. Das Markierungssignal 150 wird beispielsweise von einer Spurmarkierungserkennungseinrichtung 155 des Fahrzeugs 100 bereitgestellt. Die erkannte Spurmarkierung ist beispielsweise eine unter Verwendung des Kamerasignals 125 mittels klassischer Objekterkennung erkannte Markierung. Vorteilhafterweise ist es somit möglich, komplementär zu der mittels semantischer Segmentierung Erkennung des Fahrbahnabschnitts eine beispielsweise auf einer Objekterkennung basierenden Spurerkennung zu verwenden.
-
Die Ermittlungseinrichtung 120 ist gemäß dem hier gezeigten Ausführungsbeispiel zudem dazu ausgebildet, das Steuersignal 140 zusätzlich unter Verwendung eines Fahrzeugerkennungssignals 160 zu ermitteln. Das Fahrzeugerkennungssignal 160 repräsentiert ein erkanntes Vorausfahrerfahrzeug. Hier wird das Fahrzeugerkennungssignal 160 beispielhaft von einer Detektionseinrichtung 165 des Fahrzeugs 100 bereitgestellt. Die Detektionseinrichtung 165 umfasst beispielsweise eine Lidar- oder Radarsensorik zum Detektieren des Vorausfahrerfahrzeugs, oder die Detektionseinrichtung 165 ist ausgebildet, unter Verwendung des Kamerasignals 125 und einer Objekterkennung das Vorausfahrerfahrzeug zu erkennen.
-
Die Ausführungseinrichtung 115 ist gemäß einem Ausführungsbeispiel dazu ausgebildet, die semantische Segmentierung wiederholt auszuführen, um ein Eintreten einer Veränderung einer Ausdehnung des befahrbaren Fahrbahnabschnitts zu erkennen. In diesem Fall ist die Ausführungseinrichtung 115 zudem dazu ausgebildet, ein Ausdehnungssignal 170 bereitzustellen, das die erkannte Veränderung der Ausdehnung des erkannten befahrbaren Fahrbahnabschnitts repräsentiert. Die Ermittlungseinrichtung 120 ist dann dazu ausgebildet, das Steuersignal 140 unter Verwendung des Ausdehnungssignals 170 zu ermitteln. Vorteilhafterweise ist es somit möglich, ein Einscheren oder Ausscheren eines Vorausfahrerfahrzeugs schnell und sicher zu erfassen, um eine Veränderung des befahrbaren Fahrbahnabschnitts zu erkennen.
-
Ferner ist die Ermittlungseinrichtung 120 gemäß einem Ausführungsbeispiel dazu ausgebildet, das Steuersignal 140 zum Ansteuern einer Querführung des Fahrzeugs 100 innerhalb des erkannten befahrbaren Fahrbahnabschnitts zu ermitteln. Das Fahrbahnsignal 135 umfasst beispielsweise eine Information zu einer Länge und Breite des erkannten befahrbaren Fahrbahnabschnitts. Zum Ansteuern der Querführung des Fahrzeugs 100 ist das Steuersignal 140 beispielsweise ausgebildet, ein Einstellen eines Lenkwinkels einer Lenkeinrichtung des Fahrzeugs 100 anzusteuern.
-
Zudem ist die Ermittlungseinrichtung 120 gemäß einem Ausführungsbeispiel dazu ausgebildet, das Steuersignal 140 zum Ansteuern einer Längsführung des Fahrzeugs im Hinblick auf ein erkanntes Ende des erkannten befahrbaren Fahrbahnabschnitts zu ermitteln. Zum Ansteuern der Längsführung des Fahrzeugs 100 ist das Steuersignal 140 beispielsweise ausgebildet, ein Einstellen einer Geschwindigkeit oder einer Beschleunigung des Fahrzeugs 100 anzusteuern. Dies ist vorteilhaft, um unter Verwendung des Steuersignals 140 beispielsweise eine Assistenzfunktion des Fahrzeugs 100 zum automatischen Abstandhalten zu einem Vorausfahrerfahrzeug zu ermöglichen.
-
Die Ermittlungseinrichtung 120 ist gemäß einem Ausführungsbeispiel auch dazu ausgebildet, das Steuersignal 140 abhängig von einem Schwellenwert bezüglich einer minimalen Breite oder Länge des erkannten befahrbaren Fahrbahnabschnitts zu ermitteln. Der Schwellenwert ist beispielsweise voreingestellt oder wird über die Einleseschnittstelle 110 eingelesen, beispielsweise um den Schwellenwert in Abhängigkeit von einer bekannten Geschwindigkeitsbegrenzung auf dem zu befahrenden Fahrbahnabschnitt zu verwenden.
-
Auch ist die Ermittlungseinrichtung 120 gemäß dem hier gezeigten Ausführungsbeispiel dazu ausgebildet, abhängig von dem Schwellenwert zusätzlich ein Warnsignal 175 zum Ausgeben einer akustisch und zusätzlich oder alternativ visuell wahrnehmbaren Warnung an den Fahrer bereitzustellen. Das Warnsignal 175 wird hier beispielhaft an eine Ausgabeeinrichtung 180 des Fahrzeugs 100 bereitgestellt.
-
Zum Einstellen zumindest einen Fahrtparameters, beispielsweise einer Geschwindigkeit des Fahrzeugs 100 oder einer Fahrtrichtung oder Trajektorie des Fahrzeugs 100, ist die Ermittlungseinrichtung 120 gemäß dem hier gezeigten Ausführungsbeispiel dazu ausgebildet, das Steuersignal 140 unter Verwendung eines eingelesenen Fahrtparameters 185 zu ermitteln, um einen Fahrtparameter einzustellen. Dazu wird beispielsweise zumindest ein eingestellter Fahrtparameter 185 in Form eines Fahrtparametersignals über die Einleseschnittstelle 110 eingelesen, und das Steuersignal 140 wird unter Verwendung des Fahrtparametersignals ermittelt, um ein Verändern des Fahrtparameters 185 und zusätzlich oder alternativ eines weiteren Fahrtparameters anzusteuern.
-
Das Kamerasignal 125 wird hier von der Monokamera-Sensoreinrichtung 130 des Fahrzeugs 100 bereitgestellt. Alternativ dazu kann die Vorrichtung 100 auch eine Erfassungseinrichtung umfassen, beispielsweise eine monokulare optische Erfassungseinrichtung, die ausgebildet ist, die von dem Fahrzeug 100 zu befahrende Fahrbahn optisch zu erfassen, um das Kamerasignal 125 bereitzustellen.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel. Das Verfahren 200 ist beispielsweise unter Verwendung eines Ausführungsbeispiels der vorstehend beschriebenen Vorrichtung zur Fahrzeugsteuerung ausführbar. Das Verfahren 200 umfasst zumindest einen Schritt 205 des Einlesens, einen Schritt 210 des Ausführens und einen Schritt 215 des Ermittelns. Im Schritt 205 des Einlesens wird ein Kamerasignal eingelesen, das ein optisch erfasstes Bild einer von einem Fahrzeug zu befahrenden Fahrbahn repräsentiert. Im Schritt 210 des Ausführens wird eine semantische Segmentierung des durch das Kamerasignal repräsentierten Bildes ausgeführt, um aus dem Bild einen freien Bereich vor dem Fahrzeug als befahrbaren Fahrbahnabschnitt zu erkennen. Zudem wird im Schritt 210 des Ausführens ein Fahrbahnsignal bereitgestellt, das den erkannten befahrbaren Fahrbahnabschnitt repräsentiert. Im Schritt 215 des Ermittelns wird unter Verwendung des Fahrbahnsignals ein Steuersignal zum Ansteuern zumindest einer Fahrzeugkomponente ermittelt.
-
Gemäß dem hier gezeigten Ausführungsbeispiel umfasst das Verfahren 200 zudem einen optionalen Schritt 220 des optischen Erfassens. Im Schritt 220 des optischen Erfassens wird unter Verwendung einer Monokamera-Sensoreinrichtung die von dem Fahrzeug zu befahrende Fahrbahn optisch erfasst, um das Kamerasignal bereitzustellen. Der Schritt 220 wird optional vor dem Schritt 205 ausgeführt.
-
3 zeigt eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305. Gezeigt ist der erkannte Fahrbahnabschnitt 305 einer semantischen Segmentierung einer Ego-Spur eines Fahrzeugs in einer Regensequenz bei schlecht sichtbaren Spurmarkierungen der Ego-Spur. In der hier gezeigten Fahrtsituation ist die Verwendung eines Ausführungsbeispiels der Vorrichtung zur Fahrzeugsteuerung vorteilhaft, um eine situationsbedingt an Systemgrenzen stoßende Querführung des Fahrzeugs bei schlecht sichtbaren Spurmarkierungen zu unterstützen oder zu ersetzen. Mit dem anhand der vorhergehenden Figuren beschriebenem Ansatz ist es vorteilhafterweise möglich, eine per semantischer Segmentierung erkannte Ego-Spur für die Verbesserung der Längs- und Querführung des Fahrzeugs als befahrbaren Fahrbahnabschnitt 305 zu erkennen.
-
Die Verwendung von semantischer Segmentierung zum Erkennen des befahrbaren Fahrbahnabschnitts 305 und zum Ansteuern einer Fahrzeugkomponente abhängig von dem erkannten befahrbaren Fahrbahnabschnitts 305 ist insbesondere auch vorteilhaft bei einer Fahrzeugsteuerung eines Fahrzeugs mit monokamerabasierte Sensorlösung, beispielsweise Ermöglichen eines Einbindens einer auf machine- Learning-basierten Erkennung des befahrbaren Fahrbahnabschnitts 305, der „Holistic Egolane“ beim Ansteuern von (teil)automatisierten Fahrsystemen. Beispielsweise bei Gegenlicht und spiegelnder Straßenoberfläche nach Regen ist es möglich, dass bei Einsensorsystemen wie einer monovideobasierte Spurhalteassistenz klassische Objekterkennungsansätze zum Erkennen von Spurmarkierungen und Fahrzeugen nicht oder nur eingeschränkt einsetzbar sind. In einem solchen Fall ist es vorteilhaft, die semantische Segmentierung komplementär oder alternativ zu der klassischen Objekterkennung einzusetzen, um einem Fahrer des Fahrzeugs auch in einer solchen herausfordernden Situation eine automatisierte Unterstützung zu bieten.
-
Die semantische Segmentierung als maschinelles Lernverfahren ist dazu beispielsweise als komplementärer Pfad zu klassischen, modellgestützten Verfahren einsetzbar, beispielsweise für zusätzliche Robustheit. Bei der semantischen Segmentierung wird die befahrbare Fläche oder die vom Ego-Fahrzeug genutzte Fahrspur im Pixelbild als geschlossenen Bereich segmentiert, um den Bereich als befahrbaren Fahrbahnabschnitt 305 zu erfassen.
-
Insbesondere bei Gegenlicht und spiegelnden Oberflächen ist die Verwendung der semantischen Segmentierung vorteilhaft, da ein solches Netz immer auch den gesamten Szenenkontext für die Perzeptionsaufgabe mit nutzt. So wird bei der Segmentierung der Ego-Spur auch immer die Information über ein vorausfahrendes Fahrzeug mit genutzt und nicht nur die reinen Fahrbahnmarkierungen, wie bei klassischen Verfahren. Auf Basis des auf diese Weise erkannten befahrbaren Fahrbahnabschnitts 305 ist es möglich, eine Längs- und Querführung des Fahrzeugs anzusteuern. So ist es beispielsweise möglich, durch den gesamten Kontext (inklusive Vorausfahrer) eines Szenarios auch bei starkem Gegenlicht und spiegelnder Fahrbahn, bei der eine klassische Spurmarkierungserkennung und auch eine klassische Fahrzeugerkennung möglicherweise eingeschränkt sind, Ränder des per semantischen Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305 zu verwenden, um darauf eine Querreglung des Fahrzeugs zu realisieren. Bei günstigen Bedingungen ist eine zumindest komplementäre Verwendung des hier vorgestellten Machine-Learning basierten Ansatzes der semantischen Segmentierung vorteilhaft, beziehungsweise eine fusionierte Verwendung einer klassischen Objekterkennung und der semantischen Segmentierung, wie nachfolgend anhand von 7 beschrieben.
-
4 zeigt eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305. Gezeigt ist ein beispielhaftes Szenario, in dem eine semantischen Segmentierung zum Erkennen des befahrbaren Fahrbahnabschnitts 305 vorteilhaft ist, beispielsweise um unter Verwendung des erkannten befahrbaren Fahrbahnabschnitts 305 eine Fahrzeugfolgeführung anzusteuern oder zu unterstützen. In dem gezeigten Szenario, bei starkem Sonnenschein, ist es möglich, dass sich auf Kanten des Fahrzeugs Spiegelungen können, die zu großen Intensitätsunterschieden führen können. Grundsätzlich sind Intensitätsunterschiede typische Merkmale, die bei klassischen Verfahren zur Objektklassifikation verwendet werden. Spiegelungen sind jedoch möglicherweise zu unregelmäßig in ihrer Position und Stärke und führen daher zu Merkmalen, die sich von den Objektmerkmalen bei normaler Beleuchtung unterscheiden. Auch wird typischerweise eine Intensitätsnormalisierung der Merkmale verwendet, die dazu führen kann, dass typische Objektmerkmale bei starkem Sonnenschein eher unterdrückt werden, wodurch eine Objektplausibilisierung verzögert oder unmöglich sein kann. In dem hier gezeigten Szenario ist daher der hier vorgestellte Ansatz der Fahrzeugsteuerung unter Verwendung des mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305 vorteilhaft: Endet der befahrbare Fahrbahnabschnitts 305 plötzlich und in großer Nähe zum Fahrzeug, und wurde kein Vorausfahrer 405 erkannt, ist zu vermuten, dass sich ein Fahrzeug, der Vorausfahrer 405, am Ende des als befahrbar erkannten Fahrbahnabschnitt 305 befindet. In diesem Fall ist es vorteilhaft, für die Längsführung des Fahrzeugs auf das Ende der Ego-Spur, das Ende des erkannten befahrbaren Fahrbahnabschnitts 305 zu regeln.
-
5 zeigt eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305. Gezeigt ist ein beispielhaftes Szenario, in dem eine semantischen Segmentierung zum Erkennen des befahrbaren Fahrbahnabschnitts 305 vorteilhaft ist, hier eine Situation mit Regen und einem Objekt, einem Vorausfahrerfahrzeug 405, kurz vor einem Einscheren auf eine Fahrspur des Fahrzeugs. Vorteilhafterweise ist es mittels des hier vorgestellten Ansatzes des Ausführens der semantischen Segmentierung möglich, ein Objekt wie das hier einscherende Vorausfahrerfahrzeug 405 sicher und frühzeitig zu erkennen: Kommt es zu einer plötzlichen Verkürzung des erkannten befahrbaren Fahrbahnabschnitts 305, ist von einem Einschervorgang auszugehen, und eine Anpassung der automatischen Längsregelung mittels des Steuersignals ist möglich. Derselbe Ansatz ist für eine frühe Erkennung eines Ausschervorgangs verwendbar. In diesem Fall ist es möglich, eine frühe Beschleunigung einer automatischen Längsführung des Fahrzeugs anzusteuern, was zu einem fühlbaren Gewinn an Dynamik führt und vom Fahrer als menschenähnliches Verhalten wahrgenommen wird.
-
Zudem ist es möglich, eine Veränderung oder Verformung der machine-learning-basierten Ego-Fahrspur, also des erkannten befahrbaren Fahrbahnabschnitts 305, zur Anomaliendetektion zu verwenden, beispielsweise für in die Fahrbahn hineinragende Fahrzeuge, die mittels klassischer Ansätze möglicherweise nicht als relevantes Objekt für die Längsregelung erkannt werden, oder bei Objekten im Bereich des erkannten befahrbaren Fahrbahnabschnitts 305, beispielsweise verlorener Ladung auf der Fahrbahn.
-
In diesen Fällen ist ein Ermitteln einer Fahrerwarnung und zusätzlich oder alternativ ein automatischer Längs- bzw. Quereingriff unter Verwendung des Steuersignals möglich. Auch bei einem Fahrzeug mit einer Vielzahl an Sensoren, beispielsweise bei einem Fahrzeug mit Multisensor-Assistenzsystemen, ist der hier vorgestellte Ansatz der Fahrzeugsteuerung mittels des durch semantische Segmentierung erkannten befahrbaren Fahrbahnabschnitts 305 vorteilhaft, beispielsweise als zusätzliche Sicherung oder sogenannte „fallback-Lösung“ bei einer Beeinträchtigung oder einem Ausfall anderer Sensorik, beispielsweise der Radar-/ oder Lidarsensorik. In diesem Fall ist es beispielsweise auch möglich, einen Fahrmodus mit beschränktem Funktionsumfang (z.B. ohne Spurwechsel, mit eingeschränkter Geschwindigkeit) anzusteuern oder zu unterstützen. Zudem ist es möglich, bei einem hochautomatisierten System eine Zeit zu überbrücken, bis ein Fahrer die Fahraufgabe nach Erkennung des Sensorausfalls wieder übernehmen kann.
-
6 zeigt eine bildliche Darstellung eines mittels semantischer Segmentierung erkannten befahrbaren Fahrbahnabschnitts. Gezeigt ist ein Folgeszenario der anhand von 5 beschriebenen Anwendungssituation: das Vorausfahrerfahrzeug 405 ist hier während des Einscherens in den vorhergehend als befahrbaren Fahrbahnabschnitt 305 erkannten Bereich gezeigt. Durch das Einscheren des Vorausfahrerfahrzeugs 405 erfolgt eine Verkürzung des als befahrbar erkannten Fahrbahnabschnitts 305, und eine Erkennung des Objekts als Vorausfahrerfahrzeug 405.
-
7 zeigt ein Signalflussdiagramm eines Verfahrens zur Fahrzeugsteuerung gemäß einem Ausführungsbeispiel. Gezeigt ist eine beispielhafte Einbindung eins machine-learning-basierten Ego-Pfads, also eine beispielhafte Anwendung des hier vorgestellten Ansatzes des Erkennens des befahrbaren Fahrbahnabschnitts mittels semantischer Segmentierung und der Fahrzeugsteuerung basierend auf den erkannten befahrbaren Fahrbahnabschnitt.
-
In dem hier gezeigten Signalflussdiagramm werden klassische Perzeptionsansätze für eine Querführung, also eine modellbasierte Erkennung von Spurmarkierungen und eine Längsführung, also eine Klassifikation von Objekten mittels Mustererkennung wie beispielsweise Viola Jones oder einer „Support vector machine“ (SVM) durch einen möglichst komplementären MLbasierten Pfad, die semantische Segmentierung der Ego-Fahrspur, ergänzt.
-
In dem hier gezeigten Ausführungsbeispiel wird das Kamerasignal 125 von einem Monovideo-Sensor, der Monokamera-Sensoreinrichtung 130, bereitgestellt. Hier wird das Kamerasignal 125 beispielhaft an die Spurmarkierungserkennungseinrichtung 155, die Ausführungseinrichtung 115, die Detektionseinrichtung 165 und eine Prüfeinrichtung 705 bereitgestellt. Die Spurmarkierungserkennungseinrichtung 155 führt eine klassische Spurmarkierungserkennung aus und stellt das Markierungssignal 150 an die Ermittlungseinrichtung 120 bereit. Die Ausführungseinrichtung 115 führt die semantische Segmentierung der Ego-Fahrspur aus und stellt das Fahrbahnsignal 135 bereit. Die Detektionseinrichtung 165 führt eine klassische Fahrzeugerkennung durch und stellt das Fahrzeugerkennungssignal 160 bereit. Die Prüfeinrichtung 705 führt eine Verfügbarkeitsprüfung der klassischen Ansätze durch und stellt ein Modulationssignal 710 bereit. Die Ermittlungseinrichtung 120 umfasst hier eine Querführungs-Datenfusionseinrichtung 715 und eine Längsführungs-Datenfusionseinrichtung 720. Das Modulationssignal 710 wird für einen modulierenden Einfluss auf die Datenfusionen an die Querführungs-Datenfusionseinrichtung 715 und die Längsführungs-Datenfusionseinrichtung 720 bereitgestellt. Zudem werden das Markierungssignal 150 und das Fahrbahnsignal 135 an die Querführungs-Datenfusionseinrichtung 715 bereitgestellt. Gemäß dem hier gezeigten Ausführungsbeispiel ist die Querführungs-Datenfusionseinrichtung 715 ausgebildet, unter Verwendung des Markierungssignals 150 des Fahrbahnsignals 135 und des Modulationssignals 710 das Steuersignal 140 zur Querführung zu ermitteln und das Steuersignal 140 zur Querführung an einen Fahrzeugregler als die Fahrzeugkomponente 145 bereitzustellen. Das Fahrzeugerkennungssignal 160 und das Fahrbahnsignal 135 werden an die Längsführungs-Datenfusionseinrichtung 720 bereitgestellt. Die Längsführungs-Datenfusionseinrichtung 720 ist gemäß dem hier gezeigten Ausführungsbeispiel ausgebildet, unter Verwendung des Fahrzeugerkennungssignals 160, des Fahrbahnsignals 135 und des Modulationssignals 710 das Steuersignal 140 zur Längsführung zu ermitteln und das Steuersignal 140 zur Längsführung an den Fahrzeugregler als die Fahrzeugkomponente 145 bereitzustellen.
-
Dabei ist es beispielsweise möglich, in Szenarien, die für die klassischen Ansätze herausfordernd sind, im Sinne einer Datenfusion stärker auf das ML-Verfahren zu setzen. In Gutfällen werden im Sinne einer Datenfusion die klassischen Verfahren bevorzugt, wenn sie die Fahrererwartung bereits gut abbilden können.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
