DE102020211722A1

DE102020211722A1 - Verfahren und System zur verbesserten Fahrerassistenz

Info

Publication number: DE102020211722A1
Application number: DE102020211722.5A
Authority: DE
Inventors: Christian Ruppel
Original assignee: Continental Automotive GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2022-03-24

Abstract

Die Erfindung betrifft ein Verfahren zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen mit den folgenden Schritten:- Aufzeichnen (S1) zumindest eines Umgebungsbildes mittels eines in Fahrtrichtung des Ego-Fahrzeugs ausgerichteten optischen Sensors (2) und/oder eines seitlich und/oder rückwärtig ausgerichteten Umfelderfassungssensors (4);- Detektieren (S2) von Umfeldmerkmalen in dem zumindest einen Umgebungsbild;- Detektieren (S3) von zumindest einer Fahrspur und/oder Fahrbahn;- Erstellen (S4) eines Umfeldmodells mit einer Grid-Karte und Eintragen der Detektionen in Grid-Zellen der Grid-Karte;- Lokalisieren (S5) des Ego-Fahrzeugs in der Grid-Karte;- Klassifizieren (S6) der Umfeldmerkmale und Ausgeben der klassifizierten Umfeldmerkmale an den Fahrer mittels einer Anzeigeeinrichtung (6);- Bestimmen (S7) einer aktuellen Fahrsituation;- Auswählen (S8) zumindest eines für die aktuelle Fahrsituation relevanten Umfeldmkermals durch den Fahrer oder mittels eines Algorithmus;- Steuern (S9) zumindest einer Fahrfunktion des Ego-Fahrzeugs basierend auf der Klassifizierung und Auswahl des Umfeldmerkmals.

Description

Die Erfindung betrifft ein Verfahren und ein System zur verbesserten Fahrerassistenz.
Aus dem Stand der Technik sind allgemein Systeme zum Erkennen von Objekten und Merkmalen der Umgebung sowie Systeme zum Steuern einer bestimmten Fahrfunktion eines Fahrzeugs bekannt. Beispielsweise sind Systeme bekannt, welche ein Ampelsignal erfassen können, um bereits vor dem Grün-Signal den Verbrennungsmotor zu starten. Dies ist beispielsweise in der Druckschrift DE102015201344B4 offenbart.
Weiterhin ist aus der DE112016005654T5 ein Steuerungssystem bekannt, welches dazu ausgestaltet ist basierend auf einem Umgebungsanzeigesignal zu bestimmen ob ein Fahrzeug abgebremst werden soll und falls notwendig das Fahrzeug abzubremsen.
Aus der US2009174573A1 ist ein System mit zumindest einer Infrarotaufnahmeeinrichtung bekannt, welches den Wechsel einer Ampelschaltung feststellt und bei einer Änderung der Ampelfarbe den Fahrer warnen bzw. informieren kann.
In der DE102014204059A1 ist unter anderem ein Fahrerassistenzsystem beschrieben, welches mittels eines ersten Sensors ein Umgebungsbild aufnimmt und mittels eines Prozessors eine Ampel in dem Bild detektiert und weiterhin eine Zustandsänderung der detektierten Ampel bestimmt. Weiterhin soll hier eine Geschwindigkeit und ein Abstand des Fahrzeugs zum Zeitpunkt der Zustandsänderung ermittelt werden, um zu ermitteln, wann das Fahrzeug die Ampel passieren wird und ob die derzeitige Phase der Ampel dafür ausreichend ist.
Nachteilig bei den genannten Systemen und Verfahren ist allerdings, dass diese auf spezielle Fahrsituationen ausgelegt sind und beispielsweise bei Fehldetektionen oder einer Detektion der falschen Ampel keine zuverlässige Fahrerassistenz bereitstellen können.
Es ist demnach eine Aufgabe der vorliegenden Erfindung ein Verfahren und ein System bereit zu stellen mittels welchen eine verbesserte Fahrerassistenz in bestimmten Fahrsituationen bereitgestellt wird.
Erste Überlegungen waren dahingehend, dass ein Fahrer an einer Kreuzung mit einer Ampel-Anlage die für ihn relevante Ampel ggf. nicht sehen kann, oder aber bei mehreren Ampeln die falsche Ampel im Blick behält. Dies kann dazu führen, dass entweder eine Grün-Phase der Ampel nicht erkannt wird und so eine Verkehrsbehinderung entsteht oder, dass fälschlicherweise eine Grün-Phase angenommen wird, was zu schweren Unfällen führen kann. Dies kann auch durch eine Fehldetektion einer Kamera hervorgerufen werden, wenn basierend auf der Detektion der Kamera das Fahrzeug gesteuert wird oder ein Fahrer auf die Grün-Phase aufmerksam gemacht wird. Weiterhin kann es sein, dass der Fahrer beim Abbiegen beispielsweise einen Radfahrer übersieht, da der Fahrer durch mehrere Ampelanlagen abgelenkt ist, um die richtige Grünphase zu erkennen. Daher ist es notwendig, eine Ampel bzw. allgemein alle relevanten Merkmale der Umgebung des Fahrzeugs zweifelsfrei der Fahrsituation zuzuordnen, so dass der Fahrer in der entsprechenden Situation entsprechend unterstützt werden kann.
Es wird demnach erfindungsgemäß ein Verfahren zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen mit den folgenden Schritten:

- Aufzeichnen zumindest eines Umgebungsbildes mittels eines in Fahrtrichtung des Ego-Fahrzeugs ausgerichteten optischen Sensors und/oder eines seitlich und/oder rückwärtig ausgerichteten Umfelderfassungssensors;
- Detektieren von Umfeldmerkmalen in dem zumindest einen Umgebungsbild;
- Detektieren von zumindest einer Fahrspur und/oder Fahrbahn;
- Erstellen eines Umfeldmodells mit einer Grid-Karte und Eintragen der Detektionen in Grid-Zellen der Grid-Karte;
- Lokalisieren des Ego-Fahrzeugs in der Grid-Karte;
- Klassifizieren der Umfeldmerkmale und Ausgeben der klassifizierten Umfeldmerkmale an den Fahrer mittels einer Anzeigeeinrichtung;
- Bestimmen einer aktuellen Fahrsituation;
- Auswählen zumindest eines für eine aktuelle Fahrsituation relevanten Umfeldmkermals durch den Fahrer oder mittels eines Algorithmus;
- Steuern zumindest einer Fahrfunktion des Ego-Fahrzeugs basierend auf der Klassifizierung und Auswahl des Umfeldmerkmals.

Der optische Sensor ist hierbei bevorzugt als Mono- oder Stereokamera ausgestaltet. Der seitlich und/oder rückwärtig ausgerichtete Sensor kann beispielsweise ebenfalls eine Kamera sein. Denkbar wäre auch die Verwendung eines Radar-, Lidar-, oder Ultraschallsensors. Denkbar wäre auch, dass die beiden Sensoren Bestandteil eines Surroundview-Systems sind. Der seitlich und/oder rückwärtig ausgerichtete Sensor kann vorteilhafterweise z.B. bei Abbiegevorgängen herannahende Radfahrer oder Fußgänger oder allgemein so genannte „Vulnerable Road Users“ kurz VRUs erkennen.
Eine Fahrsituation im Lichte der Erfindung beschreibt beispielsweise das Anhalten an einer Ampel, das Abbiegen an einer Ampel, das Anhalten vor einem Bahnübergang, das Anhalten vor einem Garagentor oder allgemein einem Zufahrtstor. Denkbar wäre auch das Anhalten an Fußgängerüberwegen.
Die Umfeldmerkmale können beispielsweise in dem Kamerabild mittels eines Algorithmus ermittelt werden. Ebenso verhält es sich mit den Detektionen anderer Sensortypen. Weiterhin kann aus dem Kamerabild eine Fahrspur bzw. eine Fahrbahn ermittelt werden. Dies kann beispielsweise mittels einer Semantischen Segmentierung und/oder einer Keypoint Regression durchgeführt werden. Bei der semantischen Segmentierung werden in einer möglichen Ausgestaltung die Flächen zwischen den Fahrspurmarkierungen mittels der Helligkeitsunterschiede zwischen Fahrspurmarkierung und Fahrspur ermittelt.
Mit den Detektierten Merkmalen und der Fahrspur bzw. Fahrbahn wird ein Umfeldmodell erstellt. Dieses Umfeldmodell weist eine Grid-Karte mit einer Vielzahl von Grid-Zellen auf. Jede der Grid-Zellen kann beispielsweise einen der Werte „Frei“, „Belegt“ oder „Unbestimmt“ aufweisen. Diese Werte werden durch das Eintragen der Detektionen in die Grid-Karte festgelegt. Alle erkannten Merkmale generieren dabei den Status „Belegt“. Die erkannte Fahrspur bzw. Fahrbahn wird, sofern keine weiteren Verkehrsteilnehmer detektiert werden, als „Frei“ gekennzeichnet.
Die Klassifizierung kann beispielsweise die Unterscheidung der Merkmale in statische oder dynamische Merkmale umfassen. Statisch bedeutet hierbei, dass die Merkmale ortsgebunden sind. Etwaige Zustandsänderungen sind hierbei allerdings möglich. Dynamische Merkmale wären demnach nicht ortsgebundene Merkmale, welche sich mit einer bestimmten Geschwindigkeit fortbewegen.
Wenn die Merkmale klassifiziert sind werden diese auf einer Anzeigeeinrichtung angezeigt. Nun besteht die Möglichkeit für den Fahrer, das für die aktuelle Fahrsituation relevante Merkmal auszuwählen. Es besteht auch die Möglichkeit, dass die Auswahl automatisch mittels eines Algorithmus getroffen wird, wenn entweder ein entsprechender Betriebsmodus des Systems eingestellt ist oder beispielsweise der Fahrer nicht innerhalb eines voreinstellbaren Zeitraums eine Auswahl trifft. Dies könnte bspw. ein Zeitraum von einigen Sekunden sein, z.B. 5 Sekunden.
Die Bestimmung der Fahrsituation wird aus den detektierten und klassifizierten Umfeldmerkmalen hergeleitet.
Bevorzugt werden nur die Umgebungsmerkmale ausgegeben, die sich zum Zeitpunkt der Klassifizierung im Erfassungsbereich zumindest eines der Sensoren befinden.
Abschließend wird eine Fahrfunktion basierend auf der Klassifizierung und der Auswahl des zumindest einen Umfeldmerkmals angesteuert. Diese Fahrfunktion kann beispielsweise ein Abbiegeassistent sein, welcher ggf. automatisch den Blinker aktiviert und speziell vor Fahrradfahrern oder Fußgängern warnt, welche die Abbiegetrajektorie des Fahrzeugs beim Abbiegen kreuzen würden. Hier wäre des für die Fahrfunktion relevante Umfeldmerkmal eine Ampel für die Abbiegespur. Diese kann beispielsweise zusammen mit anderen Ampeln einer Ampelanlage für mehrere Spuren in dem Anzeigedisplay angezeigt werden. Durch Auswahl der speziellen Ampel, die zu der Abbiegespur gehört, wird das entsprechende Fahrerassistenzsystem aktiviert. Denkbar wäre auch, den Fahrer auf die Grünphase hinzuweisen. Dies ist insbesondere dann vorteilhaft, wenn die Ampel nicht im direkten Sichtfeld des Fahrers ist oder beispielsweise durch den Rückspiegel verdeckt ist.
Bevorzugt handelt es sich in einer Ausführungsform der Erfindung bei den Umfeldmerkmalen um statische Objekte wie beispielsweise Ampelanlagen, Bahnschranken, Garagentore, ein Fußgängerüberweg und/oder dynamische Objekte wie beispielsweise Fußgänger, Radfahrer oder andere Verkehrsteilnehmer. Basierend auf den detektierten Umfeldmerkmalen oder dem zumindest einen detektierten Umfeldmerkmal wird, wie bereits beschrieben, die aktuelle Fahrsituation bestimmt. Dies ist vorteilhaft, da je nach Fahrsituation eine andere Fahrerassistenz bereitgestellt werden muss. Bei einer Bahnschranke muss beispielsweise dem Fahrer signalisiert werden, wenn die Bahnschranke geöffnet wird und ggf. der Motor gestartet werden. Bei einer Ampelanlage hingegen, insbesondere bei einem bevorstehenden Abbiegevorgang muss zunächst die korrekte Ampel ausgewählt und bei einem Abbiegevorgang der seitliche/rückwärtige Bereich auf herannahende Radfahrer oder Fußgänger überwacht werden.
In einer bevorzugten Ausführungsform wird die Relevanz für die aktuelle Fahrsituation ermittelt, indem die Position der Umfeldmerkmale und die Position des Ego-Fahrzeugs in ein Verhältnis gesetzt werden. Auf diese Weise kann beispielsweise ermittelt werden, ob die detektierte Ampel für die Ego-Fahrspur relevant ist oder ob ein detektierter Radfahrer die Trajektorie des Fahrzeugs im weiteren Verlauf kreuzen könnte. Die Position des Ego-Fahrzeugs und die Position der Umfeldmerkmale lassen sich mittels der Grid-Karte schnell und zuverlässig bestimmen, da hier die Position der Grid-Zellen zueinander betrachtet und in ein Verhältnis zueinander gesetzt werden kann oder bei dynamischen Objekten basierend auf einer getrackten Bewegung eine Prädiktion der weiteren Trajektorie durchgeführt werden kann.
In einer weiteren bevorzugten Ausführungsform ist vorgesehen, dass die Klassifizierung der Umfeldmerkmale weiterhin eine Bewertung des jeweiligen Zustands der Umfeldmerkmale umfasst. Der Zustand kann je nach Art des Umfeldmerkmals beispielsweise den Zustand geschlossen umfassen, wenn es sich beispielsweise um ein Gragentor oder eine Bahnschranke handelt. Bei Ampeln kann der Zustand die jeweilige aktuelle Ampelschaltung beschreiben, „Grün“, „Gelb“ oder „Rot“. Denkbar wäre auch, dass bei einer detektierten Ampel ein Umschalten der Ampel ermittelt oder direkt von der Ampel mittels V2X-Kommunikation abgerufen wird. Für die Ermittlung können Parameter wie die Eigengeschwindigkeit des Ego-Fahrzeugs sowie die bereits detektierte Dauer der Ampelphase sowie die Distanz zur Ampel herangezogen werden. So kann das Fahrzeug beispielsweise auf eine endende Grünphase vorbereitet werden und beispielsweise die Geschwindigkeit reduziert werden, wenn die Zeit auf Grund der Entfernung zur Ampel nicht ausreicht, diese innerhalb der Grünphase zu passieren. Bei einem Fußgängerüberweg wären mögliche Zustände „frei“, „belegt“ oder „in Kürze belegt“, wobei der Zustand „in Kürze belegt“ eine Prädiktion einer Bewegung von detektierten Fußgängern oder Radfahrern umfasst. Beispielsweise kann davon ausgegangen werden, wenn Personen am Rand eines Fußgängerüberwegs detektiert werden, dass diese im Begriff sind die Straße zu überqueren. Daraufhin kann das System bereits vorläufig die Geschwindigkeit reduzieren und bei Bedarf anhalten bzw. den Fahrer auf die Situation aufmerksam machen.
Weiterhin wird erfindungsgemäß ein System zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen vorgeschlagen. Das System umfasst dabei zumindest einen ersten in Fahrtrichtung eines Ego-Fahrzeugs ausgerichteten optischen Sensor zur Umfelderfassung, sowie zumindest einen zweiten Umfelderfassungssensor zur Aufnahme eines seitlichen und/oder rückwärtigen Bereichs des Ego-Fahrzeugs, wobei der optische Sensor dazu ausgestaltet ist, eine Fahrspur des Ego-Fahrzeugs sowie Umfeldmerkmale zu erkennen, wobei das System weiterhin eine Recheneinrichtung umfasst, mittels welcher eine Klassifizierung der Umfeldmerkmale durchführbar ist wobei das System weiterhin eine Anzeigeeinrichtung zur Anzeige der klassifizierten Umfeldmerkmale aufweist, und wobei weiterhin eine Steuereinrichtung vorgesehen ist, welche in Abhängigkeit der Klassifizierung des zumindest einen Umfeldmerkmals zumindest eine bestimmte Fahrfunktion des Ego-Fahrzeugs steuert.
Weitere vorteilhafte Ausgestaltungen und Ausführungsformen sind Bestandteil der Figuren. Darin zeigen:

1: ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens;
2: eine schematische Darstellung eines Systems gemäß einer Ausführungsform der Erfindung.

1 zeigt ein Verfahren zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen. In einem ersten Schritt S1 wird zumindest ein Umgebungsbild mittels eines in Fahrtrichtung des Ego-Fahrzeugs ausgerichteten optischen Sensors und/oder eines seitlich und/oder rückwärtig ausgerichteten Umfelderfassungssensors aufgezeichnet. In Schritt S2 werden Umfeldmerkmale in dem zumindest einen Umgebungsbild detektiert. In einem weiteren Schritt S3 wird zumindest eine Fahrspur und/oder Fahrbahn detektiert. In einem darauf folgenden Schritt S4 wird ein Umfeldmodell mit einer Grid-Karte erstellt und die Detektionen in Grid-Zellen der Grid-Karte eingetragen. Nachfolgend wird in Schritt S5 das Ego-Fahrzeug in der Grid-Karte lokalisiert. In einem weiteren Schritt S6 werden die Umfeldmerkmale klassifiziert und die klassifizierten Umfeldmerkmale mittels einer Anzeigeeinrichtung an den Fahrer ausgegeben. In Schritt S7 wird eine aktuelle Fahrsituation bestimmt. Danach wird in Schritt S8 zumindest ein für die Fahrsituation relevantes Umfeldmerkmal durch den Fahrer oder mittels eines Algorithmus ausgewählt. Abschließend wird in Schritt S9 eine Fahrfunktion des Ego-Fahrzeugs basierend auf der Klassifizierung und der Auswahl des Umfeldmerkmals gesteuert.
2 zeigt eine schematische Darstellung eines Systems 1 gemäß einer Ausführungsform der Erfindung. Das System weist dabei einen ersten in Fahrtrichtung eines Ego-Fahrzeugs ausgerichteten optischen Sensor 2 zur Umfelderfassung, sowie zumindest einen zweiten Umfelderfassungssensor 4 zur Aufnahme eines seitlichen und/oder rückwärtigen Bereichs des Ego-Fahrzeugs auf, wobei der optische Sensor 2 dazu ausgestaltet ist, eine Fahrspur des Ego-Fahrzeugs sowie Umfeldmerkmale zu erkennen, wobei das System 1 weiterhin eine Recheneinrichtung 3 umfasst, mittels welcher eine Klassifizierung der Umfeldmerkmale durchführbar ist wobei das System 1 weiterhin eine Anzeigeeinrichtung 6 zur Anzeige der klassifizierten Umfeldmerkmale aufweist, und wobei weiterhin eine Steuereinrichtung 5 vorgesehen ist, welche in Abhängigkeit der Klassifizierung des zumindest einen Umfeldmerkmals zumindest eine bestimmte Fahrfunktion des Ego-Fahrzeugs steuert. Die einzelnen Elemente des Systems 1 sind mittels einer Datenverbindung D verbunden. Diese Datenverbindung D kann kabelgebunden oder kabellos ausgestaltet sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015201344 B4 [0002]
DE 112016005654 T5 [0003]
US 2009174573 A1 [0004]
DE 102014204059 A1 [0005]

Claims

Verfahren zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen mit den folgenden Schritten: - Aufzeichnen (S1) zumindest eines Umgebungsbildes mittels eines in Fahrtrichtung des Ego-Fahrzeugs ausgerichteten optischen Sensors (2) und/oder eines seitlich und/oder rückwärtig ausgerichteten Umfelderfassungssensors (4); - Detektieren (S2) von Umfeldmerkmalen in dem zumindest einen Umgebungsbild; - Detektieren (S3) von zumindest einer Fahrspur und/oder Fahrbahn; - Erstellen (S4) eines Umfeldmodells mit einer Grid-Karte und Eintragen der Detektionen in Grid-Zellen der Grid-Karte; - Lokalisieren (S5) des Ego-Fahrzeugs in der Grid-Karte; - Klassifizieren (S6) der Umfeldmerkmale und Ausgeben der klassifizierten Umfeldmerkmale an den Fahrer mittels einer Anzeigeeinrichtung (6); - Bestimmen (S7) einer aktuellen Fahrsituation; - Auswählen (S8) zumindest eines für die aktuelle Fahrsituation relevanten Umfeldmkermals durch den Fahrer oder mittels eines Algorithmus; - Steuern (S9) zumindest einer Fahrfunktion des Ego-Fahrzeugs basierend auf der Klassifizierung und Auswahl des Umfeldmerkmals.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Umfeldmerkmale statische Objekte wie beispielsweise Ampelanlagen, Bahnschranken, Garagentore und/oder dynamische Objekte wie beispielsweise Fußgänger, Radfahrer oder andere Verkehrsteilnehmer umfassen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Relevanz für die aktuelle Fahrsituation ermittelt wird, indem die Position der Umfeldmerkmale und die Position des Ego-Fahrzeugs in ein Verhältnis gesetzt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Klassifizierung der Umfeldmerkmale weiterhin eine Bewertung des jeweiligen Zustands der Umfeldmerkmale umfasst.
System (1) zur verbesserten Fahrerassistenz eines Fahrers eines Ego-Fahrzeugs in bestimmten Fahrsituationen, wobei das System zumindest einen ersten in Fahrtrichtung eines Ego-Fahrzeugs ausgerichteten optischen Sensor (2) zur Umfelderfassung, sowie zumindest einen zweiten Umfelderfassungssensor (4) zur Aufnahme eines seitlichen und/oder rückwärtigen Bereichs des Ego-Fahrzeugs aufweist, wobei der optische Sensor (2) dazu ausgestaltet ist, eine Fahrspur des Ego-Fahrzeugs sowie Umfeldmerkmale zu erkennen, wobei das System (1) weiterhin eine Recheneinrichtung (3) umfasst, mittels welcher eine Klassifizierung der Umfeldmerkmale durchführbar ist wobei das System (1) weiterhin eine Anzeigeeinrichtung (6) zur Anzeige der klassifizierten Umfeldmerkmale aufweist, und wobei weiterhin eine Steuereinrichtung (5) vorgesehen ist, welche in Abhängigkeit der Klassifizierung des zumindest einen Umfeldmerkmals zumindest eine bestimmte Fahrfunktion des Ego-Fahrzeugs steuert.