DE102021003159A1

DE102021003159A1 - Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern

Info

Publication number: DE102021003159A1
Application number: DE102021003159.8A
Authority: DE
Inventors: Steven Peters; Christian Drescher
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2022-12-22
Also published as: WO2022263079A1

Abstract

Die Erfindung betrifft ein Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung eines Fahrzeugs (2), wobei Videosequenzen (VS) der Fahrzeugumgebung mittels einer Sensorik aufgenommen werden, wobei das Verhalten von in den Videosequenzen (VS) erkannten Verkehrsteilnehmern mittels eines neuronalen Netzes (NN2) anhand der Videosequenzen in die Zukunft prädiziert wird, wobei das neuronale Netz (NN2) in jedem Zeitschritt mit den Daten eines weiteren neuronalen Netzes (NN1) aktualisiert wird, wobei das weitere neuronale Netz (NN1) in jedem Zeitschritt mit Videosequenzen (VSt-x-y...t-x) der Fahrzeugumgebung trainiert wird, die in zurückliegenden Zeitschritten erfasst wurden und in einem Ringspeicher (5) zwischengespeichert wurden.

Description

Die Erfindung betrifft ein Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung.
Unter anderem in "S. Oprea, et al.: A Review on Deep Learning Techniques for Video Prediction; In IEEE Transactions on Pattern Analysis 8 Machine Intelligence, vol. no. 01, pp. 1-1, 5555; doi: 10.1109/TPAMI.2020.3045007" ist beschrieben, dass Videoframes mittels maschinellen Lernens prädizierbar sind.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung eines Fahrzeugs werden Videosequenzen der Fahrzeugumgebung mittels einer Sensorik aufgenommen, wobei das Verhalten von in den Videosequenzen erkannten Verkehrsteilnehmern mittels eines neuronalen Netzes anhand der Videosequenzen prädiziert wird. Erfindungsgemäß wird das neuronale Netz in jedem Zeitschritt mit den Daten eines weiteren neuronalen Netzes aktualisiert, wobei das weitere neuronale Netz in jedem Zeitschritt mit Videosequenzen der Fahrzeugumgebung trainiert wird, die in zurückliegenden Zeitschritten erfasst wurden und in einem Ringspeicher zwischengespeichert wurden.
Erfindungsgemäß wird das Verhalten der Verkehrsteilnehmer mittels eines neuronalen Netzes anhand von sensorisch aufgenommenen Umgebungsdaten (beispielsweise Videoframes) prädiziert.
Wenn anhand des prädizierten Verhaltens eine Gefahrensituation erkannt wird, wird vorzugsweise eine Fahrerwarnung ausgegeben und/oder ein Fahrmanöver zur Minimierung der Gefahrensituation ausgeführt.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch ein Blockschaltbild einer Vorrichtung zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung,
2 schematisch ein Ausschnitt eines Sichtfelds eines Fahrers mit einer augmentierten Darstellung von Informationen,
3 schematisch den Ausschnitt des Sichtfelds des Fahrers gemäß 2 mit einer weiteren augmentierten Darstellung von Informationen, und
4 schematisch den Ausschnitt des Sichtfelds des Fahrers gemäß 2 mit einer weiteren augmentierten Darstellung von Informationen.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Bei einem erfindungsgemäßen Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung werden in einem Fahrzeug Videosequenzen der Fahrzeugumgebung mittels mindestens einer Kamera und/oder mindestens eines Lidarsensors und/oder mindestens eines Radarsensors erfasst. Ein bereits vortrainiertes neuronales Netz wird zu jedem Zeitpunkt mit Videosequenzen vorhergehender Zeitabschnitte oder Zeiteinheiten weitertrainiert. Mit dem trainierten Netz können dann Prädiktionen über die nahe Zukunft gemacht werden. Diese Prädiktionen liegen in Form von Frames, das heißt Bildern, vor und werden ausgewertet. Wird in einem der Frames eine Kollisionsgefahr erkannt, so wird eine Warnung für einen Fahrer des Fahrzeugs ausgegeben.
Beispielsweise kann das neuronale Netz mit einer Videosequenz trainiert werden, die das Schlingern eines Anhängers eines zu überholenden Fahrzeugs, beispielsweise auf einer Autobahn, zeigt. Das neuronale Netz prädiziert dann in den nächsten Frames ein Pendeln des Anhängers auf die eigene Fahrspur und der Fahrer wird entsprechend gewarnt.
Es folgen weitere typische Beispiele, die insbesondere für das Vortraining geeignet sind:

- Ein Fahrzeug zieht von einem Beschleunigungsstreifen ganz nach links über zwei Spuren.
- Ein Kind folgt einem rollenden Ball.
- Ein Fahrradfahrer streckt einen Arm aus und biegt ab.

Durch das beschriebene Verfahren wird der Fahrer unterstützt und entlastet und somit wird eine Erhöhung der Sicherheit erzielt.
In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung, umfassend ein Fahrzeug 2, und ein OEM-Backend 3. Das Fahrzeug 2 umfasst mindestens eine Kamera 4, einen Ringspeicher 5 für von der Kamera 4 erfasste Videosequenzen VS der Fahrzeugumgebung, ein erstes Steuergerät SG1, ein zweites Steuergerät SG2, ein drittes Steuergerät SG3 und ein viertes Steuergerät SG4.
Das erste Steuergerät SG1 erhält eine zeitlich versetzte Videosequenz VS_t-x-y...t-x aus dem Ringspeicher 5 und trainiert ein erstes neuronales Netz NN1 zu jedem Zeitpunkt t und überschreibt nach jedem Zeitschritt damit ein zweites neuronales Netz NN2 im zweiten Steuergerät SG2. Für das Training gilt: Der Inputvektor ist die Videosequenz VS_t-x-y...t-x von Bildern der Kamera 4 aus dem Ringspeicher 5 eines Zeitraums von t-x-y bis t-x. Der Outputvektor (sogenanntes Label) ist eine Videosequenz VS_t-x...t von Bildern der Kamera 4 eines Zeitraum von t-x bis t.
Das zweite Steuergerät SG2 sagt mittels des zweiten neuronalen Netzes NN2 eine Videosequenz VS_t...t+x für einen zukünftigen Zeitraum t bis t+x ausgehend von einer Videosequenz VS_t-y...t von Bildern der Kamera 4 des Zeitraums t-y bis t voraus. Das dritte Steuergerät SG3 führt mittels eines dritten neuronalen Netzes NN3 eine Objektklassifikation auf den Frames der Videosequenz VS_t...t+x aus dem zweiten Steuergerät SG2 für den zukünftigen Zeitraum t bis t+x durch und prüft, ob in mindestens einem Frame ein relevantes Objekt (beispielsweise ein LKW, ein PKW, ein Fußgänger...) mit einer aktuellen und/oder geplanten Fahrtrajektorie kollidiert. Wenn dies der Fall ist, dann wird das vierte Steuergerät SG 4 aufgefordert, eine Warnung auszugeben.
In einer Ausführungsform nutzen das erste und das zweite Steuergerät SG1 und SG2 Informer- und/oder Transformer-Neural-Networks zur Generierung der VideoSequenz VS_t...t+x. Das neuronale Netz NN1 wird regelmäßig zum Beispiel zum Fahrtbeginn oder nach einem festgelegten Zeitintervall wieder auf einen initialen Stand zurückgesetzt, der entweder einem neuronalen Netz NN0 mit einem vortrainierten Stand aus der Entwicklung des Fahrzeugs entspricht oder einem kontinuierlich im OEM-Backend 3 aus Felddaten, beispielsweise gesammelten Videosequenzen aus Kundenfahrzeugen, weitertrainierten neuronalen Netz NN* entspricht.
In einer Ausführungsform nutzt das dritte Steuergerät SG3 die semantische Segmentation auf der vom zweiten Steuergerät SG2 generierten Videosequenz VS_t...t+x für den zukünftigen Zeitraum t bis t+x mittels neuronaler Netze zur Objektklassifikation. Ferner kann das dritte Steuergerät SG3 die vom zweiten Steuergerät SG2 generierte Videosequenz VS_t...t+x für den zukünftigen Zeitraum t bis t+x plausibilisieren, indem die Bewegungen der Objekte mit vorabdefinierten, möglichen Bewegungen pro Objektklasse abgeglichen werden. Beispielsweise kann ein LKW nicht schlagartig rückwärtsfahren.
In einer Ausführungsform kann das vierte Steuergerät SG4 vom dritten Steuergerät SG3 zusätzlich das relevante Objekt und den prädizierten Frame mit der Kollision sowie dessen Zeitstempel erhalten. Damit wäre es beispielsweise möglich, mittels eines Augmented-Reality-Head-Up-Displays im Fahrzeug 2 das Objekt für den Fahrer optisch hervorzuheben und/oder zu markieren sowie gegebenenfalls den prognostizierten Frame mit der Kollisionsgefahr als transparente Überlagerung anzuzeigen, so dass der Fahrer frühzeitig ein potentielles Risiko erkennt. Ferner kann vorgesehen sein, das Objekt, mit dem eine Kollisionsgefahr besteht, mit hochauflösenden Scheinwerfersystemen wie Digital Light anzustrahlen, insbesondere bei Dunkelheit. Zusätzlich kann mit einer Fahrerbeobachtungskamera geprüft werden, ob der Fahrer das Objekt bereits im Blick hat, so dass eine Warnung nicht nötig ist. Ferner kann vorgesehen sein, ein Ausweichmanöver und/oder ein Bremsmanöver zu planen, falls der Fahrer nicht rechtzeitig reagiert.
In einer alternativen Ausführungsform kann statt eines realistischen Bildes zur Reduktion des Trainingsaufwands direkt eine semantische Segmentation der zukünftigen Frames prädiziert werden, deren Auflösung geringer sein kann. Dazu müsste der Algorithmus zur semantischen Segmentation vor dem Einsatz der neuronalen Netze NN1 und NN2 als Vorbereitung durchgeführt werden und die neuronalen Netze NN0, NN1, NN2 mit semantisch segmentierten Bildern und/oder Videosequenzen trainiert worden sein. Im dritten Steuergerät SG3 würde dann nur noch die Kollisionserkennung erfolgen.
2 ist eine schematische Abbildung eines Ausschnitts eines Sichtfelds eines Fahrers mit einer augmentierten Darstellung von Informationen, wobei eine prädizierte Bewegungsrichtung R eines vorausfahrenden Fahrzeugs V angezeigt wird.
3 ist eine schematische Abbildung des Ausschnitts des Sichtfelds des Fahrers gemäß 2 mit einer weiteren augmentierten Darstellung von Informationen, wobei das vorausfahrende Fahrzeug V mit digitalem Licht DL angestrahlt wird.
4 ist eine schematische Ansicht des Ausschnitts des Sichtfelds des Fahrers gemäß 2 mit einer weiteren augmentierten Darstellung von Informationen, wobei ein für die Zukunft prädiziertes Frame F mit einer prädizierten Position des vorausfahrenden Fahrzeugs V per Überblendung angezeigt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

"S. Oprea, et al.: A Review on Deep Learning Techniques for Video Prediction; In IEEE Transactions on Pattern Analysis 8 Machine Intelligence, vol. no. 01, pp. 1-1, 5555; doi: 10.1109/TPAMI.2020.3045007" [0002]

Claims

Verfahren zur Prädiktion eines Verhaltens von Verkehrsteilnehmern in einer Fahrzeugumgebung eines Fahrzeugs (2), wobei Videosequenzen (VS) der Fahrzeugumgebung mittels einer Sensorik aufgenommen werden, wobei das Verhalten von in den Videosequenzen (VS) erkannten Verkehrsteilnehmern mittels eines neuronalen Netzes (NN2) anhand der Videosequenzen prädiziert wird, dadurch gekennzeichnet, dass das neuronale Netz (NN2) in jedem Zeitschritt mit den Daten eines weiteren neuronalen Netzes (NN1) aktualisiert wird, wobei das weitere neuronale Netz (NN1) in jedem Zeitschritt mit Videosequenzen (VS_t-x-y...t-x) der Fahrzeugumgebung trainiert wird, die in zurückliegenden Zeitschritten erfasst wurden und in einem Ringspeicher (5) zwischengespeichert wurden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dann, wenn anhand des prädizierten Verhaltens eine Gefahrensituation erkannt wird, im Fahrzeug (2) eine Warnung ausgegeben und/oder ein Fahrmanöver zur Minimierung der Gefahrensituation ausgeführt wird.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass ein Informer- und/oder Transformer-Neural-Network als das neuronale Netz (NN2) und/oder als das weitere neuronale Netz (NN1, NN0, NN*) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das weitere neuronale Netz (NN1) auf einen initialen Stand zurückgesetzt wird, der entweder einem neuronalen Netz (NN0) mit einem vortrainierten Stand aus der Entwicklung des Fahrzeugs (2) entspricht oder einem kontinuierlich in einem OEM-Backend (3) aus Felddaten weitertrainierten neuronalen Netz (NN*) entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verkehrsteilnehmer in den Videosequenzen (VS) mittels eines neuronalen Netzes (NN3) zur Objektklassifikation erkannt werden, wobei semantische Segmentation angewandt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das prädizierte Verhalten der Verkehrsteilnehmer plausibilisiert wird, indem die Bewegungen der Verkehrsteilnehmer mit vorabdefinierten, möglichen Bewegungen eines Verkehrsteilnehmers der erkannten Objektklasse abgeglichen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem Augmented-Reality-Head-Up-Display des Fahrzeugs (2) eine Bewegungsrichtung (R) des erkannten Verkehrsteilnehmers und optional eine Hervorhebung des erkannten Verkehrsteilnehmers und/oder eine transparente Überlagerung des erkannten Verkehrsteilnehmers an einer prognostizierten Position angezeigt wird.
Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass mit einer Fahrerbeobachtungskamera geprüft wird, ob der Fahrer das Objekt bereits im Blick hat, und dass in diesem Fall eine Warnung unterbleibt.