DE102018219760A1

DE102018219760A1 - Kollisionsprädiktionssystem

Info

Publication number: DE102018219760A1
Application number: DE102018219760.1A
Authority: DE
Inventors: Mark Schutera; Stefan Elser
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2018-11-19
Filing date: 2018-11-19
Publication date: 2020-05-20

Abstract

Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks, insbesondere eines LSTM-Netzwerks, eines Kollisionsprädiktionssystems eines Fahrzeugs mit den folgenden Schritten: Bereitstellen einer oder mehrerer Zeitreihen als Eingangsdaten, wobei eine Zeitreihe Daten einer Vielzahl von Sensoren eines Fahrzeugs zu mehreren Zeitpunkten aufweist; Trainieren des rekurrenten neuronalen Netzwerks, insbesondere des LSTM-Netzwerks, mit den bereitgestellten Eingangsdaten, indem eine Zustandsvorhersage als Ausgangsdaten betreffend einen zukünftigen Zeitpunkt durch Vorwärtsspeisen des neuronalen Netzwerks mit den Eingangsdaten erzeugt wird.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks, ein Verfahren zum Bereitstellen einer Fahrerassistenz sowie ein Kollisionsprädiktionssystem zum Schutz vor und/oder während Kollisionen eines Fahrzeugs.
TECHNISCHER HINTERGRUND
Die US 2017/0286826 A1 zeigt die Erkennung von Gefahren im Straßenverkehr mittels LSTM-Netzwerken.
ZUSAMMENFASSUNG DER ERFINDUNG
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, eine genauere Vorhersage von Kollisionen oder Kollisionswahrscheinlichkeiten bereitzustellen.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks mit den Merkmalen des Patentanspruchs 1 und/oder durch ein Verfahren zum Bereitstellen einer Fahrerassistenz mit den Merkmalen des Patentanspruchs 12 und/oder durch ein Kollisionsprädiktionssystem zum Schutz vor und/oder während Kollisionen eines Fahrzeugs mit den Merkmalen des Patentanspruchs 15 gelöst.
Demgemäß ist vorgesehen:

- ein Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks, insbesondere eines LSTM-Netzwerks, eines Kollisionsprädiktionssystems eines Fahrzeugs mit den folgenden Schritten: Bereitstellen einer oder mehrerer Zeitreihen als Eingangsdaten, wobei eine Zeitreihe Daten einer Vielzahl von Sensoren eines Fahrzeugs zu mehreren Zeitpunkten aufweist; Trainieren des rekurrenten neuronalen Netzwerks, insbesondere des LSTM-Netzwerks, mit den bereitgestellten Eingangsdaten, indem eine Zustandsvorhersage als Ausgangsdaten betreffend einen zukünftigen Zeitpunkt durch Vorwärtsspeisen des neuronalen Netzwerks mit den Eingangsdaten erzeugt wird; sowie
- ein Verfahren zum Bereitstellen einer Fahrerassistenz mit den folgenden Schritten: Erfassen von Sensordaten zu Fahrzeugzuständen und/oder Umgebungsmerkmalen mittels einer Vielzahl von Sensoren, welche an einem Fahrzeug angebracht sind; Vorwärtsspeisen eines rekurrenten neuronalen Netzwerks, insbesondere eines LSTM-Netzwerks, mit den Sensordaten; Erzeugen von Ausgangsdaten des rekurrenten neuronalen Netzwerks aufgrund des Vorwärtsspeisens; Vorhersagen einer Kollision und/oder einer Kollisionswahrscheinlichkeit aufgrund der Ausgangsdaten; sowie
- ein Kollisionsprädiktionssystem zum Schutz vor und/oder während Kollisionen eines Fahrzeugs mit einem Prozessor, der ein rekurrentes neuronales Netzwerk, insbesondere ein LSTM-Netzwerk, bildet, einer Schnittstelle zu einer Vielzahl an Sensoren, und einer Schnittstelle zu einer Reaktionseinheit, wobei der Prozessor eingerichtet ist, Daten der Sensoren als Sensordaten zu empfangen, das rekurrente neuronale Netzwerk mit den Sensordaten vorwärtszuspeisen, um Ausgangsdaten des rekurrenten neuronalen Netzwerks aufgrund des Vorwärtsspeisens zu erhalten und eingerichtet ist, aufgrund der Ausgangsdaten eine Kollision und/oder Kollisionswahrscheinlichkeit vorherzusagen.

Fahrzeuge im Sinne dieser Patentanmeldung sind motorgetriebene Landfahrzeuge, Wasserfahrzeuge oder Luftfahrzeuge mit Antrieb. Davon sind auch Schienenfahrzeuge umfasst.
Ein Kollisionsprädiktionssystem ist ein System zur Vermeidung oder Abschwächung von Kollisionen eines Fahrzeugs mit statischen oder beweglichen Objekten, insbesondere anderen Verkehrsteilnehmern.
Eine Zeitreihe ist eine zeitabhängige Folge von Datenpunkten. Typische Beispiele für Zeitreihen sind Börsenkurse, Wahlabsichtsbefragungen oder Wetterbeobachtungen. Auch Sensordaten zu verschiedenen Zeitpunkten sind Zeitreihen.
Eine Zustandsvorhersage ist eine Aussage über Zustände in der Zukunft. Zustandsvorhersagen können Schätzungen sein. Eine Zustands-Sollvorhersage ist eine entsprechend einem Modell richtige Vorhersage. Ist der Zustand, der vorhergesagt werden soll, anderweitig bekannt, kann vorgesehen sein, dass die Zustands-Sollvorhersage dem realen Zustand entspricht.
Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerks sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerks initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert.
Der Begriff „Topologie eines KNN“ umfasst sämtlich Aspekte bezüglich des Aufbaus eines KNN. Hierunter fallen beispielsweise die Anzahl der Neuronen des KNN, die Aufteilung der Neuronen auf die einzelnen Schichten des KNN, die Anzahl der Schichten eines KNN, die Vernetzung der Neuronen und die Gewichtung der Vernetzung.
Das Training des künstlichen neuronalen Netzwerks umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzwerks. Das Gewicht enthält Information zur Stärke der Berücksichtigung eines Eingangs eines Neurons. Das Training des künstlichen neuronalen Netzwerks kann auch eine Entwicklung von neuen Verbindungen zwischen künstlichen Neuronen, ein Löschen von bestehenden Verbindungen zwischen künstlichen Neuronen, ein Anpassen von Schwellwerten der künstlichen Neuronen und/oder ein Hinzufügen oder ein Löschen von künstlichen Neuronen umfassen.
Ein Beispiel für ein künstliches neuronales Netzwerk ist ein tiefes künstliches neuronales Netzwerkwerk (deep neural network), welches zwischen der Eingangsschicht und der Ausgabeschicht mehrere verschachtelte verdeckte Schichten von künstlichen Neuronen enthält. Das tiefe künstliche neuronale Netzwerk ermöglicht dabei eine verbesserte Erkennung von Mustern und komplexen Zusammenhängen
Beispielsweise kann das künstliche neuronale Netzwerk ein ein- bzw. mehrschichtiges feedforward-Netzwerk oder eine rekurrentes Netzwerk sein. Feedforward-Netzwerke weisen Neuronen auf, die ausschließlich vorwärtsgespeist werden, d.h. ein Neuron wird ausschließlich von höher liegenden Schichten gespeist.
Ein rekurrentes Netzwerk weist bidirektional verbundene Neuronen auf, d.h. ein Neuron wird zudem von tiefer liegenden Schichten gespeist. Somit lässt sich bei einem späteren Durchlauf des KNN Information aus eine früheren Durchlauf berücksichtigen, wodurch ein Erinnerungsvermögen geschaffen wird.
Ein Trainingssystem ist eine Recheneinheit, auf welcher ein KNN trainiert wird.
Trainingsdaten sind in dieser Anmeldung Daten, die zum Trainieren eines KNN verwendet werden. Dies können beispielsweise Datenpaare aus Eingangsdaten, die von dem KNN zu verarbeiten sind, sowie Soll-Ausgangsdaten, die von dem KNN zu ermitteln sind, sein. Während des Trainings wird das KNN aufgrund eines Vergleichs von Soll-Ausgangsdaten mit dem von dem KNN ermittelten Ist-Ausgangsdaten angepasst, wodurch sich ein Trainingseffekt einstellt.
Die Eingangsdaten, mit welchen das KNN in dieser Anmeldung gespeist wird, sind Sensordaten, die von Fahrzeugsensoren erfasst wurden. Die Eingangsdaten können Bilder, Brems- oder Beschleunigungswerte und dergleichen enthalten.
Aus Ausgangsdaten lässt sich ein Reaktionssignal ableiten. Aus Soll-Ausgangsdaten lässt sich ein Soll-Reaktionssignal ableiten.
Beim Trainieren von KNN werden z.B. Fehlersignalabstiegsverfahren bzw. das Gradientenverfahren genutzt. Bei mehreren tieferen Schichten kann dies zu kurz greifen. Ein LSTM-Netzwerk löst dieses Problem, indem es für eine LSTM-Zelle zur besseren Erinnerung drei Torsorten verwendet: Ein Eingangstor (Input Gate), ein Merk- und Vergesstor (Forget Gate) und ein Ausgangstor (Output Gate). LSTM ermöglicht auf diese Weise im Gegensatz zu herkömmlichen KNN eine Art Erinnerung an frühere Erfahrungen.
Eine Möglichkeit künstliche neuronale Netze zu trainieren ist die Fehlerrückführung. In der frühen Trainingsphase macht ein Netz Fehler. Zur Korrektur des Fehlers werden die Auslöser der Abweichungen (Fehler) zwischen erzeugter Zuordnung (Ist-Ausgangsdaten) und Lösungszuordnung (Soll-Ausgangsdaten) zurückverfolgt und wiederholt steuernde Faktoren (Gewichte) in den Schichten des Netzes jeweils so verändert, dass die Zuordnungsfehler kleiner werden. Im sogenannten Gradientenverfahren wird dieser Fehler minimiert, indem die Zahlen in den steuernden Gewichten neu justiert werden. Konventionelle KNN umfassen hintereinandergeschalteten Module, die klassischerweise jeweils nur eine Aktivierungsfunktion besitzen, die eine Ausgabe zwischen 0 und 1 generiert. Bei jeder Fehlerkorrektur wird das Fehlersignal durch die Ableitung der Aktivierungsfunktion bestimmt. Durch diese Ableitung wird die Abstiegssteigung und die Richtung bestimmt, mit der das Fehlertal ermittelt wird. Je öfter allerdings ein Fehler im Prozess berechnet wird, desto öfter wird der Skalierungsfaktor mit dem Fehlerterm multipliziert. Wenn der Faktor stets kleiner als 1 ist, verschwindet der Fehler und führt zu ineffektiven Gewichtsaktualisierungen. Ein ursprünglich hoher Wert verschwindet also auf lange Sicht. Wenn die Faktoren andererseits größer als 1 wären, würde der Fehlerwert auf die Dauer explodieren.
Die Module in der Mitte des Netzes, sogenannte Hidden Layer, die der Eingabeschicht näher sind als der Ausgabeschicht, werden also bei der (rückwärts berechneten) Fehlerjustierung zu wenig berücksichtigt. Das führt dazu, dass sie zu wenig trainiert werden.
Um dieses Problem zu lösen, wurde ein LSTM-Netzwerk entworfen, das einen relativ konstanten und anwendbaren Fehlerfluss ermöglicht. Die Informationen, die in eine innere Zelle hineinlaufen und hinauslaufen sollen, werden berücksichtigt. Das LSTM-Netzwerk hat die Fähigkeit, Informationen zum Zellzustand zu entfernen oder hinzuzufügen, reguliert durch die Tore bzw. Gates.
Statt einer Aktivierungsfunktion gibt es in einem LSTM-Netzwerk vier Aktivierungsfunktionen, die miteinander interagieren. Ein LSTM-Modul enthält die genannten drei Gates und eine innere Zelle. Dementsprechend steuert das Eingangstor das Ausmaß, in dem ein neuer Wert in die Zelle fließt, das Vergesstor das Ausmaß, in dem ein Wert in der Zelle verbleibt bzw. vergessen wird und das Ausgangstor das Ausmaß, in dem der Wert in der Zelle zur Berechnung für das nächste Modul der Kette verwendet wird.
Diese Netzelemente werden z.B. mit Sigmoid-Funktionen und Vektor- und Matrixoperationen verbunden und ineinander überführt.
Eine Schätzung ist die genäherte Bestimmung von Zahlenwerten, Größen oder Parametern durch Augenschein, Erfahrung oder rechengestützte Methoden. Das Ergebnis einer Schätzung weicht im Regelfall von einem wahren Wert ab. Der wahre Wert lässt sich nur bei zählbaren Größen feststellen. Dagegen sind Messungen fehlerbehaftet.
Eine Softmax-Funktion oder normalisierte Exponentialfunktion ist eine Generalisierung der logistischen Funktion, die einen K-dimensionalen Vektor z mit reellen Komponenten in einen K-dimensionalen Vektor σ (z) ebenfalls als Vektor reeller Komponenten in den Wertebereich (0, 1) staucht, wobei sich die Komponenten zu 1 aufsummieren. Die Funktion ist gegeben durch: $σ : ℝ^{K} \to {z \in ℝ^{K} | z_{i} \geq 0, \sum_{i = 1}^{K} z_{i} = 1}$
$σ {(z)}_{j} = \frac{e^{z_{j}}}{\sum_{k = 1}^{K} e^{z_{k}}} für j = 1, \dots, K .$
„Echtzeit“ bedeutet, dass das Verfahren simultan zur Realität abläuft. Das bedeutet, dass das Verfahren mittels eines Rechensystems, bei dem Programme zur Datenverarbeitung ständig betriebsbereit sind, so dass Verarbeitungsergebnisse innerhalb einer vorgegebenen Zeitspanne, nämlich eine Samplerrate der Sensoren, verfügbar sind, betrieben wird.
Ein Abstand ist eine Metrik, die je zwei Elementen des Raums einen nicht negativen reellen Wert zuordnet. Beispielsweise ist im euklidischen Raum der Abstand, zwischen zwei Werten oder Vektoren der Absolutbetrag ihrer Differenz.
Eine möglicherweise bevorstehende Kollision ist eine Kollision, die nicht mit Sicherheit eintritt. Eine bevorstehende Kollision ist eine Kollision, die mit Sicherheit eintritt.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten, oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
Eine Steuereinheit ist ein elektronisches Modul zur Steuerung oder Regelung. Steuereinheiten werden im Kfz-Bereich in allen erdenklichen elektronischen Bereichen eingesetzt, ebenso zur Steuerung von Maschinen, Anlagen und sonstigen technischen Prozessen.
Ein Sensor, auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet, ist ein technisches Bauteil, das bestimmte physikalische, chemische Eigenschaften oder Zustände, z.B. Temperatur, Feuchtigkeit, Druck, Geschwindigkeit, Helligkeit, Beschleunigung, pH-Wert, Ionenstärke, elektrochemisches Potential und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und als Sensordaten in ein weiterverarbeitbares elektrisches Signal umgeformt.
Ein Fahrmanöver ist beispielsweise ein Bremsen, ein Beschleunigen, ein Lenken, ein Spurwechsel, ein Wendemanöver, ein Einparkmanöver und dergleichen.
Eine Steuerempfehlung lässt sich mittels eines optischen oder akustischen Signals an einen Fahrer übermitteln. Die Empfehlung kann beispielsweise eine Anweisung zum Steuern oder Bremsen eines Fahrzeugs betreffen.
Ein Fahrzeug wird mittels Steuerbefehlen, zum Beispiel Bremsbefehlen, gesteuert. Steuerbefehle lassen sich über eine Aktuatorik umsetzen.
Ein Airbag in einem Fahrzeug umfasst ein aufblasbares Luftkissen, das sich bei einem Unfall innerhalb von kurzer Zeit öffnet. Airbags können im Fahrzeuginnenraum, zum Beispiel Frontairbags, oder außerhalb des Fahrzeugs, zum Beispiel A-Säulen-Airbags oder Türschwellen-Airbags, ausgebildet sein.
Fahrerassistenz ist die Unterstützung oder Ersetzung eines Fahrers durch elektronische Zusatzeinrichtungen in Kraftfahrzeugen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Wirtschaftlichkeit.
Ein Fahrzeugzustand betrifft Zustandsänderungen des Fahrzeugs, wie Motor ein/aus, Fahrzeug beschleunigt, fährt oder stoppt, sowie am Fahrzeug, wie Anhänger an-/abgehängt, und Fahrzeuganbauteilen, wie Schneepflug oben/unten, Streusalz an/aus.
Eine Reaktion auf eine Vorhersage einer (möglicherweise) bevorstehenden Kollision ist beispielsweise ein Warnsignal an einen Fahrer oder ein Bremssignal zum Abbremsen des Fahrzeugs. Einrichtungen zum Ausführen von Reaktionssignalen sind Reaktionseinheiten.
Warnsignale sind für den Fahrer eines Fahrzeugs wahrnehmbar und steigern oder fokussieren seine Aufmerksamkeit. Warnsignale können optische, akustische oder haptische Signale sein.
Umgebungsmerkmale sind Objekte, beispielsweise Verkehrszeichen, Gebäude in der Nähe einer Straße oder Bäume. Umgebungsmerkmale sind auch veränderliche Zustände von beweglichen Objekten, insbesondere anderen Verkehrsteilnehmern.
Eine Datenverarbeitungsvorrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Elektronische Schaltungen wie z.B. zentrale Prozessoreinheiten oder Grafikprozessoren sind Datenverarbeitungsvorrichtungen.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt.
Die grundlegende Idee der Erfindung ist es, ein rekurrentes neuronales Netzwerk derart zu trainieren, dass ein Kollisionsprädiktionssystem bereitgestellt werden kann.
Die grundlegende Idee der Erfindung ist es ferner, ein Kollisionsprädiktionssystem mittels eines rekurrentes neuronalen Netzwerks zu schaffen.
Beispielsweise bei Seitenaufprallszenarien liegt die Zeit von dem Moment des Erreichens der Position, von der aus ein Aufprall unvermeidbar, bis zu dem Moment, in dem der Aufprall erfolgt, im Wesentlichen unterhalb von 500 Millisekunden. Für zwei Straßenfahrzeuge, die sich in einem innerstädtischen Verkehr mit einer Geschwindigkeit von 50 Kilometern pro Stunde bewegen, beträgt bei einem für beide Straßenfahrzeuge angenommen Abstand von einem Meter zwischen Fahrzeug und einer Verdeckungskante die Zeit vom ersten Sichtkontakt bis zum Aufprall in der Regel weniger als 300 Millisekunden. Eine Änderung der Trajektorie des eigenen Straßenfahrzeuges, auch Ego-Straßenfahrzeug genannt, kann demnach noch innerhalb von im Wesentlichen 200 bis 400 Millisekunden vor einem Aufprall geändert werden. Insbesondere können Notmanöver eingeleitet werden, um in günstigere Positionen auszuweichen, in denen der Aufprall weniger schwere Unfallfolgen aufweist. Durch kurze Fusionszeiten von Sensordaten sind die beschriebenen Szenarien beherrschbar. Insbesondere können aufgrund kurzer Reaktionszeiten zur Erhöhung der Sicherheit pre-crash und/oder in-crash Maßnahmen eingeleitet werden.
Rekurrente Netzwerke, insbesondere LSTM-Netzwerke eignen sich, um die Eigenschaften eines Objekts, zum Beispiel Geschwindigkeit, Position und/oder Größe, genau zu bestimmen und zu verfolgen, um daraus weitere Eigenschaften, zum Beispiel Beschleunigung und oder Reaktion, zu bestimmen.
Fahrzeuge sind häufig mit einem umfassenden Sensorsystem ausgestattet, welches erlaubt, das Umfeld zu detektieren und abzubilden. Diese Informationen lassen sich auch dazu nutzen, die Entwicklung der Fahrsituation vorherzusagen und frühzeitig auf die Entwicklung zu reagieren. Dies ist besonders im Kontext von sich anbahnenden Kollisionen von Interesse. Hierfür lässt sich der Bewegungszustand von Verkehrsteilnehmern mittels klimatischen und/oder dynamischen Bewegungsmodellen vorhersagen. Komplexe Situationen erlauben jedoch eine Vielzahl an Reaktionen zu einer Vielzahl an Zeitpunkten, welche nicht ohne Weiteres manuell oder durch konservative Bewegungsmodelle abgebildet werden können.
Im Rahmen der Erfindung sind physikalische Modelle und verschiedene Situationen implizit durch die Topologie eines neuronalen Netzwerks erlernbar und müssen nicht für jeden Spezialfall im Vorfeld definiert werden. Ein rekurrentes neuronales Netzwerk ist aufgrund seiner Kodierung in der Lage auch auf zuvor noch nicht gesehene Ereignisse generalisiert zu reagieren.
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.
Gemäß einer bevorzugten Ausführungsform der Erfindung werden für eine Zeitreihe ferner Soll-Ausgangsdaten bereitgestellt, welche eine Zustands-Sollvorhersage betreffend einen zukünftigen Zeitpunkt aufweist, und die Ausgangsdaten mit den Soll-Ausgangsdaten verglichen werden. Somit lässt sich ein künstliches neuronales Netzwerk besonders effektiv trainieren, indem dem neuronalen Netzwerk neben einer Aufgabe (Zeitreihe) auch eine Lösung (Soll-Ausgangsdaten) zu der Aufgabe übergeben wird.
Dabei ist es insbesondere zweckmäßig, wenn die Ausgangsdaten mit den Soll-Ausgangsdaten verglichen werden, indem die Ausgangsdaten mittels einer normalisierten Exponentialfunktion auf normalisierte Ausgangsdaten und die Soll-Ausgangsdaten mittels einer normalisierten Exponentialfunktion auf normalisierte Soll-Ausgangsdaten abgebildet werden und der Abstand zwischen den normalisierten Ausgangsdaten und normalisierten Soll-Ausgangsdaten ermittelt wird. Somit lässt sich die Güte der erzeugten Ausgangsdaten messen.
Gemäß einer bevorzugten Weiterbildung der Erfindung umfasst das Trainieren des rekurrentes neuronalen Netzwerks das Anpassen einer Topologie, indem insbesondere Verbindungen zwischen einer Eingangsschicht und einer verdeckten Schicht, Verbindungen zwischen einer verdeckten Schicht und einer verdeckten Schicht und/oder Verbindungen zwischen einer verdeckten Schicht und einer Ausgangsschicht angepasst werden. Somit lassen sich auch spezifische Schichten des neuronalen Netzwerks anpassen.
Gemäß einer bevorzugten Weiterbildung der Erfindung enthält die Zustandsvorhersage Informationen zu einer möglicherweise bevorstehenden Kollision oder einer bevorstehenden Kollision des Fahrzeugs. Dabei kann insbesondere vorgesehen sein, dass eine Kollision für verschiedene Trajektorien eines Fahrzeugs vorhergesagt wird.
Dabei ist es ferner zweckmäßig, wenn die Zustandsvorhersage Informationen zu einer Vermeidbarkeit einer möglicherweise bevorstehenden Kollision oder einer Unvermeidbarkeit einer bevorstehenden Kollision des Fahrzeugs enthält. Dementsprechend kann vorgesehen sein, dass die Vermeidbarkeit oder Unvermeidbarkeit der Kollision für verschiedene Trajektorien bestimmt wird.
Dabei ist es ferner zweckmäßig, wenn die Zustandsvorhersage eine verbleibende Zeit bis zu einer Kollision (TTC; engl. time to collision) und/oder eine verbleibende Zeit für die Einleitung eines Brems- (TTB; engl. time to break) und/oder Steuermanövers (TTS; engl. time to steer) enthält. Somit lassen sich verschiedene Warnstufen, um einen Fahrer auf eine gefährliche Situation aufmerksam zu machen, umsetzen.
Dabei ist es ferner zweckmäßig, wenn die Zustandsvorhersage Informationen zu Steuermanövern, etwa Lenkmanöver, Bremsmanöver oder Beschleunigungsmanöver, die eine möglicherweise bevorstehende Kollision verhindern oder abschwächen, enthält. Somit lässt sich ermitteln, wie eine Kollision durch bestimmte Steuermanöver günstig beeinflusst oder vermieden werden kann. Dementsprechend lassen sich auch Steuermanöver ermitteln, die einen Personenschaden einer Kollision reduzieren. Beispielsweise kann vorgesehen sein, dass eine Trajektorie zum Herbeiführen einer Kollision mit einer Sache oder mit einem anderen Fahrzeug ermittelt wird, um eine Kollision mit einem Fußgänger oder Radfahrer zu vermeiden.
Gemäß einer bevorzugten Weiterbildung der Erfindung wird aus den Ausgangsdaten eine Reaktion, insbesondere eine Steuerempfehlung an einen Fahrer eines Fahrzeugs und/oder ein Steuerbefehl zum Steuern von Steuerelementen des Fahrzeugs, auf die Zustandsvorhersage abgeleitet. Somit lässt sich ein Fahrer in einer Stresssituation mittels einer Steuerempfehlung unterstützen. Dies ist besonders vorteilhaft, da Menschen häufig in Stresssituationen mentale Ressourcen nicht optimal nutzen können. Dieses Phänomen ist auch unter dem Begriff „Tunnelblick“ bekannt. Zudem lässt sich somit für eine autonome Fahrfunktion, also ohne Beteiligung eines Menschen, eine zusätzliche Sicherheitsfunktionen bereitstellen.
Dabei ist es ferner zweckmäßig, wenn das Reaktionssignal auf ein Öffnen eines Airbags, insbesondere Außenairbags, des Fahrzeugs gerichtet ist, wenn die Zustandsvorhersage ergibt, dass eine Kollision des Fahrzeugs bevorsteht bzw. ist es in dem Verfahren zum Bereitstellen einer Fahrerassistenz zweckmäßig, wenn ein Airbag, insbesondere ein Außenairbag, des Fahrzeugs geöffnet wird, wenn ermittelt wird, dass eine unvermeidbare Kollision des Fahrzeugs bevorsteht. Somit lässt sich die Sicherheit von Insassen des Fahrzeugs sowie von Beteiligten Verkehrsteilnehmern verbessern, indem Verletzungsrisiken aufgrund des Airbags oder Außenairbags reduziert werden.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist das neuronale Netzwerk mit einem Kommunikationsnetzwerk, insbesondere dem Internet, verbindbar und wird während und/oder nach einer Verwendung des Netzwerks zum Bereitstellen einer Fahrerassistenz online trainiert. Somit kann ein neuronales Netzwerk auch nach seiner Auslieferung in einem Fahrzeug aus vergangenen Fahrsituationen lernen. Beispielsweise ist es denkbar, dass Unfalldaten instantan zwischen verschiedenen neuronalen Netzwerken verschiedener Fahrzeuge ausgetauscht werden und somit andere Netzwerke anderer Fahrzeuge von einer vergangenen Unfallsituation lernen. Ferner ist es auch denkbar, dass das Netzwerk von zu kritisch beurteilten Situationen, also beispielsweise, wenn eine Vollbremsung unnötigerweise ausgelöst wird oder ein Airbag ohne unmittelbar bevorstehende Kollision geöffnet wird, lernt.
Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Trainieren eines künstlichen neuronalen Netzwerks zur Realisierung eines Kollisionsprädiktionssystems bzw. das Vermeidung einer Kollision oder zumindest die Abschwächung des Aufpralls einer Kollision.
INHALTSANGABE DER ZEICHNUNGEN
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:

1 ein schematisches Blockschaltbild eines Verfahrens zum Trainieren eines rekurrenten neuronalen Netzwerks gemäß einer Ausführungsform der Erfindung;
2 ein schematisches Blockschaltbild eines Verfahrens zum Bereitstellen einer Fahrerassistenz gemäß einer Ausführungsform der Erfindung;
3 ein schematisches Blockschaltbild eines Kollisionsprädiktionssystems gemäß einer Ausführungsform der Erfindung;
4 ein schematisches Blockschaltbild eines Trainingssystems gemäß einer Ausführungsform der Erfindung;

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
1 zeigt ein schematisches Blockschaltbild des Verfahrens zum Trainieren eines rekurrentes neuronalen Netzwerks mit den Schritten S1, S2, S2.1 und S2.2. In dem Schritt S1 werden mehrerer Zeitreihen als Eingangsdaten bereitgestellt, wobei je eine Zeitreihe Daten einer Vielzahl von Sensoren eines Fahrzeugs zu mehreren Zeitpunkten aufweist. In dem Schritt S2 wird das rekurrente neuronale Netzwerk mit den bereitgestellten Eingangsdaten trainiert. Der Schritt S2 umfasst den Zwischenschritt S2.1, wobei eine Zustandsvorhersage als Ausgangsdaten betreffend einen zukünftigen Zeitpunkt durch Vorwärtsspeisen des neuronalen Netzwerks mit den Eingangsdaten erzeugt wird. Der Schritt S2 umfasst ferner den Zwischenschritt S2.2, wobei für eine Zeitreihe ferner Soll-Ausgangsdaten bereitgestellt werden, welche eine Zustands-Sollvorhersage betreffend einen zukünftigen Zeitpunkt aufweist, und die Ausgangsdaten mit den Soll-Ausgangsdaten verglichen werden.
2 zeigt ein schematisches Blockschaltbild eines Verfahrens zum Bereitstellen einer Fahrerassistenz mit den Schritten St1 bis St4. In dem Schritt ST1 werden Sensordaten zu Fahrzeugzuständen und/oder Umgebungsmerkmalen mittels einer Vielzahl von Sensoren, welche an einem Fahrzeug angebracht sind, erfasst. In dem Schritt St2 wird ein rekurrentes neuronales Netzwerk, insbesondere ein LSTM-Netzwerk mit den Sensordaten vorwärtsgespeist. In dem Schritt St3 werden Ausgangsdaten des rekurrenten neuronalen Netzwerks aufgrund des Vorwärtsspeisens erzeugt. In dem Schritt St4 wird eine Kollision und/oder eine Kollisionswahrscheinlichkeit aufgrund der Ausgangsdaten vorhergesagt.
3 zeigt ein schematisches Blockschaltbild eines Kollisionsprädiktionssystems 100 mit einem Prozessor 101, einer Schnittstelle 103 zu einer Vielzahl von Sensoren 105.1, 105.2 und 105.3 und mit einer Schnittstelle 107 zu einer Reaktionseinheit 109.
4 zeigt ein Blockdiagramm eines exemplarischen sogenannten Guckloch-/ peephole-LSTM-Netzwerks 600. Das LSTM-Netzwerk 600 umfasst ein Eingangstor i bzw. it 601, ein Vergesstor f bzw. ft 602, und ein Ausgangstor o bzw. o_t 603. Die Operatoren 621 repräsentieren eine elementweise Multiplikation der Eingangsdaten. Jedes dieser Tore 601, 602 und 603 kann man sich als einfaches Neuron eines Feed-forward-Netzwerks vorstellen. Dementsprechend berechnet jedes der Tore eine Aktivierung mittels einer Aktivierungsfunktion einer gewichteten Summe. f_t, o_t und i_t sind die jeweiligen Aktivierungen der Eingangs-, Ausgangs- und Vergesstore zur Zeit t. Die drei wegführenden Pfeile von der Speicherzelle c zu den Toren i, o und f bilden Guckloch-Verbindungen. Diese Guckloch-Verbindungen tragen zur Aktivierung der Speicherzelle c zum Zeitpunkt t-1 bei. Dementsprechend berechnen die Tore i, o und f ihre Aktivierungen zur Zeit t und berücksichtigen dabei die Speicherzelle c zur Zeit t-1. Der wegführende Pfeil von links nach rechts der Speicherzelle c ist keine Guckloch-Verbindung, sondern c_t. Die Operation 622 repräsentiert eine Sigmoidfunktion. Eine Sigmoidfunktion ist eine beschränkte, monotone und differenzierbare reelle Funktion mit genau einem Wendepunkt. Das Netzwerk 600 wird mit Eingangsdaten x_t 605 vorwärtsgespeist und liefert Ausgangsdaten ht 609. Die Eingangsdaten 605 sind zur einfacheren Darstellung mehrfach gezeichnet. Das Netzwerk 600 ist lediglich beispielhafter Natur. Es versteht sich, dass zahlreiche andere Topologien von neuronalen Netzwerken auf die Erfindung anwendbar sind.
Bezugszeichenliste

S1-S2.2: Verfahrensschritte
St1-St4: Verfahrensschritte
600: LSTM-Netzwerk
601: Eingangstor
602: vergesst Tor
603: Ausgangstor
605: Eingangsdaten
609: Ausgangsdaten
621: Operator
622: Sigmoidfunktion

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017/0286826 A1 [0002]

Claims

Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks, insbesondere eines LSTM-Netzwerks, eines Kollisionsprädiktionssystems eines Fahrzeugs mit den folgenden Schritten: - Bereitstellen (S1) einer oder mehrerer Zeitreihen als Eingangsdaten, wobei eine Zeitreihe Daten einer Vielzahl von Sensoren (105.1, 105.2, 105.3) eines Fahrzeugs zu mehreren Zeitpunkten aufweist; - Trainieren (S2) des rekurrenten neuronalen Netzwerks, insbesondere des LSTM-Netzwerks, mit den bereitgestellten Eingangsdaten, indem eine Zustandsvorhersage als Ausgangsdaten betreffend einen zukünftigen Zeitpunkt durch Vorwärtsspeisen (S2.1) des neuronalen Netzwerks mit den Eingangsdaten erzeugt wird.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 1, wobei für eine Zeitreihe ferner Soll-Ausgangsdaten bereitgestellt werden (S2.2), welche eine Zustands-Sollvorhersage betreffend einen zukünftigen Zeitpunkt aufweist, und die Ausgangsdaten mit den Soll-Ausgangsdaten verglichen werden.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 2, wobei die Ausgangsdaten mit den Soll-Ausgangsdaten verglichen werden, indem die Ausgangsdaten mittels einer normalisierten Exponentialfunktion auf normalisierte Ausgangsdaten und die Soll-Ausgangsdaten mittels einer normalisierten Exponentialfunktion auf normalisierte Soll-Ausgangsdaten abgebildet werden und der Abstand zwischen den normalisierten Ausgangsdaten und den normalisierten Soll-Ausgangsdaten ermittelt wird.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach einem der vorstehenden Ansprüche, wobei das Trainieren des rekurrenten neuronalen Netzwerks das Anpassen einer Topologie umfasst, indem insbesondere Verbindungen zwischen einer Eingangsschicht und einer verdeckten Schicht, Verbindungen zwischen einer verdeckten Schicht und einer verdeckten Schicht und/oder Verbindungen zwischen einer verdeckten Schicht und einer Ausgangsschicht angepasst werden.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach einem der vorstehenden Ansprüche, wobei die Zustandsvorhersage Informationen zu einer möglicherweise bevorstehenden Kollision oder einer bevorstehenden Kollision des Fahrzeugs enthält.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 5, wobei die Zustandsvorhersage Informationen zu einer Vermeidbarkeit einer möglicherweise bevorstehenden Kollision oder einer Unvermeidbarkeit einer bevorstehenden Kollision des Fahrzeugs enthält.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 6, wobei die Zustandsvorhersage eine verbleibende Zeit bis zu einer Kollision und/oder eine verbleibende Zeit für die Einleitung eines Brems- und/oder Steuermanövers enthält.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 5-7, wobei die Zustandsvorhersage Informationen zu Steuermanövern, die eine möglicherweise bevorstehende Kollision verhindern oder abschwächen, enthält.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach einem der vorstehenden Ansprüche, wobei aus den Ausgangsdaten ein Reaktionssignal, insbesondere zum Ausgeben einer Steuerempfehlung an einen Fahrer eines Fahrzeugs und/oder eines Steuerbefehls zum Steuern von Steuerelementen des Fahrzeugs, auf die Zustandsvorhersage abgeleitet wird.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerks nach Anspruch 9, wobei das Reaktionssignal auf ein Öffnen eines Airbags, insbesondere Außenairbags, des Fahrzeugs gerichtet ist, wenn die Zustandsvorhersage ergibt, dass eine Kollision des Fahrzeugs bevorsteht.
Verfahren zum Trainieren eines rekurrenten neuronalen Netzwerk nach einem der vorstehenden Ansprüche, wobei das neuronale Netzwerk mit einem Kommunikationsnetzwerk, insbesondere dem Internet, verbindbar ist und während und/oder nach einer Verwendung des Netzwerks zum Bereitstellen einer Fahrerassistenz online trainiert wird.
Verfahren zum Bereitstellen einer Fahrerassistenz mit den folgenden Schritten: - Erfassen (St1) von Sensordaten zu Fahrzeugzuständen und/oder Umgebungsmerkmalen mittels einer Vielzahl von Sensoren, welche an einem Fahrzeug angebracht sind; - Vorwärtsspeisen (St2) eines rekurrenten neuronalen Netzwerks, insbesondere eines LSTM-Netzwerks, mit den Sensordaten; - Erzeugen (St3) von Ausgangsdaten des rekurrenten neuronalen Netzwerks aufgrund des Vorwärtsspeisens; - Vorhersagen (St4) einer Kollision und/oder einer Kollisionswahrscheinlichkeit aufgrund der Ausgangsdaten.
Verfahren zum Bereitstellen einer Fahrerassistenz nach Anspruch 11, wobei ferner ein Airbag geöffnet wird und/oder ein Fahrmanöver eingeleitet wird, wenn eine Kollision vorhergesagt wird.
Computerprogrammprodukt mit Programmcode-Mitteln, um das Verfahren gemäß einem der Ansprüche 1-11 und/oder um das Verfahren gemäß einem der Ansprüche 12-13 durchzuführen.
Kollisionsprädiktionssystem (100) zum Schutz vor und/oder während Kollisionen eines Fahrzeugs mit einem Prozessor (101), der ein rekurrentes neuronales Netzwerk, insbesondere ein LSTM-Netzwerk, bildet, einer Schnittstelle (103) zu einer Vielzahl an Sensoren (105.1, 105.2, 105.3), und mit einer Schnittstelle (107) zu einer Reaktionseinheit (109), wobei der Prozessor eingerichtet ist, Daten der Sensoren als Sensordaten zu empfangen, das rekurrente neuronale Netzwerk mit den Sensordaten vorwärtszuspeisen, um Ausgangsdaten des rekurrenten neuronalen Netzwerks aufgrund des Vorwärtsspeisens zu erhalten und eingerichtet ist, aufgrund der Ausgangsdaten eine Kollision und/oder Kollisionswahrscheinlichkeit vorherzusagen.
Fahrzeug mit einem Kollisionsprädiktionssystem (100) nach Anspruch 15, wobei das Fahrzeug ferner eine Vielzahl von Sensoren (105.1, 105.2, 105.3) zur Erfassung von Fahrzeugzuständen und/oder Umgebungsmerkmalen, eine Reaktionseinheit (109), insbesondere einen Innen- und/oder Außenairbag und/oder ein Mittel zur Ausgabe eines Warnsignals, wobei das Mittel als Display, als Projektor, welcher ein optisches Signal auf eine Front- und/oder Rückscheibe projiziert, als Vibrationsgeber zur Beaufschlagung eines Lenkrads mit einer Vibration und/oder als Lautsprecher ausgebildet ist, aufweist.
Trainingssystem (600) für ein Kollisionsprädiktionssystem (100) nach Anspruch 15, mit - wenigstens einer Schnittstelle, um Trainingsdaten als Eingangsdaten (605), welche jeweils Zeitreihen mit Daten einer Vielzahl von Sensoren eines Fahrzeugs zu mehreren Zeitpunkten und insbesondere Soll-Ausgangsdaten aufweisen, zu erhalten, - einem Prozessor (101), welcher ein rekurrentes neuronales Netzwerk, insbesondere ein LSTM-Netzwerk (607), bildet und eingerichtet ist, das rekurrente neuronale Netzwerk mit Trainingsdaten vorwärtszuspeisen, um Ist-Ausgangsdaten (609) zu ermitteln, und eine veränderte Topologie des künstlichen neuronalen Netzwerks, insbesondere Gewichte, insbesondere durch Rückwärtsspeisen der Soll-Ausgangsdaten in dem rekurrenten neuronalen Netzwerk zu ermitteln, wobei die Topologie eingerichtet ist, in dem rekurrenten neuronalen Netzwerk gespeichert zu werden.