DE102020114609A1

DE102020114609A1 - Verfahren zum Bereitstellen eines introspektiven Fehlervorhersagemodells, Assistenzsystem und Kraftfahrzeug

Info

Publication number: DE102020114609A1
Application number: DE102020114609.4A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-06-02
Filing date: 2020-06-02
Publication date: 2021-12-02
Anticipated expiration: 2040-06-03
Also published as: DE102020114609B4

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen eines introspektiven Fehlervorhersagemodells, ein entsprechendes Assistenzsystem und ein entsprechendes Kraftfahrzeug. Bei dem Verfahren wird ein Fahrmodell zum Ausüben einer Fahrfunktion des Kraftfahrzeugs bereitgestellt. Weiter werden Datensequenzen erfasst, die einen einem jeweiligen Fehler beim Ausüben der Fahrfunktion unmittelbar vorausgehenden zeitlichen Verlauf eines Fahrzeugzustands des Kraftfahrzeugs im Betrieb des Fahrmodells charakterisieren. Aus diesen Datensequenzen werden jeweils mehrere kürzere annotierte Teilsequenzen erzeugt. Mit diesen annotierten Teilsequenzen wird ein neuronales Netz darauf trainiert, Fehler beim Ausüben der Fahrfunktion durch das Fahrmodell vorherzusagen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen oder Erzeugen eines introspektiven Fehlervorhersagemodells, ein entsprechendes Assistenzsystem sowie ein Kraftfahrzeug mit einem derartigen Assistenzsystem.
Derzeit finden automatisierte Fahrfunktionen zunehmende Verbreitung und werden stetig weiterentwickelt. Dies kann beispielsweise eine automatische Steuerung einzelner Funktionen oder der gesamten Fahraufgabe durch ein oder mehrere Assistenzsysteme oder Einrichtungen des Kraftfahrzeugs betreffen. Nach heutigem Stand der Technik muss jedoch auf absehbare Zeit damit gerechnet werden, dass entsprechende automatisierte Funktionen nicht in allen Situationen vollständig korrekt und zuverlässig automatisch ausgeübt werden können, entsprechende Assistenzsysteme oder Kraftfahrzeuge also in Situationen geraten können, in denen sie versagen. Dies kann ein Sicherheitsrisiko darstellen, sodass ein Bedarf dafür besteht, derartige sicherheitskritische Situationen zu handhaben.
Als einen Ansatz dazu beschreibt die DE 10 2018 215 289 A1 ein Verfahren zum Auslösen einer Anfrage für ein Bereitstellen einer Unterstützung durch einen Teleoperator beim Betreiben eines Fahrzeugs, das bis dahin in einem autonomen Fahrmodus betrieben wurde. Dabei wird eine zu erwartende zukünftige Entscheidung eines entsprechenden Steuersystems des Fahrzeugs berechnet und für diese Entscheidung ein Konfidenzwert ermittelt. Der Konfidenzwert beschreibt eine Wahrscheinlichkeit dafür, dass die zu erwartende zukünftige Entscheidung einer zugehörigen tatsächlichen Entscheidung des Steuersystems entspricht. Die Anfrage für den Tele-Operator wird dann ausgelöst, wenn der Konfidenzwert geringer als ein Schwellenwert ist. Zum Berechnen der zu erwartenden zukünftigen Entscheidung kann parallel zu Berechnungen des Steuersystems ein identischer Algorithmus ausgeführt werden. Es wird also eine Berechnung des Steuersystems simuliert, wobei anstelle tatsächlicher Eingangswerte für das Steuersystem berechnete Eingangswerte bereitgestellt werden, welche auf erfassten Betriebsparametern und einer erfassten Fahrzeugumgebung extrapoliert werden. Damit soll eine Verkehrssituation, welche durch das Steuersystem nicht bewältigt werden kann, vorhergesagt werden. Es hat sich jedoch gezeigt, dass auch dieses System keine hundertprozentige Sicherheit und Zuverlässigkeit bieten kann und in besonders kritischen Situationen gegebenenfalls weniger Zeit zur Verfügung steht als wünschenswert wäre, damit der Tele-Operator sicher und rechtzeitig die Steuerung des Fahrzeugs übernehmen kann.
Ein weiterer Ansatz zur Verbesserung der Sicherheit beim Betreiben eines Fahrzeugs ist in der DE 10 2013 005 362 A1 in Form eines Verfahrens zur Analyse einer Verkehrssituation an Straßenkreuzungen oder Straßeneinmündungen beschrieben. Dabei soll ein künftiges Bewegungsverhalten eines Fahrzeugs und lokalisierter relevanter Verkehrsteilnehmer vorhergesagt werden. Anhand entsprechender vorhergesagter Bewegungstrajektorien werden dann Gefahrenbereiche festgelegt und darauf basierend ein Gefahrenrisiko bestimmt. Die Gefahrenbereiche werden dabei anhand von Schnittpunkten der vorhergesagten Bewegungstrajektorien dynamisch festgelegt, wobei Zeitpunkte bis zum Eintreffen an dem jeweiligen Gefahrenbereich und Zeitpunkte bis zum Verlassen des jeweiligen Gefahrenbereichs für das Fahrzeug und die relevanten Verkehrsteilnehmer ermittelt und berücksichtigt werden. Auch bei diesem Ansatz ist es jedoch nicht ausgeschlossen, dass es zu Situationen kommen kann, in denen eine entsprechende Fahrerassistenzvorrichtung überfordert ist, das Verfahren also nicht zuverlässig oder nicht genau genug automatisch durchführen kann.
Aufgabe der vorliegenden Erfindung ist es, einen besonders sicheren Betrieb von nicht hundertprozentig zuverlässigen automatisierten Fahrzeugeinrichtungen beziehungsweise teilautonomen Kraftfahrzeugen zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Zeichnung angegeben.
Das erfindungsgemäße Verfahren dient zum Bereitstellen oder Erzeugen eines introspektiven Fehlervorhersagemodells zum Vorhersagen von Fehlern in einem zumindest teilautonomen Betrieb eines Kraftfahrzeugs. Bei dem Verfahren wird ein vorgegebenes Fahrmodell zum zumindest teilautonomen Ausüben wenigstens einer Fahrfunktion des Kraftfahrzeugs bereitgestellt. Eine Fahrfunktion in diesem Sinne kann beispielsweise ein zumindest teilautonomes oder zeitweise autonomes Längs- und/oder Querführen des Kraftfahrzeugs bedeuten oder umfassen. Ebenso kann die Fahrfunktion in Sinne der vorliegenden Erfindung eine das Führen des Kraftfahrzeugs unterstützende Teilfunktion sein oder umfassen, beispielsweise eine automatisierte Erkennung eines Fahrstreifens oder Streckenverlaufs, eine automatisierte Erkennung einer lokal zulässigen Höchstgeschwindigkeit, eine Erkennung von Hindernissen, eine Kollisionsvermeidung und/oder dergleichen mehr.
Ein Fahrmodell kann im Sinne der vorliegenden Erfindung eine Hardware- und/oder Softwareeinrichtung sein, die zum Ausüben der jeweiligen Fahrfunktion, also zum zumindest teilweisen, zumindest teilautonomen Steuern des Kraftfahrzeugs, eingerichtet ist. Das Fahrmodell kann beispielsweise eine entsprechend trainierte Einrichtung des maschinellen Lernens, insbesondere ein neuronales Netz, sein oder umfassen. Zusätzlich oder alternativ kann das Fahrmodell andere oder weitere Einrichtungen oder Codeimplementierungen umfassen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden Datensequenzen einer ersten Länge erfasst, die jeweils einen im Betrieb des Fahrmodells erfassten und einem jeweiligen Fehler beim Ausüben der Fahrfunktion unmittelbar vorausgehenden zeitlichen Verlauf eines Fahrzeugzustands des Kraftfahrzeugs charakterisieren oder angeben. Die Datensequenzen können also entsprechende Datenreihen oder Datensammlungen von Fahrzeugzustandsdaten sein oder umfassen. Der Fahrzeugzustand kann dabei beispielsweise eine aktuelle Geschwindigkeit, eine aktuelle Längs- und/oder Querbeschleunigung, einen aktuellen Lenkwinkel, eine aktuelle Winkel- oder Drehgeschwindigkeit des Kraftfahrzeugs, einen aktuellen Schalt- oder Betriebszustand einer oder mehrerer Einrichtungen des Kraftfahrzeugs, wie etwa eines Ventils, eines Getriebes oder eines Gangselektors, einer Bremseinrichtung, einer Pumpe und/oder dergleichen, umfassen oder angeben oder durch eine oder mehrere dieser Größen beschrieben oder charakterisiert sein. Die Datensequenzen können also mehrere zeitlich aufeinanderfolgende Zustände oder Werte dieser Größen oder Parameter, also des Fahrzeugzustands, umfassen oder angeben.
Bevorzugt können die Datensequenzen eine zeitliche Länge zwischen 5 s und 15 s, besonders bevorzugt von zumindest ungefähr 10 s, aufweisen oder abdecken. Die Datensequenzen können also jeweils alle in einem zusammenhängenden Zeitintervall oder Zeitabschnitt dieser Länge aufgenommenen oder erfassten Fahrzeugzustandsdaten, also entsprechende Sensor- oder Messwerte, umfassen. Die Datensequenzen können dabei zu unterschiedlichen Zeitpunkten, an unterschiedlichen Orten und/oder unter unterschiedlichen Umgebungsbedingungen erfasst werden. Die hier vorgeschlagene Länge der Datensequenzen hat sich als besonders vorteilhaft erwiesen, da kürzere Datensequenzen letztlich nicht genügend verbleibende Reaktionszeit bieten und längere Datensequenzen an ihrem Anfang Daten umfassen, die zeitlich und kausal zu weit von einem Ereignis, insbesondere einem Fehler, am Ender der jeweiligen Datensequenz entfernt sind.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden aus zumindest einigen dieser Datensequenzen, insbesondere automatisch oder teilautomatisch, jeweils mehrere als Teil einer zu einem Fehler führenden Datensequenz annotierte, also gelabelte Teilsequenzen erzeugt. Dies gilt zumindest für solche der erfassten Datensequenzen, die tatsächlich zu einem Fehler geführt haben, insbesondere mit einem Fehler enden. Die Teilsequenzen weisen dabei jeweils eine zweite Länge auf, die kleiner oder kürzer ist als die erste Länge. Die Teilsequenzen sind zeitlich also kürzer, decken also einen kürzeren Zeitraum ab als die Datensequenzen. Die Teilsequenzen können beispielsweise zeitliche Längen zwischen 1 s und 5 s, besonders bevorzugt zumindest ungefähr 3 s, aufweisen. Derartig annotierte Teilsequenzen werden hier zur besseren Verständlichkeit auch als negative Teilsequenzen bezeichnet. Eine negative Teilsequenz ist im vorliegenden Sinne also eine Teilsequenz, die aus einer Datensequenz erzeugt wurde, die zu einem Fehler beim Ausüben der Fahrfunktion beziehungsweise im Betrieb des Fahrmodells geführt hat, insbesondere einer Datensequenz, die mit einem derartigen Fehler endet. Die Teilsequenzen können also entsprechend annotierte, insbesondere zusammenhängende, Abschnitte der erfassten Datensequenzen sein. Datensequenzen, die zu einem Fehler führen, aus denen also negative Teilsequenzen erzeugt werden, werden hier auch als negative Datensequenzen bezeichnet.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird mit den annotierten Teilsequenzen als Trainingsdaten ein neuronales Netz darauf trainiert, anhand entsprechender Teilsequenzen Fehler beim Ausüben der Fahrfunktion durch das Fahrmodell vorherzusagen. Das so trainierte neuronale Netz wird dann als das Fehlervorhersagemodell bereitgestellt. Das neuronale Netz wird hier mit anderen Worten anhand der Teilsequenzen dazu trainiert, eine ihm als Eingangsdatum bereitgestellte oder zugeführte Teilsequenz danach zu klassifizieren, ob sie Teil einer zu einem Fehler führenden Datensequenz ist oder nicht und dadurch eine Aussage darüber zu machen oder zu ermöglichen, ob beim Auftreten einer derartigen Teilsequenz im Betrieb des jeweiligen Kraftfahrzeugs ein Fehler bevorsteht.
Durch die kürzere Länge der Teilsequenzen im Vergleich zu den Datensequenzen und da mehrere Teilsequenzen aus jeder Datensequenz erzeugt werden, können durch das Fehlervorhersagemodell, also das entsprechend trainierte neuronale Netz, Fehler vor ihrem Eintreten vorhergesagt werden. Bei einer ersten Länge von 10 s und einer zweiten Länge von 3 s können beispielsweise Fehler bis zu 7 s im Voraus vorhergesagt werden.
Das Fehlervorhersagemodell kann hier insbesondere zum Vorhersagen im Wesentlichen beliebiger Fehler trainiert sein, es müssen also keine Fehler oder Fehlersituationen von Hand definiert und vorgegeben werden. Ein Fehler im Sinne der vorliegenden Erfindung kann dabei ein Versagen oder Aufgeben, also eine Kontrollabgabe (englisch: disengagement) des Fahrmodells beziehungsweise eines entsprechenden, das Fahrmodell umfassenden Assistenzsystems, sein. Ebenso kann eine manuelle Übernahme einer Kontrolle oder Steuerung des Kraftfahrzeugs durch einen Fahrer oder eine Bedienperson des Kraftfahrzeugs ein Fehler im Sinne der vorliegenden Erfindung sein oder als ein solcher Fehler gewertet werden. Dies beruht auf der Erkenntnis, dass ein Mensch oftmals die Kontrolle über das Kraftfahrzeug von dem jeweiligen Fahrmodell oder Assistenzsystem übernehmen wird, wenn dieses die Fahrfunktion nicht zuverlässig oder erwartungsgemäß ausübt, der jeweilige Mensch also kein ausreichendes Vertrauen in die autonome oder automatisierte Ausübung der Fahrfunktion oder Fahraufgabe durch das Fahrmodell oder Assistenzsystem hat.
Durch das erfindungsgemäße Fehlervorhersagemodell können derartige Fehler insbesondere unabhängig von einem Erkennen oder einem Verständnis einer jeweiligen Fehlerursache oder spezifischer, definierter vorgegebener Umstände vorhergesagt werden. Ebenso kann das erfindungsgemäße Fehlervorhersagemodell unabhängig von der konkreten Funktionsweise oder Implementierung des Fahrmodells dessen Fehler beim Ausüben der Fahrfunktion vorhersagen, da das Fehlervorhersagemodell anhand von tatsächlich zu einem jeweiligen Fehler führenden Trainingsdaten trainiert ist. Diese introspektive Ausgestaltung oder Erzeugung des Fehlervorhersagemodells ermöglicht es also, das Kraftfahrzeug beziehungsweise das Fahrmodell als Blackbox zu betrachten. Damit ist eine besonders einfache und flexible Anwendbarkeit des Fehlervorhersagemodells beziehungsweise der vorliegenden Erfindung möglich. Insbesondere kann eine Nachrüstung für bestehende Kraftfahrzeuge oder Assistenzsysteme möglich sein. So wird beispielsweise kein spezifisches Fachwissen über das jeweilige Fahrmodell oder das jeweilige Kraftfahrzeug benötigt, um zuverlässig Fehler vorherzusagen. Gleichzeitig ist das Fehlervorhersagemodell besonders einfach und aufwandsarm erzeugbar, da beispielsweise kein vollständiges paralleles Fahrmodell zum Simulieren der Funktionsweise des ursprünglichen Fahrmodells verwendet wird.
Gegebenenfalls kann die Zuverlässigkeit des Fehlervorhersagemodells weiter verbessert werden, indem weitere beziehungsweise auch andere Datensequenzen verwendet werden. So können beispielsweise Datensequenzen von Umgebungs- oder Sensordaten, insbesondere daraus abgeleiteten Perzeptionsdaten, die ebenfalls während des Betriebs des Fahrmodells erfasst oder erzeugt wurden, bereitgestellt werden. Diese weiteren Datensequenzen oder daraus analog wie beschrieben erzeugte Teilsequenzen können dann ebenfalls als Trainingsdaten zum Trainieren des neuronalen Netzes verwendet werden. Entsprechende Umgebungs- oder Sensordaten können insbesondere Daten sein, die dem Fahrmodell zum Ausüben der Fahrfunktion als Eingangsdaten bereitgestellt, also von diesem zum Ausüben der Fahrfunktion verwendet oder verarbeitet werden.
Die Perzeptionsdaten können insbesondere durch das Fahrmodell beziehungsweise das entsprechende Assistenzsystem automatisch erzeugt werden. Eine Datensequenz von oder aus Perzeptionsdaten kann im Sinne der vorliegenden Erfindung eine zeitliche Entwicklung einer fahrzeuginternen oder fahrzeugeigenen, also durch das Fahrmodell oder das Assistenzsystem bestimmten, Interpretation der Umgebungs- oder Sensordaten sein oder angeben. Die Perzeptionsdaten können also durch automatisches Verarbeiten oder Auswerten der Umgebungs- und/oder Sensordaten erzeugt werden. Die Perzeptionsdaten können beispielsweise automatisch erkannte oder detektierte Objekte beziehungsweise deren Art und/oder Position, eine Segmentierung der Umgebungs- oder Sensordaten, also eine bereichsweise Erkennung oder Klassifizierung der jeweiligen Umgebung des Kraftfahrzeugs und/oder dergleichen mehr sein oder umfassen. Die genaue Ausgestaltung oder der genaue Umfang der Perzeptionsdaten kann dabei von jeweiligen technischen Gegebenheiten oder einer technischen Ausstattung des Kraftfahrzeugs abhängen.
Durch die Berücksichtigung der Perzeptionsdaten - gegebenenfalls sowohl beim Trainieren des neuronalen Netzes als auch bei dessen Anwendung, also in einem Inferenzbetrieb des neuronalen Netzes - kann vorteilhaft automatisch eine interne Funktionsweise des Fahrmodells für die Fehlervorhersage berücksichtigt werden. Diese Funktionsweise muss damit also für eine zuverlässige Fehlervorhersage nicht explizit nachgebildet werden. Ebenso müssen keine expliziten Annahmen darüber vorgegeben werden, wie das Assistenzsystem beziehungsweise das Fahrmodell die Umgebungs- und/oder Sensordaten interpretieren wird. Durch die Berücksichtigung der Perzeptionsdaten beziehungsweise weiterer Datensequenzen kann letztlich die Genauigkeit und Zuverlässigkeit der Fehlervorhersage mit besonders geringem Aufwand weiter verbessert werden.
Das bereitgestellte Fahrmodell und das durch das erfindungsgemäße Verfahren erzeugte Fehlervorhersagemodell können miteinander kombiniert werden, zum Beispiel in oder zu einem entsprechenden Assistenzsystem für das Kraftfahrzeug. Im Betrieb des Kraftfahrzeugs beziehungsweise des Assistenzsystems anfallende oder erfasste Daten, beispielsweise Sensor- oder Busdaten, also etwa über ein Bussystem oder Bordnetz des Kraftfahrzeugs transportierte Fahrzeugzustandsdaten, können dann sowohl dem Fahrmodell als auch dem Fehlervorhersagemodell zugeführt, also als Eingangsdaten oder Input bereitgestellt werden. Dies kann beispielsweise in Form eines jeweiligen Datenstroms erfolgen, der je nach Ausgestaltung entsprechender Sensoren oder Einrichtungen des Kraftfahrzeugs die jeweiligen Daten oder Signale kontinuierlich oder mit einer vorgegebenen Frequenz oder Abtastrate bereitstellen kann.
Das Fehlervorhersagemodell kann entsprechende Daten also zumindest teilweise parallel zu dem Fahrmodell verarbeiten. Dadurch können voraussichtlich auftretende Fehler besonders frühzeitig vorhergesagt werden.
Besonders bevorzugt können die Datensequenzen beim Betrieb des Fahrmodells beziehungsweise des entsprechenden Kraftfahrzeugs in urbanen Umgebungen erfasst werden. Dies kann einen realen Betrieb oder einen virtuellen Betrieb, also eine Simulation entsprechender urbaner Umgebungen, bedeuten oder umfassen. Dies kann besonders vorteilhaft sein, da urbane Umgebungen typischerweise zu komplexeren Verkehrssituationen und dadurch zu mehr Fehlern führen, also besonders hohe Anforderungen an das Fahrmodell stellen, beispielsweise im Vergleich zu ländlichen Bereichen, außerorts liegenden Strecken oder Umgebungen oder einem Betrieb des Fahrmodells beziehungsweise des Kraftfahrzeugs auf einer Autobahn. Durch den Fokus auf urbane Umgebungen kann das Fehlervorhersagemodell also besonders effektiv trainiert und letztlich die Sicherheit beim Betrieb des Fahrmodells beziehungsweise des Kraftfahrzeugs besonders deutlich verbessert werden.
In vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als das neuronale Netz ein rekurrentes neuronales Netz (RNN) mit einer LSTM-Struktur (englisch: long short-term memory), also einem langen Kurzzeitgedächtnis, verwendet. Eine derartige Ausgestaltung des neuronalen Netzes für das Fehlervorhersagemodell kann besonders effektiv die zeitlichen Entwicklungen in den Daten- oder Teilsequenzen beziehungsweise zwischen verschiedenen Teilsequenzen, also entsprechende dynamische Entwicklungen im Zustand des Kraftfahrzeugs und/oder in dessen Umgebung, für die Fehlervorhersage berücksichtigen. Dadurch, dass die Fehlervorhersage somit bereits durch die inhärente Struktur des neuronalen Netzes auf zeitlichen Entwicklungen, Abläufen oder Ereignissequenzen beruht, fließen diese automatisch in die Fehlervorhersage mit ein. Dies könnte bei der Verwendung von Einzeldaten, die zu genau einem Zeitpunkt aufgenommen wurden und eine jeweilige Situation oder einen jeweiligen Zustand nur als statische Momentaufnahme beschreiben, nicht erfasst oder abgebildet werden. Die vorliegende Erfindung beruht auf der Erkenntnis, dass derartige dynamische zeitliche Entwicklungen jedoch einen bedeutenden Einfluss darauf beziehungsweise für die entsprechende Vorhersage haben können, ob das Fahrmodell oder Assistenzsystem die jeweilige Situation automatisiert bewältigen kann oder nicht. Die Verwendung einer LSTM-Struktur oder eines derartigen Moduls oder einer derartigen Einheit als Teil des neuronalen Netzes, also als Teil des Fehlervorhersagemodells kann dies besonders einfach und effektiv berücksichtigen.
In vorteilhafter Weiterbildung der vorliegenden Erfindung weist das neuronale Netz eine Eingangsschicht, zwei dieser nachfolgende bidirektionale LSTM-Schichten und eine diesen nachgeschaltete vollständig verbundene Ausgangsschicht (englisch: fully connected layer) als binären Klassifikator auf. Das neuronale Netz kann insbesondere genau, also nur diese Schichten aufweisen oder umfassen. Die LSTM-Schichten können dabei beispielsweise jeweils 40 LSTM-Einheiten umfassen. Es hat sich gezeigt, dass durch einen derartigen relativ einfachen Aufbau des neuronalen Netzes bereits ein zumindest nahezu optimales Ergebnis erzielt werden kann. Beispielsweise führt eine Erhöhung der Anzahl der inneren oder versteckten Schichten des neuronalen Netzes oder eine größere Anzahl von LSTM-Einheiten nicht notwendigerweise zu einer verbesserten Fehlervorhersage. Mit der hier vorgeschlagenen Ausgestaltung des neuronalen Netzes kann somit zum einen eine gute Fehlervorhersage erreicht und zudem ein zum Ausführen oder Anwenden des neuronalen Netzes beziehungsweise der Fehlervorhersage mittels des neuronalen Netzes notwendiger Rechen- oder Ressourcenaufwand relativ geringgehalten werden. Damit kann das erfindungsgemäße Fehlervorhersagemodell vorteilhaft auch auf bereits heutzutage in Kraftfahrzeugen verfügbarer Berechnungshardware ausgeführt werden.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung sind die Teilsequenzen zeitlich gestaffelt, sodass sich jeweils zwei zeitlich benachbarte Teilsequenzen teilweise überlappen. Mit anderen Worten kann also ein Datenpunkt oder Element einer Datensequenz Teil mehrerer Teilsequenzen sein, wobei diese Teilsequenzen aber unterschiedliche Anfangs- und Endpunkte sowohl in zeitlicher Hinsicht als auch bezogen auf die Datenpunkte oder Elemente der jeweiligen Datensequenz haben. Ein zeitlicher Überlapp beziehungsweise Versatz der aus einer Datensequenz erzeugten Teilsequenzen kann beispielsweise abhängig von der ersten Länge, also der Länge der Datensequenz, und der zweiten Länge, also der Länge der Teilsequenzen und/oder abhängig von einer Frequenz, mit der die Daten oder Signale der Datensequenz erfasst, also beispielsweise entsprechende Messungen durchgeführt oder entsprechende Signale abgetastet oder entsprechende Zustände abgefragt werden, abhängen. Durch einen größeren zeitlichen Überlapp, also einen geringeren zeitlichen Versatz der Teilsequenzen zueinander können mehr unterschiedliche Teilsequenzen aus jeweils einer Datensequenz erzeugt werden. Dadurch kann eine zum Trainieren des neuronalen Netzes verfügbare Menge an Trainingsdaten vergrößert werden. Durch den zeitlichen Versatz der Teilsequenzen kann das Fehlervorhersagemodell vorteilhaft darauf trainiert werden, Fehler vorherzusagen, die in verschiedenen zeitlichen Abständen von einem jeweils aktuellen Zeitpunkt auftreten können.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung wird als Teil der Trainingsdaten auch ein jeweiliges den Teilsequenzen zugeordnetes Maß für eine Situationskomplexität zum Trainieren des neuronalen Netzes verwendet. Dieses Maß für die jeweilige Situationskomplexität wird dabei basierend auf einer jeweiligen zeitlich zu den Teilsequenzen korrespondierenden Anzahl von automatisch detektierten fahrzeugexternen Objekten, insbesondere anderen, also fahrzeugfremden, Verkehrsteilnehmern, bestimmt. Fahrzeugexterne Objekte können in diesem Sinne beispielsweise andere Verkehrsteilnehmer und/oder statische Hindernisse, wie etwa Bauwerke, Bestandteile einer Straßeneinrichtung, Absperrungen, beispielsweise von Baustellenbereichen, und/oder dergleichen mehr sein. Die - gegebenenfalls nach Typ oder Art differenzierte oder aufgeschlüsselte - Anzahl derartiger fahrzeugexterner Objekte kann also als Maß für die Komplexität der jeweiligen Umgebungs- oder Verkehrssituation verwendet werden. Dazu kann beispielsweise eine entsprechende Zuordnungstabelle vorgegeben sein, die unterschiedlichen Anzahlen und/oder unterschiedlichen Typen von fahrzeugexternen Objekten eine jeweilige Komplexität, also eine entsprechende Komplexitätseinstufung oder Komplexitätsmaßzahl, zuordnet. Bevorzugt kann die Komplexität anhand der Daten, insbesondere der Umgebungs- oder Sensordaten, bestimmt werden, die auch von dem Fahrmodell zum Ausüben der Fahrfunktion verwendet oder verarbeitet werden. Die jeweilige Anzahl der fahrzeugexternen Objekte beziehungsweise das entsprechende Maß für die Situationskomplexität kann im Inferenzbetrieb des Fehlervorhersagemodells dann diesem zusätzlich zu den Teilsequenzen beziehungsweise dem Datenstrom als Eingangsdatum bereitgestellt werden. Die Anzahl der fahrzeugexternen Objekte beziehungsweise die Situationskomplexität wird dann also für die jeweilige Fehlervorhersage berücksichtigt. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung beruht auf der Erkenntnis, dass die Fehleranfälligkeit, also die Wahrscheinlichkeit für einen Fehler oder ein Versagen des Fahrmodells beziehungsweise des entsprechenden Assistenzsystems, mit zunehmender Komplexität der jeweiligen Verkehrssituation in der Umgebung des Kraftfahrzeugs zunehmen kann. Durch die Berücksichtigung dieser Komplexität kann daher letztlich die Genauigkeit und Zuverlässigkeit der Fehlervorhersage verbessert werden.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden auch Datensequenzen aus fehlerfreien Betriebszeiten des Fahrmodells erfasst. Dies sind also hier als positive Datensequenzen bezeichnete Datensequenzen, die nicht mit einem Fehler des Fahrmodells beziehungsweise nicht mit einem Fehler beim Ausüben der Fahrfunktion enden. Aus diesen positiven Datensequenzen werden als Teil einer derartigen positiven, also fehlerfreien, das heißt nicht zu einem Fehler im Betrieb des Fahrmodells beziehungsweise im autonomen oder teilautonomen Betrieb des Kraftfahrzeugs führenden, Datensequenz annotierte, kürzere positive Teilsequenzen erzeugt. Diese positiven Teilsequenzen werden dann auch als Teil der Trainingsdaten zum Trainieren des neuronalen Netzes verwendet. Die positiven Datensequenzen beziehungsweise die positiven Teilsequenzen können ansonsten analog zu den negativen Datensequenzen beziehungsweise den daraus erzeugten negativen Teilsequenzen erfasst, erzeugt oder gehandhabt werden, insbesondere entsprechende Eigenschaften aufweisen. Die positiven Daten- oder Teilsequenzen können also beispielsweise die gleichen Längen beziehungsweise den gleichen zeitlichen Überlapp oder Versatz aufweisen wie die negativen Daten- beziehungsweise Teilsequenzen. Insbesondere kann zum Trainieren des neuronalen Netzes die gleiche Anzahl von positiven und negativen Datensequenzen erfasst und/oder die gleiche Anzahl von positiven und negativen Teilsequenzen erzeugt und als Teil der Trainingsdaten verwendet werden. Dadurch kann ein besonders ausgeglichenes und zuverlässiges Training des neuronalen Netzes erreicht, also beispielsweise ein Bias vermieden werden. Somit kann letztlich die Fehlervorhersage beziehungsweise deren Genauigkeit oder Zuverlässigkeit verbessert werden.
In weiterer vorteilhafter Ausgestaltung der vorliegenden Erfindung werden als Datensequenzen aus fehlerfreien Betriebszeiten des Fahrmodells, also als positive Datensequenzen, nur solche Datensequenzen als Basis für das Trainieren des neuronalen Netzes verwendet, an die sich eine jeweilige fehlerfreie Betriebszeit des Fahrmodells einer vorgegebenen Länge anschließt. Insbesondere kann diese vorgegebene Länge wenigstens der Länge der jeweiligen Datensequenz entsprechen. Beträgt die Länge einer Datensequenz also beispielsweise 10 s, so wird diese nur dann als fehlerfreie oder positive Datensequenz verwendet, wenn sie weder mit einem Fehler endet noch innerhalb der unmittelbar an diese Datensequenz anschließenden 10 sein Fehler im Betrieb des Fahrmodells beziehungsweise beim Ausüben der Fahrfunktion auftritt. Auf diese Weise kann eine besonders zuverlässige Differenzierung zwischen Datensequenzen, also entsprechenden Ereignissen, Situationen oder Abläufen, die zu einem Fehler führen und solchen, die zu keinem Fehler führen, unterschieden werden. Dadurch kann das neuronale Netz besonders zuverlässig und effektiv trainiert und somit die Genauigkeit und Zuverlässigkeit von dessen Fehlervorhersagen verbessert werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Assistenzsystem für ein Kraftfahrzeug. Das erfindungsgemäße Assistenzsystem umfasst ein Fahrmodell zum zumindest teilautonomen Ausüben wenigstens einer Fahrfunktion des Kraftfahrzeugs. Weiter umfasst das erfindungsgemäße Assistenzsystem ein gemäß dem erfindungsgemäßen Verfahren erzeugtes oder bereitgestelltes Fehlervorhersagemodell, das dazu eingerichtet ist, im Betrieb des Assistenzsystems beziehungsweise des jeweiligen Kraftfahrzeugs einen Datenstrom zu erfassen, der zumindest einen zeitlichen Verlauf eines Fahrzeugzustands des jeweiligen Kraftfahrzeugs charakterisiert. Das Fehlervorhersagemodell ist weiter dazu eingerichtet, anhand von Teilsequenzen dieses Datenstroms Fehler beim Ausüben der Fahrfunktion vorherzusagen und ein entsprechendes Ausgabesignal zu erzeugen.
Dieses Ausgabesignal kann beispielsweise eine Warnung oder ein Hinweis an eine Bedienperson des Kraftfahrzeugs sein oder dessen Erzeugung und Ausgabe veranlassen, wodurch die Bedienperson auf den bevorstehenden Fehler hingewiesen und/oder beispielsweise zur Übernahme der Kontrolle über das Kraftfahrzeug aufgefordert wird. Eine Bedienperson in diesem Sinne kann beispielsweise ein Fahrzeuginsasse, also ein Fahrer des Kraftfahrzeugs, aber ebenso ein fahrzeugexterner Teleoperator sein, der die Kontrolle über das Kraftfahrzeug in Fernsteuerung übernehmen kann. Das erfindungsgemäße Assistenzsystem kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Assistenzsystem sein und dementsprechend zumindest einen Teil der dort genannten Eigenschaften und/oder Merkmale aufweisen.
In vorteilhafter Weiterbildung der vorliegenden Erfindung ist das Fehlervorhersagemodell des erfindungsgemäßen Assistenzsystems dazu eingerichtet, für jede Teilsequenz mehrere Zwischenvorhersagen bezüglich eines voraussichtlichen Auftretens eines Fehlers zu machen und aus diesen Zwischenvorhersagen eine endgültige Vorhersage bezüglich des Auftretens eines Fehlers, also eine endgültige Vorhersage oder Gesamt-Fehlervorhersage für die jeweilige Teilsequenz zu erzeugen oder zu bestimmen. Diese endgültige Vorhersage für die jeweilige Teilsequenz kann insbesondere als oder basierend auf einem Mittelwert der Zwischenvorhersagen gemacht werden. Es kann dann also basierend auf der jeweiligen endgültigen Vorhersage für jede Teilsequenz entschieden werden, ob - im Falle eines vorhergesagten Fehlers - das entsprechende Ausgabesignal erzeugt wird oder ob - falls gemäß der endgültigen Vorhersage kein Fehler bevorsteht - kein entsprechendes Ausgabesignal erzeugt wird.
Werden die Eingangsdaten für das neuronale Netz, insbesondere also die Fahrzeugzustandsdaten, beispielsweise mit einer Frequenz von 10 Hz aufgenommen und beträgt die Länge der Teilsequenzen beispielsweise 3 s, so können die Zwischenvorhersagen ebenfalls mit der Frequenz von 10 Hz gemacht oder berechnet und über die Länge der jeweiligen Teilsequenz, hier also über 3 s, gesammelt oder kombiniert werden. Für die Teilsequenz, hier also innerhalb eines jeweiligen zusammenhängenden Zeitintervalls von 3 s Länge, fallen hier also 30 Zwischenvorhersagen an. Aus diesen kann dann, beispielsweise durch eine Filterung, eine Mittelwertbildung oder eine sonstige vorgegebene Berechnungsvorschrift, die endgültige Vorhersage für diese Teilsequenz bestimmt werden.
Die Zwischenvorhersagen können beispielsweise binär sein. Beispielsweise kann eine positive Zwischenvorhersage, die einen fehlerfreien Betrieb zumindest für einen an die jeweilige Teilsequenz anschließenden vorgegebenen Zeitraum vorhersagt, durch einen Wert von 0 gekennzeichnet oder angegeben sein. Entsprechend kann eine negative Vorhersage, die einen Fehler innerhalb des an die jeweilige Teilsequenz anschließenden vorgegebenen Zeitraums vorhersagt, beispielsweise durch einen Wert von 1 gekennzeichnet oder angegeben sein.
Die endgültige Vorhersage kann dann positiv sein, falls der Mittelwert der Zwischenvorhersagen beziehungsweise von deren Binärwerten kleiner als ein vorgegebener Schwellenwert, beispielsweise kleiner als 0,5 ist. Ist der Mittelwert hingegen größer als der vorgegebene Schwellenwert, beispielsweise größer als 0,5, so kann eine negative endgültige Vorhersage gemacht oder ausgegeben werden. In analoger Weise können die Zwischenvorhersagen als Wahrscheinlichkeitswerte erzeugt werden, wobei dann ein entsprechender Wahrscheinlichkeitsschwellenwert für die endgültige Vorhersage vorgegeben sein kann.
Der von dem neuronalen Netz verarbeitete Datenstrom kann kontinuierlich sein, wobei dann ein gleitendes Zeitfenster vorgegebener Länge auf den Datenstrom angewendet oder diesem Datenstrom überlagert werden kann, um die jeweiligen Teilsequenzen sowie letztlich die für die jeweilige endgültige Vorhersage zu berücksichtigenden Zwischenvorhersagen zu bestimmen oder zu definieren. Es hat sich gezeigt, dass durch eine derartige kumulative oder kombinierte Auswertung der Zwischenvorhersagen für einen vorgegebenen Zeitraum oder ein vorgegebenes Zeitintervall eine zuverlässigere Fehlervorhersage sowie eine konsistentere und letztlich angemessenere Reaktion des Assistenzsystems erreicht werden kann. So können beispielsweise einmalige oder kurzzeitige Effekte, die zu einer veränderten Fehlerwahrscheinlichkeit oder einer veränderten Zwischenvorhersage, also einer kurzzeitig veränderten Bewertung oder Einstufung der jeweiligen Situation, führen, gefiltert oder in ihrem Einfluss abgeschwächt werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das ein erfindungsgemäßes Assistenzsystem aufweist. Das erfindungsgemäße Kraftfahrzeug kann dementsprechend insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit dem erfindungsgemäßen Assistenzsystem genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine schematische Übersichtsdarstellung zur Veranschaulichung einer Erzeugung eines neuronalen Netzes zur Fehlervorhersage;
2 eine schematische Darstellung zur Veranschaulichung eines Details eines Trainings des neuronalen Netzes; und
3 eine schematische Übersichtsdarstellung zur Veranschaulichung einer Anwendung des neuronalen Netzes.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Vorliegend soll ein introspektiver Ansatz vorgeschlagen werden, um zukünftige Fehler oder ein zukünftiges Versagen eines Assistenzsystems eines Kraftfahrzeugs beim Ausüben einer automatisierten Fahrzeugfunktion vorherzusagen. Die Vorhersage basiert dabei auf gelernten Daten- oder Ereignissequenzen, die in der Vergangenheit zu entsprechenden Fehlern, also einem entsprechenden Versagen des jeweiligen Assistenzsystems geführt haben. Mit der hier vorgeschlagenen Methode sollen und können derartige Fehler besonders früh detektiert werden, indem Daten von mehrere Sekunden, beispielsweise bis zu 10 s oder mehr, vor dem jeweiligen Fehler liegenden Zeitpunkten verwendet werden. Dabei wird kein modellspezifisches Wissen, das eine genaue Funktionsweise des jeweiligen Assistenzsystems beschreibt, vorausgesetzt, sodass die hier vorgeschlagene Methode für eine Vielzahl von Assistenzsystemen, Fahrzeugen und sonstigen Einrichtungen anwendbar ist. Versuche haben gezeigt, dass eine Implementierung der hier vorgeschlagenen Methode Fehler beispielsweise bis zu 7 s im Voraus mit einer Genauigkeit von mehr als 80 % vorhersagen kann.
Für die Fehlervorhersage wird hier eine Einrichtung des maschinellen Lernens verwendet. Dazu zeigt 1 eine schematische Übersichtsdarstellung zur Veranschaulichung einer Erzeugung oder Bereitstellung eines neuronalen Netzes zur Fehlervorhersage. Zunächst werden Basisdaten 10 als Grundlage für das Training bereitgestellt. Diese Basisdaten 10 können insbesondere Fahrzeugzustandsdaten sowie Perzeptionsdaten, aber ebenso weitere Daten sein oder umfassen.
Die Basisdaten 10 sind oder werden in einzelne Datensequenzen 12 aufgeteilt. Die Datensequenzen 12 umfassen negative Datensequenzen 14, die zu einem Fehler geführt haben und entsprechend gelabelt oder annotiert sind, sowie positive Datensequenzen 16, die nicht zu einem Fehler geführt haben, während derer also das Assistenzsystem beziehungsweise ein entsprechendes Fahrmodell eine jeweilige Fahrfunktion erfolgreich, das heißt fehlerfrei ausgeübt hat. Auch die positiven Datensequenzen 16 sind entsprechend als solche gelabelt oder annotiert. Auf Basis der negativen Datensequenzen 14 und der positiven Datensequenzen 16 wird dann ein neuronales Netz trainiert und das so trainierte neuronale Netz als Fehlervorhersagemodell 18 bereitgestellt.
2 zeigt dazu eine weitere schematische Darstellung, anhand derer das Trainieren des Fehlervorhersagemodells 18 weiter erläutert werden soll. Im vorliegenden Beispiel werden eine Vielzahl von Datensequenzen 12 mit einer jeweiligen Länge von 10 s bereitgestellt. Die Datensequenzen 12 umfassen dabei mit einer Aufnahme- oder Abtastfrequenz von 10 Hz aufgenommene Daten oder Datenpunkte. Dies führt zu einer ausreichenden zeitlichen Auflösung, ohne eine nicht praktikabel handhabbar große Menge hochkorrelierter Merkmalsvektoren (englisch: feature vectors) zu erzeugen. Durch die Verwendung sowohl der negativen Datensequenzen 14 als auch der positiven Datensequenzen 16 kann das Fehlervorhersagemodell 18 lernen, zwischen Erfolg und Fehlerfall zu diskriminieren. Konkret ist in 2 eine beispielhafte Datensequenz 12 veranschaulicht, die 100 Datenpunkte oder Merkmalsvektoren f₁ bis f₁₀₀ umfasst, von denen der Übersichtlichkeit halber hier nur einige dargestellt sind.
Aus jeder der Datensequenzen 12 werden mehrere zumindest paarweise teilweise überlappende Teilsequenzen 20 erzeugt. Vorliegend weisen die Teilsequenzen 20 eine Länge von jeweils 3 s auf, umfassen also jeweils 30 Merkmalsvektoren f_i . Die Teilsequenzen 20 beziehungsweise deren Startpunkte sind dabei um jeweils einen Merkmalsvektor f_i verschoben oder versetzt. Eine erste Teilsequenz 22 umfasst also die Merkmalsvektoren f₁ bis einschließlich f₃₀ . Eine zweite Teilsequenz 24 umfasst die Merkmalsvektoren f₂ bis einschließlich f₃₁ . Dies wird entsprechend fortgesetzt bis zu einer letzten Teilsequenz 26, die die Merkmalsvektoren f₇₁ bis einschließlich f₁₀₀ der jeweiligen Datensequenz 12 umfasst. Ebenso könnten hier Teilsequenzen 20 anderer Längen und/oder voneinander unterschiedlicher Längen erzeugt werden, um eine größere Variation der Trainingsdaten zum Trainieren des Fehlervorhersagemodells 18 zu erreichen.
Je nachdem welche Basisdaten 10 verwendet werden beziehungsweise zur Verfügung stehen, kann jeder der Merkmalsvektoren f_i eine entsprechende Anzahl von skalaren Werten enthalten, beispielsweise eine aktuelle Geschwindigkeit, eine aktuelle Längsbeschleunigung, eine aktuelle Querbeschleunigung, einen aktuellen Lenkwinkel, eine aktuelle Winkel- oder Drehgeschwindigkeit des Kraftfahrzeugs, eine jeweils aktuelle, also zu der jeweiligen Teilsequenz 12 zeitlich korrespondierende Anzahl von detektierten Objekten oder Verkehrsteilnehmern in der Umgebung des Kraftfahrzeugs als Maß für die Situationskomplexität und/oder dergleichen mehr. Die Teilsequenzen 20 umfassen zusätzlich ein jeweiliges Label, also eine jeweilige Kennzeichnung oder Annotierung, die angibt, ob die jeweilige Teilsequenz 20 Teil einer negativen Datensequenz 14 oder Teil einer positiven Datensequenz 16 ist beziehungsweise aus einer solchen erzeugt oder extrahiert wurde. Dies erlaubt es dem Fehlervorhersagemodell 18 zu unterscheiden, ob die als Trainingsdaten verwendeten Teilsequenzen 20 jeweils Teil einer zu einem Fehler oder zu einem fehlerfreien Betrieb führenden Sequenz von Daten, Zuständen oder Ereignissen sind. Das Fehlervorhersagemodell 18 lernt hier also anhand von den beispielsweise 3 s langen Teilsequenzen 20, die - da die Datensequenzen 12 hier beispielsweise eine Länge von 10 s haben - bis zu 7 s vor der jeweiligen Datensequenz beziehungsweise dem jeweiligen Fehler enden. Das entsprechend trainierte Fehlervorhersagemodell 18 ist damit in der Lage, anhand von im tatsächlichen Einsatz, also im Inferenzbetrieb erfassten beziehungsweise verarbeiteten Sequenzen von 3 s Länge zukünftige Fehler bis zu 7 s im Voraus vorherzusagen.
Zum Trainieren des Fehlervorhersagemodells 18 anhand der Teilsequenzen 20 können an sich bekannte Trainingsmethoden, beispielsweise basierend auf einer Rückpropagation, der an sich bekannte Adam Optimierer oder dergleichen angewendet werden. Hyperparameter des Fehlervorhersagemodells 18 können beispielsweise mittels bereitgestellter Validierungsdaten getunt werden. Für die Implementierung des vorliegenden Beispiels wurden jeweils 1032 negative Datensequenzen 14 und positive Datensequenzen 16 mit einer Länge von jeweils 10 s und einer Datenrate von 10 Hz verwendet. Die somit zur Verfügung stehenden Daten wurden zu 80 % als Trainingsdaten beziehungsweise zur Erzeugung der Trainingsdaten, zu 10 % als Validierungsdaten und zu 10 % als Testdaten verwendet.
3 zeigt eine schematische Übersichtsdarstellung zur Veranschaulichung einer Anwendung des entsprechend trainierten Fehlervorhersagemodells 18. Im Einsatz oder Betrieb des Assistenzsystems beziehungsweise des Kraftfahrzeugs wird ein Datenstrom 28 dem trainierten Fehlervorhersagemodell 18 als Eingangsdaten zugeführt. Das Fehlervorhersagemodell 18 generiert daraus laufend Zwischenvorhersagen. Auf die jeweils für eine Teilsequenz 20 des Datenstroms 28 erzeugten Zwischenvorhersagen wird dann ein Filter 30, beispielsweise eine Mittelwertbildung, angewendet. Je nach Ergebnis dieser Filterung, also je nach Output des Filters 30, wird dann für die jeweilige Teilsequenz 20 eine negative Vorhersage 32 oder eine positive Vorhersage 34 gemacht beziehungsweise ausgegeben. Für den Fall einer negativen Vorhersage 32 wird dann automatisch ein entsprechendes Ausgabesignal 36 erzeugt, beispielsweise um die Kontrollübernahme durch eine menschliche Bedienperson zu veranlassen.
Insgesamt zeigen die beschriebenen Beispiele wie eine frühzeitige Disengagement-Vorhersage für automatisierte Fahrzeuge oder Fahrfunktionen basierend auf Datensequenzen von Fahrzeugzustandsdaten realisiert werden kann, um einen besonders sicheren Betrieb zu ermöglichen.
Bezugszeichenliste

10: Basisdaten
12: Datensequenzen
14: negative Datensequenzen
16: positive Datensequenzen
18: Fehlervorhersagemodell
20: Teilsequenzen
22: erste Teilsequenz
24: zweite Teilsequenz
26: letzte Teilsequenz
28: Datenstrom
30: Filter
32: negative Vorhersage
34: positive Vorhersage
36: Ausgabesignal
f1-f100: Merkmalsvektoren

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018215289 A1 [0003]
DE 102013005362 A1 [0004]

Claims

Verfahren zum Bereitstellen eines introspektiven Fehlervorhersagemodells (18) zum Vorhersagen von Fehlern in einem zumindest teilautonomen Betrieb eines Kraftfahrzeugs, bei dem - ein Fahrmodell zum zumindest teilautonomen Ausüben einer Fahrfunktion des Kraftfahrzeugs bereitgestellt wird, - Datensequenzen (12) einer ersten Länge erfasst werden, die jeweils einen im Betrieb des Fahrmodells erfassten und einem jeweiligen Fehler beim Ausüben der Fahrfunktion unmittelbar vorausgehenden zeitlichen Verlauf eines Fahrzeugzustands des Kraftfahrzeugs charakterisieren, - aus diesen Datensequenzen (12) jeweils mehrere als Teil einer zu einem Fehler führenden Datensequenz (12, 14) annotierte Teilsequenzen (20) einer kürzeren zweiten Länge erzeugt werden, - mit diesen annotierten Teilsequenzen (20) als Trainingsdaten ein neuronales Netz (18) darauf trainiert wird, anhand entsprechender Teilsequenzen (20) Fehler beim Ausüben der Fahrfunktion durch das Fahrmodell vorherzusagen, und das so trainierte neuronale Netz als das Fehlervorhersagemodell (18) bereitgestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als das neuronale Netz (18) ein rekurrentes neuronales Netz mit einer LSTM-Struktur verwendet wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das neuronale Netz (18) eine Eingangsschicht, zwei dieser nachfolgende bidirektionale LSTM-Schichten und eine vollständig verbundene Ausgangsschicht als binären Klassifikator aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Teilsequenzen (20) zeitlich gestaffelt sind, sodass sich jeweils zwei zeitlich benachbarte Teilsequenzen (20) teilweise überlappen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Teil der Trainingsdaten auch ein jeweiliges den Teilsequenzen (20) zugeordnetes Maß für eine Situationskomplexität, das basierend auf einer jeweiligen zeitlich zu den Teilsequenzen (20) korrespondierenden Anzahl von automatisch detektierten fahrzeugexternen Objekten, insbesondere anderen Verkehrsteilnehmern, bestimmt wird, zum Trainieren des neuronalen Netzes (18) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auch Datensequenzen (12, 16) aus fehlerfreien Betriebszeiten des Fahrmodells erfasst werden, daraus als Teil einer fehlerfreien Datensequenz (12, 16) annotierte, kürzere positive Teilsequenzen (20) erzeugt werden, und auch diese positiven Teilsequenzen (20) als Teil der Trainingsdaten zum Trainieren des neuronalen Netzes verwendet werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als Datensequenzen (12, 16) aus fehlerfreien Betriebszeiten des Fahrmodells nur solche Datensequenzen (12, 16) als Basis für das Trainieren des neuronalen Netzes (18) verwendet werden, an die sich eine jeweilige fehlerfreie Betriebszeit des Fahrmodells einer vorgegebenen Länge, insbesondere einer wenigstens der Länge der Datensequenz (12, 16) entsprechenden Länge, anschließt.
Assistenzsystem für ein Kraftfahrzeug, umfassend ein Fahrmodell zum zumindest teilautonomen Ausüben einer Fahrfunktion des Kraftfahrzeugs und ein gemäß einem Verfahren nach einem der vorhergehenden Ansprüche erzeugtes Fehlervorhersagemodell (18), das dazu eingerichtet ist, im Betrieb des Assistenzsystems einen Datenstrom (28) zu erfassen, der zumindest einen zeitlichen Verlauf eines Fahrzeugzustands des Kraftfahrzeugs charakterisiert, und anhand von Teilsequenzen dieses Datenstroms (28) Fehler beim Ausüben der Fahrfunktion vorherzusagen und ein entsprechendes Ausgabesignal (36) zu erzeugen.
Assistenzsystem nach Anspruch 8, dadurch gekennzeichnet, dass das Fehlervorhersagemodell (18) dazu eingerichtet ist, für jede Teilsequenz (20) mehrere Zwischenvorhersagen bezüglich eines Auftretens eines Fehlers zu machen und aus diesen Zwischenvorhersagen eine endgültige Vorhersage für die jeweilige Teilsequenz zu erzeugen, insbesondere basierend auf einem Mittelwert (30) der Zwischenvorhersagen.
Kraftfahrzeug, aufweisend ein Assistenzsystem nach einem der Ansprüche 8 und 9.