DE102022114218B3

DE102022114218B3 - Verfahren zum Schätzen einer Zeitangabe eines Eintritts eines zukünftigen Ereignisses, insbesondere eines Verkehrsereignisses, sowie Kraftfahrzeug

Info

Publication number: DE102022114218B3
Application number: DE102022114218.3A
Authority: DE
Inventors: Michael Botsch; Oliver Gallitz
Original assignee: Technische Hochschule Ingolstadt Koerperschaft Des Oeffentlichen Rechts; Audi AG
Current assignee: Audi AG
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2023-09-14
Anticipated expiration: 2042-06-08

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Zeitangabe (26) eines Eintritts eines zukünftigen, vorbestimmten Ereignisses, wobei in aufeinanderfolgenden Schätzzyklen (22) jeweils durch eine Prozessorschaltung (25) ein Beobachtungsdatensatz (27) ermittelt wird, der Beobachtungsvariablen (51) umfasst, und aus dem Beobachtungsdatensatz (27) mittels einer ersten Schätzeinheit (28) für den Eintritt des Ereignisses ein zukünftiger Eintrittszeitpunkt prädiziert wird, der innerhalb eines durch die erste Schätzeinheit (28) insgesamt überprüften Gesamtintervalls (50) möglicher zukünftiger Eintrittszeitpunkte liegt. Die Erfindung sieht vor, dass für mehrere disjunkte Teilintervalle des Gesamtintervalls (50) mittels einer jeweils zugeordneten zweiten Schätzeinheit (29) anhand des Beobachtungsdatensatzes (27) ein jeweiliger Konfidenzwert geschätzt wird, der einer geschätzten Wahrscheinlichkeit dafür entspricht, dass das Ereignis (24) in dem jeweiligen Teilintervall eintritt.

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen oder Schätzen einer Zeitangabe betreffend den zukünftigen Eintritt eines vorbestimmten Ereignisses. Die Schätzung erfolgt auf Grundlage von Beobachtungsvariablen, die in einer Beobachtungsregion erfasst werden, in welcher das Ereignis erwartet wird. Beispielsweise kann mittels des Verfahrens ein Überholvorgang prädiziert oder vorhergesagt werden, der sich in einem Frontbereich vor einem Kraftfahrzeug ereignen könnte. Die Erfindung betrifft entsprechend auch ein Kraftfahrzeug, das dazu eingerichtet ist, das besagte Verfahren auszuführen.
In vielen technischen Anwendungen ist die Prädiktion oder Vorhersage von anstehenden Ereignissen gewünscht. Beispiele aus dem Umfeld der Fahrzeugtechnik sind Spurwechselintentionserkennungen, die Prädiktion von Verhaltensweisen anderer Verkehrsteilnehmern im Kreisverkehr, die Prädiktion von Crashereignissen.
Aber auch in anderen Bereichen, wie der Medizintechnik oder dem Finanzsektor, ist die Vorhersage einer Zeitangabe anstehender Ereignisse, im Folgenden allgemein als Time-To-Event (TTE) bezeichnet, von Interesse. Von daher kann das hier beschriebe Verfahren auch in anderen technischen Bereichen als der Fahrzeugtechnik angewendet werden.
Methoden des maschinellen Lernens, im Speziellen des tiefen Lernens (Deep Learning), können konkrete Eintrittszeitpunkt als Referenzwerte für TTE-Aufgaben erzeugen und sind wegen ihrer hohen Performanz vorteilhaft. Eine Eigenheit des tiefen Lernens ist jedoch, dass dessen innere Prozesse nicht einsehbar sind, weil sie auf Entscheidungsgrößen beruhen, die eine (nicht-lineare) mathematischen Verknüpfung der Beobachtungsgrößen darstellen und deshalb physikalisch nicht mehr interpretierbar sind. Dieses nicht interpretierbare Verhalten ist somit das Ergebnis aus der Beschaffenheit solcher Algorithmen, nichtlineare Transformationen und Kombinationen der Beobachtungsgrößen zu verknüpfen. Es entsteht als Zwischengrößen eine Vielzahl von Repräsentationen, welche nicht in menschlich-interpretierbarer Form vorliegen.
Dagegen ist ein interpretierbarer Entscheidungsprozess im Absicherungsprozess von technischen Systemen in einigen Anwendungsfällen für die Validierbarkeit wünschenswert. Es ist daher erstrebenswert, eine Validierung von TTE-Vorhersagen, welche maschinelle Lernverfahren nutzen und damit höchste Performanz aufweisen, durchführen zu können. Die Interpretierbarkeit soll es einem Fachmann ermöglichen, die Grundlagen für die Schätzung einer Zeitangabe zumindest im Nachhinein oder auch schon im Voraus anhand der Struktur oder Logik des verwendeten Systems auf Plausibilität überprüfen zu können. Um eine Validierbarkeit des interpretierbaren Systems zu erreichen, muss sichergestellt sein, dass man den Entscheidungsvorgang für die Ermittlung einer Zeitangabe systematisch (d.h. nicht nur mittels zahlreicher Tests) nachvollziehen kann.
Der naheliegendste Ansatz, um interpretierbare TTE-Vorhersagen unter Nutzung maschineller Lernalgorithmen umzusetzen, ist der Einsatz interpretierbarer Schätzmodelle, z.B. von Classification and Regression Trees (CART). In diesem Vorgehen ersetzt eine interpretierbare Methode einen nicht-interpretierbaren Algorithmus, also z.B. das eigentlich vorteilhafte tiefes neuronales Netzwerk oder ein rekurrentes Netzwerk. Eine Reduktion der Vorhersageleistung ist von diesem Schritt in der Regel zu beobachten.
Die CN 1 12 801 400 A beschreibt eine Vorhersage von Zeitreihendaten aus Verkehrsszenarien. Genutzt werden Long-Short-Term Memory (LSTM) Netzwerke, sowie klassische künstliche neuronale Netzwerke (KNN). Der Einsatz multipler LSTM Netzwerke ermöglicht eine Verbesserung der Vorhersageleistung. Durch den Einsatz von LSTMs und NNs ist eine Interpretierbarkeit der Ergebnisse jedoch nicht möglich.
Die EP 3 479 306 B1 beschreibt ebenfalls eine Kombination aus rekurrenten Strukturen und KNNs. Auf eine interpretierbare Vorhersage wird keinen Wert gelegt, weshalb die vorgeschlagene Struktur nicht im beschriebenen Sinne validiert werden kann.
Die wissenschaftliche Veröffentlichung „iSurvive: An Interpretable, Eventtime Prediction Model for mHealth“ (Walter H. Dempsey et al. Proceedings of the 34th International Conference on Machine Learning, PMLR 70:970-979, 2017) beschreibt eine interpretierbare TTE-Vorhersage. Es werden Hidden Markov Modelle (HMM) genutzt, wobei der Eingangsraum auf binäre Beobachtungen reduziert wird. Das HMM benötigt eine Modellierung von Zuständen und deren Übergangswahrscheinlichkeiten, welche in einigen Anwendungen unbekannt sind. Durch eine hohe Zahl interner Abhängigkeiten kann auch die Interpretierbarkeit von HMMs nicht aufrechterhalten werden.
Die folgenden Veröffentlichungen beschreiben Teile derjenigen Struktur und Verarbeitungsschritte, auf die auch im hier beschriebenen Verfahren zurückgegriffen wird, weshalb der Fachmann für die Implementierung dieser jeweiligen Einzelschritte auf diese Veröffentlichungen verwiesen wird, die als Teil der hier vorliegenden Offenbarung anzusehen sind:

- O. Gallitz, O. d. Candido, R. Melz, M. Botsch, and W. Utschick, „Interpretable Machine Learning Structure for an Early Prediction of Lane Changes“, Artificial Neural Networks and Machine Learning - ICANN 2020, Slovakia, September 2020.
- O. Gallitz, O. d. Candido, M. Botsch, and W. Utschick, „Interpretable Early Prediction of Lane Changes Using a Constrained Neural Network Architecture“, IEEE International Conference on Intelligent Transportation Systems, USA, September 2021.

Die letztere Veröffentlichung („Interpretable Early Prediction of Lane Changes Using a Constrained Neural Network Architecture“) wurde zur Formulierung des Oberbegriffs von Patentanspruch 1 herangezogen.
Eine validierbare TTE-Vorhersage ist in diesen Veröffentlichungen nicht beschrieben worden.
Die Veröffentlichung von Dang et al. (H. Q. Dang, J. Fürnkranz, A. Biedermann and M. Hoepfl, „Time-to-lane-change prediction with deep learning,“ in 2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC), 2017, pp. 1-7, doi: 10.1 109/ITSC.2017.8317674.) offenbart die Verwendung von Long-Short-Term-Memory (LSTM)-Netzwerken, um eine Vorhersage der Zeit bis zu einem Fahrspurwechsel zu erlernen.
Die Veröffentlichung von Yan et al. (Z. Yan, K. Yang, Z. Wang, B. Yang, T. Kaizuka and K. Nakano, „Time to lane change and completion prediction based on Gated Recurrent Unit Network,“ in 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 102-107, doi: 10.1109/IVS.2019.8813838.) offenbart eine Analyse eines Spurwechselverhaltens, um ein Gated Recurrent Units (GRU)-Netzwerk zu erstellen, das die folgenden zwei Zeitpunkte während eines Spurwechsels ermittelt: a) wann der Fahrer die Spur wechseln wird und b) wann der Spurwechsel abgeschlossen wird.
Die Veröffentlichung von Candido et al. (O. D. Candido, M. Koller, O. Gallitz, R. Melz, M. Botsch and W. Utschick, „Towards Feature Validation in Time to Lane Change Classification using Deep Neural Networks,“ in 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), 2020, pp. 1-8, doi: 10.1 109/ITSC45102.2020.9294555.) offenbart Analysen zur Merkmalsextraktion mittels Convolutional Neuronal Network (CNN)-Architekturen bezüglich eines „Time to Lane Change“ (TTLC) Klassifizierungsproblems.
Der Erfindung liegt die Aufgabe zugrunde, eine Prädiktion oder Schätzung in Form einer Zeitangabe bereitzustellen, die den voraussichtlichen zukünftigen Eintritt eines vorbestimmten Ereignisses, beispielsweise des beschriebenen Überholvorgangs, angibt und hierbei aber in der beschriebenen Weise interpretierbar oder validierbar bleibt.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen ergeben sich durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren.
Als eine Lösung umfasst die Erfindung ein Verfahren zum Bereitstellen einer Zeitangabe eines Eintritts eines zukünftigen, vorbestimmten Ereignisses. Das Ereignis ist dahingehend „vorbestimmt“, als dass mittels des Verfahrens nur bestimmte Ereignisse erkannt werden, zu welchen beispielsweise mittels Trainingsdaten entsprechende Datenmuster in die im Folgenden beschriebenen Schätzeinheiten eintrainiert worden sind.
Das Verfahren kann durch eine Prozessorschaltung ausgeführt werden, die in aufeinanderfolgenden Schätzzyklen, also periodisch oder zyklisch (oder auch nur einmalig), eine jeweilige aktuelle geschätzte Zeitangabe zu dem erwarteten oder zu überwachenden Ereignis ausgibt. In dem jeweiligen Schätzzyklus wird ein Beobachtungsdatensatz ermittelt, der Beobachtungsvariablen umfasst, die Beobachtungswerte umfasst, die in einem Beobachtungsbereich oder einer Beobachtungsregion erfasst werden, in welcher das Ereignis erwartet wird. Handelt es sich bei dem Ereignis beispielsweise um einen möglichen Überholvorgang eines vorausfahrenden Fahrzeugs, so kann in einem Kraftfahrzeug das Verfahren derart durchgeführt werden, dass als Beobachtungsregion ein vorausliegender Straßenbereich überwacht wird, indem dort die Beobachtungsvariablen erfasst werden. Beispielsweise kann dies auf der Grundlage zumindest eines Umfeldsensors des Kraftfahrzeugs, beispielsweise zumindest einer Kamera, erfolgen, wie es im Zusammenhang mit der Umfeldüberwachung bei Kraftfahrzeugen mit automatisierter Fahrfunktion bekannt ist.
Die insgesamt derart aktualisierten Beobachtungsvariablen stellen einen jeweiligen aktuellen Beobachtungssatz des jeweiligen Schätzzyklus dar. Aus dem Beobachtungssatz wird mittels einer ersten Schätzeinheit für den Eintritt des Ereignisses ein zukünftiger Eintrittszeitpunkt prädiziert. Die erste Schätzeinheit kann also einen konkreten Eintrittszeitpunkt vorhersagen. Dieser liegt innerhalb eines Gesamtintervalls möglicher zukünftiger Eintrittspunkte, wie sie durch die erste Schätzeinheit insgesamt überprüft werden. Das Gesamtintervall kann z.B. einen Bereich von 0s bis 30s abdecken, nur um eine Veranschaulichung zu bieten. Die Schätzeinheit kann also in der Weise trainiert sein, dass sie Eintrittszeitpunkte schätzen kann, die zwischen einer unteren Intervallgrenze, beispielsweise null Sekunden, bis zu einer oberen Intervallgrenze, beispielsweise 30 Sekunden, liegen können. Dies ist das insgesamt mögliche Gesamtintervall an Eintrittszeitpunkten, das durch die erste Schätzeinheit abgedeckt oder überprüft werden kann. Wird also für einen aktuellen Schätzzyklus durch die erste Schätzeinheit eine Prädiktion oder Vorhersage durchgeführt, so ergibt sich als Schätzergebnis der ersten Schätzeinheit ein Eintrittszeitpunkt, beispielsweise Ereignis in 3,9 Sekunden, wobei als detektierbares oder prädizierbares Ereignis dasjenige möglich ist, für das die Schätzeinheit trainiert wurde. Als erste Schätzeinheit kann das eingangs beschriebene künstliche neuronale Netzwerk verwendet werden, also eine Schätzeinheit oder ein Schätzertyp, der an sich in Bezug auf die Validierbarkeit oder Interpretierbarkeit der Entscheidungsgrößen nicht-interpretierbar oder nicht-validierbar ist.
Um ausgehend von diesem Ansatz dennoch eine Interpretierbarkeit oder Validierbarkeit zu erreichen, ist zusätzlich vorgesehen, dass für mehrere disjunkte Teilintervalle des Gesamtintervalls jeweils eine eigene zusätzliche zweite Schätzeinheit vorgesehen ist. Jedem Teilintervall ist also eine andere zweite Schätzeinheit zugeordnet. Mit „zweite Schätzeinheit“ ist hier also eine Schätzeinheit von einem zweiten Typ gemeint, der sich von dem Typ der ersten Schätzeinheit unterscheidet. Insbesondere sind mindestens zwei oder mindestens drei oder mindestens vier, bevorzugt mehr als vier, solcher Teilintervalle vorgesehen, in die das Gesamtintervall unterteilt ist. Jedem Teilintervall ist eine andere „zweite Schätzeinheit“ zugeordnet. Die Teilintervalle decken insgesamt das Gesamtintervall bevorzugt vollständig ab. Sie sind disjunkt, das heißt überschneidungsfrei.
Für jedes Teilintervall wird mittels der jeweils zugeordneten zweiten Schätzeinheit ein jeweiliger Konfidenzwert geschätzt, der eine geschätzte Wahrscheinlichkeit dafür angibt, dass das Ereignis in dem jeweiligen Teilintervall eintreten wird. Die jeweilige zweite Schätzeinheit muss also keinen Ereigniszeitpunkt schätzen können, sondern lediglich angeben, ob sich gemäß dem Beobachtungsdatensatz das Ereignis in demjenigen Teilintervall von Ereigniszeitpunkten oder Zeitwerten ereignen wird, das durch den jeweiligen zweiten Schätzer überwacht oder überprüft wird. Der jeweilige zweite Schätzer ist also untrainiert bezüglich aller anderen Teilintervalle oder anders gesagt nur darauf trainiert, eine Schätzung für das ihm zugeordnete Teilintervall vorzunehmen. Als Konfidenzwert gibt der jeweilige zweite Schätzer an, ob anhand des aktuellen Beobachtungsdatensatzes das Ereignis in dem jeweiligen Teilintervall zu erwarten ist, das von dem Schätzer geprüft wird. Der Konfidenzwert kann beispielsweise in einem Werteintervall von 0 bis 1 liegen oder ein Wahrscheinlichkeitswert von 0 Prozent bis 100 Prozent sein, um nur Beispiele zu nennen. So kann beispielsweise in dem beschriebenen Gesamtintervall als ein Teilintervall mittels einer zugeordneten Schätzeinheit ein Zeitbereich von einer Sekunde (unterer Intervallgrenze des Teilintervalls) bis zwei Sekunden (obere Intervallgrenze des Teilintervalls) überwacht werden, also [1s - 2s]. Weist dann die zugeordnete zweite Schätzeinheit einen hohen Konfidenzwert auf, so gibt dies an, dass das Ereignis mit der entsprechend hohen Wahrscheinlichkeit in ein bis zwei Sekunden zu erwarten ist, wobei durch die zweite Schätzeinheit kein konkreter Eintrittszeitpunkt angegeben werden muss.
Somit liegen nun zu einem Beobachtungsdatensatz für einen Schätzzyklus jeweils ein Eintrittszeitpunkt aus der ersten Schätzeinheit sowie die mehreren Konfidenzwerte aus den unterschiedlichen zweiten Schätzeinheiten vor (jeweils einer pro zweiter Schätzeinheit).
Mittels einer Entscheidungslogik wird aus dem Eintrittszeitpunkt und den für die Teilintervalle geschätzten Konfidenzwerten eine Zeitangabe erzeugt. Dies geschieht aber nur dann, falls die Entscheidungslogik als notwendige Bedingung erkennt, dass der Eintrittszeitpunkt in einem solchen Teilintervall liegt, zu welchem erkannt wird, dass der Konfidenzwert für dieses Teilintervall größer als ein in der Entscheidungslogik vorgegebener Schwellenwert ist. Mit anderen Worten muss also der Eintrittszeitpunkt in ein solches Teilintervall fallen, für das durch die zugeordnete zweite Schätzeinheit bestätigt wird, dass auch der Konfidenzwert größer als der Schwellenwert ist. Diese Bedingung ist eine notwendige Bedingung, das heißt sie reicht ausschließlich nicht aus, um eine valide Zeitangabe zu erzeugen. Weitere Bedingungen, die zur tatsächlichen Ausgabe einer Zeitangabe führen, die als valide Schätzung verwendet werden kann, sind im Weiteren beschrieben.
Mit der bis hierin beschriebenen Struktur ergibt sich allerdings schon der Vorteil, dass man die erste Schätzeinheit zum Schätzen eines konkreten Eintrittszeitpunkts in Bezug auf Interpretierbarkeit oder Validierbarkeit dadurch unterstützen oder einbetten kann, dass zweite Schätzeinheiten verwendet werden, die in dem beschriebenen Sinne interpretierbar sind und die für die Teilintervalle eingesetzt werden können. Diese zweiten Schätzeinheiten können mit an sich bekannten interpretierbaren oder validierbaren Algorithmen bereitgestellt werden. Da mit ihnen keine konkreten Eintrittszeitpunkte, sondern lediglich die Validierung oder Bestätigung für die Teilintervalle bereitgestellt werden muss, können sie derart ausgestaltet werden, dass sie interpretierbar oder analysierbar sind und dennoch keinen Performanzverlust oder keine Verlangsamung der Schätzung verursachen. Ein Fachmann kann somit auf die Vorteile der ersten Schätzeinheit, beispielsweise eine konkrete Schätzung eines Eintrittspunkts mittels eines künstlichen neuronalen Netzwerks, zurückgreifen und für die Validierung oder Interpretierbarkeit des Verfahrens für die zweiten Schätzeinheiten auf einen Schätzertyp zurückgreifen, der dem Fachmann vertraut ist oder die der Fachmann interpretieren kann. Beispielsweise können die eingangs beschriebenen Schätzertypen aus der Klasse der CART verwendet werden.
Die Erfindung umfasst den Sonderfall, dass zusätzlich zu demjenigen Teilintervall, in welchen der Eintrittszeitpunkt fällt, auch zumindest ein daran angrenzendes Teilintervall ebenfalls einen Konfidenzwert aufweist, der oberhalb des Schwellenwerts ist. Somit steht durch die zweiten Schätzeinheiten, die diesen Teilintervallen zugeordnet sind, lediglich eine Vereinigungsmenge an Teilintervallen zur Verfügung, für die überall die Konfidenz oberhalb des Schwellenwerts ist. Dies kann natürlich auch für mehr als zwei Teilintervalle vorhanden sein, also eine ganze Folge an paarweise aneinander angrenzenden Teilintervallen. In diesem Fall enthält die Zeitangabe oder umfasst die Zeitangabe zusätzlich zu dem Eintrittszeitpunkt bevorzugt auch diejenige obere Intervallgrenze und/oder untere Intervallgrenze, die durch die vereinigten Teilintervalle (deren Konfidenzwert oberhalb des Schwellenwerts liegt und in welche der Eintrittszeitpunkt fällt) umfassen. Mit anderen Worten ist für diese vereinigten Teilintervalle folgende Gruppe von Bedingungen erfüllt: Sie grenzen aneinander an und der jeweilige Konfidenzwert ist größer als der Schwellenwert und der Eintrittszeitpunkt fällt in die Kombination. Somit wird auch ein solches mehrdeutiges Erkennungsergebnis oder Detektionsergebnis oder Schätzergebnis noch nutzbar.
Die Erfindung umfasst auch Weiterentwicklungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
In der beschriebenen Weise kann für den Fall, dass die notwendige Bedingung (geschätzter Eintrittszeitpunkt fällt in ein Teilintervall mit Konfidenzwert größer als Schwellenwert) nicht erfüllt ist oder allgemein für den Fall, dass keine hinreichende Bedingung erfüllt ist, die Zeitangabe als ungültig gekennzeichnet werden oder eine Zeitangabe ausbleiben, damit man beispielsweise auf die zuletzt gültige Zeitangabe zurückgreift.
Der Beobachtungsdatensatz kann mehrere Beobachtungsvariablen enthalten oder beschreiben. Der Begriff „Beobachtungsvariablen“ ist hier gewählt, da jede beobachtete Größe in dem Beobachtungsdatensatz beispielsweise als Zeitreihe beschrieben sein kann, also einen Ausschnitt aus einem Zeitsignal darstellen kann. Ein Beobachtungsdatensatz kann somit eine multivariable Zeitreihe darstellen, beispielsweise jeweils einen Zeitabschnitt einer vorbestimmten Zeitdauer, beispielsweise einer Sekunde, von mehreren Zeitsignalen betreffend entsprechend mehrere Beobachtungsgrößen, beispielsweise eines Abstands und/oder einer Fahrgeschwindigkeit und/oder einer Relativgeschwindigkeit und/oder einer Beschleunigung, um nur Beispiele für mögliche beobachtbare Zeitsignale zu nennen.
Wie bereits ausgeführt, ist die Verwendung des Verfahrens im Bereich der Fahrzeugtechnologie besonders bevorzugt. Gemäß einer Weiterentwicklung wird entsprechend durch die besagte Prozessorschaltung in einem Kraftfahrzeug der jeweilige Beobachtungsdatensatz aus zumindest einer Umgebungsüberwachungseinheit des Kraftfahrzeugs empfangen. Eine solche Umgebungsüberwachungseinheit kann beispielsweise zumindest einen Umfeldsensor aufweisen, wie dies bereits beschrieben wurde, beispielsweise also eine Kamera und/oder einen Radar und/oder einen LIDAR, um beispielhafte Umfeldsensoren zu nennen. Eine Umgebungsüberwachungseinheit kann aber auch beispielsweise zusätzlich oder alternativ eine Verarbeitung oder Interpretation von Umgebungssignalen vorsehen, wie es beispielsweise bei einem Umfeldmodell der Fall ist, wie es durch ein Fahrerassistenzsystem oder durch eine autonome Fahrfunktion des Kraftfahrzeugs vorgesehen sein kann. Als Beobachtungsvariablen können beispielsweise Relativpositionen von vorausfahrenden Verkehrsteilnehmern zueinander und/oder Dynamikwerte vorausfahrender Verkehrsteilnehmer, wie beispielsweise Fahrgeschwindigkeit und/oder Beschleunigung, und/oder Positionen der Verkehrsteilnehmer auf der jeweiligen Fahrspur, beispielsweise Abstand zum Fahrspurrand, und/oder eine Veränderungsrate des Abstands, um nur Beispiele zu nennen. Entsprechend wird als Beobachtungsregion für die Verwendung im Kraftfahrzeug insbesondere ein umgebender Straßenverkehr erfasst und als Ereignis entsprechend ein Verkehrsereignis ermittelt, also beispielsweise das beschriebenen Überholmanöver und/oder ein Bremsmanöver (wie es beispielsweise bei einem sich anbahnenden Stau zustande kommen kann). Die beschriebene Zeitangabe, die mittels des Verfahrens erzeugt wird, kann beispielsweise an eine automatisierte Fahrfunktion übergeben werden. Eine solche automatisierte Fahrfunktion kann beispielsweise eine Fahrerassistenzfunktion (beispielsweise Spurhalteassistenz und/oder Notbremsfunktion) und/oder eine autonome Fahrfunktion (Autopilot) umfassen.
Bisher wurde als Ausgabe oder Output der Entscheidungslogik beschrieben, dass es sich dabei um eine „Zeitangabe“ handelt. Diese kann beispielsweise darin bestehen, dass das detektierte Teilintervall identifiziert wird oder es kann der Eintrittszeitpunkt ausgegeben werden, von dem dann (wegen der notwendigen Bedingung) klar ist, dass er mittels der zweiten Schätzeinheiten verifiziert wurde. Die notwendige Bedingung kann z.B. mittels einer IF-Anweisung in einem Programmcode realisiert werden. Eine bevorzugte Weiterentwicklung sieht vor, dass die Zeitangabe sowohl eine Angabe des geschätzten Zeitpunkts als auch eine jeweilige Angabe einer oberen Intervallgrenze und/oder einer unteren Intervallgrenze desjenigen Teilintervalls, in welchem der Eintrittszeitpunkt liegt, umfasst. Mit dem Eintrittszeitpunkt in der Zeitangabe erfährt man also, was die erste Schätzeinheit (nicht-interpretierbar) hergeleitet oder geschätzt hat. Durch die jeweilige Intervallgrenze wird signalisiert, welches der nächste verifizierte Eintrittszeitpunkt (untere Intervallgrenze) beziehungsweise der späteste verifizierte (interpretierbare) Eintrittszeitpunkt (obere Intervallgrenze) ist.
Bisher wurde beschrieben, dass entweder beide Intervallgrenzen (obere und untere) oder nur eine der Intervallgrenzen in der Zeitangabe angegeben wird. Diese letztere Variante wird gemäß einer Weiterbildung vorteilhafterweise dazu genutzt, dass für die Zeitangabe aus der oberen und der unteren Intervallgrenze nur diejenige Intervallgrenze ausgewählt wird, die gemäß einer Empfängertypangabe, welche einen Empfänger der Zeitangabe charakterisiert, also den Nutzer der Zeitangabe, für diesen eine Worst-Case-Schätzung oder Best-Case-Schätzung darstellt. Die Empfängertypangabe kann beispielsweise angeben, dass der Empfänger ein Fahrerassistenzsystem ist oder ein Notbremssystem oder ein Autopilot. Für einen Empfänger kann es zusätzlich zu dem konkret geschätzten Eintrittszeitpunkt aus der ersten Schätzeinheit noch wichtig sein, eine interpretierbare oder validierbare Schätzung eines Eintrittszeitpunkts zu erhalten, der durch eine zweite Schätzeinheit ermittelt wurde. So kann beispielsweise der Eintrittszeitpunkt (TTE) dadurch mit einer „konservativen Schätzung“ unterstützt werden. Ein Beispiel kann sein, dass ein Eintrittszeitpunkt eines bevorstehenden Überholmanövers eines vorausfahrenden Fremdfahrzeugs durch ein Kraftfahrzeug geschätzt wird. Zusätzlich zu dem Eintrittszeitpunkt kann es durch eine untere Intervallgrenze von Vorteil sein, eine Zeitangabe dahingehend zu haben, dass die Information besteht, dass das Überholmanöver auch schon früher, nämlich zum Zeitpunkt der unteren Intervallgrenze, stattfinden könnte.
Die Kombination aus dem geschätzten Eintrittszeitpunkt (aus der ersten Schätzeinheit) und der Menge der Konfidenzwerte (aus den zweiten Schätzeinheiten) erfolgt in der Entscheidungslogik. Diese kann beispielsweise als ein Softwaremodul oder Programmcode implementiert sein. Gemäß einer Weiterentwicklung umfasst diese Entscheidungseinheit, dass die Konfidenzwerte aller zweiten Schätzeinheiten berücksichtigt werden. Mit anderen Worten wird nicht nur dasjenige Teilintervall überprüft, in welches der Eintrittszeitpunkt fällt, sondern es wird für die übrigen Teilintervalle überprüft, welche Konfidenzwerte dort vorliegen.
Gemäß einer Weiterentwicklung umfasst die Entscheidungslogik entsprechen, dass für den Fall, dass der jeweilige Konfidenzwert zweier der Teilintervalle über dem Schwellenwert und der Konfidenzwert eines zwischen diesen Teilintervallen liegenden weiteren Teilintervalls unter dem Schwellenwert liegt, in diesem Fall die Zeitangabe blockiert oder als ungültig markiert wird. Für einen solchen Schätzzyklus, in welchem zwei auseinanderliegende oder beabstandete Teilintervalle einen Konfidenzwert oberhalb des Schwellenwerts aufweisen und dazwischen ein Teilintervall mit Konfidenzwert unterhalb des Schwellenwerts vorhanden ist, ergibt sich eine mehrdeutige Schätzung, deren Nutzung verhindert wird, indem die Zeitangabe blockiert (beispielsweise verworfen) oder als ungültig markiert wird. Somit kann der Empfänger der Zeitangabe eine Vorkehrung treffen, um zu vermeiden, dass diese mehrdeutige Schätzung oder dieses mehrdeutige Schätzungsergebnis die Funktionsweise des Empfängers beeinträchtigt. Beispielsweise kann auf die letzte gültige oder letzte verfügbare Zeitangabe zurückgegriffen oder zurückgefallen werden. Eine hinreichende Bedingung für die Ausgabe einer validen oder nutzbaren Zeitangabe ist also, dass der Eintrittszeitpunkt in dem Teilintervall mit Konfidenzwert oberhalb des Schwellenwert (oder in der beschriebenen Vereinigungsmenge solcher Teilintervalle) liegen muss und alle übrigen Teilintervalle einen Konfidenzwert unterhalb des Schwellenwerts aufweisen müssen.
Um mit den zweiten Schätzeinheiten die interpretierbare oder validierbare Schätzung zu erhalten, sieht eine Weiterentwicklung vor, dass die jeweilige zweite Schätzeinheit eine Expertenschätzung umfasst. Dies bedeutet insbesondere, dass die Beobachtungsvariablen, also beispielsweise die Zeitreihen oder Signalabschnitte der unterschiedlichen Zeitsignale (Abstand und/oder Relativgeschwindigkeit und/oder Absolutgeschwindigkeit und/oder Beschleunigung, um nur Beispiele zu nennen) und/oder deren zeitliche Ableitung und/oder deren zeitliches Integral (also Operationen, die ausschließlich auf der jeweiligen Beobachtungsvariablen einzeln stattfinden) direkt für das Ermitteln des Konfidenzwerts zugrunde gelegt werden. Das heißt, sie werden als eigenständige Entscheidungsgrößen verwendet. Mit anderen Worten beruht jede Entscheidungsgröße, aus welcher der Konfidenzwert berechnet wird, auf einem beobachtbaren physikalischen Pendant oder einer beobachtbaren physikalischen Beobachtungsgröße selbst. Somit kann ein Fachmann zu einem gegebenen Konfidenzwert (beispielsweise 0,7) ermitteln, ob auch der Fachmann selber (ohne eine Schätzeinheit) mit seiner Erfahrung anhand der Entscheidungsgrößen (also den Beobachtungsvariablen selbst oder deren zeitliche Ableitung/deren zeitliches Integral) ebenfalls zu einem solchen Konfidenzwert oder einem solchen Schätzergebnis gelangt wäre.
Um ein solches fachmännisches Abschätzen eines Konfidenzwerts nachzubilden, also eine zweite Schätzeinheit mit interpretierbarem Konfidenzwert bereitzustellen, sieht eine Weiterentwicklung vor, dass die jeweilige zweite Schätzeinheit diese Expertenschätzung als ein Entscheidungsbaum (Decision Tree) und/oder mittels generalisierter radialer Basisfunktionen (GRBF) und/oder mittels einer Support Vector Machine (SVM) und/oder mittels einer k-Means-Clusterung bereitgestellt wird. Die Beobachtungsvariablen können hierzu zu einem Merkmalsvektor zusammengefasst oder durch diesen repräsentiert werden, in welchem die einzelnen Sampelwerte oder Beobachtungswerte aufgereiht zu einem Vektor dargestellt oder enthalten sind. Durch den Decision Tree wird dann schrittweise eine Entscheidung getroffen, welcher Beobachtungswert welchen Beitrag zum Konfidenzwert liefert. Bei generalisierten radialen Basisfunktionen, Support Vector Machines und k-Means-Clusterungen wird mittels des Merkmalsvektors, also auf Grundlage der einzelnen Beobachtungswerte aus den Beobachtungsvariablen, ebenfalls direkt ein Konfidenzwert ermittelt. Das Konfidenzmaß kann hier der jeweilige Abstand zu den Masseschwerpunkten oder geometrischen Schwerpunkten der Cluster sein und/oder ein Wahrscheinlichkeitswert, wie er durch eine GRBF angegeben sein kann.
Im Gegensatz dazu basiert in vorteilhafter Weise die erste Schätzeinheit gemäß einer Weiterentwicklung auf einem tiefen künstlichen neuronalen Netzwerk, DNN, und/oder sie umfasst zusätzlich oder alternativ ein künstliches neuronales Netzwerk für Zeitreihen, insbesondere ein LSTM und/oder eine GRU (Gated Recurrent Unit). Mit anderen Worten wird durch die erste Schätzeinheit insbesondere der konkrete Eintrittszeitpunkt auf Grundlage von zwischengeschalteten Entscheidungsgrößen ermittelt, die kein beobachtbares physikalisches Pendant beschreiben, sondern die Beobachtungsvariablen, also beispielsweise die Beobachtungswerte der mehreren Zeitreihen, werden zu (verdeckten) Zwischenvariablen miteinander verrechnet und erst dies wird als Entscheidungsgröße zum Ermitteln des Eintrittszeitpunkts verwendet. Im Unterschied zu den zweiten Schätzeinheiten werden also bei der ersten Schätzeinheit also Zwischenvariablen berechnet, die eine Kombination mehrerer der unterschiedlichen Beobachtungsvariablen darstellen. So wird beispielsweise eine gewichtete Summe aus einem Abstandswert und einem Geschwindigkeitswert berechnet (z.B. 0.4 * Abstand + 0.7*Geschwindigkeit) und dies mittels einer nicht-linearen Funktion, beispielsweise einer Sigmoidfunktion, zu einem Wert einer Zwischenvariablen verrechnet, die dann als Entscheidungsgröße für den Eintrittszeitpunkt dient. Eine solche Zwischenvariable ist dann nicht mehr in dem beschriebenen Sinne physikalisch interpretierbar.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Wie bereits ausgeführt, kann das Verfahren vielseitig angewendet werden. Beispielsweise kann als Beobachtungsbereich in der Medizintechnik eine Hautoberfläche zugrundegelegt werden und als Beobachtungsvariablen beispielsweise Farbwerte und/oder Konturen einer Verfärbung der Haut als Beobachtungsdatensatz ermittelt werden. Somit kann beispielsweise eine Prädiktion oder eine Zeitangabe zu einem möglichen Eintritt eines Ereignisses in Form einer Hautkrebserkrankung prädiziert werden. Im Bereich der Untersuchung von Bauteilen kann beispielsweise als Beobachtungsbereich eine verschleißanfällige Stelle, beispielsweise ein Lager oder ein Scharnier, durch Beobachtungsvariablen beschrieben sein, beispielsweise Bilddaten und/oder Audiodaten von Betriebsgeräuschen. Es kann dann als Zeitangabe beispielsweise der Eintritt eines Bruches oder eines Versagens des Bauteils prädiziert werden.
Wie bereits ausgeführt, ist aber insbesondere der Bereich in der Fahrzeugtechnologie vorteilhaft.
Eine Lösung zu der obigen Aufgabe stellt somit auch ein Kraftfahrzeug dar, welches zumindest eine Überwachungseinheit (also wie bereits beschrieben zum Beispiel ein jeweiliger Sensor und/oder ein jeweiliges Umfeldmodell), welche dazu eingerichtet ist, als einen Beobachtungsbereich einen umgebenden Straßenverkehr zu erfassen und den beobachteten Straßenverkehr zyklisch durch einen jeweiligen aktuellen Beobachtungsdatensatz zu beschreiben. In den eingangs beschriebenen Veröffentlichungen aus dem Stand der Technik sind in diesem Zusammenhang ausführliche Beschreibungen zum Bilden eines Beobachtungsdatensatzes beschrieben.
Um nun ausgehend von solchen zyklisch bereitgestellten Beobachtungsdatensätzen eine Vorhersage oder eine Zeitangabe eines vorbestimmten Ereignisses, beispielsweise eines Überholmanövers oder eines Bremsmanövers eines vorausfahrenden Fremdfahrzeugs, zu prädizieren, ist vorgesehen, dass in dem Kraftfahrzeug eine Prozessorschaltung mit der zumindest einen Überwachungseinheit gekoppelt ist und diese Prozessorschaltung dazu eingerichtet ist, die Beobachtungsdatensätze zu empfangen und eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die hierdurch berechnete Zeitangabe kann beispielsweise an eine automatisierte Fahrfunktion übermittelt werden, die mit der Prozessorschaltung gekoppelt sein kann. Die Fahrfunktion kann beispielsweise durch ein Steuergerät oder einen Verbund mehrerer Steuergeräte realisiert sein. Beispiele für eine automatisierte Fahrfunktion sind eine Fahrerassistenz, wie beispielsweise eine Spurhalteassistenz und/oder eine Notbremsassistenz und/oder ein Überholassistent, und/oder eine autonome Fahrfunktion.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Die beschriebenen Verfahrensschritte können durch eine Prozessorschaltung durchgeführt werden, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
2 eine Skizze zur Veranschaulichung von Teilintervallen eines Gesamtintervalls, denen jeweils eine zweite Schätzeinheit zugeordnet ist;
3 eine Skizze zur Veranschaulichung mehrerer möglicher Schätzergebnisse, die sich für die Teilintervalle gemäß 2 aus den zweiten Schätzeinheiten ergeben können; und
4 eine Skizze einer Fahrsituation, in welcher das Verfahren, wie es in dem Kraftfahrzeug von 1 durchgeführt werden kann, eingesetzt werden kann.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen, handeln kann. In dem Kraftfahrzeug 10 kann eine automatisierte Fahrfunktion 11 eine Aktuatorik 12 des Kraftfahrzeugs 10 mittels beispielsweise Steuerbefehlen 13 ansteuern. Hierdurch kann die Fahrfunktion 11 das Kraftfahrzeug 10 automatisiert führen. Die Aktuatorik 12 kann hierzu dazu ausgestaltet sein, in Abhängigkeit von den Steuerbefehlen 13 eine Längsführung (Beschleunigung und/oder Bremsung) des Kraftfahrzeugs 10 und/oder eine Querführung (Lenken) ohne ein Zutun einer Bedienperson das Kraftfahrzeug führen. Die Steuerbefehle 13 können von der Fahrfunktion 11 in Abhängigkeit von einer berechneten Fahrtrajektorie 14 erzeugt werden, die durch die Fahrfunktion 11 in Abhängigkeit von in einer Umgebung 15 des Kraftfahrzeugs 10 befindlichen Objekten 16 berechnen kann, um eine Fahrtrajektorie 14 zu erhalten, mittels welcher das Kraftfahrzeug 10 kollisionsfrei durch die Umgebung 15 geführt werden kann.
Zum Detektieren der Objekte 16 kann zumindest ein Umfeldsensor 17 des Kraftfahrzeugs 10 mit seinem Erfassungsbereich 18 in die Umgebung 15 ausgerichtet sein, um mittels des Erfassungsbereichs 18 die Objekte 16 zu erfassen. Hierdurch können entsprechende Sensordaten 19 erzeugt werden, die die Umgebung 15 mit den darin erkennbaren Objekten 16 beschreiben. Die Sensordaten 19 können auch an ein Umfeldmodell 20 übermittelt werden, welches beispielsweise auf der Grundlage der an sich bekannten Sensorfusion und/oder mittels einer Objektdetektion, wie sie mittels künstlicher neuronaler Netzwerke ermittelt oder durchgeführt werden kann, eine abstrahierte oder symbolische Beschreibung der Umgebung 15 mit den detektierten Objekten 16 beschreiben kann. Auch entsprechende Modelldaten 21 des Umfeldmodells 20 können bereitgestellt sein. Aus den Sensordaten 19 und/oder Modelldaten 21 kann zyklisch in jeweiligen Schätzzyklen 22 jeweils ein aktualisierter Merkmalsvektor 23 erzeugt werden, der die in der Umgebung 15 detektierten Objekte beschreibt, beispielsweise geometrische Beziehungen (relative und/oder absolute Abstände) und/oder kinematische Daten (beispielsweise Geschwindigkeitswerte und/oder Beschleunigungswerte). Der zumindest eine Umfeldsensor 17 und das Umfeldmodell 20 repräsentieren jeweils eine Umgebungsüberwachungseinheit.
Die Sensordaten 19 und/oder Modelldaten 21 können auch der Fahrfunktion 11 bereitgestellt werden, was hier nicht weiter dargestellt ist, aber an sich aus dem Stand der Technik bekannt ist.
Um ein Verhalten zumindest eines Objekts 16 in Bezug auf ein zukünftiges mögliches Ereignis 24 überprüfen zu können, beispielsweise ein Ereignis 24 in Form eines Überholmanövers T (Take Over) kann eine Prozessorschaltung 25 vorgesehen sein, die mittels eines Programmcodes das folgende Verfahren implementiert haben kann.
Mittels des Verfahrens kann eine Zeitangabe 26 geschätzt oder ermittelt werden, die eine mögliche Ereigniszeit oder eine mögliche Eintrittszeit des gesuchten oder überprüften Ereignisses 24 angeben kann. Die Zeitangabe 26 kann der Fahrfunktion 11 bereitgestellt sein, wodurch die Fahrfunktion 11 in der Lage ist, auch das in der Zukunft erwartete Ereignis 24 bei der Berechnung oder Planung der Fahrtrajektorie 14 zu berücksichtigen.
Zum Ermitteln der Zeitangabe 26 kann ein jeweils aktualisierter Beobachtungsdatensatz 27 empfangen werden, der beispielsweise durch den Merkmalsvektor 23 realisiert sein kann.
Für das Verfahren können eine erste Schätzeinheit 28 und mehrere zweite Schätzeinheiten 29 bereitgestellt sein, die alle (sowohl erste Schätzeinheit 28 als auch die zweiten Schätzeinheiten 29) mit dem jeweils pro Schätzzyklus 22 verfügbaren aktuellen Beobachtungsdatensatz 27 als Input oder Eingabewerte beaufschlagt werden können.
Die Ausgaben der ersten Schätzeinheit 28 und der zweiten Schätzeinheiten 29 können durch eine Entscheidungslogik 30 zu der Zeitangabe 26 kombiniert werden. Durch die Entscheidungslogik 30 findet eine Auswertung Eval der Ausgaben der zweiten Schätzeinheiten 29, nämlich eines jeweiligen Konfidenzwerts 31, sowie eines aus der ersten Schätzeinheit 28 empfangenen oder durch diese geschätzten Eintrittszeitpunkts 32 statt. Die erste Schätzeinheit 28 kann auf Grundlage eines künstlichen neuronales Netzwerks, das als Regressor Reg betrieben werden kann oder trainiert sein kann, implementiert oder bereitgestellt sein.
Die hier beispielhaft dargestellten fünf zweiten Schätzeinheiten 29 sind nur eine beispielhafte Anzahl, es können beispielsweise auch mindestens zwei oder mindestens drei oder mehr als drei zweite Schätzeinheiten vorgesehen sein. Jede zweite Schätzeinheit kann jeweils durch einen sogenannten Experten oder ein Expertensystem E realisiert oder implementiert sein.
Das Verfahren generiert als Zeitangabe eine TTE-Vorhersage innerhalb eines validierbaren Zeitbereichs, der ein Teilintervall in einem insgesamt überwachten Gesamtintervall darstellt. Die Grundstruktur ist ein Layout mit mehreren Experten-Netzwerken als zweien Schätzeinheiten 29. Innerhalb dieser Grundstruktur werden die Experten mit Daten eines Beobachtungsdatensatzes aus abgegrenzten Zeitintervallen trainiert. 1 zeigt die Grundstruktur, welcher am Eingang eine multivariable Zeitreihe X vorliegt. Die Experten sind mit E₀, E₁,... Es beschriftet. Jeder Experte berechnet ein Klassifikationsergebnis y_cl (z.B. eine ID des Teilintervalls) mit dazugehöriger Konfidenz c_cl sowie einen konstanten Wertebereich über das Zeitintervall der Trainingsdaten mit den Intervallgrenzen y_min und y_max.
Zu sehen sind zudem ein Regressor Reg als erste Schätzeinheit, sowie die drei Ausgänge der Entscheidungslogik Eval: das Klassifikationsergebnis y_cl, ein geschätzter präziser Ereigniszeitpunkt y_reg als TTE auf Basis des Regressors, sowie eine konservative Schätzung der TTE auf Basis des validierten Zeitbereiches y_val (ist in der beschriebenen Form y_min oder y_max).
Der Regressor Reg kann eine beliebige Struktur des maschinellen Lernens aufweisen und ist mit Daten aus allen Zeitbereichen trainiert, also dem Gesamtzeitintervall. Die Experten E₀, E₁,... Es sind interpretierbare Strukturen wie z.B. Entscheidungsbäume oder Netzwerke mit generalisierten radialen Basisfunktionen (GRBF), die ihre Entscheidungen beruhend auf lokalen Nachbarschaftsbeziehungen fällen. Hierbei ist bevorzugt darauf zu achten, dass 1) die Experten interpretierbare Strukturen aufweisen und 2) einen Konfidenzwert zu jeder Vorhersage ausgeben. Dieses Konfidenzmaß kann basieren auf Ähnlichkeitsmaßen, dem randomisierten Deaktivieren einzelner Netzwerkknoten während des Vorhersageprozesses (sog. inference dropout) und weiteren gängigen Methoden zur Konfidenzschätzung erzeugt werden.
2 veranschaulicht das Gesamtintervall 50, das in die disjunkten Teilintervalle T0, T1, T2, T3, T4, T5 eingeteilt sein kann. Jeder Beobachtungsdatensatz 27 kann eine multivariable Zeitreihe sein, das heißt es kann pro Beobachtungsvariable 51 jeweils ein Zeitabschnitt 52 aus einem Zeitsignal, das die Beobachtungsvariable 51 darstellt, in dem Beobachtungsdatensatz 27 angegeben sein. Es kann sich um Zeitwerte oder Beobachtungswerte handeln, die vom aktuellen Zeitpunkt T0 rückwärts gerechnet bis zu dem in der Vergangenheit liegenden Anfang des Zeitabschnitts 52 reichen.
Die Trainingsdaten zur konfidenzbasierten Klassifikation durch interpretierbare Experten beinhalten bevorzugt Trainingsdatensätze für jeden Experten mit ausschließlich Daten in einem bestimmten, vorspezifizierten Zeitbereich oder Teilintervall T1, T2, T3, T4, T5 des Gesamtintervalls 50. 2 zeigt eine exemplarische Zeitreihe mit einer Länge von 6.5 s. Die Marke t = 0 s beschreibt den Beginn des Gesamtintervalls, in welchem prädiziert werden soll. Eine Vielzahl von Untersequenzen von Zeitreihen (in gepunkteten Linien dargestellt) werden daher extrahiert und einem der Experten eindeutig zugeordnet, basierend auf einem ersten Zeitstempel der Untersequenz. Sequenz (a) startet bei 3 s und ist damit dem Experten 3 zugeordnet. Sequenz (b) startet bei 5.52 s und ist damit dem Experten 5 zugeordnet. Im Folgenden werden diese Sequenzen als eingehende Samples bezeichnet.
Eine validierbare TTE kann nun durch Kombination der Klassifikationsergebnisse der interpretierbaren Experten mit dem Ausgang des Regressors erreicht werden. Der Regressor kann hierbei auch durch nicht interpretierbare Algorithmen, z. B. durch tiefe NN, gestaltet werden. Zunächst wird der TTE-Wert eines eingehenden Samples vom Regressor ermittelt. Der prädizierte Wert liegt im Zeitintervall [y_min, y_max] genau eines Experten. Gibt dieser Experte einen hohen Konfidenzwert aus (oberhalb eines Schwellenwerts), so kann das Regressionsergebnis innerhalb der Grenzen des spezifizierten Zeitbereichs des Experten validiert werden, selbst wenn der Regressor zur Bestimmung der TTE eine nicht interpretierbare Struktur aufweist. Die Gegenprobe für diese Prädiktion wird durch Evaluation der Konfidenzen aller anderen Experten durchgeführt. Diese müssen durchgehend niedrige Konfidenzen aufweisen, um den Zeitbereich zu bestätigen. Durch das gleichzeitige Ausführen aller Experten ist es möglich, einen Zeitbereich ohne vorhergehende Regression und nur basierend auf dem Experten mit der höchsten Konfidenz zu bestimmen. Da jedoch die Experten nicht mit dem gesamten Zeitbereich trainiert wurden, ist die TTE Prädiktion durch einen dedizierten Regressor notwendig.
Mit der Prädiktion der TTE über die beschriebenen zwei Wege ist es möglich, die durch den Regressor prädizierte TTE, y_reg, für Unterfunktionen mit geringer Sicherheitsrelevanz zu nutzen, während die Grenzen des validierten Zeitbereichs [y_min, y_max] genutzt werden können. Anhängig von der Anwendung ist hier der obere Grenzwert (z. B. im Fall der Prädiktion „Zeit bis ein Fußgänger die Straße überquert hat“) bzw. der untere Grenzwert (z. B. im Fall „Zeit bis zu einer Notbremsung des vorausfahrenden Fremdfahrzeugs“) als konservativer Wert zu wählen.
3 veranschaulicht drei mögliche Schätzergebnisse A, B, C. Aufgrund von potentiellen Ähnlichkeiten eines eingehenden Samples während der Betriebsphase (Inferenzphase) zu den Trainingsdaten mehrerer Experten im hochdimensionalen Raum kann es vorkommen, dass mehr als ein Experte eine Vorhersage mit einer hohen Konfidenz trifft. 3 erläutert einige Möglichkeiten hierzu. In dem gezeigten Beispiel wird eine TTE von 0.9 ss bestimmt. Die Expertenbereiche entsprechen Darstellung 2.
In A) zeigt Experte E1 eine hohe Konfidenz, während die anderen Experten niedrige Werte aufweisen. Das Ergebnis ist in diesem Fall eine TTE von 0.9 s innerhalb eines validierten Zeitbereichs von 0.5 s - 1.5 s, entsprechend des Zeitbereichs dieses Experten.
In B) weisen zwei benachbarte Experten hohe Konfidenzen auf. In diesem Fall kann der validierte Zeitbereich auf den gemeinsamen Bereich beider Experten erweitert werden. Dieser Fall kann eintreten, wenn ein eingehendes Sample eine TTE im Grenzbereich beider Experten aufweist.
In C) berechnen nicht zusammenhängende Experten einen hohen Konfidenzwert. Ein eindeutiger validierter Zeitbereich kann damit nicht bestimmt werden. Eine Prädiktion sollte in diesem Fall sinnvollerweise für den aktuellen Schritt zurückgewiesen und auf einen späteren Zeitpunkt verschoben werden.
4 veranschaulicht eine Fahrsituation 70. Der Anschaulichkeit halber ist die Fahrsituation 70 aus der Perspektive einer Person gezeigt, die hinter einem Lenkrad 71 des Kraftfahrzeugs 10 sitzen kann und durch eine Frontscheibe 72 auf eine Straße 73 in der Umgebung 15 des Kraftfahrzeugs 10 blickt. Dargestellt ist, wie als ein Objekt 16, das von dem zumindest einen Umfeldsensor 17 erfasst worden sein kann, auf einer Auffahrt 74 mit einer Fahrgeschwindigkeit 75 fährt und voraussichtlich auf die Straße 73 in einem Abbiegemanöver 76 abbiegen wird, das ein Ereignis 24 darstellt, das mittels der Prozessorschaltung 25 anhand des Verfahrens in Bezug auf einen Eintrittszeitpunkt 32 und eine Worst-Case-Intervallgrenze I überprüft werden kann. Als Beobachtungsvariablen 51 können beispielsweise die besagte Fahrgeschwindigkeit 75 und/oder ein Längsabstand 77 zu einem Fahrspurende 78 der Auffahrt 74 und/oder ein seitliche Abstand oder lateraler Abstand 79 des Objekts 16 zu einer Fahrspurbegrenzung 80 sein. Als Objekt 16 kann in der dargestellten Weise beispielsweise ein Fremdfahrzeug erfasst worden sein.
Somit steht durch die geschätzte Zeitangabe 26 eine Information bereit, wann das Objekt 16 auf die Straße 73 voraussichtlich im Ereignis 24, das heißt durch das Abbiegemanöver 76, überwechseln wird und somit vor dem Kraftfahrzeug 10 einscheren wird. Dies kann bei der Planung der Fahrtrajektorie 14, beispielsweise bei der Planung des Geschwindigkeitsprofils und/oder des Wegprofils der Fahrtrajektorie 14, berücksichtigt werden (siehe 1).
Unsere Erfindung verfolgt gleichzeitig eine Klassifikationsaufgabe, so wie eine Regressionsaufgabe im Rahmen der Time-to-Event (TTE) Bestimmung. Nur die Architektur zur Klassifikation stützt sich dabei auf eine inhärent interpretierbare Struktur, während die initiale TTE Regression von beliebig komplexen Modellen durchgeführt werden kann. Durch eine gezielte Partitionierung des Eingangsraumes in klar definierte und getrennte Unterbereichebei der Klassifikation, kann unter Einbezug von Entscheidungskonfidenzen eine Validierung des nicht-interpretierbaren TTE Regressionsergebnisses innerhalb eines bestimmten Zeitbereichs ermöglicht werden.
Das Verfahren ist somit für die Spruwechselintentionserkennung auf Autobahnen implementiert. Es zeigt sich, dass die Methode in diesem Anwendungsbeispiel den Standardmethoden des maschinellen Lernens für Zeitreihen (LSTM, GRU) überlegen ist.
Die vorgeschlagene Methode ermöglicht eine TTE-Prädiktion innerhalb eines validierbaren Zeitbereichs. Die Vorhersage kann hierbei von nicht interpretierbaren Algorithmen, z. B. tiefen neuronalen Netzen, durchgeführt werden. Voraussetzung ist, dass die umgebende Expertenstruktur mit interpretierbaren Klassifikatoren beibehalten wird. Mit der Methode können präzise Vorhersagen innerhalb eines Sicherheitsbereichs getroffen werden, wodurch die Möglichkeiten moderner maschineller Lernmethoden auch für sicherheitsrelevante Anwendungen nutzbar werden.
Insgesamt zeigen die Beispiele, wie ein Verfahren zur validierbaren Voraussage für das Eintreffen von Ereignissen im Straßenverkehr bereitgestellt werden kann.

Claims

Verfahren zum Bereitstellen einer Zeitangabe (26) eines Eintritts eines zukünftigen, vorbestimmten Ereignisses, wobei in einem Schätzzyklus oder in mehreren aufeinanderfolgenden Schätzzyklen (22) jeweils durch eine Prozessorschaltung (25) ein Beobachtungsdatensatz (27) ermittelt wird, der Beobachtungsvariablen (51) umfasst, die in einer Beobachtungsregion, in welcher das Ereignis (24) erwartet wird, erfasst werden, und dadurch gekennzeichnet, dass aus dem Beobachtungsdatensatz (27) mittels einer ersten Schätzeinheit (28) für den Eintritt des Ereignisses ein zukünftiger Eintrittszeitpunkt prädiziert wird, der innerhalb eines durch die erste Schätzeinheit (28) insgesamt überprüften Gesamtintervalls (50) möglicher zukünftiger Eintrittszeitpunkte liegt, wobei für mehrere disjunkte Teilintervalle des Gesamtintervalls (50) mittels einer jeweils zugeordneten zweiten Schätzeinheit (29) anhand des Beobachtungsdatensatzes (27) ein jeweiliger Konfidenzwert geschätzt wird, der einer geschätzten Wahrscheinlichkeit dafür entspricht, dass das Ereignis (24) in dem jeweiligen Teilintervall eintritt, und mittels einer Entscheidungslogik (30) aus dem Eintrittszeitpunkt und den für die jeweiligen Teilintervalle geschätzten Konfidenzwerten die Zeitangabe (26) nur erzeugt wird, falls die Entscheidungslogik (30) als notwendige Bedingung erkennt, dass der Eintrittszeitpunkt in einem solchen der Teilintervalle liegt, zu welchem erkannt wird, dass der Konfidenzwert für dieses Teilintervall größer als ein in der Entscheidungslogik (30) vorgegebener Schwellenwert ist, wobei die Zeitangabe (26) umfasst: a) eine Angabe des geschätzten Eintrittszeitpunkts (32) sowie b) eine jeweilige Angabe einer oberen Intervallgrenze und/oder einer unteren Intervallgrenze desjenigen Teilintervalls, in welchem der Eintrittszeitpunkt liegt, oder derjenigen Kombination solcher der Teilintervalle, die folgende Bedingungen erfüllen: • sie grenzen aneinander an und • der jeweilige Konfidenzwert ist größer als der Schwellenwert und der Eintrittszeitpunkt fällt in die Kombination.
Verfahren nach Anspruch 1, wobei durch die Prozessorschaltung (25) in einem Kraftfahrzeug (10) der jeweilige Beobachtungsdatensatz (27) aus zumindest einer Umgebungsüberwachungseinheit des Kraftahrzeugs empfangen wird, welche als Beobachtungsbereich einen umgebenden Straßenverkehr erfasst, und als Ereignis (24) ein Verkehrsereignis (24) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für die Zeitangabe (26) aus der oberen und unteren Intervallgrenze nur diejenige Intervallgrenze ausgewählt wird, die gemäß einer Empfängertypangabe, welche einen Empfänger der Zeitangabe (26) charakterisiert, eine Worst-Case-Schätzung oder eine Best-Case-Schätzung darstellt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Entscheidungslogik (30) umfasst, dass die Konfidenzwerte aller zweiten Schätzeinheiten (29) berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Entscheidungslogik (30) umfasst, dass für den Fall, dass der jeweilige Konfidenzwert zweier der Teilintervalle über dem Schwellenwert und der Konfidenzwert eines zwischen diesen Teilintervallen liegenden weiteren der Teilintervalle kleiner als der Schwellenwert ist, die Zeitangabe (26) blockiert oder als ungültig markiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die jeweilige zweite Schätzeinheit (29) eine Expertenschätzung umfasst, die insbesondere die Beobachtungsvariablen (51) und/oder deren zeitliche Ableitung und/oder deren zeitliches Integral als eigenständige Entscheidungsgrößen zum direkten Bestimmen der Zeitangabe (26) verwendet.
Verfahren nach Anspruch 6, wobei in der jeweilige zweiten Schätzeinheit (29) die Expertenschätzung als ein Entscheidungsbaum, Decision Tree, und/oder mittels generalisierter radialer Basisfunktionen, GRBF, und/oder mittels einer Suport-Vector-Machine, SVM, und/oder einer k-means-Clusterung bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Schätzeinheit (28) ein tiefes künstliches Neuronales Netzwerk, DNN, und/oder ein künstliches neuronales Netzwerk für Zeitreihen, insbesondere ein LSTM und/oder eine GRU, umfasst, durch welches insbesondere die Beobachtungsvariablen (51) zu Zwischenvariablen als Entscheidungsgrößen zum Bestimmen der Zeitangabe (26) miteinander verrechnet werden.
Kraftfahrzeug (10), aufweisend zumindest eine Umgebungsüberwachungseinheit, welche dazu eingerichtet ist, als einen Beobachtungsbereich einen umgebenden Straßenverkehr zu erfassen und den beobachteten Straßenverkehr zyklisch durch einen jeweiligen aktuellen Beobachtungsdatensatz (27) zu beschreiben, dadurch gekennzeichnet, dass in dem Kraftfahrzeug (10) eine Prozessorschaltung (25) mit der zumindest einen Umgebungsüberwachungseinheit gekoppelt und dazu eingerichtet ist, die Beobachtungdatensätze zu empfangen und ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.