DE112019004554T5

DE112019004554T5 - System und verfahren zur warnung vor vorhergesagten fahrzeugvorfällen und zum ausweichen

Info

Publication number: DE112019004554T5
Application number: DE112019004554.7T
Authority: DE
Inventors: Andreas U. Kuehnle; Shaun Michael HOWARD
Original assignee: Bendix Commercial Vehicle Systems LLC
Current assignee: Bendix Commercial Vehicle Systems LLC
Priority date: 2018-09-12
Filing date: 2019-09-06
Publication date: 2021-07-15
Also published as: CN112673407B; CN112673407A; MX2021002922A; US11518380B2; WO2020055693A1; US20200079369A1

Abstract

Eine fahrzeuginterne Datenerfassungs- und -verarbeitungsvorrichtung empfängt Echtzeitdaten von einer Vielzahl von Sensoren, die sich auf mindestens eines von einem aktuellen Fahrzeugzustand und einem aktuellen Fahrerzustand beziehen. Die Vorrichtung sagt dann durch Verarbeitung mindestens eines Teils der Echtzeitdaten durch einen vorab trainierten Mustererkennungsalgorithmus die Wahrscheinlichkeit des Auftretens von mindestens einem aus einer Vielzahl von Vorfällen voraus, die das Fahrzeug betreffen. Als Reaktion gibt die Vorrichtung einen oder mehrere Typen von Warnungen aus und/oder führt ein Ausweichmanöver des Fahrzeugs durch, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über einem oder mehreren Schwellenwerten liegt.

Description

GEBIET DER ERFINDUNG
Die Erfindung bezieht sich auf die Bereitstellung von Warnungen vor vorhergesagten Fahrzeugvorfällen und/oder von Ausweichmanövern und insbesondere auf die Ausgabe von Warnungen und/oder die Durchführung eines Fahrzeugausweichmanövers basierend auf der Wahrscheinlichkeit, mit der das Auftreten eines Fahrzeugvorfalls vorhergesagt wird.
HINTERGRUND
Konventionell werden Fahrerassistenzsysteme in Fahrzeugen eingesetzt, um den Fahrer auf der Grundlage eines aktuell vorhandenen Zustands oder einer aktuell vorhandenen Bedingung zu warnen und zu unterstützen, wie z. B. durch die Verwendung von Spurverlassenswarnsystemen, Abstandshaltesystemen, Einparkassistenzsystemen und dergleichen. Derartige Systeme nach dem Stand der Technik sind jedoch insofern begrenzt, als dass sie ausschließlich auf einen Ist-Zustand reagieren und dem Fahrer daher keine erweiterte Möglichkeit bieten, proaktiv zu handeln, um einen möglichen zukünftigen Vorfall zu vermeiden.
Ein System, das ausschließlich auf einen gegenwärtigen Zustand reagiert, ist zum Beispiel ein Spurverlassenswarnsystem, das das Maß „Zeit bis zur Linienüberquerung“ verwendet. Dieses Maß funktioniert, indem es die seitliche Geschwindigkeit eines Fahrzeugs in Bezug auf die Fahrbahnmarkierung misst, berechnet, wie viel Zeit bis zum Erreichen der Linie verbleibt (= verbleibender Abstand / seitliche Geschwindigkeit), und warnt, wenn diese Zeit kleiner als ein bestimmter Wert ist (z. B. 0,5 Sekunden).
Ein weiteres Beispiel ist die „Brain-to-Vehicle“-Technologie, bei der die Hirnströme eines Fahrers so überwacht werden, dass ein Fahrzeug zwischen 0,2 und 0,5 Sekunden früher reagieren kann als ohne diese Überwachung. Des Weiteren ist für diese Hirnstrommessung ein elektrischer Kontakt mit der Kopfhaut erforderlich, was ein Nachteil ist. Ein typischer Zeitvorsprung sowohl für die Spurverlassenswarn- (LDW, Lane Department Warning) als auch für die hirngesteuerte Technologie beträgt -0,5 Sekunden.
Im Gegensatz dazu besteht ein Aspekt der Erfindung darin, eine viel größere Zeitspanne (z. B. mehrere Sekunden bis mehrere Minuten) zur Verfügung zu stellen, um den Fahrer vor dem Auftreten eines Vorfalls zu warnen oder ihn zu unterstützen.
Von daher besteht im Stand der Technik ein Bedarf an einem System und Verfahren zur Bereitstellung einer Warnung vor vorhergesagten Vorfällen und eines Ausweichmanövers.
ZUSAMMENFASSUNG DER ERFINDUNG
In einer Ausführungsform der Erfindung ist eine fahrzeuginterne Datenerfassungs- und -verarbeitungsvorrichtung dafür konfiguriert, eine Warnung vor einem vorhergesagten Vorfall bereitzustellen und ein Ausweichen zu gewährleisten. Die Vorrichtung umfasst mindestens einen aus einer Vielzahl von Sensoren und eine Signalschnittstelle zu der Vielzahl von Sensoren und einen Speicher, der dafür konfiguriert ist, eine Vielzahl von ausführbaren Anweisungen und einen vorab trainierten Mustererkennungsalgorithmus zu speichern. Ein Prozessor, der über die Signalschnittstelle mit der Vielzahl von Sensoren und mit dem Speicher verbunden ist, ist dafür konfiguriert, die Vielzahl von ausführbaren Anweisungen auszuführen, um Echtzeitdaten von der Vielzahl von Sensoren zu empfangen, die sich auf mindestens eines von einem aktuellen Fahrzeugzustand und einem aktuellen Fahrerzustand beziehen. Der Prozessor ist auch dafür konfiguriert, die Vielzahl von Anweisungen auszuführen, um eine Wahrscheinlichkeit des Auftretens von mindestens einem aus einer Vielzahl von Vorfällen, die das Fahrzeug betreffen, durch Verarbeiten mindestens eines Teils der Echtzeitdaten durch den vorab trainierten Mustererkennungsalgorithmus (oder ein analoges Verfahren) vorherzusagen, einen ersten Warnungstyp auszugeben, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über einem ersten Schwellenwert, aber nicht über einem zweiten Schwellenwert liegt, und einen zweiten Warnungstyp auszugeben und/oder ein Ausweichmanöver des Fahrzeugs durchzuführen, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über dem zweiten Schwellenwert liegt.
Weitere Ziele, Vorteile und neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung einer oder mehrerer bevorzugter Ausführungsformen ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet werden.
Figurenliste

1 ist ein vereinfachtes Flussdiagramm eines Verfahrens zur Implementierung eines Systems zur Bereitstellung von Warnungen vor Fahrzeugvorfällen und/oder von Ausweichmanövern gemäß einem oder mehreren Beispielen der Erfindung.
2 zeigt ein Beispiel für gemischte Ereignis- und regelmäßig erfasste Daten gemäß den Prinzipien der Erfindung.
3 zeigt eine Ausführungsform eines Assoziationsschemas, bei dem die Häufung von niedrigen Werten für die Zeit bis zur Linienüberquerung zusammen mit einer variierenden Geschwindigkeit verwendet werden kann, um das Auftreten eines schwerwiegenden Spurverlassensereignisses vorherzusagen.
4 veranschaulicht ein Beispiel für ein Neuron eines neuronalen Netzes, das mit drei Eingabesignalen, A, B und C, gemäß den Prinzipien der Erfindung versorgt wird.
5 ist ein vereinfachtes Flussdiagramm eines Verfahrens zur Verwendung des Systems von 1 zur Bereitstellung von Warnungen vor Fahrzeugvorfällen und/oder von Ausweichmanövern gemäß einem oder mehreren Beispielen der Erfindung.
6 ist eine schematische Darstellung einer beispielhaften Ausführungsform einer Vorrichtung zur vorausschauenden Vorfallsunterstützung, die dafür konfiguriert ist, eine oder mehrere Operationen der Verfahren von 1 und 5 durchzuführen, gemäß einem oder mehreren Beispielen der Erfindung.

BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMEN DER ERFINDUNG
In der beispielhaften Ausführungsform der vorliegenden Erfindung können Lkw und Pkw und insbesondere Flottenfahrzeuge mit einer oder mehreren Datenerfassungs- und -verarbeitungsvorrichtungen konfiguriert sein, von denen ein Beispiel weiter unten in Bezug auf 6 näher beschrieben ist, die Informationen erfassen und Daten erzeugen, wie etwa im Beispiel einer Lkw-Flotte Lkw-Start-, Lkw-Stopp- und Sicherheitsereignisdaten, wobei ein solches System zum Beispiel ein Spurverlassenswarnsystem 622 (6) umfasst, das Signale, die auf ein oder mehrere Ereignisse hinweisen, und Fahrer- und Fahrzeugereignisdaten erzeugt, die im Beispiel der Lkw-Flotte einen Spurwechsel oder das Überqueren der Fahrbahnmarkierung betreffen. Darüber hinaus werden sekundäre Systeme, die weiter unten, ebenfalls unter Bezugnahme auf 6, näher beschrieben sind, von den Fahrzeugen mitgeführt oder sind in den Fahrzeugsystemen installiert, wie z. B. eine oder mehrere Videokameras, Radar-, Getriebe-, Motor-, Reifendrucküberwachungs- und Bremssysteme, und können zusätzliche Daten erzeugen. Systeme von Drittanbietern, die eigene Ereignisse oder Daten erzeugen, welche erkannte Ereignisse repräsentieren, können ebenfalls beteiligt sein. Zum Beispiel können die Ausführungsformen der vorliegenden Erfindung Softwarecode enthalten, der ein Bendix® Wingman® ACB-System implementiert, das von Bendix Commercial Vehicle Systems LLC erhältlich ist und proprietäre Sicherheitsereignisse und andere Daten in Bezug auf die proprietären Sicherheitsereignisse und/oder in Bezug auf die Bedienung des Fahrzeugs durch einen oder mehrere Fahrzeugführer oder Fahrer erfasst.
Eine Art der erfassten Daten kann als „Ereignisdaten“ kategorisiert werden, die mindestens einem aus einer Vielzahl von vordefinierten Ereignissen wie z. B. einer Spurabweichung, einer übermäßigen Bremsung, einer übermäßigen Querbeschleunigung, einem Überschlag usw. entsprechen. Ereignisdaten können über ein vorbestimmtes Zeitfenster erfasst werden, das irgendeine Anzahl von Sekunden an Daten vor einem vordefinierten Ereignis oder irgendeine Anzahl von Sekunden an Daten sowohl vor als auch nach einem solchen Ereignis umfasst. Umgekehrt können Daten zum Beispiel in vordefinierten regelmäßigen Zeitintervallen erfasst werden, die ansonsten keinem der Vielzahl von vordefinierten Ereignissen entsprechen und die als „Intervalldaten“ kategorisiert werden können. Unregelmäßig (stichprobenartig) erfasste Daten sind ebenfalls möglich. Unabhängig davon, ob sie regelmäßig oder unregelmäßig erfasst werden, können solche Intervalldaten Daten entsprechen, die über ein vorbestimmtes Zeitfenster erfasst werden.
Ein Aspekt der Erfindung besteht darin, solche Intervalldaten mit dem Auftreten oder wahrscheinlichen Auftreten von Ereignissen in Beziehung zu setzen. Ein Beispiel dafür, wie Intervalldaten mit dem Auftreten oder wahrscheinlichen Auftreten von Ereignissen in Beziehung gesetzt werden können, steht im Kontext mit der Reaktionsfähigkeit des Fahrers, die zur Bestimmung, ob ein Unfall passieren kann, verwendet werden kann. Wenn ein Fahrer schnell auf einen gegebenen Stimulus reagiert, und zwar im richtigen Sinne und mit dem richtigen Timing, kann ein Unfall verhindert werden. Es ist daher von Interesse, die Reaktionszeiten und die „Größe“ und/oder „Polarität“ der Reaktion auf einen Stimulus zu messen.
Nehmen wir zum Beispiel an, dass ein Geschwindigkeitsbegrenzungsschild passiert wird und das Fahrzeug zu schnell fährt. Das System kann das Geschwindigkeitsschild lesen und eine Geschwindigkeitswarnung ausgeben, wenn das gesetzliche Limit um mehr als einen Schwellenwert (z. B. 8 km/h) überschritten wird. Die Geschwindigkeiten vor und nach der Warnung können dann aufgezeichnet und analysiert werden, um festzustellen, ob der Fahrer auf die angezeigte Geschwindigkeit korrigiert. Die Zeitspanne, die vergeht, bis eine Korrektur erfolgt, wird ermittelt und kann als Maß für die Funktionalität des Fahrers genommen werden.
Ein weiteres Beispiel steht im Kontext mit dem zu nahen Heranfahren an ein vorausfahrendes Fahrzeug, sei es durch Unaufmerksamkeit oder durch ein schneidendes Fahrzeug. Eine gemessene Reaktion auf diese Situation kann als analoges Reiz-Reaktions-Szenario verwendet werden. Hier wird die Zeit für die Rückkehr von der Mindestfahrzeugfolgezeit zu einem sicheren Wert gemessen.
Zusätzlich zu den Reaktionsfähigkeiten des Fahrers kann eine zweite Kategorie von Umständen verwendet werden, um zu bestimmen, wie prädisponiert eine Situation für das Auftreten eines Unfalls ist. Hierzu gehören Umgebungen mit hohem Rauschen und schwachen Signalen. Zum Beispiel kann die Bedingung „tiefstehende Sonne von vorne“ dem Fahrer das Sehen erschweren. Niedrige Beleuchtungsstärken oder Blendung in der Nacht können die Sicht erschweren. Viele Verkehrsteilnehmer oder Umgebungselemente können es einem Fahrer erschweren, sich nur auf die relevanten zu konzentrieren. So können zum Beispiel Schatten, insbesondere intermittierende Schatten (z. B. eine Baumreihe), das Erkennen einer Gefahrensituation erschweren, während schmale Fahrspuren Kollisionen wahrscheinlicher machen können.
Ein Aspekt der Erfindung bezieht sich daher auf die Messung der Reaktionsfähigkeit des Fahrers, der Reaktionsrichtigkeit und verschiedener Umgebungsfaktoren, um die Wahrscheinlichkeit des Auftretens eines Unfalls zu bestimmen.
Ein weiterer Aspekt der Erfindung besteht in der Verwendung von Intervalldaten, um ein Ereignis vorherzusehen oder um bestimmte erkannte Bedingungen mit einer erhöhten Wahrscheinlichkeit des Auftretens eines Ereignisses in der nahen Zukunft zu assoziieren. Zum Beispiel kann ein Fahrer Anzeichen von Müdigkeit zeigen, indem er seine Augen immer häufiger und für immer längere Zeit schließt. Sobald er in den Verkehr einfährt, kann eine Kollision mit einem vorausfahrenden Fahrzeug wahrscheinlicher werden. Von daher kann ein vorausschauendes Vorfallanalysesystem verwendet werden, um eine solche erhöhte Wahrscheinlichkeit eines Unfalls zu erkennen (aber nicht zu garantieren) und als Reaktion darauf eine Fahrerwarnung zu erzeugen und/oder ein autonomes Ausweichmanöver vorzunehmen und/oder eine Fahrerunterstützung auszuführen.
Unter nunmehriger Bezugnahme auf die Figuren zeigt 1 ein Verfahren zur Implementierung eines Systems, das dafür konfiguriert ist, Fahrzeugvorfallwarnungen und/oder Ausweichmanöver bereitzustellen, gemäß einer oder mehreren Ausführungsformen der Erfindung. Insbesondere beginnt das Verfahren 100 von 1 bei Block 110 mit der Erfassung von vorfallsgetriggerten „Ereignisdaten“, die, wie oben erwähnt, mindestens einem aus einer Vielzahl von vordefinierten Ereignissen entsprechen, z. B. einer Spurabweichung, einer übermäßigen Bremsung, einer übermäßigen Querbeschleunigung, einem Überschlag, usw. Diese Ereignisdaten können mit einem oder mehreren fahrzeugbasierten Datenerfassungs- und - verarbeitungsvorrichtungen erfasst werden, von denen ein Beispiel nachstehend unter Bezugnahme auf 6 beschrieben ist. Solche Ereignisdaten können Fahrzeug- und/oder Fahrerzuständen entsprechen, die zum Zeitpunkt des Auftretens eines Ereignisses vorliegen, oder sie können alternativ einem Zeitfenster entsprechen, das zum Auftreten eines Ereignisses führt, dieses enthält oder es umgibt (z. B. X Sekunden vor einem erkannten Ereignis, X Sekunden sowohl vor als auch nach einem erkannten Ereignis, usw.). Ein nicht einschränkendes Beispiel für die Zeitdauer dieses Fensters könnte 10 Sekunden vor und 10 Sekunden nach dem erkannten Ereignis sein.
Neben der Erfassung von Ereignisdaten erfasst das Verfahren 100 außerdem separat Intervalldaten des Fahrzeugs und/oder des Fahrers (Block 120), gleichfalls unter Verwendung einer oder mehrerer fahrzeugbasierter Datenerfassungs- und -verarbeitungsvorrichtungen wie z. B. der unten beschriebenen Vorrichtung 300. Solche Intervalldaten 120 können in vorgegebenen oder zufälligen Zeitintervallen erfasst werden (z. B. alle X Sekunden, im Durchschnitt alle X Minuten usw.). 2 zeigt ein Beispiel dieser gemischten Ereignis- und regelmäßig erfassten Daten, wobei Daten in regelmäßigen Datenintervallen erfasst werden, gekennzeichnet durch Punkte, die entlang der Zeitachse aufgetragen sind, und Ereignisdaten in einem Zeitfenster um ein erkanntes Ereignis herum erfasst werden, gekennzeichnet durch eckige Klammern.
Im Fall von Ereignisdaten und/oder Intervalldaten können Fahrzeug- und Fahrerdaten von einer Vielzahl von Fahrzeugen, entweder von einer einzigen Flotte oder quer über verschiedene Flotten, sowie von einer Vielzahl von Fahrern erfasst werden. Solche Daten können über Hunderte oder sogar Tausende von einzelnen Fahrzeugfahrten gesammelt werden. Solche Daten können auf Sensorsignalen basieren, die über einen festen Zeitraum (z. B. 20 Sekunden) mit einer durchschnittlichen oder vorgegebenen Abtastrate wie z. B. 10 Hz dicht gemessen werden, was die 200-fache Anzahl von Messsignalen liefern würde (die einzelne Pixelwerte oder analysierte Bilder (z. B. „es ist vorne sehr dunkel“) enthalten können). Die Ereignis- und Intervalldaten können mit bekannten Big-Data-Methoden aggregiert werden, wie z. B. jenen, die für die Vorhersage der Wahrscheinlichkeit des Auftretens eines Artikelverkaufs bekannt sind, während im Fall der Ereignisdaten die Daten optional in Bezug auf einen Ereignistyp getaggt werden können.
Ein Aspekt der Erfindung besteht darin, die erfassten Ereignisdaten zu verwenden, um die Intervalldaten je nach Lage des Falles mit einem auftretenden oder nicht auftretenden Ereignis zu assoziieren. Das heißt, die zu irgendeinem zufälligen Zeitpunkt erfassten Intervalldaten können mit zu einem Zeitpunkt in der Zukunft erfassten Ereignisdaten in Beziehung gesetzt werden, wobei die Differenz zwischen den erfassten Intervalldaten und den zukünftigen Ereignisdaten ein quantifizierbarer Wert ist. Insbesondere kann die Beziehung zwischen den erfassten Intervalldaten und den zukünftigen Ereignisdaten durch ein Mustererkennungssystem (z. B. ein neuronales Netz oder einen anderen Mustererkennungsalgorithmus) definiert werden, das zu einem beliebigen Zeitpunkt mit erfassten Intervalldaten trainiert wurde, wobei die Zielwerte den Ereignisdaten für ein Ereignis entsprechen, das X Sekunden oder sogar Minuten in der Zukunft stattfindet. 3 zeigt ein solches Assoziationsschema, bei dem die Häufung von niedrigen Werten für die Zeit bis zur Linienüberquerung zusammen mit einer variierenden Geschwindigkeit das Auftreten eines schwerwiegenden Spurverlassensereignisses vorhersagt. Ähnliche Vorfeldmuster können, nachdem genügend Daten erfasst sind, auch für andere unerwünschte Ereignisse verwendet werden.
Zu diesem Zweck umfasst das Verfahren 100 weiterhin die Verwendung der erfassten Ereignisdaten 110 und der Intervalldaten 120 zum Trainieren eines neuronalen Netzes (oder eines anderen Mustererkennungsalgorithmus) in Block 130, was vorzugsweise in einer Offline-Umgebung, z. B. von einem Backend-Server, durchgeführt wird. Im Allgemeinen kann das neuronale Netz darauf trainiert werden, die Beziehung zwischen Eingabesignalen und einem in der Zukunft auftretenden Ereignis zu erkennen, woraus eine Wahrscheinlichkeit oder Schwere des tatsächlich auftretenden Ereignisses bestimmt werden kann. Frühere (d. h. bevor ein Ereignis auftritt) Signalwerte, die mehrere Typen umfassen können, können als Eingaben für ein neuronales Netz bereitgestellt werden. Die gewünschte Ausgabe ist der Ereignistyp (z. B. zu große Annäherung an ein vorausfahrendes Fahrzeug, kodiert als Wert, z. B. +4) oder das Nicht-Auftreten eines Ereignisses (ebenfalls als Wert kodiert, z. B. als +0). Das Netz lernt, nachdem es mit Beispielen von auftretenden und nicht auftretenden Ereignissen konfrontiert wurde, die Eingaben und die Ausgaben zu assoziieren.
Es versteht sich, dass der Trainingsprozess von Block 130 nicht in Echtzeit im Fahrzeug ausgeführt werden muss, da das Erkennen der Vorhersagemuster tendenziell deutlich mehr Rechenleistung erfordert, als in einem Fahrzeug verfügbar ist. Von daher kann die Operation von Block 130 das Erfassen großer Datenmengen, wie oben beschrieben, von vielen Fahrzeugen und die anschließende Verarbeitung der Daten auf leistungsstarken Computern, die in einem Labor oder in der Cloud laufen, umfassen. Diese Computer können eine beliebige Anzahl von bekannten Techniken verwenden, um Muster in den Daten zu erkennen, z. B. durch Verwendung von Brute-Force, Data-Mining, logischer Programmierung und/oder probabilistischen Modellen.
Unabhängig davon, wo oder wann es durchgeführt wird, kann das Training des neuronalen Netzes von Block 130 eine Untersuchung umfassen, die über einen längeren Zeitraum durchgeführt wird und bei der Intervalldaten, die vor einem Ereignis erfasst wurden, untersucht werden und mit der Art des Unfalls oder Ereignisses in Beziehung gesetzt werden, der bzw. das tatsächlich innerhalb von X Sekunden oder X Minuten danach folgt. Negativbeispiele (d. h. erfasste Intervalldaten, auf die kein Ereignis folgt) sind ebenso wichtig für die Erstellung von Regeln und das Training des neuronalen Netzes, um zu bestimmen, wann das Auftreten eines Unfalls wahrscheinlich oder unwahrscheinlich ist. In bestimmten Ausführungsformen können Negativbeispiele verwendet werden, um das Netz darauf zu trainieren, sich langsamer entwickelnde Ereignisse zu erkennen, wie z. B. Unfälle, die durch Müdigkeit verursacht werden. Die Negativbeispiele können auch verwendet werden, um das Netz darauf zu trainieren, zu erkennen, wann kein Ereignis in der Zukunft auftreten wird, da es bei diesen Beispielen keine unsicheren Fahreraktivitäten gibt. In Kombination werden die Positiv- und die Negativbeispiele verwendet, um Regeln für das neuronale Netz zu erstellen (d. h. das Netztraining von Block 130 durchzuführen), die verwendet werden können, um vorherzusagen, wann Unfälle auf kurzen und wahlweise längeren Zeitskalen auftreten könnten. Die Anzahl der Datenproben, die an das Netzwerk gegeben werden, kann vorteilhaft durch die Einstellung der Abtastfrequenz begrenzt werden, z. B. könnte man die Reaktionszeit über die letzte Stunde verfolgen, indem man sie jede Minute misst (60 Eingaben), oder man könnte die Reaktionszeit in engen Straßenabschnitten wie z. B. Baustellen verfolgen, indem man sie für die letzte Minute jede Sekunde misst (ebenfalls 60 Eingaben).
In bestimmten Ausführungsformen besteht ein weiterer Aspekt der Erfindung darin, die Notwendigkeit, die erfassten Daten manuell zu kennzeichnen, bevor sie dem Mustererkennungsalgorithmus des neuronalen Netzes zur Verfügung gestellt werden, zu reduzieren oder sogar zu eliminieren. Der Grund dafür ist, dass die Art und Weise, in der die Daten erfasst werden, inhärent die Information enthält, ob ein Ereignis aufgetreten ist oder nicht (d. h. als Negativ- oder Positivbeispiel gekennzeichnet ist), und daher die typische manuelle und zeitintensive Aufgabe der Kennzeichnung von Daten nicht erforderlich sein könnte. In bestimmten Ausführungsformen kann es jedoch hilfreich sein, Bereiche von Bildern maschinell zu kennzeichnen (z. B. Einfügen von Begrenzungsrahmen um Objekte, die durch die Bildverarbeitung identifiziert wurden) oder Logik mit mathematischen und/oder physikbasierten Konzepten anzuwenden, bevor eine endgültige Regel generiert wird. In jedem Fall sollte man sich darüber im Klaren sein, dass die maschinelle Kennzeichnung von Bildbereichen oder numerischen Fahrzeugdaten vorzugsweise als grober, einfacher und schneller (nur vor-, teil- oder grobverarbeiteter) Vorgang durchgeführt wird, so dass das trainierte neuronale Netz in eine ressourcenbeschränkte Umgebung wie z. B. ein fahrzeuginternes Hardwaresystem portiert werden kann.
In bestimmten Ausführungsformen kann eine Vorverarbeitung von Videodaten vor dem Training des neuronalen Netzes durchgeführt werden, z. B. bevor diese an einen Mustererkennungsalgorithmus übergeben werden. Diese Vorverarbeitung kann das Ergänzen der Videodaten mit zusätzlichen Informationen beinhalten. Im Falle einer Innenkamera könnten die Videodaten zum Beispiel mit zusätzlichen Informationen ergänzt werden, die eine ermittelte Blickrichtung des Fahrers relativ zur Straße vorne, den Augenzustand des Fahrers, den Ausdruck des Fahrers, die Handposition usw. betreffen. Bei Videodaten, die von einer Außenkamera erfasst wurden, kann die Vorverarbeitung die Ergänzung der Videodaten mit Informationen über das Vorhandensein von und den Abstand zu vorausfahrenden (oder in der Nähe befindlichen) Fahrzeugen, die Textur der Szene, erkannte Verkehrsampeln und/oder Schilderbegrenzungsrahmen usw. umfassen. Solche zusätzlichen Attribute werden typischerweise von fahrzeuggebundenen Systemen generiert und ergänzen vorteilhaft die unverarbeiteten Sensordaten (z. B. ein nach vorne gerichtetes Kamerabild). Die Trainingsphase des neuronalen Netzes (oder eines anderen Klassifikators) kann bestimmen, welche Vorverarbeitung sinnvoll ist und welche nicht, wobei gewisse Messungen als erforderlich, andere als „heranzuziehen, wenn möglich“ und ein letzter Satz als nicht notwendig gekennzeichnet werden.
Da die Datenmenge, die zum Trainieren des neuronalen Netzes verwendet wird, sehr groß sein kann, insbesondere wenn sie von mehreren Fahrzeugflotten über einen beträchtlichen Zeitraum gesammelt wird, kann das Verfahren 100 außerdem eine Operation zur Reduktion des neuronalen Netzes (Block 140) umfassen, bei der die Größe der Datenbank des neuronalen Netzes reduziert werden kann, um in eine ressourcenbeschränkte Umgebung wie z. B. ein fahrzeuginternes Hardwaresystem portiert werden zu können. Dies wird durch die Tatsache ermöglicht, dass, sobald ein Muster durch den obigen Prozess von Block 130 identifiziert wurde, nicht viel Rechenleistung erforderlich ist, um das Muster in einem oder mehreren Eingabesignalen zu erkennen. Von daher kann das neuronale Netz, das auf einem Backend-Server entwickelt wird, auf ein Modul reduziert werden, das in einem Fahrzeug angemessen laufen kann. Eine solche Reduktion kann durch Eliminierung unnötiger Teile des Netzes (d. h. „Pruning“) und Komprimierung der verbleibenden erfolgen, gegebenenfalls unter Verwendung von Approximationen oder Operationen, die weniger numerische Präzision erfordern. Alternativ oder zusätzlich kann eine Reduktion des neuronalen Netzes durch eine Reduktion des Parametersatzes, eine Reduktion der Anzahl der Schichten und/oder durch eine Binarisierung des Netzes erreicht werden.
Man betrachte als Beispiel 4, in der ein Neuron 400 mit drei Eingabesignalen, A, B und C, versorgt wird. Die Werte, die den Eingabesignalen gegeben werden, sind in einem Bereich begrenzt, z. B. 0 bis 1. Die Eingaben können mit einem Gewichtungsfaktor multipliziert werden, der im Fall von A viel kleiner ist als jeder der beiden anderen Eingaben. Da die Eingaben so normiert sind, dass sie zwischen 0 und 1 liegen, bedeutet dies, dass Signal A in der resultierenden Ausgabe ein deutlich geringeres Gewicht hat als entweder B oder C. Von daher kann Signal A vorteilhaft eliminiert oder ignoriert werden. Darüber hinaus liegen beide Signale B und C nahe an Vielfachen von ¼, so dass man in Erwägung ziehen kann, die vollständige Fließkommamultiplikation auf eine Bitverschiebung zu reduzieren, indem man einfach mit den nahegelegenen Näherungswerten von 0,25 bzw. 0,75 multipliziert und so den Rechenaufwand reduziert. In diesem Beispiel wurde also das Eingabesignal A entfernt oder „geprunt“, während die Signale B und C diskretisiert und ihre Berechnung effizienter gestaltet wurde.
Unter nochmaliger Bezugnahme auf 1 setzt sich das Verfahren 100 mit Block 150 fort, wo das trainierte neuronale Netz in ein eingebettetes fahrzeuginternes Hardwaresystem wie z. B. eine Datenerfassungs- und - verarbeitungsvorrichtung, wie sie unten in Bezug auf 6 ausführlicher beschrieben ist, portiert wird. Das endgültige System funktioniert dann im Zielfahrzeug gemäß dem Verfahren von 5 wie unten beschrieben.
Unter nunmehriger Bezugnahme auf 5 ist ein Verfahren 500 zur Verwendung des trainierten neuronalen Netzes von 1 dargestellt, um Fahrzeugvorfallwarnungen und/oder Ausweichmanöver gemäß einem oder mehreren Beispielen der Erfindung bereitzustellen. Das Verfahren 500 beginnt bei Block 510 mit der Erfassung von Echtzeitdaten. Eine solche Datenerfassung kann unter Verwendung der gleichen oder einer ähnlichen/ähnlicher Datenerfassungs- und -verarbeitungsvorrichtung(en) erfolgen, wie sie in Verbindung mit dem oben in Bezug auf 1 beschriebenen Verfahren verwendet werden und von denen ein Beispiel nachstehend in Bezug auf 6 ausführlicher beschrieben ist. Wie unten in Bezug auf 6 genauer beschrieben, können solche Daten von einem oder mehreren fahrzeuggebundenen Sensorsystemen erfasst werden, die während des Fahrzeugbetriebs Echtzeitsignale erzeugen, die einen oder mehrere aktuelle Fahrzeug- und/oder Fahrerzustände anzeigen. Darüber hinaus können solche Echtzeitdaten auch Daten umfassen, die durch bordeigene Systeme von Drittanbietern bereitgestellt werden, wie sie oben beschrieben sind.
Nach dem Erfassen werden die Echtzeitdaten in Block 520 durch das portierte trainierte neuronale Netz von der/den fahrzeuginternen Datenerfassungs- und - verarbeitungsvorrichtung(en) verarbeitet, z. B. einem Mustererkennungsalgorithmus zur Verfügung gestellt, der gemäß dem Verfahren von 1 vorab trainiert und in einem Speicher der fahrzeuginternen Vorrichtung gespeichert worden ist. Von da an bestimmt das fahrzeuginterne trainierte neuronale Netz, ob ein vordefiniertes Ereignis oder ein Vorfall als wahrscheinlich (z. B. über einer ersten vorgegebenen Wahrscheinlichkeit liegend) oder sogar sehr wahrscheinlich (z. B. über einer zweiten vorgegebenen Wahrscheinlichkeit liegend) vorhergesagt wird (Block 530). Wenn zum Beispiel das vorab trainierte neuronale Netz darauf trainiert wurde, eine bestimmte Kombination von Bedingungen (z. B. ein bestimmtes Muster von Sensorsignalen und/oder Zuständen) als zu einem Ereignis führend zu interpretieren, das mit einer höheren als einer ersten vorgegebenen Wahrscheinlichkeit (z. B. 50% der Zeit) auftritt, kann das Verfahren in Block 530 bestimmen, dass ein Vorfall möglich ist, wenn die in Block 510 erfassten Echtzeitdaten mit diesem bekannten Signalmuster übereinstimmen (Block 540). In einem solchen Fall kann in Block 540 ein erster Warnungstyp an den Fahrer ausgegeben werden. Es sei darauf hingewiesen, dass der erste Warnungstyp mit einer relativ leichten Warnung verbunden sein kann, wie z. B. einem beleuchteten Symbol auf einer Anzeigetafel des Fahrzeugs, einem kurzen hörbaren Ton aus einem Fahrzeuglautsprecher oder ähnlichem. Auf diese Weise kann der Fahrer für die Möglichkeit des Auftretens eines Ereignisses eines bestimmten Typs sensibilisiert werden und sich darauf vorbereiten, ein solches Ereignis zu bewältigen oder zu verhindern. Die Art und der Ort dieser Warnung kann an den Zustand des Fahrers angepasst werden. Wenn der Fahrer zum Beispiel zu häufig die Augen schließt, kann vielleicht eine akustische Warnung effektiver sein, oder wenn der Fahrer die Umgebung nicht ausreichend überprüft, kann vielleicht ein blinkendes Licht an der Seite den Fahrer wirkungsvoll dazu bringen, besser aufzupassen.
Wenn andererseits festgestellt wird, dass die in Block 510 erfassten Echtzeitdaten mit einer bestimmten Kombination von Bedingungen (z. B. einem bekannten Muster von Sensorsignalen und/oder Zuständen) übereinstimmen, für die das neuronale Netz so trainiert wurde, dass es sie als zu einem Vorfall oder Ereignis führend interpretiert, das mit einer höheren als einer zweiten vorgegebenen Wahrscheinlichkeit (z. B. 85% der Zeit) auftritt, kann das Verfahren in Block 530 bestimmen, dass ein solcher Vorfall sehr wahrscheinlich auftritt, und als Reaktion darauf einen zweiten Warnungstyp ausgeben und/oder ein autonomes Ausweichmanöver des Fahrzeugs durchführen. Der zweite Warnungstyp ist im Allgemeinen als eine schärfere Warnung als der erste Warnungstyp anzusehen, so dass der Fahrer versteht, dass sofortige Aufmerksamkeit und Handeln erforderlich sind. Zum Beispiel kann die Beleuchtung eines Symbols auf der Kontrolltafel des Fahrzeugs heller oder größer sein als im Falle des ersten Warnungstyps und/oder auf der Kontrolltafel des Fahrzeugs wiederholt blinken. Entsprechend kann ein akustischer Ton vorgesehen sein, der lauter, von längerer Dauer und/oder von anderem Charakter (z. B. greller) ist als im Fall des ersten Warnungstyps.
In Bezug auf die Durchführung eines autonomen Ausweichmanövers von Block 250 kann das System dafür konfiguriert sein, ein Bremspedal, ein Bremssystem oder eine Drossel des Kraftfahrzeugs zu steuern, um einen Bremsvorgang einzuleiten, einen Differenzialbremsvorgang oder eine Beschleunigung durchzuführen, um einen vorhergesagten Vorfall zu vermeiden oder zu entschärfen. Das System kann außerdem dafür konfiguriert sein, ein Lenkrad und/oder ein Lenksystem des Fahrzeugs zu steuern, um in ähnlicher Weise einen vorhergesagten Vorfall zu vermeiden oder zu entschärfen. Bevor ein Eingriff erfolgt, kann eine Warnung ausgegeben werden.
6 ist eine schematische Blockdiagramm-Darstellung, die Details einer Fahrzeugdatenerfassungs- und -verarbeitungsvorrichtung veranschaulicht, die dafür konfiguriert ist, das Verfahren von 5 gemäß einer oder mehreren beispielhaften Ausführungsformen durchzuführen, und optional, um bestimmte Aspekte des Verfahrens von 1 durchzuführen (z. B. Operationen der Blöcke 110 und 120). Gemäß den Prinzipien der dargestellten beispielhaften Ausführungsform kann die fahrzeuginterne Datenerfassungs- und - verarbeitungsvorrichtung 600 angepasst sein, um eine Vielzahl von Betriebsparametern und -bedingungen des Fahrzeugs und die Interaktion des Fahrers damit zu erfassen und darauf basierend einen möglichen Fahrzeugvorfall vorherzusagen, um den Fahrer zu warnen und/oder im Vorhinein ein Ausweichmanöver durchzuführen, wie es zum Beispiel erforderlich oder gewünscht sein kann, um die Fahrzeugstabilität aufrechtzuerhalten oder um den Fahrzeugfolgeabstand relativ zu anderen Fahrzeugen einzuhalten.
In der beispielhaften Ausführungsform von 6 kann die Datenerfassungs- und -verarbeitungsvorrichtung 600 ein(e) oder mehrere Vorrichtungen oder Systeme 614 zur Bereitstellung von Eingabedaten umfassen, die einen oder mehrere Betriebsparameter oder einen oder mehrere Zustände eines Nutzfahrzeugs anzeigen. Alternativ kann die Datenerfassungs- und -verarbeitungsvorrichtung 600 eine Signalschnittstelle zum Empfangen von Signalen von der/dem einen oder den mehreren Vorrichtungen oder Systemen 614 umfassen, die getrennt von der Vorrichtung 600 gestaltet sein können. Solche Eingabedaten können die zuvor erwähnten Ereignisdaten von Block 110, Intervalldaten von Block 120 und/oder Echtzeitdaten von Block 510 umfassen. Bei den Vorrichtungen 614 kann es sich zum Beispiel um einen oder mehrere Sensoren handeln, wie z. B. einen oder mehrere Raddrehzahlsensoren 616, einen oder mehrere Beschleunigungssensoren wie z. B. Mehrachsen-Beschleunigungssensoren 617, einen Lenkwinkelsensor 618, einen Bremsdrucksensor 619, einen oder mehrere Fahrzeuglastsensoren 620, einen Gierratensensor 621, ein(en) Spurverlassenswarn(LDW)sensor oder -system 622, einen oder mehrere Motordrehzahl- oder -zustandssensoren 623 und ein Reifendrucküberwachungssystem (TPMS) 624. Die Datenerfassungs- und - verarbeitungsvorrichtung 600 des Fahrzeugs kann in der beispielhaften Ausführungsform auch zusätzliche Vorrichtungen oder Sensoren nutzen, z. B. einen vorderen Abstandssensor 660 und einen hinteren Abstandssensor 662 (z. B. Radar, Lidar usw.). Andere Sensoren und/oder Aktoren oder Stromerzeugungsvorrichtungen oder Kombinationen davon können ebenfalls verwendet oder anderweitig bereitgestellt werden, und ein oder mehrere Vorrichtungen oder Sensoren können zu einer einzigen Einheit kombiniert sein, je nach Erfordernis und/oder auf Wunsch.
Die Datenerfassungs- und -verarbeitungsvorrichtung 600 des Fahrzeugs kann auch eine logikanwendende Anordnung wie z. B. ein Steuergerät oder einen Prozessor 630 und eine Steuerlogik 631 enthalten, die mit der/dem einen oder den mehreren Vorrichtungen oder Systemen 614 kommuniziert. Der Prozessor 630 kann einen oder mehrere Eingänge zum Empfang von Eingabedaten von den Vorrichtungen oder Systemen 614 umfassen. Der Prozessor 630 kann dafür angepasst sein, die Eingabedaten zu verarbeiten und die rohen oder verarbeiteten Eingabedaten mit einem oder mehreren gespeicherten Schwellenwerten zu vergleichen oder die Eingabedaten zu verarbeiten und die rohen oder verarbeiteten Eingabedaten mit einem oder mehreren umstandsabhängigen Sollwerten zu vergleichen (z. B. um die Operationen von Block 520 von 5 durchzuführen).
Der Prozessor 630 kann auch einen oder mehrere Ausgänge umfassen, um ein Steuersignal an ein oder mehrere Fahrzeugsysteme 633 zu liefern, das auf dem Vergleich basiert (z. B. um die Operationen der Blöcke 530 - 550 von 5 durchzuführen). Das Steuersignal kann die Systeme 633 anweisen, eine oder mehrere Arten von Fahrerwarnungen bereitzustellen und/oder in den Betrieb des Fahrzeugs einzugreifen, um korrigierende Maßnahmen einzuleiten, wie oben in Bezug auf die Blöcke 540 und 550 von 5 beschrieben. Zum Beispiel kann der Prozessor 630 das Steuersignal erzeugen und an eine elektronische Motorsteuerungseinheit oder eine Betätigungsvorrichtung senden, um die Motordrossel 634 zu reduzieren und das Fahrzeug abzubremsen. Weiterhin kann der Prozessor 630 das Steuersignal an ein oder mehrere Fahrzeugbremssysteme 635, 636 senden, um die Bremsen selektiv zu aktivieren (z. B. eine Differenzialbremsung). Eine Vielzahl von Korrekturmaßnahmen kann möglich sein, und es können mehrere Korrekturmaßnahmen gleichzeitig eingeleitet werden.
Das Steuergerät 600 kann auch einen Speicherabschnitt 640 zum Speichern von und Zugreifen auf Systeminformationen wie z. B. die Systemsteuerungslogik 631 und das oben beschriebene trainierte neuronale Netz enthalten. Der Speicherabschnitt 640 kann jedoch vom Prozessor 630 getrennt sein. Die Sensoren 614 und der Prozessor 630 können Teil eines bereits existierenden Systems sein oder Komponenten eines bereits existierenden Systems verwenden.
Die Datenerfassungs- und -verarbeitungsvorrichtung 600 kann auch eine Quelle von Eingabedaten 642 enthalten, die eine Konfiguration/einen Zustand eines Nutzfahrzeugs anzeigen. Der Prozessor 630 kann die Konfiguration/den Zustand des Fahrzeugs basierend auf den Eingabedaten erkennen oder schätzen und kann einen Steuerungsabstimmungsmodus oder eine Empfindlichkeit basierend auf der Fahrzeugkonfiguration/dem Fahrzeugzustand auswählen. Der Prozessor 630 kann die von den Sensoren oder Systemen 614 empfangenen Betriebsdaten mit den von der Abstimmung gelieferten Informationen vergleichen.
Darüber hinaus ist das Steuergerät 600 operativ mit einer oder mehreren auf den Fahrer gerichteten Bildgebungsvorrichtungen gekoppelt, die in der beispielhaften Ausführungsform der Einfachheit halber und zur besseren Veranschaulichung als eine einzelne dem Fahrer zugewandte Kamera 645 dargestellt sind, die eine oder mehrere am Fahrzeug angeordnete physische Videokameras repräsentiert, wie z. B. eine Videokamera an jeder Ecke des Fahrzeugs, und mit einer oder mehreren Kameras, die entfernt montiert sind und in operativer Kommunikation mit dem Steuergerät 630 stehen, wie z. B. eine nach vorne gerichtete Kamera 646, die an dem Fahrzeug so angeordnet ist, dass sie Bilder der Fahrbahn vor dem Fahrzeug aufnimmt, oder wie in der beispielhaften Ausführungsform in der Fahrerkabine eines Nutzfahrzeugs montiert sind und auf den Fahrer und/oder auf das Innere der Fahrerkabine des Nutzfahrzeugs gerichtet sind. In den beispielhaften Ausführungsformen können Daten zum Fahrerverhalten direkt mittels der dem Fahrer zugewandten Kamera 645 entsprechend einer erkannten Kopfposition, Handposition des Fahrers oder dergleichen im Innern des Fahrzeugs, das von dem Fahrzeug betrieben wird, erfasst werden. Solche Daten können als Teil der Ereignisdaten von Block 110, der Intervalldaten von Block 120 und/oder der Echtzeitdaten von Block 510 gesammelt werden.
In weiteren beispielhaften Ausführungsformen werden die Daten zum Fahrerverhalten direkt mittels der dem Fahrer zugewandten Kamera 645 entsprechend einer erkannten Kopfhaltung des Fahrers erfasst. Für die Zwecke dieser Beschreibung der beispielhaften Ausführungsformen und zur besseren Übersichtlichkeit ist „Kopfhaltung“ der Satz von Winkeln, der die Ausrichtung des Kopfes des Fahrers beschreibt, d. h. Neigung (Fahrer schaut nach unten oder oben), Gieren (Fahrer schaut nach links oder rechts) und Rollen (Fahrer neigt den Kopf nach links oder rechts).
Darüber hinaus kann das Steuergerät 600 auch ein Sende-/Empfangsmodul (Transceiver-Modul) 650 umfassen, wie z. B. einen Hochfrequenz(HF)-Sender mit einer oder mehreren Antennen 652 für die drahtlose Übermittlung der automatischen Bremsanforderungen, GPS-Daten, Konfigurations- und/oder Zustandsdaten eines oder mehrerer verschiedener Fahrzeuge oder dergleichen zwischen den Fahrzeugen und einem oder mehreren Zielen, wie z. B. zu einem oder mehreren drahtlosen Diensten (nicht dargestellt) mit einem entsprechenden Empfänger und einer Antenne. Das Sende-/Empfangsmodul (Transceiver-Modul) 650 kann verschiedene funktionelle Teile von Unterabschnitten umfassen, die operativ mit der Kolonnensteuerung gekoppelt sind und zum Beispiel einen Kommunikationsempfängerteil, einen GPS (Global Position Sensor)-Empfängerteil und einen Kommunikationssender umfassen. Für die Übermittlung spezifischer Informationen und/oder Daten können die Kommunikationsempfänger- und -senderteile auch einen oder mehrere funktionelle und/oder operative Kommunikationsschnittstellenteile umfassen.
Der Prozessor 630 ist funktionell in der Lage, ausgewählte der von den oben beschriebenen Sensorsystemen erfassten Signale zu verarbeiteten Daten zu kombinieren, die Fahrzeugzustandsdaten höherer Ebene repräsentieren, wie z. B. Daten von den Mehrachsen-Beschleunigungssensoren 617, die mit den Daten vom Lenkwinkelsensor 618 kombiniert werden können, um Ereignisdaten für überhöhte Kurvengeschwindigkeit zu ermitteln. Andere Hybrid-Ereignisdaten, die dem Fahrzeug und dem Fahrer des Fahrzeugs zuordenbar sind und aus der Kombination eines oder mehrerer ausgewählter Rohdatenelemente von den Sensoren erhalten werden können, umfassen zum Beispiel und ohne Einschränkung Ereignisdaten für ein übermäßiges Bremsen, Ereignisdaten für eine überhöhte Kurvengeschwindigkeit, Ereignisdaten für eine Spurverlassenswarnung, Ereignisdaten für eine übermäßige Spurabweichung, Ereignisdaten für einen Spurwechsel ohne Blinker, Ereignisdaten für einen Verlust der Videoverfolgung, Ereignisdaten für eine Deaktivierung des LDW-Systems, Ereignisdaten für eine Abstandswarnung, Ereignisdaten für eine Vorwärtskollisionswarnung, Ereignisdaten für eine haptische Warnung, Ereignisdaten für eine Bremsung zur Kollisionsminderung, ATC-Ereignisdaten, ESC-Ereignisdaten, RSC-Ereignisdaten, ABS-Ereignisdaten, TPMS-Ereignisdaten, Motorsystem-Ereignisdaten, Ereignisdaten zum durchschnittlichen Folgeabstand, Ereignisdaten zum durchschnittlichen Kraftstoffverbrauch und Ereignisdaten zur durchschnittlichen ACC-Nutzung. Solche Hybrid-Ereignisdaten können durch das trainierte neuronale Netz (gespeichert in Speicher 640) von dem Steuergerät 600 verarbeitet werden, um zum Beispiel die Operation der Blöcke 520 und 530 von 5 durchzuführen. Bordeigene oder externe Karten- und/oder Umgebungszustandsdaten können zu den Sensormessungen hinzugefügt werden, um die Vorhersage zu verbessern. Zum Beispiel kann der aktuelle Kraftstoffverbrauch mit Kartendaten kombiniert werden, die ein vorausliegendes bergiges Gebiet zeigen, um vorherzusagen, dass dem Fahrzeug wahrscheinlich der Kraftstoff ausgehen wird. Ein weiteres Beispiel ist die Kombination der Messungen, die einen etwas müden Fahrer zeigen, mit vorausliegenden Umgebungszuständen (z. B. Schneesturm, Straßen mit geringer Reibung), um vorherzusagen, dass der Fahrer den kommenden Fahrbedingungen nicht gewachsen ist. Die Kombination der Daten zur bevorstehenden Umgebung mit dem aktuellen Zustand des Fahrers stellt den Fahrer in einen Kontext und führt zu besseren Vorhersagen.
Das Fahrzeug-Steuergerät 600 von 6 eignet sich zur Realisierung von Ausführungsformen von einem oder mehreren Softwaresystemen oder -modulen, die Fahrzeugbremsstrategien und Fahrzeugbremssteuerverfahren gemäß der gegenständlichen Anmeldung durchführen. Das beispielhafte Fahrzeug-Steuergerät 600 kann einen Bus oder einen anderen Kommunikationsmechanismus zur Übermittlung von Informationen und einen mit dem Bus gekoppelten Prozessor 630 zur Verarbeitung von Informationen umfassen. Das Computersystem umfasst einen Hauptspeicher 640 wie z. B. einen Schreib-Lese-Speicher (RAM) oder eine andere dynamische Speichervorrichtung zum Speichern von Anweisungen und geladenen Teilen des trainierten neuronalen Netzes, die vom Prozessor 630 ausgeführt werden sollen, und einen Nur-Lese-Speicher (ROM) oder eine andere statische Speichervorrichtung zum Speichern des vollständigen trainierten neuronalen Netzes und weiterer statischer Informationen und ausführbarer Anweisungen für den Prozessor 630. Andere Speichervorrichtungen können ebenfalls in geeigneter Weise zum Speichern von Informationen und ausführbaren Anweisungen vorgesehen werden, wenn dies erforderlich oder gewünscht ist.
Anweisungen können von einem anderen computerlesbaren Medium wie z. B. einer anderen Speichervorrichtung über den Transceiver 650 in den Hauptspeicher 640 eingelesen werden. Die Ausführung der im Hauptspeicher 640 enthaltenen Anweisungsfolgen veranlasst den Prozessor 630, die hierin beschriebenen Verfahrensschritte auszuführen. In einer alternativen Implementierung können festverdrahtete Schaltungen anstelle von oder in Kombination mit Softwareanweisungen verwendet werden, um die Erfindung zu implementieren. Somit sind Implementierungen der beispielhaften Ausführungsformen nicht auf eine spezielle Kombination von Hardwareschaltungen und Software beschränkt.
Wie hierin verwendet, sollen die Begriffe „ein“ oder „eine“ ein(e) oder mehr als ein(e) bedeuten. Der Begriff „Vielzahl“ soll zwei oder mehr als zwei bedeuten. Der Ausdruck „ein weiterer/eine weitere/ein weiteres“ ist definiert als ein zweiter/eine zweite/ein zweites oder mehr. Die Begriffe „einschließlich“ und/oder „mit“ sind offen (z. B. „umfassend“). Der Begriff „oder“, wie hierin verwendet, ist als inklusiv auszulegen oder so, dass er irgendeiner/irgendeine/irgendeines oder eine beliebige Kombination bedeutet. Daher bedeutet „A, B oder C“ „eines der Folgenden: A; B; C; A und B; A und C; B und C; A, B und C“. Eine Ausnahme von dieser Definition tritt nur dann auf, wenn eine Kombination von Elementen, Funktionen, Schritten oder Handlungen vorliegt, die sich in irgendeiner Weise grundsätzlich gegenseitig ausschließen.
In diesem Dokument bedeutet eine Bezugnahme auf „eine Ausführungsform“, „bestimmte Ausführungsformen“ oder ähnliche Ausdrücke durchweg, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, das oder die in Verbindung mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Erfindung enthalten ist. Daher bezieht sich das Auftreten von solchen Ausdrücken an verschiedenen Stellen in der gesamten Beschreibung nicht notwendigerweise immer auf dieselbe Ausführungsform. Darüber hinaus können die einzelnen Merkmale, Strukturen oder Eigenschaften auf beliebige geeignete Weise und ohne Einschränkung bei einer oder mehreren Ausführungsformen kombiniert werden.
Gemäß den Praktiken eines Fachmanns auf dem Gebiet der Computerprogrammierung wird die Erfindung nachstehend unter Bezugnahme auf Operationen beschrieben, die von einem Computersystem oder einem ähnlichen elektronischen System ausgeführt werden. Solche Operationen werden manchmal auch als computerausgeführt bezeichnet. Es versteht sich, dass Operationen, die symbolisch dargestellt sind, die Bearbeitung von elektrischen Signalen, die Datenbits repräsentieren, durch einen Prozessor wie z. B. eine zentrale Verarbeitungseinheit und die Erhaltung von Datenbits an Speicherplätzen wie z. B. in einem Systemspeicher sowie sonstige Signalverarbeitung umfassen. Die Speicherplätze, an denen Datenbits erhalten werden, sind physikalische Orte, die bestimmte elektrische, magnetische, optische oder organische Eigenschaften aufweisen, die den Datenbits entsprechen.
Der Begriff „Backend-Server“ bedeutet eine funktionsbezogene Gruppe von elektrischen Komponenten wie z. B. ein Computersystem, das mit einem Netzwerk verbunden sein kann oder nicht und das sowohl Hardware- als auch Softwarekomponenten oder alternativ nur die Softwarekomponenten umfassen kann, die bei ihrer Ausführung bestimmte Funktionen durchführen. Der „Backend-Server“ kann ferner an ein Datenbankmanagementsystem und eine oder mehrere zugehörigen Datenbanken angebunden sein.
In Übereinstimmung mit den Beschreibungen hierin bezieht sich der Begriff „computerlesbares Medium“, wie hierin verwendet, auf ein beliebiges nicht-transitorisches Medium, das an der Bereitstellung von auszuführenden Anweisungen an den Prozessor 630 beteiligt ist. Ein solches nicht-transitorisches Medium kann viele Formen annehmen, einschließlich, aber nicht beschränkt auf flüchtige und nichtflüchtige Medien. Nichtflüchtige Medien umfassen zum Beispiel optische oder magnetische Festplatten. Flüchtige Medien umfassen zum Beispiel dynamische Speicher und umfassen keine transitorischen Signale, Trägerwellen oder ähnliches. Gängige Formen von computerlesbaren Medien sind zum Beispiel eine Floppy Disk, eine Diskette, eine Festplatte, ein Magnetband oder irgendein anderes magnetisches Medium, eine CD-ROM, irgendein anderes optisches Medium, Lochkarten, Lochstreifen, irgendein anderes physikalisches Medium mit Lochmustern, ein RAM, PROM und EPROM, ein FLASH-EPROM, irgendein anderer Speicherchip oder eine Kassette oder irgendein anderes greifbares nichtflüchtiges Medium, von dem ein Computer lesen kann.
Zusätzlich und weiterhin in Übereinstimmung mit den Beschreibungen hierin umfasst der Begriff „Logik“, wie hierin in Bezug auf 6 verwendet, Hardware, Firmware, Software in Ausführung auf einer Maschine und/oder Kombinationen von jedem, um eine oder mehrere Funktion(en) oder eine oder mehrerer Aktion(en) auszuführen und/oder eine Funktion oder Aktion von einer anderen Logik, einem anderen Verfahren und/oder einem anderen System zu bewirken. Die Logik kann einen softwaregesteuerten Mikroprozessor, eine diskrete Logik (z. B. ASIC), eine analoge Schaltung, eine digitale Schaltung, eine programmierte Logikvorrichtung, eine Speichervorrichtung, die ausführbare Anweisungen enthält, usw. umfassen. Die Logik kann ein oder mehrere Gatter, Kombinationen von Gattern oder andere Schaltungskomponenten umfassen.
Obwohl die vorstehende Offenbarung hinsichtlich der Implementierung eines oder mehrerer Aspekte der Erfindung unter Verwendung eines neuronalen Netzes oder eines anderen Mustererkennungsalgorithmus dargelegt wurde, sollte ebenso gewürdigt werden, dass andere Klassifikatortypen wie z. B. Support-Vektor-Maschinen, Boosted Ensembles usw. verwendet werden können.
Die vorstehende Offenbarung wurde lediglich zur Veranschaulichung der Erfindung dargelegt und ist nicht als einschränkend zu verstehen. Da einem Fachmann Modifikationen der offenbarten Ausführungsformen, die den Geist und das Wesen der Erfindung beinhalten, in den Sinn kommen könnten, sollte die Erfindung so ausgelegt werden, dass sie alles innerhalb des Umfangs der beigefügten Ansprüche und Äquivalente davon umfasst.

Claims

Datenerfassungs- und -verarbeitungsvorrichtung in einem Fahrzeug, die dafür konfiguriert ist, eine Warnung vor einem vorhergesagten Vorfall bereitzustellen und/oder ein Ausweichen zu gewährleisten, wobei die Vorrichtung Folgendes umfasst: mindestens einen aus einer Vielzahl von Sensoren und eine Signalschnittstelle zu der Vielzahl von Sensoren; einen Speicher, der dafür konfiguriert ist, eine Vielzahl von ausführbaren Anweisungen und einen vorab trainierten Mustererkennungsalgorithmus zu speichern; und einen Prozessor, der über die Signalschnittstelle mit der Vielzahl von Sensoren und mit dem Speicher verbunden ist, wobei der Prozessor dafür konfiguriert ist, die Vielzahl von ausführbaren Anweisungen auszuführen, um: Echtzeitdaten von der Vielzahl von Sensoren zu empfangen, die sich auf mindestens eines von einem aktuellen Fahrzeugzustand und einem aktuellen Fahrerzustand beziehen, eine Wahrscheinlichkeit des Auftretens von mindestens einem aus einer Vielzahl von Vorfällen, die das Fahrzeug betreffen, durch Verarbeiten mindestens eines Teils der Echtzeitdaten durch den vorab trainierten Mustererkennungsalgorithmus vorherzusagen, einen ersten Warnungstyp auszugeben, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über einem ersten Schwellenwert, aber nicht über einem zweiten Schwellenwert liegt, und einen zweiten Warnungstyp auszugeben und/oder ein Ausweichmanöver des Fahrzeugs durchzuführen, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über dem zweiten Schwellenwert liegt.
Vorrichtung nach Anspruch 1, wobei der vorab trainierte Mustererkennungsalgorithmus ein Mustererkennungsmodul umfasst, das unter Verwendung von zuvor erfassten Ereignisdaten, die erfassten Daten entsprechen, die mit mindestens einem aus einer Vielzahl von vordefinierten Ereignissen verbunden sind, und zuvor erfassten Intervalldaten, die Daten entsprechen, die in vorbestimmten Zeitintervallen erfasst wurden, trainiert worden ist.
Vorrichtung nach Anspruch 2, wobei die zuvor erfassten Ereignisdaten über ein vorbestimmtes Zeitfenster erfasst wurden, das einem Zeitpunkt des Auftretens des mindestens einen aus einer Vielzahl von vordefinierten Ereignissen entspricht.
Vorrichtung nach Anspruch 2, wobei mindestens eines von den zuvor erfassten Ereignisdaten und den zuvor gesammelten Intervalldaten von einer Vielzahl von Fahrzeugen erfasst wurden, die von einer Vielzahl von Fahrern gefahren wurden.
Vorrichtung nach Anspruch 1, wobei der vorab trainierte Mustererkennungsalgorithmus dafür konfiguriert ist, eine Mustererkennungsoperation an den empfangenen Echtzeitdaten unter Verwendung eines Satzes von Zielwerten durchzuführen, die mindestens einem aus einer Vielzahl von bekannten Ereignissen entsprechen.
Vorrichtung nach Anspruch 1, wobei der zweite Warnungstyp mindestens eines der folgenden umfasst: (i) Beleuchten eines Symbols auf einer Anzeigetafel in einer ausgeprägteren Weise als im Fall des ersten Warnungstyps, (ii) Ausgeben eines hörbaren Tons aus einem Lautsprecher des Fahrzeugs in einer ausgeprägteren Weise als im Fall des ersten Warnungstyps, und (iii) Bereitstellen einer haptischen Warnung.
Vorrichtung nach Anspruch 1, wobei das Durchführen des Ausweichmanövers des Fahrzeugs mindestens eines der folgenden umfasst: (i) Steuern eines Bremspedals oder eines Bremssystems des Fahrzeugs, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen, (ii) Steuern eines Lenkrads und/oder eines Lenksystems des Fahrzeugs, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen, und (iii) Steuern einer Fahrzeugdrossel, eines Gaspedals oder eines Lenkwinkels, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen.
Vorrichtung nach Anspruch 1, wobei der vorab trainierte Mustererkennungsalgorithmus von einem Backend-Server in den Speicher der Vorrichtung portiert wird, nachdem er einer Datenbankreduktionsoperation unterzogen wurde.
Vorrichtung nach Anspruch 1, wobei die Echtzeitdaten ferner Echtzeitdaten umfassen, die sich auf mindestens eines von Umgebungsbedingungen und Fahrbedingungen beziehen.
Verfahren zum Bereitstellen einer Warnung vor einem vorhergesagten Vorfall und zum Gewährleisten eines Ausweichens in einem Fahrzeug, wobei das Verfahren umfasst: Empfangen von Echtzeitdaten, die sich auf mindestens eines von einem aktuellen Fahrzeugzustand und einem aktuellen Fahrerzustand beziehen, von einer Vielzahl von Sensoren durch eine Datenerfassungs- und -verarbeitungsvorrichtung in einem Fahrzeug; Vorhersagen einer Wahrscheinlichkeit des Auftretens von mindestens einem aus einer Vielzahl von Vorfällen, die das Fahrzeug betreffen, durch Verarbeiten von mindestens einem Teil der Echtzeitdaten durch einen vorab trainierten Mustererkennungsalgorithmus, der in einem Speicher des Fahrzeugs gespeichert ist; Ausgeben eines ersten Warnungstyps, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über einem ersten Schwellenwert, aber nicht über einem zweiten Schwellenwert liegt, und Ausgeben eines zweiten Warnungstyps und/oder Durchführen eines Ausweichmanövers des Fahrzeugs durchzuführen, wenn vorhergesagt wird, dass die Wahrscheinlichkeit über dem zweiten Schwellenwert liegt.
Verfahren nach Anspruch 10, ferner umfassend das Trainieren eines Mustererkennungsmoduls des vorab trainierten Mustererkennungsalgorithmus unter Verwendung von zuvor erfassten Ereignisdaten, die erfassten Daten entsprechen, die mit mindestens einem aus einer Vielzahl von vordefinierten Ereignissen verbunden sind, und zuvor erfassten Intervalldaten, die Daten entsprechen, die in vorbestimmten Zeitintervallen erfasst wurden.
Verfahren nach Anspruch 11, wobei die zuvor erfassten Ereignisdaten über ein vorbestimmtes Zeitfenster erfasst wurden, das einem Zeitpunkt des Auftretens des mindestens einen aus der Vielzahl von vordefinierten Ereignissen entspricht.
Verfahren nach Anspruch 11, wobei mindestens eines von den zuvor erfassten Ereignisdaten und den zuvor erfassten Intervalldaten von einer Vielzahl von Fahrzeugen erfasst wurden, die von einer Vielzahl von Fahrern gefahren wurden.
Verfahren nach Anspruch 10, ferner umfassend das Durchführen einer Mustererkennungsoperation an den empfangenen Echtzeitdaten durch den vorab trainierten Mustererkennungsalgorithmus unter Verwendung eines Satzes von Zielwerten, die mindestens einem aus einer Mehrzahl von bekannten Ereignissen entsprechen.
Verfahren nach Anspruch 10, wobei der zweite Warnungstyp mindestens eines der folgenden umfasst: (i) Beleuchten eines Symbols auf einer Anzeigetafel in einer ausgeprägteren Weise als im Fall des ersten Warnungstyps, (ii) Ausgeben eines hörbaren Tons aus einem Lautsprecher des Fahrzeugs in einer ausgeprägteren Weise als im Fall des ersten Warnungstyps, und (iii) Bereitstellen einer haptischen Warnung.
Verfahren nach Anspruch 10, wobei das Durchführen des Ausweichmanövers des Fahrzeugs mindestens eines der folgenden umfasst: (i) Steuern eines Bremspedals oder eines Bremssystems des Fahrzeugs, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen, (ii) Steuern eines Lenkrads und/oder eines Lenksystems des Fahrzeugs, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen, und (iii) Steuern einer Fahrzeugdrossel oder eines Gaspedals, um den vorhergesagten mindestens einen aus der Vielzahl von Vorfällen, die das Fahrzeug betreffen, zu vermeiden oder zu entschärfen.
Verfahren nach Anspruch 10, ferner umfassend das Portieren des vorab trainierten Mustererkennungsalgorithmus von einem Backend-Server in einen Speicher der Datenerfassungs- und - verarbeitungsvorrichtung, nachdem er einer Datenbankreduktionsoperation unterzogen wurde.
Verfahren nach Anspruch 10, wobei die Echtzeitdaten ferner Echtzeitdaten umfassen, die sich auf mindestens eines von Umgebungsbedingungen und Fahrbedingungen beziehen.