DE102022104322A1 - Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug - Google Patents

Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug Download PDF

Info

Publication number
DE102022104322A1
DE102022104322A1 DE102022104322.3A DE102022104322A DE102022104322A1 DE 102022104322 A1 DE102022104322 A1 DE 102022104322A1 DE 102022104322 A DE102022104322 A DE 102022104322A DE 102022104322 A1 DE102022104322 A1 DE 102022104322A1
Authority
DE
Germany
Prior art keywords
motor vehicle
output
time series
determined
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022104322.3A
Other languages
English (en)
Inventor
David Bethge
Satiyabooshan Murugaboopathy
Constantin Patsch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102022104322.3A priority Critical patent/DE102022104322A1/de
Publication of DE102022104322A1 publication Critical patent/DE102022104322A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning

Abstract

Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, wobei wenigstens eine Zeitreihe (201, 202, 203) bestimmt wird, die eine Fahrsituation des Kraftfahrzeugs charakterisiert, wobei abhängig von der wenigstens einen Zeitreihe (201, 202, 203) wenigstens eine Eingangsgröße für eine erste Berechnungsschicht, insbesondere eine erste Faltungsschicht (205-1, ... 205-F), bestimmt wird, wobei die wenigstens eine Eingangsgröße durch die erste Berechnungsschicht auf eine erste Ausgabe der ersten Berechnungsschicht abgebildet wird, wobei die erste Ausgabe mit einer zweiten Berechnungsschicht, insbesondere einer zweiten Faltungsschicht (206-1, ..., 206-F), auf eine zweite Ausgabe abgebildet wird, wobei die zweite Ausgabe mit einem Klassifizierer auf eine Ausgangsgröße (208) abgebildet wird, die eine Klassifikation der wenigstens einen Zeitreihe (201, 202, 203) charakterisiert, wobei abhängig von der ersten Ausgabe wenigstens ein Teil einer graphischen Darstellung (209) bestimmt wird, wobei die graphische Darstellung ausgegeben und/oder abgespeichert wird. Die Vorrichtung umfassendes Kraftfahrzeug.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Fahrerassistenz für ein Kraftfahrzeug und ein die Vorrichtung umfassendes Kraftfahrzeug.
  • Die JP 2019220084 A offenbart eine Analysevorrichtung für autonomes Fahren eines Kraftfahrzeugs, wobei eine Zeitreihenklassifikation mittels neuronaler Netze verwendet wird.
  • US 2019/0389459 A1 offenbart ein Fahrerassistenzsystem für ein Kraftfahrzeug, wobei das Fahrerassistenzsystem für den Fahrer unterstützend oder aber für das autonome Fahren betrieben werden kann, und wobei Zeitreihensignale des Kraftfahrzeugs klassifiziert werden, um eine Fahrabsicht zu bestimmen und/oder ein Warngeräusch oder Signal auf der Multifunktionsanzeige darzustellen.
  • Durch die Vorrichtung und das Verfahren nach den unabhängigen Ansprüchen wird eine demgegenüber verbesserte Fahrerassistenz bereitgestellt.
  • Das Verfahren zur Fahrerassistenz für ein Kraftfahrzeug sieht vor, dass wenigstens eine Zeitreihe bestimmt wird, die eine Fahrsituation des Kraftfahrzeugs charakterisiert, wobei abhängig von der wenigstens einen Zeitreihe wenigstens eine Eingangsgröße für eine erste Berechnungsschicht, insbesondere eine erste Faltungsschicht, bestimmt wird, wobei die wenigstens eine Eingangsgröße durch die erste Berechnungsschicht auf eine erste Ausgabe der ersten Berechnungsschicht abgebildet wird, wobei die erste Ausgabe mit einer zweiten Berechnungsschicht, insbesondere einer zweiten Faltungsschicht, auf eine zweite Ausgabe abgebildet wird, wobei die zweite Ausgabe mit einem Klassifizierer auf eine Ausgangsgröße abgebildet wird, die eine Klassifikation der wenigstens einen Zeitreihe charakterisiert, wobei abhängig von der ersten Ausgabe wenigstens ein Teil einer graphischen Darstellung bestimmt wird, wobei die graphische Darstellung ausgegeben und/oder abgespeichert wird.
  • Vorzugsweise wird einem Fahrer des Kraftfahrzeugs abhängig von der Klassifikation eine visuelle, akustische oder haptische Rückmeldung bereitgestellt.
  • Vorzugsweise wird abhängig von der Klassifikation autonom oder teilautonom in eine Steuerung oder Bedienung des Kraftfahrzeugs eingegriffen.
  • Vorzugsweise wird die wenigstens eine Zeitreihe durch Abtasten von Sensorsignalen oder Betriebszuständen oder eine Abfrage einer Information vom Fahrer bestimmt.
  • Vorzugsweise wird die wenigstens eine Eingangsgröße für die ersten Faltungsschichten mit einer Vorverarbeitung bestimmt, wobei die wenigstens eine Zeitreihe in eine Anzahl von Rahmen unterteilt wird, wobei die Klassifikation und/oder die graphische Darstellung je Rahmen bestimmt wird, und je Rahmen ein Frequenzfenster bestimmt wird, das die wenigstens eine Eingangsgröße je Rahmen charakterisiert.
  • Es kann vorgesehen sein, dass wenigstens zwei Zeitreihen bestimmt werden, die in gleichlange Rahmen unterteilt werden.
  • Vorzugsweise ist vorgesehen, dass die Rahmen, bei derselben Anfangszeit beginnen und bei derselben Endzeit enden.
  • Vorzugsweise umfasst die graphische Darstellung eine Erklärung der Rückmeldung in der Fahrsituation.
  • Vorzugsweise umfasst die graphische Darstellung eine Erklärung der Steuerung oder Bedienung des Kraftfahrzeugs in der Fahrsituation.
  • Vorzugsweise wird die wenigstens eine Zeitreihe in die Anzahl von Rahmen unterteilt, wobei den Rahmen je ein Teil der graphischen Darstellung zwischen der Anfangszeit und der Endzeit des jeweiligen Rahmens zugeordnet wird, wobei in diesem Teil je Rahmen ein Wert einer Analyse der Fahrsituation zur Erklärung bestimmt wird.
  • Die Vorrichtung zur Fahrerassistenz für ein Kraftfahrzeug umfasst eine Recheneinrichtung, die ausgebildet ist, das Verfahren auszuführen.
  • Es kann ein Kraftfahrzeug vorgesehen sein, das die Vorrichtung umfasst.
  • Weitere vorteilhafte Ausführungsformen sind der folgenden Beschreibung und der Zeichnung entnehmbar. In der Zeichnung zeigt:
    • 1 eine schematische Darstellung einer Vorrichtung zur Fahrerassistenz,
    • 2 einen funktionalen Aufbau der Fahrerassistenz,
    • 3 ein Verfahren zur Fahrerassistenz,
    • 4 eine schematische Darstellung einer Analyse einer Fahrsituation.
  • In der 1 ist eine Vorrichtung 100 zur Fahrerassistenz für ein Kraftfahrzeug 102 schematisch dargestellt.
  • Die Vorrichtung 100 umfasst wenigstens einen Sensor 104. Der wenigstens eine Sensor 104 ist ausgebildet, Information über eine Fahrsituation zu erfassen.
  • Die Vorrichtung 100 umfasst eine Recheneinrichtung 106, die ausgebildet ist, die Information in einem im Folgenden beschriebenen Verfahren zu verarbeiten.
  • Die Recheneinrichtung 106 ist ausgebildet, als Ergebnis einer Verarbeitung der Information eine Analyse der Fahrsituation zu bestimmen. Die Recheneinrichtung 106 ist in einem Beispiel ausgebildet, als Analyse eine graphische Darstellung zu bestimmen, in der ein zeitlicher Verlauf von Werten der Analyse für wenigstens eine Größe, die ein Verhalten des Kraftfahrzeugs 102 in der Fahrsituation charakterisiert, graphisch dargestellt ist.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, wenigstens eine Zeitreihe zu bestimmen, die eine Fahrsituation des Kraftfahrzeugs 102 charakterisiert.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, abhängig von der wenigstens einen Zeitreihe wenigstens eine Eingangsgröße für eine erste Berechnungsschicht zu bestimmen.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, die wenigstens eine Eingangsgröße durch die erste Berechnungsschicht auf eine erste Ausgabe der ersten Berechnungsschicht abzubilden. Die erste Berechnungsschicht ist beispielsweise eine erste Faltungsschicht.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, die erste Ausgabe mit einer zweiten Berechnungsschicht auf eine zweite Ausgabe abzubilden. Die zweite Berechnungsschicht ist beispielsweise eine zweite Faltungsschicht.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, die zweite Ausgabe mit einem Klassifizierer auf eine Ausgangsgröße abzubilden, die eine Klassifikation der wenigstens einen Zeitreihe charakterisiert.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet, abhängig von der ersten Ausgabe wenigstens ein Teil einer graphischen Darstellung zu bestimmen.
  • Die Recheneinrichtung 106 ist im Beispiel ausgebildet die graphische Darstellung auszugeben und/oder abzuspeichern.
  • Die Vorrichtung 100 umfasst wenigstens eine Schnittstelle 108. Die wenigstens eine Schnittstelle 108 ist im Beispiel ausgebildet, ein Sensorsignal vom Sensor 104 zu erfassen. Die wenigstens eine Schnittstelle 108 ist in einem Beispiel ausgebildet, eine für einen Fahrer des Kraftfahrzeugs 102 unterstützende Ausgabe der Analyse als die graphische Darstellung z.B. an eine Benutzerschnittstelle 110 auszugeben. Die Benutzerschnittstelle 110 ist im Beispiel im Kraftfahrzeug 102 insbesondere in einem Multifunktionsanzeige- und/oder - eingabegerät des Kraftfahrzeugs 102 angeordnet. Die wenigstens eine Schnittstelle 108 ist in einem Beispiel ausgebildet ein Signal für ein autonomes Fahren des Kraftfahrzeugs 102 auszugeben. Die Recheneinrichtung 106 ist im Beispiel ausgebildet, das Signal abhängig von der Klassifikation zu bestimmen.
  • Die Vorrichtung 100 umfasst einen Speicher 112. Der Speicher 112 ist ausgebildet, die wenigstens eine Zeitreihe, die durch zumindest einen Teil eines zeitlichen Verlaufs des Sensorsignals des wenigstens einen Sensors 106 oder ein daraus von der Recheneinrichtung 106 bestimmtes Signal definiert ist, zumindest zeitweise zu speichern.
  • Die Recheneinrichtung 106 ist beispielsweise ausgebildet das Signal durch eine Transformation oder durch ein Filtern des Sensorsignals zu bestimmen. Der Speicher 110 ist ausgebildet, das Ergebnis der Verarbeitung zumindest zeitweise zu speichern.
  • Die Vorrichtung 100 wird im Folgenden als Fahrerassistenzsystem bezeichnet.
  • Das Fahrerassistenzsystem kann für einen Fahrer des Kraftfahrzeugs 102 unterstützend oder für ein autonomes Fahren des Kraftfahrzeugs 102 betrieben werden.
  • Das Fahrassistenzsystem ist ausgebildet, die Information zu verarbeiten.
  • Das Fahrassistenzsystem ist in einem Beispiel ausgebildet, dem Fahrer abhängig vom Ergebnis der Verarbeitung der Information eine visuelle, akustische oder haptische Rückmeldung bereitzustellen. Das Fahrassistenzsystem ist in diesem Beispiel ausgebildet, abhängig von einem Ergebnis einer Verarbeitung der Information wenigstens eine Rückmeldung für den Fahrer zu bestimmen.
  • Das Fahrassistenzsystem ist in einem Beispiel ausgebildet, abhängig von einem Ergebnis einer Verarbeitung der Information autonom oder teilautonom in eine Steuerung oder Bedienung des Kraftfahrzeugs 102 einzugreifen. Das Fahrassistenzsystem ist zum Beispiel ausgebildet, abhängig von einem Ergebnis einer Verarbeitung der Information wenigstens einen Eingriff in die Steuerung oder Bedienung des Kraftfahrzeugs 102 zu bestimmen.
  • Das Fahrassistenzsystem ist ausgebildet, das Ergebnis automatisiert zu finden.
  • In 2 ist ein funktionaler Aufbau der Fahrerassistenz gemäß einem Beispiel für eine erste Zeitreihe 201, eine zweite Zeitreihe 202 und eine dritte Zeitreihe 203 dargestellt. Diese stellen beispielhaft die Information über die Fahrsituation dar. Es können auch weniger als drei Zeitreihen dafür vorgesehen sein. Vorzugsweise ist eine Mehrzahl von Zeitreihen als Information über die Fahrsituation vorgesehen. Im Beispiel umfasst jede der Zeitreihen entweder Werte eines Sensorsignals oder eines Betriebszustands oder eines Zustands des Fahrers.
  • Im Beispiel werden diese Zeitreihen in einer Vorverarbeitung 204 verarbeitet. Die Vorverarbeitung 204 sieht im Beispiel vor, dass die jeweilige Zeitreihe in eine Anzahl x von Rahmen unterteilt wird. Jeder Rahmen umfasst einen anderen Teil der Zeitreihe. Es kann auch vorgesehen sein, dass die Teile der Zeitreihen aus verschiedenen benachbarten Rahmen sich zeitlich überlappen. Die Rahmen werden in der beispielhaften Vorverarbeitung 204 abgetastet und mit einer Fensterfunktion in den Frequenzbereich transformiert, wodurch eine Anzahl F an Frequenzfenstern erzeugt wird. Die Ausgabe der Vorverarbeitung 204 sind im Beispiel die Frequenzfenster.
  • Im Beispiel ist die Anzahl F eine Anzahl von Werten, die in der Analyse bestimmt werden. Es kann auch vorgesehen sein, eine andere Anzahl von Werten in der Analyse zu bestimmen, als die Anzahl F der Frequenzfenster.
  • Die Frequenzfenster stellen im Beispiel je eine Eingangsgröße für je einen Teil der ersten Faltungsschicht 205-1, ... 205-F dar. Die F Teile der ersten Faltungsschicht 205-1, ... 205-F bilden je ein Frequenzfenster auf je eine erste Ausgabe ab. Im Beispiel werden mit F Teilen der ersten Faltungsschicht 205-1, ... 205-F F erste Ausgaben bestimmt.
  • Die F ersten Ausgaben stellen im Beispiel je eine Eingangsgröße für je einen von F Teilen einer zweiten Faltungsschicht 206-1, ..., 206-F dar. Die F Teile der zweiten Faltungsschicht 206-1, ... 206-F bilden ihre jeweilige Eingangsgröße auf je eine zweite Ausgabe ab.
  • Die F zweiten Ausgaben stellen je eine Eingangsgröße für einen Klassifizierer 207 dar. Der Klassifizierer 207 ist ausgebildet, seine Eingangsgrößen auf eine Ausgangsgröße 208 abzubilden. Die Ausgangsgröße 208 ist im Beispiel eine Klassifikation y für die erste Zeitreihe 201, die zweite Zeitreihe 202 und die dritte Zeitreihe 203.
  • Abhängig von den ersten Ausgaben wird im Beispiel die graphische Darstellung 209, im Beispiel eine heat map, erzeugt. In dem in 2 dargestellten Beispiel wird ein Verlauf der Werte einer jeweiligen der ersten Ausgaben über der Zeit separat graphisch dargestellt.
  • Die Teile der ersten Faltungsschicht 205-1, ... 205-F, die Teile der zweiten Faltungsschicht 206-1, ... 206-F und der Klassifizierer 207 sind im Beispiel als Teile eines künstlichen neuronalen Netzwerks implementiert. Es kann vorgesehen sein, dass die Vorverarbeitung 204 als Teil des künstlichen neuronalen Netzwerks implementiert ist.
  • Die Teile der ersten Faltungsschicht 205-1, ... 205-F ermöglichen jeweils eine Faltung der Merkmale aus dem jeweiligen Frequenzfenster untereinander. Die dadurch erhaltenen ersten Ausgaben stellen eine von Menschen Interpretierbare Analyse der jeweiligen Zeitreihe dar. Die Teile der zweiten Faltungsschicht 206-1, ... 206-F ermöglichen eine zeitliche Faltung der Merkmale der jeweiligen ersten Ausgaben untereinander.
  • Die erste Faltungsschicht und die zweite Faltungsschicht sind im Beispiel Teile eines künstlichen neuronalen Netzwerks mit einer modularen neuronalen Netzwerkarchitektur. Diese ermöglicht es, anhand multivariater Zeitreihen kontinuierlicher oder kategorischer Eingangsgrößen eine kontinuierliche Zeitreihenklassifikation anhand fixer Zeitfenster, d.h. moving time windows, durchzuführen. Die Ausgabe dieses Systems ist die Klassifikation y der Zeitreihen und die graphische Darstellung z.B. eine Feature, Time Decision Heatmap, FTDH. Die FTDH ordnet Merkmale und bildet eine zeitliche Abhängigkeit für die Klassifikation y der Zeitreihen ab. Je größer ein individueller Wert in der graphischen Darstellung 209 ist, desto wichtiger das diesem Wert zugeordnete Merkmal zu der Zeit für die Entscheidung. Die Vorverarbeitung 204 umfasst in einem Beispiel ein Abtasten mit verschiedenen Frequenzen, sodass eine Vielzahl verschiedener Zeitreihen verarbeitbar sind. Die Klassifikation y wird so auf Basis verschiedener Frequenzbänder getroffen.
  • Das künstliche neuronale Netzwerk, welches die Vorverarbeitung 204 umfasst, wird beispielsweise abhängig von Trainingsdaten dazu trainiert, die erste Zeitreihe 201, die zweite Zeitreihe 202 und die dritte Zeitreihe 203 auf die Klassifikation y und die graphische Darstellung abzubilden. Die Trainingsdaten umfassen in diesem Fall Trainingsdatenpunkte, die jeweils eine erste Zeitreihe 201, eine zweite Zeitreihe 202 und eine dritte Zeitreihe 203 sowie deren Klassifikation y und deren graphische Darstellung umfassen.
  • Das künstliche neuronale Netzwerk ohne die Vorverarbeitung 204 wird beispielsweise abhängig von Trainingsdaten dazu trainiert, die Eingangsgrößen für die ersten Faltungsschichten 205-1, ... 205-F auf die Klassifikation y und die graphische Darstellung abzubilden. Die Trainingsdaten umfassen in diesem Fall Trainingsdatenpunkte, die jeweils eine Eingangsgröße für die Teile der ersten Faltungsschicht 205-1, ... 205-F sowie deren Klassifikation y und deren graphische Darstellung umfassen. Beispielsweise werden diese Eingangsgrößen für die Teile der ersten Faltungsschicht 205-1, ... 205-F mit der Vorverarbeitung 204 aus einer jeweiligen ersten Zeitreihe 201, zweiten Zeitreihe 202 und dritten Zeitreihe 203 bestimmt.
  • Das Training erfolgt beispielsweise mit einem Gradientenabstiegsverfahren bei dem eine Gütefunktion minimiert wird, die abhängt von einem Unterschied zwischen der Klassifikation y aus dem jeweiligen Trainingsdatenpunkt und der mit dem künstlichen neuronalen Netz bestimmten Klassifikation y sowie einem Unterschied zwischen der graphischen Darstellung aus dem jeweiligen Trainingsdatenpunkt und der mit dem künstlichen neuronalen Netz bestimmten graphischen Darstellung definiert ist.
  • Ein in 3 bespielhaft dargestellte Verfahren zur Fahrerassistenz beginnt beispielsweise wenn das Kraftfahrzeug 102 eingeschaltet wird.
  • Das Verfahren umfasst einen Schritt 302.
  • Im Schritt 302 wird wenigstens eine Zeitreihe bestimmt, die eine Fahrsituation charakterisiert. Im Beispiel werden x Zeitreihen bestimmt, wobei x eine ganzzahlige positive Zahl ungleich Null ist. Diese werden beispielsweise durch Abtasten von je einem Sensorsignal oder je eines Betriebszustandes oder je einer Abfrage einer Information vom Fahrer bestimmt.
  • Anschließend wird ein Schritt 304 ausgeführt.
  • Im Schritt 304 wird abhängig von der wenigstens eine Zeitreihe wenigstens eine Eingangsgröße für die erste Berechnungsschicht bestimmt. Die erste Berechnungsschicht umfasst im Beispiel die erste Faltungsschicht 205-1, ..., 205-F. Im Beispiel werden Eingangsgrößen der Teile der ersten Faltungsschicht 205-1, ..., 205-F bestimmt.
  • Im Schritt 304 werden die Eingangsgrößen für die Teile der ersten Faltungsschicht 205-1, ... 205-F mit der Vorverarbeitung 204 bestimmt. Im Beispiel werden die x Zeitreihen jeweils in F Rahmen unterteilt und je Rahmen ein Frequenzfenster bestimmt.
  • Die x Zeitreihen werden im Beispiel in gleichlange Rahmen unterteilt, die zudem bei derselben Anfangszeit (z.B. in Sekunden) beginnen und bei derselben Endzeit (z.B. in Sekunden) enden. Andere Arten der Aufteilung sind auch möglich, z.B. überlappende Zeiträume.
  • Das Verfahren wird im Beispiel je Zeitreihe iterativ für je einen Satz von Rahmen ausgeführt, der je einen Rahmen mit Daten aus jeder der x Zeitreihen umfasst, wobei sich diese Rahmen zeitlich zumindest abschnittsweise überlappen.
  • Im Beispiel werden die Rahmen mit derselben Anfangszeit und derselben Endzeit für eine Iteration des Verfahrens verwendet. Das bedeutet, in jeder Iteration wird je Teil der ersten Faltungsschicht 205-1, ..., 205-F ein Frequenzfenster als dessen Eingangsgröße bestimmt.
  • Anschließend wird ein Schritt 306 ausgeführt.
  • Im Schritt 306 wird die wenigstens eine Eingangsgröße durch die erste Berechnungsschicht auf eine erste Ausgabe der ersten Berechnungsschicht abgebildet. Die erste Berechnungsschicht umfasst im Beispiel die erste Faltungsschicht 205-1, ..., 205-F.
  • Im Beispiel werden die Eingangsgrößen der Teile der ersten Faltungsschicht 205-1, ..., 205-F mit dem jeweiligen Teil der ersten Faltungsschicht 205-1, ..., 205-F auf die erste Ausgabe abgebildet.
  • Anschließend wird ein Schritt 308 ausgeführt.
  • Im Schritt 308 wird die erste Ausgabe mit der zweiten Berechnungsschicht auf eine zweite Ausgabe abgebildet. Die zweite Berechnungsschicht umfasst im Beispiel die zweite Faltungsschicht 206-1, ..., 206-F.
  • Im Beispiel werden die Eingangsgrößen der Teile zweiten Faltungsschicht 206-1, ..., 206-F mit dem jeweiligen Teil der zweiten Faltungsschicht 206-1, ..., 206-F auf die zweite Ausgabe abgebildet.
  • Anschließend wird ein Schritt 310 ausgeführt.
  • Im Schritt 310 wird die zweite Ausgabe mit dem Klassifizierer 207 auf die Ausgangsgröße 208 abgebildet.
  • Die Ausgangsgröße 208 stellt im Beispiel die Klassifikation y der wenigstens einen Zeitreihe dar.
  • Anschließend wird ein Schritt 312 ausgeführt.
  • Im Schritt 312 wird abhängig von der ersten Ausgabe wenigstens ein Teil der graphischen Darstellung 209 bestimmt. Im Beispiel ist dieser Teil zwischen der Anfangszeit und der Endzeit des jeweiligen Rahmens der wenigstens einen Zeitreihe.
  • Im Beispiel wird abhängig von der ersten Ausgabe je Teil der ersten Faltungsschicht 205-1, ..., 205-F ein Wert zwischen einem Minimum, z.B. 0.0 und einem Maximum, z.B. 1.0 bestimmt, der in der graphischen Darstellung 209 darzustellen ist.
  • Die Klassifikation y und der Teil der graphischen Darstellung 209 stellen das Ergebnis der Verarbeitung der Information dar.
  • Anschließend wird ein Schritt 314 ausgeführt.
  • Im Schritt 314 wird in einem Beispiel dem Fahrer abhängig von der Klassifikation eine visuelle, akustische oder haptische Rückmeldung bereitgestellt.
  • Im Schritt 314 wird in einem Beispiel abhängig von der Klassifikation autonom oder teilautonom in eine Steuerung oder Bedienung des Kraftfahrzeugs 102 eingegriffen.
  • Es kann vorgesehen sein, sowohl eine Rückmeldung bereitzustellen als auch in die Steuerung oder Bedienung einzugreifen.
  • Im Schritt 314 wird das Signal dazu abhängig von der Klassifikation y bestimmt und ausgegeben.
  • Anschließend wird ein Schritt 316 ausgeführt.
  • Im Schritt 316 wird je Teil je Rahmen ein Wert einer Analyse der Fahrsituation zur Erklärung der Rückmeldung oder Steuerung in der Fahrsituation bestimmt. Dadurch ist erkennbar, welche Merkmale, d.h. welcher Teil der ersten Ausgabe, wann für die Entscheidungsfindung, d.h. die Klassifikation y, wie relevant waren.
  • Im Schritt 316 wird die graphische Darstellung 209 abgespeichert und/oder ausgegeben. Die graphische Darstellung 209 stellt eine Analyse der Fahrsituation zur Erklärung der Rückmeldung oder Steuerung in der Fahrsituation dar.
  • Anschließend wird der Schritt 302 ausgeführt. Das Verfahren endet beispielsweise, wenn das Kraftfahrzeug 102 ausgeschaltet wird.
  • Der wenigstens eine Sensor 104 kann ein Beschleunigungssensor, ein Raddrehzahlsensor, ein Temperatursensor, ein Sensor für einen Betriebszustand des Kraftfahrzeugs 102 oder eine Kamera umfassen.
  • Die Information über die Fahrsituation ist beispielsweise ein Signal des Beschleunigungssensors und/oder des Raddrehzahlsensors und/oder des Sensors für den Betriebszustand des Kraftfahrzeugs 102 und/oder der Kamera und/oder des Temperatursensors.
  • Eine beispielhafte graphische Darstellung eines zeitlichen Verlaufs von Werten der Analyse ist in 4 für eine Geschwindigkeit 402, eine maximale Geschwindigkeit 404, eine Anzahl an Fahrspuren 406, eine gefühlte Außentemperatur 408, eine Windgeschwindigkeit 410, eine Angabe zur Wolkendecke 412, eine Rollgeschwindigkeit 414, eine Teilnehmernummer 416, ein Alter 418 des Fahrers 428, eine Beschleunigung 420, einen Straßentyp 422, eine Angabe zum Wetter 424, eine Angabe zur Tageszeit 426, eine Angabe zu einem Gemütszustand des Fahrers 428 für einen Zeitraum von 0 bis 59 Sekunden dargestellt. Die Werte liegen im Beispiel zwischen 0.0 und 1.0 und sind mit unterschiedlichen Farben kodiert. Dies ist in 4 mit unterschiedlich dichtem Punktraster schematisch dargestellt. Statt der unterschiedlichen Farben können auch unterschiedliche Grautöne oder Füllmuster vorgesehen sein.
  • Die Teilnehmernummer 416, das Alter des Fahrers 418 und/oder der Gemütszustand des Fahrers 428 werden beispielsweise vor, nach oder während einer Fahrt mit dem Kraftfahrzeug 102 durch einen Fahrerdialog z.B. über das Multifunktionsanzeige- und/oder - eingabegerät erfasst. Die übrigen Werte werden im Beispiel abhängig von Sensorsignalen entsprechender Sensoren oder abhängig von Betriebszuständen des Kraftfahrzeugs 102 bestimmt.
  • Als Information über die Fahrsituation wird in diesem Beispiel je ein Signal des Beschleunigungssensors, des Raddrehzahlsensors, des Sensors für den Betriebszustand des Kraftfahrzeugs 102 und der Kamera und des Temperatursensors erfasst.
  • Für diese Signale wird das Verfahren ausgeführt, wobei beispielhaft die graphische Darstellung aus 4 ermittelt und ausgegeben wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019220084 A [0002]
    • US 20190389459 A1 [0003]

Claims (12)

  1. Verfahren zur Fahrerassistenz für ein Kraftfahrzeug (102), dadurch gekennzeichnet, dass wenigstens eine Zeitreihe (201, 202, 203) bestimmt wird (302), die eine Fahrsituation des Kraftfahrzeugs (102) charakterisiert, wobei abhängig von der wenigstens einen Zeitreihe (201, 202, 203) wenigstens eine Eingangsgröße für eine erste Berechnungsschicht, insbesondere eine erste Faltungsschicht (205-1, ... 205-F), bestimmt wird (304), wobei die wenigstens eine Eingangsgröße durch die erste Berechnungsschicht auf eine erste Ausgabe der ersten Berechnungsschicht abgebildet wird (306), wobei die erste Ausgabe mit einer zweiten Berechnungsschicht, insbesondere einer zweiten Faltungsschicht (206-1, ..., 206-F), auf eine zweite Ausgabe abgebildet wird (308), wobei die zweite Ausgabe mit einem Klassifizierer auf eine Ausgangsgröße (208) abgebildet wird (310), die eine Klassifikation der wenigstens einen Zeitreihe (201, 202, 203) charakterisiert, wobei abhängig von der ersten Ausgabe wenigstens ein Teil einer graphischen Darstellung (209) bestimmt wird (312), wobei die graphische Darstellung ausgegeben und/oder abgespeichert wird (316).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass einem Fahrer des Kraftfahrzeugs (102) abhängig von der Klassifikation eine visuelle, akustische oder haptische Rückmeldung bereitgestellt wird (314).
  3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass abhängig von der Klassifikation autonom oder teilautonom in eine Steuerung oder Bedienung des Kraftfahrzeugs (102) eingegriffen wird (314).
  4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Zeitreihe durch Abtasten von Sensorsignalen oder Betriebszuständen oder eine Abfrage einer Information vom Fahrer bestimmt wird (302) .
  5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Eingangsgröße für die ersten Faltungsschichten (205-1, ... 205-F) mit einer Vorverarbeitung (204) bestimmt wird (304), wobei die wenigstens eine Zeitreihe (201, 202, 203) in eine Anzahl von Rahmen unterteilt wird, wobei die Klassifikation und/oder die graphische Darstellung je Rahmen bestimmt wird, und je Rahmen ein Frequenzfenster bestimmt wird, das die wenigstens eine Eingangsgröße je Rahmen charakterisiert.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass wenigstens zwei Zeitreihen (201, 202, 203) bestimmt werden (302), die in gleichlange Rahmen unterteilt werden (304).
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Rahmen, bei derselben Anfangszeit beginnen und bei derselben Endzeit enden.
  8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass die graphische Darstellung eine Erklärung der Rückmeldung in der Fahrsituation umfasst.
  9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die graphische Darstellung eine Erklärung der Steuerung oder Bedienung des Kraftfahrzeugs (102) in der Fahrsituation umfasst.
  10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass die wenigstens eine Zeitreihe (201, 202, 203) in die Anzahl von Rahmen unterteilt wird, wobei den Rahmen je ein Teil der graphischen Darstellung (209) zwischen der Anfangszeit und der Endzeit des jeweiligen Rahmens zugeordnet wird (306), wobei in diesem Teil je Rahmen ein Wert einer Analyse der Fahrsituation zur Erklärung bestimmt wird (316).
  11. Vorrichtung (100) zur Fahrerassistenz für ein Kraftfahrzeug (102), dadurch gekennzeichnet, dass die Vorrichtung (100) eine Recheneinrichtung (106) umfasst, die ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.
  12. Kraftfahrzeug (102), dadurch gekennzeichnet, dass das Kraftfahrzeug (102) die Vorrichtung (100) nach Anspruch 11 umfasst.
DE102022104322.3A 2022-02-23 2022-02-23 Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug Pending DE102022104322A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022104322.3A DE102022104322A1 (de) 2022-02-23 2022-02-23 Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022104322.3A DE102022104322A1 (de) 2022-02-23 2022-02-23 Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102022104322A1 true DE102022104322A1 (de) 2023-08-24

Family

ID=87518605

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022104322.3A Pending DE102022104322A1 (de) 2022-02-23 2022-02-23 Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102022104322A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190389459A1 (en) 2018-06-24 2019-12-26 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Motion of Vehicle with Variable Speed
JP2019220084A (ja) 2018-06-22 2019-12-26 矢崎総業株式会社 解析装置、車載器、及びパターン解析補助装置
US20210232915A1 (en) 2020-01-23 2021-07-29 UMNAI Limited Explainable neural net architecture for multidimensional data
EP3862925A1 (de) 2020-02-05 2021-08-11 Robert Bosch GmbH Bestimmung einer maske zur erläuterung einer klassifikation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220084A (ja) 2018-06-22 2019-12-26 矢崎総業株式会社 解析装置、車載器、及びパターン解析補助装置
US20190389459A1 (en) 2018-06-24 2019-12-26 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Motion of Vehicle with Variable Speed
US20210232915A1 (en) 2020-01-23 2021-07-29 UMNAI Limited Explainable neural net architecture for multidimensional data
EP3862925A1 (de) 2020-02-05 2021-08-11 Robert Bosch GmbH Bestimmung einer maske zur erläuterung einer klassifikation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASSAF, Roy; SCHUMANN, Anika: Explainable deep neural networks for multivariate time series predictions. In: IJCAI, 2019, 6488-6490. https://www.ijcai.org/proceedings/2019/0932.pdf [abgerufen am 29.09.2022]
ROJAT, Thomas, et al.: Explainable artificial intelligence (xai) on timeseries data: A survey. In: arXiv preprint, 2021, 1-14. https://arxiv.org/abs/2104.00950v1 [abgerufen am 29.09.2022]

Similar Documents

Publication Publication Date Title
DE102017218889A1 (de) Unscharf parametriertes KI-Modul sowie Verfahren zum Betreiben
EP3701433B1 (de) Verfahren, vorrichtung und computerprogramm zur erstellung eines tiefen neuronalen netzes
DE102018008685A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm maschinenlesbares Speichermedium und entsprechende Vorrichtung
DE102019210507A1 (de) Vorrichtung und computerimplementiertes Verfahren für die Verarbeitung digitaler Sensordaten und Trainingsverfahren dafür
DE102020207449B4 (de) Verfahren, Computerprogramm und Vorrichtung zum Verarbeiten von Signalen
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
EP3786853A1 (de) Komprimieren eines tiefen neuronalen netzes
DE102022104322A1 (de) Vorrichtung und Verfahren zur Fahrerassistenz für ein Kraftfahrzeug, die Vorrichtung umfassendes Kraftfahrzeug
DE102018109851A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
DE202017105656U1 (de) Prädiktives Messsystem, Aktorsteuerungssystem und Vorrichtung zum Betreiben des prädiktiven Messsystems und/oder des Aktorsteuerungssystems
DE102019207911A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Vorhersage einer Lernkurve
DE202019103323U1 (de) Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE202019103046U1 (de) Vorrichtung zur Vorhersage einer Lernkurve
DE102019207575A1 (de) Verfahren zum Beurteilen einer funktionsspezifischen Robustheit eines Neuronalen Netzes
EP3956820B1 (de) Verfahren, vorrichtung und computerprogramm zum erstellen eines neuronalen netzes
DE102021208472B3 (de) Computerimplementiertes Verfahren zum Trainieren eines Machine-Learning-Modells für ein Fahrzeug oder einen Roboter
DE202021103700U1 (de) Vorrichtung zum Erzeugen eines künstlichen neuronalen Netzes
DE102021207275A1 (de) Verfahren zum Erzeugen eines künstlichen neuronalen Netzes
DE102022104060A1 (de) Computerimplementiertes Verfahren und Auswertungsvorrichtung zur Auswertung einer Verkehrssituation, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
DE102019208629A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erstellen eines maschinellen Lernsystems
DE102021207274A1 (de) Verfahren zum Trainieren eines neuronalen Netz-Ensembles
DE202019102339U1 (de) Vorrichtung zur Erzeugung eines Bildes
DE102020203817A1 (de) Verfahren und System zum Bereitstellen mindestens eines komprimierten und spezialisierten Neuronalen Netzes für ein Fahrzeug
DE202021102084U1 (de) Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication