DE102017216061A1

DE102017216061A1 - Situationsabhängige Entscheidungsfindung für Fahrzeuge

Info

Publication number: DE102017216061A1
Application number: DE102017216061.6A
Authority: DE
Inventors: Stefan Elser; Michael Walter
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2019-03-14
Also published as: CN110382303A; US20190382006A1; EP3681767A1; WO2019052762A1

Abstract

Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion, wobei die Auswerteeinrichtung ausgeführt ist, ein künstliches neuronales Netzwerk, dessen Ausgabe die Fahrzeugaktion ist, mit Daten eines Fahrzeugumfeldes zu speisen, wobei das künstliche neuronale Netzwerk ausgeführt ist, in Abhängigkeit dieser Daten eine Unfallsituation vorherzubestimmen, für diese Unfallsituation eine Schadensfunktion für, in Abhängigkeit von simulierten Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist. Ferner betrifft die Erfindung ein Computerprogrammprodukt zum Erhalten einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, das durch verstärkendes Lernen eine Schadensfunktion minimiert, ein System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation und ein Fahrerassistenzsystem mit einem erfindungsgemäßen System oder künstlichen neuronalen Netzwerk.

Description

Die Erfindung betrifft eine Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion nach Anspruch 1, ein Computerprogrammprodukt nach Anspruch 14, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks nach Anspruch 17, ein System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation nach Anspruch 19 und ein Fahrerassistenzsystem nach Anspruch 22.
Aus dem Stand der Technik bekannte Fahrzeuge sind mit einer Vielzahl von Sensoren ausgestattet, die eine weiträumige Abdeckung des Fahrzeugumfeldes ermöglichen. Bekannte Kollisions- Reaktionssysteme, wie z.B. Emergency Brake Assist und/oder Airbag Deployment Systeme, versuchen mit Hilfe von Daten dieser Sensoren einen Aktionszeitpunkt für eine vordefinierte Reaktion, beispielsweise einer Notbremsung, einem Auslösen eines Airbags oder eines Ausweichmanövers, zu bestimmen. Diese Reaktionen basieren auf händisch vordefinierten Szenarien. In komplexen realen Situationen ist jedoch eine Vielzahl an Reaktionen zu beliebigen Zeitpunkten möglich, welche nicht ohne weiteres händisch definiert werden können.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, ein System bereitzustellen, das situationsabhängige Entscheidungen für ein Fahrzeug in einer Unfallsituation trifft. Insbesondere soll das System nicht nur eine vordefinierte Reaktion ausführen, sondern auch in der Lage sein, eine andere Lösung in Betracht zu ziehen, wie z.B. zu einem früheren Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Kollision gänzlich zu vermeiden.
Diese Aufgabe wird erfindungsgemäß gelöst mit einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion mit den Merkmalen des Anspruchs 1, einem Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, einem Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks mit den Merkmalen des Anspruchs 17, einem System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit den Merkmalen des Anspruchs 19 und einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 22.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Die erfindungsgemäße Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ist ausgeführt, ein künstliches neuronales Netzwerk, dessen Ausgabe die Fahrzeugaktion ist, mit Daten eines Fahrzeugumfeldes zu speisen. Dabei ist das künstliche neuronale Netzwerk ausgeführt, in Abhängigkeit dieser Daten eine Unfallsituation vorherzubestimmen, für diese Unfallsituation eine Schadensfunktion für, in Abhängigkeit von simulierten Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktionen zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine Auswerteeinrichtung eine elektronische Schaltung, wie z.B. eine zentrale Prozessoreinheit oder ein Grafikprozessor.
Eine Fahrzeugaktion ist zum einen eine Fahrzeugaktion, durch die ein Unfall vermieden wird, und zum anderen eine Fahrzeugaktion, durch die Unfallfolgen eines eingetretenen Unfalles abgemildert werden können. Fahrzeugaktionen, durch die ein Unfall vermieden werden kann, sind beispielsweise Eingriffe in Längs- und/oder Quersteuerung, z.B. Bremsen, Lenken und/oder Beschleunigen. Eine Fahrzeugaktion zum Abmildern von Unfallfolgen ist z.B. das Einstellen eines Sicherheitsgurtes mit einem Gurtstraffer oder das Auslösen eines Airbags.
Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren Inputs mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Das Trainieren eines künstlichen neuronalen Netzwerks mit Hilfe von vorbestimmten Inputs wird maschinelles Lernen genannt. Vorwärtsspeisen bedeutet eine Summenbildung und Ausgabe durch die Aktivierungsfunktion. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Dabei bezeichnet künstliche Intelligenz das zweckgerichtete Reagieren auf neue Informationen.
Deep Neural Networks ermöglichen durch die Anordnung von Hidden Layers eine effiziente Kodierung eines komplexen Zustandsraums, in dem komplexe Reaktionsmodelle kodiert werden können.
Insbesondere wird das künstliche neuronale Netzwerk auf der Auswerteeinrichtung ausgeführt.
Daten sind logische Größen und/oder physikalische Größen, z.B. elektrische Signale.
Eine Schadensfunktion, auch als Kosten- oder Nutzenfunktion bezeichnet, ist eine Funktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.
Der Vorteil der erfindungsgemäßen Auswerteeinrichtung liegt unter anderem darin, dass das künstliche neuronale Netzwerk aufgrund der generischen Eigenschaften und der effizienten Kodierung eines komplexen Zustandsraums in dem künstlichen neuronalen Netzwerks in der Lage ist, auf zuvor noch nicht gesehener Ereignisse optimal zu reagieren. Die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist, kann insbesondere bedeuten, dass z.B. bewusst ein parallel fahrendes Auto gerammt wird, um einer Frontalkollision auszuweichen. Ausschlaggebend dabei ist immer der Wert der Schadensfunktion. Ist der Wert der Schadensfunktion für die Fahrzeugaktion Rammen eines parallel fahrendes Autos kleiner als der Wert für die Fahrzeugaktion Frontalkollision, wird das künstliche neuronale Netzwerk als Fahrzeugaktion bestimmen, das parallel fahrende Auto zu rammen. Im Gegensatz dazu würde ein bekanntes Kollisions- Reaktionssystem nur in der Lage sein, auf die Frontalkollision mit einer vordefinierten Reaktion zu reagieren, beispielsweise durch eine Notbremsung oder ein Auslösen eines Airbags.
Vorteilhafterweise ist das künstliche neuronale Netzwerk ausgeführt, die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Das künstliche neuronale Netzwerk wird also beispielsweise nicht zwingend eine vordefinierte Reaktion ausführen, wie z.B. das Zünden eines Airbags zum letztmöglichen Zeitpunkt, sondern auch die Möglichkeit in Betracht ziehen, z.B. zu einem früherem Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Unfallsituation, insbesondere eine Kollision, gänzlich zu vermeiden.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, durch verstärkendes Lernens die Fahrzeugaktion zu bestimmen.
Verstärkendes Lernen, auch als Reinforcement Learning bezeichnet, steht für eine Reihe von Methoden des maschinellen Lernens, bei denen ein Agent, hier das künstliche neuronale Netzwerk, selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem Agenten nicht vorgezeigt, welche Aktion in welcher Situation die Beste ist, sondern er erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert der Agent eine Nutzenfunktion, hier die Schadensfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder Aktion hat. Durch Reinforcement Learning werden komplexe physikalische Modelle und die vielfältigen Situationen implizit gelernt und müssen nicht für jeden Spezialfall im Vorhinein definiert werden.
Vorteilhafterweise sind die Fahrzeugaktionen ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen, wobei Fahrzeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind. Damit ist das künstliche neuronale Netzwerk nicht nur dafür ausgeführt, für eine bestimmte Unfallsituation eine passende Fahraktion zu bestimmen, sondern darüber hinaus zusätzlich ausgeführt, auch die Dauer oder Ausführung der jeweiligen Fahrzeugaktion optimal zu bestimmen.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktionsparameter zu variieren, wobei vorzugsweise die Auswerteeinrichtung ausgeführt ist, die Fahrzeugaktionsparameter mit einem Zufallszahlengenerator zu variieren.
Als Zufallszahlengenerator bezeichnet man ein Verfahren, das eine Folge von Zufallszahlen erzeugt.
Durch eine zufällige Sequenz von Fahrzeugaktionen oder durch eine zufällige Variation einer bereits gelernten Sequenz von Fahrzeugaktionen hat das künstliche neuronale Netzwerk die Möglichkeit, verschiedene Fahrzeugaktionen für eine bestimmte Unfallsituation in Betracht zu ziehen.
Vorzugsweise sind in der Schadensfunktion Personenschäden stärker als Sachschäden gewichtet.
Eine Sache ist keine Person. Insbesondere ist ein Tier eine Sache.
Damit kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, für die ein minimaler Personenschaden eintritt.
In einer bevorzugten Ausgestaltung der Erfindung ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution. Damit wird für eine unausweichliche Unfallsituation jede Qualifizierung nach persönlichen Merkmalen untersagt.
In das Anstandsgefühl aller billig und gerecht denkender Menschen fließen u.a. ethische Gesichtspunkt mit ein. Durch die Untersagung einer Qualifizierung nach persönlichen Merkmalen wird die ethisch fundierte Norm der Gleichbehandlung aller Menschen durch die beanspruchte Erfindung nicht verletzt.
Vorteilhafterweise sind in der Schadensfunktion Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet. Dadurch kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, die zu einer insgesamt minimalen Schadensschwere führt in einer unausweichlichen Unfallsituation.
Besonders bevorzugt sind in der Schadensfunktion Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzungen und leichte Verletzungen gewichtet. Dies ist eine absteigende Wertung, wobei ein niedriger Wert wenig Schaden bedeutet.
Vorzugsweise sind in der Schadensfunktion Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet.
Durch die Gewichtung von Personenschäden und Sachschäden kann eine Gewichtung nach Schadensschwere einfach erfolgen.
In einer Weiterbildung der Erfindung ist die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Dies erlaubt die Definition von zwei verschiedenen Schadensfunktionen.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktion zu bestimmen, für die die Anzahl der Personenschäden minimal ist. Eine Minderung der Anzahl der Personenschäden ist ethisch vertretbar. Dabei ist eine Aufrechnung von Opfern allerdings nicht vorgesehen.
In einer weiteren Ausgestaltung der Erfindung ist die Auswerteeinrichtung für den Fall, dass für zwei bestimmte Fahrzeugaktionen, für die das Ergebnis der Schadensfunktion derselbe Personenschaden ist, ausgeführt, die Fahrzeugaktion mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen. Damit ist es möglich, einen resultierenden Gesamtschaden möglichst gering zu halten.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in den Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen eine Unfallsituation eines Fahrzeuges simuliert wird, wobei für diese Unfallsituation in Abhängigkeit von Fahrzeugaktionen, Fahrzeugaktionsparameter und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden, um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion zu behalten, wenn das Computerprogrammprodukt auf einen Computer läuft, wobei die Fahrzeugaktionen ein Lenken, Bremsen und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen sind, die Fahrzeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und in dem Schadenmodell Personenschäden stärker als Sachschäden gewichtet sind, Personenschäden und/oder Sachschäden in Abhängigkeit der Schadenschwere gewichtet sind, Personenschäden nach Todesfall, Verletzungen mit Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet sind, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei die Schadenfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution ist und die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden in dem Fahrzeug ist.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Erhalten einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion.
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeitet.
Ein Speicher ist ein Medium für die Sicherung von Daten.
Software ist ein Sammelbegriff für Programme und die zugehörigen Daten. Das Komplement zur Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines datenverarbeitenden Systems.
Mit dem erfindungsgemäßen Computerprogrammprodukt lassen sich vorteilhafterweise Fahrzeugverhalten als auch Schadensmodelle für beteiligte Personen, z.B. Verletzungsgrad einer Person und Wertverlust eines Fahrzeuges und/oder einer Infrastruktur simulieren. Durch diese Simulation kann einem künstlichen neuronalen Netzwerk eine Schadensfunktion zur Verfügung gestellt werden. Durch die Simulation können komplexe physikalische Modelle und die vielfältigen Situationen von dem künstlichen neuronalen Netzwerk implizit gelernt werden.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, eine mit dem erfindungsgemäßen Computerprogrammprodukt erhaltene Schadensfunktion auszuwerten. Das künstliche neuronale Netzwerk kann dann insbesondere durch Reinforcement Learning in einer umfassenden Simulation trainiert werden, um im Falle eines bevorstehenden Unfalls den für alle beteiligten besten Ausgang zu erzwingen oder diesen Unfall gänzlich zu vermeiden.
Vorzugsweise weist die Auswerteeinrichtung eine Eingabeschnittstelle auf, um Daten von Fahrzeugumfeldsensoren, vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschallsensoren, zu erhalten.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten, oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
Aktuelle Fahrzeuge weisen bereits Fahrzeugumfeldsensoren auf. Damit ist die Erfassung von Daten des Fahrzeugumfeldes besonders einfach.
Bei dem erfindungsgemäßen Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung ausgeführt. Erfindungsgemäß weist das Verfahren die folgenden Verfahrensschritte auf:

- Bereitstellen von Daten eines Fahrzeugumfelds,
- in Abhängigkeit dieser Daten Vorherbestimmen einer Unfallsituation,
- durch verstärkendes Lernen Erlernen, für die Unfallsituation eine Schadensfunktion von, in Abhängigkeit simulierter Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist.

Vorzugsweise wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ausgeführt.
Mit dem erfindungsgemäßen Verfahren kann ein künstliches neuronales Netzwerk trainiert werden, auf nicht vordefinierte Situationen optimale Reaktionen zum Vermeiden einer Unfallsituation auszuführen.
Bevorzugt wird zur Durchführung des Verfahrens eine erfindungsgemäße Auswerteeinrichtung verwendet.
Das erfindungsgemäße System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation weist eine Eingangsschnittstelle auf, um Daten eines Fahrzeugumfeldes zu erhalten. Ferner weist das System eine Auswerteeinrichtung auf, die ausgeführt ist, ein durch verstärkendes Lernens trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärts zu speisen, um für eine Unfallsituation die Fahrzeugaktion zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion in dieser Unfallsituation minimal ist, und in Abhängigkeit dieser Fahrzeugaktion ein Signal für eine Fahrzeugsteuerung zu erhalten. Außerdem weist das System eine Ausgangsschnittstelle auf, die ausgeführt ist dieses Signal an eine Fahrzeugsteuerungseinrichtung auszugeben.
Eine Fahrzeugsteuerungseinrichtung ist eine Einrichtung, die Funktionen der Längs- und/oder Quersteuerung eines Fahrzeuges ausführt oder übernimmt.
Da das künstliche neuronale Netzwerk bereits mit verstärkendem Lernen trainiert ist, wird mit dem Vorwärtsspeisen dieses künstlichen neuronalen Netzwerks mit Daten des Fahrzeugumfeldes eine end-to-end Lösung zum Vermeiden bzw. zum Abmildern von Unfallfolgen bereitgestellt. Insbesondere kann das System auf unbekannte Situationen aufgrund der generischen Eigenschaften des künstlichen neuronalen Netzwerks optimal reagieren.
Vorzugsweise ist die Auswerteeinrichtung ausgeführt, um für eine bevorstehende Unfallsituation die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Damit kann mit dem System der Gesamtschaden minimiert werden. Die Auswerteeinrichtung kann auch die Fahrzeugaktion bestimmen, die bei einer Unvermeidbarkeit eines Unfalls einen Ausgang mit minimalem Gesamtschaden gewährleistet.
Bevorzugt ist das künstliche neuronale Netzwerk des Systems nach dem erfindungsgemäßen Verfahren trainiert.
Ein Fahrerassistenzsystem gemäß der Erfindung weist ein erfindungsgemäßes System oder ein nach dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netzwerk auf.
Die Erfindung wird in den nachfolgenden Figuren ausführlich beschrieben. Es zeigen:

1 ein Ausführungsbeispiel einer erfindungsgemäßen Auswerteeinrichtung,
2 ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammprodukts,
3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und
4 ein Ausführungsbeispiel eines erfindungsgemäßen Systems.

1 zeigt eine bevorstehende Unfallsituation 32 für ein auf einer Fahrbahn auf zwei Fahrzeuge auffahrendes Fahrzeug 22. Wenn das Fahrzeug 22 auf seiner Fahrbahn die Richtung beibehaltend weiterfährt, kollidiert es mit dem vorausfahrenden Fahrzeug. Die Unfallsituation 32 ist eine Frontalkollision.
Das Fahrzeug 22 ist mit einer Kamera als Fahrzeugumfeldsensor 31 ausgestattet. Die Kamera 31 nimmt Daten 30 des Umfeldes des Fahrzeuges 22 auf. In dem Umfeld erfasst die Kamera 31 als Daten die zwei vorausfahrenden Fahrzeuge. Das Fahrzeug 22 kann auch mit einem Sensorset, zum Beispiel aus Kamera-, Radar- und Lidarsensor, als Fahrzeugumfeldsensor 31 ausgestattet sein. Ein derartiges Sensorset nutzt durch Sensor-Fusion der einzelnen Sensoren deren jeweilige Vorteile kombiniert aus.
Die Daten des Fahrzeugumfeldsensors 31 werden über eine Eingabeschnittstelle 12 einer Auswerteeinrichtung 10 zugeführt. Die Auswerteeinrichtung 10 kann ein Prozessor, insbesondere auch ein Mehrkernprozessor, eines Computers sein. Die Auswerteeinrichtung 10 ist an dem Fahrzeug 22 angeordnet. Es liegt aber auch im Rahmen der Erfindung, dass die Auswerteeinrichtung 10 an einer zentralen Stelle außerhalb des Fahrzeuges 22 angeordnet ist, wobei das Fahrzeug 22 die Daten 30 des Fahrzeugumfeldes an die Auswerteeinrichtung 10 zum Auswerten sendet und die Auswerteeinrichtung 10 das Ergebnis der Auswertung wieder zurück an das Fahrzeug 22 sendet.
Die Auswerteeinrichtung 10 weist ein künstliches neuronales Netzwerk 11 auf. Das künstliche neuronale Netzwerk 11 ist ein Deep Neural Network mit mehreren Hidden Layers, in dem als komplexer Zustandsraum das Fahren des Fahrzeuges 22 in einem Fahrzeugumfeld in Abhängigkeit einer Anzahl und einer Anordnung von Hidden Layers kodiert ist. Das künstliche neuronale Netzwerk 11 kann auch ein Convolutional Neural Network sein. Convolutional Neural Networks sind mehrschichtige künstliche neuronale Netzwerke, bei denen jede Schicht voneinander unabhängige Neuronen enthält. Convolutional Neural Networks mit sich wiederholenden Schichten heißen Deep Convolutional Neural Networks.
Das künstliche neuronale Netzwerk 11 wertet die Unfallsituation 32 für eine gegebene Schadensfunktion 13 aus. Die Schadensfunktion 13 wird von dem in 2 gezeigten Computerprogrammprodukt 40 bereitgestellt. In Abhängigkeit des Zustandes der Unfallsituation 32 gibt die Schadensfunktion 13 die Fahrzeugaktion 20 aus, die zu einem Minimum der Schadensfunktion, d.h. zu einem minimalen Gesamtschaden der Unfallsituation 32, führt. Die Fahrzeugaktion 20 ist ein Ausweichmanöver, so dass eine Frontalkollision mit den vorausfahrenden Fahrzeugen erst gar nicht eintritt.
Das Computerprogrammprodukt 40 in 2 wird in einem Speicher eines Computers 41 geladen und in diesem Computer 41 ausgeführt. Softwarecodeabschnitte des Computerprogrammprodukts 40 simulieren Unfallsituationen 32 eines Fahrzeuges 22. Für diese Unfallsituationen 32 berechnet das Computerprogrammprodukt 40 in Abhängigkeit von Fahrzeugaktionen 20, wie z.B. Geradeausfahren, Abbremsen, Ausweichen nach links oder rechts, Fahrzeugaktionsparameter 21, beispielsweise Dauer eines Brems- oder Beschleunigungsvorganges, und eines Schadenmodells, Personenschäden und/oder Sachschäden. Abhängig von diesen Personenschäden und/oder Sachschäden erhält das Computerprogrammprodukt eine Schadensfunktion 13. In dem Schadenmodell sind Personenschäden stärker gewichtet als Sachschäden, Personen- und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet, Personenschäden nach Todesfall, Verletzungen und Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet. Dabei ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution und die Schadensfunktion ist eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Bei Sachschäden entspricht die Wertung der Schadensschwere einem Wertverlust des Fahrzeugs, von anderen Fahrzeugen oder eines Objekts der Infrastruktur, z.B. eines Gebäudes.
Bei dem in 3 gezeigten Verfahren werden Daten eines Fahrzeugumfeldes einem künstlichen neuronalen Netzwerk, dass auf einer Auswerteeinrichtung ausgeführt wird, bereitgestellt. In Abhängigkeit dieser Daten wird eine Unfallsituation vorherbestimmt. Mittels verstärkendem Lernen erlernt das künstliche neuronale Netzwerk 11, für diese Unfallsituation 32 eine Schadensfunktion 30 von in Abhängigkeit simulierter Fahrzeugaktionen 20 berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation 32 minimal ist.
Durch das Bereitstellen von Daten 30 eines Fahrzeugumfeldes kann das künstliche neuronale Netzwerk 11 die Umgebung des Fahrzeuges 22 beobachten und für entsprechend ausgeführte Aktionen belohnt werden. Nachdem das künstliche neuronale Netzwerk 11 die Fahrzeugaktion 22 mit minimaler Schadensfunktion 13 bestimmt hat, wird die Umgebung des Fahrzeuges 22 durch Bereitstellen von Daten des Fahrzeugumfeldes erneut beobachtet.
4 zeigt ein System 50 für eine Fahrzeugsteuerung. Das System 50 weist eine Eingangsschnittstelle 51 auf, über die dem System 50 Daten eines Fahrzeugumfeldsensors 31 zugeführt werden. Das System 50 weist eine Auswerteeinrichtung 10 auf, die ein durch verstärkendes Lernen trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärtsspeist, um für eine Unfallsituation 32 die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion 13 in dieser Unfallsituation minimal ist. In Abhängigkeit dieser Fahrzeugaktion 20 wird ein Signal für eine Fahrzeugsteuerung erhalten. Über eine Ausgangsschnittstelle 52 wird dieses Signal an eine Fahrzeugsteuerungseinrichtung 53 ausgegeben.
Damit kann vorteilhafterweise ein Fahrerassistenzsystem bereitgestellt werden, das beispielsweise mittels einer end-to-end Lösung auf eine bevorstehende Unfallsituation automatisch optimal reagiert, unabhängig von vordefinierten Szenen.
Bezugszeichenliste

10: Auswerteeinrichtung
11: künstliches neuronales Netzwerk
12: Eingabeschnittstelle
13: Schadensfunktion
20: Fahrzeugaktion
21: Fahrzeugaktion-Parameter
22: Fahrzeug
30: Daten
31: Fahrzeugumfeld-Sensor
32: Unfallsituation
40: Computerprogrammprodukt
41: Computer
50: System
51: Eingangsschnittstelle
52: Ausgangsschnittstelle
53: Fahrzeugsteuerungseinrichtung

Claims

Auswerteeinrichtung (10) zum Bestimmen einer Fahrzeugaktion (20), wobei -die Auswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (11), dessen Ausgabe die Fahrzeugaktion (20) ist, mit Daten (30) eines Fahrzeugumfeldes zu speisen, wobei - das künstliche neuronale Netzwerk (11) ausgeführt ist, • in Abhängigkeit dieser Daten (30) eine Unfallsituation (32) vorherzubestimmen, • für diese Unfallsituation (32) eine Schadensfunktion (13) für, in Abhängigkeit von simulierten Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und • die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist.
Auswerteeinrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (11) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist.
Auswerteeinrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (11) ausgeführt ist, durch verstärkendes Lernen die Fahrzeugaktion (20) zu bestimmen.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugaktion (20) vorzugsweise ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, ist oder eine Sequenz der vorangehenden Fahrzeugaktionen (20), wobei Fahrzeugaktions-Parameter Zeitpunkte (21), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind.
Auswerteeinrichtung (10) nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21) zu variieren, wobei vorzugsweise die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21) mit einem Zufallszahlengenerator zu variieren.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden stärker als Sachschäden gewichtet sind.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, für die die Anzahl der Personenschäden minimal ist.
Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für zwei bestimmte Fahrzeugaktionen (20), für die das Ergebnis der Schadensfunktion (13) derselbe Personenschaden ist, die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen.
Computerprogrammprodukt (40), das ausgeführt ist, - in den Speicher eines Computers (41) geladen zu werden, und - das Softwarecodeabschnitte umfasst, • mit denen eine Unfallsituation (32) eines Fahrzeuges (22) simuliert wird, wobei • für diese Unfallsituation (32) in Abhängigkeit von Fahrzeugaktionen (20), Fahrzeugaktions-Parameter (21) und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden • um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion (13) zu erhalten, wenn das Computerprogrammprodukt (40) auf einem Computer läuft (41), wobei - die Fahrzeugaktionen (20) ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges (22) und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen (20) sind, - die Fahrzeugaktions-Parameter Zeitpunkte (21), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und - in dem Schadenmodell • Personenschäden stärker als Sachschäden gewichtet sind, • Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind, • Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind, und • Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei - die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist und - die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist.
Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (11) ausgeführt ist, eine mit dem Computerprogrammprodukt (40) nach Anspruch 14 erhaltene Schadensfunktion (13) auszuwerten.
Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) eine Eingabeschnittstelle (12) aufweist, um Daten (30) von Fahrzeugumfeld-Sensoren (31), vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschall-Sensoren, zu erhalten.
Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (11), wobei das künstliche neuronale Netzwerk (11) auf einer Auswerteeinrichtung (10) ausgeführt wird, mit den folgenden Verfahrensschritten: - Bereitstellen von Daten (30) eines Fahrzeugumfeldes für das künstliche neuronale Netzwerk (11), - in Abhängigkeit dieser Daten (30) vorherbestimmen einer Unfallsituation (32), - durch verstärkendes Lernen erlernen, für diese Unfallsituation (32) eine Schadensfunktion (13) von, in Abhängigkeit simulierter Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15 oder 16 verwendet wird.
System (50) für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit - einer Eingangsschnittstelle (51), um Daten (30) eines Fahrzeugumfeldes zu erhalten, - einer Auswerteeinrichtung (10), die ausgeführt ist, • ein durch verstärkendes Lernen trainiertes künstliches neuronales Netzwerk (11) mit diesen Daten (30) vorwärts zu speisen, • um für eine Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist, und • in Abhängigkeit dieser Fahrzeugaktion (20) ein Signal für eine Fahrzeugsteuerung zu erhalten, und - einer Ausgangsschnittstelle (52), die ausgeführt ist, dieses Signal an eine Fahrzeugsteuerungseinrichtung (53) auszugeben.
System (50) nach Anspruch 19, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, um für eine bevorstehende Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist.
System (50) nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (11) nach dem Verfahren nach Anspruch 17 oder 18 trainiert ist.
Fahrerassistenzsystem mit einem System nach einem der Ansprüche 19 bis 21 oder mit einem nach dem Verfahren nach Anspruch 17 oder 18 trainierten künstlichen neuronalen Netzwerk (11).