EP3681767A1 - Situationsabhängige entscheidungsfindung für fahrzeuge - Google Patents

Situationsabhängige entscheidungsfindung für fahrzeuge

Info

Publication number
EP3681767A1
EP3681767A1 EP18758846.2A EP18758846A EP3681767A1 EP 3681767 A1 EP3681767 A1 EP 3681767A1 EP 18758846 A EP18758846 A EP 18758846A EP 3681767 A1 EP3681767 A1 EP 3681767A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
damage
evaluation device
function
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18758846.2A
Other languages
English (en)
French (fr)
Inventor
Stefan Elser
Michael Walter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP3681767A1 publication Critical patent/EP3681767A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the invention relates to an evaluation device for determining a vehicle action according to claim 1, a computer program product according to claim 14, a method for training an artificial neural network according to claim 17, a system for a vehicle control for situation-dependent decision-making in an accident situation according to claim 19 and a driver assistance system according to claim 22nd
  • Prior art vehicles are equipped with a variety of sensors that enable wide coverage of the vehicle environment.
  • Known collision reaction systems such as e.g. Emergency Brake Assist and / or Airbag deployment systems attempt to use data from these sensors to determine an action time for a predefined response, such as an emergency stop, an airbag deployment, or an evasive maneuver. These reactions are based on manually predefined scenarios. In complex real situations, however, a large number of reactions at any time is possible, which can not be defined manually without further ado.
  • the object of the invention is to provide a system which makes situation-dependent decisions for a vehicle in an accident situation.
  • the system should not only perform a predefined reaction, but also be able to consider another solution, such as e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid a collision.
  • the evaluation device for determining a vehicle action is designed to feed an artificial neural network whose output is the vehicle action with data from a vehicle environment.
  • the artificial neural network is designed to predetermine an accident situation as a function of this data, to evaluate a damage function for personal injury and / or property damage calculated in dependence on simulated vehicle actions, and to determine the vehicle actions for which the result of the damage function in this case Accident situation is minimal.
  • An evaluation device is a device that processes incoming information and outputs a result resulting from this processing.
  • an evaluation device is an electronic circuit, such as e.g. a central processor unit or a graphics processor.
  • a vehicle action is on the one hand a vehicle action, by which an accident is avoided, and on the other a vehicle action, by the accident consequences of an occurred accident can be mitigated.
  • Vehicle actions by which an accident can be avoided are, for example, interventions in longitudinal and / or lateral control, e.g. Braking, steering and / or accelerating.
  • a vehicle action to mitigate consequences of accidents is e.g. Adjusting a seatbelt with a belt tensioner or triggering an airbag.
  • An artificial neural network is an algorithm that is executed on an electronic circuit and programmed on the model of the neural network of the human brain.
  • Functional units of an artificial neural network are artificial neurons whose output is generally evaluated as the value of an activation function over a weighted sum of the inputs plus a systematic error, the so-called bias.
  • By testing multiple inputs with different weighting factors and / or activation functions artificial neural networks similar to the human brain, trained.
  • the training of an artificial neural network using predetermined inputs is called machine learning. Feed forward means a summation and output by the activation function.
  • a subset of machine learning is deep learning, in which a series of hierarchical layers of neurons called hidden layers are used to perform the machine learning process.
  • An artificial neural network with multiple hidden layers is a deep neural network. Artificial intelligence refers to the purposeful reaction to new information.
  • Deep neural networks enable the efficient coding of a complex state space by the arrangement of hidden layers, in which complex reaction models can be coded.
  • the artificial neural network is executed on the evaluation device.
  • Data are logical quantities and / or physical quantities, e.g. electrical signals.
  • a damage function also called a cost or benefit function, is a function that describes what value a given state or action has.
  • One of the advantages of the evaluation device according to the invention is that, due to the generic properties and the efficient coding of a complex state space in the artificial neural network, the artificial neural network is able to respond optimally to previously unseen events. Determining the vehicle action for which the result of the damage function in this accident situation is minimal may mean in particular that, for example, a parallel-running car is deliberately rammed in order to avoid a frontal collision. Decisive here is always the value of the damage function. If the value of the damage function for the vehicle action ramming of a parallel-running car is smaller than the value for the vehicle action front-end collision, this becomes Artificial neural network as vehicle action determine to ram the parallel driving car. In contrast, a known collision response system would only be able to respond to the head-on collision with a predefined response, such as emergency braking or deployment of an airbag.
  • the artificial neural network is designed to determine the vehicle action with which the accident situation can be avoided.
  • the artificial neural network will not necessarily perform a predefined response, e.g. igniting an airbag at the last possible time, but also considering the possibility, e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid an accident situation, in particular a collision.
  • the artificial neural network is designed to determine the vehicle action by reinforcing learning.
  • Reinforcement Learning also known as Reinforcement Learning
  • Reinforcement Learning is a set of machine learning methods in which an agent, here the artificial neural network, independently learns a strategy to maximize received rewards. In doing so, the agent is not shown which action is best in which situation, but receives a reward at certain times, which can also be negative. Based on these rewards, the agent approximates a utility function, here the damage function, which describes what value a particular state or action has.
  • Reinforcement Learning implicitly teaches complex physical models and diverse situations and does not need to be defined in advance for each special case.
  • the vehicle actions are steering, braking, and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the preceding vehicle actions, wherein vehicle action parameter instants at which a respective vehicle action is initiated, and preferably steering angle values , Braking force and / or braking time and / or amount of acceleration and / or acceleration duration are.
  • the artificial neural network is not only designed to determine a suitable driving action for a particular accident situation, but also additionally designed to optimally determine the duration or execution of the respective vehicle action.
  • the evaluation device is designed to vary the vehicle action parameters, wherein preferably the evaluation device is designed to vary the vehicle action parameters with a random number generator.
  • a random number generator is a method that generates a sequence of random numbers.
  • the artificial neural network has the opportunity to consider different vehicle actions for a particular accident situation.
  • personal injury is more heavily weighted as property damage in the damage function.
  • One thing is not a person.
  • an animal is one thing.
  • the artificial neural network can determine the vehicle action for which minimal personal injury occurs.
  • the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution. Thus, any qualification for personal characteristics is prohibited for an inevitable accident situation.
  • personal injury and / or property damage are weighted depending on the severity of the damage in the damage function.
  • the artificial neural network can determine the vehicle action, which leads to an overall minimum of damage in an unavoidable accident situation.
  • property damage is preferably weighted after a loss in value of the respective object.
  • the damage function is a function of all property damage in the vehicle environment or a function of the property damage to the vehicle. This allows the definition of two different damage functions.
  • the evaluation device is designed to determine the vehicle action for which the number of personal injuries is minimal. A reduction in the number of personal injuries is ethically acceptable. However, an offsetting of victims is not provided.
  • the evaluation device for the case that for two specific vehicle actions for which the result of the damage function is the same personal injury carried out to determine the vehicle action with the least damage to the least number of persons involved. This makes it possible to minimize the resulting total damage.
  • the computer program product according to the invention is designed to be loaded into the memory of a computer and comprises software code sections with which an accident situation of a vehicle is simulated, personal injury and / or material damage being calculated for this accident situation as a function of vehicle actions, vehicle action parameters and a damage model to keep the damage function dependent on these personal injury and / or property damage when the computer program product is running on a computer, wherein the vehicle actions include steering, braking and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the foregoing Vehicle actions are the vehicle action parameter instants at which a respective vehicle action is initiated and preferably values for steering angle, braking force and / or braking duration and / or amount of acceleration and / or acceleration
  • the damage model personal injury is more heavily weighted as property damage, personal injury and / or property loss weighted depending on the severity of injury, personal injury following death, consequential injury, curable injury and weighted injury weighted, and material damage weighted after a loss of
  • Computer program products typically include a sequence of instructions that cause the hardware, when the program is loaded, to perform a particular procedure that results in a particular result.
  • the computer program product causes an effect, namely, obtaining a damage function dependent on personal injury and / or property damage.
  • a computer is a device for processing data that processes data using programmable rules.
  • a memory is a medium for backing up data.
  • Software is a collective term for programs and their associated data.
  • the complement to the software is hardware.
  • Hardware refers to the mechanical and electronic alignment of a data processing system.
  • vehicle behavior as well as damage models for involved persons e.g. Injury level of a person and loss of value of a vehicle and / or infrastructure simulate.
  • This simulation can provide a damage function to an artificial neural network.
  • the simulation allows implicit learning of complex physical models and the multiple situations of the artificial neural network.
  • the artificial neural network is designed to evaluate a damage function obtained with the computer program product according to the invention.
  • the artificial neural network can then be trained in particular by reinforcement learning in a comprehensive simulation, in order to force in the case of an imminent accident the best outcome for all involved or to avoid this accident altogether.
  • the evaluation device has an input interface in order to obtain data from vehicle surroundings sensors, preferably camera, radar, lidar, infrared and / or ultrasound sensors.
  • vehicle surroundings sensors preferably camera, radar, lidar, infrared and / or ultrasound sensors.
  • An interface is a device between at least two functional units at which an exchange of logical quantities, eg data, or physical quantities, eg electrical signals, takes place, either only unidirectionally or bidirectionally.
  • the exchange can be analog or digital.
  • the exchange can also be wired or wireless.
  • Current vehicles already have vehicle environment sensors. This makes capturing data about the vehicle environment particularly easy.
  • the artificial neural network is executed on an evaluation device.
  • the method comprises the following method steps:
  • the artificial neural network is executed on an evaluation device for determining a vehicle action.
  • an artificial neural network can be trained to perform optimal reactions to non-predefined situations in order to avoid an accident situation.
  • an evaluation device is used to carry out the method.
  • the system according to the invention for a vehicle control for situation-dependent decision-making in an accident situation has an input interface to obtain data of a vehicle environment. Furthermore, the system has an evaluation device that is designed to forward an artificial neural network trained by reinforcement learning with this data in order to determine the vehicle action for an accident situation, for which the result of a damage function dependent on personal injury and / or material damage this situation is minimal, and to receive a signal for vehicle control in response to this vehicle action. In addition, the system has an output interface configured to output this signal to a vehicle controller.
  • a vehicle control device is a device that performs or assumes functions of the longitudinal and / or lateral control of a vehicle.
  • the artificial neural network Since the artificial neural network is already trained in enhancing learning, feeding this artificial neural network forward with vehicle environment data provides an end-to-end solution for avoiding or mitigating the consequences of an accident. In particular, the system can respond optimally to unknown situations due to the generic characteristics of the artificial neural network.
  • the evaluation device is designed to determine the vehicle action for an imminent accident situation with which the accident situation can be avoided. This can be minimized with the system of total damage.
  • the evaluation device can also determine the vehicle action that ensures an exit with minimal overall damage in case of an accident inevitability.
  • the artificial neural network of the system is trained according to the method of the invention.
  • a driver assistance system comprises a system according to the invention or an artificial neural network trained according to the method according to the invention.
  • 1 shows an exemplary embodiment of an evaluation device according to the invention
  • 2 shows an embodiment of a computer program product according to the invention
  • Fig. 3 shows an embodiment of a method according to the invention
  • Fig. 4 shows an embodiment of a system according to the invention.
  • FIG. 1 shows an imminent accident situation 32 for a vehicle 22 driving up onto a roadway on a roadway.
  • the accident situation 32 is a frontal collision.
  • the vehicle 22 is equipped with a camera as the vehicle surroundings sensor 31.
  • the camera 31 receives data 30 of the environment of the vehicle 22. In the environment, the camera 31 collects as data the two preceding vehicles.
  • the vehicle 22 may also be equipped with a sensor set, for example a camera, radar and lidar sensor, as a vehicle surroundings sensor 31. Such a sensor set uses sensor-fusion of the individual sensors combined their respective advantages.
  • the data of the vehicle surroundings sensor 31 are fed via an input interface 12 to an evaluation device 10.
  • the evaluation device 10 may be a processor, in particular also a multi-core processor, of a computer.
  • the evaluation device 10 is arranged on the vehicle 22. However, it is also within the scope of the invention that the evaluation device 10 is arranged at a central location outside the vehicle 22, wherein the vehicle 22 transmits the data 30 of the vehicle environment to the evaluation device 10 for evaluation and the evaluation device 10 returns the result of the evaluation to the vehicle 22 sends.
  • the evaluation device 10 has an artificial neural network 11.
  • the artificial neural network 1 1 is a deep neural network with several hidden layers, in which as a complex state space driving the vehicle 22 in a a vehicle environment is coded as a function of a number and an arrangement of hidden layers.
  • the artificial neural network 11 may also be a convolutional neural network.
  • Convolutional Neural Networks are multilayer artificial neural networks in which each layer contains independent neurons. Convolutional Neural Networks with repetitive layers are called Deep Convolutional Neural Networks.
  • the artificial neural network 1 1 evaluates the accident situation 32 for a given damage function 13.
  • the damage function 13 is provided by the computer program product 40 shown in FIG.
  • the damage function 13 outputs the vehicle action 20, which results in a minimum of the damage function, i. to a minimum overall damage of the accident situation 32, leads.
  • the vehicle action 20 is an evasive maneuver, so that a frontal collision does not even occur with the vehicles in front.
  • the computer program product 40 in FIG. 2 is loaded into a memory of a computer 41 and executed in this computer 41.
  • Software code portions of the computer program product 40 simulate crash situations 32 of a vehicle 22.
  • the computer program product 40 calculates vehicle action parameters 21, such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and
  • the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution and the damage function is a function of all property damage in the vehicle environment or a function of property damage to the vehicle.
  • the damage severity score corresponds to one Loss of value of the vehicle, of other vehicles or of an object of the infrastructure, eg of a building.
  • data of a vehicle environment are provided to an artificial neural network that is executed on an evaluation device.
  • an accident situation is predetermined.
  • the artificial neural network 11 learns to evaluate a damage function 30 of personal injury and / or property damage calculated for simulated vehicle actions 20 and to determine the vehicle action 20 for which the result of the damage function in this accident situation 32 is minimal ,
  • the artificial neural network 11 can observe the environment of the vehicle 22 and be rewarded for correspondingly performed actions. After the artificial neural network 1 1 has determined the vehicle action 22 with minimum damage function 13, the environment of the vehicle 22 is re-observed by providing data of the vehicle environment.
  • the system 50 has an input interface 51, via which the system 50 data of a vehicle surroundings sensor 31 are supplied.
  • the system 50 includes an evaluator 10 that forwards an amplified learning artificial neural network with this data to determine, for an accident situation 32, the vehicle action 20 for which the result of a personal injury and / or property damage function 13 therein Accident situation is minimal.
  • a signal for a vehicle control is obtained. Via an output interface 52, this signal is output to a vehicle control device 53.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)

Abstract

Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion, wobei die Auswerteeinrichtung ausgeführt ist, ein künstliches neuronales Netzwerk, dessen Ausgabe die Fahrzeugaktion ist, mit Daten eines Fahrzeugumfeldes zu speisen, wobei das künstliche neuronale Netzwerk ausgeführt ist, in Abhängigkeit dieser Daten eine Unfallsituation vorherzubestimmen, für diese Unfallsituation eine Schadensfunktion für, in Abhängigkeit von simulierten Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist. Ferner betrifft die Erfindung ein Computerprogrammprodukt zum Erhalten einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, das durch verstärkendes Lernen eine Schadensfunktion minimiert, ein System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation und ein Fahrerassistenzsystem mit einem erfindungsgemäßen System oder künstlichen neuronalen Netzwerk.

Description

Situationsabhängige Entscheidungsfindung für Fahrzeuge
Die Erfindung betrifft eine Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion nach Anspruch 1 , ein Computerprogrammprodukt nach Anspruch 14, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks nach Anspruch 17, ein System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation nach Anspruch 19 und ein Fahrerassistenzsystem nach Anspruch 22.
Aus dem Stand der Technik bekannte Fahrzeuge sind mit einer Vielzahl von Sensoren ausgestattet, die eine weiträumige Abdeckung des Fahrzeugumfeldes ermöglichen. Bekannte Kollisions- Reaktionssysteme, wie z.B. Emergency Brake Assist und/oder Airbag Deployment Systeme, versuchen mit Hilfe von Daten dieser Sensoren einen Aktionszeitpunkt für eine vordefinierte Reaktion, beispielsweise einer Notbremsung, einem Auslösen eines Airbags oder eines Ausweichmanövers, zu bestimmen. Diese Reaktionen basieren auf händisch vordefinierten Szenarien. In komplexen realen Situationen ist jedoch eine Vielzahl an Reaktionen zu beliebigen Zeitpunkten möglich, welche nicht ohne weiteres händisch definiert werden können.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, ein System bereitzustellen, das situationsabhängige Entscheidungen für ein Fahrzeug in einer Unfallsituation trifft. Insbesondere soll das System nicht nur eine vordefinierte Reaktion ausführen, sondern auch in der Lage sein, eine andere Lösung in Betracht zu ziehen, wie z.B. zu einem früheren Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Kollision gänzlich zu vermeiden.
Diese Aufgabe wird erfindungsgemäß gelöst mit einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion mit den Merkmalen des Anspruchs 1 , einem Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, einem Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks mit den Merkmalen des Anspruchs 17, einem System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit den Merkmalen des Anspruchs 19 und einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 22. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Die erfindungsgemäße Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ist ausgeführt, ein künstliches neuronales Netzwerk, dessen Ausgabe die Fahrzeugaktion ist, mit Daten eines Fahrzeugumfeldes zu speisen. Dabei ist das künstliche neuronale Netzwerk ausgeführt, in Abhängigkeit dieser Daten eine Unfallsituation vorherzubestimmen, für diese Unfallsituation eine Schadensfunktion für, in Abhängigkeit von simulierten Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktionen zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine Auswerteeinrichtung eine elektronische Schaltung, wie z.B. eine zentrale Prozessoreinheit oder ein Grafikprozessor.
Eine Fahrzeugaktion ist zum einen eine Fahrzeugaktion, durch die ein Unfall vermieden wird, und zum anderen eine Fahrzeugaktion, durch die Unfallfolgen eines eingetretenen Unfalles abgemildert werden können. Fahrzeugaktionen, durch die ein Unfall vermieden werden kann, sind beispielsweise Eingriffe in Längs- und/oder Quersteuerung, z.B. Bremsen, Lenken und/oder Beschleunigen. Eine Fahrzeugaktion zum Abmildern von Unfallfolgen ist z.B. das Einstellen eines Sicherheitsgurtes mit einem Gurtstraffer oder das Auslösen eines Airbags.
Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren Inputs mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Das Trainieren eines künstlichen neuronalen Netzwerks mit Hilfe von vorbestimmten Inputs wird maschinelles Lernen genannt. Vorwärtsspeisen bedeutet eine Summenbildung und Ausgabe durch die Aktivierungsfunktion. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Dabei bezeichnet künstliche Intelligenz das zweckgerichtete Reagieren auf neue Informationen.
Deep Neural Networks ermöglichen durch die Anordnung von Hidden Layers eine effiziente Kodierung eines komplexen Zustandsraums, in dem komplexe Reaktionsmodelle kodiert werden können.
Insbesondere wird das künstliche neuronale Netzwerk auf der Auswerteeinrichtung ausgeführt.
Daten sind logische Größen und/oder physikalische Größen, z.B. elektrische Signale.
Eine Schadensfunktion, auch als Kosten- oder Nutzenfunktion bezeichnet, ist eine Funktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat.
Der Vorteil der erfindungsgemäßen Auswerteeinrichtung liegt unter anderem darin, dass das künstliche neuronale Netzwerk aufgrund der generischen Eigenschaften und der effizienten Kodierung eines komplexen Zustandsraums in dem künstlichen neuronalen Netzwerks in der Lage ist, auf zuvor noch nicht gesehener Ereignisse optimal zu reagieren. Die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist, kann insbesondere bedeuten, dass z.B. bewusst ein parallel fahrendes Auto gerammt wird, um einer Frontalkollision auszuweichen. Ausschlaggebend dabei ist immer der Wert der Schadensfunktion. Ist der Wert der Schadensfunktion für die Fahrzeugaktion Rammen eines parallel fahrendes Autos kleiner als der Wert für die Fahrzeugaktion Frontalkollision, wird das künstliche neuronale Netzwerk als Fahrzeugaktion bestimmen, das parallel fahrende Auto zu rammen. Im Gegensatz dazu würde ein bekanntes Kollisions- Reaktionssystem nur in der Lage sein, auf die Frontalkollision mit einer vordefinierten Reaktion zu reagieren, beispielsweise durch eine Notbremsung oder ein Auslösen eines Airbags.
Vorteilhafterweise ist das künstliche neuronale Netzwerk ausgeführt, die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Das künstliche neuronale Netzwerk wird also beispielsweise nicht zwingend eine vordefinierte Reaktion ausführen, wie z.B. das Zünden eines Airbags zum letztmöglichen Zeitpunkt, sondern auch die Möglichkeit in Betracht ziehen, z.B. zu einem früherem Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Unfallsituation, insbesondere eine Kollision, gänzlich zu vermeiden.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, durch verstärkendes Lernens die Fahrzeugaktion zu bestimmen.
Verstärkendes Lernen, auch als Reinforcement Learning bezeichnet, steht für eine Reihe von Methoden des maschinellen Lernens, bei denen ein Agent, hier das künstliche neuronale Netzwerk, selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem Agenten nicht vorgezeigt, welche Aktion in welcher Situation die Beste ist, sondern er erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert der Agent eine Nutzenfunktion, hier die Schadensfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder Aktion hat. Durch Reinforcement Learning werden komplexe physikalische Modelle und die vielfältigen Situationen implizit gelernt und müssen nicht für jeden Spezialfall im Vorhinein definiert werden.
Vorteilhafterweise sind die Fahrzeugaktionen ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen, wobei Fahrzeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind. Damit ist das künstliche neuronale Netzwerk nicht nur dafür ausgeführt, für eine bestimmte Unfallsituation eine passende Fahraktion zu bestimmen, sondern darüber hinaus zusätzlich ausgeführt, auch die Dauer oder Ausführung der jeweiligen Fahrzeugaktion optimal zu bestimmen.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktionsparameter zu variieren, wobei vorzugsweise die Auswerteeinrichtung ausgeführt ist, die Fahrzeugaktionsparameter mit einem Zufallszahlengenerator zu variieren.
Als Zufallszahlengenerator bezeichnet man ein Verfahren, das eine Folge von Zufallszahlen erzeugt.
Durch eine zufällige Sequenz von Fahrzeugaktionen oder durch eine zufällige Variation einer bereits gelernten Sequenz von Fahrzeugaktionen hat das künstliche neuronale Netzwerk die Möglichkeit, verschiedene Fahrzeugaktionen für eine bestimmte Unfallsituation in Betracht zu ziehen.
Vorzugsweise sind in der Schadensfunktion Personenschäden stärker als Sachschäden gewichtet.
Eine Sache ist keine Person. Insbesondere ist ein Tier eine Sache.
Damit kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, für die ein minimaler Personenschaden eintritt.
In einer bevorzugten Ausgestaltung der Erfindung ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution. Damit wird für eine unausweichliche Unfallsituation jede Qualifizierung nach persönlichen Merkmalen untersagt.
In das Anstandsgefühl aller billig und gerecht denkender Menschen fließen u.a. ethische Gesichtspunkt mit ein. Durch die Untersagung einer Qualifizierung nach persön- liehen Merkmalen wird die ethisch fundierte Norm der Gleichbehandlung aller Menschen durch die beanspruchte Erfindung nicht verletzt.
Vorteilhafterweise sind in der Schadensfunktion Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet. Dadurch kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, die zu einer insgesamt minimalen Schadensschwere führt in einer unausweichlichen Unfallsituation.
Besonders bevorzugt sind in der Schadensfunktion Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzungen und leichte Verletzungen gewichtet. Dies ist eine absteigende Wertung, wobei ein niedriger Wert wenig Schaden bedeutet.
Vorzugsweise sind in der Schadensfunktion Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet.
Durch die Gewichtung von Personenschäden und Sachschäden kann eine Gewichtung nach Schadensschwere einfach erfolgen.
In einer Weiterbildung der Erfindung ist die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Dies erlaubt die Definition von zwei verschiedenen Schadensfunktionen.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktion zu bestimmen, für die die Anzahl der Personenschäden minimal ist. Eine Minderung der Anzahl der Personenschäden ist ethisch vertretbar. Dabei ist eine Aufrechnung von Opfern allerdings nicht vorgesehen.
In einer weiteren Ausgestaltung der Erfindung ist die Auswerteeinrichtung für den Fall, dass für zwei bestimmte Fahrzeugaktionen, für die das Ergebnis der Schadensfunktion derselbe Personenschaden ist, ausgeführt, die Fahrzeugaktion mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen. Damit ist es möglich, einen resultierenden Gesamtschaden möglichst gering zu halten. Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in den Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen eine Unfallsituation eines Fahrzeuges simuliert wird, wobei für diese Unfallsituation in Abhängigkeit von Fahrzeugaktionen, Fahrzeugaktionsparameter und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden, um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion zu behalten, wenn das Computerprogrammprodukt auf einen Computer läuft, wobei die Fahrzeugaktionen ein Lenken, Bremsen und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen sind, die Fahr- zeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und in dem Schadenmodell Personenschäden stärker als Sachschäden gewichtet sind, Personenschäden und/oder Sachschäden in Abhängigkeit der Schadenschwere gewichtet sind, Personenschäden nach Todesfall, Verletzungen mit Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet sind, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei die Schadenfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution ist und die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden in dem Fahrzeug ist.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Erhalten einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion.
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeitet. Ein Speicher ist ein Medium für die Sicherung von Daten.
Software ist ein Sammelbegriff für Programme und die zugehörigen Daten. Das Komplement zur Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines datenverarbeitenden Systems.
Mit dem erfindungsgemäßen Computerprogrammprodukt lassen sich vorteilhafterweise Fahrzeugverhalten als auch Schadensmodelle für beteiligte Personen, z.B. Verletzungsgrad einer Person und Wertverlust eines Fahrzeuges und/oder einer Infrastruktur simulieren. Durch diese Simulation kann einem künstlichen neuronalen Netzwerk eine Schadensfunktion zur Verfügung gestellt werden. Durch die Simulation können komplexe physikalische Modelle und die vielfältigen Situationen von dem künstlichen neuronalen Netzwerk implizit gelernt werden.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, eine mit dem erfindungsgemäßen Computerprogrammprodukt erhaltene Schadensfunktion auszuwerten. Das künstliche neuronale Netzwerk kann dann insbesondere durch Reinforcement Learning in einer umfassenden Simulation trainiert werden, um im Falle eines bevorstehenden Unfalls den für alle beteiligten besten Ausgang zu erzwingen oder diesen Unfall gänzlich zu vermeiden.
Vorzugsweise weist die Auswerteeinrichtung eine Eingabeschnittstelle auf, um Daten von Fahrzeugumfeldsensoren, vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschallsensoren, zu erhalten.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten, oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen. Aktuelle Fahrzeuge weisen bereits Fahrzeugumfeldsensoren auf. Damit ist die Erfassung von Daten des Fahrzeugumfeldes besonders einfach.
Bei dem erfindungsgemäßen Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung ausgeführt. Erfindungsgemäß weist das Verfahren die folgenden Verfahrensschritte auf:
- Bereitstellen von Daten eines Fahrzeugumfelds,
- in Abhängigkeit dieser Daten Vorherbestimmen einer Unfallsituation,
- durch verstärkendes Lernen Erlernen, für die Unfallsituation eine Schadensfunktion von, in Abhängigkeit simulierter Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist.
Vorzugsweise wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ausgeführt.
Mit dem erfindungsgemäßen Verfahren kann ein künstliches neuronales Netzwerk trainiert werden, auf nicht vordefinierte Situationen optimale Reaktionen zum Vermeiden einer Unfallsituation auszuführen.
Bevorzugt wird zur Durchführung des Verfahrens eine erfindungsgemäße Auswerteeinrichtung verwendet.
Das erfindungsgemäße System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation weist eine Eingangsschnittstelle auf, um Daten eines Fahrzeugumfeldes zu erhalten. Ferner weist das System eine Auswerteeinrichtung auf, die ausgeführt ist, ein durch verstärkendes Lernens trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärts zu speisen, um für eine Unfallsituation die Fahrzeugaktion zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion in dieser Un- fallsituation minimal ist, und in Abhängigkeit dieser Fahrzeugaktion ein Signal für eine Fahrzeugsteuerung zu erhalten. Außerdem weist das System eine Ausgangsschnittstelle auf, die ausgeführt ist dieses Signal an eine Fahrzeugsteuerungseinrichtung auszugeben.
Eine Fahrzeugsteuerungseinrichtung ist eine Einrichtung, die Funktionen der Längsund/oder Quersteuerung eines Fahrzeuges ausführt oder übernimmt.
Da das künstliche neuronale Netzwerk bereits mit verstärkendem Lernen trainiert ist, wird mit dem Vorwärtsspeisen dieses künstlichen neuronalen Netzwerks mit Daten des Fahrzeugumfeldes eine end-to-end Lösung zum Vermeiden bzw. zum Abmildern von Unfallfolgen bereitgestellt. Insbesondere kann das System auf unbekannte Situationen aufgrund der generischen Eigenschaften des künstlichen neuronalen Netzwerks optimal reagieren.
Vorzugsweise ist die Auswerteeinrichtung ausgeführt, um für eine bevorstehende Unfallsituation die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Damit kann mit dem System der Gesamtschaden minimiert werden. Die Auswerteeinrichtung kann auch die Fahrzeugaktion bestimmen, die bei einer Unvermeidbarkeit eines Unfalls einen Ausgang mit minimalem Gesamtschaden gewährleistet.
Bevorzugt ist das künstliche neuronale Netzwerk des Systems nach dem erfindungsgemäßen Verfahren trainiert.
Ein Fahrerassistenzsystem gemäß der Erfindung weist ein erfindungsgemäßes System oder ein nach dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netzwerk auf.
Die Erfindung wird in den nachfolgenden Figuren ausführlich beschrieben . Es zeigen: Fig. 1 ein Ausführungsbeispiel einer erfindungsgemäßen Auswerteeinrichtung, Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammprodukts,
Fig. 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und
Fig. 4 ein Ausführungsbeispiel eines erfindungsgemäßen Systems.
Fig. 1 zeigt eine bevorstehende Unfallsituation 32 für ein auf einer Fahrbahn auf zwei Fahrzeuge auffahrendes Fahrzeug 22. Wenn das Fahrzeug 22 auf seiner Fahrbahn die Richtung beibehaltend weiterfährt, kollidiert es mit dem vorausfahrenden Fahrzeug. Die Unfallsituation 32 ist eine Frontalkollision.
Das Fahrzeug 22 ist mit einer Kamera als Fahrzeugumfeldsensor 31 ausgestattet. Die Kamera 31 nimmt Daten 30 des Umfeldes des Fahrzeuges 22 auf. In dem Umfeld erfasst die Kamera 31 als Daten die zwei vorausfahrenden Fahrzeuge. Das Fahrzeug 22 kann auch mit einem Sensorset, zum Beispiel aus Kamera-, Radar- und Lidarsensor, als Fahrzeugumfeldsensor 31 ausgestattet sein. Ein derartiges Sensorset nutzt durch Sensor-Fusion der einzelnen Sensoren deren jeweilige Vorteile kombiniert aus.
Die Daten des Fahrzeugumfeldsensors 31 werden über eine Eingabeschnittstelle 12 einer Auswerteeinrichtung 10 zugeführt. Die Auswerteeinrichtung 10 kann ein Prozessor, insbesondere auch ein Mehrkernprozessor, eines Computers sein. Die Auswerteeinrichtung 10 ist an dem Fahrzeug 22 angeordnet. Es liegt aber auch im Rahmen der Erfindung, dass die Auswerteeinrichtung 10 an einer zentralen Stelle außerhalb des Fahrzeuges 22 angeordnet ist, wobei das Fahrzeug 22 die Daten 30 des Fahrzeugumfeldes an die Auswerteeinrichtung 10 zum Auswerten sendet und die Auswerteeinrichtung 10 das Ergebnis der Auswertung wieder zurück an das Fahrzeug 22 sendet.
Die Auswerteeinrichtung 10 weist ein künstliches neuronales Netzwerk 1 1 auf. Das künstliche neuronale Netzwerk 1 1 ist ein Deep Neural Network mit mehreren Hidden Layers, in dem als komplexer Zustandsraum das Fahren des Fahrzeuges 22 in ei- nem Fahrzeugumfeld in Abhängigkeit einer Anzahl und einer Anordnung von Hidden Layers kodiert ist. Das künstliche neuronale Netzwerk 11 kann auch ein Convolutio- nal Neural Network sein. Convolutional Neural Networks sind mehrschichtige künstliche neuronale Netzwerke, bei denen jede Schicht voneinander unabhängige Neuronen enthält. Convolutional Neural Networks mit sich wiederholenden Schichten heißen Deep Convolutional Neural Networks.
Das künstliche neuronale Netzwerk 1 1 wertet die Unfallsituation 32 für eine gegebene Schadensfunktion 13 aus. Die Schadensfunktion 13 wird von dem in Fig. 2 gezeigten Computerprogrammprodukt 40 bereitgestellt. In Abhängigkeit des Zustandes der Unfallsituation 32 gibt die Schadensfunktion 13 die Fahrzeugaktion 20 aus, die zu einem Minimum der Schadensfunktion, d.h. zu einem minimalen Gesamtschaden der Unfallsituation 32, führt. Die Fahrzeugaktion 20 ist ein Ausweichmanöver, so dass eine Frontalkollision mit den vorausfahrenden Fahrzeugen erst gar nicht eintritt.
Das Computerprogrammprodukt 40 in Fig. 2 wird in einem Speicher eines Computers 41 geladen und in diesem Computer 41 ausgeführt. Softwarecodeabschnitte des Computerprogrammprodukts 40 simulieren Unfallsituationen 32 eines Fahrzeuges 22. Für diese Unfallsituationen 32 berechnet das Computerprogrammprodukt 40 in Abhängigkeit von Fahrzeugaktionen 20, wie z.B. Geradeausfahren, Abbremsen, Ausweichen nach links oder rechts, Fahrzeugaktionsparameter 21 , beispielsweise Dauer eines Brems- oder Beschleunigungsvorganges, und eines Schadenmodells, Personenschäden und/oder Sachschäden. Abhängig von diesen Personenschäden und/oder Sachschäden erhält das Computerprogrammprodukt eine Schadensfunktion 13. In dem Schadenmodell sind Personenschäden stärker gewichtet als Sachschäden, Personen- und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet, Personenschäden nach Todesfall, Verletzungen und Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet. Dabei ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution und die Schadensfunktion ist eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Bei Sachschäden entspricht die Wertung der Schadensschwere einem Wertverlust des Fahrzeugs, von anderen Fahrzeugen oder eines Objekts der Infrastruktur, z.B. eines Gebäudes.
Bei dem in Fig. 3 gezeigten Verfahren werden Daten eines Fahrzeugumfeldes einem künstlichen neuronalen Netzwerk, dass auf einer Auswerteeinrichtung ausgeführt wird, bereitgestellt. In Abhängigkeit dieser Daten wird eine Unfallsituation vorherbestimmt. Mittels verstärkendem Lernen erlernt das künstliche neuronale Netzwerk 11 , für diese Unfallsituation 32 eine Schadensfunktion 30 von in Abhängigkeit simulierter Fahrzeugaktionen 20 berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation 32 minimal ist.
Durch das Bereitstellen von Daten 30 eines Fahrzeugumfeldes kann das künstliche neuronale Netzwerk 1 1 die Umgebung des Fahrzeuges 22 beobachten und für entsprechend ausgeführte Aktionen belohnt werden. Nachdem das künstliche neuronale Netzwerk 1 1 die Fahrzeugaktion 22 mit minimaler Schadensfunktion 13 bestimmt hat, wird die Umgebung des Fahrzeuges 22 durch Bereitstellen von Daten des Fahrzeugumfeldes erneut beobachtet.
Fig. 4 zeigt ein System 50 für eine Fahrzeugsteuerung. Das System 50 weist eine Eingangsschnittstelle 51 auf, über die dem System 50 Daten eines Fahrzeugumfeldsensors 31 zugeführt werden. Das System 50 weist eine Auswerteeinrichtung 10 auf, die ein durch verstärkendes Lernen trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärtsspeist, um für eine Unfallsituation 32 die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion 13 in dieser Unfallsituation minimal ist. In Abhängigkeit dieser Fahrzeugaktion 20 wird ein Signal für eine Fahrzeugsteuerung erhalten. Über eine Ausgangsschnittstelle 52 wird dieses Signal an eine Fahrzeugsteuerungseinrichtung 53 ausgegeben.
Damit kann vorteilhafterweise ein Fahrerassistenzsystem bereitgestellt werden, das beispielsweise mittels einer end-to-end Lösung auf eine bevorstehende Unfallsituation automatisch optimal reagiert, unabhängig von vordefinierten Szenen. Bezuqszeichen
Auswerteeinrichtung
künstliches neuronales Netzwerk
Eingabeschnittstelle
Schadensfunktion
Fahrzeugaktion
Fahrzeugaktion-Parameter
Fahrzeug
Daten
Fahrzeugumfeld-Sensor
Unfallsituation
Computerprogrammprodukt
Computer
System
Eingangsschnittstelle
Ausgangsschnittstelle
Fahrzeugsteuerungseinrichtung

Claims

Patentansprüche
1 . Auswerteeinrichtung (10) zum Bestimmen einer Fahrzeugaktion (20), wobei -die Auswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (1 1 ), dessen Ausgabe die Fahrzeugaktion (20) ist, mit Daten (30) eines Fahrzeugumfeldes zu speisen, wobei
- das künstliche neuronale Netzwerk (11 ) ausgeführt ist,
• in Abhängigkeit dieser Daten (30) eine Unfallsituation (32) vorherzubestimmen,
• für diese Unfallsituation (32) eine Schadensfunktion (13) für, in Abhängigkeit von simulierten Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und
• die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist.
2. Auswerteeinrichtung (10) nach Anspruch 1 , dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist.
3. Auswerteeinrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, durch verstärkendes Lernen die Fahrzeugaktion (20) zu bestimmen.
4. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugaktion (20) vorzugsweise ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, ist oder eine Sequenz der vorangehenden Fahrzeugaktionen (20), wobei Fahrzeugaktions-Parameter Zeitpunkte (21 ), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind.
5. Auswerteeinrichtung (10) nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21 ) zu variieren, wobei vorzugsweise die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21 ) mit einem Zufallszahlengenerator zu variieren.
6. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden stärker als Sachschäden gewichtet sind.
7. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist.
8. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind.
9. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind.
10. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind.
1 1 . Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist.
12. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, für die die Anzahl der Personenschäden minimal ist.
13. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für zwei bestimmte Fahrzeugaktionen (20), für die das Ergebnis der Schadensfunktion (13) derselbe Personenschaden ist, die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen.
14. Computerprogrammprodukt (40), das ausgeführt ist,
- in den Speicher eines Computers (41 ) geladen zu werden, und
- das Softwarecodeabschnitte umfasst,
• mit denen eine Unfallsituation (32) eines Fahrzeuges (22) simuliert wird, wobei
• für diese Unfallsituation (32) in Abhängigkeit von Fahrzeugaktionen (20), Fahrzeugaktions-Parameter (21 ) und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden
• um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion (13) zu erhalten, wenn das Computerprogrammprodukt (40) auf einem Computer läuft (41 ), wobei
- die Fahrzeugaktionen (20) ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges (22) und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen (20) sind,
- die Fahrzeugaktions-Parameter Zeitpunkte (21 ), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und
- in dem Schadenmodell
• Personenschäden stärker als Sachschäden gewichtet sind,
• Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind, • Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind, und
• Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei
- die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist und
- die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist.
15. Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, eine mit dem Computerprogrammprodukt (40) nach Anspruch 14 erhaltene Schadensfunktion (13) auszuwerten.
16. Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) eine Eingabeschnittstelle (12) aufweist, um Daten (30) von Fahrzeugumfeld-Sensoren (31 ), vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschall-Sensoren, zu erhalten.
17. Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (11 ), wobei das künstliche neuronale Netzwerk (1 1 ) auf einer Auswerteeinrichtung (10) ausgeführt wird, mit den folgenden Verfahrensschritten:
- Bereitstellen von Daten (30) eines Fahrzeugumfeldes für das künstliche neuronale Netzwerk (1 1 ),
- in Abhängigkeit dieser Daten (30) vorherbestimmen einer Unfallsituation (32),
- durch verstärkendes Lernen erlernen, für diese Unfallsituation (32) eine Schadensfunktion (13) von, in Abhängigkeit simulierter Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15 oder 16 verwendet wird.
19. System (50) für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit
- einer Eingangsschnittstelle (51 ), um Daten (30) eines Fahrzeugumfeldes zu erhalten,
- einer Auswerteeinrichtung (10), die ausgeführt ist,
• ein durch verstärkendes Lernen trainiertes künstliches neuronales
Netzwerk (1 1 ) mit diesen Daten (30) vorwärts zu speisen,
• um für eine Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist, und
• in Abhängigkeit dieser Fahrzeugaktion (20) ein Signal für eine Fahrzeugsteuerung zu erhalten, und
- einer Ausgangsschnittstelle (52), die ausgeführt ist, dieses Signal an eine Fahrzeugsteuerungseinrichtung (53) auszugeben.
20. System (50) nach Anspruch 19, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, um für eine bevorstehende Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist.
21 . System (50) nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) nach dem Verfahren nach Anspruch 17 oder 18 trainiert ist.
22. Fahrerassistenzsystem mit einem System nach einem der Ansprüche 19 bis 21 oder mit einem nach dem Verfahren nach Anspruch 17 oder 18 trainierten künstlichen neuronalen Netzwerk (1 1 ).
EP18758846.2A 2017-09-12 2018-08-14 Situationsabhängige entscheidungsfindung für fahrzeuge Withdrawn EP3681767A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017216061.6A DE102017216061A1 (de) 2017-09-12 2017-09-12 Situationsabhängige Entscheidungsfindung für Fahrzeuge
PCT/EP2018/072055 WO2019052762A1 (de) 2017-09-12 2018-08-14 Situationsabhängige entscheidungsfindung für fahrzeuge

Publications (1)

Publication Number Publication Date
EP3681767A1 true EP3681767A1 (de) 2020-07-22

Family

ID=63311998

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18758846.2A Withdrawn EP3681767A1 (de) 2017-09-12 2018-08-14 Situationsabhängige entscheidungsfindung für fahrzeuge

Country Status (5)

Country Link
US (1) US20190382006A1 (de)
EP (1) EP3681767A1 (de)
CN (1) CN110382303A (de)
DE (1) DE102017216061A1 (de)
WO (1) WO2019052762A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803641B2 (en) * 2020-09-11 2023-10-31 Zscaler, Inc. Utilizing Machine Learning to detect malicious executable files efficiently and effectively
DE102021203354B4 (de) 2021-04-01 2022-11-10 Volkswagen Aktiengesellschaft Verfahren zum Bestimmen einer zukünftigen Unfallschwere eines Kraftfahrzeugs mit einem Objekt mittels eines Assistenzsystems des Kraftfahrzeugs, Computerprogrammprodukt sowie Assistenzsystem
CN113799799A (zh) * 2021-09-30 2021-12-17 中国第一汽车股份有限公司 一种安全补偿方法、装置、存储介质及电子设备
US20230256999A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Simulation of imminent crash to minimize damage involving an autonomous vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) * 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
DE10036276A1 (de) * 2000-07-26 2002-02-07 Daimler Chrysler Ag Automatisches Brems- und Lenksystem für ein Fahrzeug
GB2373117B (en) * 2000-10-04 2005-02-16 Intelligent Tech Int Inc Method and arrangement for mapping a road and accident avoidance system
DE10328062A1 (de) * 2003-06-23 2005-01-20 Robert Bosch Gmbh Verfahren zur Verbesserung der Sicherheit von an einem vorzeitig erkannten Unfall beteiligten Verkehrsteilnehmern
EP1779295A4 (de) * 2004-07-26 2012-07-04 Automotive Systems Lab Schutzsystem für gefährdete strassenbenutzer
JP4760715B2 (ja) * 2004-12-28 2011-08-31 株式会社豊田中央研究所 車両運動制御装置
DE102006031238B4 (de) * 2006-07-06 2016-07-21 Robert Bosch Gmbh Vorrichtung und Verfahren zur Ansteuerung von Personenschutzmitteln
US20130158809A1 (en) * 2011-12-15 2013-06-20 Ford Global Technologies, Llc Method and system for estimating real-time vehicle crash parameters
DE102013221282B4 (de) * 2013-10-21 2024-05-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung zumindest eines bereichsspezifischen Intrusionsparameters
CN104691490A (zh) * 2013-12-06 2015-06-10 大连东浦机电有限公司 一种具有周边行人行动预判的汽车外气囊与启动系统
US9505405B2 (en) * 2015-01-16 2016-11-29 Ford Global Technologies, Llc Rear collision avoidance and mitigation system
KR20170028126A (ko) * 2015-09-03 2017-03-13 엘지전자 주식회사 차량 운전 보조 장치 및 차량
DE102016000493B4 (de) * 2016-01-19 2017-10-19 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
DE102016005230A1 (de) * 2016-04-29 2017-02-09 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
CN106553655B (zh) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆

Also Published As

Publication number Publication date
DE102017216061A1 (de) 2019-03-14
WO2019052762A1 (de) 2019-03-21
US20190382006A1 (en) 2019-12-19
CN110382303A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
EP3681767A1 (de) Situationsabhängige entscheidungsfindung für fahrzeuge
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102006044086B4 (de) System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
EP2133244B1 (de) Verfahren zur prognostischen Bewertung wenigstens eines vorausschauenden Sicherheitssystems eines Kraftfahrzeugs
DE102007027649B4 (de) Verfahren und Steuergerät zur Ansteuerung von Personenschutzmitteln sowie Computerprogramm und Computerprogrammprodukt
EP1407436A1 (de) Fahrerassistenzsystem
DE102021203353A1 (de) Verfahren zum Bestimmen einer Trajektorie eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogramm sowie Assistenzsystem
DE102016211587A1 (de) Verfahren und Vorrichtung zum Steuern eines Fahrzeugs
WO2020125875A1 (de) Überwachung von auf neuronalen netzwerken basierten fahrfunktionen
WO2009127453A1 (de) Verfahren und steuergerät zur ansteuerung von zumindest einem sicherheitsmittel
WO2018166770A1 (de) Verfahren und vorrichtung in einem kraftfahrzeug zur schadensminimierung bei unfallsituationen
DE102017219365B4 (de) Vorrichtung und Verfahren zur adaptiven Fahrzeugregelung
DE102019133469B3 (de) Verfahren zum Betreiben eines Rückhaltesystems für ein Kraftfahrzeug sowie System zum Durchführen eines derartigen Verfahrens
DE102007050254B4 (de) Verfahren zum Herstellen eines Kollisionsschutzsystems für ein Kraftfahrzeug
DE102019205006B4 (de) Computerimplementiertes Verfahren zum Betreiben von Sicherheitssystemen eines Fahrzeuges, Steuergerät und Computerprogrammprodukt zum Auslösen von Sicherheitssystemen und Insassenschutzsystem
EP2361810B1 (de) Verfahren zum Bestimmen einer Schwere eines Zusammenstosses eines Kraftfahrzeugs mit einem Objekt
DE102020202231A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren eines Maschinenlernverfahrens zum Schätzen einer Fahreraufmerksamkeit
DE102020202404A1 (de) Erfassung einer nicht-aktiven Reaktion eines Fahrers zur Anpassung zumindest eines Parameters einer automatisierten Fahrfunktion eines Fahrzeugs
DE102021213575B4 (de) Verfahren zur Planung eines zumindest teilweise automatisierten Fahrvorgangs mittels eines Fahrassistenzsystems
DE102015012843B4 (de) Erzeugen einer Lastfallbewertungsliste
EP3159230B1 (de) Verfahren zum betrieb eines fahrdynamikregelungssystems eines kraftfahrzeugs und kraftfahrzeug
WO2024013146A1 (de) Verfahren zum steuern eines fahrzeugs
EP4083784A1 (de) Verfahren, system und computerprogramm zum entwickeln, absichern, trainieren und/oder betreiben eines fahrzeugsystems oder einer fahrzeugfunktionalität
DE102020100487A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs mit Berücksichtigung einer Reaktion von zumindest einem Insassen, Recheneinrichtung sowie Fahrerassistenzsystem
AT526259A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes eines Fahrermodells

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190711

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220301