EP3681767A1 - Situation-dependent decision-making for vehicles - Google Patents

Situation-dependent decision-making for vehicles

Info

Publication number
EP3681767A1
EP3681767A1 EP18758846.2A EP18758846A EP3681767A1 EP 3681767 A1 EP3681767 A1 EP 3681767A1 EP 18758846 A EP18758846 A EP 18758846A EP 3681767 A1 EP3681767 A1 EP 3681767A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
damage
evaluation device
function
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18758846.2A
Other languages
German (de)
French (fr)
Inventor
Stefan Elser
Michael Walter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP3681767A1 publication Critical patent/EP3681767A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Definitions

  • the invention relates to an evaluation device for determining a vehicle action according to claim 1, a computer program product according to claim 14, a method for training an artificial neural network according to claim 17, a system for a vehicle control for situation-dependent decision-making in an accident situation according to claim 19 and a driver assistance system according to claim 22nd
  • Prior art vehicles are equipped with a variety of sensors that enable wide coverage of the vehicle environment.
  • Known collision reaction systems such as e.g. Emergency Brake Assist and / or Airbag deployment systems attempt to use data from these sensors to determine an action time for a predefined response, such as an emergency stop, an airbag deployment, or an evasive maneuver. These reactions are based on manually predefined scenarios. In complex real situations, however, a large number of reactions at any time is possible, which can not be defined manually without further ado.
  • the object of the invention is to provide a system which makes situation-dependent decisions for a vehicle in an accident situation.
  • the system should not only perform a predefined reaction, but also be able to consider another solution, such as e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid a collision.
  • the evaluation device for determining a vehicle action is designed to feed an artificial neural network whose output is the vehicle action with data from a vehicle environment.
  • the artificial neural network is designed to predetermine an accident situation as a function of this data, to evaluate a damage function for personal injury and / or property damage calculated in dependence on simulated vehicle actions, and to determine the vehicle actions for which the result of the damage function in this case Accident situation is minimal.
  • An evaluation device is a device that processes incoming information and outputs a result resulting from this processing.
  • an evaluation device is an electronic circuit, such as e.g. a central processor unit or a graphics processor.
  • a vehicle action is on the one hand a vehicle action, by which an accident is avoided, and on the other a vehicle action, by the accident consequences of an occurred accident can be mitigated.
  • Vehicle actions by which an accident can be avoided are, for example, interventions in longitudinal and / or lateral control, e.g. Braking, steering and / or accelerating.
  • a vehicle action to mitigate consequences of accidents is e.g. Adjusting a seatbelt with a belt tensioner or triggering an airbag.
  • An artificial neural network is an algorithm that is executed on an electronic circuit and programmed on the model of the neural network of the human brain.
  • Functional units of an artificial neural network are artificial neurons whose output is generally evaluated as the value of an activation function over a weighted sum of the inputs plus a systematic error, the so-called bias.
  • By testing multiple inputs with different weighting factors and / or activation functions artificial neural networks similar to the human brain, trained.
  • the training of an artificial neural network using predetermined inputs is called machine learning. Feed forward means a summation and output by the activation function.
  • a subset of machine learning is deep learning, in which a series of hierarchical layers of neurons called hidden layers are used to perform the machine learning process.
  • An artificial neural network with multiple hidden layers is a deep neural network. Artificial intelligence refers to the purposeful reaction to new information.
  • Deep neural networks enable the efficient coding of a complex state space by the arrangement of hidden layers, in which complex reaction models can be coded.
  • the artificial neural network is executed on the evaluation device.
  • Data are logical quantities and / or physical quantities, e.g. electrical signals.
  • a damage function also called a cost or benefit function, is a function that describes what value a given state or action has.
  • One of the advantages of the evaluation device according to the invention is that, due to the generic properties and the efficient coding of a complex state space in the artificial neural network, the artificial neural network is able to respond optimally to previously unseen events. Determining the vehicle action for which the result of the damage function in this accident situation is minimal may mean in particular that, for example, a parallel-running car is deliberately rammed in order to avoid a frontal collision. Decisive here is always the value of the damage function. If the value of the damage function for the vehicle action ramming of a parallel-running car is smaller than the value for the vehicle action front-end collision, this becomes Artificial neural network as vehicle action determine to ram the parallel driving car. In contrast, a known collision response system would only be able to respond to the head-on collision with a predefined response, such as emergency braking or deployment of an airbag.
  • the artificial neural network is designed to determine the vehicle action with which the accident situation can be avoided.
  • the artificial neural network will not necessarily perform a predefined response, e.g. igniting an airbag at the last possible time, but also considering the possibility, e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid an accident situation, in particular a collision.
  • the artificial neural network is designed to determine the vehicle action by reinforcing learning.
  • Reinforcement Learning also known as Reinforcement Learning
  • Reinforcement Learning is a set of machine learning methods in which an agent, here the artificial neural network, independently learns a strategy to maximize received rewards. In doing so, the agent is not shown which action is best in which situation, but receives a reward at certain times, which can also be negative. Based on these rewards, the agent approximates a utility function, here the damage function, which describes what value a particular state or action has.
  • Reinforcement Learning implicitly teaches complex physical models and diverse situations and does not need to be defined in advance for each special case.
  • the vehicle actions are steering, braking, and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the preceding vehicle actions, wherein vehicle action parameter instants at which a respective vehicle action is initiated, and preferably steering angle values , Braking force and / or braking time and / or amount of acceleration and / or acceleration duration are.
  • the artificial neural network is not only designed to determine a suitable driving action for a particular accident situation, but also additionally designed to optimally determine the duration or execution of the respective vehicle action.
  • the evaluation device is designed to vary the vehicle action parameters, wherein preferably the evaluation device is designed to vary the vehicle action parameters with a random number generator.
  • a random number generator is a method that generates a sequence of random numbers.
  • the artificial neural network has the opportunity to consider different vehicle actions for a particular accident situation.
  • personal injury is more heavily weighted as property damage in the damage function.
  • One thing is not a person.
  • an animal is one thing.
  • the artificial neural network can determine the vehicle action for which minimal personal injury occurs.
  • the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution. Thus, any qualification for personal characteristics is prohibited for an inevitable accident situation.
  • personal injury and / or property damage are weighted depending on the severity of the damage in the damage function.
  • the artificial neural network can determine the vehicle action, which leads to an overall minimum of damage in an unavoidable accident situation.
  • property damage is preferably weighted after a loss in value of the respective object.
  • the damage function is a function of all property damage in the vehicle environment or a function of the property damage to the vehicle. This allows the definition of two different damage functions.
  • the evaluation device is designed to determine the vehicle action for which the number of personal injuries is minimal. A reduction in the number of personal injuries is ethically acceptable. However, an offsetting of victims is not provided.
  • the evaluation device for the case that for two specific vehicle actions for which the result of the damage function is the same personal injury carried out to determine the vehicle action with the least damage to the least number of persons involved. This makes it possible to minimize the resulting total damage.
  • the computer program product according to the invention is designed to be loaded into the memory of a computer and comprises software code sections with which an accident situation of a vehicle is simulated, personal injury and / or material damage being calculated for this accident situation as a function of vehicle actions, vehicle action parameters and a damage model to keep the damage function dependent on these personal injury and / or property damage when the computer program product is running on a computer, wherein the vehicle actions include steering, braking and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the foregoing Vehicle actions are the vehicle action parameter instants at which a respective vehicle action is initiated and preferably values for steering angle, braking force and / or braking duration and / or amount of acceleration and / or acceleration
  • the damage model personal injury is more heavily weighted as property damage, personal injury and / or property loss weighted depending on the severity of injury, personal injury following death, consequential injury, curable injury and weighted injury weighted, and material damage weighted after a loss of
  • Computer program products typically include a sequence of instructions that cause the hardware, when the program is loaded, to perform a particular procedure that results in a particular result.
  • the computer program product causes an effect, namely, obtaining a damage function dependent on personal injury and / or property damage.
  • a computer is a device for processing data that processes data using programmable rules.
  • a memory is a medium for backing up data.
  • Software is a collective term for programs and their associated data.
  • the complement to the software is hardware.
  • Hardware refers to the mechanical and electronic alignment of a data processing system.
  • vehicle behavior as well as damage models for involved persons e.g. Injury level of a person and loss of value of a vehicle and / or infrastructure simulate.
  • This simulation can provide a damage function to an artificial neural network.
  • the simulation allows implicit learning of complex physical models and the multiple situations of the artificial neural network.
  • the artificial neural network is designed to evaluate a damage function obtained with the computer program product according to the invention.
  • the artificial neural network can then be trained in particular by reinforcement learning in a comprehensive simulation, in order to force in the case of an imminent accident the best outcome for all involved or to avoid this accident altogether.
  • the evaluation device has an input interface in order to obtain data from vehicle surroundings sensors, preferably camera, radar, lidar, infrared and / or ultrasound sensors.
  • vehicle surroundings sensors preferably camera, radar, lidar, infrared and / or ultrasound sensors.
  • An interface is a device between at least two functional units at which an exchange of logical quantities, eg data, or physical quantities, eg electrical signals, takes place, either only unidirectionally or bidirectionally.
  • the exchange can be analog or digital.
  • the exchange can also be wired or wireless.
  • Current vehicles already have vehicle environment sensors. This makes capturing data about the vehicle environment particularly easy.
  • the artificial neural network is executed on an evaluation device.
  • the method comprises the following method steps:
  • the artificial neural network is executed on an evaluation device for determining a vehicle action.
  • an artificial neural network can be trained to perform optimal reactions to non-predefined situations in order to avoid an accident situation.
  • an evaluation device is used to carry out the method.
  • the system according to the invention for a vehicle control for situation-dependent decision-making in an accident situation has an input interface to obtain data of a vehicle environment. Furthermore, the system has an evaluation device that is designed to forward an artificial neural network trained by reinforcement learning with this data in order to determine the vehicle action for an accident situation, for which the result of a damage function dependent on personal injury and / or material damage this situation is minimal, and to receive a signal for vehicle control in response to this vehicle action. In addition, the system has an output interface configured to output this signal to a vehicle controller.
  • a vehicle control device is a device that performs or assumes functions of the longitudinal and / or lateral control of a vehicle.
  • the artificial neural network Since the artificial neural network is already trained in enhancing learning, feeding this artificial neural network forward with vehicle environment data provides an end-to-end solution for avoiding or mitigating the consequences of an accident. In particular, the system can respond optimally to unknown situations due to the generic characteristics of the artificial neural network.
  • the evaluation device is designed to determine the vehicle action for an imminent accident situation with which the accident situation can be avoided. This can be minimized with the system of total damage.
  • the evaluation device can also determine the vehicle action that ensures an exit with minimal overall damage in case of an accident inevitability.
  • the artificial neural network of the system is trained according to the method of the invention.
  • a driver assistance system comprises a system according to the invention or an artificial neural network trained according to the method according to the invention.
  • 1 shows an exemplary embodiment of an evaluation device according to the invention
  • 2 shows an embodiment of a computer program product according to the invention
  • Fig. 3 shows an embodiment of a method according to the invention
  • Fig. 4 shows an embodiment of a system according to the invention.
  • FIG. 1 shows an imminent accident situation 32 for a vehicle 22 driving up onto a roadway on a roadway.
  • the accident situation 32 is a frontal collision.
  • the vehicle 22 is equipped with a camera as the vehicle surroundings sensor 31.
  • the camera 31 receives data 30 of the environment of the vehicle 22. In the environment, the camera 31 collects as data the two preceding vehicles.
  • the vehicle 22 may also be equipped with a sensor set, for example a camera, radar and lidar sensor, as a vehicle surroundings sensor 31. Such a sensor set uses sensor-fusion of the individual sensors combined their respective advantages.
  • the data of the vehicle surroundings sensor 31 are fed via an input interface 12 to an evaluation device 10.
  • the evaluation device 10 may be a processor, in particular also a multi-core processor, of a computer.
  • the evaluation device 10 is arranged on the vehicle 22. However, it is also within the scope of the invention that the evaluation device 10 is arranged at a central location outside the vehicle 22, wherein the vehicle 22 transmits the data 30 of the vehicle environment to the evaluation device 10 for evaluation and the evaluation device 10 returns the result of the evaluation to the vehicle 22 sends.
  • the evaluation device 10 has an artificial neural network 11.
  • the artificial neural network 1 1 is a deep neural network with several hidden layers, in which as a complex state space driving the vehicle 22 in a a vehicle environment is coded as a function of a number and an arrangement of hidden layers.
  • the artificial neural network 11 may also be a convolutional neural network.
  • Convolutional Neural Networks are multilayer artificial neural networks in which each layer contains independent neurons. Convolutional Neural Networks with repetitive layers are called Deep Convolutional Neural Networks.
  • the artificial neural network 1 1 evaluates the accident situation 32 for a given damage function 13.
  • the damage function 13 is provided by the computer program product 40 shown in FIG.
  • the damage function 13 outputs the vehicle action 20, which results in a minimum of the damage function, i. to a minimum overall damage of the accident situation 32, leads.
  • the vehicle action 20 is an evasive maneuver, so that a frontal collision does not even occur with the vehicles in front.
  • the computer program product 40 in FIG. 2 is loaded into a memory of a computer 41 and executed in this computer 41.
  • Software code portions of the computer program product 40 simulate crash situations 32 of a vehicle 22.
  • the computer program product 40 calculates vehicle action parameters 21, such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage.
  • vehicle action parameters 21 such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and
  • the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution and the damage function is a function of all property damage in the vehicle environment or a function of property damage to the vehicle.
  • the damage severity score corresponds to one Loss of value of the vehicle, of other vehicles or of an object of the infrastructure, eg of a building.
  • data of a vehicle environment are provided to an artificial neural network that is executed on an evaluation device.
  • an accident situation is predetermined.
  • the artificial neural network 11 learns to evaluate a damage function 30 of personal injury and / or property damage calculated for simulated vehicle actions 20 and to determine the vehicle action 20 for which the result of the damage function in this accident situation 32 is minimal ,
  • the artificial neural network 11 can observe the environment of the vehicle 22 and be rewarded for correspondingly performed actions. After the artificial neural network 1 1 has determined the vehicle action 22 with minimum damage function 13, the environment of the vehicle 22 is re-observed by providing data of the vehicle environment.
  • the system 50 has an input interface 51, via which the system 50 data of a vehicle surroundings sensor 31 are supplied.
  • the system 50 includes an evaluator 10 that forwards an amplified learning artificial neural network with this data to determine, for an accident situation 32, the vehicle action 20 for which the result of a personal injury and / or property damage function 13 therein Accident situation is minimal.
  • a signal for a vehicle control is obtained. Via an output interface 52, this signal is output to a vehicle control device 53.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)

Abstract

The invention relates to an evaluation device for determining a vehicle action. The evaluation device is designed to feed data of a vehicle environment to an artificial neural network, the output of which is the vehicle action. The artificial neural network is designed to determine an accident situation in advance in accordance with said data, to evaluate for said accident situation a damage function for personal injury and/or material damage, which personal injury and/or material damage is calculated in accordance with simulated vehicle actions, and to determine the vehicle action for which the result of the damage function is minimal in said accident situation. The invention further relates to a computer program product for obtaining a damage function dependent on personal injury and/or material damage, to a method for training an artificial neural network, which minimizes a damage function by means of reinforcement learning, to a system for vehicle control for situation-dependent decision-making in an accident situation, and to a driver assistance system having a system according to the invention or having an artificial neural network according to the invention.

Description

Situationsabhängige Entscheidungsfindung für Fahrzeuge  Situation-based decision-making for vehicles
Die Erfindung betrifft eine Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion nach Anspruch 1 , ein Computerprogrammprodukt nach Anspruch 14, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks nach Anspruch 17, ein System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation nach Anspruch 19 und ein Fahrerassistenzsystem nach Anspruch 22. The invention relates to an evaluation device for determining a vehicle action according to claim 1, a computer program product according to claim 14, a method for training an artificial neural network according to claim 17, a system for a vehicle control for situation-dependent decision-making in an accident situation according to claim 19 and a driver assistance system according to claim 22nd
Aus dem Stand der Technik bekannte Fahrzeuge sind mit einer Vielzahl von Sensoren ausgestattet, die eine weiträumige Abdeckung des Fahrzeugumfeldes ermöglichen. Bekannte Kollisions- Reaktionssysteme, wie z.B. Emergency Brake Assist und/oder Airbag Deployment Systeme, versuchen mit Hilfe von Daten dieser Sensoren einen Aktionszeitpunkt für eine vordefinierte Reaktion, beispielsweise einer Notbremsung, einem Auslösen eines Airbags oder eines Ausweichmanövers, zu bestimmen. Diese Reaktionen basieren auf händisch vordefinierten Szenarien. In komplexen realen Situationen ist jedoch eine Vielzahl an Reaktionen zu beliebigen Zeitpunkten möglich, welche nicht ohne weiteres händisch definiert werden können. Prior art vehicles are equipped with a variety of sensors that enable wide coverage of the vehicle environment. Known collision reaction systems, such as e.g. Emergency Brake Assist and / or Airbag deployment systems attempt to use data from these sensors to determine an action time for a predefined response, such as an emergency stop, an airbag deployment, or an evasive maneuver. These reactions are based on manually predefined scenarios. In complex real situations, however, a large number of reactions at any time is possible, which can not be defined manually without further ado.
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, ein System bereitzustellen, das situationsabhängige Entscheidungen für ein Fahrzeug in einer Unfallsituation trifft. Insbesondere soll das System nicht nur eine vordefinierte Reaktion ausführen, sondern auch in der Lage sein, eine andere Lösung in Betracht zu ziehen, wie z.B. zu einem früheren Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Kollision gänzlich zu vermeiden. This is where the invention starts. The object of the invention is to provide a system which makes situation-dependent decisions for a vehicle in an accident situation. In particular, the system should not only perform a predefined reaction, but also be able to consider another solution, such as e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid a collision.
Diese Aufgabe wird erfindungsgemäß gelöst mit einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion mit den Merkmalen des Anspruchs 1 , einem Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, einem Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks mit den Merkmalen des Anspruchs 17, einem System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit den Merkmalen des Anspruchs 19 und einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 22. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben. This object is achieved with an evaluation device for determining a vehicle action with the features of claim 1, a computer program product with the features of claim 14, a method for training an artificial neural network with the features of claim 17, a system for a vehicle control for situation-dependent Decision-making in an accident situation with the features of claim 19 and a driver assistance system with the features of claim 22. Advantageous embodiments and further developments of the invention are specified in the subclaims.
Die erfindungsgemäße Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ist ausgeführt, ein künstliches neuronales Netzwerk, dessen Ausgabe die Fahrzeugaktion ist, mit Daten eines Fahrzeugumfeldes zu speisen. Dabei ist das künstliche neuronale Netzwerk ausgeführt, in Abhängigkeit dieser Daten eine Unfallsituation vorherzubestimmen, für diese Unfallsituation eine Schadensfunktion für, in Abhängigkeit von simulierten Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktionen zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist. The evaluation device according to the invention for determining a vehicle action is designed to feed an artificial neural network whose output is the vehicle action with data from a vehicle environment. The artificial neural network is designed to predetermine an accident situation as a function of this data, to evaluate a damage function for personal injury and / or property damage calculated in dependence on simulated vehicle actions, and to determine the vehicle actions for which the result of the damage function in this case Accident situation is minimal.
Eine Auswerteeinrichtung ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Insbesondere ist eine Auswerteeinrichtung eine elektronische Schaltung, wie z.B. eine zentrale Prozessoreinheit oder ein Grafikprozessor. An evaluation device is a device that processes incoming information and outputs a result resulting from this processing. In particular, an evaluation device is an electronic circuit, such as e.g. a central processor unit or a graphics processor.
Eine Fahrzeugaktion ist zum einen eine Fahrzeugaktion, durch die ein Unfall vermieden wird, und zum anderen eine Fahrzeugaktion, durch die Unfallfolgen eines eingetretenen Unfalles abgemildert werden können. Fahrzeugaktionen, durch die ein Unfall vermieden werden kann, sind beispielsweise Eingriffe in Längs- und/oder Quersteuerung, z.B. Bremsen, Lenken und/oder Beschleunigen. Eine Fahrzeugaktion zum Abmildern von Unfallfolgen ist z.B. das Einstellen eines Sicherheitsgurtes mit einem Gurtstraffer oder das Auslösen eines Airbags. A vehicle action is on the one hand a vehicle action, by which an accident is avoided, and on the other a vehicle action, by the accident consequences of an occurred accident can be mitigated. Vehicle actions by which an accident can be avoided are, for example, interventions in longitudinal and / or lateral control, e.g. Braking, steering and / or accelerating. A vehicle action to mitigate consequences of accidents is e.g. Adjusting a seatbelt with a belt tensioner or triggering an airbag.
Ein künstliches neuronales Netzwerk ist ein Algorithmus, der auf einer elektronischen Schaltung ausgeführt wird und am Vorbild des neuronalen Netzwerks des menschlichen Gehirns programmiert ist. Funktionseinheiten eines künstlichen neuronalen Netzwerks sind künstliche Neuronen, deren Output sich im Allgemeinen als Wert einer Aktivierungsfunktion ausgewertet über eine gewichtete Summe der Inputs plus einem systematischen Fehler, dem sogenannten Bias, ergibt. Durch Testen von mehreren Inputs mit verschiedenen Gewichtungsfaktoren und/oder Aktivierungsfunktionen werden künstliche neuronale Netzwerke, ähnlich dem menschlichen Gehirn, trainiert. Das Trainieren eines künstlichen neuronalen Netzwerks mit Hilfe von vorbestimmten Inputs wird maschinelles Lernen genannt. Vorwärtsspeisen bedeutet eine Summenbildung und Ausgabe durch die Aktivierungsfunktion. Eine Teilmenge des maschinellen Lernens ist das tiefgehende Lernen, das sogenannte Deep Learning, bei dem eine Reihe hierarchischer Schichten von Neuronen, sogenannten Hidden Layers, genutzt wird, um den Prozess des maschinellen Lernens durchzuführen. Ein künstliches neuronales Netzwerk mit mehreren Hidden Layers ist ein Deep Neural Network. Dabei bezeichnet künstliche Intelligenz das zweckgerichtete Reagieren auf neue Informationen. An artificial neural network is an algorithm that is executed on an electronic circuit and programmed on the model of the neural network of the human brain. Functional units of an artificial neural network are artificial neurons whose output is generally evaluated as the value of an activation function over a weighted sum of the inputs plus a systematic error, the so-called bias. By testing multiple inputs with different weighting factors and / or activation functions, artificial neural networks similar to the human brain, trained. The training of an artificial neural network using predetermined inputs is called machine learning. Feed forward means a summation and output by the activation function. A subset of machine learning is deep learning, in which a series of hierarchical layers of neurons called hidden layers are used to perform the machine learning process. An artificial neural network with multiple hidden layers is a deep neural network. Artificial intelligence refers to the purposeful reaction to new information.
Deep Neural Networks ermöglichen durch die Anordnung von Hidden Layers eine effiziente Kodierung eines komplexen Zustandsraums, in dem komplexe Reaktionsmodelle kodiert werden können. Deep neural networks enable the efficient coding of a complex state space by the arrangement of hidden layers, in which complex reaction models can be coded.
Insbesondere wird das künstliche neuronale Netzwerk auf der Auswerteeinrichtung ausgeführt. In particular, the artificial neural network is executed on the evaluation device.
Daten sind logische Größen und/oder physikalische Größen, z.B. elektrische Signale. Data are logical quantities and / or physical quantities, e.g. electrical signals.
Eine Schadensfunktion, auch als Kosten- oder Nutzenfunktion bezeichnet, ist eine Funktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat. A damage function, also called a cost or benefit function, is a function that describes what value a given state or action has.
Der Vorteil der erfindungsgemäßen Auswerteeinrichtung liegt unter anderem darin, dass das künstliche neuronale Netzwerk aufgrund der generischen Eigenschaften und der effizienten Kodierung eines komplexen Zustandsraums in dem künstlichen neuronalen Netzwerks in der Lage ist, auf zuvor noch nicht gesehener Ereignisse optimal zu reagieren. Die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist, kann insbesondere bedeuten, dass z.B. bewusst ein parallel fahrendes Auto gerammt wird, um einer Frontalkollision auszuweichen. Ausschlaggebend dabei ist immer der Wert der Schadensfunktion. Ist der Wert der Schadensfunktion für die Fahrzeugaktion Rammen eines parallel fahrendes Autos kleiner als der Wert für die Fahrzeugaktion Frontalkollision, wird das künstliche neuronale Netzwerk als Fahrzeugaktion bestimmen, das parallel fahrende Auto zu rammen. Im Gegensatz dazu würde ein bekanntes Kollisions- Reaktionssystem nur in der Lage sein, auf die Frontalkollision mit einer vordefinierten Reaktion zu reagieren, beispielsweise durch eine Notbremsung oder ein Auslösen eines Airbags. One of the advantages of the evaluation device according to the invention is that, due to the generic properties and the efficient coding of a complex state space in the artificial neural network, the artificial neural network is able to respond optimally to previously unseen events. Determining the vehicle action for which the result of the damage function in this accident situation is minimal may mean in particular that, for example, a parallel-running car is deliberately rammed in order to avoid a frontal collision. Decisive here is always the value of the damage function. If the value of the damage function for the vehicle action ramming of a parallel-running car is smaller than the value for the vehicle action front-end collision, this becomes Artificial neural network as vehicle action determine to ram the parallel driving car. In contrast, a known collision response system would only be able to respond to the head-on collision with a predefined response, such as emergency braking or deployment of an airbag.
Vorteilhafterweise ist das künstliche neuronale Netzwerk ausgeführt, die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Das künstliche neuronale Netzwerk wird also beispielsweise nicht zwingend eine vordefinierte Reaktion ausführen, wie z.B. das Zünden eines Airbags zum letztmöglichen Zeitpunkt, sondern auch die Möglichkeit in Betracht ziehen, z.B. zu einem früherem Zeitpunkt ein Ausweichmanöver einzuleiten und dadurch eine Unfallsituation, insbesondere eine Kollision, gänzlich zu vermeiden. Advantageously, the artificial neural network is designed to determine the vehicle action with which the accident situation can be avoided. Thus, for example, the artificial neural network will not necessarily perform a predefined response, e.g. igniting an airbag at the last possible time, but also considering the possibility, e.g. to initiate an evasive maneuver at an earlier point in time and thereby completely avoid an accident situation, in particular a collision.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, durch verstärkendes Lernens die Fahrzeugaktion zu bestimmen. In a preferred embodiment of the invention, the artificial neural network is designed to determine the vehicle action by reinforcing learning.
Verstärkendes Lernen, auch als Reinforcement Learning bezeichnet, steht für eine Reihe von Methoden des maschinellen Lernens, bei denen ein Agent, hier das künstliche neuronale Netzwerk, selbstständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem Agenten nicht vorgezeigt, welche Aktion in welcher Situation die Beste ist, sondern er erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand dieser Belohnungen approximiert der Agent eine Nutzenfunktion, hier die Schadensfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder Aktion hat. Durch Reinforcement Learning werden komplexe physikalische Modelle und die vielfältigen Situationen implizit gelernt und müssen nicht für jeden Spezialfall im Vorhinein definiert werden. Reinforcement Learning, also known as Reinforcement Learning, is a set of machine learning methods in which an agent, here the artificial neural network, independently learns a strategy to maximize received rewards. In doing so, the agent is not shown which action is best in which situation, but receives a reward at certain times, which can also be negative. Based on these rewards, the agent approximates a utility function, here the damage function, which describes what value a particular state or action has. Reinforcement Learning implicitly teaches complex physical models and diverse situations and does not need to be defined in advance for each special case.
Vorteilhafterweise sind die Fahrzeugaktionen ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen, wobei Fahrzeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind. Damit ist das künstliche neuronale Netzwerk nicht nur dafür ausgeführt, für eine bestimmte Unfallsituation eine passende Fahraktion zu bestimmen, sondern darüber hinaus zusätzlich ausgeführt, auch die Dauer oder Ausführung der jeweiligen Fahrzeugaktion optimal zu bestimmen. Advantageously, the vehicle actions are steering, braking, and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the preceding vehicle actions, wherein vehicle action parameter instants at which a respective vehicle action is initiated, and preferably steering angle values , Braking force and / or braking time and / or amount of acceleration and / or acceleration duration are. Thus, the artificial neural network is not only designed to determine a suitable driving action for a particular accident situation, but also additionally designed to optimally determine the duration or execution of the respective vehicle action.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktionsparameter zu variieren, wobei vorzugsweise die Auswerteeinrichtung ausgeführt ist, die Fahrzeugaktionsparameter mit einem Zufallszahlengenerator zu variieren. Preferably, the evaluation device is designed to vary the vehicle action parameters, wherein preferably the evaluation device is designed to vary the vehicle action parameters with a random number generator.
Als Zufallszahlengenerator bezeichnet man ein Verfahren, das eine Folge von Zufallszahlen erzeugt. A random number generator is a method that generates a sequence of random numbers.
Durch eine zufällige Sequenz von Fahrzeugaktionen oder durch eine zufällige Variation einer bereits gelernten Sequenz von Fahrzeugaktionen hat das künstliche neuronale Netzwerk die Möglichkeit, verschiedene Fahrzeugaktionen für eine bestimmte Unfallsituation in Betracht zu ziehen. By a random sequence of vehicle actions or by a random variation of an already learned sequence of vehicle actions, the artificial neural network has the opportunity to consider different vehicle actions for a particular accident situation.
Vorzugsweise sind in der Schadensfunktion Personenschäden stärker als Sachschäden gewichtet. Preferably, personal injury is more heavily weighted as property damage in the damage function.
Eine Sache ist keine Person. Insbesondere ist ein Tier eine Sache. One thing is not a person. In particular, an animal is one thing.
Damit kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, für die ein minimaler Personenschaden eintritt. Thus, the artificial neural network can determine the vehicle action for which minimal personal injury occurs.
In einer bevorzugten Ausgestaltung der Erfindung ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution. Damit wird für eine unausweichliche Unfallsituation jede Qualifizierung nach persönlichen Merkmalen untersagt. In a preferred embodiment of the invention, the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution. Thus, any qualification for personal characteristics is prohibited for an inevitable accident situation.
In das Anstandsgefühl aller billig und gerecht denkender Menschen fließen u.a. ethische Gesichtspunkt mit ein. Durch die Untersagung einer Qualifizierung nach persön- liehen Merkmalen wird die ethisch fundierte Norm der Gleichbehandlung aller Menschen durch die beanspruchte Erfindung nicht verletzt. The sense of decency of all cheap and just-thinking people is an ethical point of view. By prohibiting qualification according to personal The ethical standard of equal treatment of all persons is not violated by the claimed invention.
Vorteilhafterweise sind in der Schadensfunktion Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet. Dadurch kann das künstliche neuronale Netzwerk die Fahrzeugaktion bestimmen, die zu einer insgesamt minimalen Schadensschwere führt in einer unausweichlichen Unfallsituation. Advantageously, personal injury and / or property damage are weighted depending on the severity of the damage in the damage function. As a result, the artificial neural network can determine the vehicle action, which leads to an overall minimum of damage in an unavoidable accident situation.
Besonders bevorzugt sind in der Schadensfunktion Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzungen und leichte Verletzungen gewichtet. Dies ist eine absteigende Wertung, wobei ein niedriger Wert wenig Schaden bedeutet. In the damage function, personal injury after death, injury with consequential damage, curable injuries and slight injuries are particularly preferably weighted. This is a descending score, with a low score meaning little damage.
Vorzugsweise sind in der Schadensfunktion Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet. In the damage function, property damage is preferably weighted after a loss in value of the respective object.
Durch die Gewichtung von Personenschäden und Sachschäden kann eine Gewichtung nach Schadensschwere einfach erfolgen. Due to the weighting of personal injury and damage to property, a weighting according to the severity of the damage can easily be carried out.
In einer Weiterbildung der Erfindung ist die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Dies erlaubt die Definition von zwei verschiedenen Schadensfunktionen. In a development of the invention, the damage function is a function of all property damage in the vehicle environment or a function of the property damage to the vehicle. This allows the definition of two different damage functions.
Bevorzugt ist die Auswerteeinrichtung ausgeführt, die Fahrzeugaktion zu bestimmen, für die die Anzahl der Personenschäden minimal ist. Eine Minderung der Anzahl der Personenschäden ist ethisch vertretbar. Dabei ist eine Aufrechnung von Opfern allerdings nicht vorgesehen. Preferably, the evaluation device is designed to determine the vehicle action for which the number of personal injuries is minimal. A reduction in the number of personal injuries is ethically acceptable. However, an offsetting of victims is not provided.
In einer weiteren Ausgestaltung der Erfindung ist die Auswerteeinrichtung für den Fall, dass für zwei bestimmte Fahrzeugaktionen, für die das Ergebnis der Schadensfunktion derselbe Personenschaden ist, ausgeführt, die Fahrzeugaktion mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen. Damit ist es möglich, einen resultierenden Gesamtschaden möglichst gering zu halten. Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in den Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen eine Unfallsituation eines Fahrzeuges simuliert wird, wobei für diese Unfallsituation in Abhängigkeit von Fahrzeugaktionen, Fahrzeugaktionsparameter und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden, um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion zu behalten, wenn das Computerprogrammprodukt auf einen Computer läuft, wobei die Fahrzeugaktionen ein Lenken, Bremsen und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen sind, die Fahr- zeugaktionsparameterzeitpunkte, zu denen eine jeweilige Fahrzeugaktion eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und in dem Schadenmodell Personenschäden stärker als Sachschäden gewichtet sind, Personenschäden und/oder Sachschäden in Abhängigkeit der Schadenschwere gewichtet sind, Personenschäden nach Todesfall, Verletzungen mit Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet sind, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei die Schadenfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution ist und die Schadensfunktion eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden in dem Fahrzeug ist. In a further embodiment of the invention, the evaluation device for the case that for two specific vehicle actions for which the result of the damage function is the same personal injury carried out to determine the vehicle action with the least damage to the least number of persons involved. This makes it possible to minimize the resulting total damage. The computer program product according to the invention is designed to be loaded into the memory of a computer and comprises software code sections with which an accident situation of a vehicle is simulated, personal injury and / or material damage being calculated for this accident situation as a function of vehicle actions, vehicle action parameters and a damage model to keep the damage function dependent on these personal injury and / or property damage when the computer program product is running on a computer, wherein the vehicle actions include steering, braking and / or accelerating the vehicle and / or triggering a collision device, preferably an airbag, or a sequence of the foregoing Vehicle actions are the vehicle action parameter instants at which a respective vehicle action is initiated and preferably values for steering angle, braking force and / or braking duration and / or amount of acceleration and / or acceleration In the damage model, personal injury is more heavily weighted as property damage, personal injury and / or property loss weighted depending on the severity of injury, personal injury following death, consequential injury, curable injury and weighted injury weighted, and material damage weighted after a loss of value of the particular asset wherein the damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution, and the damage function is a function of all property damage in the vehicle environment or a function of the property damage in the vehicle.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Erhalten einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion. Computer program products typically include a sequence of instructions that cause the hardware, when the program is loaded, to perform a particular procedure that results in a particular result. When the program in question is used on a computer, the computer program product causes an effect, namely, obtaining a damage function dependent on personal injury and / or property damage.
Ein Computer ist eine Einrichtung zum Verarbeiten von Daten, die mittels programmierbarer Rechenvorschriften Daten verarbeitet. Ein Speicher ist ein Medium für die Sicherung von Daten. A computer is a device for processing data that processes data using programmable rules. A memory is a medium for backing up data.
Software ist ein Sammelbegriff für Programme und die zugehörigen Daten. Das Komplement zur Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines datenverarbeitenden Systems. Software is a collective term for programs and their associated data. The complement to the software is hardware. Hardware refers to the mechanical and electronic alignment of a data processing system.
Mit dem erfindungsgemäßen Computerprogrammprodukt lassen sich vorteilhafterweise Fahrzeugverhalten als auch Schadensmodelle für beteiligte Personen, z.B. Verletzungsgrad einer Person und Wertverlust eines Fahrzeuges und/oder einer Infrastruktur simulieren. Durch diese Simulation kann einem künstlichen neuronalen Netzwerk eine Schadensfunktion zur Verfügung gestellt werden. Durch die Simulation können komplexe physikalische Modelle und die vielfältigen Situationen von dem künstlichen neuronalen Netzwerk implizit gelernt werden. With the computer program product according to the invention, vehicle behavior as well as damage models for involved persons, e.g. Injury level of a person and loss of value of a vehicle and / or infrastructure simulate. This simulation can provide a damage function to an artificial neural network. The simulation allows implicit learning of complex physical models and the multiple situations of the artificial neural network.
In einer bevorzugten Ausgestaltung der Erfindung ist das künstliche neuronale Netzwerk ausgeführt, eine mit dem erfindungsgemäßen Computerprogrammprodukt erhaltene Schadensfunktion auszuwerten. Das künstliche neuronale Netzwerk kann dann insbesondere durch Reinforcement Learning in einer umfassenden Simulation trainiert werden, um im Falle eines bevorstehenden Unfalls den für alle beteiligten besten Ausgang zu erzwingen oder diesen Unfall gänzlich zu vermeiden. In a preferred embodiment of the invention, the artificial neural network is designed to evaluate a damage function obtained with the computer program product according to the invention. The artificial neural network can then be trained in particular by reinforcement learning in a comprehensive simulation, in order to force in the case of an imminent accident the best outcome for all involved or to avoid this accident altogether.
Vorzugsweise weist die Auswerteeinrichtung eine Eingabeschnittstelle auf, um Daten von Fahrzeugumfeldsensoren, vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschallsensoren, zu erhalten. Preferably, the evaluation device has an input interface in order to obtain data from vehicle surroundings sensors, preferably camera, radar, lidar, infrared and / or ultrasound sensors.
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten, oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen. Aktuelle Fahrzeuge weisen bereits Fahrzeugumfeldsensoren auf. Damit ist die Erfassung von Daten des Fahrzeugumfeldes besonders einfach. An interface is a device between at least two functional units at which an exchange of logical quantities, eg data, or physical quantities, eg electrical signals, takes place, either only unidirectionally or bidirectionally. The exchange can be analog or digital. The exchange can also be wired or wireless. Current vehicles already have vehicle environment sensors. This makes capturing data about the vehicle environment particularly easy.
Bei dem erfindungsgemäßen Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung ausgeführt. Erfindungsgemäß weist das Verfahren die folgenden Verfahrensschritte auf: In the method according to the invention for training an artificial neural network, the artificial neural network is executed on an evaluation device. According to the invention, the method comprises the following method steps:
- Bereitstellen von Daten eines Fahrzeugumfelds, Providing data of a vehicle environment,
- in Abhängigkeit dieser Daten Vorherbestimmen einer Unfallsituation,  - depending on this data, predetermining an accident situation,
- durch verstärkendes Lernen Erlernen, für die Unfallsituation eine Schadensfunktion von, in Abhängigkeit simulierter Fahrzeugaktionen berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation minimal ist.  - Learn by reinforcing learning how to evaluate a damage function of personal injury and / or property damage calculated on the basis of simulated vehicle actions and to determine the vehicle action for which the result of the damage function in this accident situation is minimal.
Vorzugsweise wird das künstliche neuronale Netzwerk auf einer Auswerteeinrichtung zum Bestimmen einer Fahrzeugaktion ausgeführt. Preferably, the artificial neural network is executed on an evaluation device for determining a vehicle action.
Mit dem erfindungsgemäßen Verfahren kann ein künstliches neuronales Netzwerk trainiert werden, auf nicht vordefinierte Situationen optimale Reaktionen zum Vermeiden einer Unfallsituation auszuführen. With the method according to the invention, an artificial neural network can be trained to perform optimal reactions to non-predefined situations in order to avoid an accident situation.
Bevorzugt wird zur Durchführung des Verfahrens eine erfindungsgemäße Auswerteeinrichtung verwendet. Preferably, an evaluation device according to the invention is used to carry out the method.
Das erfindungsgemäße System für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation weist eine Eingangsschnittstelle auf, um Daten eines Fahrzeugumfeldes zu erhalten. Ferner weist das System eine Auswerteeinrichtung auf, die ausgeführt ist, ein durch verstärkendes Lernens trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärts zu speisen, um für eine Unfallsituation die Fahrzeugaktion zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion in dieser Un- fallsituation minimal ist, und in Abhängigkeit dieser Fahrzeugaktion ein Signal für eine Fahrzeugsteuerung zu erhalten. Außerdem weist das System eine Ausgangsschnittstelle auf, die ausgeführt ist dieses Signal an eine Fahrzeugsteuerungseinrichtung auszugeben. The system according to the invention for a vehicle control for situation-dependent decision-making in an accident situation has an input interface to obtain data of a vehicle environment. Furthermore, the system has an evaluation device that is designed to forward an artificial neural network trained by reinforcement learning with this data in order to determine the vehicle action for an accident situation, for which the result of a damage function dependent on personal injury and / or material damage this situation is minimal, and to receive a signal for vehicle control in response to this vehicle action. In addition, the system has an output interface configured to output this signal to a vehicle controller.
Eine Fahrzeugsteuerungseinrichtung ist eine Einrichtung, die Funktionen der Längsund/oder Quersteuerung eines Fahrzeuges ausführt oder übernimmt. A vehicle control device is a device that performs or assumes functions of the longitudinal and / or lateral control of a vehicle.
Da das künstliche neuronale Netzwerk bereits mit verstärkendem Lernen trainiert ist, wird mit dem Vorwärtsspeisen dieses künstlichen neuronalen Netzwerks mit Daten des Fahrzeugumfeldes eine end-to-end Lösung zum Vermeiden bzw. zum Abmildern von Unfallfolgen bereitgestellt. Insbesondere kann das System auf unbekannte Situationen aufgrund der generischen Eigenschaften des künstlichen neuronalen Netzwerks optimal reagieren. Since the artificial neural network is already trained in enhancing learning, feeding this artificial neural network forward with vehicle environment data provides an end-to-end solution for avoiding or mitigating the consequences of an accident. In particular, the system can respond optimally to unknown situations due to the generic characteristics of the artificial neural network.
Vorzugsweise ist die Auswerteeinrichtung ausgeführt, um für eine bevorstehende Unfallsituation die Fahrzeugaktion zu bestimmen, mit der die Unfallsituation vermeidbar ist. Damit kann mit dem System der Gesamtschaden minimiert werden. Die Auswerteeinrichtung kann auch die Fahrzeugaktion bestimmen, die bei einer Unvermeidbarkeit eines Unfalls einen Ausgang mit minimalem Gesamtschaden gewährleistet. Preferably, the evaluation device is designed to determine the vehicle action for an imminent accident situation with which the accident situation can be avoided. This can be minimized with the system of total damage. The evaluation device can also determine the vehicle action that ensures an exit with minimal overall damage in case of an accident inevitability.
Bevorzugt ist das künstliche neuronale Netzwerk des Systems nach dem erfindungsgemäßen Verfahren trainiert. Preferably, the artificial neural network of the system is trained according to the method of the invention.
Ein Fahrerassistenzsystem gemäß der Erfindung weist ein erfindungsgemäßes System oder ein nach dem erfindungsgemäßen Verfahren trainiertes künstliches neuronales Netzwerk auf. A driver assistance system according to the invention comprises a system according to the invention or an artificial neural network trained according to the method according to the invention.
Die Erfindung wird in den nachfolgenden Figuren ausführlich beschrieben . Es zeigen: Fig. 1 ein Ausführungsbeispiel einer erfindungsgemäßen Auswerteeinrichtung, Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammprodukts, The invention will be described in detail in the following figures. 1 shows an exemplary embodiment of an evaluation device according to the invention, 2 shows an embodiment of a computer program product according to the invention,
Fig. 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und Fig. 3 shows an embodiment of a method according to the invention and
Fig. 4 ein Ausführungsbeispiel eines erfindungsgemäßen Systems. Fig. 4 shows an embodiment of a system according to the invention.
Fig. 1 zeigt eine bevorstehende Unfallsituation 32 für ein auf einer Fahrbahn auf zwei Fahrzeuge auffahrendes Fahrzeug 22. Wenn das Fahrzeug 22 auf seiner Fahrbahn die Richtung beibehaltend weiterfährt, kollidiert es mit dem vorausfahrenden Fahrzeug. Die Unfallsituation 32 ist eine Frontalkollision. FIG. 1 shows an imminent accident situation 32 for a vehicle 22 driving up onto a roadway on a roadway. When the vehicle 22 continues on its roadway in the direction of maintaining maintenance, it collides with the preceding vehicle. The accident situation 32 is a frontal collision.
Das Fahrzeug 22 ist mit einer Kamera als Fahrzeugumfeldsensor 31 ausgestattet. Die Kamera 31 nimmt Daten 30 des Umfeldes des Fahrzeuges 22 auf. In dem Umfeld erfasst die Kamera 31 als Daten die zwei vorausfahrenden Fahrzeuge. Das Fahrzeug 22 kann auch mit einem Sensorset, zum Beispiel aus Kamera-, Radar- und Lidarsensor, als Fahrzeugumfeldsensor 31 ausgestattet sein. Ein derartiges Sensorset nutzt durch Sensor-Fusion der einzelnen Sensoren deren jeweilige Vorteile kombiniert aus. The vehicle 22 is equipped with a camera as the vehicle surroundings sensor 31. The camera 31 receives data 30 of the environment of the vehicle 22. In the environment, the camera 31 collects as data the two preceding vehicles. The vehicle 22 may also be equipped with a sensor set, for example a camera, radar and lidar sensor, as a vehicle surroundings sensor 31. Such a sensor set uses sensor-fusion of the individual sensors combined their respective advantages.
Die Daten des Fahrzeugumfeldsensors 31 werden über eine Eingabeschnittstelle 12 einer Auswerteeinrichtung 10 zugeführt. Die Auswerteeinrichtung 10 kann ein Prozessor, insbesondere auch ein Mehrkernprozessor, eines Computers sein. Die Auswerteeinrichtung 10 ist an dem Fahrzeug 22 angeordnet. Es liegt aber auch im Rahmen der Erfindung, dass die Auswerteeinrichtung 10 an einer zentralen Stelle außerhalb des Fahrzeuges 22 angeordnet ist, wobei das Fahrzeug 22 die Daten 30 des Fahrzeugumfeldes an die Auswerteeinrichtung 10 zum Auswerten sendet und die Auswerteeinrichtung 10 das Ergebnis der Auswertung wieder zurück an das Fahrzeug 22 sendet. The data of the vehicle surroundings sensor 31 are fed via an input interface 12 to an evaluation device 10. The evaluation device 10 may be a processor, in particular also a multi-core processor, of a computer. The evaluation device 10 is arranged on the vehicle 22. However, it is also within the scope of the invention that the evaluation device 10 is arranged at a central location outside the vehicle 22, wherein the vehicle 22 transmits the data 30 of the vehicle environment to the evaluation device 10 for evaluation and the evaluation device 10 returns the result of the evaluation to the vehicle 22 sends.
Die Auswerteeinrichtung 10 weist ein künstliches neuronales Netzwerk 1 1 auf. Das künstliche neuronale Netzwerk 1 1 ist ein Deep Neural Network mit mehreren Hidden Layers, in dem als komplexer Zustandsraum das Fahren des Fahrzeuges 22 in ei- nem Fahrzeugumfeld in Abhängigkeit einer Anzahl und einer Anordnung von Hidden Layers kodiert ist. Das künstliche neuronale Netzwerk 11 kann auch ein Convolutio- nal Neural Network sein. Convolutional Neural Networks sind mehrschichtige künstliche neuronale Netzwerke, bei denen jede Schicht voneinander unabhängige Neuronen enthält. Convolutional Neural Networks mit sich wiederholenden Schichten heißen Deep Convolutional Neural Networks. The evaluation device 10 has an artificial neural network 11. The artificial neural network 1 1 is a deep neural network with several hidden layers, in which as a complex state space driving the vehicle 22 in a a vehicle environment is coded as a function of a number and an arrangement of hidden layers. The artificial neural network 11 may also be a convolutional neural network. Convolutional Neural Networks are multilayer artificial neural networks in which each layer contains independent neurons. Convolutional Neural Networks with repetitive layers are called Deep Convolutional Neural Networks.
Das künstliche neuronale Netzwerk 1 1 wertet die Unfallsituation 32 für eine gegebene Schadensfunktion 13 aus. Die Schadensfunktion 13 wird von dem in Fig. 2 gezeigten Computerprogrammprodukt 40 bereitgestellt. In Abhängigkeit des Zustandes der Unfallsituation 32 gibt die Schadensfunktion 13 die Fahrzeugaktion 20 aus, die zu einem Minimum der Schadensfunktion, d.h. zu einem minimalen Gesamtschaden der Unfallsituation 32, führt. Die Fahrzeugaktion 20 ist ein Ausweichmanöver, so dass eine Frontalkollision mit den vorausfahrenden Fahrzeugen erst gar nicht eintritt. The artificial neural network 1 1 evaluates the accident situation 32 for a given damage function 13. The damage function 13 is provided by the computer program product 40 shown in FIG. Depending on the state of the accident situation 32, the damage function 13 outputs the vehicle action 20, which results in a minimum of the damage function, i. to a minimum overall damage of the accident situation 32, leads. The vehicle action 20 is an evasive maneuver, so that a frontal collision does not even occur with the vehicles in front.
Das Computerprogrammprodukt 40 in Fig. 2 wird in einem Speicher eines Computers 41 geladen und in diesem Computer 41 ausgeführt. Softwarecodeabschnitte des Computerprogrammprodukts 40 simulieren Unfallsituationen 32 eines Fahrzeuges 22. Für diese Unfallsituationen 32 berechnet das Computerprogrammprodukt 40 in Abhängigkeit von Fahrzeugaktionen 20, wie z.B. Geradeausfahren, Abbremsen, Ausweichen nach links oder rechts, Fahrzeugaktionsparameter 21 , beispielsweise Dauer eines Brems- oder Beschleunigungsvorganges, und eines Schadenmodells, Personenschäden und/oder Sachschäden. Abhängig von diesen Personenschäden und/oder Sachschäden erhält das Computerprogrammprodukt eine Schadensfunktion 13. In dem Schadenmodell sind Personenschäden stärker gewichtet als Sachschäden, Personen- und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet, Personenschäden nach Todesfall, Verletzungen und Folgeschäden, heilbare Verletzungen und leichtet Verletzungen gewichtet, und Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet. Dabei ist die Schadensfunktion unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution und die Schadensfunktion ist eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug. Bei Sachschäden entspricht die Wertung der Schadensschwere einem Wertverlust des Fahrzeugs, von anderen Fahrzeugen oder eines Objekts der Infrastruktur, z.B. eines Gebäudes. The computer program product 40 in FIG. 2 is loaded into a memory of a computer 41 and executed in this computer 41. Software code portions of the computer program product 40 simulate crash situations 32 of a vehicle 22. For these crash situations 32, the computer program product 40 calculates vehicle action parameters 21, such as duration of a braking or acceleration event, depending on vehicle actions 20, such as straight-line driving, braking, dodge to the left or right Damage model, personal injury and / or property damage. In the damage model, personal injury is weighted more heavily than damage to property, personal injury and / or property weighted depending on the severity of damage, personal injury following death, injury and consequential loss, curable injury and minor injury weighted, and material damage weighted after a loss of value of each case. The damage function is independent of personal characteristics, preferably age, gender, physical and / or mental constitution and the damage function is a function of all property damage in the vehicle environment or a function of property damage to the vehicle. In the case of property damage the damage severity score corresponds to one Loss of value of the vehicle, of other vehicles or of an object of the infrastructure, eg of a building.
Bei dem in Fig. 3 gezeigten Verfahren werden Daten eines Fahrzeugumfeldes einem künstlichen neuronalen Netzwerk, dass auf einer Auswerteeinrichtung ausgeführt wird, bereitgestellt. In Abhängigkeit dieser Daten wird eine Unfallsituation vorherbestimmt. Mittels verstärkendem Lernen erlernt das künstliche neuronale Netzwerk 11 , für diese Unfallsituation 32 eine Schadensfunktion 30 von in Abhängigkeit simulierter Fahrzeugaktionen 20 berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis der Schadensfunktion in dieser Unfallsituation 32 minimal ist. In the method shown in FIG. 3, data of a vehicle environment are provided to an artificial neural network that is executed on an evaluation device. Depending on this data, an accident situation is predetermined. By means of reinforcing learning, the artificial neural network 11 learns to evaluate a damage function 30 of personal injury and / or property damage calculated for simulated vehicle actions 20 and to determine the vehicle action 20 for which the result of the damage function in this accident situation 32 is minimal ,
Durch das Bereitstellen von Daten 30 eines Fahrzeugumfeldes kann das künstliche neuronale Netzwerk 1 1 die Umgebung des Fahrzeuges 22 beobachten und für entsprechend ausgeführte Aktionen belohnt werden. Nachdem das künstliche neuronale Netzwerk 1 1 die Fahrzeugaktion 22 mit minimaler Schadensfunktion 13 bestimmt hat, wird die Umgebung des Fahrzeuges 22 durch Bereitstellen von Daten des Fahrzeugumfeldes erneut beobachtet. By providing data 30 of a vehicle environment, the artificial neural network 11 can observe the environment of the vehicle 22 and be rewarded for correspondingly performed actions. After the artificial neural network 1 1 has determined the vehicle action 22 with minimum damage function 13, the environment of the vehicle 22 is re-observed by providing data of the vehicle environment.
Fig. 4 zeigt ein System 50 für eine Fahrzeugsteuerung. Das System 50 weist eine Eingangsschnittstelle 51 auf, über die dem System 50 Daten eines Fahrzeugumfeldsensors 31 zugeführt werden. Das System 50 weist eine Auswerteeinrichtung 10 auf, die ein durch verstärkendes Lernen trainiertes künstliches neuronales Netzwerk mit diesen Daten vorwärtsspeist, um für eine Unfallsituation 32 die Fahrzeugaktion 20 zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion 13 in dieser Unfallsituation minimal ist. In Abhängigkeit dieser Fahrzeugaktion 20 wird ein Signal für eine Fahrzeugsteuerung erhalten. Über eine Ausgangsschnittstelle 52 wird dieses Signal an eine Fahrzeugsteuerungseinrichtung 53 ausgegeben. 4 shows a system 50 for a vehicle control. The system 50 has an input interface 51, via which the system 50 data of a vehicle surroundings sensor 31 are supplied. The system 50 includes an evaluator 10 that forwards an amplified learning artificial neural network with this data to determine, for an accident situation 32, the vehicle action 20 for which the result of a personal injury and / or property damage function 13 therein Accident situation is minimal. Depending on this vehicle action 20, a signal for a vehicle control is obtained. Via an output interface 52, this signal is output to a vehicle control device 53.
Damit kann vorteilhafterweise ein Fahrerassistenzsystem bereitgestellt werden, das beispielsweise mittels einer end-to-end Lösung auf eine bevorstehende Unfallsituation automatisch optimal reagiert, unabhängig von vordefinierten Szenen. Bezuqszeichen This advantageously makes it possible to provide a driver assistance system which automatically optimally responds to an imminent accident situation, for example by means of an end-to-end solution, independently of predefined scenes. REFERENCE CHARACTERS
Auswerteeinrichtung evaluation
künstliches neuronales Netzwerk artificial neural network
Eingabeschnittstelle  Input interface
Schadensfunktion  payload
Fahrzeugaktion  vehicle action
Fahrzeugaktion-Parameter  Action vehicle parameters
Fahrzeug  vehicle
Daten  dates
Fahrzeugumfeld-Sensor  Vehicle environment sensor
Unfallsituation  accident situation
Computerprogrammprodukt  A computer program product
Computer  computer
System  system
Eingangsschnittstelle  Input interface
Ausgangsschnittstelle  Output interface
Fahrzeugsteuerungseinrichtung  Vehicle controller

Claims

Patentansprüche claims
1 . Auswerteeinrichtung (10) zum Bestimmen einer Fahrzeugaktion (20), wobei -die Auswerteeinrichtung (10) ausgeführt ist, ein künstliches neuronales Netzwerk (1 1 ), dessen Ausgabe die Fahrzeugaktion (20) ist, mit Daten (30) eines Fahrzeugumfeldes zu speisen, wobei 1 . Evaluation device (10) for determining a vehicle action (20), wherein the evaluation device (10) is designed to feed an artificial neural network (11) whose output is the vehicle action (20) with data (30) of a vehicle environment, in which
- das künstliche neuronale Netzwerk (11 ) ausgeführt ist,  - the artificial neural network (11) is executed,
• in Abhängigkeit dieser Daten (30) eine Unfallsituation (32) vorherzubestimmen,  To predetermine an accident situation (32) as a function of this data (30),
• für diese Unfallsituation (32) eine Schadensfunktion (13) für, in Abhängigkeit von simulierten Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und  • for this accident situation (32), to evaluate a damage function (13) for personal injury and / or material damage calculated as a function of simulated vehicle actions (20); and
• die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist.  • determine the vehicle action (20) for which the result of the damage function (13) in this accident situation (32) is minimal.
2. Auswerteeinrichtung (10) nach Anspruch 1 , dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist. 2. evaluation device (10) according to claim 1, characterized in that the artificial neural network (1 1) is designed to determine the vehicle action (20), with which the accident situation (32) is avoidable.
3. Auswerteeinrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, durch verstärkendes Lernen die Fahrzeugaktion (20) zu bestimmen. 3. evaluation device (10) according to claim 1 or 2, characterized in that the artificial neural network (1 1) is designed to determine the vehicle action (20) by reinforcing learning.
4. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugaktion (20) vorzugsweise ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, ist oder eine Sequenz der vorangehenden Fahrzeugaktionen (20), wobei Fahrzeugaktions-Parameter Zeitpunkte (21 ), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind. 4. evaluation device (10) according to any one of the preceding claims, characterized in that the vehicle action (20) is preferably a steering, braking, and / or acceleration of the vehicle and / or the triggering of a collision device, preferably an airbag, or a sequence of preceding vehicle actions (20), wherein vehicle action parameters are times (21) at which a respective vehicle action (20) is initiated and preferably values for steering angle, braking force and / or braking duration and / or amount of acceleration and / or acceleration duration.
5. Auswerteeinrichtung (10) nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21 ) zu variieren, wobei vorzugsweise die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktions-Parameter (21 ) mit einem Zufallszahlengenerator zu variieren. 5. evaluation device (10) according to claim 4, characterized in that the evaluation device (10) is adapted to vary the vehicle action parameters (21), wherein preferably the evaluation device (10) is executed, the vehicle action parameters (21) to vary a random number generator.
6. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden stärker als Sachschäden gewichtet sind. 6. evaluation device (10) according to one of the preceding claims, characterized in that in the damage function (13) personal injury are weighted more heavily than property damage.
7. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist. 7. evaluation device (10) according to any one of the preceding claims, characterized in that the damage function (13) is independent of personal characteristics, preferably age, sex, physical and / or mental constitution, is.
8. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind. 8. evaluation device (10) according to one of the preceding claims, characterized in that in the damage function (13) personal injury and / or property damage are weighted depending on the severity of damage.
9. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind. 9. evaluation device (10) according to any one of the preceding claims, characterized in that in the damage function (13) personal injury after death, injury with consequential damage, healing injury and minor injury are weighted.
10. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Schadensfunktion (13) Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind. 10. evaluation device (10) according to one of the preceding claims, characterized in that in the damage function (13) property damage after a loss in value of the respective thing are weighted.
1 1 . Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist. 1 1. Evaluation device (10) according to one of the preceding claims, characterized in that the damage function (13) is a function of all property damage in the vehicle environment or a function of property damage to the vehicle (22).
12. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) zu bestimmen, für die die Anzahl der Personenschäden minimal ist. 12. evaluation device (10) according to any one of the preceding claims, characterized in that the evaluation device (10) is designed to determine the vehicle action (20) for which the number of personal injury is minimal.
13. Auswerteeinrichtung (10) nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für zwei bestimmte Fahrzeugaktionen (20), für die das Ergebnis der Schadensfunktion (13) derselbe Personenschaden ist, die Auswerteeinrichtung (10) ausgeführt ist, die Fahrzeugaktion (20) mit geringstem Sachschaden bei geringster Anzahl beteiligter Personen zu bestimmen. 13. Evaluation device (10) according to one of the preceding claims, characterized in that for two specific vehicle actions (20) for which the result of the damage function (13) is the same personal injury, the evaluation device (10) is executed, the vehicle action (20). to be determined with the least damage to property with the lowest number of persons involved.
14. Computerprogrammprodukt (40), das ausgeführt ist, 14. Computer program product (40) that is executed
- in den Speicher eines Computers (41 ) geladen zu werden, und  - to be loaded into the memory of a computer (41), and
- das Softwarecodeabschnitte umfasst,  comprising software code sections,
• mit denen eine Unfallsituation (32) eines Fahrzeuges (22) simuliert wird, wobei  • with which an accident situation (32) of a vehicle (22) is simulated, wherein
• für diese Unfallsituation (32) in Abhängigkeit von Fahrzeugaktionen (20), Fahrzeugaktions-Parameter (21 ) und eines Schadenmodells Personenschäden und/oder Sachschäden berechnet werden • For this accident situation (32) depending on vehicle actions (20), vehicle action parameters (21) and a damage model, personal injury and / or property damage are calculated
• um eine von diesen Personenschäden und/oder Sachschäden abhängige Schadensfunktion (13) zu erhalten, wenn das Computerprogrammprodukt (40) auf einem Computer läuft (41 ), wobei• to obtain a damage function (13) dependent on these personal injury and / or property damage, if the computer program product (40) is running on a computer (41), where
- die Fahrzeugaktionen (20) ein Lenken, Bremsen, und/oder Beschleunigen des Fahrzeuges (22) und/oder das Auslösen einer Kollisionseinrichtung, vorzugsweise eines Airbags, oder eine Sequenz der vorangehenden Fahrzeugaktionen (20) sind,the vehicle actions (20) are steering, braking, and / or accelerating the vehicle (22) and / or triggering a collision device, preferably an airbag, or a sequence of the preceding vehicle actions (20),
- die Fahrzeugaktions-Parameter Zeitpunkte (21 ), zu denen eine jeweilige Fahrzeugaktion (20) eingeleitet wird, und vorzugsweise Werte für Lenkwinkel, Bremskraft und/oder Bremsdauer und/oder Betrag einer Beschleunigung und/oder Beschleunigungsdauer sind und the vehicle action parameters are times (21) at which a respective vehicle action (20) is initiated, and are preferably values for steering angle, braking force and / or braking duration and / or amount of acceleration and / or acceleration duration;
- in dem Schadenmodell  - in the damage model
• Personenschäden stärker als Sachschäden gewichtet sind,  • personal injury is more heavily weighted as property damage,
• Personenschäden und/oder Sachschäden in Abhängigkeit der Schadensschwere gewichtet sind, • Personenschäden nach Todesfall, Verletzung mit Folgeschäden, heilbare Verletzung und leichte Verletzung gewichtet sind, und• personal injury and / or material damage are weighted depending on the severity of the damage, • personal injury after death, injury with consequential damages, curable injury and minor injury are weighted, and
• Sachschäden nach einem Wertverlust der jeweiligen Sache gewichtet sind, wobei • Property damage is weighted after a loss of value of each item, with
- die Schadensfunktion (13) unabhängig von persönlichen Merkmalen, vorzugsweise Alter, Geschlecht, körperlicher und/oder geistiger Konstitution, ist und  the damage function (13) is independent of personal characteristics, preferably age, sex, physical and / or mental constitution, and
- die Schadensfunktion (13) eine Funktion aller Sachschäden in dem Fahrzeugumfeld oder eine Funktion der Sachschäden an dem Fahrzeug (22) ist.  - the damage function (13) is a function of all property damage in the vehicle environment or a function of property damage to the vehicle (22).
15. Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) ausgeführt ist, eine mit dem Computerprogrammprodukt (40) nach Anspruch 14 erhaltene Schadensfunktion (13) auszuwerten. 15. evaluation device (10) according to one of claims 1 to 13, characterized in that the artificial neural network (1 1) is designed to evaluate a received with the computer program product (40) according to claim 14 damage function (13).
16. Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) eine Eingabeschnittstelle (12) aufweist, um Daten (30) von Fahrzeugumfeld-Sensoren (31 ), vorzugsweise Kamera-, Radar-, Lidar-, Infrarot- und/oder Ultraschall-Sensoren, zu erhalten. 16. evaluation device (10) according to one of claims 1 to 13 or claim 15, characterized in that the evaluation device (10) has an input interface (12) to data (30) of vehicle surroundings sensors (31), preferably camera, Radar, lidar, infrared and / or ultrasonic sensors.
17. Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks (11 ), wobei das künstliche neuronale Netzwerk (1 1 ) auf einer Auswerteeinrichtung (10) ausgeführt wird, mit den folgenden Verfahrensschritten: 17. A method for training an artificial neural network (11), wherein the artificial neural network (1 1) is carried out on an evaluation device (10), comprising the following method steps:
- Bereitstellen von Daten (30) eines Fahrzeugumfeldes für das künstliche neuronale Netzwerk (1 1 ),  Providing data (30) of a vehicle environment for the artificial neural network (11),
- in Abhängigkeit dieser Daten (30) vorherbestimmen einer Unfallsituation (32), - predetermine an accident situation (32) as a function of this data (30),
- durch verstärkendes Lernen erlernen, für diese Unfallsituation (32) eine Schadensfunktion (13) von, in Abhängigkeit simulierter Fahrzeugaktionen (20) berechneter, Personenschäden und/oder Sachschäden auszuwerten und die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis der Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist. - learn by reinforcing learning to evaluate a damage function (13) of personal injury and / or property damage calculated on the basis of simulated vehicle actions (20) and to determine the vehicle action (20) for which the result of the damage function (20) 13) is minimal in this accident situation (32).
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass zur Durchführung des Verfahrens eine Auswerteeinrichtung (10) nach einem der Ansprüche 1 bis 13 oder Anspruch 15 oder 16 verwendet wird. 18. The method according to claim 17, characterized in that for carrying out the method, an evaluation device (10) according to one of claims 1 to 13 or claim 15 or 16 is used.
19. System (50) für eine Fahrzeugsteuerung für situationsabhängige Entscheidungsfindung in einer Unfallsituation mit 19. System (50) for a vehicle control for situation-dependent decision-making in an accident situation with
- einer Eingangsschnittstelle (51 ), um Daten (30) eines Fahrzeugumfeldes zu erhalten,  an input interface (51) for obtaining data (30) of a vehicle environment,
- einer Auswerteeinrichtung (10), die ausgeführt ist,  - an evaluation device (10), which is executed,
• ein durch verstärkendes Lernen trainiertes künstliches neuronales  • an artificial neural system trained through reinforcement learning
Netzwerk (1 1 ) mit diesen Daten (30) vorwärts zu speisen, Network (1 1) to feed forward with these data (30),
• um für eine Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, für die das Ergebnis einer von Personenschäden und/oder Sachschäden abhängigen Schadensfunktion (13) in dieser Unfallsituation (32) minimal ist, und • for an accident situation (32) to determine the vehicle action (20) for which the result of a damage function (13) dependent on personal injury and / or material damage in this accident situation (32) is minimal, and
• in Abhängigkeit dieser Fahrzeugaktion (20) ein Signal für eine Fahrzeugsteuerung zu erhalten, und  • receive a signal for a vehicle control in response to this vehicle action (20), and
- einer Ausgangsschnittstelle (52), die ausgeführt ist, dieses Signal an eine Fahrzeugsteuerungseinrichtung (53) auszugeben.  - An output interface (52) which is designed to output this signal to a vehicle control device (53).
20. System (50) nach Anspruch 19, dadurch gekennzeichnet, dass die Auswerteeinrichtung (10) ausgeführt ist, um für eine bevorstehende Unfallsituation (32) die Fahrzeugaktion (20) zu bestimmen, mit der die Unfallsituation (32) vermeidbar ist. 20. System (50) according to claim 19, characterized in that the evaluation device (10) is designed to determine the vehicle action (20) for an imminent accident situation (32) with which the accident situation (32) can be avoided.
21 . System (50) nach Anspruch 19 oder 20, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk (1 1 ) nach dem Verfahren nach Anspruch 17 oder 18 trainiert ist. 21. System (50) according to claim 19 or 20, characterized in that the artificial neural network (1 1) is trained according to the method of claim 17 or 18.
22. Fahrerassistenzsystem mit einem System nach einem der Ansprüche 19 bis 21 oder mit einem nach dem Verfahren nach Anspruch 17 oder 18 trainierten künstlichen neuronalen Netzwerk (1 1 ). 22. Driver assistance system with a system according to one of claims 19 to 21 or with an according to the method according to claim 17 or 18 trained artificial neural network (1 1).
EP18758846.2A 2017-09-12 2018-08-14 Situation-dependent decision-making for vehicles Withdrawn EP3681767A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017216061.6A DE102017216061A1 (en) 2017-09-12 2017-09-12 Situation-based decision-making for vehicles
PCT/EP2018/072055 WO2019052762A1 (en) 2017-09-12 2018-08-14 Situation-dependent decision-making for vehicles

Publications (1)

Publication Number Publication Date
EP3681767A1 true EP3681767A1 (en) 2020-07-22

Family

ID=63311998

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18758846.2A Withdrawn EP3681767A1 (en) 2017-09-12 2018-08-14 Situation-dependent decision-making for vehicles

Country Status (5)

Country Link
US (1) US20190382006A1 (en)
EP (1) EP3681767A1 (en)
CN (1) CN110382303A (en)
DE (1) DE102017216061A1 (en)
WO (1) WO2019052762A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021203354B4 (en) 2021-04-01 2022-11-10 Volkswagen Aktiengesellschaft Method for determining a future accident severity of a motor vehicle with an object using an assistance system of the motor vehicle, computer program product and assistance system
CN113799799A (en) * 2021-09-30 2021-12-17 中国第一汽车股份有限公司 Security compensation method and device, storage medium and electronic equipment
US20230256999A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Simulation of imminent crash to minimize damage involving an autonomous vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (en) * 1992-08-04 1995-09-13 タカタ株式会社 Collision prediction judgment system by neural network
DE10036276A1 (en) * 2000-07-26 2002-02-07 Daimler Chrysler Ag Automatic braking and steering system for a vehicle
DE10149206A1 (en) * 2000-10-04 2003-02-06 Intelligent Tech Int Inc Method and device for mapping a road and accident prevention system
DE10328062A1 (en) * 2003-06-23 2005-01-20 Robert Bosch Gmbh Method for improving the safety of road users involved in a prematurely recognized accident
US8594370B2 (en) * 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
WO2006070865A1 (en) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle motion control device
DE102006031238B4 (en) * 2006-07-06 2016-07-21 Robert Bosch Gmbh Device and method for controlling personal protection devices
US20130158809A1 (en) * 2011-12-15 2013-06-20 Ford Global Technologies, Llc Method and system for estimating real-time vehicle crash parameters
DE102013221282B4 (en) * 2013-10-21 2024-05-29 Volkswagen Aktiengesellschaft Method and device for determining at least one area-specific intrusion parameter
CN104691490A (en) * 2013-12-06 2015-06-10 大连东浦机电有限公司 Automotive external airbag and starting system with surrounding pedestrian behavior prediction function
US9505405B2 (en) * 2015-01-16 2016-11-29 Ford Global Technologies, Llc Rear collision avoidance and mitigation system
KR20170028126A (en) * 2015-09-03 2017-03-13 엘지전자 주식회사 Driver assistance apparatus for vehicle and Vehicle
DE102016000493B4 (en) * 2016-01-19 2017-10-19 Audi Ag Method for operating a vehicle system and motor vehicle
DE102016005230A1 (en) * 2016-04-29 2017-02-09 Daimler Ag Method for operating a vehicle
CN106553655B (en) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 Hazardous vehicles detection method and system and vehicle including the system

Also Published As

Publication number Publication date
US20190382006A1 (en) 2019-12-19
WO2019052762A1 (en) 2019-03-21
CN110382303A (en) 2019-10-25
DE102017216061A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
DE102006044086B4 (en) System and method for the simulation of traffic situations, in particular accident-critical dangerous situations, as well as a driving simulator
EP2133244B1 (en) Method for prognostic evaluation of at least one anticipatory safety system of a motor vehicle
DE102007027649B4 (en) Method and control device for controlling personal protection devices and computer program and computer program product
EP1407436A1 (en) Driver assistance system
EP3681767A1 (en) Situation-dependent decision-making for vehicles
DE102018128289A1 (en) METHOD AND DEVICE FOR AUTONOMOUS SYSTEM PERFORMANCE AND CLASSIFICATION
DE102016211587A1 (en) Method and device for controlling a vehicle
EP2276650A1 (en) Method and control unit for activating at least one security means
DE102021203353A1 (en) Method for determining a trajectory of an at least partially assisted motor vehicle, computer program and assistance system
WO2018166770A1 (en) Method and device in a motor vehicle for minimising damage in accident situations
WO2020125875A1 (en) Monitoring of neural-network-based driving functions
EP3546308B1 (en) Method for operating a control device, motor vehicle and computer program
DE102017219365B4 (en) Apparatus and method for adaptive vehicle control
DE102019133469B3 (en) Method for operating a restraint system for a motor vehicle and system for performing such a method
DE102007050254B4 (en) Method of manufacturing a collision protection system for a motor vehicle
EP2361810B1 (en) Method for determining the severity of an impact of a motor vehicle with an object
DE102019205006B4 (en) Computer-implemented method for operating safety systems of a vehicle, control device and computer program product for triggering safety systems and occupant protection system
DE102020202404A1 (en) Detection of a non-active reaction of a driver to adapt at least one parameter of an automated driving function of a vehicle
DE102021213575B4 (en) Method for planning an at least partially automated driving process using a driving assistance system
DE102015012843B4 (en) Generating a load case evaluation list
EP3159230B1 (en) Method for operating a driving dynamics system of a motor vehicle and motor vehicle
WO2024013146A1 (en) Method for controlling a vehicle
EP4083784A1 (en) Method, system and computer program for developing, securing, training and / or operating a vehicle system or a vehicle functionality
DE102020100487A1 (en) Method for operating a driver assistance system of a vehicle, taking into account a reaction from at least one occupant, computing device and driver assistance system
AT526259A1 (en) Method for training an artificial neural network of a driver model

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190711

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220301