DE102016009655A1 - Method for operating a vehicle - Google Patents

Method for operating a vehicle Download PDF

Info

Publication number
DE102016009655A1
DE102016009655A1 DE102016009655.1A DE102016009655A DE102016009655A1 DE 102016009655 A1 DE102016009655 A1 DE 102016009655A1 DE 102016009655 A DE102016009655 A DE 102016009655A DE 102016009655 A1 DE102016009655 A1 DE 102016009655A1
Authority
DE
Germany
Prior art keywords
neural network
decision
vehicle
proposed
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016009655.1A
Other languages
German (de)
Inventor
Steven Peters
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016009655.1A priority Critical patent/DE102016009655A1/en
Publication of DE102016009655A1 publication Critical patent/DE102016009655A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs, wobei das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen (n1, n2) einer künstlichen neuronalen Netzwerkstruktur gesteuert wird. Erfindungsgemäß werden die Entscheidungen (n1, n2) von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen, wobei dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) übereinstimmen, diese gemeinsame Entscheidung (n1, n2) zur Steuerung des Fahrzeugs verwendet wird. Dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) voneinander abweichen und eine Ausführung der Entscheidung (n2) vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) erfüllt, wird die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) zur Steuerung des Fahrzeugs verwendet. In allen anderen Fällen wird die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) zur Steuerung des Fahrzeugs verwendet.The invention relates to a method for operating a vehicle, wherein the vehicle is controlled in a partially autonomous or autonomous driving mode based on decisions (n1, n2) of an artificial neural network structure. According to the invention, the decisions (n1, n2) are proposed by a static first neural network and a learning second neural network, wherein if a decision (n1, n2) proposed by the first neural network and a second neural network match, this joint decision (n1, n2) is used to control the vehicle. If a decision (n1, n2) proposed by the first neural network and a second neural network differ from one another, and an execution of the decision (n2) given security and / or ethics criteria to a greater degree than the decision proposed by the first neural network ( n1), the decision (n2) proposed by the second neural network is used to control the vehicle. In all other cases, the decision (n1) proposed by the first neural network is used to control the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for operating a vehicle according to the preamble of claim 1.

Aus der DE 42 18 599 A1 ist ein Navigations- und Führungssystem für autonome, mobile Roboter bekannt, welches einen bilderfassenden Sensor, einen Entfernungssensor und neuronale Netzwerkmittel umfasst, auf welche Daten von dem bilderfassenden Sensor und von dem Entfernungssensor aufgeschaltet sind und welche zur Erzeugung von Richtungs- und Fahrtkommandos aus den Daten der Sensoren trainiert sind.From the DE 42 18 599 A1 For example, a navigation and guidance system for autonomous mobile robots is known which includes an image capturing sensor, a distance sensor and neural network means to which data from the image capturing sensor and the distance sensor are applied and which are used to generate direction and travel commands from the data the sensors are trained.

Weiterhin ist aus der DE 40 01 493 A1 ein Verfahren zur selbsttätigen Steuerung von autonom oder teilautonom bewegbaren Geräten mit die Umgebung aufnehmenden Ortungssensoren zum Abgeben von Sensorsignalen, welche für einen Abstand des Geräts von mindestens einem Hindernis oder Objekt charakteristisch sind, bekannt. Es ist eine Verarbeitungseinheit vorgesehen, in welche die Sensorsignale eingegeben werden und welche ein Steuersignal für Antriebe und Bremsen des Geräts zum Beschleunigen und Abbremsen einer jeweiligen Bewegung des Gerätes abgibt, um eine Kollision mit dem Hindernis zu vermeiden und ein gewünschtes Fahr- und Bewegungsverhalten zu erzeugen. Die Verarbeitungseinheit ist als informationsverarbeitende Netzwerkstruktur, d. h. als neuronales Netz, derart simuliert oder ausgebildet, dass das Gerät in einer Lernphase aus einer begrenzten Anzahl ausgewählter Situationen fremdgesteuert einen Bewegungsablaufzyklus ausführt. Dabei gewonnene Sensor- und Aktuator-Datensätze werden der Netzwerkstruktur in einer Lernphase wiederholt eingegeben und der Bewegungsablaufzyklus wird lehrhaft vorgegeben. Bei Unterschreiten eines vorgegebenen globalen Fehlers wird die Lernphase abgeschlossen und es wird zu einer Kannphase übergegangen, in welcher das Gerät in bekannter oder unbekannter Umgebung autonom den oder einen in unbekannter Umgebung durch die Objekte beeinflussten gelernten Bewegungsablaufzyklus mindestens angenähert ausführt.Furthermore, from the DE 40 01 493 A1 a method for the automatic control of autonomously or partially autonomously movable devices with the environment receiving location sensors for outputting sensor signals, which are characteristic of a distance of the device from at least one obstacle or object, known. A processing unit is provided in which the sensor signals are input and which outputs a control signal for driving and braking the apparatus for accelerating and decelerating a respective movement of the apparatus to avoid a collision with the obstacle and to produce a desired travel and movement behavior , The processing unit is simulated or embodied as an information-processing network structure, ie as a neural network, in such a way that the device carries out a movement cycle in a learning phase from a limited number of selected situations. The sensor and actuator data sets obtained in this process are repeatedly entered into the network structure in a learning phase and the sequence of movement cycles is instructively specified. Falls below a predetermined global error, the learning phase is completed and it is transferred to a Kannphase in which the device in a known or unknown environment autonomously or at least approximately executed in a unknown environment influenced by the objects learned Bewegungsablaufzyklus cycle.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Fahrzeugs anzugeben. Die Aufgabe wird erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst.The invention is based on the object to provide a comparison with the prior art improved method for operating a vehicle. The object is achieved by the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In dem Verfahren zum Betrieb eines Fahrzeugs wird das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen einer künstlichen neuronalen Netzwerkstruktur gesteuert.In the method of operating a vehicle, the vehicle is controlled in a semi-autonomous or autonomous driving mode based on decisions of an artificial neural network structure.

Erfindungsgemäß werden die Entscheidungen von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen, wobei dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung übereinstimmen, diese gemeinsame Entscheidung zur Steuerung des Fahrzeugs verwendet wird und dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung voneinander abweichen und eine Ausführung der Entscheidung vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung erfüllt, die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet wird. In allen anderen Fällen wird die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung zur Steuerung des Fahrzeugs verwendet.According to the invention, the decisions are proposed by a static first neural network and a learning second neural network, wherein, when a decision proposed by the first neural network and a second neural network match, this common decision is used to control the vehicle and then a decision proposed by the first neural network and a second neural network differ and execution of the decision satisfies predetermined security and / or ethical criteria to a greater extent than the decision proposed by the first neural network, the decision proposed by the second neural network to control the decision Vehicle is used. In all other cases, the decision proposed by the first neural network is used to control the vehicle.

Bei dem statischen ersten neuronalen Netzwerk handelt es sich insbesondere um ein künstliches neuronales Netzwerk, dessen Struktur und Gewichte durch Training in einem Entwicklungs- und Testprozess sowie einem damit verbundenen Lernverfahren entstanden sind. Eine anschließende Beeinflussung des Netzwerks während einer Verwendung desselben in einem Fahrbetrieb des Fahrzeugs, beispielsweise in einem Lernprozess, ist nicht möglich.In particular, the static first neural network is an artificial neural network, the structure and weights of which have arisen through training in a development and testing process as well as a related learning process. Subsequent influencing of the network during use thereof in a driving operation of the vehicle, for example in a learning process, is not possible.

Bei dem lernfähigen zweiten neuronalen Netzwerk handelt es sich insbesondere um ein künstliches neuronales Netzwerk, welches zu Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, identisch mit dem ersten neuronalen Netzwerk ist und auf dem gleichen Lernverfahren beruht wie dieses. Im Gegensatz zum neuronalen Netzwerk ist das zweite neuronale Netzwerk derart ausgebildet, dass dieses während eines Fahrbetriebs des Fahrzeugs stetig von realen Fahrsituationen und Fahrreaktionen des Nutzers während eines manuellen oder teilautonom durchgeführten Fahrbetriebs lernt. Das erfindungsgemäße Verfahren ermöglicht in besonders vorteilhafter Weise, dass das zweite neuronale Netzwerk während des Fahrbetriebs des Fahrzeugs einen Lernprozess durchführen kann und gleichzeitig keine Verschlechterungen einer Leistungsfähigkeit des Verfahrens gegenüber einem Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, eintreten.In particular, the adaptive second neural network is an artificial neural network which, at the beginning of an operation of the vehicle, for example when the vehicle is delivered to a user, is identical to the first neural network and is based on the same learning method as this one. In contrast to the neural network, the second neural network is designed such that it constantly learns during a driving operation of the vehicle from real driving situations and driving reactions of the user during a manual or partially autonomous driving operation. In a particularly advantageous manner, the method according to the invention makes it possible for the second neural network to carry out a learning process while the vehicle is being driven and, at the same time, there are no deteriorations in the performance of the method compared to a start of operation of the vehicle, for example when the vehicle is delivered to a user ,

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt: Showing:

1 schematisch einen Programmablaufplan eines Verfahrens zum Betrieb eines Fahrzeugs. 1 schematically a program flowchart of a method for operating a vehicle.

In der einzigen 1 ist ein Programmablaufplan eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Betrieb eines Fahrzeugs dargestellt.In the only one 1 a program flow chart of a possible embodiment of a method according to the invention for operating a vehicle is shown.

Das Fahrzeug ist zu einem teilautonom, autonom und manuell ausgeführten Fahrbetrieb ausgebildet, wobei eine Steuerung des Fahrzeugs, d. h. insbesondere eine automatische Längs- und/oder Querführung des Fahrzeugs, anhand von vorgeschlagenen Entscheidungen n1, n2 einer künstlichen neuronalen Netzwerkstruktur durchgeführt wird.The vehicle is designed to a teilautonom, autonomous and manually running driving, wherein a control of the vehicle, d. H. In particular, an automatic longitudinal and / or transverse guidance of the vehicle is carried out on the basis of proposed decisions n1, n2 of an artificial neural network structure.

Diese künstliche neuronale Netzwerkstruktur umfasst ein statisches erstes neuronales Netzwerk und ein lernfähiges zweites neuronales Netzwerk.This artificial neural network structure comprises a static first neural network and an adaptive second neural network.

Bei dem statischen ersten neuronalen Netzwerk handelt es sich um ein künstliches neuronales Netzwerk, dessen Struktur und Gewichte durch Training in einem Entwicklungs- und Testprozess sowie einem damit verbundenen Lernverfahren entstanden sind. Eine anschließende Beeinflussung des Netzwerks während einer Verwendung desselben in einem Fahrbetrieb des Fahrzeugs, beispielsweise in einem Lernprozess, ist nicht möglich.The static first neural network is an artificial neural network, the structure and weights of which have arisen through training in a development and testing process as well as a related learning process. Subsequent influencing of the network during use thereof in a driving operation of the vehicle, for example in a learning process, is not possible.

Bei dem lernfähigen zweiten neuronalen Netzwerk handelt es sich um ein künstliches neuronales Netzwerk, welches zu Beginn eines Betriebs des Fahrzeugs, beispielsweise bei einer Auslieferung des Fahrzeugs an einen Nutzer, identisch mit dem ersten neuronalen Netzwerk ist und auf dem gleichen Lernverfahren beruht wie dieses. Im Gegensatz zum ersten Fahrzeug ist das zweite neuronale Netzwerk derart ausgebildet, dass dieses während eines Fahrbetriebs des Fahrzeugs stetig von realen Fahrsituationen und Fahrreaktionen des Nutzers während eines manuellen oder teilautonom durchgeführten Fahrbetriebs lernt.The adaptive second neural network is an artificial neural network which, at the beginning of an operation of the vehicle, for example when the vehicle is delivered to a user, is identical to the first neural network and is based on the same learning method as this one. In contrast to the first vehicle, the second neural network is designed such that it constantly learns during a driving operation of the vehicle from real driving situations and driving reactions of the user during a manual or partially autonomous driving operation.

Nach einem Start des Verfahrens wird in einem ersten Verfahrensschritt S1 eine Umgebung des Fahrzeugs mittels mehrerer Sensoren erfasst, wobei anhand mittels der Sensoren erfasster Daten D mittels der beiden neuronalen Netzwerke jeweils in einem weiteren Verfahrensschritt S2 (mittels des ersten neuronalen Netzwerks) und einem weiteren Verfahrensschritt S3 Entscheidungen n1, n2 ermittelt werden, wie das Fahrzeug zur Bewältigung einer erfassten Verkehrssituation gesteuert werden muss.After a start of the method, in a first method step S1 an environment of the vehicle is detected by means of a plurality of sensors, wherein data recorded by means of the sensors D by means of the two neural networks in each case in a further method step S2 (by means of the first neural network) and a further method step S3 decisions n1, n2 are determined how the vehicle must be controlled to cope with a detected traffic situation.

Im autonomen oder teilautonomen Fahrbetrieb des Fahrzeugs trifft standardmäßig das erste neuronale Netzwerk die für die Fahrzeugführung relevanten Entscheidungen n1. Jedoch werden stets auch vom zweiten neuronalen Netzwerk propagierte Entscheidungen n2 betrachtet und mit denen vom ersten neuronalen Netzwerk verglichen.In the autonomous or semi-autonomous driving mode of the vehicle, by default the first neural network makes the decisions n1 relevant for the vehicle guidance. However, decisions n2 propagated by the second neural network are always considered and compared with those of the first neural network.

Hierzu wird in einer ersten Verzweigung V1 zunächst überprüft, ob die vom ersten neuronalen Netzwerk und vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung übereinstimmen. Ist dies der Fall (dargestellt durch einen Pfad J, wobei ”J” für ”Ja” steht), wird in einem weiteren Verfahrensschritt S4 diese gemeinsame Entscheidung n1, n2 bzw. die Entscheidung n1 vom ersten neuronalen Netzwerk zur Steuerung des Fahrzeugs verwendet und ausgeführt.For this purpose, it is first checked in a first branch V1 whether the decision proposed by the first neural network and by the second neural network is the same. If this is the case (represented by a path J, where "J" stands for "yes"), in a further method step S4 this joint decision n1, n2 or the decision n1 from the first neural network is used to control the vehicle and executed ,

Ist dies nicht der Fall, d. h. unterscheiden sich die Entscheidungen n1, n2 des ersten und zweiten neuronalen Netzwerks voneinander (dargestellt durch einen Pfad N, wobei ”N” für ”Nein” steht), wird in einer weiteren Verzweigung V2 überprüft, ob eine Qualität von den erfassten Daten D, auf welcher die Ermittlung der Entscheidung n2 basiert, einen Mindestwert überschreitet. Das heißt, es wird überprüft, ob die Qualität der Daten D hinreichend für eine gesicherte Prognose von Auswirkungen der Entscheidung n2 vom zweiten neuronalen Netzwerk ist. Ist der erfassende Sensor beispielsweise eine Bilderfassungseinheit, wird z. B. überprüft, ob ein Konfidenzwert bei einer Bilderkennung einen vorgegebenen Schwellwert überschreitet.If this is not the case, d. H. if the decisions n1, n2 of the first and second neural networks differ from each other (represented by a path N, where "N" stands for "no"), a check is made in a further branch V2 as to whether a quality of the acquired data D, which is based on the determination of the decision n2 exceeds a minimum value. That is, it is checked whether the quality of the data D is sufficient for a reliable prognosis of effects of the decision n2 from the second neural network. If the detecting sensor is, for example, an image acquisition unit, z. B. checks whether a confidence value in an image recognition exceeds a predetermined threshold.

Überschreitet die Qualität der erfassten Daten D den Mindestwert nicht (dargestellt durch einen weiteren Pfad N, wobei ”N” für ”Nein” steht), wird wieder der Verfahrensschritt S4 und somit die Entscheidung n1 ausgeführt. Überschreitet die Qualität der erfassten Daten D den Mindestwert jedoch (dargestellt durch einen weiteren Pfad J, wobei ”J” für ”Ja” steht), werden die beiden Entscheidungen n1, n2 in einem weiteren Verfahrensschritt S5 anhand einer definierten Kriterienliste basierend auf Sicherheits- und/oder Ethikkriterien bewertet. Beispielsweise ist bei einem Auftreten eines Hindernisses vor dem Fahrzeug die Entscheidung n1 des ersten neuronalen Netzwerks zur Vermeidung einer Kollision mit dem Hindernis eine starke Verzögerung, bei welcher jedoch die Gefahr eines Heckaufpralls eines nachfolgenden Fahrzeugs sehr groß ist. In der gleichen Situation ist beispielsweise die Entscheidung n2 des zweiten neuronalen Netzwerks, ein Ausweichmanöver über einen freien Standstreifen auszuführen. Anhand der Kriterienliste werden beide vorgeschlagenen Entscheidungen n1, n2 bezüglich aller vorgegebenen Sicherheits- und/oder Ethikkriterien ausgewertet.If the quality of the acquired data D does not exceed the minimum value (represented by a further path N, where "N" stands for "No"), the method step S4 is executed again, and thus the decision n1. However, if the quality of the acquired data D exceeds the minimum value (represented by a further path J, where "Y" stands for "yes"), the two decisions n1, n2 in a further method step S5 are based on a defined list of criteria based on security and security / or ethics criteria. For example, when an obstacle occurs in front of the vehicle, the decision n1 of the first neural network to avoid collision with the obstacle is a strong deceleration, but in which the risk of rear impact of a following vehicle is very large. In the same situation, for example, the decision n2 of the second neural network to execute an evasive maneuver over a free lane. On the basis of the criteria list, both proposed decisions n1, n2 are evaluated with respect to all given security and / or ethical criteria.

Anschließend wird in einer weiteren Verzweigung V3 überprüft, ob die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 dominant ist. Unter Dominanz wird dabei verstanden, dass die Entscheidung n2 die vorgegebenen Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung n1 erfüllt.Subsequently, it is checked in a further branch V3 whether the decision n2 proposed by the second neural network is dominant. Dominance is understood as that the decision n2 fulfills the given security and / or ethics criteria to a greater degree than the decision n1 proposed by the first neural network.

Ist die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 streng dominant (dargestellt durch einen weiteren Pfad J, wobei ”J” für ”Ja” steht), wird diese in einem Verfahrensschritt S6 zur Steuerung des Fahrzeugs ausgeführt.If the decision n2 proposed by the second neural network is strictly dominant (represented by a further path J, where "Y" stands for "yes"), this is carried out in a method step S6 for controlling the vehicle.

Gleichzeitig werden bei einer Verwendung der vom zweiten neuronalen Netzwerk vorgeschlagenen Entscheidung n2 zur Steuerung des Fahrzeugs die verwendete Entscheidung n2 und die zugehörigen erfassten Daten D aller Sensoren als Trainingsdatenset für weitere Fahrzeuge an einen so genannten Backendserver und/oder eine so genannte Cloud eines Fahrzeugherstellers und/oder eines Erstausrüsters übertragen.At the same time, when decision n2 for controlling the vehicle proposed by the second neural network is used, the decision n2 used and the associated acquired data D of all sensors as a training data set for other vehicles are sent to a so-called backend server and / or a so-called cloud of a vehicle manufacturer and / or or an original equipment manufacturer.

Ist die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung n2 dagegen nicht dominant (dargestellt durch einen weiteren Pfad N, wobei ”N” für ”Nein” steht), wird wieder der Verfahrensschritt S4 und somit die Entscheidung n1 ausgeführt.

  • D
    Daten
    J
    Pfad
    N
    Pfad
    n1
    Entscheidung
    n2
    Entscheidung
    S1 bis S6
    Verfahrensschritt
    V1 bis V3
    Verzweigung
On the other hand, if the decision n2 proposed by the second neural network is not dominant (represented by a further path N, where "N" stands for "no"), the method step S4 is executed again, and thus the decision n1.
  • D
    dates
    J
    path
    N
    path
    n1
    decision
    n2
    decision
    S1 to S6
    step
    V1 to V3
    branch

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 4218599 A1 [0002] DE 4218599 A1 [0002]
  • DE 4001493 A1 [0003] DE 4001493 A1 [0003]

Claims (4)

Verfahren zum Betrieb eines Fahrzeugs, wobei das Fahrzeug in einem teilautonomen oder autonomen Fahrbetrieb anhand von Entscheidungen (n1, n2) einer künstlichen neuronalen Netzwerkstruktur gesteuert wird, dadurch gekennzeichnet, dass – die Entscheidungen (n1, n2) von einem statischen ersten neuronalen Netzwerk und einem lernfähigen zweiten neuronalen Netzwerk vorgeschlagen werden, wobei – dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) übereinstimmen, diese gemeinsame Entscheidung (n1, n2) zur Steuerung des Fahrzeugs verwendet wird, – dann, wenn eine vom ersten neuronalen Netzwerk und eine vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n1, n2) voneinander abweichen und eine Ausführung der Entscheidung (n2) vorgegebene Sicherheits- und/oder Ethikkriterien in höherem Grade als die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) erfüllt, die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) zur Steuerung des Fahrzeugs verwendet wird und – in allen anderen Fällen die vom ersten neuronalen Netzwerk vorgeschlagene Entscheidung (n1) zur Steuerung des Fahrzeugs verwendet wird.Method for operating a vehicle, wherein the vehicle is controlled in a semi-autonomous or autonomous driving mode based on decisions (n1, n2) of an artificial neural network structure, characterized in that - the decisions (n1, n2) from a static first neural network and a when a decision (n1, n2) proposed by the first neural network and a second neural network agree, this joint decision (n1, n2) is used to control the vehicle, - then if a decision (n1, n2) proposed by the first neural network and by the second neural network differ and execution of the decision (n2) exceeds given security and / or ethics criteria to a greater degree than the decision (n1) proposed by the first neural network fulfilled by the second neural networker k is used to control the vehicle, and - in all other cases, the decision (n1) proposed by the first neural network is used to control the vehicle. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vom zweiten neuronalen Netzwerk vorgeschlagene Entscheidung (n2) nur dann zur Steuerung des Fahrzeugs verwendet wird, wenn die Entscheidung (n2) dominant ist und eine Qualität von erfassten Daten (D), auf welcher eine Ermittlung der Entscheidung (n2) basiert, einen Mindestwert überschreitet.A method according to claim 1, characterized in that the decision (n2) proposed by the second neural network is used to control the vehicle only if the decision (n2) is dominant and a quality of acquired data (D) on which a determination of the decision (n2) exceeds a minimum value. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei einer Verwendung der vom zweiten neuronalen Netzwerk vorgeschlagenen Entscheidung (n2) zur Steuerung des Fahrzeugs die verwendete Entscheidung (n2) und die zugehörigen erfassten Daten (D) in einem für eine Vielzahl von Nutzern zugänglichen zentralen Speicher hinterlegt werden.Method according to Claim 2, characterized in that, when using the decision (n2) for controlling the vehicle proposed by the second neural network, the decision (n2) used and associated data (D) are stored in a central memory accessible to a plurality of users be deposited. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Lernprozess des zweiten neuronalen Netzwerks während eines manuell durch einen Fahrer oder teilautonom durchgeführten Fahrbetriebs erfolgt.Method according to one of the preceding claims, characterized in that a learning process of the second neural network takes place during a manually performed by a driver or partially autonomous driving operation.
DE102016009655.1A 2016-08-09 2016-08-09 Method for operating a vehicle Withdrawn DE102016009655A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016009655.1A DE102016009655A1 (en) 2016-08-09 2016-08-09 Method for operating a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016009655.1A DE102016009655A1 (en) 2016-08-09 2016-08-09 Method for operating a vehicle

Publications (1)

Publication Number Publication Date
DE102016009655A1 true DE102016009655A1 (en) 2017-04-06

Family

ID=58355704

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016009655.1A Withdrawn DE102016009655A1 (en) 2016-08-09 2016-08-09 Method for operating a vehicle

Country Status (1)

Country Link
DE (1) DE102016009655A1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019211282A1 (en) 2018-05-02 2019-11-07 Audi Ag Operating method for an autonomously operatable device, and autonomously operatable device
DE102018221063A1 (en) * 2018-12-05 2020-06-10 Volkswagen Aktiengesellschaft Configuration of a control system for an at least partially autonomous motor vehicle
DE102019204269A1 (en) * 2019-03-27 2020-10-01 Siemens Mobility GmbH Method and device for generating a status signal
WO2020224925A1 (en) * 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Monitoring of an ai module of a vehicle driving function
EP3748454A1 (en) * 2019-06-05 2020-12-09 Volkswagen Ag Method and device for automatically executing a control function of a vehicle
EP3748453A1 (en) * 2019-06-05 2020-12-09 Volkswagen Ag Method and device for automatically executing a control function of a vehicle
DE102019214935A1 (en) * 2019-09-27 2021-04-01 Zf Friedrichshafen Ag Control of a vehicle
DE102019214925A1 (en) * 2019-09-27 2021-04-01 Zf Friedrichshafen Ag Control of a vehicle
EP3657464A4 (en) * 2017-07-18 2021-04-21 Pioneer Corporation Control device, control method, and program
DE102020205315A1 (en) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Process for the classification of critical driving situations, selection of data similar to the critical driving situation and retraining of the automatic system
EP3904833A1 (en) * 2020-04-29 2021-11-03 ZF Friedrichshafen AG Device and method for evaluating signals from sensors for trajectory control and / or control of an automated vehicle
DE102020205725A1 (en) 2020-05-06 2021-11-11 Volkswagen Aktiengesellschaft Modeling a traffic scenario
US11351869B2 (en) 2018-03-08 2022-06-07 Vitesco Technologies GmbH Alternating-current charging device for a motor vehicle
DE102021205037A1 (en) 2021-05-18 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung Method of determining a control action for a robotic device
DE102021206169A1 (en) 2021-06-16 2022-12-22 Volkswagen Aktiengesellschaft Method for developing vehicle functions and motor vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4001493A1 (en) 1990-01-19 1991-07-25 Pietzsch Ibp Gmbh Automatic control of vehicle motion - using ultrasonic object sensor providing input to learning process for vehicle control
DE4218599A1 (en) 1992-06-05 1993-12-16 Bodenseewerk Geraetetech Navigation and guidance system for autonomous mobile robots - has sensors for input to neuronal network based controller that has learning capacity to determine direction and motion commands

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4001493A1 (en) 1990-01-19 1991-07-25 Pietzsch Ibp Gmbh Automatic control of vehicle motion - using ultrasonic object sensor providing input to learning process for vehicle control
DE4218599A1 (en) 1992-06-05 1993-12-16 Bodenseewerk Geraetetech Navigation and guidance system for autonomous mobile robots - has sensors for input to neuronal network based controller that has learning capacity to determine direction and motion commands

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657464A4 (en) * 2017-07-18 2021-04-21 Pioneer Corporation Control device, control method, and program
US11351869B2 (en) 2018-03-08 2022-06-07 Vitesco Technologies GmbH Alternating-current charging device for a motor vehicle
CN112041213A (en) * 2018-05-02 2020-12-04 奥迪股份公司 Operating method for an autonomously operable device and autonomously operable device
US11999373B2 (en) 2018-05-02 2024-06-04 Audi Ag Operating method for an autonomously operatable device, and an autonomously operatable device
CN112041213B (en) * 2018-05-02 2023-08-15 奥迪股份公司 Method for operating an autonomously operable device and autonomously operable device
WO2019211282A1 (en) 2018-05-02 2019-11-07 Audi Ag Operating method for an autonomously operatable device, and autonomously operatable device
DE102018206712B4 (en) 2018-05-02 2022-02-03 Audi Ag Operating method for an autonomously operable device and autonomously operable device
DE102018206712A1 (en) * 2018-05-02 2019-11-07 Audi Ag Operating method for an autonomously operable device and autonomously operable device
US11500382B2 (en) 2018-12-05 2022-11-15 Volkswagen Aktiengesellschaft Configuration of a control system for an at least partially autonomous transportation vehicle
DE102018221063A1 (en) * 2018-12-05 2020-06-10 Volkswagen Aktiengesellschaft Configuration of a control system for an at least partially autonomous motor vehicle
DE102019204269A1 (en) * 2019-03-27 2020-10-01 Siemens Mobility GmbH Method and device for generating a status signal
WO2020224925A1 (en) * 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Monitoring of an ai module of a vehicle driving function
EP3748453A1 (en) * 2019-06-05 2020-12-09 Volkswagen Ag Method and device for automatically executing a control function of a vehicle
EP3748454A1 (en) * 2019-06-05 2020-12-09 Volkswagen Ag Method and device for automatically executing a control function of a vehicle
DE102019214925A1 (en) * 2019-09-27 2021-04-01 Zf Friedrichshafen Ag Control of a vehicle
DE102019214935A1 (en) * 2019-09-27 2021-04-01 Zf Friedrichshafen Ag Control of a vehicle
DE102020205315A1 (en) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Process for the classification of critical driving situations, selection of data similar to the critical driving situation and retraining of the automatic system
EP3904833A1 (en) * 2020-04-29 2021-11-03 ZF Friedrichshafen AG Device and method for evaluating signals from sensors for trajectory control and / or control of an automated vehicle
DE102020205725A1 (en) 2020-05-06 2021-11-11 Volkswagen Aktiengesellschaft Modeling a traffic scenario
DE102021205037A1 (en) 2021-05-18 2022-11-24 Robert Bosch Gesellschaft mit beschränkter Haftung Method of determining a control action for a robotic device
DE102021206169A1 (en) 2021-06-16 2022-12-22 Volkswagen Aktiengesellschaft Method for developing vehicle functions and motor vehicle
EP4113348A1 (en) 2021-06-16 2023-01-04 Volkswagen Ag Method for developing vehicle functions and motor vehicle

Similar Documents

Publication Publication Date Title
DE102016009655A1 (en) Method for operating a vehicle
DE102017205093A1 (en) Method and system for predicting sensor signals of a vehicle
DE102017213119A1 (en) Method and apparatus for detecting anomalies in a communication network
DE102016007563A1 (en) Method for trajectory planning
DE102017214531A1 (en) Method and device for operating a motor vehicle in an automated driving operation and motor vehicle
WO2021130066A1 (en) Training neural networks using a neural network
DE102021100395A1 (en) Computer-implemented method for determining similarity values of traffic scenarios
DE102021004426A1 (en) Method for training an autonomous driving function
EP3748453B1 (en) Method and device for automatically executing a control function of a vehicle
WO2020126795A1 (en) Method for adaptive determining of an integrity range of a parameter estimation
DE102018209595A1 (en) Method for automatically determining a road condition
WO2019206513A1 (en) Method for driving manouevre assistance of a vehicle, device, computer program, and computer program product
DE102016014366A1 (en) Method for operating a driver assistance system
EP3935463B1 (en) Method and device for operating an automated vehicle
DE102020211483A1 (en) Method for testing a sensor system of a motor vehicle
DE102014226080A1 (en) Method and apparatus for compensating for an offset steering wheel angle signal in a vehicle
DE102017213353A1 (en) Verification of a planned trajectory of an automated motor vehicle
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
DE102020200650A1 (en) Method and device for operating automated lane guidance of a motor vehicle
EP4191469A1 (en) Method for determining similar scenarios, training method and training control device
DE102017120366A1 (en) Method, apparatus, computer program and computer program product for motion planning of a system
DE202017105656U1 (en) Predictive measuring system, actuator control system and apparatus for operating the predictive measuring system and / or the actuator control system
DE102017123205A1 (en) Configuration of a motor vehicle driver assistance device with a neural network during operation
WO2020070042A1 (en) Method for updating data of a control unit of a vehicle
DE102018210368B4 (en) Driver assistance system, vehicle, method for operating the driver assistance system, computer program and computer-readable storage medium

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee